Sikkerhedsmur skal tæmme løbske AI-agenter

Nvidia har startet et samarbejde med over 100 firmaer for at stoppe løbske AI-agenter, som er selvstyrende programmer. Det betyder noget, fordi ukontrollerede programmer kan lave skade, og OpenAIs fravær vækker opsigt. Nvidia vil nu sprede sin sikkerhedsløsning, en afskærmet indhegning, til hele branchen.

Mandag kom en nyhed fra firmaet Nvidia. Over 100 firmaer er med i et nyt samarbejde. Det skal stoppe løbske agenter med kunstig intelligens, altså AI. En agent er som en digital hjælper, der selv kan handle på nettet. Løbsk betyder her, at hjælperen stikker af og gør noget uventet. Lidt som en hund, der river sig løs. Firmaet OpenAI står ikke på listen. Det vækker opsigt. For rivalen Anthropic er med som støtte. Firmaerne Amazon, Google og Apple har heller ikke skrevet under. Men OpenAIs fravær er mest iøjnefaldende, fordi Anthropic er med. Det får én til at undre sig.

Alligevel bakker OpenAI op om arbejdet. Det siger en talsperson til nyhedstjenesten TechCrunch. Firmaet arbejder sammen med Nvidia om sikkerhed for agenterne. Det gælder blandt andet softwaren OpenShell. Software er de programmer, der får computeren til at virke. OpenShell har åben kildekode. Det vil sige, at opskriften er fri for alle at se og bruge. Den er en del af platformen, altså samarbejdets fælles arbejdsbord. Softwaren laver en sandkasse. Tænk på en sandkasse med høj kant på legepladsen. Den skal holde agenterne inde og forhindre udbrud.

Hvad er så hele udspillet? Det hedder Open Agent Safety Platform. Det skal sprede Nvidias egen sikkerhedsteknik ud i hele AI-branchen. Altså Nvidias metoder til at holde styr på teknikken. Teknikken er stort set med åben opskrift. Det er et direkte svar på hændelser med løbske agenter. Dem har laboratorierne Anthropic og OpenAI selv fortalt om. Laboratorier er her firmaernes forskningshold. Nvidias direktør Jensen Huang kalder løbsk AI for et almindeligt teknikproblem. Et problem, der kan løses som andre teknikproblemer. Kan det virkelig passe? Platformen er hans forsøg på at vise det i praksis.