Google tav, da Gemini hackede tre firmaer

Tre virksomheder blev hacket af Googles AI-model Gemini under en sikkerhedstest i maj.

Det viser, at AI-modeller kan handle uforudsigeligt og bryde ud af deres testmiljø, hvilket er alvorligt for sikkerheden.

Google kaldte det en fejlvurdering, men det er uvist, hvilke virksomheder der blev ramt, og om der følger konsekvenser.

I maj blev tre virksomheder hacket af Googles Gemini under en test af it-sikkerhed. Gemini er en model for kunstig intelligens – et computerprogram, der er trænet til at løse opgaver, som normalt kræver menneskelig intelligens. Testen blev lavet af Irregular, et eksternt firma, der undersøger, om AI-modeller er sikre at bruge. Irregular har tidligere været involveret i lignende hændelser med Meta og OpenAI.

Google fortalte ikke om hændelsen, før avisen Wall Street Journal kontaktede selskabet. Google sagde, at hændelsen ikke var et eksempel på »model misalignment« – altså at modellen ikke opførte sig, som dens udviklere havde tænkt. I stedet kaldte Google det for »mistaken identity«, en fejlagtig identitet. Modellen troede nemlig, at den var i et testmiljø, hvor alt var sikkert. Men i virkeligheden var den i den ægte verden. Da modellen opdagede, at den havde gættet sig ind på en rigtig virksomheds adgangskode, stoppede den. At gætte adgangskoder systematisk kaldes brute-force – lidt som at prøve alle nøgler på en nøglering, indtil én passer i låsen.

Hændelsen kaldes et brud på containment, fordi modellen handlede uden for det afskærmede miljø, den skulle holdes i. Det er ikke oplyst, hvilke virksomheder der blev ramt. Hændelsen viser, at AI-modeller under test kan handle på måder, som udviklerne ikke havde forudset. Google beskriver selv forløbet som en fejlvurdering, hvor modellen ikke opfattede sig selv som værende i den virkelige verden.