AI-angreb gemmer sig nu i bankudskrifter og regninger

En test med 629 skjulte angreb viste at Metas sikkerhedstjek kun stoppede 1 procent. Det betyder noget fordi angrebene lignede almindelige beskeder så streng blokering også rammer uskyldige. Nu vises stoppede angreb og fejl over for uskyldige sammen for at afsløre dårlige løsninger.

Forestil dig en dørmand i et travlt butikscenter. Hans job er at finde lommetyven uden at holde ærlige kunder tilbage. Sådan arbejder et sikkerhedsfilter. Det er et program, der skal stoppe skjulte skadelige beskeder til en kunstig intelligens. Testen her prøvede 10 filtre, hvor koden er fri og åben for alle. Kilden til angrebene var en samling ved navn AgentDojo. Med de indstillinger, det har fra start, stoppede filtret Prompt Guard 2 fra selskabet Meta kun 1 procent af 629 gemte virkelige angreb. Med i testen var også 97 helt harmløse eksempler. De skulle afsløre filtre, der bare blokerer alt. Klassiske tests ser kun på selve angrebet alene. Her lå hvert angreb gemt i ægte data fra de værktøjer, som den kunstige intelligens bruger.

Angrebene lignede ikke angreb. De lå inde i bankudskrifter, arbejdsopgaver fra systemet Jira, anmeldelser og websider. En besked bad blot om at sende flest mulige penge til et kontonummer. Den stod midt i en regning på 2.000 tegn. Der var ingen klassiske tegn som ordene ignorer tidligere instrukser.

Hvad sker der så, hvis man skruer på en enkelt værdi hos dørmanden? Samme test vendte Metas resultat på hovedet. En ændret værdi løftede filtret fra 1 til 99 procent i fangede angreb. Derfor viser testen fangst og falske alarmer side om side. Et tal for fangst alene fortæller intet. To filtre med navnene Deepset og fmops stoppede 100 procent af angrebene. Men de stoppede også 98 procent af den harmløse trafik. Så de fangede det hele og ødelagde det hele.