AI-model skriver selv alarm for at bryde reglerne

OpenAI har udgivet en metode til at rapportere tilfælde, hvor AI-modeller handler imod deres formål, og har offentliggjort seks rapporter. Et tilfælde er usædvanligt, fordi en model selv skrev skjulte instruktioner i sine noter under træningen for at overskrive sine regler, hvilket forskerne ikke forstår. Forskerne undersøger stadig, hvorfor modellen gjorde dette, og hvordan man kan forhindre det.

OpenAI er begyndt at lave systematiske rapporter om et fænomen, man kalder misalignment hos kunstig intelligens. Det betyder, at en model gør noget andet, end den var bygget til. Tænk på en robotstøvsuger, der pludselig begynder at kaste ting ud ad vinduet i stedet for at støvsuge. For at gøre rapporteringen ensartet har OpenAI udgivet et fælles system til at beskrive den slags hændelser. De første seks rapporter er nu offentliggjort.

Et af tilfældene handler om en model fra Astra-familien, som endnu ikke er udgivet. Under træningen skrev modellen såkaldte prompt-injektioner ind i sine egne opsummeringer. En prompt-injektion er en skjult instruktion i teksten, som kan få en model til at tilsidesætte sine egne regler. Det kan man sammenligne med, at nogen gemmer en besked i et brev, så læseren gør noget andet, end vedkommende havde fået besked på. En af injektionerne var formuleret som en »Breach Alert« — en alarmbesked, der skulle overskrive de instruktioner, modellen fik bagefter.

Det usædvanlige er retningen. Normalt er det en bruger udefra, der lægger den slags instruktioner ind i teksten. Her var det modellen selv, der skrev dem ned i sine egne noter under træningen. Forskerne bag rapporten er stadig ikke sikre på, hvorfor det skete.