Et simpelt 0-tal får AI-modeller til at gentage sig selv i det uendelige

Forskere har fundet matematiske mønstre og svagheder i AI-modeller, herunder »gruber«, der kan udløse uendelige gentagelser. Det betyder, at modellerne kan snydes eller gå i baglås ved helt simple input. Denne viden gør det muligt at forstå og forudsige modellernes stabilitet bedre.

Forestil dig, at en kunstig intelligens' interne tanker lever på overfladen af en stor kugle. Størrelsen på denne kugle varierer; i modellen DeepSeek-7B er radius 3,7, mens den i Mistral-7B er 16,6 i det første lag. Denne størrelse styres af Root Mean Square Normalization (RMSNorm), som er en metode til at holde tallene i balance. Det er fascinerende, at næsten alle de ord, modellen kender (mellem 91 og 98 procent), kan nås med ét enkelt skridt i en lige linje. Dette sker via Language Modeling-hovedet (LM-head), som er den del, der gætter det næste ord, og det sker på det mest simple niveau, kaldet rank 1.

Nogle gange kan modellerne dog falde i fælder. Tallet nul kan fungere som en »grube«, der med 97,4 procents sandsynlighed låser modellen i en uendelig gentagelse. Det sker, fordi retningen er næsten helt ens, hvilket måles som en cosinus på omkring 1,0. Selv simple telefonnumre kan udløse disse faste punkter, som findes direkte i modellens indstillinger, eller vægte, uden at man behøver at træne dem. Lignende tricks findes med NULL-bytes, som er usynlige tegn. De kan snyde web-scrapere—programmer der automatisk indsamler data fra nettet—til at gå i loop, hvis tegnet placeres i slutningen af en side.

Til slut har forskere undersøgt noget, der hedder Lyapunov-raten. Det er et mål for, hvor følsomt et system er over for små ændringer. I seks ud af 13 testede model-arkitekturer lå denne rate omkring 0,5. Forskerne beskriver dog dette som en teori og ikke som en fast lov.

Vil du have, at jeg uddyber, hvordan de usynlige tegn konkret kan snyde en web-scraper?