AI-modeller retter nu selv fejl og gør træningen billigere

En forsker har skabt et automatisk system, der retter fejl i AI-modellers adfærd mere effektivt end mennesker. Det er langt billigere og beviser, at AI kan optimere sine egne processer. Dette muliggør rekursiv selvforbedring, hvor AI'en i gentagne cyklusser forbedrer sin egen træning.

Forestil dig, at vi gerne vil have en kunstig intelligens til at opføre sig præcis, som vi ønsker. Dette kaldes for »justering« eller alignment. Nogle gange kan en model have »fejljusteret adfærd«. Det betyder blot, at den gør noget andet end det, vi egentlig bad om. En forsker fra Anthropics fellows-program har beskrevet et system i artiklen ”Automated Researchers Can Reliably Mitigate Alignment Failures”, der kan rette dette. Systemet forbedrede resultaterne på ti forskellige test-målinger, kaldet benchmarks, uden at gøre modellen dårligere til andre ting.

Systemet fungerer som en slags digital forsker. Det søger i eksisterende viden og foreslår løsninger, præcis som et menneske ville gøre. Processen foregår i små bidder. Systemet foreslår en metode og træner modellen i 30 minutter. Derefter måles resultatet. De gode metoder bliver gemt, mens de dårlige kasseres. Det gør det muligt at skalere processen meget hurtigt.

Denne automatiserede forsker, kaldet en »Automated Alignment Researcher« (AAR), er utrolig effektiv. Den kan udkonkurrere erfarne mennesker på i gennemsnit seks timer. Det er også langt billigere. Det koster cirka 4 dollars i timen for at bruge systemets Application Programming Interface (API). En API er den tekniske forbindelse, man bruger til at tale med modellen. Til sammenligning koster en menneskelig forsker omkring 150 dollars i timen.

Resultaterne peger mod noget, der kaldes »rekursiv selvforbedring«. Det svarer til en elev, der lærer at studere mere effektivt, hvilket gør eleven endnu bedre til at lære. Her er det modellerne, der selv optimerer deres egen træning. Der er dog et vigtigt forbehold. Systemet virker kun, hvis de benchmarks, eller test-målinger, man bruger, rent faktisk afspejler det, man ønsker, at AI'en skal lære.

Vil du have et konkret eksempel på, hvad »fejljusteret adfærd« kan være i praksis?