Model til 67 cent udkonkurrerer tunge sprogmodeller i AI-test

En lille AI-model er blevet trænet for kun 67 cent og opnåede 44 % i en svær logiktest. Det viser, at man kan opnå høj effektivitet uden brug af enorme datamængder eller store budgetter. Målet er nu at finde den mindst mulige mængde data for at gøre AI-udvikling hurtigere og billigere.

Forestil dig en computerhjerne, der kan lære at løse svære gåder for kun 67 øre. Det er lykkedes med en lille »transformer«, som er en type kunstig intelligens, der er god til at finde mønstre. Den opnåede 44 % i en test kaldet ARC-AGI-1, som måler evnen til generel intelligens. Træningen tog kun halvandet time på en NVIDIA RTX 5090, som er en ekstremt hurtig grafisk processor (GPU). Modellen er bygget helt fra bunden og klarer sig bedre end flere af de store sprogmodeller (LLM), som vi kender i dag.

For at løse opgaverne bruger modellen noget, der kaldes træning ved testtid. Det betyder, at den lærer direkte, mens den forsøger at løse selve opgaven – lidt ligesom en elev, der læser op på reglerne, mens han tager en eksamen. Informationerne bliver lavet om til »tokens«, som er små stykker data, der fungerer som digitale byggeklodser. Modellen træner »autoregressivt«, hvilket vil sige, at den gætter den næste byggeklods baseret på dem, den allerede har set.

For at forstå gåderne bruger den særlige »indlejringer«. Man kan se det som et digitalt koordinatsystem, der hjælper modellen med at placere information. Den bruger en teknik kaldet 3D RoPE-indlejringer til at forstå ting, der ligger i et todimensionelt net, ligesom felterne på et skakbræt. Når modellen skal give et svar, prøver den at vende og dreje farverne og figurerne i gådenfor at skabe mere træningsmateriale. Til sidst sender den de to mest sandsynlige svar ind.

Formålet med projektet er at se, hvor lidt data en maskine egentlig har brug for. Testen ARC-AGI-1 består af 1.000 gåder, hvor hver enkelt følger sin egen unikke regel. Ved at udforske dette i »højdimensionale rum« – altså i meget komplekse datamiljøer – håber man at gøre fremtidig forskning både billigere og hurtigere. Det handler om at finde grænsen for, hvor effektivt vi kan lære maskiner at tænke.

Vil du have, at jeg uddyber, hvordan de digitale byggeklodser (tokens) fungerer i praksis?