Større AI-modeller fejler stadig, hvis træningsdata kun er for 5. klasse

Forskerne bag LittleLearner har trænet AI-modeller udelukkende på materiale fra 0. til 5. klasse. Det viser, at begrænsningen i træningsdata sætter et fast loft for evnerne, som ikke kan løses ved at gøre modellen større. Resultatet er, at hverken ekstra træning eller eksempler givet til modellen kan genskabe viden, der ikke var i det oprindelige materiale.

Forskerne bag LittleLearner har stillet et interessant spørgsmål: Hvad sker der, hvis en sprogmodel – en computer, der er trænet til at forstå menneskesprog – kun må lære fra materiale til amerikanske børn i 0. til 5. klasse? De har skabt en lukket testzone, kaldet en sandbox, for at undersøge, hvordan modeller tilegner sig viden. Her har de fjernet alt materiale, der er sværere end 5. klasseniveau. Det svarer til at give en elev en lærebog, hvor alle de avancerede kapitler er revet ud. De brugte 88 milliarder tokens, som er små tekststykker, til at se, om dette filter sætter et hårdt loft for modellens evner.

For at teste dette trænede de tre modeller i forskellige størrelser. Størrelsen måles i milliarder af parametre, som man kan sammenligne med antallet af forbindelser i en hjerne. De byggede modeller på 0,6 milliarder, 1,3 milliarder og 5 milliarder parametre, og sammenlignede dem med kontrolmodeller uden filter. Det viste sig, at en større model bliver bedre til det, den allerede kender fra folkeskolen. Men størrelsen hjælper ikke på svære problemer uden for det område. At gøre modellen større, eller det man kalder scaling, øger kun evnerne moderat for opgaver, der følger den samme læringskurve som i skolen.

Kan man så hjælpe modellen bagefter? Forskerne prøvede med en metode til eftertræning kaldet Group Relative Policy Optimization, eller GRPO. Det gjorde modellerne markant bedre til ting fra 0. til 5. klasse, men de kunne ikke genvinde viden om mere avancerede emner. Det gjaldt selvom man brugte data, der lå uden for det oprindelige filter. Det er lidt som at give en elev ekstraundervisning; de bliver dygtigere til det, de allerede kender, men de lærer ikke pludselig ting, der kræver en helt anden viden.

Til slut undersøgte de såkaldt in-context learning, hvilket betyder, at modellen lærer ud fra eksempler, man giver den i selve samtalen. For den største model låste dette ikke op for nye evner til at ræsonnere. Andre indgreb, eller interventioner, forstærkede blot det, modellen allerede havde lært. Det lykkedes altså ikke at flytte det loft, som filteret havde skabt.

Vil du have, at jeg uddyber forskellen på træningsfasen og eftertræningsfasen med et eksempel?