De sværeste opgaver står stadig på nul efter træning

Forskere fandt, at sprogmodellen Olmo 3.1 kun bliver bedre til lette opgaver, ikke de sværeste, under træning med belønning – et mønster kaldet Matthew-effekten. Det er problematisk, fordi gennemsnit skjuler manglende fremskridt på svære opgaver. Nu foreslår forskerne 'Never Give Up' for at holde modellen ved svære problemer, men de sværeste er stadig uløste.

Forskere bag sprogmodellen Olmo 3.1 har undersøgt, hvordan modellen lærer af forstærkningslæring. Forstærkningslæring er en træningsmetode, hvor modellen belønnes, hver gang den løser en opgave rigtigt, og dermed gradvist bliver bedre. De analyserede 30 opgaver fra en kendt matematikprøve kaldet AIME og opdagede et skævt mønster: Modellen bliver meget bedre til de lette opgaver, mens de allersværeste næsten ikke forbedres.

For at forstå forskellen delte forskerne opgaverne i tre sværhedsgrader ud fra, hvor godt modellen klarede sig fra starten. Hvis modellen ikke løste en opgave i 32 forsøg, kaldte de den svær. De øvrige opgaver blev delt i mellem og lette. I starten løste modellen 0 procent af de svære opgaver i ét forsøg, 3,8 procent af de mellem svære og 22,7 procent af de lette. Efter træningen var billedet klart: De lette opgaver blev løst langt oftere, mens de svære stadig ikke blev løst i 32 forsøg. Forskerne kalder dette Matthew-effekten, efter princippet om, at den, der har, skal få. Et gennemsnit over alle opgaver ville nemlig skjule, at forbedringerne hovedsageligt kommer fra de opgaver, modellen allerede kunne lidt fra begyndelsen.

Det samme mønster går igen, når forskerne ser på andre områder som kodning og agentopgaver, hvor en model skal udføre handlinger. Her testede de med værktøjerne Deepcoder og DeepSWE og fandt, at jo sværere opgaven er fra start, desto mindre lærer modellen. Gevinsterne fra forstærkningslæring er altså proportionale med, hvor lette problemerne er.

Papiret foreslår en metode kaldet 'Never Give Up' til at løse problemet. Blogindlægget beskriver den ikke i detaljer, men ideen er at få modellen til at blive ved med at arbejde på svære problemer i stedet for at fokusere på de lette. Trods dette ender de sværeste AIME-opgaver stadig med at være uløste i 32 forsøg efter træningen.