Hvornår skal en AI-tutor holde mund? Det kan den stadig ikke lære

Et evalueringsframework kaldet TutorMoments fra Allen Institute for AI viser, at AI-tutorer tilbyder for meget støtte og overser øjeblikke, hvor elever bør kæmpe selv. Det er vigtigt, fordi effektiv undervisning kræver balance mellem hjælp og tilbageholdenhed for at fremme selvstændig tænkning. Nu frigives anonymiserede transskripter, kode og modelsvar for at hjælpe forskere med at måle og forbedre AI-tutorers tilpasningsevne.

Forestil dig en privatlærer, der hjælper en elev med matematik. Til tider skal læreren gribe ind og vise vejen. Andre gange skal læreren netop *holde sig tilbage*, så eleven selv finder frem til løsningen. Det er en balance, som rigtige lærere bruger år på at mestre. Men kan kunstig intelligens (computerprogrammer, der kan forstå og generere sprog) klare samme opgave? Et nyt evaluationsframework – altså et system til systematisk afprøvning – kaldet TutorMoments fra Allen Institute for AI undersøger netop det. Frameworket er bygget på virkelige transskripter, som er ordrette optegnelser af samtaler, fra-til-en matematikundervisning. Erfarne lærere har markeret de øjeblikke, hvor en tutor stod over for et valg: gøre opgaven lettere eller presse eleven til at tænke selv. Derefter overtog en sprogmodel rollen som tutor i en simuleret – det vil sige kunstigt genskabt – undervisningssession.

Resultatet er klart. Når modellen blot får besked på at »undervise godt«, tilbyder den konsekvent for meget hjælp. Den overser de øjeblikke, hvor en erfaren lærer ville trække sig tilbage og lade eleven gøre det kognitive arbejde – det vil sige den mentale anstrengelse, det kræver at forstå og løse opgaven på egen hånd. Det svarer lidt til en forælder, der hele tiden lægger ordene i munden på barnet i stedet for at lade barnet selv formulere sætningen. Selv når balancen mellem hjælp og tilbageholdenhed forklares direkte i den besked, der styrer modellens opførsel, lukkes afstanden til de menneskelige undervisere ikke.

Projektet frigiver et sæt anonymiserede undervisningstransskripter, koden til afspilningspipeline – det er den software, der kører og gentager de simulerede sessioner – og de evaluerede svar fra modellerne. Formålet er at give forskere og udviklere et præcist værktøj til at måle, om kommende AI-tutorer faktisk kan tilpasse sig den enkelte elev, præcis som en god menneskelig lærer ville gøre det.