AI-agenter lyder rigtigt, men fuldfører ikke opgaven

NVIDIA har udgivet en guide til at evaluere AI-agenter, der fokuserer på hele opgaver frem for enkelte svar. Det betyder noget, fordi traditionel scoring ikke viser, om arbejdet faktisk blev fuldført. Nu opfordres udviklere til at måle på opgavens resultat i et live-miljø.

NVIDIA har udgivet en guide til at evaluere AI-agenter. AI står for kunstig intelligens. En AI-agent er et system, der ikke bare svarer på spørgsmål, men faktisk udfører opgaver. Guiden flytter fokus fra enkelte svar til hele opgaver. Tidligere handlede evaluering om at score et enkelt funktionskald. Et funktionskald er én enkelt handling, hvor agenten bruger et værktøj. Nu handler det om at score en hel opgave.

Det centrale spørgsmål er, om agenten kan udføre en hel kæde af arbejde. Det kan for eksempel være dusinvis af værktøjskald, der kommer efter hinanden. Et værktøjskald er, når agenten bruger et eksternt værktøj. Det kan for eksempel være at slå noget op i en database eller sende en besked. Og det skal ske mod et live-miljø. Et live-miljø er et rigtigt, kørende system — ikke en testopsætning. Det er som at øve sig i rigtig trafik i stedet for i en simulator. Hvis et trin fejler, skal agenten kunne komme sig og fortsætte.

NVIDIA skriver: »At score, om modellen lyder rigtigt, fortæller dig næsten intet om, hvorvidt arbejdet blev færdigt.« Hvad betyder det i praksis? Jo, at man ikke kun skal vurdere, om agentens svar lyder fornuftigt. Man skal vurdere, om opgaven faktisk blev løst. Det er som at bedømme en medarbejder på, om projektet blev leveret til tiden — ikke på, om de sagde de rigtige ting undervejs. Traditionel scoring ser på modeloutput, altså det, modellen siger eller skriver. Men det fanger ikke, om arbejdet blev fuldført. Derfor skal evaluering følge hele opgaven, fra første værktøjskald til endelig fuldførelse.

Guiden er udgivet på NVIDIAs blog for udviklere og henvender sig til udviklere, der skal idriftsætte agenter i produktion. At idriftsætte i produktion betyder, at agenten skal bruges i virkeligheden, ikke kun i test. NVIDIA understreger, at evaluering skal ske mod et live-miljø, hvor agenten skal kunne håndtere fejl undervejs. Pointen er, at en agent, der lyder rigtigt, ikke nødvendigvis får arbejdet gjort. Derfor bør udviklere designe evalueringer, der måler på opgavens resultat, ikke på modellens formuleringer. NVIDIA beskriver det som en nødvendig udvikling.