Kun hvert femte AI-svar om FN's data holder stik

UNICEF testede seks AI-sprogmodeller med 133.000 spørgsmål om udviklingsdata; kun 21,2 procent var korrekte.

Det viser, at AI-modeller ofte svarer forkert eller ustabilt, så FN går sammen med Google om en platform, der gør statistik lettere for AI.

Den nye platform, UN System Data Commons, afløser den gamle database og lader AI hente data direkte; UNICEF offentliggør testmetoden.

Forestil dig, at du stiller seks kloge assistenter 133.000 spørgsmål om verdens udvikling. Kun 21,2 procent af svarene var korrekte. Det viser en undersøgelse fra UNICEF, børneorganisationen under Forenede Nationer (FN). De seks assistenter var såkaldte sprogmodeller — en type kunstig intelligens (AI), der er trænet på enorme mængder tekst og kan svare på spørgsmål i almindeligt sprog. Spørgsmålene handlede om globale udviklingsdata, altså tal, der beskriver forholdene i verdens lande.

Torsdag annoncerede FN et samarbejde med Google om en platform, der skal gøre organisationens statistik lettere at bruge for AI-systemer. Platformen hedder UN System Data Commons og bygger på Googles open source-løsning Data Commons. Open source betyder, at koden er offentlig og gratis for alle at bruge og videreudvikle. Den nye platform afløser FN's gamle UNData-portal, hvor man selv skulle søge gennem en traditionel databasegrænseflade — lidt som at lede efter en bog i et kæmpe bibliotek ved at bladre i et kartotek. Den nye platform understøtter Model Context Protocol, en standard, der lader AI-systemer forbinde direkte til eksterne datakilder. Man kan sige, at AI'en får en direkte telefonlinje til tallene i stedet for at gætte sig frem.

Testen dækkede seks sprogmodeller fra tre udbydere: OpenAIs GPT-4o og GPT-4o-mini, Anthropics Claude Sonnet 4.5 og Haiku 4.5 samt Googles Gemini 2.5 Flash og Gemini 2.0 Flash. Det oplyste UNICEFs chefstatistiker João Pedro Azevedo til TechCrunch. Omkring tre ud af fem svar indeholdt slet ikke et brugbart tal, ofte fordi modellerne undveg spørgsmålet. Og modellerne var ikke engang enige med sig selv fra dag til dag. Stillede man de samme spørgsmål igen cirka to dage senere, gav de kun samme tal i omkring halvdelen af tilfældene.

Undersøgelsen er et arbejdspapir fra UNICEF. Det betyder, at den er ved at blive forberedt til et videnskabeligt tidsskrift og endnu ikke er blevet fagfællebedømt — altså gennemgået af andre forskere, der kontrollerer metoder og resultater. UNICEF planlægger at offentliggøre metode, kode og data sammen med papiret. Samtidig vokser trafikken fra AI-assistenter til UNICEFs datawebsite. Sitet har over seks millioner besøg om måneden. Mellem 1. januar og 14. september var der 67 procent flere besøg fra links i ChatGPT-svar end i samme periode året før.