Ny testmetode finder fejl i AI-agenter som tekniske tests overser
MCP Eval introducerer en måde at teste AI-agenters faktiske brugbarhed, så udviklere kan finde fejl, som almindelige tekniske tests overser.
Læs i dit tempo
Kort
MCP Eval er en testmetode, der undersøger, om en AI kan løse opgaver ved hjælp af værktøjer fra en server. Det er vigtigt, fordi det måler praktisk brugbarhed fremfor blot at tjekke, om den tekniske forbindelse virker. Man bør derfor overvåge antallet af kald, da det afslører fejl hurtigere end succesraten.
Begynder
Lad os kigge på MCP Eval. MCP står for Model Context Protocol, som er et fælles sprog, AI-modeller bruger til at tale med eksterne værktøjer. En »eval« er en form for evaluering. Her tester man, om en AI-model kan løse en konkret opgave ved kun at bruge værktøjerne fra en bestemt MCP-server, som fungerer som en digital værktøjskasse. Resultatet ender i én af fire kategorier: det er en succes, svaret er forkert, der er foretaget for mange kald til værktøjerne, eller også er opgaven ikke testbar.
Det er meget forskelligt fra almindelige tests. Forestil dig en tømrer. En almindelig test tjekker blot, om hammeren virker, når man slår på et søm. En evaluering tjekker i stedet, om tømreren selv kan finde hammeren i kassen og bruge den rigtigt til at bygge noget. Selvom en server returnerer statuskode 200 – hvilket blot er en teknisk bekræftelse på, at forbindelsen virker – kan svaret stadig være forkert. Almindelige tests fanger ikke dette, men en evaluering afslører, om værktøjskassen faktisk er brugbar for en digital agent i praksis.
Man kan også holde øje med antallet af kald, som er de gange, modellen beder om hjælp fra værktøjerne. Hvis antallet af kald stiger, er det ofte et tidligt advarselssignal. Det sker typisk, før modellen begynder at give direkte forkerte svar. Den 28. juli 2026 kom der en ny udgave af MCP-specifikationen, som er det regelsæt, alle skal følge. Den strammede reglerne for protokollen, men ændrede ikke på det grundlæggende. At en server følger reglerne i specifikationen, er nemlig ikke det samme som, at en model kan bruge den effektivt.
Vil du have, at jeg uddyber forskellen mellem en statuskode 200 og et korrekt svar med et konkret eksempel?
Fire forskellige udfald definerer resultatet af en MCP Eval: succes, forkert svar, for mange kald eller ikke testbar. Metoden tester, om en AI-model kan løse en konkret brugeropgave ved kun at bruge værktøjerne fra en given MCP-server.
Almindelige tests og evals måler forskellige ting. En test bekræfter, om et specifikt kald med bestemte argumenter returnerer det forventede resultat. En eval tester i stedet, om modellen selv kan finde det rigtige værktøj og nå frem til et korrekt svar.
Svaret kan være forkert, selvom alle kald returnerer statuskode 200. Det er en typisk fejl, som normale tests ikke fanger, fordi de kun tjekker, om protokollen virker. En eval afslører, om serveren er brugbar for en agent i praksis.
Antallet af kald er et tidligere advarselssignal end succesraten. Hvis antallet af kald stiger, er det ofte et tegn på problemer, før modellen begynder at give direkte forkerte svar.
MCP-specifikationen fra 28. juli 2026 strammede protokollen, men ændrede ikke på forholdet mellem overholdelse og brugbarhed. At en server følger reglerne i specifikationen er ikke det samme som, at en model kan bruge den effektivt.
Kilder
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Vurdering Nyheds 5/5 — Værktøjer og evaluering af Model Context Protocol (MCP).
- Skrevet Model: mimo-v2.5-free · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Vedtagelse Godkendt af Lars Louvre