Tracelint blokerer builds i CI, når AI-agenter ignorerer fejl i deres værktøjer

Tracelint er et nyt værktøj, der finder strukturelle fejl i AI-agenters adfærd ved at analysere deres digitale spor. Det er vigtigt, da agenter ofte ignorerer fejlmeldinger fra deres værktøjer, hvilket kan føre til forkerte svar. Værktøjet kører automatisk i udviklingssystemer og markerer fejl uden brug af dyre AI-modeller.

Nogle gange kan en AI-agent – et program, der kan udføre handlinger – begå en mærkelig fejl. Den kan bruge et værktøj, for eksempel til betaling, og få en fejlbesked tilbage, men alligevel fortælle kunden, at ordren er sendt. Det svarer til, at en ekspedient smiler og siger »tak for købet«, selvom betalingskortet lige er blevet afvist. Det er ikke en fantasifuld løgn, men en teknisk brist i det, man kalder et eksekveringsspor, som er en slags digital logbog over alt, hvad agenten har gjort.

For at finde disse fejl findes værktøjet Tracelint. Det fungerer som en »linter«, hvilket er en automatisk fejlfinder, der gennemgår logbogen. Tracelint finder fejl på en deterministisk måde, hvilket betyder, at det altid giver det samme resultat for den samme fejl. Man bruger ikke andre Store Sprogmodeller (Large Language Models) til at dømme, da det er for dyrt og upræcist. Derfor er Tracelint velegnet til Kontinuerlig Integration (Continuous Integration), som er en automatisk sikkerhedskontrol, før ny software bliver udgivet.

Værktøjet holder øje med fire konkrete fejl. Det tjekker, om agenten følger reglerne for dataformater, som kaldes JSON Schema. Det ser, om agenten ignorerer fejl fra værktøjerne, eller om den sidder fast i en sløjfe og gør det samme igen og igen. Det opdager også, hvis agenten bruger information, som den slet ikke har set i sin logbog. Alt dette tjekkes med faste regler, så der er ingen AI involveret i selve kontrollen.

Tracelint giver besked via såkaldte udgangskoder, der fortæller, om kørslen var ren, om der var en strukturel fejl, eller om der var problemer med input. Det virker med data, man allerede indsamler, og følger standarden OpenInference, som er en fælles sprogregel fra OpenTelemetry til AI. Det gør det kompatibelt med platforme som Arize Phoenix og Langfuse. Der findes en demo, der laver en rapport i HTML-format, uden at man behøver en adgangskode eller at downloade store modeller.

Vil du have, at jeg uddyber en af de fire fejltyper med et konkret eksempel?