Udviklere dropper stikprøver og tjekker al AI-trafik

Jevals er et nyt frit værktøj, der sender otte kvalitetstjek i én forespørgsel med Jev-modeller i stedet for en dyr dommer-model.

Det gør kvalitetskontrol ekstremt billig og hurtig, så man kan tjekke hver handling i arbejdsprocessen i stedet for kun en stikprøve.

Værktøjet virker med flere modeller og fjerner den dyreste del af kontrolkæden, så hold kan kontrollere langt mere.

Jevals er et nyt open source-bibliotek — et værktøj, hvor koden er offentlig og gratis at bruge. I stedet for at lade en dyr AI-dommer bedømme kvaliteten, bruger Jevals Jev-beslutningsmodeller, altså modeller der træffer vurderinger. Et API-kald er en besked fra ét program til et andet over internettet, lidt som at bestille hos en tjener. Jevals sender otte evalueringer i ét enkelt API-kald. Hele loggen over én AI-samtale, kaldet en trace, sendes som én enkelt HTTP-anmodning — én besked til serveren. De otte evalueringer i eksemplet koster 0,00006 dollar og tager 0,33 sekunder. Det er et par tusindedele af en cent per kørsel. Derfor kan man køre evalueringer på hver eneste trace og endda inde i selve agent-løkken, det kredsløb hvor en AI-agent beslutter, handler, observerer og beslutter igen.

Biblioteket tjekker, om AI’en vælger det rigtige værktøj, og om den bruger værktøjsresultaterne korrekt. Det tjekker også forankring i faktiske data, altså om svaret bygger på virkelige data og ikke noget, AI’en har fundet på. Derudover vurderer det overholdelse af scope, svarkvalitet og fuldstændighed. Endelig er der tjek for indirekte injection-angreb, hvor skjulte instruktioner gemmer sig i data, AI’en læser, og for beskyttede sundhedsoplysninger, også kaldet PHI.

Jevals kan køre med flere forskellige modeller. Det virker med Jev gennem TypeSafe eller Vercel AI Gateway, med Kev eller Laya lokalt på en Mac, eller med en almindelig chat-LLM, altså en almindelig AI-chatmodel baseret på en stor sprogmodel. De lokale modeller er hurtigere og billigere, mens en chat-LLM er langsommere og dyrere.

Prisen er grunden til, at de fleste teams kun evaluerer en lille stikprøve af deres trafik. En frontmodel-dommer — en af de mest avancerede AI-modeller, der findes — er den dyreste del af hele evalueringskæden. I Ragas, som de fleste metriknavne stammer fra, koster faithfulness, hvor trofast svaret er mod kildematerialet, to kald til en stor sprogmodel. Answer relevancy, hvor relevant svaret er for spørgsmålet, kræver tre kald plus indlejringer, også kaldet embeddings, der omdanner tekst til tal, så AI’en kan sammenligne betydninger. Kontekstpræcision, hvor præcist AI’en bruger den rigtige kontekst, koster et kald per hentet chunk, altså per stykke tekst skåret ud af et større dokument. Hvert kald medbringer few-shot-eksempler, der viser AI’en, hvordan den skal svare, og genererer JSON, et struktureret dataformat, bid for bid. Jevals samler alle tjek i én anmodning og fjerner dermed den dyreste del af evalueringskæden.