Unblocked skifter til GLM 5.2 og sparer 68 procent på AI-opgaver

Unblocked har skiftet deres AI-model fra Claude Opus til GLM 5.2.

Det betyder, at virksomheden sparer 68 procent på deres største AI-udgift.

Løsningen er nu implementeret efter flere ugers grundig test af kodens kvalitet.

Virksomheden Unblocked har valgt at skifte den »hjerne«, deres AI-agenter bruger. En AI-agent er en form for digital assistent, der kan udføre en række opgaver i et kredsløb, indtil et problem er løst. De er gået fra modellen Claude Opus til GLM 5.2. Det har betydet, at de nu sparer 68 procent per opgave. Det er en stor besparelse, da udgifterne til såkaldte frontmodeller — altså de primære modeller, der kommunikerer med brugeren — udgjorde over 80 procent af deres samlede forbrug af kunstig intelligens. Oprindeligt havde de håbet på en besparelse på 95 procent, når man kiggede på prisen per token. En token er en lille bid af tekst, som AI'en bruger til at læse og skrive.

De her agenter hjælper med alt fra tekniske spørgsmål til at gennemgå computerkode. For at gøre det effektivt bruger Unblocked en »kontekstmotor«. Man kan forestille sig det som et super-organiseret arkivskab, der forbinder viden fra samtaler, dokumenter og kodesystemer. Det gør, at AI'en kan løse opgaverne hurtigere og med færre tokens, så den ikke skal bruge mange forsøg på at finde det rigtige svar.

Valget af model er det absolut vigtigste for kvaliteten, når kode skal gennemgås. Unblocked prøvede først at spare penge andre steder. De brugte blandt andet »prompt-caching«, som fungerer som en slags huskeseddel, så AI'en ikke skal genberegne det samme svar hver gang. Men denne metode var allerede 95 procent optimeret. Da de ikke kunne hente flere gevinster her, var det kun muligt at sænke prisen uden at fjerne funktioner ved at skifte selve modellen.

Selve overgangen tog flere uger. For at være sikre på kvaliteten brugte de en blind A/B-evaluering. Det betyder, at de sammenlignede svar fra begge modeller uden at vide, hvem der havde skrevet hvad. De benyttede en pulje af servere fra forskellige udbydere af inferens, som er selve processen, hvor AI'en skaber et svar. Det bød på nogle udfordringer, da systemerne skulle kunne tale sammen på samme sprog som de systemer, OpenAI har udviklet.

Vil du have, at jeg forklarer nærmere, hvordan en blind A/B-evaluering fungerer i praksis?