Du kan sende lette AI-opgaver til en billigere model

En finjusteret Qwen3-8B-model, Complexity Scorer, vurderer opgavers sværhedsgrad fra 0,00 til 1,00 og ramte 76 procent rigtigt mod 50 procent før. Det betyder noget, fordi en app kan sende lette opgaver til en billig model og tunge til en dyrere, så udgifter spares. Nu forbliver modellen gratis lokalt, mens den hostede tjeneste bliver betalt; træningen brugte 2.500 eksempler på Tinker.

Hvordan kan en app vide, om en opgave er let eller svær? En model kaldet Complexity Scorer giver hver prompt — altså den tekst eller opgave, man sender til den — en sværhedsgrad fra 0,00 til 1,00. Efter finjustering ramte den rigtigt i 76 procent af forfatterens egen test. Finjustering er en måde at træne en allerede færdig model videre på et mindre, specialiseret datasæt. Den oprindelige sprogmodel Qwen3-8B lå på 50 procent. På den måde kan en app sende lette opgaver til en billig model og tunge opgaver til en dyrere model.

Et kald til modellens programmeringsgrænseflade — på engelsk Application Programming Interface, forkortet API — med en prompt giver et tal tilbage. For eksempel kan svaret se sådan ud: {»complexity«: 0.50}. Modellen svarer ikke på selve opgaven. Den vurderer kun, hvor meget ræsonnement — altså hvor meget trin-for-trin-tænkning — opgaven kræver. Forfatteren ser også, at modellen kan bruges i agenter og kodningsværktøjer. Agenter er programmer, der selv kan tage flere skridt for at løse en opgave. Kodningsværktøjer er værktøjer, der hjælper med at skrive kode.

Finjusteringen foregik på Tinker fra Thinking Machines. Ifølge forfatteren var det hans første møde med finjustering. Han er .NET-udvikler — altså en udvikler, der arbejder med Microsofts .NET-teknologi — og måtte sætte Python op undervejs. Python er et programmeringssprog. Valget faldt på Qwen3-8B efter en prisvurdering. Sprogmodellen GPT-OSS-20B var billigere på papiret. Men GPT-OSS-20B er en ræsonnementsmodel, der altid skriver tankerækker, før den svarer. Det passer dårligt til en klassificering, der skal returnere ét tal hurtigt. Klassificering betyder her at sætte opgaven i en kategori, nemlig et tal.

Træningsdata bestod af 2.500 eksempler. Der var 500 eksempler for hver sværhedsgrad. Dubletter og eksempler, der overlappede med testen, blev sorteret fra. Modellen skal efter planen forblive gratis at hente og køre lokalt, for eksempel med Ollama. Ollama er et program, der gør det nemt at hente og køre sprogmodeller på sin egen computer. Forfatteren vil tage betaling for den hostede API — altså den version, der kører på hans servere, så andre kan bruge den over internettet. Blogindlægget nævner ingen beløb for træningen, selvom titlen hentyder til et budget.