HybridAgents tænker i tal for at bruge færre tokens

Forskere har udviklet HybridAgents, hvor AI-agenter kan skifte fra at tænke i tekst til at tænke som tal i modellens indre, mens handlinger forbliver i tekst. Det betyder, at agenten beholder værktøjsadgang og ifølge forfatterne får bedre resultater med færre tekstdele, hurtigere og billigere kørsel. Nu er tallene kun forfatternes egne i en ikke-bedømt artikel, så de skal bekræftes.

Sprogmodeller er computerprogrammer, der kan læse og skrive sprog. En agent er en sprogmodel, der også kan handle og bruge værktøjer, for eksempel en regnemaskine eller en søgefunktion. Normalt tænker og handler en sådan agent i tekst. Det svarer til at løse en opgave, mens man siger sine tanker højt. HybridAgents giver agenten mulighed for midt i opgaven at skifte til at tænke uden ord. Tankerne ligger i stedet som tal inde i modellen. Handlingerne foregår stadig i tekst. Det betyder, at agenten ikke mister adgangen til sine værktøjer. Samtidig kan man bagefter se de skjulte tanker.

Skiftet mellem de to måder at tænke på styres af HybridLink. Det er en let komponent, altså en lille del af systemet. Den sender den tekst, modellen skriver, frem og tilbage mellem de to tilstande. En arbejdshukommelse fungerer som en notesblok. Den holder både tekst og tanker samlet gennem flere runder. På den måde går ingen af sammenhængen tabt undervejs.

Træningen af modellen er delt i to. Den ene del kaldes HybridSFT (superviseret finjustering). Den lærer modellen at arbejde sammen med HybridLink. Den anden del kaldes HybridRL (forstærkningslæring). Den lærer modellen, hvornår det kan betale sig at tænke i det skjulte, og hvornår den skal svare i tekst. Man kan tænke på det som først at lære at bruge et nyt køkkenredskab og derefter lære, hvornår det er værd at bruge det.

Forfatterne har testet tre forskellige modelstørrelser på 11 samlinger af opgaver. Opgaverne ligger inden for matematik, naturvidenskab, medicin, søgning og agentopgaver. Ifølge artiklen giver HybridAgent 10,4 procent bedre resultater end de førende modeller og færdige systemer til at bygge agenter. Den bruger 35,5 til 54,7 procent færre tekstbidder, som kaldes tokens. Den kører 1,8 til 2,6 gange hurtigere. Den er 2,7 til 3,7 gange billigere at køre. Tallene er forfatternes egne. Artiklen er et preprint på arXiv, et offentligt arkiv for forskningsartikler. Et preprint er ikke fagfællebedømt, altså ikke vurderet af andre forskere.