Store prompter gemmer en regning før API-fakturaen

Ken Walger konkluderer i ottende del af sin serie, at det kun virker midlertidigt at proppe al hukommelse i prompten (den tekst, man sender).

Det betyder noget, fordi store prompter skjuler omkostninger som langsommere svar og støj, da lagring og kommunikation er forskellige problemer.

Løsningen er tætte repræsentationer, for eksempel strukturerede poster og referencer, der bruger langt færre tekstbidder.

At proppe al hukommelse i prompten virker, indtil det ikke gør. Sådan lyder konklusionen i ottende del af udvikleren Ken Walgers serie 'Building the AI Memory Stack'. Serien udkommer på udviklerforummet DEV Community.

Walger advarer mod at behandle kontekstvinduet som et uendeligt hukommelsessystem. Kontekstvinduet er den mængde tekst, en kunstig intelligens kan overskue på samme tid, når den svarer. Tænk på det som et skrivebord: Der er plads til en del, men ikke til alt. Glemmer modellen noget, så læg flere dokumenter ind. Mangler der kontekst fra opslag i gemte oplysninger, så skru op for top-k. Det tal bestemmer, hvor mange af de mest relevante stykker information systemet henter frem. Er svaret ufuldstændigt, så gør prompten længere. Prompten er den tekst, man giver systemet.

Den tilgang har skjulte omkostninger, der vokser, før regningen fra API'et gør. API står for Application Programming Interface. Det er den måde, systemet taler med de eksterne tjenester, der driver modellen. Store prompter æder opmærksomhed. De øger latenstiden, altså ventetiden fra man spørger, til man får svar. Og de komplicerer orkestreringen, koordineringen af alle de dele, der skal arbejde sammen. Modellen skal bruge kræfter på at adskille vigtig information fra støj. Walger kalder de tilbagevendende omkostninger for arkitektoniske afgifter. De er ikke fejl. De er forudsigelige omkostninger ved at flytte, gemme, validere, hente og kommunikere information gennem et system med kunstig intelligens.

Grundpointen er, at lagring og kommunikation er to forskellige problemer. Et bibliotek kan indeholde alle bøger, der nogensinde er skrevet. Men det betyder ikke, at hver bog skal ligge på skrivebordet, mens man løser dagens problem. På samme måde kan varig hukommelse bevare års viden. Det kræver ikke, at hver eneste bid information er i dagens kontekstvindue. Løsningen er tætte repræsentationer. Strukturerede poster, skemaer, identifikatorer og referencer formidler samme betydning med en brøkdel af prompt-budgettet. Hvert ekstra token – en bid tekst, typisk et ord eller en del af et ord – konkurrerer om opmærksomhed.