Googles AI husker 10 millioner tokens ved at sove

Google Research har præsenteret en sprogmodel, der skifter mellem en aktiv fase og en »sovefase«, hvor den lagrer ny læring i stabile hukommelsesblokke uden at ændre de gamle parametre. Det betyder noget, fordi det kan løse det velkendte problem »katastrofal glemsel«, hvor ny indlæring ødelægger modellens gamle evner. Løsningen er foreløbig forskning, ikke et produkt, og Google angiver, at metoden kan huske viden på op til 10 millioner tokens, mens næste skridt er at bevise den i praksis.

En sprogmodel fra Google Research har fået sin egen version af søvn. Modellen skifter nemlig mellem to tilstande: en aktiv fase, hvor den behandler det, brugeren giver den, og en sovefase, hvor den stopper for nye inputs og i stedet bruger sin regnekraft på at lagre det, den lige har lært. Ideen er hentet direkte fra hjernen, som under søvn stabiliserer flygtige minder i permanente strukturer – lidt ligesom når man går fra at have husket en indkøbsliste i hovedet til faktisk at have den på papir.

Problemet, modellen skal løse, er velkendt. Når en model først er udsendt, står den stille med et fast vidensafsnit – som et leksikon, der ikke kan få nye bind. Opdaterer man den løbende, risikerer man det, der kaldes katastrofal glemsel, hvor indlæring af nyt ødelægger de gamle evner. Og bruger man i stedet kun modellens kontekstvindue, altså dens midlertidige arbejdshukommelse, forsvinder det lærte, så snart sessionen slutter – ligesom en tavle, der viskes ren.

I sovefasen sker der to ting. Først flytter modellen skrøbelige kortsigtede minder fra hurtige lag til stabile hukommelsesblokke baseret på Mixture-of-Experts – en arkitektur, hvor specialiserede dele af modellen aktiveres efter behov, næsten som et kontor, hvor man kun kalder de afdelinger ind, der skal bruges. De gamle parametre, altså modellens oprindelige indstillinger, røres ikke, og det er ifølge Google netop dét, der forhindrer glemslen. Derefter nulstilles de midlertidige lag, så de er klar til næste session – tavlen er visket, men noterne er gemt i arkivet.

Den anden del hedder drømmefasen. Her genererer modellen selv syntetiske træningseksempler, altså øvelsesmateriale, den finder på selv, sorterer dem og finjusterer på de bedste. Routervælgeren – den mekanisme, der beslutter, hvilke eksperter der aktiveres – aktiverer desuden tilfældige eksperter, så modellen tvinges til at blande vidensområder, den ellers ikke ville kombinere. Man kan sige, at den drømmer sig til nye forbindelser.

Google angiver, at frameworket lader modellen huske langkontekstviden på op til 10 millioner tokens – tokens er de små tekststykker, som modellen regner i – og samtidig forbedre komplekst ræsonnement. Tallene stammer fra Googles egen forskningsblog, og det er værd at huske, at frameworket er forskning, ikke et produkt, du kan tage i brug i dag.