Google satte 200.000 agenter på pause på et halvt sekund

Google har givet hver Gemini-agent sin egen virtuelle maskine (en isoleret computer) i tjenesten Agent Compute Engine, og en forhåndsvisning åbner i de kommende måneder. Det betyder noget, fordi maskiner er dyre at holde kørende; derfor sættes ledige agenter på pause, og delt hukommelse sænker prisen. Google tester løsningen med mange agenter og tilføjer kontrol med forbrug, modeller og adgang.

Hos Google får hver Gemini-agent sin egen virtuelle maskine. En agent er et stykke software, der selv kan udføre opgaver. Gemini er Googles sprogmodel, altså et system der kan forstå og svare på sprog. Tjenesten hedder Agent Compute Engine. Hver agent kører i sin egen lille virtuelle maskine. Tænk på en virtuel maskine som en computer inde i en computer. Ifølge Google er den beskyttet af selskabets Titanium-chip, en særlig sikkerhedsbrik. Tjenesten kører allerede Gemini. Google åbner for en forhåndsvisning i de kommende måneder.

Det er ikke gratis at holde agenter kørende. Virtuelle maskiner er en af de store udgiftsposter, når man stiller systemer med agenter til rådighed. Derfor går Google efter effektiviteten. Når en agent ikke laver noget, sætter systemet automatisk dens maskine på pause. Så frigør det pladsen til andre. Delt hukommelse mellem maskinerne sænker desuden prisen for den enkelte maskine. Delt hukommelse er fælles lagerplads, som maskinerne kan bruge sammen.

Bag tjenesten ligger Agent Substrate. Det er et kørselsmiljø bygget på Kubernetes. Kubernetes er et system til at styre mange programmer. Et kørselsmiljø er det miljø, hvor programmerne kører. Agent Substrate er open source, altså kildekoden er frit tilgængelig. Ifølge Google kan det presse ti gange så mange agenter ind på en enkelt server. En server er en computer, der leverer ydelser til andre. I en test med 200.000 agenter tog det under 500 millisekunder at sætte agenterne på pause og genoptage dem. Det er under en halv sekund.

Google lægger også kontrol ovenpå. Der kommer sporing af tokenforbrug. Et token er en lille arbejdsenhed, som en sprogmodel tæller sit arbejde i. Der kommer også styring af, hvilke modeller der svarer. Og login via tredjeparter som Ping Identity og SailPoint. Tredjeparter er selskaber uden for Google. Kontrollen skal også gælde Googles tjeneste Cloud Run, Google Kubernetes Engine og Googles administrerede slutpunkter. Administrerede slutpunkter er adgangspunkter, som Google selv styrer.