Meta lancerer en sprogmodel til agenter – ikke til chat

Meta har udgivet Muse Glimmer, en sprogmodel bygget til langvarige agentopgaver med mange værktøjskald i træk. Den kører med alle parametre aktiveret ad gangen, hvilket gør den mere pålidelig i komplekse workflows end modeller, der vælger dele af sig selv fra. Modellen er open-weight og kan køre lokalt på NVIDIA GPU'er, så virksomheder kan automatisere opgaver uden at sende data til skyen.

Forestil dig en chatbot. Den svarer spørgsmål, én sætning ad gangen, hurtigt og enkelt. Muse Glimmer er bygget til noget andet – mere som en personlig assistent, der modtager en lang række opgaver, bruger forskellige redskaber til at løse dem og hele tiden husker, hvad der er sket før. Over tid skal den navigere i komplicerede instruktioner og holde styr på store mængder information, som en medarbejder der jonglerer med mange bolde på én gang.

Modellen fungerer ved at bruge alle sine parametre – groft sagt, alle sine hjerneceller – til hvert eneste ord, den genererer. Det svarer til et orkester, hvor alle musikerne spiller på hver eneste node. Det står i kontrast til en anden type arkitektur kaldet »Mixture of Experts«, hvor modellen først skal beslutge, hvilke dele af hjernen den skal bruge til hvert enkelt ord, som om den først skulle finde de rigtige specialister på forskellige kontorer. Ifølge Meta giver den tætte tilgang mere pålidelig opfølgning på instruktioner, mere forudsigelig hastighed og færre fejl i komplekse arbejdsgange.

En anden vigtig ting er, at Muse Glimmer kan køre helt på din egen computer med et Nvidia-grafikkort – blandt andet modellen GeForce RTX 5090 og lignende enheder. Med en hastighed på 20.000 ord per sekund på ét grafikkort er den designet til altid aktive assistenter, der behandler data lokalt. Det betyder, at sensitive dokumenter eller automatiseringsopgaver ikke behøver at sendes ud til en ekstern tjeneste. Endelig stiller Meta modellen til rådighed som open-weight – det vil sige med den fulde opskrift inkluderet, ikke kun det færdige resultat – så virksomheder kan tilpasse og køre den gennem forskellige platforme som NIM-containere fra Nvidia, SGLang eller vLLM.