Meta frigiver 30B model til lokal kørsel med billeder og tekst

Meta har frigivet Muse Glimmer, en open-source billed- og sprogmodel på 30 milliarder parametre, der kan køre direkte på din egen computer uden cloud-adgang. Modellen er designet til privatlivssikre opgaver som kodning og dokumentanalyse, og den er hurtigere takket være en intelligent hukommelsesbesparende teknik. Forskere og udviklere kan allerede hente og bruge den gennem populære platforme.

Forestil dig en personlig assistent, der kan se og forstå både billeder og tekst, men som kører helt privat på din egen computer i stedet for ude på internettet. Det er, hvad Meta har skabt med sin nye model, Muse Glimmer. Den er bygget til opgaver som at analysere dokumenter, skrive kode eller fungere som en intelligent hjælper – alt sammen uden at dine data behøver at forlade dit eget udstyr.

Modellen er opbygget som to tæt samarbejdende dele. Den ene er en billedforståelsesdel, der fungerer som øjne, mens den anden er en sprogsdel, der fungerer som hjernen. Disse to dele er »destilleret«, hvilket betyder, at de er komprimeret fra en meget større model for at kunne køre effektivt på en almindelig computer. Sprogdelen bruger en smart måde at læse information på: den kigger systematisk gennem teksten i mindre bidder, men tager også et totalt overblik en gang imellem, ligesom når du læser en bog og både fokuserer på sætningen og samtidig husker historien. Denne struktur gentages gennem lag af computerens »tanker« og gør den både effektiv og hurtig.

En ekstra finurlighed er en genvejs-funktion, der gør den endnu hurtigere til bestemte opgaver som at generere kodetekst. Hele pakken er gjort fri til alle at bruge og videreudvikle under en åben licens. Du kan allerede hente den og køre den på din egen maskine med hjælp fra forskellige værktøjer, der er klar til at understøtte den fra dag ét.