Med 20 GB VRAM kan du nu køre Metas nye AI-model på din egen computer

Meta har udgivet Muse Glimmer 30B, den første open source AI-model fra deres nye enhed, Meta Superintelligence Labs. Modellen er vigtig, fordi den er gratis til kommerciel brug og kan køre lokalt på almindeligt udstyr med kun 20 GB hukommelse. Unsloth har allerede lagt understøttelse ind, men benchmarks og flere detaljer om modellens præstation mangler stadig.

Muse Glimmer 30B – en ny AI-model fra Meta, du kan køre på din egen computer

Meta, det firma bag Facebook og Instagram, har netop udgivet en ny kunstig intelligens-model, der hedder Muse Glimmer 30B. Modellen kommer fra en afdeling kaldet Meta Superintelligence Labs, som er en relativt ny enhed under Meta – og faktisk er det første offentligt tilgængelige projekt fra dem. Hvad afdelingen præcist går ud på, og om Muse Glimmer bliver den første i en lang række modeller, er endnu ikke klart.

Modellen er bygget til at kunne køre direkte på din egen computer – uden at du behøver at sende data op i en fjernserver. Den kræver mindst 20 GB hukommelse at køre på, og det gælder både almindelige Mac-computere og computere med et grafikkort, som er den ekstra chip i en PC, der normalt bruges til at vise tunge grafik i spil. Man kan sammenligne det lidt med at downloade en god opskrift i stedet for at spørge en kok hver gang – man har den lige ved hånden og kan bruge den, som man vil. Modellen har 30 milliarder parametre, hvilket groft sagt er antallet af justerbare knapper, den lærer af under træning, og den er designet til at arbejde med programmeringsopgaver og mere komplekse, flertrins opgaver – altså ting, hvor modellen skal planlægge og udføre flere skridt i træk, som var den en assistent, der kan holde styr på en opgave fra start til slut.

Udgivelsen kommer med en licens, der hedder Apache 2.0, og det betyder i praksis, at alle – inklusive virksomheder – frit kan bruge modellen, også kommercielt, uden at skulle betale eller ansøge om tilladelse. Det er lidt som en opskrift, der er lagt ud til fri afbenyttelse, så længe man nævner, hvem der har lavet den. Derudover har et firma ved navn Unsloth, der laver værktøjer til at tilpasse og køre AI-modeller, allerede meldt ud, at de understøtter Muse Glimmer i deres nyeste version. Det betyder blandt andet, at man kan finjustere modellen – altså træne den yderligere til sine egne behov – på en computer med 20 GB grafikhukommelse.

Det er værd at bemærke, at der endnu ikke foreligger officielle benchmarks, som er standardiserede test, der sammenligner modellens præstation med andre. Så det er for tidligt at sige, præcis hvordan den klarer sig i forhold til konkurrenterne. Men alene det, at den kan køre lokalt, åbent og gratis, gør den til en interessant ny mulighed for både udviklere og nysgerrige brugere, der vil eksperimentere med kunstig intelligens på egen maskine.