Open source-AI udfordrer skyens magt over beslutninger

Unsloth har udgivet version 0.1.900-beta med lokale beslutningsmodeller og hurtigere video- og billeddannelse.

Det betyder hurtigere svar på egen computer med mindre hukommelse og nem samling af dokumenter, billeder og videoer.

Nu kan brugere slå funktionen til under Indstillinger, vælge computerkraft og arbejde videre med filer og modeller.

Hvad hvis computeren selv kunne hjælpe med at vælge? Unsloth er kommet i version 0.1.900-beta. Den kan køre beslutningsmodeller direkte på din egen computer. Det er programmer der hjælper med at vælge. Lidt som terninger der også viser chancen for hvert udfald.

Den åbne model Laya er bygget på open source. Det betyder at koden er fri for alle at se. Den kan svare på ja og nej spørgsmål. Den kan vælge mellem flere svar. Den kan give point til svar med sandsynligheder. Det er bud på hvor sikkert et svar er. Man tænder funktionen under Decision Application Programming Interface (API, en kontakt til programmets funktioner). Den ligger under Settings større end tegn API. Det er Indstillinger større end tegn kontaktflade. Her vælger man model. Her vælger man om den skal bruge Central Processing Unit (CPU, computerens almindelige regnehjerne) eller Graphics Processing Unit (GPU, computerens grafiske regnehjerne). Unsloth kan også tale med TypeSafe Software Development Kit (SDK, en værktøjskasse for programmører). Det sker gennem et Jev-kompatibelt /v1/systemone-endepunkt. Det er en bestemt internetadresse for programmer. På Apple Silicon, altså Apples egne chips, kører modellen direkte med systemet MLX, Apples værktøj til maskinlæring, når GPU er valgt.

Bliver video så klar hurtigere nu? Ja, video og billedgenerering er markant hurtigere. Det er når computeren tegner nye billeder og film. Korte klip fra modellen LTX-2.3 laves cirka 4,5 gange hurtigere. Det sker med destilleret sampling, altså en genvejsmetode lidt som koncentreret saft, og hostede Floating Point 8-bit (FP8, små tal med 8 bit) vægte gemt på en server. Variational Autoencoder (VAE, den del der laver billedet færdigt) afkodning er 1,7 til 6,3 gange hurtigere. Lidt som at fremkalde et foto på kortere tid. Modellens MiniMax-H3 første render, altså første færdige billede, er op til et minut hurtigere. Den bruger 25 til 29 Gibibyte (GiB, en enhed for hukommelse) mindre topforbrug. Det gælder på A100, B200 og RTX PRO 6000. Det er navne på kraftige regnechips.

Kan man samle alt ét sted? Unsloth får nu en samlet Library-fane, altså en bibliotekshylde i programmet. Her kan man se Portable Document Format (PDF, et fast dokumentformat), Word, Excel og PowerPoint filer direkte i programmet. Her er der links til kilden. Her kan man også styre chats, altså samtaler, billeder og videoer. Der er kommet en Skills Editor, altså en redigeringsside for Skills. Skills er små ekstraevner. Her kan man oprette, redigere og slette Skills fra desktop-klienten, altså programmet på computeren. På Apple Silicon kan flere svar nu afkodes samtidig. Lidt som at åbne flere breve på én gang. Der er kommet strukturerede output, altså svar i fast skema. Der er kommet TurboQuant Key-Value (KV, nøgle og værdi) Cache, altså et midlertidigt lager i TurboQuant-udgaven. Unsloth kan også hente modeller fra ModelScope, en butik for modeller, for brugere der ikke kan bruge Hugging Face, en anden butik for modeller.

Hvad sker der bag kulissen når modellen lærer? Til træning, altså når modellen øver sig, og inferens, altså når den bruges til at svare, er der hurtigere block-FP8 Low-Rank Adaptation (LoRA, en metode til at finjustere med små tillæg) træning. Der er støtte til LoRA på compressed-tensors checkpoints i formatet Weights 8-bit Activations 8-bit (W8A8, vægte og signaler med 8 bit). Et checkpoint er et gemt mellemstadie. Lidt som et bogmærke i et spil. Lydmodellerne Voxtral og Qwen2-Audio kan indlæses via FastModel, altså Unsloths hurtige indlæser. Gemte checkpoints fra afbrudte eller aflyste træningskørsler kan eksporteres.