Unsloth gør Qwen- og GLM-modeller to gange hurtigere i ny beta

Nye opdateringer fra Unsloth og MLX har gjort AI-modeller markant hurtigere på både Mac og PC. Det betyder, at avancerede modeller nu kører mere effektivt og kan trænes lettere på egen hardware. Unsloth Desktop er nu tilgængelig, og en ny API (teknisk grænseflade) gør det muligt at generere videoer.

Nogle af de nyeste kunstige intelligenser, som Qwen3.8-Flash-Next og GLM-5.3-Flash, er blevet op til to gange hurtigere. Det skyldes en teknik kaldet Multi-Token Prediction (forudsigelse af flere ord ad gangen). Man kan forestille sig det som en læser, der kan se hele ord eller korte sætninger på én gang i stedet for kun at læse ét bogstav ad gangen. Programmet Unsloth har udgivet en ny version, der gør denne hastighed til standard for begge modeller.

For Mac-brugere svarer sprogmodeller nu op til 30 gange hurtigere i lange samtaler. Det sker via MLX, som er Apples system til maskinlæring. Modellerne kan nu bruge hele deres kontekstvindue, hvilket er den mængde information, maskinen kan huske på én gang. Det svarer til at have et kæmpe skrivebord, hvor der er plads til alle papirer samtidigt. Computerens GPU-hukommelse (Graphics Processing Unit), som er den hukommelse, der driver AI-beregninger, bliver desuden ryddet mere effektivt.

Store modeller af typen Mixture of Experts (en blanding af eksperter) kan nu finjusteres med tekst og billeder på Apples egne chips. En Mixture of Experts-model fungerer som et team af specialister fremfor én generalist, og finjustering betyder, at man giver modellen ekstra træning i et bestemt emne. For brugere af AMD-hardware er der nu optimerede versioner til Windows og Linux. Disse giver understøttelse af formatet Brain Floating Point 16 (BF16) på tværs af flere grafikkort.

Der er kommet en ny måde at forbinde programmer på, kaldet en API (Application Programming Interface), som nu kan generere videoer. Unsloth Desktop er udgivet som open source, hvilket betyder, at koden er frit tilgængelig for alle på Windows, macOS og Linux. Endelig er værktøjskald – altså når AI'en bruger eksterne programmer – blevet mere stabile. Det betyder, at den kan udføre flere opgaver samtidigt uden at blande detaljerne sammen.

Vil du have, at jeg forklarer nærmere, hvordan »blandingen af eksperter« i en AI-model egentlig fungerer?