Billedgeneratorer får et markant speedboost

Unsloth har udgivet version 0.1.808-beta, som gør billedgeneratorer 1,2-1,7 gange hurtigere og giver AMD-brugere 20 procent mere ydelse. Opdateringen betyder hurtigere træning og mindre hukommelsesforbrug på Apple-computere, samt over 250 rettede fejl. Nu følger forbedringer til Studio og API, nye Docker-images og mere pålidelige AppImage-byg.

Unsloth er et værktøj, der gør det hurtigere og nemmere at træne og bruge store sprogmodeller – de systemer, der ligger bag chatbots og tekstgenerering. Den nyeste version, 0.1.808-beta, har fået en række forbedringer. For eksempel kører diffusion-modeller, som er den type, der blandt andet bruges til at lave billeder ud fra tekst, nu 1,2 til 1,7 gange hurtigere, når de arbejder med komprimerede talformater kaldet INT8 og FP8. Det betyder, at både træning og brug af modellerne går hurtigere, og alle modeller nyder godt af accelerationen.

For folk med AMD-hardware er der også gode nyheder. På AMDs nyeste processorer, Strix Halo og Strix Point, bruger værktøjet nu Vulkan – en grafikstandard – som standard både på Windows og Linux. Det giver omkring 20 procent mere ydelse end den tidligere metode, ROCm. Hvis man har en AMD-grafikchip uden ROCm-understøttelse, bruger Unsloth nu Vulkan i stedet for at køre på CPU'en, hvilket er en stor forbedring. Opdateringer af modellerne er også blevet dobbelt så hurtige.

På Apple-computere med Apple Silicon-chips er der også fremskridt. Træning af såkaldte gated-delta-modeller er op til 25 procent hurtigere. Desuden bruger kvantiserede MLX-hukommelsescaches – en teknik til at gemme data mere kompakt – op til 74 procent mindre hukommelse, når man arbejder med lange prompts. Der er også rettet en fejl, så automatiske opdateringer ikke længere gør systemet langsommere.

Ud over disse ydelsesforbedringer er der rettet over 250 fejl. Python-pakken, som er den måde, udviklere installerer værktøjet på, er blevet over 60 procent mindre, hvilket gør download og installation hurtigere. PyTorch, et centralt bibliotek til maskinlæring, er opdateret til version 2.11 som standard. Windows-brugere har også fået færre problemer med antivirus-software, der tidligere kunne blokere modellerne, og systemet forklarer nu tydeligt, hvis noget forhindrer indlæsning.

Studio- og API-delen af værktøjet er også forbedret. Funktioner som RAG (en metode til at hente ekstra information) og dokumentupload kører hurtigere og viser tydeligere fremskridt, så de ikke længere hænger fast ved 28 procent. Der er også en ny standardmodel, GPT-6 Astra, til Codex-login, med mulighed for at justere ræsonnementets intensitet fra lav til høj. Streaming via OpenAI-kompatibel API, lydinput og modelindlæsning er alle blevet bedre.

Endelig er der udgivet nye Docker-images – færdige pakker, der gør det nemt at køre software i containere – til NVIDIA-grafikkort fra Turing-generationen og nyere. Der er også native versioner til både AMD64- og ARM64-arkitekturer på Docker Hub. AppImage-byg, som er en måde at distribuere programmer på Linux, er blevet mere pålidelige med en fastlåst værktøjskæde, så de ikke går i stykker ved fremtidige opdateringer.