Unsloth sætter DSpark som standard og fordobler inferenshastigheden

Unsloth har udgivet version 0.1.526-beta med DSpark som standard og tilføjet DeepSeek V4 Flash og Kimi K3-modellerne. Opdateringen øger hastigheden for lokale modeller og muliggør kørsel af store modeller på almindelige computere med tilstrækkelig hukommelse. Modellerne kan nu bruges med automatisk deling af grafikkort, og projektet er sikkert og stabilt.

Unsloth har netop opdateret sit værktøj til version 0.1.526-beta, og en vigtig ny funktion ved navn DSpark er nu slået til som standard. Forestil dig det som at skifte fra en almindelig gearkasse til en hurtigere, mere effektiv en i din bil – projektet siger, at det fordobler hastigheden, når en lokal kunstig intelligens (KI) modeller svarer på spørgsmål.

Opdateringen giver også mulighed for at køre to store og avancerede modeller. Den ene hedder DeepSeek V4 Flash og kan fungere med en komprimeret filstørrelse på omkring 104 gigabyte, hvilket passer til en kraftig computer med 128 gigabyte hukommelse. Den anden er Kimi K3, en såkaldt »Mixture of Experts«-model. Det betyder, at den består af millioner af »eksperter« (konkrete tal er 2,8 billioner parametre), men kun bruger et udsnit af dem – omkring 104 milliarder – på én gang, hvilket gør den mere effektiv. Kimi K3 kan både forstå billeder og tekster i utrolig lange sammenhænge (et kontekstvindue på 1 million tokens, som svarer til bøger i stakkevis), men den kræver mere lagerplads, nemlig omkring 1,56 terabyte.

Begge modeller kan nu automatisk dele arbejdet mellem flere grafikkort (GPU'er), og hvis der ikke er nok plads på selve grafikkortet, kan dele af modellen midlertidigt flyttes over til computerens almindelige hukommelse. Kimi K3 lader dig desuden justere, hvor meget kraft den skal bruge på at tænke sig om. Ud over denne hastighedsforøgelse indeholder opdateringen fejlrettelser til Mac-computere og en mere stabil installation. Unsloth bekræfter desuden, at de ikke er berørt af et sikkerhedsproblem i et andet softwarebibliotek, da de bruger en ældre, uændret version af det.