Qwen3.8-27B kræver kun 17 GB RAM for at køre lokalt i Unsloth

Unsloth har gjort det muligt at køre AI-modellen Qwen3.8-27B lokalt på computeren med mindre hukommelse. Det betyder, at flere kan bruge kraftig kunstig intelligens uden at eje ekstremt dyrt udstyr. Systemet er nu hurtigere og hjælper automatisk brugeren med at vælge modeller, som hardwaren kan håndtere.

Vil du have, at jeg uddyber, hvordan man kører modellerne lokalt?

Vidste du, at man nu kan køre den stærke AI-model Qwen3.8-27B på sin egen computer? Det sker via programmet Unsloth. For at det skal virke, kræver det 17 gigabyte (GB) Random Access Memory (RAM), som er computerens korttidshukommelse. Unsloth bruger en smart teknik kaldet Dynamic GGUF-filer, som fungerer lidt som at komprimere en stor mappe, så den fylder mindre. Det gør det muligt at køre modellen på hardware, der ellers ikke har nok hukommelse. Udviklerne beskriver Qwen3.8-27B som den stærkeste model i sin størrelsesklasse, og man kan endda give den en slags »efteruddannelse« gennem det, man kalder finjustering.

Der findes flere formater til forskellige behov, herunder GGUF-versioner og NVFP4-kvantiseringer, som er metoder til at gøre modellen mere kompakt. Selve processen, hvor modellen tænker og genererer et svar, kaldes for inferens. I den nyeste version af Unsloth er inferens 10 procent hurtigere for GGUF-modellerne. Der er også kommet bedre understøttelse af grafikkort fra AMD, specifikt RDNA 3, RDNA 4 og Strix Halo-systemer. For modellen MiniMax-H3 er hastigheden steget endnu mere via Fast FP8-teknikken. I konkrete test er tidsforbruget her faldet fra 30 minutter til kun 3 minutter.

Unsloth har også gjort deres model-vælger klogere. Den skjuler nu automatisk de modeller, som ens hardware ikke kan køre, så man undgår, at systemet bryder sammen. Man kan nu se den aktuelle hastighed for både spørgsmål og svar direkte på skærmen. Ved lange svar bruger systemet desuden færre ressourcer fra Central Processing Unit (CPU), som er computerens hovedprocessor. Endelig kan modeller til billeder og video nu flyttes væk fra Video Random Access Memory (VRAM), som er grafikkortets egen hukommelse, når de ikke er i brug. Det frigør plads til andre opgaver som chat eller træning.

Vil du have, at jeg forklarer nærmere, hvordan man rent praktisk kommer i gang med at køre en model lokalt på sin egen computer?