Nu kan en MacBook Air med 16 GB RAM køre store lokale AI-modeller

Dynamic Quants komprimerer Qwen3.8 27B ned til 8,5 GB og gør det muligt at køre store sprogmodeller lokalt på bærbare computere med 16 GB RAM.

Qwen3.8 27B fylder nu helt ned til 8,5 GB i den mindste version. Udvikleren Atomic har udgivet Dynamic Quants til Qwen3.8-27B-GGUF, som reducerer hukommelsesbehovet fra cirka 28,9 GB ved 8-bit til 8,5 GB ved 1-bit.

Hardwarekravene til lokale modeller falder drastisk. En specifik build kaldet AD-IQ3_S fylder 13,8 GB, hvilket betyder, at modellen kan køre på en MacBook Air med 16 GB RAM. Tidligere krævede modeller i denne størrelsesorden typisk 32 GB eller 64 GB RAM for at kunne køre lokalt.

Kvaliteten af svarene holder sig høj trods den kraftige komprimering. Atomic oplyser, at den dynamiske GGUF-version vælger det samme næste token som BF16-versionen i 92,4 % af tilfældene. Dette tal indikerer, at modellen bevarer en stor del af sin oprindelige præcision.

Det bliver nu mere realistisk at køre kapable modeller på almindelig forbrugerelektronik. Hvis kvaliteten holder i virkelige benchmarks, markerer det et skifte for lokal AI, da modeller på 27 mia. parametre ikke længere kræver specialiseret hardware eller ekstremt store mængder RAM.