Du kan nu køre DeepSeek-V4.1-Flash i llama.cpp
Patchsættet fjerner MXFP8-formatet og gemmer Engram-tabellen som BF16. De komprimerede KV-lag beregnes kun én gang i cachen. deepseek41 er også med i Metal-testen.
Læs i dit tempo
Kort
DeepSeek-V4.1-Flash kan nu køres i llama.cpp under navnet deepseek41. Rettelserne gør kørslen mere hukommelsesvenlig og hurtigere ved at fjerne MXFP8 (et 8-bit-talformat), gemme Engram-tabellen som BF16 (et 16-bit-talformat) og kun beregne de komprimerede KV-lag (mellemlag) én gang i cachen. Et par indstillinger er droppet, deepseek41 er føjet til Metal-testen (Apples GPU-framework), og Daniel Han er medforfatter.
Begynder
Du kan nu køre sprogmodellen DeepSeek-V4.1-Flash i programmet llama.cpp. I koden hedder modellen deepseek41. En samling rettelser, et såkaldt patchsæt, rydder op i hukommelsen. Det er lidt som at rydde op på skrivebordet, så computeren ikke skal lede efter de samme ting igen og igen.
Et bestemt talformat med navnet MXFP8 er fjernet. Engram-tabellen, en tabel med navnet Engram, gemmes nu som BF16, et 16-bit-talformat. De komprimerede nøgle-værdi-lag (KV-lag) beregnes nu kun én gang i mellemlageret (cachen) i stedet for ved hver læsning.
Et par indstillinger er også droppet, blandt andet en indstilling med navnet LLAMA_DSV41_KV_MIRROR. deepseek41 er desuden føjet til testen for Metal, Apples rammeværk til grafikkort. Daniel Han står som medforfatter på ændringerne.
Du kan nu køre DeepSeek-V4.1-Flash i llama.cpp. I koden hedder modellen deepseek41.
Patchsættet rydder op i hukommelsen: MXFP8 er fjernet, Engram-tabellen gemmes som BF16 (et 16-bit-talformat), og de komprimerede KV-lag beregnes kun én gang i cachen i stedet for ved hver læsning. Et par indstillinger er også droppet, blandt andet LLAMA_DSV41_KV_MIRROR.
deepseek41 er desuden føjet til Metal-testen, Apples GPU-framework. Daniel Han står som medforfatter på ændringerne.
Det er uklart: Kilden er llama.cpp-projektets commit-beskeder. De forklarer ikke, hvad DeepSeek-V4.1-Flash er, hvor stor den er, eller hvornår den udgives, og de tekniske ændringer er kun beskrevet med kodenavne som Engram og MXFP8.
Kilder
- b11870: model: DSV4.1 flash (#31086) github.com
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Vurdering Nyheds 4/5 — Ny llama.cpp-release med modelunderstøttelse; relevant for lokale modeller, men titlen er teknisk og kræver uddybning.
- Skrevet Model: deepseek-v4.1-flash · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Korrektur 1 zen · 1 rettelser
- Billede Genereret af z_image_nsfw_v2-Q8_0
- Vedtagelse ainews-auto-v4 · score 0.4431