Du får hurtigere AI på Nvidia-kort med llama.cpp
Udgivelsen b11713 ændrer beregningerne med komprimerede vægte i llama.cpps CUDA-backend. Der er ingen tal for, hvor meget hurtigere det kører.
Læs i dit tempo
Kort
Beregninger med komprimerede lav-bit-vægte (små talværdier) er blevet hurtigere i llama.cpp's CUDA-backend (Nvidias grafikkort-teknik). Det betyder hurtigere kørsel for modeller med små vægte og rettelser til HIP (AMDs grafikkort-teknik) på ældre AMD-grafikkort (GCN). Nu er der byggede versioner til Ubuntu, Windows, Snapdragon-telefoner og -pc'er, mens macOS-bygget til Apple Silicon med KleidiAI (en beregningsmetode) er slået fra.
Begynder
llama.cpp (et program, der kan køre store sprogmodeller på almindelige computere) har fået hurtigere beregninger med komprimerede lav-bit-vægte i sin CUDA-backend. CUDA (Compute Unified Device Architecture, Nvidias system til at regne på grafikkort) er den del, der bruger grafikkortet. Vægte er de tal, en sprogmodel har lært. Lav-bit og komprimeret betyder, at hvert tal fylder mindre, lidt som når man pakker tøj i en rejsekuffert med mindre plads per del. Det er den del, commit-teksten kalder MMVQ. En commit-tekst er den korte besked, en programmør skriver, når en ændring gemmes. Ifølge den besked gælder fremgangen lav-bit-typer. Udgivelsen b11713 (en bestemt version af programmet) oplyser ikke, hvor meget hurtigere det kører.
Udgivelsen retter også HIP (Heterogeneous-compute Interface for Portability, AMDs udgave af Nvidias CUDA). AMD (Advanced Micro Devices, en producent af computerchips) laver HIP. På ældre GCN-grafikkort (Graphics Core Next, en ældre type arkitektur i AMD-grafikkort) med små trådgrupper, kaldet nwarps, rettes beregningerne for kvantiseringstyperne Q3_K og Q6_K. Kvantiseringstyper er måder at komprimere tal på. Q3_K og Q6_K er to bestemte måder, hvor tallene fylder omkring 3 og 6 bit. nwarps er antallet af små arbejdsgrupper, som grafikkortet deler arbejdet ud i.
Der er lagt builds (færdige versioner, klar til at installere) op til Ubuntu og Windows på x64 og arm64 med CUDA 12 og 13. Ubuntu er et gratis styresystem, og Windows er Microsofts styresystem. x64 og arm64 er to slags processorarkitekturer, altså to forskellige måder computerens hjerne er bygget på. CUDA 12 og 13 er to versioner af Nvidias system. Der er også builds til Snapdragon-telefoner og -pc'er. Snapdragon er en familie af processorer fra Qualcomm, ofte brugt i telefoner og nogle pc'er.
macOS-bygget til Apple Silicon med KleidiAI står slået fra på udgivelsessiden. macOS er Apples styresystem. Apple Silicon er Apples egne processorer. KleidiAI er en samling færdig kode, der kan gøre beregninger hurtigere.
Beregninger med komprimerede lav-bit-vægte går nu hurtigere i llama.cpps CUDA-backend. Det er den del, commit-teksten kalder MMVQ, og ifølge commit-beskeden gælder fremgangen lav-bit-typer. Udgivelsen b11713 oplyser ikke, hvor meget hurtigere det kører.
Udgivelsen retter også HIP, AMDs udgave af CUDA. På ældre GCN-grafikkort med små trådgrupper (nwarps) rettes beregningerne for kvantiseringstyperne Q3_K og Q6_K.
Builds er lagt op til Ubuntu og Windows på x64 og arm64 med CUDA 12 og 13 samt til Snapdragon-telefoner og -pc'er. macOS-bygget til Apple Silicon med KleidiAI står slået fra på udgivelsessiden.
Det er uklart: Kilden er udgivelsessiden for et automatisk build og består af commit-titler og en liste af builds. Der findes ingen målinger, benchmarks eller forklaring af, hvor meget hurtigere MMVQ kører, og det fremgår ikke, hvorfor macOS-bygget med KleidiAI er slået fra.
Kilder
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Vurdering Nyheds 3/5 — Konkret ydelsesoptimering i llama.cpp for lav-bit kvantisering på CUDA – relevant for udviklere, der kører lokale modeller, men en smal comm
- Skrevet Model: deepseek-v4.1-flash · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Korrektur 1 zen · 3 rettelser
- Billede Genereret af z_image_nsfw_v2-Q8_0
- Vedtagelse ainews-auto-v4 · score 0.277