Cua-lag får llama.cpp til at køre 16 gange hurtigere i macOS-VM

Et lille kompatibilitetslag fra Cua-teamet ændrer svar om GPU-muligheder i en macOS-virtualisering, så AI-modeller som llama.cpp kan bruge hurtigere Metal-kerner. Det gør en stor forskel: TinyLlama kører over 10 gange hurtigere, og store modeller når næsten samme ydelse som direkte på hardwaren. Projektet er udgivet som open source, så andre kan teste og forbedre det.

Forestil dig, at du har en computer indeni en computer – et lille, lukket system (et såkaldt gæstesystem) som kører oven på dit normale styresystem, macOS. Det er en teknik, der minder om at have et ekstra værelse bag en dør, hvor man kan køre programmer uden at forstyrre resten af huset. For at billedet skal fungere, skal værelset have sine egne redskaber – blandt andet sin egen grafikprocessor (GPU), altså den del af computeren, der er specialiseret i billedberegninger. Apples Virtualization.framework bygger sådan et virtuelt redskab ved hjælp af den fysiske GPU, du allerede har i din Mac. Problemet er bare, at dette virtuelle redskab kun fortæller programmerne om en beskeden samling af evner – som en handyman, der siger, at han kun kan bruge en skruetrækker, selvom han rent faktisk har hele bæltet med sig. Resultatet er, at programmer som llama.cpp, der bruger grafikkortet til at accelerere kunstig intelligens, vælger den langsomme rute.

Teamet bag cua fandt en løsning på det. De byggede et lille kompatibilitetslag – tænk på det som en hurtig seddel, man klistrer på døren ind til værelset, som fortæller gæsteprogrammet: »Her er faktisk bedre redskaber tilgængelige, end du tror.« Når laget ændrer svarene om GPU-ens evner for én bestemt proces, vælger llama.cpp pludselig nyere og hurtigere beregningsmetoder (såkaldte Metal-kerner, named after Apple's Metal-teknologi til grafik). Og forskellen er markant.

På en M1 Ultra-chip gik TinyLlama 1.1B fra at sløse med tiden til at behandle sine input (såkaldte prompts, altså spørgsmålene man stiller modellen) hele 11 gange hurtigere og generere svar-ord hele 16 gange hurtigere sammenlignet med den uændrede virtuelle maskine. Promptbehandlingen nåede 98 procent af den ydelse, man ville få ved at køre direkte på maskinens eget hardware. Med en større model, Google Gemma 4 12B på knap syv gigabyte, blev prompthastigheden 7,2 gange hurtigere og token-genereringen (tokens er de små bider af tekst, modellen bygger svarerne af) hele 14,5 gange hurtigere – nu med 99,59 procent af direkte-hardware-ydelsen. Endelig testede de Meta Muse Glimmer 30B Q4_K-M GGUF, en endnu tungere model, i en virtuel maskine med 64 gigabyte hukommelse. Her gav låsningen af den virtuelle maskine 7,55 gange hurtigere promptbehandling og 8 gange hurtigere token-generering.

Projektet er open source – altså frit tilgængeligt og gennemsigtigt for alle – under samme licens som Lume og Cua. Koden indeholder kildekode, byggeskripter, et lille testværktøj til at måle evner (en såkaldt evningsprobe) og rå benchmark-logfiler, så enhver kan gengive resultaterne og udforske, hvilke Apple Silicon-chips, macOS-versioner og Metal-arbejdsbyrder der faktisk nyder godt af forbedringen.