Rapid-MLX: Ny lokal AI-motor til Apple Silicon er 4,2x hurtigere end Ollama
Den nye open source-motor Rapid-MLX leverer lynhurtig lokal AI-afvikling på Apple Silicon med understøttelse af værktøjer som Claude Code, Cursor og Aider.
Udviklere, der ønsker at afvikle kunstig intelligens lokalt på Mac, har fået et nyt og markant hurtigere alternativ. Open source-projektet Rapid-MLX af raullenchai beskrives som den hurtigste lokale AI-motor til Apple Silicon, og målinger viser en ydelse, der er op til 4,2 gange hurtigere end den populære løsning Ollama.
Motoren er udviklet i programmeringssproget Python og er bygget til at fungere som en direkte erstatning (»drop-in replacement«) for OpenAI's API. Det gør det muligt ubesværet at integrere motoren i eksisterende workflows og udviklingsværktøjer såsom Claude Code, Cursor og Aider.
En af de mest fremtrædende funktioner ved Rapid-MLX er ydeevnen ved genanvendelse af prompts. Projektet opnår en såkaldt cached Time To First Token (TTFT) på blot 0,08 sekunder. Derudover tilbyder motoren 100 procent tool calling understøttet af 17 forskellige tool parsers, hvilket sikrer præcis håndtering af eksterne værktøjer og instruktioner.
Rapid-MLX indeholder ligeledes funktioner som prompt cache, separation af resonering (reasoning separation) og cloud routing, der kan videresende forespørgsler efter behov. Motoren benytter teknologier som FastAPI og har relation til emner som DeepSeek og inference på Apple Silicon.
Projektet har opnået stor opmærksomhed på GitHub, hvor det har samlet 3.390 stjerner og er blevet forket 387 gange. For udviklere på Apple-platformen repræsenterer Rapid-MLX dermed en effektiv og højtydende løsning til lokal afvikling af store sprogmodeller.