Rapid-MLX: Ny lokal AI-motor til Apple Silicon er 4,2 gange hurtigere end Ollama
Det åbne Python-projekt Rapid-MLX lover markante hastighedsforbedringer på Mac og fungerer som en direkte erstatning for OpenAI i værktøjer som Claude Code, Cursor og Aider.
Udviklere og brugere, der kører kunstig intelligens lokalt på Apple Silicon, har fået et nyt kildeåbent værktøj til rådighed. GitHub-projektet raullenchai/Rapid-MLX præsenteres som den hurtigste lokale AI-motor til Apple Silicon.
Rapid-MLX er udviklet i programmeringssproget Python og bygger blandt andet på FastAPI. Ifølge oplysningerne i projektets repositorium præsterer motoren en hastighed, der er op til 4,2 gange hurtigere end den udbredte lokale løsning Ollama. Samtidig opnås en Time To First Token (TTFT) på kun 0,08 sekunder ved brug af den indbyggede prompt cache.
Ud over den høje ydeevne fremhæves motorens avancerede funktionalitet. Rapid-MLX understøtter 100 % tool calling via i alt 17 forskellige tool parsere. Derudover tilbyder systemet funktioner til såkaldt reasoning separation, prompt caching samt cloud routing.
Et af de mest praktiske aspekter ved Rapid-MLX er rollen som en direkte »drop-in« erstatning for OpenAI's API-grænseflade. Det betyder, at motoren uden videre kan anvendes sammen med en lang række eksisterende kode- og udviklingsværktøjer, herunder Claude Code, Cursor og Aider.
Interessen for det nye open source-projekt har været markant på GitHub. I øjeblikket har raullenchai/Rapid-MLX samlet 3.390 stjerner og er blevet forket 387 gange af andre udviklere.