Rapid-MLX: Ny AI-motor til Apple Silicon er 4,2 gange hurtigere end Ollama
Den lokale AI-motor Rapid-MLX leverer 0,08 sekunders cached TTFT, 100 procent tool calling og fungerer som en direkte replacement for OpenAI på Apple Silicon.
Et nyt åbent kildekodeprojekt på GitHub sætter en ny standard for lokal afvikling af kunstig intelligens på Apples Mac-computere. Projektet Rapid-MLX, som er udviklet af brugeren raullenchai, beskrives som den hurtigste lokale AI-motor til Apple Silicon.
Ifølge projektets specifikationer yder Rapid-MLX op til 4,2 gange hurtigere end den populære løsning Ollama. Samtidig opnår motoren en responstid for første token (cached TTFT) på blot 0,08 sekunder, hvilket sikrer en særdeles hurtig svartid ved genanvendelse af prompts.
### Omfattende funktioner og direkte OpenAI-erstatning
Rapid-MLX er designet som en direkte erstatning (»drop-in replacement«) for OpenAI's API. Det gør det nemt for udviklere at skifte fra skybaserede løsninger til lokal afvikling uden at skulle ændre deres eksisterende arbejdsgange eller kodebase.
Blandt de centrale funktioner finder man:
- 100 % tool calling: Fuld understøttelse af eksterne værktøjskald med i alt 17 forskellige tool parsers.
- Prompt cache: Effektiv caching af prompts for hurtigere behandling.
- Reasoning separation: Adskillelse af ræsonneringsprocesser.
- Cloud routing: Mulighed for at dirigere forespørgsler til skyen ved behov.
### Integration med populære udviklingsværktøjer
Projektet henvender sig i høj grad til softwareudviklere og fungerer direkte sammen med kendte AI-kodningsværktøjer som Claude Code, Cursor og Aider. Motoren er skrevet i Python og udnytter blandt andet FastAPI-rammeværket til effektiv afvikling af sprogmodeller (LLM inference) på Apple Silicon.
Rapid-MLX har på kort tid tiltrukket sig stor opmærksomhed i open source-miljøet. På GitHub har projektet i skrivende stund opnået 3.390 stjerner og er blevet forket 387 gange. Det vidner om en markant interesse for hurtige, lokale AI-motorer til Apples hardware.