Spring til indhold
AiNews.dkDanske nyheder om Kunstig Intelligens

Lokal LLM

Devstral Small 2 gør lokal kodeagent mulig på 32 GB Mac

Mistrals åbne 24B-model redigerer kode med værktøjer og kan køre på en RTX 4090 eller en Mac med 32 GB RAM.

2 kilderRedigeret af Lelouvre

Tilgængelige benchmarks

Mistral oplyser 68,0 procent på SWE-bench Verified for Devstral Small 2. Det er samme resultat som GLM 4.6 på 355 milliarder parametre, men under Claude Sonnet 4.5 på 77,2 procent. På SWE-bench Multilingual får modellen 55,7 procent mod Qwen 3 Coder Plus' 54,7 procent. Tallene er Mistrals egne målinger og offentligt rapporterede sammenligningstal. Der er endnu ikke mindst fire NIel-stemmer, så vi drager ingen konklusion om brugernes oplevelse.

Kort om modellen

Devstral Small 2 er en åben kodeagent på 24 milliarder parametre. Den er trænet til at undersøge kodebaser, kalde værktøjer og ændre flere filer som led i en opgave. Modellen kan også læse billeder og har et kontekstvindue på 256.000 token. Apache 2.0-licensen tillader både privat og kommerciel brug.

Krav til maskine

Mistral skriver, at modellen kan køre på én RTX 4090 eller en Mac med 32 GB RAM. Det er et mere nyttigt pejlemærke end parametertallet alene, men lange kontekster kræver ekstra hukommelse. Det officielle FP8-lager fylder 51,6 GB på disk. vLLM-eksemplet fordeler modellen over to GPU'er; lokal kørsel på forbrugerhardware vil derfor typisk kræve en kvantiseret udgave eller en runtime som llama.cpp, LM Studio eller Ollama.

Link til Hugging Face

Hent Devstral Small 2 hos Hugging Face.

Det er uklart: Benchmarkene kommer fra producentens modelkort. NIel har endnu ikke mindst fire brugerstemmer om modellen.

Kilder

  1. Devstral Small 2 24B Instruct 2512 — officielt modelkort huggingface.co
  2. Introducing Devstral 2 and Mistral Vibe CLI mistral.ai