Lokal LLM
Seneste nyt fra sektionen.
Mistral Small 4 er åben, men ikke en model til hjemmekontoret
Mistral Small 4 har 119 milliarder parametre, hvor 6,5 milliarder er aktive for hvert token. Modellen har et kontekstvindue på 256.000 token og Apache 2.0-licens, men den officielle driftsvejledning starter ved fire HGX H100-systemer eller to HGX H200-systemer.
Voxtral skriver tale lokalt med under et halvt sekunds forsinkelse
Voxtral Mini 4B Realtime er Mistrals åbne model til løbende talegenkendelse. Ved den anbefalede forsinkelse på 480 millisekunder matcher den ifølge modelkortet førende offline-modeller, og BF16-udgaven kan køre på én GPU med mindst 16 GB hukommelse.
Devstral Small 2 gør lokal kodeagent mulig på 32 GB Mac
Devstral Small 2 er en lokal kodeagent med 24 milliarder parametre og et kontekstvindue på 256.000 token. Mistral oplyser 68,0 procent på SWE-bench Verified og peger på en RTX 4090 eller en Mac med 32 GB RAM som realistisk hardware.
Lokal transskription og diktering til Mac med Qwen Scribe
Qwen Scribe er et nyt lokalt værktøj til Apple Silicon-computere, der transskriberer lyd og video og tilbyder systemomspændende diktering. Alt kører på computerens GPU, og data sendes ikke til en server.
Open source-værktøj kører Gemma 4 26B på Macs med 8 GB RAM
Et nyt open source-projekt kan køre Gemma 4 26B, en model med 26 milliarder parametre, på Apple Silicon Macs med kun 8 GB RAM. Hemmeligheden er at holde en lille kerne i hukommelsen og hente resten fra SSD efter behov.