Sprogmodel Needle 2 bringer AI-assistenter til billig hardware uden GPU

Sprogmodellen Needle 2 er udviklet som en ekstremt lille model til billig hardware som telefoner. Den bruger meget lidt strøm og hukommelse, hvilket gør det muligt at have en assistent kørende konstant. Den kan styre enheder lokalt og sender komplekse opgaver videre til en større model i skyen.

Vil du have, at jeg forklarer nærmere, hvordan hybridteknikken med skyen fungerer?

Sprogmodellen Needle 2 er utrolig lille. Den fylder kun 14 megabyte (MB), hvilket svarer til en meget lille fil, og kræver kun 28 megabyte RAM – computerens korttidshukommelse – for at fungere. Med 45 millioner parametre, som er modellens indre justeringsknapper, og en stærk komprimering, kan den køre på helt almindelig hardware. Det betyder, at den ikke behøver en Graphics Processing Unit (GPU) eller en Neural Processing Unit (NPU), som er specialiserede chip til kunstig intelligens. I stedet kan den køre på billige telefoner eller en Raspberry Pi, som er en lille og prisbillig computer.

Modellen er lynhurtig til at spytte tokens ud, som er de små stykker tekst, den danner. På VR-briller som Meta Quest 3S og Apple Vision Pro kan den levere op til 1.500 tokens i sekundet. En Raspberry Pi 5 når 500, mens budgettelefoner i Samsungs A-serie ligger på 300 til 700. Den bruger mellem 7 og 85 gange færre MFLOPs per token end andre små modeller. MFLOPs står for »Millions of Floating Point Operations« og beskriver, hvor meget regnekraft maskinen bruger. Det gør det muligt at have en assistent kørende hele tiden uden at dræne batteriet.

Hvorfor er den så lille? 45 millioner parametre er nok til at forbinde tekst med bestemte handlinger, uden at modellen behøver at have generel viden om verden. Det svarer til en assistent, der ikke kan skrive digte, men som præcis ved, hvilken knap der skal trykkes på for at tænde lyset. Den kan derfor styre enheder, bruge værktøjer og udtrække data via et fastlagt skema.

Man kan finjustere modellen lokalt på en Mac eller PC, hvilket betyder, at man tilpasser den til en specifik opgave. Det tager alt fra få minutter til et par timer. For at sikre kvaliteten bruger systemet en hybridteknik, hvor hvert svar får en score for sikkerhed. Hvis scoren er under en fastsat grænse, bliver opgaven sendt videre til en meget større model i skyen, som er en kraftig computer på en fjernserver.

Vil du have et eksempel på, hvordan en sådan lille model kan bruges i et smart-hjem?