Hjemmets computere halverer ventetiden på AI
Det nye open source-værktøj PAIR fungerer som en virtuel router, der sender AI-forespørgsler til ledige enheder på netværket for at mindske ventetiden.
Læs i dit tempo
Kort
Nvidia har udgivet PAIR, et gratis værktøj, der fordeler AI-opgaver mellem flere computere i hjemmet. Det halverer ventetiden ved at bruge flere grafikchips (GPU'er) samtidigt i stedet for kun én. En beta-version kan nu hentes til Windows, macOS og Linux.
Begynder
Nvidia har lanceret et nyt værktøj kaldet PAIR, som står for Personal AI Router. Forestil dig det som en slags trafikbetjent for dine computere. Når en kompleks opgave kan deles op i mindre bidder, fordeler PAIR arbejdet mellem flere maskiner i dit hjemmenetværk. I en demonstration kunne tre enheder løse en opgave på under 9 minutter, mens en enkelt bærbar computer brugte 18 minutter. Det er en effektiv måde at halvere ventetiden på.
Værktøjet fungerer som en virtuel bro mellem software som Ollama eller LM Studio og dine computere. Det fungerer lidt ligesom en leder, der holder øje med, hvem der er ledig, og sender opgaverne videre dertil. På den måde undgår man, at en enkelt Graphics Processing Unit (GPU) — altså den chip, der står for de tunge beregninger — bliver overbelastet. Det smarte er, at man slet ikke behøver at ændre i sine apps eller AI-agenter for at bruge løsningen.
Man kan blande forskellige typer hardware i samme gruppe. Systemet understøtter GeForce RTX-kort fra 20-serien og frem, RTX Pro-arbejdsstationer og DGX Spark. Apple-chips fra M4-generationen kan også bruges. Programmet finder automatisk andre kompatible maskiner på netværket. Al data beskyttes med mutual Transport Layer Security (mTLS), som er en form for sikker kryptering. Beta-versionen findes nu til Windows, macOS og Linux.
Vil du have, at jeg forklarer nærmere, hvordan man kommer i gang med at bruge beta-versionen på ens egen computer?
Nvidias nye open source-værktøj PAIR (Personal AI Router) halverer ventetiden ved parallelle agent-opgaver ved at fordele belastningen på tværs af hjemmenetværket. I en demo udførte en klynge med tre enheder en opgave med fem sub-agenter på under 9 minutter, mens en enkelt laptop brugte 18 minutter.
Værktøjet fungerer som en virtuel router mellem software som Ollama eller LM Studio og netværkets computere. PAIR sender forespørgsler videre til de maskiner, der er ledige, og samler resultaterne til den applikation, der startede opgaven. Det forhindrer, at en enkelt GPU overbelastes, ved i stedet at flytte arbejdsbyrden til andre ledige ressourcer i hjemmet. Brugerne behøver ikke at ændre deres agenter eller apps for at bruge løsningen.
Hardware-understøttelsen omfatter GeForce RTX-kort fra 20-serien og opefter samt RTX Pro-workstations og DGX Spark. Apple silicon-chips fra M4-generationen er ligeledes understøttet. Dette gør det muligt at blande forskellige typer hardware i samme klynge.
Systemet finder automatisk kompatible enheder på netværket. Al trafik mellem maskinerne sikres med MTLS-kryptering for at beskytte data. Beta-versionen er tilgængelig til Windows, macOS og Linux.
Kilder
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Vurdering Nyheds 5/5 — Relevant hardware-udvikling til lokale modeller og netværk.
- Skrevet Model: mimo-v2.5-free · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Vedtagelse ainews-auto-v3 · score 0.4404