Lumabri kører store sprogmodeller via et peer-to-peer-netværk

Lumabri er et system, der gør det muligt at køre store AI-modeller via et netværk af computere. Det er vigtigt, fordi man nu kan køre modellerne uden at eje dyrt udstyr som en GPU (grafikkort). Brugere kan nu bidrage til netværket ved at dele deres diskplads eller computerkraft.

Forestil dig at du har en kæmpe fagbog på tusindvis af sider, men du behøver kun ét enkelt kapitel for at svare på dit spørgsmål. Lumabri virker på samme måde. Det er et system der lader store kunstigt intelligente modeller køre via et netværk af almindelige computere, der taler direkte med hinanden. I stedet for at downloade hele modellen på forhånd hentes kun præcis de dele, der rent faktisk bruges, fra nettet ved første forespørgsel. De gemmes derefter som et lokalt spejl på din disk, så næste gang du stiller et spørgsmål, svarer电脑en fuldstændig uden ventetid, fordi den allerede har det den skal bruge lige ved hånden.

Systemet er bygget i programmeringssproget C og er designet til at køre med en almindelig processor og en solid-state-harddisk, som er den hurtige type lagerplads de fleste nye computere har indbygget. Har du en grafisk processor, der typisk bruges til spil og billedbehandling, går det hele lidt hurtigere, men resultatet bliver fuldstændig det samme uanset hvilken hardware du sidder med. Det betyder i praksis at et helt netværk kan fungere, selvom ingen af deltagerne har en kraftig grafisk processor til rådighed.

Alle kan være med til at bære nettet på skuldrene. Man kan donere lidt af sin diskplads til at opbevare dele af modellerne, eller man kan donere regnekraft ved at lade sin computer fungere som ekspert for andre brugere i netværket. Hvor meget plads man vil sætte af til formålet, bestemmer man helt selv, og man angiver det direkte i antal gigabytes.

Hele netværket styres med enkle kommandoer direkte i chatten. Skriver man `/swarm` får man vist det anonyme netværk af deltagere, og med `/model` får man overblik over hvilke modeller der er tilgængelige, ligesom man her kan skifte imellem dem.