Nu kan organisationer træne AI-modeller uden at sende data ud af huset

William & Mary og NVIDIA har udviklet FedUMM, som drastisk mindsker datatrafikken ved træning af AI-modeller. Det gør det muligt at træne modeller på tværs af institutioner uden at flytte private data, hvilket sparer ressourcer. Systemet styres af NVIDIA FLARE, som håndterer opdateringerne effektivt og gør teknologien lettere at udrulle.

Forestil dig, at flere forskellige organisationer gerne vil træne en kunstig intelligens sammen, men de må ikke flytte deres private data væk fra deres egne computere. Det kaldes federeret læring (federated learning). Det er særligt nyttigt for såkaldte vision-language-modeller (VLM), som er AI-systemer, der kan forstå og ræsonnere mellem både billeder og tekst, for eksempel ved at skrive billedtekster.

For at gøre dette lettere har William & Mary og NVIDIA udviklet en ny metode kaldet FedUMM. Tidligere skulle man sende hele modellens tilstand – altså hele dens »hjerne« – frem og tilbage, hvilket kræver enormt meget data. Nu sender man i stedet kun små Low-Rank Adaptation (LoRA) adaptere. Man kan sammenligne det med, at man ikke sender en hel encyklopædi hver gang, men kun sender et par små huskesedler med rettelser. Disse rettelser bliver lagt oven på en fastlåst BLIP-backbone (Bootstrapping Language-Image Pre-training), som fungerer som modellens stabile fundament.

Denne smarte genvej betyder, at datatrafikken pr. runde falder drastisk fra 28,6 GB til blot 0,094 GB. Det mindsker presset på både internetforbindelsen og servernes hukommelse, mens ydeevnen stadig er næsten lige så god, som hvis alle data var samlet ét sted.

Selve styringen af træningen sker med værktøjet NVIDIA FLARE. For at kunne håndtere store opdateringer bruger det tensor-streaming (hvor data sendes i en jævn strøm) og diskbaseret aggregering (hvor data samles midlertidigt på harddisken). Værktøjet har desuden en Recipe Application Programming Interface (API), som er et sæt standardiserede instruktioner, samt moduler der kan flytte data til disken, så systemet kan skaleres til at håndtere endnu større opgaver.

Vil du have, at jeg forklarer nærmere, hvordan de små »huskesedler« (LoRA-adaptere) rent faktisk ændrer AI-modellens viden?