NVIDIA giver AI mere fart med fire bit

En video fra YouTube-kanalen bycloud om NVIDIAs nye teknik med fire dataenheder, kaldet NVFP4, har fået 11.000 visninger på fire timer.

Det er vigtigt, fordi at bruge færre dataenheder kan gøre træning af kunstig intelligens hurtigere og mindre hukommelseskrævende, men kræver særlige tricks for at være stabil.

Videoen er sponsoreret, og beskrivelsen er afkortet, så de sidste punkter er ukendte.

En ny video på YouTube-kanalen bycloud har fået 11.000 visninger på fire timer. Videoen handler om NVIDIAs kommende Vera Rubin-grafikkort og om en ny præcision kaldet NVFP4. Men hvad betyder det egentlig?

Computere regner med bit, som er den mindste enhed af data. En bit kan være et nul eller et ettal. Præcision handler om, hvor nøjagtigt et tal kan repræsenteres. Jo flere bit, jo mere præcist kan computeren regne, men jo mere hukommelse og tid kræver det. Det er som at runde tal af i hovedet: Det går hurtigere end at regne præcist, men resultatet er ikke helt nøjagtigt. NVFP4 er NVIDIAs udgave af FP4, en måde at repræsentere tal på med kun fire bit. Det gør beregningerne hurtigere og mindre hukommelseskrævende. Men det stiller store krav til stabilitet, når man træner store sprogmodeller. Det er de systemer inden for kunstig intelligens, der forstår og skriver tekst, som for eksempel ChatGPT. Ifølge videobeskrivelsen er det sværere end bare at bruge færre bit. Videoen gennemgår de træningstricks, der gør præcisionen stabil, og hvorfor NVIDIA vælger den.

Videoen har fået 558 likes siden udgivelsen for fire timer siden. Det svarer til en like-andel på omkring fem procent. Den er en del af en større fortælling om, hvordan hardware til kunstig intelligens bruger lavere præcision for at øge ydeevnen. Lavere præcision betyder mindre hukommelsesforbrug og hurtigere beregninger, men stiller større krav til stabilitet under træning.

Beskrivelsen indeholder et sponsorlink til Crusoe Intelligence Foundry, en cloud-tjeneste til inferens og finjustering. En cloud-tjeneste er en tjeneste, der kører på internettet i stedet for på ens egen computer. Inferens er, når en trænet model bruges til at svare på spørgsmål, og finjustering er, når man tilpasser en model til en bestemt opgave. Videoen er altså sponsoreret, men det fremgår ikke, hvordan det påvirker indholdet. Beskrivelsen er desuden afkortet i slutningen, så videoens sidste pointer ikke er kendt.