NVIDIA lancerer Nemotron 3.5 Lightning til hurtigere AI-agenter

NVIDIA har udgivet Nemotron 3.5 Lightning, som er en ny og meget hurtig AI-model. Den gør AI-agenter billigere og hurtigere ved at udføre praktiske opgaver uden brug af tunge hovedmodeller. Modellen er nu frit tilgængelig, så udviklere selv kan tilpasse og optimere den.

Nemotron 3.5 Lightning er en ny kunstig intelligens, der kan arbejde op til fire gange hurtigere end lignende modeller. Den er bygget som en såkaldt Mixture-of-Experts (en blanding af eksperter). Forestil dig en stor virksomhed med 30 milliarder medarbejdere, som i tekniske termer kaldes parametre. Det er modellens små videnspunkter. I stedet for at alle skal svare på alt, aktiveres kun 3 milliarder af dem ad gangen. Det svarer til, at man kun sender opgaven videre til den ekspert, der rent faktisk ved noget om emnet, hvilket gør processen meget mere effektiv.

NVIDIA har skabt modellen til at håndtere selve udførelsen af opgaver i digitale assistenter, også kaldet kunstig intelligens-agenter. Den tager sig af det praktiske arbejde, hvilket kaldes eksekveringslaget. Det indebærer at bruge værktøjer, tjekke om resultaterne er korrekte og give opgaver videre til mindre under-assistenter. Fordi modellen er så hurtig, mindskes ventetiden – også kaldet latenstid – og omkostningerne falder. Man behøver nemlig ikke at bruge en stor og tung »frontmodel« til hvert eneste lille trin i processen.

For at opnå denne fart bruger modellen smarte teknikker. Den kan gætte på det næste ord for at spare tid, hvilket kaldes speculativ afkodning. Derudover bruger den kvantisering via NVFP4 og BF16 checkpoints. Kvantisering betyder her, at man forenkler tallene i modellen, så den fylder mindre og kører hurtigere. Modellen kan bruges både på ens egen hardware og i store datacentre. Med systemet NVIDIA NeMo Switchyard kan man dirigere opgaverne, så en stor model som Nemotron 3 Ultra lægger planen, mens Nemotron 3.5 Lightning udfører det praktiske arbejde.

Modellen er udgivet som »open source«, hvilket betyder, at koden er åben for alle under tilladende licenser. NVIDIA deler både vægte, data og opskrifter, så andre kan tilpasse modellen til egne behov. Den understøtter værktøjer som OpenClaw og Hermes Agent gennem sikkerhedssystemet NemoClaw.

Vil du have, at jeg forklarer mere om, hvordan »blandingen af eksperter« gør modellen hurtigere i praksis?