NVIDIAs nye værktøj øger AI-fart med op til 63 procent

NVIDIA har frigivet et værktøj i TensorRT 11.1, der automatisk finder de hurtigste indstillinger til AI-modeller. Det betyder, at modeller kan køre 14–63 procent hurtigere uden at gå på kompromis med nøjagtigheden. Udviklere bør køre værktøjet igen, når de skifter grafikkort eller ændrer software.

NVIDIA har udgivet et værktøj, der hedder Global Performance Tuner, i version 11.1 af softwaren TensorRT. Det skal gøre det automatisk at forbedre modeller for kunstig intelligens, når de skal give et svar. Den proces kaldes inferens. Man kan tænke på det som at finde den bedste opsætning til en bestemt opgave i stedet for at bruge én fast opsætning til alle.

Global Performance Tuner finder den hurtigste kombination af indstillinger for hver enkelt model. Det sker i stedet for at stole på generelle regler. I en test af ti forskellige arbejdsbyrder, altså opgaver som modellerne skulle løse, steg farten med mellem 14 og 63 procent. Tuneren prøver forskellige opbygningsruter, altså forskellige måder at bygge modellen op på, og sorterer dem fra, som ikke overholder kravene til præcision, altså hvor nøjagtigt modellen svarer. Det betyder, at hastighed og nøjagtighed nu kan behandles som to separate ting.

Systemet giver adgang til over 200 forskellige indstillingsknapper, altså mange små valg. De styrer alt fra hukommelsesplacering, hvor data placeres i hukommelsen, til kvantisering, at gøre tal mere grovkornede for at spare plads. Tidligere brugte NVIDIA eksperternes viden til at lave faste regler. Men det skabte problemer, når nye modeller skulle køre. En forbedring til én model kunne nemlig gøre en anden langsommere.

Udviklere kan bruge programmeringsgrænseflader i C++ eller værktøjet trtexec til at køre optimeringsprocessen. Det anbefales at køre tuneren igen, hvis man skifter grafikkort eller ændrer i softwaren.