Nyt værktøj afslører, om dine AI-svar er hurtige nok

NVIDIA har udgivet AIPerf, et værktøj til at måle hastigheden af store sprogmodeller under mange samtidige forespørgsler. Det betyder noget, fordi tidligere testmetoder ikke viste den rigtige belastning, og derfor var det svært at vide, om systemet er hurtigt nok. Nu kan udviklere bruge AIPerf til at få pålidelige tal og planlægge kapacitet bedre.

NVIDIA har lavet et nyt måleværktøj, der hedder AIPerf. Det skal måle, hvor hurtigt store sprogmodeller svarer, når mange mennesker bruger dem på samme tid. En stor sprogmodel er en kunstig intelligens, der kan forstå og skrive tekst. Når modellen svarer på et spørgsmål, kaldes det inferens. At benchmarke betyder at måle ydelsen med et standardiseret værktøj — lidt som at tage tid på en løber med et stopur.

Problemet, som værktøjet løser, kender alle, der har sat en model i drift. Når systemet kører for rigtige brugere, er det svært at vide, om det svarer hurtigt nok. De gamle måder at teste på giver ikke et retvisende billede. Man kan for eksempel sende en enkelt forespørgsel med kommandoværktøjet curl, skrive et lille program i Python med asyncio, som er en teknik til at køre flere opgaver på én gang, eller selv kode en midlertidig belastningsgenerator, der sender mange forespørgsler. Fælles for dem alle er, at de er begrænset af, hvad ét enkelt program kan klare. Python har desuden en indbygget begrænsning, der hedder Global Interpreter Lock, som gør, at programmet kun kan udføre én handling ad gangen. Det svarer til at teste en restaurant ved at bestille én ret ad gangen i stedet for at se, hvordan køkkenet klarer en hel fyraften.

AIPerf er bygget til at måle i stor skala. Det vil sige, at det kan sende mange forespørgsler på samme tid, præcis som når en rigtig tjeneste bliver brugt af mange mennesker. For udviklere og teams, der driver sprogmodeller for andre, giver det mere pålidelige tal at planlægge, hvor meget trafik systemet kan klare. NVIDIA beskriver værktøjet i et blogindlæg, hvor de også forklarer, hvorfor de gamle metoder ikke slår til. AIPerf er et forsøg på at lave en fælles standard for at måle inferens i stor skala.