NVIDIA gør CUDA-kode 300 gange hurtigere med ny optimeringsguide

NVIDIA har optimeret deres CUDA-software (værktøj til grafikkort), så beregninger nu kører markant hurtigere. Det betyder, at opgaver, der før tog sekunder, nu kan løses på få millisekunder. Nu kan udviklere bruge nye værktøjer, der både øger hastigheden og fjerner programmeringsfejl.

NVIDIA har fundet måder at gøre deres CUDA (Compute Unified Device Architecture) meget hurtigere. CUDA er et system, der lader computeren bruge grafikchippen til tunge beregninger. Med nye metoder blev en opgave, der tog 6,8 sekunder, bragt ned på 23 millisekunder. Det er 300 gange hurtigere. En stor del af dette skyldes CUB-primitiver, som er færdiglavede »byggesten« af kode. Ved at udskifte håndskrevne kernels—altså de specifikke instruktioner til chippen—med disse biblioteker, blev beregningerne per billede 2.717 gange hurtigere. Tiden faldt fra 2,1 sekunder til 773 mikrosekunder.

Der er også sket forbedringer i CCCL (CUDA C++ Core Libraries), som styrer datastrømmen. Ved at bruge en slags fælleslager til midlertidige data, kaldet pooled buffers, blev den samlede pipeline—selve rækkefølgen af opgaver—2,6 gange hurtigere. Samtidig blev overførsler fra computerens hovedprocessor til grafikchippen 10 gange hurtigere. Det lykkedes ved at bruge »pinned memory«, som fungerer som en hurtig adgangsplads, hvor data ligger låst og klar til brug.

For at nå den endelige tid på 23 millisekunder brugte man OpenMP (Open Multi-Processing). Det er en teknik til parallelisering, hvor man løser mange opgaver samtidigt i stedet for én efter én. Hver arbejdsstreng fik sin egen »stream«, eller databane. Ved at bruge asynkron kopiering kan chippen flytte data og udføre beregninger på samme tid. Det svarer til at dække bordet, mens maden stadig er i ovnen.

Det nye interface i CCCL hjælper desuden med at undgå fejl. Det skelner nu skarpt mellem globale koordinater og koordinater på blok-niveau. Det er lidt som at kende forskel på en husadresse i en by og et specifikt rumnummer i en bygning. Det stopper fejl i den delte hukommelse, som man tidligere skulle finde ved hjælp af et værktøj kaldet Compute Sanitizer.

Vil du have, at jeg uddyber analogien om parallelisering, så det bliver endnu tydeligere?