OpenLake halverer ventetiden ved AI-nedbrud

OpenLake er blevet det hurtigste lagringssystem i MLPerf Storage v3.0-testen. Det betyder, at tiden til at gemme AI-modellens tilstand forkortes, hvilket gør træningen hurtigere. Systemet anvender nu specialiseret teknologi for at sikre minimal ventetid og høj dataoverførsel.

Vil du have, at jeg forklarer nærmere, hvilken teknologi der gør systemet så hurtigt?

OpenLake har vist sig at være det hurtigste system i en omfattende test kaldet MLPerf Storage v3.0. Her måler man, hvor hurtigt data kan flyttes. Systemet kan skrive data med en hastighed på 6,72 Gibibyte i sekundet (GiB/s) og læse dem med 11,55 GiB/s. Det er næsten dobbelt så hurtigt som det næstbedste sammenlignelige system. Denne rekordhastighed er opnået gennem en særlig motor, der hedder Infinity Core I/O Engine.

Testen fokuserer blandt andet på noget, der kaldes »checkpointing«. Man kan sammenligne det med at gemme sit spil i et computerspil, så man ikke mister alle sine fremskridt, hvis computeren skulle gå ned. Her blev en kunstig intelligens kaldet Llama 3.1 8B brugt, hvor »8B« står for 8 milliarder parametre, som er små stykker viden i modellen. Systemet blev testet via en S3 API (Simple Storage Service Application Programming Interface), som er en standard måde for software at tale med lagerplads på.

For at nå disse hastigheder bruger OpenLake teknologier som io_uring og GPUDirect Storage. De fungerer som en slags ekspresbane, der sender data direkte til computerens grafikkort uden at skabe køer eller forsinkelser. Dette sikrer det, man kalder lav latenstid (kort ventetid) og høj gennemstrømning. For at simulere et maksimalt pres i testen skrev og læste otte processer gennem 16 filer.

Vil du have, at jeg uddyber, hvordan »checkpointing« konkret hjælper med at træne store AI-modeller?