Skjult lager afgør, om ChatGPT føles hurtigt

OpenAIs platform til dataopbevaring, Habitat, håndterer nu over 70 millioner kald i sekundet for produkter brugt af en milliard mennesker.

Den enorme vækst tvang OpenAI til at ændre Habitat fra en simpel kode til et system spredt over mange steder for at undgå fejl og langsommelighed.

Artiklen er første del af en serie om OpenAIs udvidelse af datalagring.

OpenAIs lagringsplatform Habitat håndterer nu over 70 millioner forespørgsler i sekundet. Forestil dig 70 millioner mennesker, der hvert eneste sekund spørger efter noget i et kæmpe lager. Platformen serverer mere end 500 petabyte data. En petabyte er en million gigabyte — en næsten ufattelig mængde information. Produkterne, der bruger disse data, betjener over en milliard mennesker om ugen.

For to år siden så Habitat helt anderledes ud. Dengang var det et simpelt bibliotek af færdigskrevet kode i programmeringssproget Python, forbundet til én enkelt database — altså ét samlet lager. I dag er det et distribueret system, hvor data ligger spredt i næsten 40 geografiske regioner verden over. Det betyder, at brugerne altid er tæt på deres data, uanset hvor de befinder sig.

Hurtig adgang til data er afgørende for alle OpenAI-produkter. Når nogen logger ind, tjekker indstillinger i kodeværktøjet Codex eller starter en ny samtale i ChatGPT, skal systemet hente data mange gange, før det kan svare. Tænk på det som at lave en kompliceret ret: Du skal slå flere opskrifter op undervejs, og hvert opslag tager tid. Er opslagene langsomme, føles produktet langsomt. Fejler de, holder produktet op med at virke.

Ifølge OpenAI er den største udfordring ikke mængden af data, men hvor hurtigt den vokser. Ingeniører bygger typisk systemer, der kan klare ti gange så meget som i dag, og håber, at det rækker i nogle år. OpenAI er vokset mere end ti gange år efter år i tre år. Det har tvunget teamet til at forstå hver eneste komponent i detaljer og træffe taktiske beslutninger for at købe tid til større investeringer. Artiklen er første del af en serie på to om, hvordan OpenAI skalerer online lagring. Denne del handler om, hvordan Habitat udviklede sig, og hvorfor OpenAI ændrede det fra et bibliotek til en selvstændig service, som andre programmer kan kalde på.