OpenAI genbruger Luna i nyt lynhurtigt API

OpenAI har åbnet programgrænsefladen Decisions API for alle kunder; et kald tager nu 100–180 millisekunder mod tidligere 1–3 sekunder. Det betyder, at udviklere hurtigt og billigt kan få en model til at vælge mellem muligheder i fx stemmeassistenter og arbejdsgange. Nu vil OpenAI ned på 60 millisekunder, mens standardtests viser blandede resultater, så flere tester den i praksis.

OpenAI har åbnet sin beslutningsgrænseflade, som selskabet kalder Decisions, for alle kunder. En grænseflade er en slags kontaktflade, som andet software kan kalde — lidt som en stikkontakt for software. Et kald tager nu 100 til 180 millisekunder. Et millisekund er en tusindedel af et sekund. Før tog samme slags kald et til tre sekunder. Modellen er ikke bygget specielt til at vælge. Det er ChatGPT Luna, hvor der er skruet op for hastigheden og ned for prisen. Det siger Nikunj Handa, produktansvarlig for OpenAIs programmeringsgrænseflader, til TechCrunch. Holdet byggede ikke en særligt kalibreret beslutningsmodel — en model hvor sikkerhedsangivelsen er finjusteret. De tog Luna og satte den udregning op, hvor modellen finder svaret. Den udregning kaldes inferens. Indtil videre er det ifølge Handa »helt almindelig Luna, der gør arbejdet«. Først senere kan der komme træning målrettet opgaven.

Beslutningsmodeller gør én ting: givet en række muligheder vælger de hurtigt og angiver, hvor sikre de er i valget. Man kan tænke på dem som en ekspedient, der hurtigt vælger mellem varer og siger, hvor sikker han er. TypeSafe, stiftet af en tidligere OpenAI-forsker, skabte markedet med sin Jev-model. TypeSafe er i dag vurderet til 7,6 milliarder dollars. Udviklere, altså folk der bygger software, har brugt modellerne til at skifte store sprogmodeller ud. En stor sprogmodel er et system trænet på store mængder tekst til at forstå og skrive sprog. Det har de gjort i arbejdsgange, hvor svaret skal komme hurtigt og billigt. Speak, der laver sproglærere med kunstig intelligens (AI), har brugt grænsefladen til at skære tiden mellem handlinger fra 1,4 sekunder til 0,13 sekunder. Box, Datadog og Ramp har også testet det. OpenAI bruger selv produktet i stemmeassistenten Dots.

Grænsefladen blev annonceret på OpenAIs udviklerdag 29. september. Den åbnede for alle kunder torsdag. Den offentlige version kan også bruge stemme og billeder. OpenAI har placeret regnekraft, altså computerkraft, i flere regioner for at sænke svartiden. På standardtests ser billedet anderledes ud. En standardtest er en fast prøve, hvor modeller sammenlignes — lidt som en fælles eksamen. AIM System One Index og Artificial Analysis Decision Index peger på D1 Ultra fra Liquid og Elephant-1 fra Base Lab. Den seneste Jev ligger syvende og tredje. OpenAIs model ligger ottende og fjortende. Til gengæld er TypeSafe fortsat den mest forespurgte på OpenRouter. TypeSafe-chef Diogo Almeida advarer selv mod at stole på standardtests.

Den sjoveste test er JevMan. Her spiller beslutningsmodellerne PacMan. Den seneste Jev fører. Handa ser gerne svartiden ned på 60 millisekunder. Det er nok til et kald for hver billedrude, altså hvert enkelt billede, i en video.