RAX Compute Gateway samler OpenAI, Anthropic og Gemini i én API

RAX Compute Gateway er et gratis værktøj, der samler adgangen til AI-modeller fra tre store udbydere i ét fælles adgangspunkt. Det gør det muligt at skifte mellem modeller uden at ændre i koden, hvilket gør it-systemer mere fleksible. Værktøjet kan nu installeres selv eller testes via en offentlig demo.

RAX Compute Gateway fungerer som en slags digital hovedindgang. Den samler adgangen til sprogmodeller fra tre udbydere – OpenAI, Anthropic og Gemini – i ét enkelt grænseflabsprogram, kaldet en Application Programming Interface (API). En API er blot en måde, hvorpå to computere kan tale sammen. Fordi værktøjet er »open source« – hvilket betyder, at koden er frit tilgængelig for alle – og følger en fast standard, kan man skifte mellem udbydere uden at skulle skrive programmets kode om. Det er lidt som at have én stikkontakt, der passer til alle typer stik.

Værktøjet styrer trafikken og holder styr på, hvem der har adgang, og hvor hurtigt de må bede om svar. Hvis en model ikke svarer, kan systemet automatisk prøve igen eller finde en anden vej, præcis som en GPS finder en omvej ved vejspærringer. Al data om systemets tilstand bliver gemt i en PostgreSQL-database, som er et digitalt arkiv. For at holde styr på fejlene bruger man OpenTelemetry, som er et system til at overvåge softwarens sundhed.

Man kan installere løsningen lokalt med Docker Compose eller i større systemer via Kubernetes og Helm, som er værktøjer til at pakke og styre software. Der findes også hjælpeværktøjer, kaldet Software Development Kits (SDK), til programmeringssprogene TypeScript og Python. Disse bygger på en offentlig OpenAPI-kontrakt, som fungerer som en fælles regelbog for kommunikationen. For dem, der vil prøve det selv, findes der en hurtig guide til installation.

I den første version er fokus bevidst holdt smalt. Det betyder, at den ikke kan styre Graphics Processing Units (GPU), som er kraftige chips til beregninger, og ikke kan håndtere billeder eller lyd. Den understøtter heller ikke strukturerede svar eller evnen til at bruge eksterne værktøjer. Man kan dog prøve en offentlig demo med en midlertidig nøgle. Her er man dog begrænset til én billig model, og man kan hverken modtage svar løbende som en tekststrøm eller sende store mængder data.

Vil du have, at jeg forklarer nærmere, hvordan en »fallback-politik« fungerer i praksis, når en model fejler?