Bifrosts Code Mode sænker prisen fra 377 til 29 dollars

En ny sammenligning på dev.to gennemgår fem open source-AI-gateways — Bifrost, Kong, Agent Router, Apache APISIX og LiteLLM — hvor Bifrost ifølge egne benchmarks klarede 424 forespørgsler i sekundet mod LiteLLM's 44,84. Det betyder noget, fordi gatewayen er mellemleddet, der styrer adgang, budgetter og genforsøg på tværs af AI-udbydere, og hastighed samt pris kan variere vildt. Vælger du selv, bør du tjekke licensen og grænsen mellem gratis og betalte funktioner, da open source ikke automatisk betyder gratis hosting.

Forestil dig, at din applikation skal tale med flere forskellige AI-udbydere — OpenAI, Anthropic, AWS Bedrock eller Google Vertex AI. Det er lidt som at have abonnementer hos fire forskellige el-selskaber og skulle holde styr på fire målere, fire regninger og fire kundeserviceafdelinger. En gateway er mellemleddet, der samler det hele: ét sted at sende forespørgsler ind, som så videresendes, prøves igen ved fejl og holdes øje med, hvad de koster, og hvem der har adgang. En ny sammenligning på dev.to gennemgår fem open source-muligheder: Bifrost, Kong, Agent Router, Apache APISIX og LiteLLM.

Hastigheden er, hvad der adskiller dem mest. I en test på Amazons skyplatform (AWS) med 500 samtidige brugere over 60 sekunder håndterede Bifrost 424 forespørgsler i sekundet, mens LiteLLM klarede 44,84. Man målte også P99-svartider — altså hvor lang tid de langsomste procentdel af forespørgslerne tager — og her var der 1,68 sekunder mod 90,72 sekunder. Men der er en vigtig hage: tallene stammer fra Bifrosts egne benchmarks, så de bør behandles som en producents påstand om sit eget produkt, ikke som en uafhængig måling. Lidt som at bede en bilforhandler om at måle, hvem der kører hurtigst.

Bifrost er skrevet i programmeringssproget Go, licenseret under Apache 2.0 (en licens, der tillader næsten fri brug), og giver adgang til mere end 10.000 modeller fra over 25 udbydere gennem én fælles grænseflade, der ligner OpenAIs. Det betyder, at en eksisterende applikation typisk kan skifte ved kun at ændre sin base-URL — altså den adresse, den sender forespørgsler til. Programmet kører som én enkelt binær fil, der kan installeres på en virtuel maskine, i Kubernetes (et system til at styre software i containere) eller på et lukket netværk.

Gatewayen styrer også budgetter og hastighedsgrænser via virtuelle nøgler pr. team, kunde eller model — lidt som at give hver afdeling sit eget kort med en fast grænse. Den kan desuden cache svar på lignende prompts (det vil sige gemme tidligere svar og genbruge dem) med hjælp fra databaser som Redis, Qdrant, Weaviate eller Pinecone. Til agent-arbejde, hvor en AI selv udfører opgaver, kontrollerer MCP-gatewayen, hvilke værktøjer agenten må bruge. Bifrost rapporterer, at dens Code Mode — hvor modellen i stedet for at indlæse alle værktøjsbeskrivelser skriver et lille script — kan sænke tokenforbruget (mængden af tekst, man betaler for) med op mod 92,8 procent. I en test med 508 værktøjer faldt den rapporterede pris fra 377 til 29 dollars.

De andre fire projekter tager andre veje: Kong bygger AI-funktioner oven på en bredere API-platform, Agent Router bygger på Envoy Gateway og Kubernetes, og Apache APISIX kombinerer AI-plugins med en almindelig API-gateway. Sammenligningen advarer til sidst om det vigtigste forbehold: open source betyder ikke automatisk, at alle funktioner er gratis eller kan hostes selv. Tjek derfor licensen og grænsen mellem det gratis og det betalte, før du vælger — ligesom man læser det med småt, før man skriver under på noget.