Bifrost lader IT-chefer styre AI-kald fra ét punkt

En sammenligning på dev.to viser, at Bifrost er det stærkeste mellemled mellem AI og eksterne værktøjer i store virksomheder.

Det betyder noget, fordi Bifrost løser problemer med sikkerhed og plads i samtalen, som opstår med mange værktøjer.

Nu kan virksomheder selv installere og køre Bifrost, mens andre løsninger som Kong og Cloudflare passer til specifikke behov.

En sammenligning på udvikler-sitet dev.to peger på Bifrost som det stærkeste valg blandt fem gateways til Model Context Protocol, MCP, i store virksomheder. MCP er en standard, der lader kunstig intelligens, AI, bruge eksterne værktøjer. En gateway er en slags omstilling. Den sidder mellem AI-klienterne, altså de programmer, der bruger AI, og værktøjsserverne, der udbyder værktøjerne. Den samler dem bag ét endepunkt. Den styrer adgang, logger aktivitet og sender forespørgsler videre, før et værktøjskald, altså en forespørgsel om at bruge et værktøj, rammer et rigtigt system. Bifrost er bygget af Maxim AI. Den er open source, altså med offentligt tilgængelig kildekode, og skrevet i programmeringssproget Go. Den har en intern overhead på 11 mikrosekunder, altså 11 milliontedele sekund ekstra pr. forespørgsel.

Artiklen beskriver, hvordan det tager fem minutter at forbinde én MCP-server til én agent, altså én AI-assistent, der udfører opgaver. Men med femten servere fordelt på fire teams bliver det et infrastrukturproblem. Værktøjsdefinitioner – beskrivelser af, hvad hvert værktøj kan – fylder kontekstvinduet, den mængde tekst AI-modellen kan holde styr på ad gangen. Ingen kan se, hvem der kaldte hvad, og sikkerhedsafdelingen får ubesvarede spørgsmål. Sammenligningen måler gateways på seks kriterier, herunder token-effektivitet og adgangskontrol. Tokens er de små bidder tekst, AI-modellen læser og betaler for. Klassisk MCP indsætter alle værktøjsdefinitioner fra alle tilsluttede servere i konteksten ved hver forespørgsel. Ved 500 værktøjer udgør det størstedelen af udgiften.

Bifrost har en indbygget MCP-gateway, en Code Mode, der reducerer token-forbruget, og virtuelle nøgler, altså adgangsnøgler, der kan begrænses til bestemte værktøjer. Den er udgivet under Apache 2.0-licensen. Den kan selv hostes, altså køre på virksomhedens egne servere. De øvrige produkter er Kong AI Gateway, Cloudflare MCP Server Portals, LiteLLM og OpenRouter. Kong er det rigtige valg, hvis Kong allerede styrer virksomhedens API-område. API står for Application Programming Interface og er den måde, programmer taler sammen på. Cloudflare passer til teams, der bruger Cloudflare One. De vil have Zero Trust-identitetstjek på MCP-trafikken ved kanten af netværket. Zero Trust betyder, at ingen bruger eller enhed er betroet som udgangspunkt. LiteLLM er en solid open source-mulighed for mindre installationer, især for teams, der allerede kører proxyen, altså et mellemled, der videresender forespørgsler. Proxyen er skrevet i programmeringssproget Python.

OpenRouter er ikke en MCP-gateway, men en modelrouter. Den sender forespørgsler videre til forskellige AI-modeller. Den er nyttig som supplement, ikke som erstatning.