Billig AI-routing går ud over pålideligheden

OpenRouters automatiske videresendelse giver forskellige svar, fordi udbyderne bruger forskellig software, påpeger Mohamed Moustafa. Det betyder noget, fordi samme modelnavn kan mangle billedforståelse eller tænke forskelligt fra kald til kald. Udviklere kan nu låse en fast udbyder med indstillingen provider.only eller se muligheder via listen endpoints.

Tænk på OpenRouter som en taxa-central for kunstig intelligens. En udvikler ringer kun til ét nummer. Det nummer er et API (Application Programming Interface, altså en fast digital adresse man sender spørgsmål til). Centralen lover så at sende hver tur videre til den bedste chauffør. Her betyder bedst to ting. Centralen lover automatiske fallbacks, altså at den selv finder en ny chauffør hvis den første svigter. Og den lover at vælge den billigste udbyder for hver forespørgsel. En udbyder er bare det firma der i sidste ende svarer på spørgsmålet. Det løfte er et af OpenRouters vigtigste salgsargumenter. Men hvad nu hvis bilerne ikke er ens?

Det nysgerrige spørgsmål kommer fra Mohamed Moustafa. Han har lavet en gennemgang der viser et muligt problem. Simon Willison linker til gennemgangen på sin blog. Pointen er enkel. Forskellige udbydere kører forskellig serversoftware, altså forskellige motorer og programmer under hjelmen. De bruger også forskellige optimeringer og indstillinger, altså små skruer der er stillet forskelligt. Derfor kan det samme OpenRouter-nummer give forskellige resultater fra gang til gang. Konsekvenserne er helt konkrete. Nogle udbydere kan ikke behandle billeder for vision-modeller, altså modeller der kan se på billeder. Og måden ræsonnementsniveauet behandles på varierer også. Ræsonnementsniveau, på engelsk reasoning effort, betyder hvor meget modellen skal tænke sig om før den svarer. Så den samme model-ID (ID betyder identifikation, altså modellens navn-nummer) kan opføre sig forskelligt fra kald til kald. Det rammer udviklere der bruger OpenRouter som et simpelt API uden at vide hvilken udbyder der betjener forespørgslen.

Findes der så en vej ud? Ja. Med indstillingen `provider.only` kan udviklere selv styre hvilken udbyder der modtager forespørgslen. Det er som at bede centralen om den samme chauffør hver gang. Og med metoden `/endpoints`, altså en særlig adresse man kan spørge, kan man hente en liste over tilgængelige udbydere for en bestemt model-ID.