Platform sikrer, at AI-brugere får det lovede resultat

MCPJam, en open source-platform til at teste og evaluere MCP-servere (software, der forbinder AI-assistenter med eksterne produkter), bruges af over 106.000 udviklere og 300 virksomheder.

Den løser problemet, at virksomheder ikke kan se, hvordan brugerne bruger deres produkter via AI-assistenter, fordi platformen tester hele workflowet fra prompt til resultat.

Platformen tilbyder værktøjer til simulation, brugertest og gentagne tests, og er vokset til et kontinuerligt testworkflow, der kører lokalt.

Mere end 106.000 udviklere og 300 virksomheder bruger MCPJam, en open source-platform, som virksomheden beskriver som den første til test og evaluering af MCP-servere. MCP står for Model Context Protocol, og en MCP-server er den software, der forbinder AI-assistenter som ChatGPT og Claude med eksterne produkter. Tænk på den som en adapter, der gør det muligt for AI’en at bruge andre programmer. Platformen dækker hele arbejdsgangen fra brugerens første besked til det forventede resultat.

Problemet er, at brugerne starter i AI-klienten og ikke i produktet selv. Virksomheder kan derfor ikke se, hvad brugeren skrev, hvordan AI’en fortolkede det, eller om serveren hjalp brugeren med at få det ønskede resultat. MCPJams direktør, Prathmesh, oplevede dette, da han ledede MCP-teknikstrategien hos Asana. Virksomheden byggede integrationer til ChatGPT og Claude, men havde ingen pålidelig måde at teste dem på, som man tester almindelig software.

Platformen tilbyder fire værktøjer. Swarms simulerer brugere med forskellige mål og beskeder for at finde, hvor arbejdsgangene bryder sammen på tværs af AI-klienter. User Testing lader udviklere se, hvordan rigtige brugere interagerer med produktet. Evals omdanner arbejdsgange til gentagelige tests, der kontrollerer, om brugerne får det forventede resultat. CI/CD, som står for Continuous Integration og Continuous Delivery, er en automatiseret proces, der kører evalueringerne på tværs af AI-klienter før hver udgivelse for at fange regressioner, altså fejl, der opstår, når noget, der tidligere virkede, går i stykker.

MCPJam er vokset fra et værktøj til at finde fejl til et kontinuerligt test- og evalueringssystem for MCP-servere. Platformen er open source, hvilket betyder, at alle kan se og bruge kildekoden, og den kører lokalt på din egen computer.