AI-agenter svarer korrekt, men fejler stadig: Nu kan du se, hvorfor
Værktøjet fanger og scorer brugerforespørgsler og agentens svar, selv når alt tilsyneladende fungerer korrekt.
Når en bruger taler med en AI-agent gennem et produkt som Claude, ChatGPT eller Cursor, sker samspillet på brugerens side – ikke i din app. Det gør det svært at se, hvad der rent faktisk sker.
Armature tilbyder et SDK, du kan integrere i backenden af din MCP-server, din Claude Connector eller ChatGPT App. Værktøjet registrerer og analyserer hver session.
Systemet bruger modeller til at læse samtalerne og identificere brugerens formål. Det grupperer sessioner i brugstilfælde og rangerer dem efter, hvor mange, der bruger dem, og hvor stor succesraten er – inklusive dem, du endnu ikke understøtter.
Armature registrerer også fejl, loops og dødvinkler, selv når hvert API-svar teknisk set var succesfuldt (HTTP 200 OK). Det grupperer problemerne efter rodårsag og rangerer dem efter, hvor mange brugere, de berører.
Hver session får en score for, om brugeren fik det, de bad om. Du kan åbne en session og se hele forløbet: brugerens forespørgsel, agentens tanker og alle de udførte handlinger.
For at beskytte brugernes data scanner Armature alle sessioner for personlige oplysninger og hemmeligheder. Det fjerner dem automatisk, inden data gemmes.
Armature koster $50 pr. 1.000 sessioner, med 1.000 inkluderet om måneden. Det understøtter alle klienter, der kan nå din MCP-server.
Det er uklart: Artiklen er baseret udelukkende på produktets egen hjemmeside. Der er ingen uafhængige anmeldelser eller tekniske dybdegående tests i kildematerialet.