AI-agenter ignorerer budgetter i systembeskeder og kræver serverstyring

Budgetbegrænsninger i systembeskeder til AI-agenter fungerer ikke, da de kan ignoreres. Det kan føre til store økonomiske tab, fordi faktureringsalarmer kun giver besked efterfølgende. Løsningen er at styre budgettet per agent på serveren med en stopknap og låste logfiler.

Hvorfor stoler vi på, at en kunstig intelligens holder sig til et budget? Det viser sig, at instruktioner i systembeskeden – altså de grundlæggende regler, man giver maskinen – ikke fungerer som rigtige grænser. Det svarer lidt til at bede et barn om ikke at bruge for mange penge, uden at give dem et fast loft på deres kort. Hvis hukommelsesvinduet, som er den mængde tekst maskinen kan overskue ad gangen, bliver for fyldt, eller hvis der sker en fejl i koden, kan agenten ignorere reglen. Det kræver kun én enkelt dyr handling, før budgettet skrider.

Mange bruger faktureringsalarmer, men dem kommer ofte for sent. De fungerer som en røgalarm, der fortæller dig, at pengene er væk, i stedet for at forhindre branden i at starte. Det er derfor bedre at give hver enkelt agent sit eget budget i stedet for at have ét stort budget for hele kontoen. Hvis flere agenter deler den samme pulje, kan én fejlslagen agent bruge alle pengene. Ved at isolere pengene per agent kan man begrænse skaden.

For at få fuld kontrol skal det samlede forbrug styres som en løbende tæller på serveren – altså på den centrale computer, der driver systemet. Her kan agenten hverken se eller påvirke tælleren. Hvis man kun sætter en grænse for hvert enkelt kald, kan agenten nemt snyde ved at lave mange små forespørgsler. En daglig grænse, der tæller alt sammen på serveren, er den eneste effektive metode.

Til sidst er der brug for en ekstern nødstop-knap, eller en såkaldt »kill-switch«. Den gør det muligt at stoppe agenten med det samme, uden at man skal vente på, at programmet når til næste trin i sin proces. Derudover skal man bruge uforanderlige logfiler, som er låste optegnelser over alt, hvad der er sket. Det sikrer, at man kan stole på dataene, når man skal finde fejl i koden midt om natten.

Vil du have, at jeg forklarer nærmere, hvordan man i praksis opsætter en sådan nødstop-knap?