Banker og hospitaler tør kun bruge godkendte AI-agenter

AIUC har rejst 55 millioner dollars til en certificeringsstandard for AI-agenter, med Ribbit Capital i spidsen.

Det er vigtigt, fordi AI-agenter bliver sværere at kontrollere, jo klogere de bliver, og en uafhængig kontrol kan garantere, at de gør, hvad de skal.

Nu bygger AIUC standarden AIUC-1 og en testservice med 250 sikkerhedschefer og kunder som Cursor og Harvey.

Har du nogensinde undret dig over, hvem der sikrer, at en kunstig intelligens (AI) gør præcis det, den skal – og ikke noget andet? Det spørgsmål arbejder virksomheden AIUC med. De har rejst 55 millioner dollars til at bygge en certificeringsstandard for AI-agenter. En AI-agent er et program, der selv kan udføre opgaver, som at booke møder eller svare på henvendelser. Tirsdag blev en investeringsrunde på 40 millioner dollars annonceret med Ribbit Capital i spidsen og First Harmonic som deltager. Tidligere har selskabet hentet 15 millioner dollars i en første investeringsrunde fra blandt andre Nat Friedman og Ben Mann, der var med til at stifte AI-virksomheden Anthropic.

Selskabet er stiftet af Rune Kvist, der var blandt de første ansatte hos Anthropic, og Rajiv Dattani, tidligere driftsdirektør i AI-sikkerhedsorganisationen METR. De to er svogre. Kvist forklarer, at AI-agenter bliver sværere at kontrollere, jo klogere de bliver. »AI bliver smartere i et stadig hurtigere tempo. Det overraskende er, at AI bliver sværere at tage i brug og sværere at kontrollere, jo klogere den bliver – ikke lettere,« siger han.

AIUC har udviklet en standard kaldet AIUC-1 og en testservice, der tjekker, om agenter lever op til standarden. Tænk på det som et sundhedsstempel på en restaurant: En uvildig inspektør kommer forbi og bekræfter, at køkkenet følger reglerne. Standarden er inspireret af System and Organization Controls 2 (SOC 2), en udbredt standard for cybersikkerhed. Ideen er at skabe en tredjepartsrevision – en uafhængig kontrol – der kan garantere, at en agent gør, hvad den skal, og ikke andet.

For at bygge standarden samlede AIUC et konsortium – en gruppe – af omkring 250 chefer med ansvar for sikkerhed og risiko hos virksomheder, der køber agenter. Gruppen mødes månedligt. AIUC nævner Cursor, Lovable, Harvey og ElevenLabs som kunder. Kvist siger, at banker, hospitaler, regeringer og militæret ikke længere afviser at bruge AI, fordi en model ikke er klog nok. »De afviser, fordi de har lovet deres egne kunder, hvad et system vil og ikke vil gøre, og ingen kan i dag garantere det.«