Nu kan du se, hvad AI-agenter reelt kan

Harness Arena er en ny platform, der sammenligner AI-agent-harnesses under samme opgave og modelkonfiguration. Det betyder noget, fordi den giver mere retfærdige sammenligninger end tidligere benchmarks med forskellige opsætninger. Platformen er nu tilgængelig på harness-arena.ai og har allerede fået opmærksomhed i udviklermiljøet.

Harness Arena er en ny platform, hvor man kan sammenligne såkaldte AI-agent-harnesses. En AI-agent-harness er den ramme, der omgiver en kunstig intelligens, når den skal løse opgaver. Man kan tænke på det som forskellen på en rå motor og en færdig bil. Motoren er selve AI-modellen, mens harnessen er alt det, der gør den brugbar — værktøjer, regler og arbejdsgang. Platformen lader dig se, hvordan forskellige harnesses klarer sig, når de får præcis samme opgave og samme modelkonfiguration, altså samme version og indstillinger af AI-modellen. Det er beskrevet i en ny video fra AICodeKing, der tester platformen.

En central funktion hedder Battle Log. Her kan man inspicere registrerede kørsler og filtrere dem efter status, kategori eller resultat. Det giver mulighed for at se, hvad en harness faktisk producerede, ikke bare hvad den lovede. Ifølge videoens beskrivelse kan man også undersøge anonyme evalueringer, kodningsbenchmarks — det vil sige standardiserede tests, hvor AI'en skal løse kodeproblemer — og community-ratinger, hvor brugerne selv vurderer resultaterne.

Platformen har også en leaderboard, altså en rangliste, der rangerer harnesses under samme modelkonfiguration. Det er et forsøg på at gøre sammenligninger mere retfærdige end de hidtidige benchmarks, hvor hver harness ofte kører med hver sin opsætning. Videoen er kun fire timer gammel og har allerede fået opmærksomhed i udviklermiljøet. Harness Arena er tilgængelig på harness-arena.ai.