Enigheden blandt AI-dommere kan være fælles fejl

Amazon-forskere har udviklet en metode, der vægter sprogmodeldommeres stemmer efter uafhængighed, hvilket gav 9-14 procentpoint bedre nøjagtighed.

Det betyder noget, fordi afhængige dommere ikke tæller som uafhængige vurderinger, så et panel på 10 kan opføre sig som færre.

Nu anbefaler forskerne at tjekke dommernes forskellighed og justere tilliden til resultaterne derefter.

Forestil dig ti dommere, der skal vurdere, om et svar er relevant. Otte siger ja, to siger nej. Det lyder overbevisende – men kun hvis dommerne har stemt uafhængigt af hinanden. Har de delt træningsdata, samme instruks eller samme modeltype, tæller de ikke som ti selvstændige vurderinger. Det svarer til at spørge den samme person ti gange. Forskere hos Amazon har udviklet en metode, der vægter stemmer fra sprogmodeldommere – kunstige intelligenser, der bedømmer andre kunstige intelligensers output – efter hvor uafhængige de er. I tre opgaver med paneler på ti dommere gav metoden 9 til 14 procentpoint bedre nøjagtighed end et vægtet flertal, hvor nogle stemmer tæller mere end andre.

Metoden hedder afhængighedsbevidst label-aggregering – altså en måde at lægge stemmer sammen på, der tager højde for, at dommerne kan påvirke hinanden. Den bruger Ising-modeller, som oprindeligt kommer fra fysikken og beskriver, hvordan ting påvirker hinanden to og to, lidt som magneter, der trækker i hinanden. Modellerne finder mønstre i, hvilke dommere der systematisk ender med samme vurdering, og vægter samtidig den enkelte dommers pålidelighed. Dermed kan man skelne uafhængig evidens fra fejl, som dommerne deler. Metoden kræver ingen menneskelig facitliste. Den er ikke-superviseret, hvilket betyder, at den kan bruges netop der, hvor man sætter dommerpaneler ind, fordi der ikke findes et svar at måle imod. Forbedringen blev målt på tre opgaver: at klassificere relevans, at opdage giftigt sprog og at vurdere opsummeringer. Det er typiske opgaver i en LLM-som-dommer-pipeline, hvor en eller flere store sprogmodeller (LLM) bedømmer output fra et andet system.

Forskerne Krishna Balasubramanian og Sasha Podkopaev giver også praktiske råd til dem, der bygger den slags systemer. De anbefaler at undersøge paneldiversiteten statistisk, før man stoler på den. Man skal se efter klynger i enigheden – mønstre, hvor bestemte dommere systematisk lander samme sted. Og man skal rapportere sin usikkerhed justeret for sammenhængen mellem dommerne i stedet for at behandle alle stemmer som lige meget værd. Pointen er ikke, at dommerpaneler er ubrugelige. Pointen er, at et stemmetal er et svagt signal, når dommerne kommer fra samme familie og har fået samme instruks. Et panel på ti dommere kan i praksis opføre sig som langt færre.