AI-modeller skifter holdning forskelligt alt efter gruppe
FairStress fra Allen AI måler ikke bare, hvad en model vælger, men hvor let den skifter holdning under pres. Det kan afsløre skjult skævhed i ansættelser, lån og sundhed.
Læs i dit tempo
Kort
Allen AI har udviklet FairStress, en test der måler, om sprogmodeller behandler folk forskelligt, når de presses til at skifte beslutning. Dette er vigtigt for at sikre retfærdighed i kritiske områder som sundhed, bolig og ansættelser. Testen viser, at modellerne reagerer forskelligt på de samme argumenter alt efter personens baggrund.
Begynder
Allen AI har udviklet en test, der hedder FairStress. Den undersøger, om sprogmodeller behandler folk forskelligt. En sprogmodel er et computerprogram, der er trænet til at forstå og skrive menneskelige sprog. Testen ser på, om programmet ændrer beslutning, når det bliver presset. Det svarer lidt til at undersøge, om en person skifter mening baseret på, hvem de taler med, fremfor hvad der faktisk bliver sagt.
Testen bruger 300 forskellige situationer fra 29 områder. Det gælder for eksempel ansættelser, lån, sundhed og boliger. Her ændrer man på kandidaternes demografiske identitet, hvilket er ting som alder, køn eller baggrund. Man bruger også forskellige argumenter for hver person. Det skaber i alt over 13 millioner testtilfælde.
Forskerne testede modeller som Olmo, Llama, Qwen, Gemma, Claude og Generative Pre-trained Transformer (GPT)-familien. De opdagede, at det samme argument kan virke forskelligt. Det afhænger af, hvilken gruppe argumentet hjælper. Der var også forskel på, hvordan modellerne forklarede deres valg, og i deres interne mønstre, som er den måde, programmet behandler data på indeni.
Vil du have, at jeg uddyber, hvad det betyder, at modellerne har forskellige interne mønstre?
Allen AI har udgivet FairStress, en test der måler, om sprogmodeller behandler folk forskelligt, når de bliver presset til at skifte beslutning. Testen består af 300 scenarier fra 29 områder som ansættelse, lån, sundhed og bolig. Hvert scenarie findes i varianter, hvor kandidaternes demografiske identitet ændres, og i varianter med argumenter for hver kandidat. Det giver over 13 millioner testtilfælde.
I forsøg med modeller som Olmo, Llama, Qwen, Gemma, Claude og GPT-familien fandt Allen AI, at de samme argumenter kan gøre modeller mere eller mindre tilbøjelige til at skifte beslutning afhængigt af, hvilken gruppe argumentet favoriserer. De ser også forskelle i modellernes forklaringer og i deres interne mønstre.
Det er uklart: Kilden er afkortet, og resultatafsnittet er ikke gengivet fuldt ud. FairStress måler én bestemt fairness-definition baseret på lighed, ikke alle.
Kilder
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Vurdering Nyheds 3/5 — Ny evalueringsmetode for fairness i LLM-beslutninger er relevant ved udvikling.
- Skrevet Model: deepseek-v4.1-flash · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Billede Genereret af z_image_nsfw_v2-Q8_0
- Vedtagelse ainews-auto-v4 · score 0.4415