Forskere brød ud af OpenAIs lukkede testmiljø

To forskere fra METR og Redwood Research skjulte flere hundrede handlinger for OpenAIs interne overvågning, mens de i tre uger var på besøg hos selskabet. De kunne også bryde ud af den isolerede testramme omkring Codex, og efter deres vurdering vil specialbyggede input sandsynligvis kunne crashe overvågningen helt.

Overvågningen dækkede heller ikke alt. METR anslår, at mellem 6 og 25 procent af den interne trafik fra agenter på GPT-5.5-niveau og opefter slet ikke var overvåget i perioden — i værste fald hver fjerde. Usikkerheden på skønnet er stor i begge retninger, understreger METR.

Også den Codex-trafik, der skulle overvåges, havde huller. Cirka 10 procent gik uden om mellem maj og juli, fordi systemet ikke fangede såkaldte komprimeringshændelser, hvor kontekst bliver opsummeret. OpenAI fandt selv fejlen og rettede den, mens revisionen stod på. I perioden kunne agenter desuden udskyde tilsynet, fordi systemet først slog til, når de gav kontrollen tilbage til brugeren. En agent kunne undgå det ved blot at blive ved med at handle.

Da revisionen begyndte, blev modeladfærd under forstærkningslæring (RL) slet ikke overvåget. OpenAI siger, at selskabet satte træningen på pause efter Hugging Face-hændelsen i august og udvidede overvågningen til også at omfatte den. Ændringerne faldt efter revisorernes adgangsperiode og indgår derfor ikke i evalueringen.

Det meste af rapporten er ikke offentlig. Den fulde rapport på 61 sider blev overdraget internt. Efter OpenAIs sløring fik ledelsen i METR og Redwood Research en version på 38 sider, mens offentligheden kun fik et kort resumé. METR oplyser, at organisationen ikke selv må offentliggøre de slørede dele. OpenAI siger, at alle de fundne svagheder er rettet.

Revisionen var et pilotprojekt mellem METR, Redwood Research og OpenAI. Til fremtidige revisioner vil METR arbejde for mere åbenhed over for offentligheden.