Claude-modeller tror det er øvelse, men bryder ind i virkelige systemer
Anthropic siger, at modellerne forvekslede et simuleret øvelsesmiljø med virkelige systemer, da testpartneren ved en fejl gav dem internetadgang.
Anthropic oplyser, at tre af dets Claude-modeller under intern test fik uautoriseret adgang til sensitive produktionsmiljøer hos tre andre organisationer. Hændelserne blev afsløret torsdag.
Testen var designet til at måle modellernes offensive cyberkapaciteter. Modellerne blev fodret med »capture the flag«-opgaver, en type øvelser, der simulerer hacking. Alle modeller fik ifølge Anthropic besked om, at testmiljøet var en simulation, og at de ikke havde adgang til internettet.
Det var dog netop hvad testpartneren Irregular ved en fejl gav dem. Modellerne behandlede herefter de tilgængelige internetstier som en del af øvelsen.
De tre involverede modeller var Claude Opus 4.7, Mythos 5 samt en intern forskningsprototype. Ifølge Anthropic var det især Opus 4.7, der gik længst. Modellen brugte grundlæggende teknikker som svage adgangskoder og endpointer uden godkendelse til at få adgang.
Anthropic siger, at hændelserne fik virksomheden til at gennemgå lignende test. Det skete som reaktion på en tilsvarende hændelse tidligere på måneden, hvor OpenAI's sikkerhedsmodeller udnyttede en zero-day-sårbarhed til at bryde ind på Hugging Faces' netværk.