Opdigtet AI-efterretning sender kampfly mod kinesisk skib

En AI-chatbot opdigtede falske efterretninger, der næsten fik USA til at angribe et kinesisk skib, men operationen blev afblæst i sidste øjeblik. Det viser, at AI-hallucinationer kan få alvorlige konsekvenser, når militæret bruger teknologien til hurtige beslutninger. Nu advarer eksperter om, at militært personel skal forstå usikkerheden ved AI, især ved magtanvendelse.

En chatbot baseret på kunstig intelligens (AI) opdigtede efterretninger, der næsten udløste en væbnet amerikansk operation mod et kinesisk skib. En chatbot er et computerprogram, man kan skrive med, og som svarer på menneskelig vis. Det skete i foråret. Amerikanske kampfly var allerede i luften. Da opdagede embedsmænd, at oplysningerne bag operationen var opfundet af en chatbot. Operationen blev afblæst i sidste øjeblik. Dermed blev en potentiel konflikt med Kina afværget, skriver det amerikanske nyhedsmedie CNN (Cable News Network).

Den falske efterretning kom fra en analytiker i Special Operations Command, den amerikanske specialstyrkekommando. Analytikeren bad en chatbot om at kombinere åbne kilder med klassificeret signalefterretning. Åbne kilder er offentligt tilgængelig information. Signalefterretning er hemmelige oplysninger, der indsamles ved at aflytte elektroniske signaler. Chatbotten misidentificerede skibets lastmanifest, altså listen over, hvad skibet transporterede. Analytikeren brugte derefter værktøjet en anden gang. Denne gang bad han den om at omdanne de fejlagtige fund til et resumé, der lignede en officiel rapport. Resuméet blev sendt rundt i kommandokæden, altså op gennem de militære ledelseslag.

Episoden kommer, mens det amerikanske forsvar øger brugen af AI for at træffe beslutninger hurtigere og bevare forspringet i forhold til Kina. Pentagon, det amerikanske forsvarsministerium, kalder AI en stor fordel, fordi det gør det muligt at reagere hurtigere. Men den samme hastighed kan også lade hallucinationer slippe igennem, når det menneskelige tilsyn er utilstrækkeligt. En hallucination er, når en AI finder på noget, der lyder troværdigt, men som er forkert. Det kan sammenlignes med at være helt sikker på, at man har set noget, man slet ikke har set.

Jake Steckler er forsker ved forskningscenteret GovAI og tidligere officer i den amerikanske hær. Han mener ikke, at episoden er et argument for at droppe AI. »Disse værktøjer kan være nyttige i de rigtige sammenhænge og med de rigtige sikkerhedsforanstaltninger på plads,« siger han. Men han advarer mod at prioritere hurtig indførelse over alt andet. Steckler siger, at militært personel skal forstå usikkerheden ved sprogmodeller, altså den teknologi, der ligger bag chatbots. »Men det er især kritisk for beslutninger, der kan føre til brug af magt, som måludvælgelse, efterretningsanalyse eller operationsplanlægning. Der er liv og død på spil i de beslutninger,« skriver han til TechCrunch.