AI-agenter stoler blindt på filer og installerer ukendt kode

Forskere har fundet hjemmesider, der får AI-agenter til automatisk at installere ukendte samlinger af computerkode. Det er problematisk, da AI-agenterne stoler blindt på filerne, hvilket kan give hackere adgang til systemer. Problemet er nu kendt, men det udstiller et stort sikkerhedshul i AI-agenternes måde at læse data på.

Forskere fra en israelsk startup har undersøgt 6.214 hjemmesider, herunder store teknologivirksomheder og forsvarsfirmaer. De fandt over 8.000 filer, der hedder llms.txt og llms-full.txt. Disse filer fungerer som små digitale vejvisere, der giver store sprogmodeller (LLM) — selve teknologien bag AI — et hurtigt overblik over siden. Men 120 af disse hjemmesider har en fejl. De peger på »værktøjskasser« med kode, som slet ikke er registreret endnu.

Det er problematisk, fordi AI-agenter fra firmaer som Claude, OpenAI's Codex og Nous Research's Hermes stoler blindt på disse vejvisere. Hvis vejviseren siger, at AI'en skal hente en bestemt kode, så gør den det helt automatisk. Forskerne beviste det ved selv at oprette de manglende navne, hvorefter flere dusin virksomheder ubevidst kørte deres test-kode. Én fejlkonfigureret side sender endda besøgende direkte videre til malware, som er skadelige programmer designet til at skade computere.

Problemet findes i referencer til PyPI (Python Package Index) og npm (Node Package Manager). Det er enorme online biblioteker, hvor programmører gemmer og deler deres kode. Da hverken AI-agenterne eller menneskene bag dem stiller spørgsmål til koden, opstår der et hul i forsyningskæden. Det svarer til at have en usikret bagdør i et lager, hvor uvedkommende kan snige farlig kode ind i et system, uden at nogen opdager det.

Vil du have, at jeg forklarer mere om, hvordan en »forsyningskæde« i software fungerer i praksis?