Krav om sporbarhed gør AI lettere at misbruge

AI-platforme indfører nu vandmærkning af indhold for at efterleve en ny EU-lov, og Anthropic bruger Googles SynthID-Text i sine Claude-modeller. Forskning viser, at vandmærkningen kan ændre modellernes adfærd, så de lettere følger ondsindede instruktioner. Derfor opfordres udviklere til at teste deres sprogmodeller grundigt, når vandmærkning er aktiveret.

Den Europæiske Union har vedtaget en ny lov. Som svar på den er AI-platforme – altså tjenester med kunstig intelligens – begyndt at indføre vandmærkning af deres indhold. Det betyder, at de sætter et usynligt mærke i det, de laver. Anthropic, virksomheden bag AI-modellen Claude, har oplyst, at fremtidige Claude-modeller vil bruge SynthID-Text. Det er en metode, som Google har udviklet og udgivet som åben kildekode, så alle kan se og bruge den. Ny forskning viser, at vandmærkning kan ændre modellernes adfærd. Det gælder især, når de bliver udsat for ondsindede forespørgsler.

Hvordan virker SynthID-Text? Den bruger en hemmelig nøgle, der ændrer den måde, modellen vælger næste ord på. Hvis modellen normalt ville vælge »cloudy«, kan nøglen få den til at vælge »overcast«. Begge ord betyder overskyet. Den, der kender nøglen, kan afgøre, om teksten er genereret af platformen. Det er lidt som en hemmelig kode i en samtale, hvor man altid vælger et bestemt synonym for at vise, at man er med i en bestemt gruppe.

Forskningen viser, at SynthID-Text ikke kun ændrer ordvalget. Det ændrer også, hvilke værktøjer modellen kalder – altså hvilke funktioner den bruger – og hvorvidt den følger de sikkerhedsregler, den er trænet til at overholde. Truslen bliver større ved en ondsindet forespørgsel, hvor en angriber forsøger at få modellen til at udføre en skadelig handling. Et eksempel kan være at afsløre en adgangskode. Instruktioner, som modellen normalt ville afvise, bliver i nogle tilfælde udført, når vandmærkningen er aktiv.

»Sammenlignet med de samme modeller uden vandmærkning, vil det helt sikkert ændre deres adfærd, især under ondsindede forhold, eller når vi får modellerne til at kalde værktøjer, når de driver en agent,« siger Andrea Siposova, sikkerhedsforsker hos Lasso Security, til Ars Technica. »Vandmærkning er lavet til ikke at kunne mærkes for en læser, men vi ved, at når vi ændrer noget ved det, modellen genererer, vil det give nogle afvejninger, og det vil dukke op et sted.« Fundet understreger, at udviklere bør teste deres sprogmodeller og agenter grundigt, når vandmærkning er slået til.