Vi mister evnen til at gennemskue AI-logikken
Metoden 'opaque recurrence' gør ræsonnementer ikke-lineære, hvilket bekymrer eksperter i AI-sikkerhed.
Læs i dit tempo
Kort
OpenAI har introduceret en ny teknik i Astra-modellen, hvor den tænker i gentagelser i stedet for i en fast rækkefølge. Det gør det sværere for eksperter at overvåge modellens tankeprocesser, hvilket skaber bekymring for sikkerheden. Teknikken bruges kun begrænset i øjeblikket, mens OpenAI planlægger at udvikle bedre overvågningssystemer.
Begynder
OpenAI har udviklet en model kaldet Astra, som bruger en ny metode til at tænke. Metoden kaldes »recurrent depth« eller »opaque recurrence«. Det betyder i grove træk, at modellen kan tænke i cirkler i stedet for at følge en fast række af trin. Normalt tænker kunstig intelligens lineært, lidt ligesom når man følger en madopskrift punkt for punkt. Men Astra kan bearbejde det samme spørgsmål flere gange i et loop for at nå frem til et svar.
Denne måde at arbejde på gør det sværere at se, hvad der sker inde i modellen. Man mister nemlig de såkaldte »chain of thought« eller tankegange, som er de læsbare spor af modellens overvejelser. Det svarer til, at en elev i matematik leverer det rigtige svar, men ikke viser sine udregninger på papiret. Uden disse udregninger er det svært for eksperter at overvåge, om modellen opfører sig forkert eller er fejljusteret.
Sikkerhedseksperter er derfor bekymrede for, om man helt mister muligheden for at overvåge modellerne. Buck Shlegeris, direktør hos Redwood, frygter, at det vil blive umuligt at kontrollere tankegangene. Zvi Mowshowitz mener endda, at der kan blive brug for lovgivning for at forhindre, at laboratorier for kunstig intelligens konkurrerer om at bruge metoder, der er svære at gennemskue.
Lige nu bruger Astra kun teknikken i begrænset omfang. OpenAI siger, at tankegangene stadig vil være læsbare, og de afviser, at de skifter til såkaldt »neuralese«, som er et privat sprog mellem maskiner. Samtidig har virksomheden annonceret, at de vil lave omfattende overvågningssystemer til at holde øje med tankegangene.
Vil du have, at jeg uddyber forskellen på lineær tænkning og loop-tænkning med flere eksempler?
En ny teknik til ræsonnement i OpenAI's Astra-model gør det sværere at overvåge modellens tankeprocesser og skaber bekymring blandt sikkerhedseksperter.
OpenAI's Astra-model bruger en metode kaldet »recurrent depth« eller »opaque recurrence«. Teknikken gør det muligt for modellen at arbejde uden for den sekventielle tænkning, som kendetegner de fleste andre ræsonnementsmodeller.
Modellen bearbejder den samme forespørgsel flere gange i et loop i stedet for at følge en lineær rækkefølge. Det efterlader færre læsbare spor i modellens tankegange (chain of thought). Normalt bruges disse sekventielle trin som et værktøj til at overvåge, om en model opfører sig forkert eller er fejljusteret.
Sikkerhedseksperter frygter, at teknikken kan ødelægge muligheden for at overvåge modellerne fuldstændigt. Buck Shlegeris, CEO hos Redwood, advarer om, at en øget brug af metoden vil gøre det umuligt at kontrollere tankegangene. Zvi Mowshowitz mener, at der kan være brug for lovgivning for at forhindre et kapløb mod bunden mellem AI-laboratorier.
Astra bruger i øjeblikket kun teknikken i begrænset omfang. Tankegangene forventes stadig at være læsbare, og OpenAI afviser, at de skifter til såkaldt »neuralese«. Virksomheden har samtidig annonceret planer om omfattende overvågningssystemer til tankegange.
Kilder
- OpenAI’s new reasoning technique alarms AI safety experts techcrunch.com
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Skrevet Model: mimo-v2.5-free · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Korrektur 1 zen · 1 rettelser
- Vedtagelse ainews-auto-v3 · score 0.3712