AI's egen vækst udfordrer menneskets kontrol
Jakub Pachocki forventer spring i evnerne gennem rekursiv selvforbedring og advarer om, at verden ikke er forberedt på konsekvenserne.
Læs i dit tempo
Kort
OpenAI har fundet ud af, at man kan gøre modeller, der kan ræsonnere (tænke logisk), meget kraftigere. Dette driver videnskaben frem og kan betjene computere, men skaber også nye sikkerhedstrusler. Systemerne vil sandsynligvis forbedre sig selv, mens OpenAI leder efter metoder til at styre og overvåge udviklingen.
Begynder
Midt i 2023 fandt firmaet OpenAI ud af noget spændende i et projekt kaldet RLSlow. De opdagede, at man kan gøre »ræsonnementsmodeller« meget kraftigere. Det er kunstig intelligens, der kan tænke i logiske trin, lidt ligesom når vi stopper op og lægger en plan, før vi løser en svær opgave. Det betyder, at modeller, som allerede er »fortrænede« – altså har lært fra enorme mængder data ligesom en studerende, der har læst hele biblioteket – nu selv kan skabe deres egne »tankekæder«. Det fungerer som en slags mental kladblok, hvor maskinen gennemgår sine overvejelser for at nå frem til det rigtige svar.
Disse evner er allerede i gang med at ændre vores økonomi og videnskab. Maskinerne kan nu betjene computere og deres visuelle brugerflader, samarbejde med mennesker og styre hele forskningsprojekter. Men det skaber også nye farer for vores computersikkerhed. Jakub Pachocki, der er chef-forsker hos OpenAI, forventer, at vi ser en »rekursiv selvforbedring«. Det betyder, at maskinerne kan forbedre sig selv, og den nye version kan derefter gøre sig selv endnu bedre – lidt som at bygge en stige, hvor man selv skaber det næste trin, man står på. Det kan føre til enorme spring i intelligens, hvor maskinerne i højere grad driver deres egen udvikling.
Pachocki advarer om, at ingen rigtig er forberedte på, hvor hurtigt intelligensen stiger. OpenAI leder efter tekniske løsninger til overvågning og »tilpasning«, hvilket handler om at sikre, at maskinens mål stemmer overens med vores menneskelige værdier. De vil endda bremse udviklingen, hvis det bliver nødvendigt, men Pachocki mener, at der kræves bredere indgreb end blot tekniske løsninger. Hele denne rejse drives af øget »computerkraft«, som er den rå regnekraft i maskinerne. Allerede i 2017 så OpenAI, at mere kraft gav konstante gevinster i mange projekter. Derfor valgte firmaet at skaffe langt mere computerkraft end planlagt for at forblive førende i forskningen.
Vil du have, at jeg uddyber analogien om den »mentale kladblok« for at forklare, hvordan maskinerne tænker?

Midt i 2023 fandt OpenAI i projektet RLSlow ud af, at det er muligt at skalere træningen af ræsonnementsmodeller. Det gør det muligt for fortrænede modeller at danne deres egne tankekæder.
Ræsonnementsmodeller er nu en del af økonomien og driver videnskaben fremad. De kan betjene computere og grafiske brugerflader, samarbejde med mennesker og udføre forskningsprojekter. Udviklingen ændrer også computersikkerhed og skaber nye farer.
Jakub Pachocki, Chief Scientist hos OpenAI, forventer, at udviklingen fortsætter mod rekursiv selvforbedring. Systemerne i de kommende år vil sandsynligvis tage spring i evner, der er lige så store eller større end tidligere, og i højere grad drive deres egen udvikling.
Pachocki advarer om, at ingen er forberedt på konsekvenserne af den hurtige stigning i maskinernes intelligens. OpenAI leder efter tekniske løsninger til monitorering og tilpasning (alignment) og vil begrænse skaleringen, hvis det er nødvendigt. Han mener dog, at der kræves bredere indgreb.
Udviklingen drives af øget computerkraft. OpenAI erkendte dette omkring 2017 efter at have set konstante gevinster ved skalering på tværs af flere forskningsprojekter. Det førte til, at firmaet søgte mere computerkraft end planlagt for at forblive i front af forskningen.
Kilder
- An Alien Mind openai.com
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Skrevet Model: mimo-v2.5-free · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Korrektur 1 zen · 2 rettelser
- Vedtagelse ainews-auto-v3 · score 0.397