Amazon skærer rygge af sjældne bøger for at træne AI
Amazon køber og scanner sjældne bøger til træning af sprogmodeller for at sikre data fra før 2022 og undgå modelkollaps.
Læs i dit tempo
Kort
Amazon køber sjældne bøger og ødelægger dem for at scanne teksten til deres kunstige intelligens (AI). Det er nødvendigt, da AI-modeller skal bruge menneskeskabte tekster for at undgå »modelkollaps«, hvor kvaliteten af svarene falder. Amazon oplyser nu, at de køber bøger gennem kommercielle kanaler for at forbedre deres produkter.
Begynder
Amazon køber sjældne bøger og skærer rygge af dem for at kunne scanne siderne. Det svarer lidt til at rive siderne ud af en notesbog for at kopiere dem. Formålet er at træne kunstig intelligens (AI), som er computerprogrammer, der lærer at forstå og bruge menneskeligt sprog. Mediet 404 Media afslørede dette ved at gemme en sporingsenhed i en bog. Bogen endte på Amazons anlæg VGT3 i Las Vegas, som er kendt for et symbol af en dinosaur med en bog. Amazon forklarer, at de køber bøgerne gennem almindelige kommercielle kanaler for at gøre deres tjenester bedre.
Men hvorfor gøre det? De programmer, man kalder store sprogmodeller (LLM), har brug for enorme mængder tekst for at lære effektivt. Man kan sammenligne det med en elev, der skal læse næsten alt i verden for at blive klog. Da virksomhederne allerede har indsamlet det meste af det tilgængelige materiale fra internettet, er sjældne bøger, som ikke findes digitalt, blevet en ny kilde til data. Det gælder især bøger, der ikke længere trykkes, eller som er umulige at finde online.
Særligt tekster udgivet før 2022 er værdifulde. Det er nemlig sikkert, at disse er skrevet af mennesker og ikke af en maskine. Hvis en AI i stedet trænes på tekst, som andre maskiner har skrevet, kan der ske det, man kalder modelkollaps. Det fungerer lidt som en fotokopi af en fotokopi, hvor billedet bliver mere og mere utydeligt. Kvaliteten af modellens svar falder simpelthen, fordi den har indtaget for meget tekst, som i forvejen er skabt af andre AI-modeller.
Vil du have, at jeg forklarer nærmere, hvorfor netop året 2022 er så vigtigt i denne sammenhæng?

Amazon køber sjældne bøger og skærer rygge af dem for at scanne dem til træning af AI-modeller. Det er mediet 404 Media, der har afsløret praksis ved at placere en sporingsenhed i en sjælden bog. Bogen endte på Amazons anlæg VGT3 i Las Vegas, som er kendetegnet ved et symbol af en dinosaur, der holder en bog. Amazon oplyser i en udtalelse, at virksomheden køber bøger gennem kommercielle kanaler for at forbedre sine produkter og tjenester.
Store sprogmodeller (LLM) kræver enorme mængder tekstforbindelser for at kunne trænes effektivt. Da virksomhederne allerede har indsamlet det meste af det tilgængelige materiale fra internettet, bliver sjældne og ikke-digitaliserede bøger en ny kilde til eftertragtede data. Det gælder især bøger, der er udgået af print eller er umulige at finde online.
Tekster udgivet før 2022 har en særlig værdi, da de med sikkerhed ikke er skrevet af en AI. Dette er afgørende, fordi træning på AI-genereret tekst kan føre til modelkollaps. Modelkollaps sker, når kvaliteten af sprogmodellens svar falder, fordi den har indtaget for meget tekst, som i forvejen er skabt af andre AI-modeller.
Kilder
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Vurdering Nyheds 5/5 — Konkret hændelse vedrørende træningsdata og etisk praksis for store modeller.
- Skrevet Model: mimo-v2.5-free · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Korrektur 1 zen · 4 rettelser
- Korrektur 2 chatdk · 1 rettelser
- Vedtagelse ainews-auto-v3 · score 0.4431