Krympede AI-modeller flytter magten væk fra skyen

PrismML frigav Bonsai 2, en komprimeret sprogmodel på 5,9 GB, der kan køre på en pc eller smartphone.

Den bevarer 98 procent af ydeevnen, men bruger ni-ti gange mindre hukommelse, hvilket gør avanceret AI mere tilgængelig.

Virksomheden har rejst 22,25 millioner dollars, og der er rygter om Apple-dialog, mens modellen nu kan downloades.

Torsdag udgav virksomheden PrismML en ny sprogmodel ved navn Bonsai 2 27B. En sprogmodel er et computerprogram, der er trænet til at forstå og skrive tekst. Man kan tænke på den som en ekstremt avanceret autokorrektur, der kan svare på spørgsmål, skrive breve og løse opgaver. Bonsai 2 fylder kun 5,9 gigabyte. Den er en komprimeret udgave af Qwen3.8 27B, en udbredt open source-model fra Alibaba. Open source betyder, at koden er frit tilgængelig for alle. At komprimere en sprogmodel kan sammenlignes med at pakke en kuffert: Man får det samme indhold til at fylde meget mindre, hvis man folder tøjet smart. Bonsai 2 bruger ni til ti gange mindre hukommelse end originalen, så den kan køre på en pc (personlig computer) og måske på en avanceret smartphone. TechCrunch skriver, at der går rygter om, at PrismML har været i dialog med Apple. Hassibi ønskede ikke at kommentere rygterne over for TechCrunch.

PrismML tror på, at velfungerende sprogmodeller, der kan ræsonnere — altså tænke logisk og trin for trin — ikke behøver at være store. Virksomheden er stiftet af forskere fra Caltech, et teknisk universitet i USA, og ledes af Babak Hassibi, der er professor på Caltech og ekspert i komprimeringsteknologi. PrismML har rejst 22,25 millioner dollars i en seed-runde, hvilket er en tidlig investeringsrunde, der skal hjælpe en ny virksomhed i gang. Blandt investorerne er Khosla Ventures, Cerberus Capital og Caltech. Også Ion Stoica, der er medstifter af Databricks og leder af Sky Computing Lab på Berkeley, er rådgiver for virksomheden.

PrismML er ikke alene om at komprimere sprogmodeller. Også firmaet Multiverse Computing, som er stiftet af en professor fra Donostia International Physics Center i Spanien, arbejder med det. Hassibi siger, at PrismMLs komprimering er unik, fordi modellerne stort set ikke taber ydeevne i forhold til originalerne. Bonsai 2 opnår 98 procent af Qwens samlede resultater i benchmarktests — altså standardiserede opgaver, der måler, hvor dygtig en model er. Den første Bonsai, der udkom i marts, nåede 95 procent. Den model er downloadet over 11 millioner gange, og PrismMLs endnu mindre modeller er downloadet yderligere 2,6 millioner gange, oplyser virksomheden.