Muse Spark Open kræver 8-bit for at undgå gentagelser

llama.cpp har i version b11671 fået støtte til Muse Spark Open, der forstår tekst, billeder og lyd. Det betyder, at en AI med tekst, billeder og lyd kan køre lokalt, og visse dele holdes i højere præcision for at undgå, at modellen gentager sig selv. Nu kan brugere opdatere til b11671 og afprøve modellen.

Programmet llama.cpp gør det muligt at køre modeller for kunstig intelligens på sin egen computer. Nu har det fået støtte til Muse Spark Open. Muse Spark Open forstår tekst, billeder og lyd i én og samme model. Støtten ligger i version b11671 af projektet.

Muse Spark Open er bygget som en blanding af eksperter, på engelsk mixture of experts. Tænk på 256 små specialiserede regnenetværk, der deler arbejdet. For hver beregning vælger modellen de otte øverste. Eksperterne regner i et smallere rum på 4096, mens den gennemgående datastrøm bliver på 8192. Omkring eksperterne er der en projektion ned og op, altså en omregning, der gør informationen smallere og bredere igen.

Den mest overraskende detalje findes i kvantiseringen. Kvantisering er en måde at gøre modeller mindre på ved at gemme tallene med lavere præcision. De indlejrede projektioner er lag, der oversætter mellem modellens interne tal. Opmærksomhedsporten styrer, hvad modellen retter opmærksomheden mod. Her holdes de i 8-bit. Det er lidt over 1 procent af vægtene, altså de tal modellen har lært. 8-bit betyder, at hvert tal gemmes med otte binære cifre. Ved lavere præcision begyndte modellen at gentage sig selv i en løkke. Det står i beskeden til den kodeændring, der blev lagt ind.

Lyddelen er en foldetragt, en tragt der folder information sammen i trin. Den bruger ikke spektrogram, altså et billede af lydens frekvenser over tid, og ikke opmærksomhedslag, altså lag der vejer, hvad der er vigtigt. Fire trin folder 16, 6, 5 og 4 lydprøver, altså små målinger af lyden, ind i kanaldimensionen, den interne bredde. Det giver én indlejring, en tæt talrepræsentation, for hver 80 millisekunder lyd ved 24 kilohertz. Billeddelen genbruger tårnet fra Muse Glimmer, altså en større del af netværket.