Nye 'members' tilpasser AI-modeller til specifikke opgaver på 0,6 millisekunder

Den nye PIN v5-model opnår høj præcision i billedgenkendelse med et meget lavt hukommelsesforbrug. Dette er vigtigt, da modellen nu kan tilpasses nye opgaver ekstremt hurtigt uden at kræve genoptræning. Nu kan man bruge negative vægte som kontrolknapper til at forbedre resultaterne under brug.

Vil du have, at jeg forklarer mere om, hvordan pooling reducerer hukommelsesbehovet?

PIN v5 er en model, der kan genkende billeder. Den blev testet på CIFAR-10, som er en standard samling af små billeder, man bruger til at måle computeres evner. Her nåede modellen en nøjagtighed på 0,9080, hvilket er meget tæt på den officielt publicerede værdi på 0,9125. Modellen gemmer kun 270.277 værdier, men kan skabe over 2,4 milliarder forbindelser. Det svarer til at folde et papir 8.939 gange for at spare plads, mens man bevarer informationen.

For at spare endnu mere hukommelse bruger modellen noget, der kaldes pooling. Det fungerer lidt som at lave et kort resumé af en lang tekst, så man beholder det vigtigste, men bruger færre ord. Det reducerer behovet for hukommelse med fem eller seks gange uden at gøre modellen dårligere. Tidligere brugte man et såkaldt »head« – en slags tolker – til at læse data, hvilket krævede 31.370 parametre. Nu overtager pooling dette arbejde, så modellen fylder markant mindre.

Modellen kan også hurtigt tilpasse sig specifikke opgaver ved hjælp af såkaldte »members«. Forestil dig en fastlåst grundbog, hvor man blot tilføjer små noter for at løse en ny opgave. Det tager kun 0,6 millisekunder og når 96,7 % af præcisionen fra en model, der er bygget helt fra bunden til opgaven. Tilpasningen sker via en matematisk metode kaldet en lukket ridge-løsning i stedet for den traditionelle gradient descent-metode, hvor man justerer tingene gradvist. Det betyder, at selve grundmodellen ikke bliver ændret.

Særlige negative vægte i disse »members« fungerer som målrettede undertrykkere. De hjælper med at fjerne uønsket støj, hvilket forbedrer en specialists præstation med 0,088. Under selve inferensen – altså det øjeblik, hvor computeren analyserer data og tager en beslutning – fungerer disse vægte som en lineær kontrolknap, man kan skrue på for at styre resultatet.

Vil du have, at jeg forklarer mere om, hvordan den »lineære kontrolknap« fungerer i praksis?