Kolibri-1 i llama.cpp bruger kun 3,46 milliarder parametre

llama.cpp, et gratis program til at køre sprogmodeller, understøtter nu Aleph-Alphas Kolibri-1, som kan tysk og engelsk. Det betyder noget, fordi den kun regner med 3,46 af 78 milliarder justerbare tal ad gangen og derfor er mere effektiv. Nu kan brugere af llama.cpp afprøve Kolibri-1 til logisk tænkning.

llama.cpp er et åbent rammeværk — et slags program med frit tilgængelig kildekode — til at køre sprogmodeller. Sådanne modeller er programmer, der har lært at fortsætte og svare på tekst. Nu understøtter llama.cpp også Kolibri-1 fra Aleph-Alpha. Modellen er udgivet og kan både tysk og engelsk.

Kolibri-1 er bygget som en “blanding af eksperter” (mixture of experts). Det kan minde om et stort team af specialister: Modellen har 78 milliarder parametre i alt — parametre er de justerbare tal, den har lært — men for hvert token, altså hver lille bid tekst omtrent som et ord eller en del af et ord, er kun 3,46 milliarder af dem aktive. Det betyder, at kun en del af modellens regneapparat, altså netværket, regnes med for hvert token. Kolibri-1 er lavet til ræsonnement, altså til at føre trinvise overvejelser, og den har 50 lag — lag kan ses som stadier på et samlebånd — og 384 eksperter, som den vælger imellem.

Ændringen i llama.cpp genbruger kode fra AfmoeModel, en eksisterende del af koden, og tilføjer tre tensornavne til modellens vægtlag. Tensornavne er navne på de datablokke, der gemmer modellens lærte tal; vægtlag er de lag, hvor disse tal ligger. Det er en teknisk tilpasning, så Kolibri-1 kan køre i llama.cpp.