Alibabas nye model bruger flere tokens på at tænke end på selve svaret

Alibaba har udgivet Qwen 3.8 27B, en åben model, der kan forstå billeder. Den er meget stærk, men kan blive ekstremt langsom på almindelige computere på grund af overanalysering. Man kan nu køre modellen selv, hvis man justerer indstillingen for hukommelsen.

Alibaba har udgivet Qwen 3.8 27B, som er en model med åben kildekode. Det betyder, at »opskriften« på modellen er tilgængelig for alle. Det er en såkaldt vision-model, hvilket vil sige, at den kan forstå og arbejde med billeder. Den har 27 milliarder parametre, som man kan forestille sig som små digitale forbindelser i modellens hjerne. Modellen er udgivet under en Apache 2-licens og er så let, at den kan køre på almindelige bærbare computere. Ifølge Alibabas egne tests præsterer den bedre end den tidligere Qwen 3.6 27B og den lukkede Qwen 3.7-Plus.

Når man bruger indstillingen 'xhigh' til ræsonnement, altså modellens evne til at tænke logisk, har den det med at overanalysere tingene ekstremt meget. Modellen bruger her langt flere tokens på at tænke, end den bruger på selve svaret. Tokens er små byggeklodser af information, som minder om stavelser. For computere til hjemmebrug gør det processen langsom og ineffektiv.

Det ses for eksempel, når modellen skulle lave en Scalable Vector Graphics (SVG) tegning, som er en type digital billedfil, af en pelikan på en cykel. Det tog 21 minutter, og modellen brugte 22.276 tokens på at tænke, mens selve resultatet kun var på 3.223 tokens. Tegningen beskrives som den bedste, man kan lave lokalt, fordi pelikanen har ben på begge sider af cyklen og vinger, der rører hånden.

En kvantiseret version, som er en komprimeret udgave for at spare plads, fylder 17 gigabyte på harddisken. Modellen er testet i programmet LM Studio på en MacBook Pro med 128 gigabyte Random Access Memory (RAM), som er computerens hurtige arbejdshukommelse, samt på en NVIDIA DGX Spark. For at undgå, at modellen løber tør for plads i sit kontekstvindue, som fungerer som en slags korttidshukommelse, skal grænsen øges fra 8.192 tokens til det maksimale på 262.144 tokens.

Vil du have, at jeg forklarer mere om, hvordan man rent praktisk installerer sådan en model på sin egen computer?