Brugeren beholder kontrollen over GPU-rækkefølgen

Unsloth har rettet en fejl i Windows ARM64-udgaven, hvor rækkefølgen af grafikprocessorer blev ændret, når flere var i brug.

Det betød, at en valgt rækkefølge som 1,0 blev sendt videre som 0,1, hvilket kunne forringe ydeevnen.

Rettelsen følger med i den seneste udgivelse på GitHub og bevarer nu brugerens valgte rækkefølge.

Unsloth har udgivet en rettelse til Windows ARM64-udgaven af deres software. ARM64 er en type processorarkitektur (ARM står for Advanced RISC Machine). Rettelsen følger med i den seneste udgivelse af Windows ARM64-programfilerne på GitHub – et website, hvor udviklere deler deres kode. Rettelsen handler om rækkefølgen af GPU'er, når man bruger flere på én gang. En GPU (Graphics Processing Unit) er en særlig regneenhed i computeren, der kan lave mange beregninger samtidig. Når man bruger flere GPU'er sammen, er rækkefølgen vigtig. Den afgør, hvilken GPU der tager hvilken del af arbejdet.

Fejlen opstod, når en bruger startede en model – et AI-program, der er trænet til at løse en opgave – med flere GPU'er. Systemet lavede en CUDA_VISIBLE_DEVICES-liste. CUDA står for Compute Unified Device Architecture. Listen er en oversigt over, hvilke GPU'er der skal bruges, og i hvilken rækkefølge. Listen blev bygget ud fra GPU-numre, som producenten selv sorterer. Det betød, at en bevidst rækkefølge som 1,0 blev ændret til 0,1. Det skete, når den blev sendt videre til llama-serveren – det program, der faktisk kører modellen. Rettelsen sikrer nu, at den rækkefølge, brugeren har valgt, bliver bevaret. Det gælder både, når systemet selv placerer arbejdet. Det gælder også, når brugeren manuelt deler modellen op mellem GPU'erne. Det kaldes tensor-split.

Der er også rettet andre ting. Tidligere fjernede systemet en GPU-opsætning, der dækkede alle synlige GPU'er. Det skete, fordi systemet troede, at opsætningen indsnævrede noget. Men det fjernede faktisk den eneste måde at styre rækkefølgen på. Nu lader systemet den slags opsætninger blive. Derudover tjekker systemet nu, om en GPU faktisk er synlig. Hvis en GPU ikke er synlig, betragtes den som en forældet markering. Den får ikke lov at overskrive planlægningen. Endelig er der rettet en fejl med en tensor-split-værdi. Hvis værdien ikke kunne læses korrekt, blev den omskrevet i stedet for at blive bevaret. Nu tæller det, at værdien er der, ikke om den kan læses.