AMD-brugere får nu mærkbart hurtigere svar fra AI

Unsloth-opdateringen giver AMD-brugere op til 23 procent hurtigere promptbehandling med Vulkan som standard og over 200 fejlrettelser. Det betyder, at AI-modeller kører hurtigere på AMD-hardware, og problemer med gibberish er løst. Nu følger hurtigere RAG-upload, GPT-6 Astra til Codex, og nye Docker-images til NVIDIA.

Unsloth 0.1.807-beta er en opdatering, der gør det hurtigere at bruge kunstig intelligens på forskellige computere. For folk med AMD-hardware betyder det, at deres computer nu kan behandle spørgsmål og kommandoer op til 23 procent hurtigere. Tidligere brugte AMD-computere et program kaldet ROCm til at styre grafikken, men nu bruger de i stedet noget, der hedder Vulkan, som er mere effektivt. Det gælder både på Windows og på nogle specielle AMD-processorer, hvor promptbehandlingen (altså tiden det tager at forstå, hvad du skriver) er blevet markant hurtigere, og genereringen af svar er også blevet 8 procent hurtigere.

Opdateringen løser også en række tekniske problemer. For eksempel har nogle AMD-grafikkort uden ROCm tidligere været nødt til at bruge computerens hovedprocessor (CPU) til at køre AI-modeller, men nu kan de også bruge Vulkan, hvilket er hurtigere. Der er også blevet rettet fejl, der fik nogle AMD-processorer til at producere uforståeligt »sludder« (gibberish) i deres svar. Samlet set er over 200 fejl blevet rettet, og selve programfilerne er blevet 50 procent mindre, hvilket gør dem nemmere at håndtere og hurtigere at downloade.

For folk med Apple-computere er der også gode nyheder. Træning af visse AI-modeller er nu op til 25 procent hurtigere, og hukommelsesforbruget til at håndtere lange prompts er blevet reduceret med op til 74 procent. Derudover er der kommet understøttelse af nye teknikker som DoRA og flere måder at træne modeller på. Windows-brugere får nu signerede filer, hvilket betyder, at computerens sikkerhedssystem ikke længere blokerer dem så ofte, og hvis noget bliver blokeret, får man en klar besked om hvorfor. Endelig er der udgivet nye Docker-images til NVIDIA-hardware, og der er lavet forbedringer, så downloads og uploads af dokumenter ikke længere ser ud til at gå i stå.