llama.cpp lægger nu spredte data sammen på CPU og GPU

llama.cpp version b11720 kan nu udføre SUM (sammentælling af tal) på data, der ikke ligger samlet i hukommelsen, via fire beregningsveje: CPU, CUDA, Vulkan og WebGPU. Det betyder, at beregninger kan køre, selv når tallets dele ligger spredt, fordi ændringen ligger i beregningsbiblioteket ggml. Nu mangler der forklaring på, hvorfor ændringen er lavet, og hvordan den påvirker hastigheden.

llama.cpp kan nu udføre summeringen SUM på data, der ikke ligger i én sammenhængende blok i computerens hukommelse. Det gælder fire beregningsveje, altså fire måder at regne på: CPU (central processing unit, computerens hovedprocessor), CUDA (Compute Unified Device Architecture, Nvidias platform for beregninger på grafikprocessorer), Vulkan (en grænseflade til grafik og beregninger) og WebGPU (en webstandard for grafik- og beregningsprocessorer; GPU står for graphics processing unit). Det fremgår af udgivelsesnoten for version b11720.

Ændringen ligger i ggml, det beregningsbibliotek som llama.cpp bygger på. Et beregningsbibliotek er en samling færdige regnefunktioner, som et program kan bruge. SUM lægger tal sammen i en tensor. En tensor er et talområde med flere dimensioner. Man kan tænke på den som et regneark med flere lag.

SUM kan nu køre, selv om delene af tensoren ikke ligger ved siden af hinanden i hukommelsen. Det er lidt som at lægge tal sammen fra en bunke kort, hvor kortene ikke behøver ligge ved siden af hinanden.

Udgivelsesnoten forklarer ikke, hvorfor ændringen er lavet. Den forklarer heller ikke, hvad ændringen betyder for hastigheden.