llama.cpp kører Q1- og Q2-vægte på Snapdragons AI-enhed

Q1_0 og Q2_0 virker nu på Hexagon, Qualcomms AI-enhed i Snapdragon-chips, via en ændring i AI-programmet llama.cpp med Max Krasnyansky.

Det betyder noget, fordi koden før antog kvadratiske blokke, men Q1 og Q2 bruger ikke-kvadratiske blokke, så nu kan de køre korrekt og lettere.

Nu bygges udgivelsen b11716 til Linux og Android på Snapdragon med processor, Adreno-grafik og Hexagon-AI.

Q1_0 og Q2_0 er navne på to slags vægte. Vægte er tal i en model til kunstig intelligens. De er med til at styre, hvad modellen svarer. Nu virker de på Hexagon, som er enheden til kunstig intelligens i Qualcomms Snapdragon-chips. Det er lagt ind i programmet llama.cpp sammen med Max Krasnyansky fra Qualcomm. Ændringen gør, at Q1_0-vægte bliver brugt i Hexagons beregninger.

Arbejdet retter en forventning i programkoden. Programkoden er de instruktioner, computeren følger. Forventningen er, at beregninger bliver delt op i kvadratiske blokke. Tænk på det som fliser, der alle er lige brede og høje. Men Q1 og Q2 bruger blokke, der ikke er kvadratiske. Det er mere som rektangler. Samtidig rydder koden op i forældede kontroller, altså gamle tjek. Den lægger også mindre optimeringer ind, altså små forbedringer.

Udgivelsen b11716 er en bestemt version. Den bygges, altså laves klar, til Linux og Android. Linux og Android er styresystemer. Den bygges til Snapdragon med den almindelige processor (CPU, Central Processing Unit), Adreno-grafikprocessoren (GPU, Graphics Processing Unit) og Hexagon-NPU (Neural Processing Unit, enheden til kunstig intelligens).