31 tests, én kommando: Så hurtig og klog er din lokale AI
Kør én kommando og få en live oversigt over dine lokale modellers ydeevne i terminalen.
Homebench er et nyt open source-værktøj til at benchmarke lokale sprogmodeller. Det samler målinger af hastighed, hukommelsesforbrug og modelkvalitet i ét kommandolinje-værktøj.
Værktøjet opdager automatisk de modeller, du allerede har installeret i en lokal runner som Ollama, LM Studio, llama.cpp eller vLLM. Det kører herefter en test-suite og viser resultaterne i et live leaderboard i din terminal.
Målingerne inkluderer tokens per sekund, tid til første token (time-to-first-token) og det fysiske hukommelsesforbrug (peak-RSS). Til at teste kvaliteten bruger det 31 opgaver inden for matematik, ræsonnement, faktahukommelse, kodeforståelse og instruksefterlevelse.
Ifølge projektet fylder det et hul i markedet. Værktøjet llama-bench måler primært hastighed, mens lm-evaluation-harness fokuserer på kvalitet, men ikke er designet til brug med de mest almindelige lokale modulkørere. Homebench kombinerer begge dele med et brugervenligt design.
Det er gratis at bruge og kræver ingen konfiguration eller cloud-adgang. Du installerer det med `pip install homebench` og kører en kommando for at starte en analyse.