AI-indeks skjuler den bedste model til dit arbejde

YouTuberen IndyDevDan har lagt en video op, hvor han kritiserer Artificial Analysis Index for at presse ti testmetoder til ét tal. Det betyder noget, fordi ét samlet tal ikke viser, hvilken model der er bedst til netop dit arbejde. Nu foreslår han fem konkrete testmetoder, men vi har ikke set videoen og kan ikke bekræfte resultaterne.

Et samlet tal kan virke tillokkende. Men Artificial Analysis Index er en stedfortræder for en stedfortræder. Det siger ikke, hvilken sprogmodel der er bedst til netop dit arbejde. Det mener udvikleren IndyDevDan i en ny video på YouTube for tre timer siden. Videoen har 968 visninger og 71 likes, altså 342 visninger i timen. Den sammenligner Claude Fable & Mythos 5.1 fra Anthropic, GPT-6 Astra fra OpenAI (GPT er en forkortelse for Generative Pre-trained Transformer) og flere modeller med åbne vægte, hvor grundlaget er offentligt tilgængeligt.

Agentisk engineering handler om, at en model kan bruge værktøjer og løse opgaver uden menneskelig indblanding. Tænk på forskellen mellem at forstå en opskrift og faktisk lave maden. Traditionelle standardiserede tests (benchmarks) kommer ofte til kort her, fordi de måler sprogforståelse frem for handling.

Ifølge beskrivelsen er problemet, at et indeks, der presser ti standardiserede tests sammen til ét tal, mister det eneste, der betyder noget: hvilken model du skal køre for dit arbejde. I stedet foreslår IndyDevDan fem konkrete standardiserede tests, blandt andet Terminal-Bench version 4.0, APEX Agents Leaderboard og AutomationB.

Videoen linker til Anthropics side for Claude Fable & Mythos 5.1 og OpenAIs side for GPT-6 Astra. Vi har ikke set videoen, så vi kan ikke bekræfte dens resultater eller vurderinger.