GPT-6 Astra taber næsten altid til menneskebots

GPT-6 Astra vandt kun 7 procent mod de stærkeste modstandere i StarCraft: Brood War, men blev nummer ét i testen StarSkirmish Bench v0.2. Det betyder noget, fordi GPT-6.1 Sol blev nummer to til lidt over en tiendedel af prisen, og tidlig træning mod svære modstandere ser ud til at løfte resultatet. Nu peger testen på tidlig træning mod svære modstandere.

GPT-6 Astra er en sprogmodel. Navnet GPT står for Generative Pre-trained Transformer. En sprogmodel er et computerprogram, der er trænet til at skrive tekst og kode. I strategispillet StarCraft: Brood War vandt den kun 7 procent af kampene mod de stærkeste menneskeskabte bots. En bot er en computerstyret spiller. Alligevel blev GPT-6 Astra nummer et i testen StarSkirmish Bench v0.2. Testen er en konkurrence, hvor modeller bliver målt. Den endte foran andre førende modeller. Det er lidt som et hold, der taber mange kampe mod de bedste, men alligevel vinder turneringen.

GPT-6.1 Sol giver den bedste værdi for pengene. Det betyder, at man får meget for det, den koster at bruge. Den blev nummer to i testen. Den koster kun lidt over en tiendedel af, hvad en omgang med GPT-6 Astra gør. Det er som at få en god kop kaffe til en meget lav pris.

Gemini 4 Argon fra Google deler tredjepladsen med Claude Opus 5.5 og Claude Fable 5.1. De havde en vinderrate på 37 til 39 procent. En vinderrate er, hvor mange procent af kampene man vinder. Googles model svinger dog mere. Der er 18 procentpoint mellem dens bedste og dårligste forsøg. Procentpoint er forskellen mellem to procentsatser. Hvis noget går fra 20 procent til 38 procent, er det 18 procentpoint. Det er som en skytte, der en dag rammer plet, og en anden dag rammer ved siden af.

At øve sig mod stærke modstandere tidligt ser ud til at løfte resultatet. GPT-6 Astra, GPT-6.1 Sol og Gemini 4 Argon begyndte tidligt i den tildelte time at spille mod de sværeste bots. Modeller med færre udfordringer scorede generelt lavere. Hver model fik én time til at skrive en bot i programmeringssproget C plus plus, også skrevet C++, til Protoss-racen. Protoss er en af de grupper, man kan spille som i StarCraft: Brood War. De startede med en basisbot, altså en simpel startbot. Den kunne kun samle ressourcer. Ressourcer er de råmaterialer, man bruger til at bygge ting i spillet. Modellerne skulle selv få koden til at kompilere. At kompilere betyder at oversætte kode til et program, computeren kan køre. De skulle også bruge deres ræsonnement til at forbedre strategien. Ræsonnement betyder at tænke logisk og planlægge. Strategi er planen for, hvordan man vinder.