Mindre forsigtig AI giver flere svar, men også flere fejl

Anthropics sprogmodel Fable 5.1 er blevet mindre forsigtig og skriver længere, mere direkte tekster end sin forgænger.

Ændringen betyder, at modellen svarer mere selvsikkert og mindre formelt, hvilket kan påvirke brugeroplevelsen.

Fremover vil udviklerne følge med i, hvordan denne stil påvirker kvaliteten af svarene i testmiljøet.

Anthropics nye sprogmodel, Claude Fable 5.1, skriver anderledes end sin forgænger. En analyse fra Arena.ai, der har gennemgået titusindvis af svar, viser, at modellen er mindre forsigtig i sit sprog og producerer længere tekster. Hvor et typisk svar før var omkring 319 ord, er det nu 414 ord – en stigning på 30 procent. Alligevel er svarene stadig kortere end dem fra Opus 5, som i gennemsnit skriver 525 ord.

Sproget er blevet mere direkte. Modellen bruger færre tankestreger – 11,0 per 1.000 ord mod 16,2 før – men til gengæld flere semikoloner, 6,09 mod 3,73 per 1.000 ord. Der er også et markant fald i sproglige forsigtighedsmarkører. Ord som »perhaps« og »arguably« falder med 36 procent, og formuleringer som »honestly« og »frankly« bruges sjældnere. Udtrykket »load-bearing« falder med 20 procent per 1.000 ord. Modellen er også mindre tilbøjelig til at rose eller validere brugeren – sådanne formuleringer optræder i 1,98 procent af svarene mod 3,17 procent hos Fable 5.

Analysen viser også, at sproget er blevet mere konkret. Andelen af lange indholdsord falder fra 42,6 til 38,6 procent, og brugen af abstrakte navneord falder med 25 procent, fra 4,39 til 3,28 per 100 ord. Det betyder, at modellen i højere grad bruger korte, konkrete ord frem for lange, abstrakte begreber. Analysen bygger på data fra Arena.ai's Text Arena, hvor modeller testes på opgaver, der kræver høj grad af ræsonnement – altså opgaver, hvor man skal tænke logisk og trække slutninger.