Strot sparer dig for løbende API-omkostninger

Strot, et værktøj med åben kildekode, bruger kun en stor sprogmodel én gang til at lave et lille program. Det giver færre udgifter og stabil drift lokalt; usikre svar afvises, output følger et skema, og egne tal viser 92,5 mod 74,8. Tallene er ikke uafhængigt efterprøvet; koden ligger på GitHub under en åben licens og kan installeres med Python-værktøjet pip.

Strot er et værktøj med åben kildekode. Det betyder, at alle kan se og bruge koden. Det bruger en stor sprogmodel kun én gang. En stor sprogmodel er et computerprogram, der har læst meget tekst og kan forstå og skrive sprog. Når du beskriver din opgave, kompilerer Strot din hensigt til et lille fast program. Det betyder, at den oversætter din hensigt til et lille fast program. Tænk på det som en opskrift: Du fortæller, hvad du vil have. Så laver Strot en kort og præcis opskrift, som maskinen kan følge igen og igen.

Derefter træffer en lokal beslutningsmodel hvert valg. En lokal beslutningsmodel er et program, der kører på din egen computer. Den har 144 millioner parametre. Parametre er små justerbare tal, som modellen har lært at bruge. Den laver klassificering, scoring og routing. Klassificering betyder at sætte ting i kategorier. Scoring betyder at give en vurdering med et tal. Routing betyder at sende noget videre til det rigtige sted. Alt dette sker på computerens hovedprocessor (CPU, Central Processing Unit). Det betyder, at der ikke er løbende udgifter til API (Application Programming Interface). API er en grænseflade, som programmer bruger til at tale sammen.

Ifølge projektets egne benchmarks rammer den kompilerede model 92,5 procent rigtigt. Benchmarks er standardiserede tests. Den naive tilgang med samme model rammer 74,8 procent rigtigt. Naiv betyder her enkel og ligetil. Usikre svar afvises i stedet for at gætte. Output, altså resultatet, er bundet til et skema. Et skema er en fast form, som svaret skal passe ind i. Derfor genereres intet frit.

Tallene er projektets egne og ikke uafhængigt efterprøvet. Koden ligger på GitHub. GitHub er et sted på internettet, hvor man deler kode. Den er under MIT-licensen. MIT står for Massachusetts Institute of Technology. En licens er en tilladelse til at bruge og ændre koden. Strot kan installeres via pip. Pip er et værktøj, man bruger til at installere software.