Dyre modelkald bremser udbredelsen af AI-agenter

Sam Witteveens video om Jev, et lille styringsværktøj, har fået 31.147 visninger på 21 timer. Det betyder noget fordi billig styring kan spare dyre opkald til kunstig intelligens. Nu afprøver flere udviklere metoden i deres egne assistenter.

På 21 timer har 31.147 set Sam Witteveens video. Det er 1.505 visninger i timen og 473 likes. Tempoet er højt.

Sam Witteveen viser hvordan Jev kan bruges i et agent-harness. En agent er her et program der selv tager små skridt mod et mål. Et harness er rammen der holder styr på skridtene. Som stilladset om et hus under byggeri. Videoen følger op på hans tidligere indlæg om samme emne.

Hvad er det nysgerrige her? Prisen på fulde modelkald. Et modelkald er når man beder den store tekstmaskine om svar. Hvert kald i agentløkken koster tid og token. En løkke er de runder der gentager sig igen og igen. Et token er en lille bidder tekst man betaler for. Witteveen kalder Jev en smart hvis-sætning. Tænk på en dørmand foran et dyrt køkken. Den lille beslutning styrer den store model. Kapitlerne peger på tre opgaver. Det er model routing, altså at vælge hvilken maskine der skal svare. Det er risk gating, altså at bremse ved risikable skridt. Og det er valg af værktøj og færdigheder, altså at vælge det rette redskab.

Målgruppen er folk der bygger agenter. Beskrivelsen linker til en formular for agentbyggere og til Witteveens GitHub med vejledninger. GitHub er et sted på nettet hvor man deler kode. Beskrivelsen linker også til Eikos-27B på Hugging Face. Hugging Face er et sted på nettet hvor man deler modeller. Koblingen til et konkret open source-model er den eneste tekniske detalje i materialet. Et open source-model er en maskine med åben kode som alle kan bruge. Interessen rammer et konkret behov. Fuld model til hvert tjek er dyrt. Billig styring før dyrt kald er let at forstå. Sulten efter praktiske opskrifter forklarer farten. 31.147 visninger på under et døgn er højt for en nichevideo om agent-design.