AI-agenter i biler og robotter arbejder 6,4 gange hurtigere

NVIDIAs værktøj TensorRT Edge-LLM har fået computeren Jetson AGX Thor til at klare en agent-test 6,4 gange hurtigere. Det betyder noget, fordi AI-agenter i biler og robotter skal tænke hurtigt i mange trin uden hjælp fra skyen. Nu kan udviklere bruge resultatet til at flytte kloge assistenter ud på små enheder.

NVIDIA fortæller på sin udviklerblog om noget, der vækker nysgerrighed. Deres værktøj til stor sprogmodel, altså Large Language Model (LLM), som hedder TensorRT Edge-LLM, klarer testen til måling af ydeevne for maskinlæring, altså Machine Learning Performance (MLPerf), som hedder MLPerf Edge Agentic Benchmark, 6,4 gange hurtigere på NVIDIAs Jetson AGX Thor. Testen måler netop den slags arbejdsgange, som agenter bruger. Den er et mål for, hvor godt hardware tæt på brugeren klarer arbejde for agenter. Kunstig intelligens (AI) er nemlig på vej fra store computerhaller langt væk, altså cloud-datacentre, og ud til køretøjer, robotter og andre enheder tæt på os, altså edge-enheder. NVIDIA skriver, at agenter ikke kun hører til i skyen.

Hvad er så en agent? Tænk måske på forskellen mellem en opskrift og en kok i et køkken. En chatbot, altså en snakkerobot, svarer mest på en enkelt besked, altså en enkelt prompt. En agent arbejder i flere trin i en rækkefølge, altså i sekvenser. Den vælger værktøjer, lidt som kokken vælger kniv eller pande. Så vurderer den resultaterne, lidt som at smage på maden, og fortsætter med at tænke videre, altså at ræsonnere, i en samtale, der bliver stadig længere.

Kan en lille enhed følge med i det lange forløb? Det er spørgsmålet. Når enheden selv skal bruge modellen til at tænke, altså inferens på edge-enheden, stiller den arbejdsgang nye krav. Modellen skal skrive små bidder af tekst, altså tokens, hurtigt. Det gælder også, når huskelisten for samtalen, altså konteksten, vokser. Det er en anden udfordring end at besvare en enkelt prompt. Det kræver, at motoren til at tænke med, altså inferensmotoren, kan følge med. Det er her, TensorRT Edge-LLM kommer ind. Det er NVIDIAs værktøj til at opfylde de krav på Jetson AGX Thor, når agenten vælger værktøjer og vurderer resultater, før den fortsætter.