AI-agenter sparer på tid og tokens med ny metode til hukommelse

AI-agenter har brug for hukommelse for at handle konsistent over længere interaktioner. I mange nuværende systemer kræver styringen af denne hukommelse ekstra kald til en LLM for at oprette poster og hente information, hvilket koster både tid og tokens.

Den nye metode, Zero-Mem, introducerer hukommelsesoperationer, der ikke bruger tokens. Det betyder, at ingen led i processen før det endelige svar bruger en LLM. I stedet bevarer systemet de originale spor fra interaktionerne og organiserer dem på to måder.

For det første bruges en entity-kontekstgraf, der viser forbindelser på tværs af interaktioner. For det andet bruges et temporalt hierarki, der bevarer samtalens lokale struktur og sessionens tilstand. Når der stilles et spørgsmål, afvejer Zero-Mem disse to visninger og henter den nødvendige kontekst.

Systemet bruger en deterministisk kalibrering til at fjerne modstridende beviser, så svaret forbliver baseret på de hentede data. Det er først i det allersidste trin, hvor svaret formuleres, at en LLM bliver aktiveret.

Ifølge forskerne opnår Zero-Mem konkurrencedygtige resultater på benchmarks for lang hukommelse og store kontekstvinduer. Samtidig fjerner metoden token-forbruget fra selve hukommelsesstyringen. Med det samme kontekstbudget og læser som sammenligningsgrundlaget reducerer Zero-Mem tidsforbruget ved hukommelsesoperationer med 57,6 procent i forhold til den hurtigste baseline.

Koden og detaljerne omkring løsningen bliver tilgængelige efter peer review.