ThoughtDAG lader dig styre AI'ens hukommelse via visuelle grafer

ThoughtDAG er et værktøj, der lader brugere styre sprogmodellens hukommelse via en graf for at fjerne irrelevant data. Det giver forskere kontrol over, hvilke informationer modellen skal bruge til sine svar. Udvikleren tester nu, om fjernelse af støjende data forbedrer modellens præcision.

ThoughtDAG hjælper os med at styre, hvad en sprogmodel husker. Forestil dig, at modellens kontekstvindue – det område, hvor den holder styr på samtalen – er som et skrivebord. Hvis bordet bliver for fyldt med ligegyldige papirer, kan modellen blive forvirret. Med ThoughtDAG kan man bruge en graf, som er et visuelt netværk af punkter, til at fjerne den information, der ikke længere er relevant.

Hver gang man stiller et spørgsmål og får et svar, oprettes der en node, hvilket blot er et punkt i dette netværk. Man kan forbinde disse punkter med linjer for at bestemme, hvilken information der skal følge med videre til næste inferens, som er selve processen, hvor modellen tænker og genererer et svar. Hvis man fjerner en linje, forsvinder hele den gren af samtalen fra modellens hukommelse, og ikke kun fra skærmen.

Det er særligt nyttigt til research, hvor én tanke kan føre til mange forskellige hypoteser eller modbeviser. Man kan have flere eksperimenterende grene ved siden af hinanden og selv vælge, hvilke beviser der skal tages med videre. Lige nu tester udvikleren værktøjet i en benchmark-pilot, som er en standardiseret testserie. Her undersøger man, hvordan modellen reagerer på irrelevante grene, forældede antagelser og modstridende beviser sammenlignet med en helt ren hukommelse.

Programmet understøtter Ollama, hvilket gør det muligt at køre lokal inferens, så computeren selv tænker uden at sende data over internettet. Det virker også med OpenAI-kompatible endpoints, som er standardiserede forbindelsespunkter til andre sprogmodeller. For at passe på privatlivet gemmer desktop-applikationen alle dokumenter, lærreder og nøgler lokalt på brugerens egen maskine.

Vil du have, at jeg forklarer nærmere, hvordan man konkret kan bruge disse »eksperimenterende grene« i en forskningsproces?