Sprogmodeller overtager styringen af fysiske robotter

Sentdex udgav en video, hvor tekst-AI'en GLM 5.3 Flash styrer robotten via kommandoer og information om omgivelserne; efter tre timer: 2876 visninger, 70 likes.

Videoen er anden del af serien 'Everything is LLM' om sprogmodeller i robotter og viser brug i fysiske systemer.

Beskrivelsen linker til en aktiv Kickstarter for robotten xgo mini 2 fra videoen.

Tre timer efter udgivelsen har sentdex' nye video 2876 visninger og 70 likes. I videoen lader han en sprogmodel styre al den overordnede logik i en robot. En sprogmodel er et computerprogram, der har læst enorme mængder tekst. Derfor kan den forstå og skrive sprog. Tænk på den som en ekstremt vellæst assistent. Modellen hedder GLM 5.3 Flash. Den styrer robotten gennem funktionskald og objektdetektion. Funktionskald er en måde, hvorpå modellen kan udløse handlinger i robotten. Lidt som at trykke på knapper i en fjernbetjening. Objektdetektion giver modellen information om, hvad der er omkring robotten. Det er som robottens øjne.

Videoen er anden del af serien 'Everything is LLM'. LLM står for Large Language Model, på dansk stor sprogmodel. Serien undersøger, hvor meget af en robots funktionalitet der kan overlades til en sprogmodel. Anden del tyder på, at der findes en første del, hvor konceptet blev introduceret. Her tager sentdex det videre: Modellen står for al logik, inklusive objektdetektion. I beskrivelsen er der et link til en Kickstarter-kampagne for robotten xgo mini 2. Det tyder på, at det er den robot, der bruges i videoen. Kickstarter-kampagnen er i skrivende stund aktiv.

Sentdex er kendt for sine videoer om Python og machine learning. Python er et programmeringssprog. Machine learning handler om at lære computere at lære fra data. I beskrivelsen linker han til sin bog 'Neural Networks from Scratch' og til sin Discord og Reddit. Discord og Reddit er online fællesskaber, hvor man kan dele viden. Videoen er et eksempel på, hvordan sprogmodeller kan bruges i fysiske systemer. Den viser, at en sprogmodel ikke kun kan skrive tekst. Den kan også hjælpe med at styre ting i den virkelige verden. Videoen har fået 70 likes på tre timer.