Simon Willison drøfter åbne AI-modeller og Kimi K3 i Oxide and Friends

Podcasten *Oxide and Friends*, med værterne Bryan Cantrill og Adam Leventhal, havde for nylig besøg af Simon Willison til en samtale om den hurtige udvikling inden for åbne AI-modeller.

Centralt i samtalen var udviklingen, hvor åbne modeller som Kimi K3 har vist sig at kunne stå skulder ved skulder med de førende proprietære modeller. Undervejs drøftede de utilsigtede cybersikkerhedsangreb samt offentlige breve om »Open Weights and American AI Leadership«, som blev underskrevet af næsten alle store aktører i AI-branchen med en enkelt bemærkelsesværdig undtagelse.

Optagelsen fandt sted lige før flere markante begivenheder ramte nyhedsbilledet. Både lanceringen af DeepSeek V4 Flash 0731 og Anthropics egen pinlige cybersikkerhedshændelse ville ifølge Willison have været oplagte emner, hvis podcasten var blevet optaget blot få dage senere.

Udover de tunge AI-emner bød podcasten på afstikkere til emner som Golden Gate Claude, Zizians, vilde kalkunangreb i Alameda, sovjetisk Marburg-virusforskning og bly-kriminalitetshypotesen. Samtidig blev tidligere forudsigelser fra januar genbesøgt, og der blev tilføjet en ny forudsigelse om, at paven inden årets udgang vil udtale sig om åbne modeller.

Sideløbende med podcast-diskussionen fortsætter den tekniske fremgang for åbne modeller. Nye benchmark-resultater delt af brugeren /u/fuzhongkai viser ydeevnen for motoren TensorSharp ved afvikling af DeepSeek-V4-Flash-0731 på 4x Nvidia A40 GPU'er med CUDA 12.8. TensorSharp, som er en åben inferensmotor til lokal afvikling af GGUF-sprogmodeller med støtte for CUDA, Vulkan og Metal, opnåede i testen bedre ydeevne end llama.cpp under prefill med op til 963 tokens i sekundet.