PCIe-switche afslører den oversete flaskehals i multi-GPU-inferens

Sentdex har vist en video, der demonstrerer, hvordan man med et bestemt PCIe-hardware-stykke og open source-software kan få flere grafikkort til at samarbejde effektivt om at køre store AI-modeller derhjemme. Det er vigtigt, fordi det løser en kommunikations-flaskehals, der hidtil har besværliggjort kraftige, lokale setup. Nu vil flere byggere formentlig undersøge netop PCIe-switche og softwarelaget for at opnå bedre præstationer.

# Hvorfor tusindvis kigger med, når hardware møder software

En video fra kanalen Sentdex – som mange følger, når de vil bygge deres egen maskinlæring derhjemme – ramte 20.000 visninger på bare 22 timer. Årsagen er enkel: Den tager et spørgsmål, mange stiller sig, og peger på en konkret del af løsningen. Maskinlæring handler i korte træk om at træne og bruge kunstig intelligens, og når man gør det lokalt på sin egen computer i stedet for i en stor serverpark, kræver det kraftigt grafikkort – på engelsk GPU – og nok hukommelse, såkaldt VRAM, til at holde modellerne kørende. Titlen på videoen er et nik til det berømte forskningspapir »Attention Is All You Need«, som beskriver den såkaldte Transformer-arkitektur – den teknik, som de fleste moderne sprogmodeller bygger på.

»Harness« – forbindelsen der betyder alt

Videoens titel bruger ordet »harness«, som dækker to ting: den fysiske forbindelse mellem flere grafikkort og den software, der får dem til at samarbejde. Forestil dig et orkester, hvor musikerne er dygtige hver især, men dirigenten og forbindelsen mellem dem er dårlig – så falder resultatet fra hinanden. Præcis det samme gælder her: selv de bedste grafikkort kan ikke yde deres fulde potentiale, hvis de ikke kan kommunikere hurtigt nok med hinanden.

En hjemmebygget løsning der bider fra sig

En central del af videoen handler om den fysiske infrastruktur, der forbinder kortene. Der henvises til et specielt delekort kaldet en PCIe-switch – konkret C-Paynes PCIe Gen5-switch med 100 lanes. Tænk på PCIe som en motorvej mellem grafikkortene og computerens hjerne. En switch udvider antallet af spor på denne motorvej, så flere kort kan dele båndbredde uden at blive begrænset af bundkortets – altså computerens hovedplades – antal ledige pladser. Det gør det muligt at samle et hjemme-setup med flere grafikkort uden at investere i dyrt udstyr beregnet til store virksomheder. Til software-siden linkes til det open source-projekt oh-my-pi på GitHub, der håndterer koordineringen af opgaverne på tværs af kortene – altså det, der får hele.maskinen til at arbejde som ét.

Hvad du kan tage med dig

Videoen nævner specifikke sprogmodeller, der testes i setuppet, blandt andre DeepSeek V4 Flash og Qwen 3.8, og der linkes til benchmarks – altså målbare sammenligninger – samt en skriftlig gennemgang på hjemmesiden hkinsley.com. Hvis du overvejer at bygge dit eget setup til lokal kørsel af kunstig intelligens, peger videoen på, at det er værd at se på infrastrukturen og software-laget, før man bare køber flere grafikkort. De konkrete benchmark-resultater i den tilhørende artikel kan give et mere solidt beslutningsgrundlag end generelle anbefalinger – og præcis de resultater og anbefalinger, videoen når frem til, er ikke gengivet her, da der kun arbejdes med titel og beskrivelse.