Kombinerer Intel Arc B70 og RTX 4070: Opnår ~50 tok/s i lokal AI-kørsel

En computeringeniør fra en halvlederproduktionsvirksomhed har demonstreret en usædvanlig hardwareopsætning, der kombinerer grafikkort fra både Intel og Nvidia til lokal AI-kørsel. Ved at pulje et Intel Arc Pro B70 Creator med 32 GB VRAM og et Nvidia RTX 4070 med 12 GB VRAM lykkedes det at opnå en ydelse på omkring 50 tokens i sekundet.

Opsætningen benytter RPC i llamacpp til at afvikle SYCL på Intel-kortet og CUDA på Nvidia-kortet. Systemet afvikler modellen Qwen 3.6 27B (Q6_K) med en FP16-kontekststørrelse på 256K. Testen viser, at kombinationen leverer en kvalitet, der ifølge OpenRouter svarer til Sonnet 4.5, direkte på lokal hardware.

Hardwaren består af en Intel Core i7-13700K processor, 32 GB DDR5-6000 RAM samt de to forskellige grafikkort. Intel Arc Pro B70-kortet blev købt for 900 dollar som en direkte opgradering til en eksisterende gamer-pc fra 2022. Intel-kortet har en målt båndbredde på 567 GB/s, mens RTX 4070-kortet har en båndbredde på 504 GB/s.

Konfigurationen og fejlfindingen krævede en del arbejde, hvor brugeren fik hjælp fra AI-modellerne Kimi K3 og GLM 5.2 via en tilpasset opsætning. Udover den kombinerede kørsel blev Intel Arc B70 også testet som et enkeltstående grafikkort med SYCL. Selvom kortet klarede sig godt alene, medførte det et tab af konteksthukommelse, hvilket gjorde det sværere at bruge som kodningsagent uden at skifte til en mere komprimeret model som Q4_K_M.

En af de største fordele ved løsningen er det lave strømforbrug, som ligger på under 400 Watt samlet set. Det gør det muligt at køre opsætningen døgnet rundt til offline kodningsagenter, samtidig med at computeren stadig kan benyttes til almindelig brug og gaming.