To kommandoer gør det muligt at køre Hugging Face-modeller i C++
TensorRT Model Connect fjerner behovet for PyTorch og Python-fortolkere ved idriftsættelse i native applikationer.
Læs i dit tempo
Kort
NVIDIA har lanceret TensorRT Model Connect, som flytter AI-modeller til C++ (et programmeringssprog) med to kommandoer. Det fjerner behovet for Python (et andet sprog), hvilket gør programmerne hurtigere. Værktøjet er nu open source (åben kildekode) på GitHub, så andre kan bruge det.
Begynder
Forestil dig, at man kan flytte en kunstig intelligens fra et digitalt bibliotek som Hugging Face over i et lynhurtigt computerprogram skrevet i kodesproget C++. Med værktøjet NVIDIA TensorRT Model Connect kræver det kun to kommandoer. Det fungerer lidt som en universaloversætter. Man slipper nemlig for at skulle omforme data eller tilpasse modellen manuelt, før den kan bruges til at give svar.
For at slippe for at bruge sproget Python, når programmet kører, følger man to trin. Først bruger man en såkaldt Command Line Interface (et tekstbaseret kontrolpanel) i Python til at bygge en pakke baseret på modellens id. Denne pakke kan derefter startes direkte i C++. Her er der hverken brug for PyTorch, som er et værktøj til at bygge modeller, eller en Python-fortolker, der normalt læser koden.
Der findes to niveauer af Application Programming Interfaces, eller API'er, som er digitale broer mellem programmer. Det ene er et semantisk niveau, hvor man blot styrer opgaverne. Det andet er et modul-niveau. Her har man direkte kontrol over komponenter og tensorer, som er de komplekse matematiske datastrukturer, AI'en arbejder med.
Man kan også tilføje sine egne GPU-kerner, som er specialinstruktioner til grafikkortet. Det sker via en Foreign Function Interface (en metode til at forbinde forskellige kodesprog) fra TVM, mens resten af processen køres i TensorRT. Projektet er frit tilgængeligt som open source på hjemmesiden GitHub. Her bruger man kodningsagenter, som er intelligente hjælpeprogrammer, til at følge med i udviklingen af nye modeller.
Vil du have et eksempel på forskellen mellem det semantiske og det modulære API-niveau?
To kommandoer er alt, hvad der kræves for at flytte en open source-model fra Hugging Face til inferens i en C++-applikation. NVIDIA TensorRT Model Connect fjerner behovet for model-specifik konvertering og forbehandling af data.
To faser udgør workflowet for at fjerne afhængigheden af Python under kørsel. Først bruger man en Python CLI til at bygge en pakke til idriftsættelse ud fra et model-id. Denne pakke kan derefter indlæses og køres direkte i C++ uden brug af PyTorch eller en Python-fortolker.
To API-niveauer er tilgængelige alt efter behovet for kontrol. Et semantisk API håndterer input og output på opgaveniveau, mens et modul-API giver direkte kontrol over tensorer og komponenter.
Egne GPU-kerner kan integreres via TVM FFI, mens resten af pipelinen kører i TensorRT. Projektet er open source på GitHub og bruger kodningsagenter til at følge med i udviklingen af nye modeller.
Kilder
Produktionshistorie
- Radar Signal ? af 100 · spredning 1 kilder
- Skrevet Model: mimo-v2.5-free · temperatur 0.4
- Overskrift 5 kandidater, valgt af chat.dk
- Korrektur 1 zen · 4 rettelser
- Billede Genereret af gemini-3.6-flash-medium
- Vedtagelse ainews-auto-v3 · score 0.2941