Du flytter AI-apps til Amazons chip med én kodelinje

Amazon Web Services udgav mandag værktøjet TorchNeuron, som ifølge Amazon flytter en AI-app skrevet med PyTorch over på selskabets egen chip, Trainium, ved at ændre én linje i opsætningen. Koden skal ikke skrives om.

Det er et direkte angreb på Nvidias software-forspring. PyTorch er et gratis open source-værktøj, som udviklere bruger til at bygge, træne og køre AI-modeller, og omkring 85 procent af alle AI-apps er skrevet med det, ifølge Amazon. Nvidia har i årevis sørget for, at selskabets CUDA-software passer problemfrit til PyTorch. CUDA er den software, der får apps til at køre på Nvidias GPU'er, og derfor peger frameworket i praksis på Nvidia af sig selv.

Amazon er ikke den første, der gør skiftet nemt. PyTorch-brugere kan også flytte apps til AMDs GPU'er eller Apples chips med en enkelt ændring i opsætningen.

Amazon mener ikke, at nemheden er det eneste argument. Trainium giver også adgang til hele AWS, og selskabet hævder, at det er et bedre valg for opstartsvirksomheder end de såkaldte neoclouds, hvor flere er bundet til Nvidia og dets hardware — Coreweave, Nebius og Firmus.

»Du bygger på AWS. Du satser ikke på en leverandør, der kun laver én ting, og som du så skal bygge alt andet op omkring,« siger Colin Brace, der er VP of Technology Software i AWS Annapurna Labs, til TechCrunch.

Samme chip klarer både træning og inferens, og derfor mener AWS, at kunderne sparer penge, selv om selskabet ikke tilbyder den laveste pris pr. token. Stemmevirksomheden Deepgram er ifølge Brace skiftet til Trainium og behandler nu 70 procent mere lyd pr. dollar.

Amazon vil også ændre PyTorch selv. Selskabet bidrager med kode til det åbne projekt, der fjerner bindinger til bestemte chips, så frameworket ikke længere er låst til én leverandør — for alle, ikke kun Trainium-brugere.