Lokalt AI-studie løsner skyens greb om musikken

Miso er et nyt lokalt studie, der samler flere musik- og audio-modeller i én grænseflade og bruger 40 GB diskplads. Det betyder noget, fordi musikere kan eksperimentere med AI-modeller uden skyen og beholder alle forsøg. Projektet er vokset til en digital lydarbejdsstation med database, jobkø og håndtering af modeller, og understøtter modeller som ACE-Step, YuE2, MiniMax Music og Stable Audio.

Har du nogensinde prøvet at lave musik med kunstig intelligens? Så kræver det ofte, at du sender dine idéer til en server et eller andet sted i skyen. Miso gør det modsatte. Det er et program, der samler flere musik- og audio-model-familier i ét lokalt studie på din egen computer. Det bruger 40 gigabyte diskplads til at gemme GPU-modeller — de regneenheder, der får AI til at arbejde hurtigt. Værktøjet er bygget oven på audio.cpp, en slags byggeklods til lyd-AI, og er designet til at fungere uden internetforbindelse.

Det hele startede som et simpelt script — en lille opskrift, som computeren følger — men voksede til et helt musikstudie. I dag minder Miso om en DAW, et digitalt lydstudie, hvor du kan indspille, redigere og blande musik. Programmet har en database, der gemmer alt på en struktureret måde, en jobkø, der holder styr på opgaver i rækkefølge, og en modelmanager, der styrer de forskellige AI-modeller. Der er også en lydeditor til at klippe i lyd og en waveform-afspiller, der viser lyden som en bølge på skærmen. Hele opsætningen kører i Docker Compose, en teknik, der pakker programmer i beholdere, så de kører ens på alle computere. Udvikleren bag Miso ville have en måde at eksperimentere med lokale musikmodeller på uden at skulle skrive kommandoer i en kommandolinje — den tekstbaserede grænseflade, som programmører bruger.

Miso understøtter flere modeller med forskellige styrker. ACE-Step 1.5 er hovedarbejdshesten til at generere hele sange, lave covers — nye versioner af eksisterende sange — og lave dele af en sang om. YuE2 planlægger først en ABC-musikscore, en tekstbaseret måde at skrive noder på, og kan give scoren tilbage til dig. MiniMax Music 3 og HeartMuLa er alternative sanggeneratorer. Stable Audio 3 håndterer instrumental og lydeffekter. Derudover er der separate modeller til at adskille stemmer, konvertere stemmer og oversætte lyd til MIDI, et digitalt sprog, som musikinstrumenter og computere forstår. Modellerne forstår dog ikke instruktioner på samme måde. En vil have en beskrivelse, der minder om en producents noter. En anden vil have en kort beskrivelse med stikord adskilt af kommaer. Og ACE-Step vil have stilinformation ét sted og tempo (BPM, altså slag per minut) og toneart som separate indstillinger.

Miso gemmer ikke kun den færdige sang. Programmet holder på alle takes — de enkelte optagelser eller forsøg — samt instruktioner, tekster, stems (de enkelte lydspor, som for eksempel vokal eller trommer), scores (nodeudskrifter), transskriptioner (nedskrevne udgaver af det spillede) og slægtskabet mellem dem. På den måde kan du eksperimentere frit uden at miste overblikket over, hvad du har prøvet, og hvordan de forskellige versioner hænger sammen.