MuScriptor: Novi AI model za transkripciju muzike sa više instrumenata

Precizna transkripcija muzičkih kompozicija sa više instrumenata dugo je bila izazov za AI modele. Sada, Kyutai i Mirelo predstavljaju MuScriptor, open-weight model koji može da pretvara audio snimke u MIDI notaciju čak i kod složenih muzičkih kompozicija.

MuScriptor koristi Transformer arhitekturu i MT3 tokenizaciju kako bi audio pretvorio u simboličke note. Model je treniran na ogromnom datasetu od preko 170.000 realnih snimaka različitih žanrova, od klasične do heavy metal muzike, što mu omogućava da precizno prepozna različite instrumente.

Treniranje MuScriptora odvija se u tri faze. Prva koristi sintetizovane MIDI fajlove sa različitim augmentacijama, dok druga faza uključuje prave audio snimke sa preciznim notnim anotacijama. Treća faza koristi reinforcement learning kako bi dodatno poboljšala preciznost transkripcije.

Rezultati su impresivni. Na test skupu DTest, MuScriptor postiže Multi F1 skor od 48.2, u poređenju sa 21.9 koje daje YourMT3+ baseline. Međutim, model i dalje ima izvesnih ograničenja, posebno kada je reč o preciznosti početka i kraja nota kod kompleksnih muzičkih stilova poput horala.

MuScriptor je dostupan u tri veličine: small (103M), medium (307M), i large (1.4B). Iako je inference kod dostupan pod MIT licencom, težine modela su pod CC BY-NC 4.0 licencom, što ograničava komercijalnu upotrebu.

Jedna od najvažnijih karakteristika MuScriptora je mogućnost uslovljavanja na određene instrumente. Na primer, korisnici mogu da transkribuju samo bubnjeve ili klavir iz kompleksne muzičke kompozicije. Ova funkcionalnost otvara vrata za širok spektar primena, od muzičke produkcije do muzikoloških istraživanja.

Instalacija je jednostavna, a model može da se koristi direktno iz terminala ili preko web interfejsa. Međutim, za praktičnu brzinu, veliki model zahteva GPU.

Šta sledi za MuScriptor? Dok je model već impresivan, postoji prostor za poboljšanje, posebno kada je reč o preciznosti kod kompleksnih muzičkih stilova i mogućnosti komercijalne upotrebe. Kako će se MuScriptor razvijati u budućnosti i koje nove mogućnosti će otvoriti u svetu muzičke tehnologije?