Het taalmodel, door Meta’s team omschreven als “een eenvoudig en controleerbaar model voor het genereren van muziek”, kan tekstaanvragen zoals bijvoorbeeld ‘up-beat akoestische folk’ of ‘een pop dance track met pakkende melodieën’ omzetten in nieuwe muziekclips van 12 seconden. Het model werd dit weekend als open source vrijgegeven, je kan hier een demo bekijken. Meta zegt dat het 20.000 uur aan gelicentieerde muziek heeft gebruikt om MusicGen te trainen.

MusicGen is zeker niet de eerste generator die tekstinstructies naar muziek vertaalt. Maar het feit dat een bedrijf als Meta er zich achter schaart, is een belangrijke stap in deze snel veranderende technologie. Grote concurrent Google pakte in januari al uit met een gelijkaardige tool genaamd MusicLM. 

Opmerkelijk is dat de onderzoekers van Meta ook een paper gepubliceerd hebben met een overzicht van het werk dat gepaard ging met het trainen van het model. Daarbij wijzen ze er op dat alle ingevoerde gegevens om de tool te trainen onder de wettelijke overeenkomsten met de rechthebbenden vielen. Ook benoemen ze een tweede belangrijke issue in het gebruik van AI, namelijk het gebrek aan diversiteit in de dataset die een groter aandeel westerse muziek bevat. “We geloven echter dat de vereenvoudiging die we in dit werk toepassen, kan helpen om de toepassingen uit te breiden naar nieuwe datasets.”

Een andere uitdaging die in de paper naar voren komt, is dat generatieve modellen een oneerlijke concurrentie kunnen vormen voor kunstenaars. De paper wijst wel op de toenemende democratisering van muziek maken die hierdoor mogelijk wordt. “Open onderzoek kan ervoor zorgen dat alle spelers gelijke toegang hebben tot deze modellen. Door de ontwikkeling van meer geavanceerde besturingselementen, hopen we dat dergelijke modellen nuttig kunnen worden voor zowel muziekamateurs als professionals.”

Groeiende onrust

Het nieuws over Meta’s AI-muziekonderzoek komt in een tijd van groeiende onrust over het gebruik van generatieve AI in de muziekindustrie, vanwege problemen met auteursrechtschendingen en het overaanbod van content op streamingdiensten. 

In april haalden AI-gegenereerde muziekproducties die de zang van supersterren nabootsen de krantenkoppen nadat een nummer genaamd “Heart On My Sleeve”, met AI-gegenereerde zang die de stemmen van Drake en The Weeknd nabootst, viraal ging. Het nummer, geüpload door een artiest met de naam ghostwriter, werd vervolgens verwijderd van YouTube, Spotify en andere platforms na een auteursrechtclaim door Universal Music Group.

De opkomst van AI-platforms waarmee gebruikers met één druk op de knop grote hoeveelheden tracks kunnen creëren, heeft ook het potentieel blootgelegd voor generatieve AI om te worden gebruikt voor streamingfraude. Via generatieve AI-muziekapps kunnen fraudeurs grote hoeveelheden audio-inhoud creëren en uploaden naar DSP’s om deze inhoud massaal af te spelen via bot-gestuurde ‘streamingfarms’.

In april verwijderde Spotify een aanzienlijk aantal tracks - waarvan er veel waren gemaakt via het AI-muziekplatform Boomy - van zijn service, onder vermelding van “mogelijke gevallen van streammanipulatie”. Vorige week zette de in Frankrijk gevestigde muziekstreamingdienst Deezer een strategie uiteen om zowel de opkomst van AI-muziek als frauduleuze streamingactiviteiten op zijn platform aan te pakken.

Een aantal spelers in de muziekindustrie omarmen echter ook AI-muziektechnologie voor verschillende toepassingen. Zo lanceerde de Canadese zangeres Grimes vorige maand een project, waarbij ze gebruikers uitnodigt om liedjes te maken met haar stem in ruil voor een aandeel van 50% in de royalty’s van de masteropnames.

Vorige maand bracht de Zuid-Koreaanse entertainmentgigant HYBE de nieuwe single eMasquerade uit, volgens HYBE de allereerste meertalige track geproduceerd in het Koreaans, Engels, Japans, Chinees, Spaans en Vietnamees. De vocals werden telkens live ingezongen maar met behulp van AI werden de uitspraak en intonatie van de artiest verder verfijnd. 

We zoomen binnenkort verder in op dit onderwerp in een longread.

Voor wie zich verder wil verdiepen in de relatie tussen muziek en nieuwe technologie, vindt van 4 t/m 6 juli Wallifornia Musictech in Luik plaats.