september 2021

By Catharina Jewel, Afdeling Informatie en Digitale Outreach, WIPO

In 2010 voegden de Australische singer/songwriter Charlton Hill en muziektechnoloog Justin Shave zich bij de gelederen om Uncanny Valley op te richten, een in Sydney gevestigd vooruitstrevend technologiebedrijf dat toonaangevend is in de muziekindustrie. Charlton Hill, ook hoofd innovatie bij Uncanny Valley, bespreekt de ambities van het bedrijf om de muziekproductie te versnellen, te democratiseren en opnieuw vorm te geven door het gebruik van kunstmatige intelligentie (AI). In 2020 vormden Uncanny Valley en collega Caroline Pegram Team Australia en wonnen ze het allereerste Eurovisie AI Songfestival.

Uncanny Valley heeft over het algemeen betrekking op een ongemakkelijk gevoel dat mensen hebben over dingen die niet helemaal menselijk zijn. Hoe ben je ertoe gekomen om je bedrijf Uncanny Valley te noemen?

Mijn mede-oprichter Justin Shave bedacht het. Nadat ik de betekenis ervan had uitgepakt, omarmde ik het feit dat we voorbestemd waren om een ​​vooruitstrevend muziektechnologiebedrijf te worden in een industrie die we allebei goed kenden.

Justin is een klassiek geschoolde pianist en muziektechnoloog met een computerwetenschappelijke achtergrond en ik ben songwriter en zanger. We hebben allebei een sterke interesse in innovatie. Er was zand in de muziekindustrie in 2010, toen we het bedrijf oprichtten, dus het was logisch om met een toekomstgerichte partner samen te werken. We hebben altijd een open benadering van medewerkers gehad en hebben hen niet beperkt tot traditionele muzikanten en producers. Ik denk dat we in de naam zijn gegroeid. Je zou kunnen zeggen dat we de uncanny valley proberen te overtreffen op het gebied van muziek, wat waarschijnlijk een van de interessantste uitdagingen van onze tijd is.

Vertel ons over uw bedrijfsmodel.

We hebben twee inkomstenstromen. Een daarvan is door middel van commissies om originele muziek te maken of muziek opnieuw te mixen (waarbij je een bekend, gelicentieerd nummer neemt en het opnieuw maakt met een nieuwe zanger) en de andere is de royalty's die naar ons komen wanneer deze programma's worden uitgezonden. In Australië werken we aan verschillende projecten, waaronder bijvoorbeeld Australische overlevende, die veel muziek nodig heeft om het voort te stuwen. Deze inkomsten stimuleren de dagelijkse activiteiten van het bedrijf en financieren onze meer vooruitstrevende AI- en machine learning-activiteiten.

Vertel ons over uw werk op het gebied van augmented creativiteit.

Het is ongelooflijk spannend. Het begon formeel in 2019, toen we samenwerkten met Google's Creative Lab en opkomende Australische artiesten aan een experiment met machine learning om progressieve tools te bouwen die ze konden gebruiken in hun songwritingproces. Hun feedback tijdens de ontwerpfase was van onschatbare waarde.

Over het algemeen genoten ze van het proces, maar waren ze nogal luidruchtig toen ze voelden dat de tools hen op de tenen trapten. Onze AD LIBBER-app, die is ontworpen om lyrische ideeën aan te wakkeren, werd bijvoorbeeld verwelkomd door een artiest die worstelde met songteksten, maar sprak een andere artiest met een talent voor frasering niet aan. Een andere app genaamd Demo Memo, stelde de artiesten in staat een melodie te neuriën of te fluiten en deze om te zetten in een instrument naar keuze, waardoor het demoproces aanzienlijk werd versneld. Dat waardeerden ze allemaal.

Het experiment was een geweldige kans om deze concepten te pushen en te trekken. We zijn ze blijven ontwikkelen via onze muziekengine, MEMU, die een voortdurende accumulatie is van ons onderzoek. Met de architectuur van MEMU geloven we dat we de kwantificering van muziek en emotie kunnen kraken.

MEMU biedt muzikanten de mogelijkheid om hun muziek uit te drukken via verschillende vormen van emotie en mediums.

Kunt u dat nader toelichten?

Onze interesse ligt in het begrijpen en kwantificeren van de emotionele respons die muziek genereert en de processen die samenhangen met het schrijven van melodieën en liedjes. Het gaat niet om het kraken van de formule voor een hit; het is dieper dan dat. We onderzoeken de nevenschikking van bepaalde teksten, melodieën en akkoordenreeksen en de manier waarop ze je laten voelen, om de muzikale vingerafdruk van een muziekstuk beter te begrijpen. Het is het idee om je blij/verdrietig te voelen en dat uit te leggen aan een computer. Het is behoorlijk ingewikkeld. Het is verbijsterend dat we nu de rekenkracht en intelligentie hebben om de teksten en melodieën van het hele oeuvre van een artiest te analyseren en nieuwe ideeën kunnen genereren die kunnen uitmonden in nieuwe liedjes of de voorwaartse beweging van het werk van die persoon vertegenwoordigen.

Vertel ons meer over MEMU.

MEMU is een krachtige motor voor realtime mixen en mash-up van het werk van artiesten. Het is echt spannend. Het luidt een nieuw tijdperk in voor de muziekproductie. We zien het als een evoluerend ecosysteem van bijdragers en medewerkers waarmee artiesten ontdekt kunnen worden en elke uitzending van hun werk kunnen volgen en betalen. MEMU's vermogen om een ​​eindeloze stroom van muziek in realtime te begrijpen en te mixen is echt heel opmerkelijk.

Hoe reageren mensen op MEMU?

Sommige mensen vinden het geweldig, maar zijn bang dat we muzikanten werkloos gaan maken. Dat is niet onze bedoeling. Wij zien MEMU als een krachtige motor om de productie te democratiseren, door het proces te versnellen en betaalbaarder te maken. Net zoals Spotify de beste afspeellijst ooit nastreeft, streeft MEMU naar de beste muziekwereld ooit.

Hoe heb je de software ontwikkeld?

Het was een interessant proces waarbij datawetenschappers en creatieve technologen samenwerkten met muzikanten, muziekproducenten en een breder team van academici.

In eerste instantie hebben we MEMU getraind met ons eigen gepatenteerde materiaal. We hebben ons toen verdiept in het gebruik van auteursrechtelijk beschermd materiaal, maar om het risico van onbedoelde auteursrechtschending te vermijden, begonnen we te putten uit het werk van een uitgebreide gebruikersgemeenschap, waaronder platenmaatschappijen. Dit stelde ons in staat om het begrip copyright en re-mixen te pushen en te trekken. We ontdekten een glijdende schaal van reacties, afhankelijk van de bekendheid van de kunstenaar.

Wanneer kunstenaars het MEMU-universum betreden, stemmen ze ermee in om het prachtige en buitengewone dingen met hun kunst te laten doen. MEMU houdt de microbijdragen van elke artiest bij en hoe deze worden gebruikt. Het is een krachtige manier om ervoor te zorgen dat artiesten worden beloond.

Wanneer dat nodig was, gebruikten we open source-materiaal om MEMU te trainen, maar we ontwikkelden meestal onze eigen gepatenteerde oplossing om de op maat gemaakte architectuur van MEMU te creëren, simpelweg omdat de oplossingen die we nodig hadden niet op de markt beschikbaar waren.

Kun je de verschillende kanalen van MEMU uitleggen?

MEMU is kneedbaar en heeft nu een verscheidenheid aan kanalen waarmee we universums kunnen isoleren. Als we bijvoorbeeld een platenlabel vragen om de komende releases van twee van hun artiesten door MEMU te laten mixen, kunnen we voor die samenwerking een gesloten universum creëren.

De verschillende kanalen van MEMU zijn ingebouwd in de architectuur. In eerste instantie brachten we gerichte kanalen uit om MEMU te leren over bepaalde genres, emoties en de eolische muziekstijl die ten grondslag ligt aan popmuziek. De technologie evolueert snel en stelt ons in staat om de bijdragen die we ontvangen voor verschillende genres aan te passen. MEMU kan bijvoorbeeld een werk nemen dat van nature op een chill-out-kanaal zit en het verwerken tot een hoogenergetisch kanaal.

We werken aan het versnellen van de mechanica van muziekproductie, het verbeteren van de traceerbaarheid en het gebruik van muziek en het openstellen van het idee van wat een nummer is, zodat het op allerlei manieren kan worden genoten. AI kan helpen om dat brede landschap op te bouwen.

Hoe helpt dit muzikanten?

MEMU biedt muzikanten de mogelijkheid om hun muziek uit te drukken via verschillende vormen van emotie en mediums. Kunstenaars die ontdekt willen worden, kunnen ons misschien toegang geven tot een deel van hun werk, zodat het op verschillende manieren wordt gehoord en mensen teruggaan naar hun catalogus. Welke artiest zou zijn muziek niet laten gebruiken op al deze buitengewone platforms en manieren?

MEMU democratiseert ook het muziekproductieproces. Het heeft de mogelijkheid om muziekwerken te nemen en ze te pureren op een manier die we nog nooit eerder hebben gezien en om artiesten te belonen. Er is een belachelijke honger naar muziek als aanvulling op de inhoud in al zijn oude en nieuwe vormen. MEMU helpt om aan die vraag te voldoen.

De ervaringen van Twitch en andere platforms laten zien dat de industrie zich in een "niet toestaan"-modus bevindt. De toekomst van muziek, waar MEMU voor staat, is "toestaan, aantrekken en belonen", zodat iedereen wint en vooruit kan.

Welke impact denkt u dat AI zal hebben op muzikanten?

AI-tools kunnen de manier waarop kunstenaars omgaan met de industrie democratiseren en hen in staat stellen nieuwe inkomsten uit hun werk te genereren. De tools die wij en anderen zoals wij ontwikkelen, zijn ontworpen om vooruitgang en technologie op een ethische en kunstenaargerichte manier te integreren.

AI vormt een aanvulling op de tools die beschikbaar zijn voor muzikanten en kan toegangsbarrières slechten door het productieproces te versnellen en muzikanten in staat te stellen zich op een kaart klinkende manier uit te drukken.

We werken aan het versnellen van de mechanica van muziekproductie, het verbeteren van de traceerbaarheid en het gebruik van muziek en het openstellen van het idee van wat een nummer is, zodat het op allerlei manieren kan worden genoten. AI kan helpen om dat brede landschap op te bouwen.

AI-tools kunnen de manier waarop kunstenaars omgaan met de industrie democratiseren en hen in staat stellen nieuwe inkomsten uit hun werk te genereren.

AI stelt mensen die niet over de middelen beschikken toch in staat om met muziek als een vorm van expressie bezig te zijn. Dat is waarschijnlijk het meest opwindende dat AI kan doen in de muziekindustrie.

Kunnen op AI gebaseerde tools muziek maken die mensen echt raakt?

Ja. AI kan zeker helpen bij het maken van liedjes die mensen voelen, maar mensen zullen altijd bij dat proces betrokken zijn. We proberen geen menselijke prestatie te recreëren, zelfs niet als wat we doen leunt op een menselijke prestatie, die omzet in data en deze vertaalt in een andere prestatie. Het idee van een artiestenavatar of prestatieoverdracht is al een realiteit.

Ik ben ervan overtuigd dat een van de dingen die AI zal doen, is om mensen meer mens te laten zijn en betere muziek te schrijven.

Op welke gebieden denk je dat we een vroege opname en aanpassing van AI-muziek zullen zien?

Experimentele kunstenaars spelen al heel lang met AI. AI dringt gestaag door naar de mainstream van muziek. Zo lanceerde LifeScore, de AI-muzieksoftware van Abbey Road, onlangs een prototype met Bentley voor muziek in de auto, dat gebruikmaakt van datapunten zoals snelheid en GPS-locatie. Dat is heel bemoedigend.

Uiteindelijk zijn mensen gewoon op zoek naar interessante, behulpzame en vermakelijke manieren om met het leven om te gaan. Muziek maakt daar een groot deel van uit en AI versnelt het muziekproductieproces. Daarom gebruiken we het. AI zal de menselijke prestaties zeker verbeteren, maar het zal moeilijk zijn om het te vervangen.

Wat voedt de groeiende interesse in AI in de muziektechnologie-industrie?

Ten eerste de angst om iets te missen en ten tweede een verlangen om fouten uit het verleden te corrigeren. Er is een gevoel dat de kracht van AI het voor ons goed kan doen en de deur kan openen voor een pro rata vergoeding voor artiesten.

Hoe zou je het auteursrechtsysteem willen zien evolueren?

Soms hebben we aan copyright gepusht en getrokken, vooral in de vroege stadia van MEMU's ontwikkeling, maar ons huidige denken is, "als het niet kapot is", blijf ermee doorgaan. Dus we blijven ons aan de regels houden totdat de regels veranderen.

Is er een bepaald gebied waarop u de regels zou willen veranderen?

Ik denk dat er iets moet gebeuren rond het idee om het oeuvre van kunstenaars te gebruiken om nieuwe kunst of nieuwe inkomstenstromen te genereren, vooral wanneer technologie zo in staat is om het op een waardevolle manier te gebruiken.

Uiteindelijk zijn mensen gewoon op zoek naar interessante, behulpzame en vermakelijke manieren om met het leven om te gaan. Muziek maakt daar een groot deel van uit en AI versnelt het muziekproductieproces.

Ik ben nogal verscheurd over dit onderwerp omdat ik denk dat we niet ineens het recht verdienen om de hele back-catalogus van een kunstenaar te nemen en er nieuw werk mee te maken, alleen omdat we de technologie hebben om dat te doen. Misschien is er een andere manier - iets in de trant van het toestaan ​​van dergelijk gebruik in ruil voor het bijdragen aan een gemeenschappelijke pool van fondsen om aspirant-muzikanten te ondersteunen.

Wat zijn je plannen voor de toekomst?

We hebben onszelf een jaar de tijd gegeven om het AI Songfestival te winnen om te bewijzen dat we een geldig hulpmiddel hebben voor muzikanten en songwriters. Er is veel interesse in wat we doen, en we proberen oprecht de juiste medewerkers te vinden om iets te ontwikkelen dat het bedrijf en de bredere muziekgemeenschap ondersteunt. In Australië helpen we bij het opzetten van Australië's eerste muziek-AI-hub, die academici, commerciële partners, wetenschappers en opkomende artiesten samenbrengt.

En de toekomst van MEMU is om nieuwe en opwindende muziek te creëren en tegelijkertijd nieuwe inkomstenstromen voor artiesten te genereren. Als we daarin slagen, zijn we erin geslaagd een gecentraliseerde hub te creëren voor een gemeenschap van artiesten om het AI- en muziekgesprek voort te zetten.

Bron: https://www.wipo.int/wipo_magazine/en/2021/03/article_0003.html