Google зробив нейромережу, що створює музику в будь-якому жанрі з текстового опису

Інженери Google представили нейромережеву модель MusicLM, що генерує музику, опираючись на заданий текстовий опис. Викладати її у відкритий доступ компанія не планує, принаймні, поки що, але поділилася результатами її роботи.

Приклади її роботи (близько 5.5 тис. мелодій) можна оцінити на спеціальній сторінці.

{reklama}

Автори відзначили, що MusicLM "перевершує попередні системи як за якістю звуку, так і за відповідністю текстовому опису".

Нейромережа навчена на 280 тис. годинах музики та генерує мелодії на частоті 24 кГц, яка залишається незмінною протягом декількох хвилин. Існує навіть варіант генерації вокалу, але в цьому MusicLM поки що недостатньо вправний – у більшості випадків синтезована мова більше схожа на безглуздя.

MusicLM також здатна відтворити в аудіо не тільки жанр і музичні інструменти, а й необхідний настрій композиції. Так, одна з пісень, яку створила нейромережа, опиралась на ось такий опис: "злиття реггетона та електронної танцювальної музики з космічним, потойбічним звучанням. Викликає відчуття загубленості в космосі".

Крім того, дослідники змусили MusicLM генерувати музику за описом картин Сальвадора Далі, Анрі Матісса, Едварда Мунка, Пабло Пікассо та інших відомих художників.

Читайте новини "МБ" у Facebook | Telegram | Viber | Instagram