Інженери Google представили нейромережеву модель MusicLM, що генерує музику, опираючись на заданий текстовий опис. Викладати її у відкритий доступ компанія не планує, принаймні, поки що, але поділилася результатами її роботи.
Приклади її роботи (близько 5.5 тис. мелодій) можна оцінити на спеціальній сторінці.
Автори відзначили, що MusicLM "перевершує попередні системи як за якістю звуку, так і за відповідністю текстовому опису".
Нейромережа навчена на 280 тис. годинах музики та генерує мелодії на частоті 24 кГц, яка залишається незмінною протягом декількох хвилин. Існує навіть варіант генерації вокалу, але в цьому MusicLM поки що недостатньо вправний – у більшості випадків синтезована мова більше схожа на безглуздя.
MusicLM також здатна відтворити в аудіо не тільки жанр і музичні інструменти, а й необхідний настрій композиції. Так, одна з пісень, яку створила нейромережа, опиралась на ось такий опис: "злиття реггетона та електронної танцювальної музики з космічним, потойбічним звучанням. Викликає відчуття загубленості в космосі".
Крім того, дослідники змусили MusicLM генерувати музику за описом картин Сальвадора Далі, Анрі Матісса, Едварда Мунка, Пабло Пікассо та інших відомих художників.
Читайте новини "МБ" у Facebook | Telegram | Viber | Instagram
