Назад
31 Января
Google представила нейросеть MusicLM, генерирующую музыку на основе текстовых подсказок
Компания Google представила нейросеть MusicLM, генерирующую музыку из текстовых подсказок. Они не собираются выкладывать ее в открытый доступ и публиковать исходный код, но решили поделиться результатами ее работы, пишут «Звуки.ру».
Разработчики выложили 5500 сэмплов, созданных с использованием MusicLM, и мелодий к ним, чтобы "поддержать дальнейшие исследования".
Создатели считают, что MusicLM "превосходит предыдущие системы как по качеству звука, так и по соответствию текстовому описанию". Упоминается также, что он может воспринимать звук и копировать мелодию.
Примеры впечатляют. Есть 30-секундные фрагменты, которые звучат как настоящие песни, созданные из длинных описаний, описывающих жанр, атмосферу и даже конкретные инструменты, которые должны звучать в композиции.
Есть даже пятиминутные фрагменты, созданные на основании одного или двух слов, - например, "мелодичное техно” или "песня для медитации рядом с рекой'.
Чтобы пользователи смогли оценить возможности платформы, разработчики добавили режим "история", где демонстрируется сценарий трансформации мелодии между подсказками.
Примеры сгенерированной композиции можно услышать здесь.
MusicLM может даже имитировать человеческий вокал, и хотя кажется, что он правильно передает тон и общее звучание голосов, в них определенно есть нечто искусственное.
Разработчики также заставили MusicLM сгенерировать музыку по описанию картин Сальвадора Дали, Анри Матисса, Эдварда Мунка, Пабло Пикассо и других известных художников.
Нейросеть обучена на 280 тысячах часах музыки. Она создает мелодии на частоте 24 кГц. При этом ее авторы обнаружили, что 1% сгенерированной музыки напрямую повторяет мелодии из набора для обучения, поэтому сделать MusicLM доступной для всех не получится, чтобы избежать возможных проблем с авторскими правами.
Разработчики выложили 5500 сэмплов, созданных с использованием MusicLM, и мелодий к ним, чтобы "поддержать дальнейшие исследования".
Создатели считают, что MusicLM "превосходит предыдущие системы как по качеству звука, так и по соответствию текстовому описанию". Упоминается также, что он может воспринимать звук и копировать мелодию.
Примеры впечатляют. Есть 30-секундные фрагменты, которые звучат как настоящие песни, созданные из длинных описаний, описывающих жанр, атмосферу и даже конкретные инструменты, которые должны звучать в композиции.
Есть даже пятиминутные фрагменты, созданные на основании одного или двух слов, - например, "мелодичное техно” или "песня для медитации рядом с рекой'.
Чтобы пользователи смогли оценить возможности платформы, разработчики добавили режим "история", где демонстрируется сценарий трансформации мелодии между подсказками.
Примеры сгенерированной композиции можно услышать здесь.
MusicLM может даже имитировать человеческий вокал, и хотя кажется, что он правильно передает тон и общее звучание голосов, в них определенно есть нечто искусственное.
Разработчики также заставили MusicLM сгенерировать музыку по описанию картин Сальвадора Дали, Анри Матисса, Эдварда Мунка, Пабло Пикассо и других известных художников.
Нейросеть обучена на 280 тысячах часах музыки. Она создает мелодии на частоте 24 кГц. При этом ее авторы обнаружили, что 1% сгенерированной музыки напрямую повторяет мелодии из набора для обучения, поэтому сделать MusicLM доступной для всех не получится, чтобы избежать возможных проблем с авторскими правами.