Ссылка: https://google-research.github.io
MusicLM-это модель, которая генерирует музыку с высокой точки зрения из описаний текста
MusicLM отражает процесс условного поколения музыки в качестве задачи моделирования иерархической последовательности к последовательности, и он генерирует музыку при 24 кГц, которая остается последовательной в течение нескольких минут. Их эксперименты показывают, что MusicLM превосходит предыдущие системы в качестве звука и приверженность текстовому описанию. Более того, мы демонстрируем, что MusicLM может быть обусловлен как на тексту, так и на мелодии в том, что он может трансформировать свистные и густые мелодии в соответствии со стилем, описанным в текстовой подписи. Чтобы поддержать будущие исследования, мы публично выпускаем MusicCaps, набор данных, состоящий из 5,5K музыкальных текстов, с богатыми текстовыми описаниями, предоставленными человеческими экспертами.