YuE：一款由港科大和M-A-P一起推出的AI音乐生成模型

YuE是由香港科技大学（HKUST）和Multimodal Art Projection（M-A-P）团队联合开发的开源AI音乐生成模型，专注于将歌词转化为完整的歌曲。与其他仅能生成短片段非声乐音乐的模型不同，YuE能够生成包含主唱和伴奏的完整歌曲，时长可达数分钟。该模型解决了音乐生成中的长上下文、复杂音乐信号、语言内容失真和缺乏平行数据等挑战。

YuE主要功能特点：

1、歌词转歌曲：将输入的歌词转化为完整的歌曲，包括主唱和伴奏。

2、多种音乐风格：支持流行、金属等多种音乐风格。

3、高质量生成：确保生成的歌曲连贯且高质量，适用于专业音乐创作。

4、开源项目：代码和模型开源，用户可以自由使用和修改。

5、GPU优化：支持大规模GPU并行计算，提升生成效率。

6、技术先进：采用语义增强音频分词器、双分词技术、歌词链式思维生成和三阶段训练方案，确保生成的歌曲具有连贯的音乐结构和吸引人的声乐旋律。

YuE的优点：

1、高质量生成：能够生成连贯且高质量的完整歌曲，适用于多种音乐风格。

2、开源与灵活性：模型和代码开源，用户可以根据需求进行修改和优化。

3、技术先进：采用多种先进技术，如语义增强音频分词器和双分词技术，确保生成效果。

4、GPU优化：支持大规模并行计算，提升生成效率。

YuE的缺点：

1、训练成本高：虽然生成效率高，但训练过程需要较高的计算资源。

2、数据需求大：需要大量的歌词-音频对数据进行训练，以确保生成效果。

3、语言限制：目前主要支持中文歌词，对其他语言的支持有限。

YuE的项目地址：

项目官网：https://map-yue.github.io/

GitHub仓库：https://github.com/multimodal-art-projection/YuE

HuggingFace模型库：https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot

YuE应用场景：

1、音乐创作：为音乐创作者提供灵感，快速生成完整的歌曲。

2、娱乐应用：用于开发音乐创作相关的娱乐应用，如歌词生成器。

3、教育领域：帮助音乐教育者和学生理解歌曲创作的基本结构。

标签：