AI工作站

Loopy 是由字节跳动和浙江大学的研究团队共同开发的端到端音频驱动的肖像视频生成模型。它通过音频信号生成动态的肖像视频，能够实现音频与视觉内容的同步。Loopy 采用先进的扩散模型技术，结合跨剪辑和剪辑内的时间模块以及音频到潜在空间的模块，能够利用长期运动信息来学习自然运动模式，从而生成更加逼真和高质量的视频。

Loopy 的官方网站地址：https://loopyavatar.github.io/

Loopy功能特点包括：

1、音频驱动的动态生成通过音频输入生成虚拟人物的多种动作，包括头部、眼睛、眉毛等部位的微表情。能够完美适应不同的音频风格，如欢快音乐下人物的活跃动作或舒缓音频中的柔和动作。

2、多样化动作效果针对同一参考图像，根据不同的音频输入生成多样化的动作效果，从快速动态到柔和表现不一而足。

3、面部情感同步不仅能处理语言表达的情感，还能生成包括叹息等非语言的情感动作。

4、适应各种视觉风格可以处理不同角度的图像，即使是侧面图像也能很好地进行处理。

5、无需额外条件不需要使用额外的空间信号或其他辅助信息，仅依靠音频输入即可生成高质量的视频。

6、长期运动信息捕捉具备处理长期运动信息的能力，生成更加自然和流畅的动作。

7、高自然度和高质量生成的视频动作自然，与音频同步性好，看起来就像真人在说话。

Loopy的技术原理：

1、音频驱动模型Loopy的核心是音频驱动的视频生成模型，根据输入的音频信号生成与音频同步的动态视频。

2、扩散模型Loopy使用扩散模型技术，通过逐步引入噪声并学习逆向过程来生成数据。

3、时间模块Loopy设计了跨片段和片段内部的时间模块，模型能理解和利用长期运动信息，生成更加自然和连贯的动作。

4、音频到潜空间的转换Loopy通过音频到潜空间的模块将音频信号转换成能够驱动面部动作的潜在表示。

5、运动生成从音频中提取的特征和长期运动信息，Loopy生成相应的面部动作，如嘴型、眉毛、眼睛等部位的动态变化。

Loopy应用场景：

1、虚拟主播和虚拟偶像根据主播的声音生成与其匹配的动画，使虚拟角色更加生动逼真。

2、电影和动画制作减少手动动画制作的工作量，通过音频输入生成自然的面部表情和动作。

3、内容创作与短视频制作创作者可以利用 Loopy 为短视频或其他内容生成个性化的虚拟人物动画。

4、游戏角色动画提升角色互动的自然感和玩家的沉浸感。

5、虚拟会议和社交场景为用户提供真实感更强的虚拟形象，自动根据音频生成动作。

6、教育和在线培训为在线教育平台提供虚拟教师形象，使教师的音频讲解与虚拟形象的动作自然同步。

数据统计