IC-Portrait：ETH和浙江大学联合推出的一种新型个性化肖像生成框架

IC-Portrait 是由 ETH Zurich、浙江大学和南洋理工大学等机构联合推出的一种新型个性化肖像生成框架，旨在解决用户资料图像多样性（如外观和光照条件差异）带来的挑战。IC-Portrait 通过将肖像生成任务分解为“光照感知拼接”和“视角一致性适应”两个子任务，实现了高保真的身份保留和视角一致性。

IC-Portrait功能特点：

1、身份保留（Identity Preservation）：

IC-Portrait 专注于在生成过程中精确保留个体的身份特征。通过将肖像生成任务分解为光照感知拼接和视角一致性适应两个子任务，框架能显著提高身份保留的保真度和稳定性。

在定量和定性评估中，IC-Portrait 均优于现有的最先进方法，特别是在视觉质量方面。

2、3D感知重光照（3D-Aware Relighting）：

IC-Portrait 展示了3D感知的重光照能力，能在不同光照条件下生成高质量的肖像。使生成的肖像在视角上保持一致，能适应各种光照条件。

3、与现有生成管线的兼容性：

IC-Portrait 生成的参考特征与 ControlNet 兼容，可以轻松集成到现有的生成管线中。使框架能与现有的图像生成工具无缝对接，方便用户在现有工作流程中使用。

4、多视角合成和重光照能力：

IC-Portrait 能够在不同视角和光照条件下生成一致的身份特征，展示了其在处理复杂视觉场景时的适应性。

5、处理多主体：

在多人设置中，IC-Portrait 能够逐个处理多个面孔，确保每个个体的身份在群像中被准确捕捉和整合。

IC-Portrait的优点：

1、高保真身份保留：IC-Portrait 在身份保留方面表现出色，能够生成与原始资料图像高度一致的肖像。

2、3D感知能力：具备3D感知的重光照能力，能够在不同光照条件下生成高质量的肖像。

3、视角一致性：生成的肖像在不同视角下保持一致，适应各种光照条件。

4、兼容性强：与现有的图像生成工具兼容，易于集成到现有工作流程中。

5、多主体处理能力：能够处理多人设置，确保每个个体的身份在群像中被准确捕捉和整合。

IC-Portrait的缺点：

1、复杂性：IC-Portrait 的技术实现较为复杂，可能需要一定的技术背景来理解和应用。

2、训练成本：虽然 IC-Portrait 在性能上表现出色，但其训练过程可能需要较高的计算资源。

3、数据需求：需要大量的多视角数据集来训练模型，以确保视角一致性和身份保留。

IC-Portrait项目网址：

arXiv 技术论文：https://arxiv.org/pdf/2501.17159

IC-Portrait应用场景：

1、数字内容创作：在电影、游戏和虚拟现实等领域，IC-Portrait 可以用于创建逼真的虚拟角色。

2、虚拟头像：为用户提供个性化的虚拟头像，适用于社交媒体和在线游戏。

3、多人场景：在需要生成多人群像的场景中，IC-Portrait 能够确保每个个体的身份被准确捕捉和整合。

标签：