EliGen：浙大和阿里联合开发的新型实体级可控图像生成框架

EliGen 是由浙江大学和阿里巴巴集团联合开发的新型实体级可控图像生成框架。该框架通过引入区域注意力机制，无需额外参数即可将实体提示和任意形状的空间掩码无缝集成到扩散变换器中。EliGen 包含50万高质量注释样本的数据集，用于训练模型以实现鲁棒且准确的实体级操控。此外，EliGen 提出了修复融合管道，能扩展到多实体图像修复任务。

EliGen功能特点：

1、实体级精确控制：

 - 通过区域注意力机制，EliGen 能对图像中的每个实体进行精确控制，包括实体的位置、形状和语义属性。

 - 支持任意形状的掩码，提供更灵活的创意生成能力。

2、多实体图像修复：

 - 提出修复融合管道，能实现多实体图像修复任务，通过区域注意力机制，可以在单次前向传递中对多个实体进行修复。

3、风格化实体控制：

 - 结合 IP-Adapter，EliGen 可以根据参考图像的风格生成目标图像，实现风格化的实体控制。

4、交互式图像设计与编辑：

 - 通过与多模态语言模型（MLLM）集成，EliGen 可以基于对话进行图像设计和编辑，用户可以通过文本描述生成或修改图像。

5、与社区模型集成：

 - EliGen 可以与 IP-Adapter、In-Context LoRA 和 MLLM 等开源模型无缝集成，解锁新的创意可能性。

6、强大的泛化能力：

 - 在不同随机种子、连续变化的实体位置以及不合理的位置输入下，EliGen 均能保持良好的泛化能力，生成高质量且符合要求的图像。

7、高质量数据集构建：

 - 研究者构建了包含50万个高质量注释样本的数据集，确保了模型在实体级操控方面的鲁棒性和准确性。

8、高效训练与微调：

 - 采用 LoRA（低秩适应）方法进行高效微调，确保模型快速收敛。

EliGen应用场景：

1、创意设计：支持设计师通过文本描述和掩码控制生成具有特定布局和风格的图像。

2、图像修复：用于多实体图像修复任务，提升图像编辑的灵活性。

3、虚拟现实与游戏开发：为虚拟场景生成和游戏开发提供高度定制化的图像内容。

EliGen 通过其创新的区域注意力机制和高质量数据集，显著提升了文本到图像生成模型的灵活性和可控性，为创意设计和图像编辑领域带来了新的可能性。

获取EliGen技术论文地址

标签：