MILS：一款由Meta AI推出的一种零样本多模态任务解决方案

MILS（Multimodal Iterative LLM Solver）是由Meta AI推出的一种零样本（zero-shot）多模态任务解决方案。它通过迭代反馈机制，利用大语言模型（LLM）作为生成器（Generator）提出候选方案，并使用现成的多模态模型（如CLIP）作为评分器（Scorer）对方案进行评估和反馈，最终生成高质量的解决方案。

MILS功能特点：

1、零样本多模态描述：MILS能够在无需任何任务特定数据策展或训练的情况下，为图像、视频和音频生成高质量的描述内容。

2、生成器（Generator）：使用LLM建模，接收任务描述文本和来自评分器的反馈评分，生成候选输出。输出不限于文本，可以引导后续模型生成其他模态数据（如图像）。

3、评分器（Scorer）：对生成器生成的候选方案进行评分，评估其与测试样本的匹配程度。可以采用多种实现方式，如低级图像处理函数或经过训练的机器学习模型（如CLIP）。

4、无梯度优化：作为一种无梯度优化方法，MILS不需要通过反向传播进行训练，而是通过评分和反馈机制逐步改进输出结果。

5、多步推理与迭代优化：基于LLM的多步推理能力，MILS首先提示LLM生成多个候选输出，每个候选输出会被评分，通过迭代反馈的方式不断优化，最终生成最优的任务解决方案。

6、多模态嵌入逆向映射：MILS能够将多模态嵌入逆向映射为文本，实现跨模态算术等复杂应用。

MILS应用场景：

1、图像、视频和音频描述生成：MILS在图像、视频和音频的描述任务上均取得了强劲的性能，能够生成高质量的描述内容。

2、图像生成与编辑：通过优化提示词，MILS能够提升图像生成和编辑的质量，例如风格迁移等任务。

MILS项目地址：

1、GitHub仓库：https://github.com/facebookresearch/MILS

2、arXiv技术论文：https://arxiv.org/pdf/2501.18096

标签：