AIGC 周末专题|2026-04-25|视频编辑评测方法全景：从传统指标到 Reward Mo… AIGC 周末专题深度解读：视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁 人工智能炼丹君 整理 | 2026年4月25日（周六） 覆盖时间：2024年8月 — 2026年4月（涵盖 AAAI/WACV/ICLR/ICCV 2025-2026 评测基准爆发期） 本期概述 本期 AIGC 周末专题聚焦视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁方向，精选 7 篇代表性论文进行深度解读。 方向分布： 评测基准设计 3 篇（VEFX-Bench、IVEBench、VEditBench） 自动评估指标 2 篇（FiVE-Bench、SST-EM） Reward Model 2 篇（EditReward、VEFX-Reward） 技术路线与时间线 1. 传统指标时代（2018-2023） 描述：依赖手工设计的指标（CLIP-Score、LPIPS、FVD），与人类感知相关性低，无法捕捉编辑任务的语义一致性。 关键节点： 2018：LPIPS 提出，感知相似度指标 2019：FVD 提出，基于 I3D 特征的视频质量评估 2021：CLIP-Score 成为图像-文本相似度标准 2. 通用视频基准崛起（2024 年初） 描述：通用视频生成评测基准出现，覆盖多个维度，但尚未针对编辑任务设计。 关键节点： 2024：VBench 发布（CVPR 2024），16 维度视频生成评测 2024：VideoScore 发布（EMNLP 2024），视频质量评估模型 3. 编辑专用评测爆发（2024 下半年） 描述：针对视频/图像编辑任务设计的评测基准集中涌现，覆盖多维度、多任务、多编辑类型。 关键节点： 2024.08：I2EBench 发布（NeurIPS 2024），图像编辑 16 维度评测 2024.09：EditBoard 发布（AAAI 2025），视频编辑综合评测基准 2024.10：VE-Bench 发布，首个视频编辑专用 VQA 数据集 2024.11：FiVE-Bench 发布，细粒度视频编辑评测 4. Reward Model 范式确立（2025-2026） 描述：从手工指标和通用 VLM 评审，演进到编辑专用 Reward Model，人类相关性大幅提升（SRCC 从 0.214 提升到 0.780）。 关键节点： 2025：EditReward 发布，200K 偏好对训练 Reward Model 2026.04：VEFX-Bench 发布，三维解耦 + 序数回归 Reward Model（SRCC=0.780） 5. 未来方向（2026+） 描述：多模态 Reward Model、测试时计算缩放、标准化竞赛平台是三大重点方向，评测将与训练深度融合（RLHF/DPO）。 关键节点： 2026+：多模态 Reward Model（视频+音频+字幕联合评估） 2026+：测试时计算缩放（Reward-guided iterative refinement） 2026+：跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 1. VEFX-Bench：5049 样本 + 三维解耦标注 + 序数回归 Reward Model——迄今最全面的视频编辑评测体系 论文: VEFX-Bench arXiv: 2604.16272 机构: 未披露（2026 年 4 月最新工作） 1.1 研究动机 核心问题： 视频编辑模型缺乏统一评测标准，不同论文使用不同指标和数据集导致结论不可比 现有评测数据集规模小、缺少编辑输出或人工质量标签，通用 VLM 评审器未针对编辑质量优化，导致无法公正对比不同编辑系统。 前序工作及局限： CLIP-Score (Hessel et al. 2021)：图像-文本相似度指标，广泛但粗粒度 LPIPS (Zhang et al. 2018)：感知相似度指标，仅衡量像素级差异 FVD (Unterthiner et al. 2019)：视频生成质量指标，基于 I3D 特征 VBench (Huang et al. 2024)：视频生成综合基准，CVPR 2024，16 维度但不针对编辑 与前序工作的本质区别： 从单一指标到多维度评测框架，从通用视频质量到编辑特异性评估（指令遵循+编辑排他性+渲染质量三维解耦） 1.2 方法原理 数据集：5049 个视频编辑样本，9 大类（相机角度/实例运动/数量/相机运动/属性/创意/实例/视觉特效/风格）32 子类，每个样本由 3 个解耦维度独立标注（4 分制）。Reward Model：基于 Qwen3-VL-Instruct（4B/32B），联合处理原始视频+编辑指令+编辑视频，3 个可学习特殊 token 查询各维度分数，采用序数回归（ordinal regression）而非标量回归，训练时条件二值交叉熵保持有序约束。两阶段训练：Stage 1 冻结预训练权重仅训练 reward head，Stage 2 解冻语言骨干微调。推理时将有序概率转换为 [1,4] 连续分数。 1.3 核心创新 首个同时包含编辑输出+人工标注+多维标签的大规模视频编辑数据集 三维解耦质量标注（指令遵循 IF / 渲染质量 RQ / 编辑排他性 EE） 基于 Qwen3-VL 的序数回归 Reward Model（VEFX-Reward-4B/32B） 对标准化 VEFX-Bench 基准，覆盖 9 大类 32 子类编辑任务 1.4 实验结果 VEFX-Reward-32B SRCC=0.780 远超 EditReward(0.558) 和 VE-Bench(0.214)。配对偏好准确率：IF 93.66%、RQ 91.11%、EE 91.96%。系统评测显示 Kling o3 omni 综合第一（3.057），Runway Gen-4.5 第三（2.912），开源 UniVideo（2.516）可与部分商业系统竞争。所有系统在 IF 维度差异最大，RQ 相对稳定。 1.5 关键洞察 优势：三维解耦设计精准捕捉不同失败模式，序数回归比标量回归更适合有序评分。局限：数据集仅来自少量编辑系统，可能存在偏差；标注者间 IF 完全一致率仅 75.2%，说明指令遵循评估本身存在歧义。 技术演进定位： 2024 下半年 VE-Bench 开创编辑专用 VQA，2025 年 FiVE-Bench/IVEBench/VEditBench 细化任务分类，2026 年 VEFX-Bench 引入 Reward Model 实现自动+人类对齐评估。 可能的后续方向： 多模态 Reward Model（视频+音频+字幕联合评估） 测试时计算缩放（Reward-guided iterative refinement） 跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 2. IVEBench：600 视频 + 8 类 35 子类 + MLLM 三维评估协议——指令引导视频编辑的现代基准套件 论文: IVEBench arXiv: 2510.11647 机构: 浙江大学 / 腾讯优图 / 上海交通大学 / 新加坡国立大学 2.1 研究动机 核心问题： 传统手工指标（CLIP/LPIPS/FVD）与人类感知严重偏离 现有视频编辑基准无法支撑指令引导编辑的评估需求：数据来源单一、任务覆盖面窄、评估指标不完整。 前序工作及局限： CLIP-T Score：文本-图像余弦相似度，无法捕捉细粒度编辑差异 PickScore (Kirstain et al. 2023)：人类偏好训练的图像质量分数 VideoScore (He et al. 2024)：视频生成专用质量评估模型，EMNLP 2024 与前序工作的本质区别： 从手工指标到学习型评估器，从单一分数到多维度解耦评分，从通用质量到编辑专用 2.2 方法原理 数据集构建：600 高质量源视频，覆盖 7 个语义维度和 30 个主题，帧长从 32 到 1024 帧。编辑任务：8 大类（风格/特效/主体/相机角度/主体运动/相机运动/属性/视觉特效）35 子类，通过 LLM 生成+专家审核获取提示对（源/编辑/目标三元组）。评估协议三维度：(1) 视频质量（主体一致性、背景一致性、时间闪烁、运动平滑度、VTSS）；(2) 指令遵循（整体/短语语义一致性、指令满足度、数量准确性）；(3) 视频保真度（语义/运动/内容保真度）。 2.3 核心创新 首个专为指令引导视频编辑设计的现代化综合基准 高质量视频覆盖 7 语义维度、32-1024 帧长度 大类 35 子类编辑任务分类法 三维评估协议融合传统指标和 MLLM 评估 2.4 实验结果 评测 8 个方法：Ditto 在短视频上总分 0.667 领先，InsV2V 在长视频上 0.657 领先。所有方法的指令遵循维度得分最低（0.25-0.49），视频质量最高（0.69-0.82），说明语义编辑仍是主要瓶颈。VACE 保真度最强（0.826）但指令遵循最弱（0.254）。 2.5 关键洞察 优势：任务覆盖面最广（8 类 35 子类），MLLM + 传统指标双通道评估提升可靠性。局限：评估依赖特定 MLLM（如 Qwen3-VL），模型版本变化可能影响复现性；缺少人工标注的 ground truth 偏好数据。 技术演进定位： EditReward 和 VEFX-Reward 代表 Reward Model 范式在编辑评测中的应用，可能成为未来 RLHF/DPO 后训练的核心组件。 可能的后续方向： 编辑 Reward Model 用于 DPO/RLHF 后训练 在线学习持续更新 Reward Model 多 Reward Model 集成投票机制 3. FiVE-Bench：细粒度视频编辑基准——14 指标 + VLM 成功率 + RF vs 扩散方法系统对比 论文: FiVE-Bench arXiv: 2503.13684 机构: HKUST / 其他合作机构 3.1 研究动机 核心问题： 评测维度设计如何平衡全面性和可操作性 缺乏标准化细粒度基准导致方法间无法公平比较，也无法评估模型对超参数的敏感度。 前序工作及局限： VBench 16 维度：最全面但维度间相关性高，难以解读 VE-Bench 单一分数：操作简便但无法区分失败模式 与前序工作的本质区别： VEFX-Bench 的三维解耦（IF/RQ/EE）是目前最佳平衡点：维度足够区分失败模式（相关性 0.19-0.33），又不至于过多导致标注困难。 3.2 方法原理 数据集：74 真实视频 + 26 生成视频，6 类细粒度编辑（物体替换/添加/删除/属性修改/背景替换/动作修改），420 组源-目标提示对含精确 Mask。评估指标 14 项覆盖 5 维度：(1) 背景保留（PSNR/SSIM/LPIPS）；(2) 文本-视频相似度（CLIP-T/PickScore）；(3) 时间一致性（Warp Error/CLIP-I）；(4) 视频质量（FVD/FID/MUSIQ）；(5) 运行时间。新指标 FiVE-Acc 利用 VLM 判定编辑是否成功。FlowEdit 方法：将注入噪声视为 ODE 反向过程，在 RF 模型上无需 DDIM 反转。 3.3 核心创新 首个细粒度物体级视频编辑基准 视频 + 420 编辑对 + 对应 Mask 指标 + 新指标 FiVE-Acc（VLM 评估编辑成功率） 首次系统对比扩散 vs 整流流（RF）编辑方法 提出 FlowEdit 无训练无反转编辑方法 3.4 实验结果 RF 方法（Wan-Edit/Pyramid-Edit）全面优于扩散方法：Wan-Edit 在 FiVE-Acc 上 72.4% vs 最佳扩散方法 51.3%。Wan-Edit 对超参数最不敏感。扩散方法中 SDEdit 背景保留最佳但编辑成功率低，ControlVideo 时间一致性较好。 3.5 关键洞察 优势：Mask 标注使评估更精确，FiVE-Acc 利用 VLM 判定成功率是有意义的创新。局限：100 视频规模偏小；FlowEdit 同时是基准作者提出的方法，存在裁判-运动员角色冲突。 技术演进定位： 三维解耦已成为新的共识范式（IVEBench 的三维评估协议与之高度一致）。 可能的后续方向： 动态维度权重（根据编辑类型自动调整） 用户偏好个性化评估 4. EditReward：200K 人类偏好对 + VLM 奖励模型——指令引导图像/视频编辑的质量裁判 论文: EditReward arXiv: 2509.26346 机构: TIGER-AI Lab (Waterloo) 4.1 研究动机 核心问题： 评测数据集如何兼顾规模、多样性和标注质量 开源编辑模型落后于闭源的核心瓶颈在于缺乏可靠的 Reward Model 来规模化高质量合成训练数据。 前序工作及局限： DAVIS (Caelles et al. 2017)：视频分割基准，50 视频，被大量视频编辑论文借用 TGVE (Wu et al. 2023)：文本引导视频编辑数据集，规模有限 与前序工作的本质区别： 从几十个视频到数千标注样本，从单一来源到多系统输出收集。 4.2 方法原理 数据集构建：200K+ 偏好对，由训练有素的专家按严格标注协议标注。Reward Model 基于 VLM 架构，输入为编辑指令+源图+编辑图，输出人类偏好对齐的质量分数。下游验证：用 EditReward 从有噪声的 ShareGPT-4o-Image 数据集中筛选高质量子集，在该子集上训练 Step1X-Edit 显著优于在完整数据集上的训练效果。 4.3 核心创新 首个大规模人类偏好数据集 EditReward-Data（200K+ 偏好对） 基于 VLM 的专用编辑质量 Reward Model 在 GenAI-Bench、AURORA-Bench、ImagenHub 等基准上 SOTA 人类相关性 验证 Reward Model 可作为数据筛选器提升下游模型训练 4.4 实验结果 在 GenAI-Bench、AURORA-Bench、ImagenHub 和自建 EditReward-Bench 上均达到 SOTA 人类相关性，全面超越 VLM-as-judge 基线（包括 GPT-4o 评审）。Step1X-Edit 在筛选子集上训练后编辑质量显著提升。 4.5 关键洞察 优势：规模最大的专家标注偏好数据集，验证了 Reward Model 作为数据筛选器的实用价值（闭环验证）。局限：主要聚焦图像编辑，视频编辑的适用性需进一步验证；VEFX-Bench 的对比显示其在 RQ 维度相关性为负值（-0.211），暴露图-视频 domain gap。 技术演进定位： VEFX-Dataset（5049 样本）和 EditReward-Data（200K 偏好对）代表当前规模的上限。 可能的后续方向： 众包+AI 混合标注扩大规模 持续更新的活跃基准（每季度纳入新系统） 合成数据增强标注多样性 5. VE-Bench：首个视频编辑质量评估数据集 + 主观对齐的自动评估网络 论文: VE-Bench arXiv: 2408.11481 机构: 北京大学 5.1 研究动机 核心问题： VLM-as-Judge 范式的可靠性和一致性 传统 VQA 方法只关注画面质量，忽略编辑特有的文本对齐和源视频关联性，导致评估结果与人类感知严重偏离。 前序工作及局限： GPT-4V/GPT-4o 评审：零样本评估，成本高且不稳定 LLaVA-Critic (Sun et al. 2024)：开源 VLM 评审器 与前序工作的本质区别： 从通用 VLM 零样本评审到编辑专用微调 Reward Model，人类相关性大幅提升。 5.2 方法原理 VE-Bench DB：收集多样化源视频（不同运动模式和主题），为每个视频设计多种编辑提示，收集 8 个模型的编辑输出，24 名标注者给出 MOS（Mean Opinion Score）。VE-Bench QA 评估网络：在传统 VQA 的美学/失真维度之上，新增文本-视频对齐建模和源-编辑视频关联建模两个分支，输出综合质量分数。编辑任务覆盖 3 类：风格编辑、语义编辑、结构编辑。 5.3 核心创新 首个专为视频编辑设计的 VQA 数据集（VE-Bench DB） 个编辑模型结果 + 24 名标注者 MOS 评分 主观对齐的视频编辑评估网络 VE-Bench QA 同时建模文本-视频对齐和源-编辑视频关联 5.4 实验结果 VE-Bench QA 在与人类偏好的对齐性上显著优于 CLIP-Score、LPIPS、FVD 等传统指标，以及通用 VQA 模型。但在 VEFX-Bench 后续对比中，VE-Bench 单维度设计（SRCC=0.214）明显落后于多维度方法。 5.5 关键洞察 优势：首个视频编辑专用 VQA 数据集，为后续研究奠定了基础。局限：单一综合分数无法区分不同失败模式（如指令遵循好但渲染差）；8 个模型均为 SD 系列（2024 年），缺乏最新系统评测。 技术演进定位： VEFX-Reward 证明专用 Reward Model > 通用 VLM Judge > 传统手工指标。 可能的后续方向： 轻量化蒸馏（4B→1B 保持性能） 多 VLM 集成降低偏差 对抗样本鲁棒性评估 6. SST-EM：语义-空间-时序三维评估框架——VLM + 目标检测 + ViT 组合式视频编辑评测 论文: SST-EM arXiv: 2501.07554 机构: 未披露 6.1 研究动机 核心问题： 编辑任务分类法如何标准化 CLIP 文本分数受训练数据和层级依赖限制，图像分数无法评估时间一致性，需要一个同时覆盖语义、空间和时间维度的综合指标。 前序工作及局限： InstructPix2Pix 3 类：风格/对象/背景，过于粗糙 TGVE 4 类：风格/语义/结构/混合 与前序工作的本质区别： IVEBench 8 类 35 子类和 VEFX-Bench 9 类 32 子类代表当前最细化的分类。 6.2 方法原理 四组件管线：(1) VLM 提取每帧语义信息；(2) 目标检测追踪主要物体位置；(3) LLM Agent 精炼物体识别和上下文理解；(4) ViT 评估帧间时间一致性。统一指标权重通过人类评估数据 + 回归分析标定。最终输出语义保真度和时间平滑度的综合分数。 6.3 核心创新 首个组合 VLM + 目标检测 + ViT 的视频编辑评估框架 四阶段管线：语义提取→目标跟踪→LLM 精炼→时间一致性评估 人类评估回归权重标定 超越 CLIP 文本/图像分数的多维评估 6.4 实验结果 在多个视频编辑场景下，SST-EM 与人类评估的相关性显著优于 CLIP-T、CLIP-I 等传统指标，尤其在时间一致性评估上优势明显。代码已开源。 6.5 关键洞察 优势：管线式设计模块化程度高，每个组件可独立替换升级。局限：四阶段串行推理速度慢；依赖多个外部模型（VLM + 检测器 + LLM + ViT），部署成本高；权重标定依赖特定人类评估数据集，泛化性存疑。 技术演进定位： 分类法正在趋向收敛：相机控制、实例操作、属性修改、风格变换、视觉特效已成为公认的核心类别。 可能的后续方向： 统一编辑 ontology 标准 按难度分层的自适应评测 7. VEditBench：420 视频 + 6 编辑任务 + 9 评估维度——文本引导视频编辑的整体基准 论文: VEditBench arXiv: []() 机构: NUS / Intel / UC Berkeley 7.1 研究动机 核心问题： 长视频编辑的评测挑战 缺乏一个在通用视频编辑框架下同时覆盖多种编辑任务和时长范围的标准化基准。 前序工作及局限： VEditBench 短+长：首次覆盖 10-20s 长视频 IVEBench 32-1024 帧：覆盖最大帧数范围 与前序工作的本质区别： 发现长视频编辑性能普遍下降 5-15%，但现有指标未充分捕捉时序退化模式。 7.2 方法原理 数据集：420 真实视频（300 短 2-4s + 120 长 10-20s），覆盖多种场景和内容类别。任务设计 6 类：物体插入、物体删除、物体替换、场景替换、运动变化、风格转换。评估 9 维度覆盖：语义对齐（编辑语义/原始语义）、视觉质量（美学/失真/时间一致性）、额外维度（编辑精度/背景保留等）。 7.3 核心创新 真实世界视频覆盖短（2-4s）和长（10-20s）两种时长 种核心编辑任务分类（插入/删除/替换/场景/运动/风格） 维度评估全面覆盖语义保真度和视觉质量 个 SOTA 方法系统对比 7.4 实验结果 评测 10 个方法，发现长视频编辑性能普遍下降 5-15%；物体插入和运动变化是最困难的任务；风格转换相对容易。所有方法在语义对齐上差异较大，但视觉质量差异较小——与后续 VEFX-Bench 结论一致。 7.5 关键洞察 优势：短+长视频双覆盖设计实用，6 类任务分类简洁清晰。局限：420 视频规模中等；评估维度未明确区分编辑特有 vs 通用画质指标；缺少人工标注偏好数据。 技术演进定位： 长视频评测仍是开放挑战，需要新的时间维度指标。 可能的后续方向： 分段评估+全局一致性联合指标 时间维度上的退化曲线分析 其余论文速览 1. EditBoard：提出 EditBoard 综合评测基准 EditBoard: Towards A Comprehensive Evaluation Benchmark for Text-Based Video Editing Models | Cornell University / Nanjing University / University of Oxford | arXiv:2409.09668 关键词： 综合评测基准·多维度指标·文本视频编辑 前序工作问题： 当前视频编辑模型评估缺乏全面基准，现有方法仅用单一分数概括性能，无法细致分析模型在不同编辑任务中的表现。 贡献： 提出 EditBoard 综合评测基准，设计 4 个维度 9 个自动评估指标的评估框架，覆盖 4 个任务类别，标准化视频编辑评估流程。 效果： 为视频编辑模型提供了标准化评估工具，能够细致分析模型在不同编辑任务中的表现，推动视频编辑技术的标准化和进一步发展。 批判点评： 优势：填补了视频编辑模型评估基准的空白，多维度评估框架设计合理。局限：数据集规模未明确说明；评估维度未充分考虑时序一致性这一视频特有挑战。 2. I2EBench：构建 I2EBench 基准 I2EBench: A Comprehensive Benchmark for Instruction-based Image Editing | Xiamen University / 鹏城实验室 / 北京大学 | arXiv:2408.14180 关键词： 图像编辑评测·16维度·人类感知对齐·NeurIPS 2024 前序工作问题： 指令驱动的图像编辑（IIE）模型缺乏综合评测基准，现有指标无法全面覆盖高层次语义理解和低层次图像质量。 贡献： 构建 I2EBench 基准，包含 2000+ 待编辑图像和 4000+ 条指令，设计 16 个评估维度，并通过大量用户研究确保基准与人类感知高度一致。 效果： 为图像编辑模型提供了首个综合评测基准，16 个维度覆盖语义理解和图像质量，分析方法为视频编辑评测提供了可迁移方法论。 批判点评： 优势：16 维度设计全面，人类感知对齐做得好。局限：针对图像编辑而非视频编辑；部分维度（如时序一致性）在图像场景中不存在，迁移到视频需要适配。 3. T2VEval-Bench：构建 T2VEval-Bench 多维度评测基准数据集 T2VEval: Benchmark Dataset and Objective Evaluation Method for T2V-generated Videos | 中国传媒大学 信息与通信工程学院 | arXiv:2501.08545 关键词： 文本生成视频·多维度评测·主观客观融合·中国传媒大学 前序工作问题： 文本生成视频（T2V）模型缺乏统一的多维度评测基准，主观评价和客观评价方法各自存在局限性，无法全面评估生成视频质量。 贡献： 构建 T2VEval-Bench 多维度评测基准数据集，包含 148 个文本提示和 1783 个生成视频；提出 T2VEval 评估模型，从质量、真实感、一致性三个分支进行客观评估，达到 SOTA 人类相关性。 效果： 为文本生成视频提供了大规模评测基准，三分支评估模型可部分迁移到视频编辑评测场景，尤其是一致性评估维度与编辑排他性高度相关。 批判点评： 优势：主观+客观融合评估思路先进，数据集规模较大。局限：针对文本生成视频而非编辑场景；一致性分支主要评估生成稳定性，与编辑场景的源视频保真度存在差异。 横向对比与技术脉络总结 7 大视频编辑评测方法横向对比 论文 发表 数据规模 评测维度 自动指标类型 人工标注 任务分类 核心创新 VEFX-Bench 2026.04 5049 样本 3 维解耦 Reward Model 三维 4 分制 9 类 32 子类 序数回归 RM IVEBench ICLR 2026 600 视频 3 维评估 传统+MLLM 无 8 类 35 子类 MLLM 融合 FiVE-Bench ICCV 2025 100 视频 5 维 14 指标 传统+VLM 无 6 类 FiVE-Acc EditReward ICLR 2026 200K 偏好对 综合 Reward Model 专家偏好 通用 200K 数据 VE-Bench AAAI 2025 ~170 视频 综合 评估网络 MOS 24人 3 类 首个 VQA SST-EM WACV 2025 - 3 维管线 VLM+检测+ViT 权重标定 - 组合式评估 VEditBench ICLR 2025 420 视频 9 维 传统 无 6 类 短+长视频 核心技术趋势 三维解耦评测成为共识 IF（指令遵循）/ RQ（渲染质量）/ EE（编辑排他性）三维独立评估已成为 VEFX-Bench 和 IVEBench 的共同设计，正在取代单一综合分数。 Reward Model 取代手工指标 从 CLIP-Score/LPIPS/FVD 到学习型 Reward Model（VEFX-Reward/EditReward），评测精度大幅提升，且可直接用于下游 RLHF/DPO 训练。 MLLM 深度融入评测管线 IVEBench 和 SST-EM 将 MLLM 评估融入标准管线，FiVE-Acc 用 VLM 判定编辑成功率。但 MLLM 版本变化导致的结果漂移是待解决的风险。 评测任务分类趋向精细化 从 3-4 类到 8-9 大类 32-35 子类，相机控制、实例操作、属性修改、风格变换、视觉特效成为公认核心类别。 长视频评测成为开放挑战 VEditBench 首次发现长视频编辑性能下降 5-15%，但现有指标未充分捕捉时序退化模式，需要新的时间维度评估方法。 人工智能炼丹君 整理 | 数据来源：arXiv 2024年8月 — 2026年4月（涵盖 AAAI/WACV/ICLR/ICCV 2025-2026 评测基准爆发期） 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR| AIGC 周末专题深度解读 | 2026-03-21 | 视觉生成模型的偏好对齐与强化学习后训练 人工智能炼丹师 整理 本期专题聚焦 视觉生成模型的偏好对齐与强化学习后训练（Preference Alignment & RL Post-Training for Visual Generation），深度解读 8 篇最新论文，并对该方向的技术演进脉络进行系统性横向对比。 专题概述 随着扩散模型（Diffusion Models）和流匹配模型（Flow Matching Models）在图像/视频生成领域取得突破性进展，如何让生成结果更好地符合人类偏好成为当前研究的核心焦点。借鉴大语言模型领域 RLHF（Reinforcement Learning from Human Feedback）的成功经验，研究者们正在积极探索将强化学习、直接偏好优化（DPO）、组相对策略优化（GRPO）等后训练技术应用于视觉生成模型。 本周（2026年3月14日-21日），该方向涌现出大量高质量论文，涵盖了从奖励模型构建、训练算法设计、到具体场景应用的完整技术栈。本期专题选取 8 篇代表性工作进行深度解读，系统梳理该方向的技术脉络与发展趋势。 核心技术线索： 奖励信号来源：外部奖励模型 vs 内在自置信信号 vs 几何物理约束 优化算法演进：DPO -> GRPO -> 多视角GRPO -> 对比策略优化 -> 中心化奖励蒸馏 应用场景拓展：T2I生成 -> 视频生成 -> 图像超分 -> AR视频 -> 少步推理模型 关键挑战：奖励黑客（Reward Hacking）、分布漂移、计算效率、非可微奖励 1. FIRM: Trust Your Critic -- 鲁棒奖励建模与强化学习的忠实图像编辑与生成 论文信息 标题: Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation 作者: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding 等 arXiv: 2603.12247 关键词: 奖励模型 鲁棒RL 图像编辑 T2I生成 数据管线 背景与动机 强化学习（RL）已成为提升图像编辑和文本到图像（T2I）生成质量的重要范式。然而，当前的奖励模型（Reward Model）作为 RL 中的"评论家"，往往存在幻觉（hallucination）问题——给出不准确的评分，从而误导优化过程。这一问题在图像编辑场景中尤为严重：奖励模型可能对编辑后图像的忠实度评估不准确，导致生成结果偏离编辑指令。 方法原理 FIRM 框架包含两大核心组件： 1) 鲁棒奖励建模 定制化数据策管线（Data Curation Pipeline）：针对图像编辑和 T2I 生成分别设计数据收集流程，构建高质量的评分数据集。编辑任务收集了涵盖颜色修改、风格迁移、物体添加/删除等多种编辑类型的 66 万条评分数据。 多维度评估：奖励模型同时考虑文本对齐度、编辑忠实度、图像质量等多个维度，避免单一指标的片面性。 对比学习增强：通过正负样本对比学习，提升奖励模型对微妙质量差异的辨别能力。 2) 鲁棒强化学习训练 噪声感知训练策略：在 RL 训练过程中，显式建模奖励信号中的噪声，通过置信度加权降低不可靠评分的影响。 多奖励聚合：将多个维度的奖励信号进行加权融合，动态调整各维度权重以平衡不同目标之间的trade-off。 正则化约束：引入 KL 散度正则化防止模型在优化过程中偏离预训练分布过远。 创新点 首个系统性解决奖励模型幻觉问题的框架：不仅改进奖励模型本身的准确性，还在 RL 训练阶段引入鲁棒性机制。 66万条高质量评分数据集开源：为社区提供了标准化的图像编辑/生成质量评估数据。 统一框架同时适用于图像编辑和 T2I 生成：两个任务共享奖励建模架构，仅在数据策管线上做差异化。 实验结果 在图像编辑任务上，FIRM 使 InstructPix2Pix 模型在 EditBench 上的编辑准确率提升 18.7%。 在 T2I 生成任务上，GenEval 综合得分从 0.63 提升至 0.79，超越 DALL-E 3 和 SDXL 基线。 奖励模型本身在 ImageReward 测试集上的 Kendall's Tau 相关性从 0.52 提升至 0.68。 2. MV-GRPO: 多视角组相对策略优化 -- 从稀疏到稠密的流模型对齐 论文信息 标题: From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space 作者: Jiazi Bu, Pengyang Ling, Yujie Zhou, Yibin Wang, Yuhang Zang, Tianyi Wei 等 arXiv: 2603.12648 关键词: GRPO 流模型 多视角评估 条件空间增强 T2I对齐 背景与动机 组相对策略优化（GRPO）已成为文本到图像流模型偏好对齐的强大框架。然而，标准 GRPO 范式存在一个根本性限制：单视角稀疏评估——对一组生成样本仅使用单一条件（prompt）进行评估，无法充分探索样本间的关系，限制了对齐效果的上限。 具体来说，给定一个 prompt，GRPO 生成 N 个候选图像，然后通过奖励模型评分并计算组相对优势。但这种方式下，每个样本只从一个角度被评估，奖励信号稀疏且容易受到 prompt 特异性的影响。 方法原理 MV-GRPO 提出了条件空间增强（Condition Space Augmentation）策略，将单视角稀疏评估升级为多视角稠密评估： 1) 条件空间增强 对原始 prompt 进行多维度改写：语义保持改写（paraphrase）、细节扩充（detail augmentation）、视角变换（perspective shifting）。 每个生成样本同时在原始 prompt 和增强 prompt 下进行评估，获得多个奖励分数。 2) 多视角优势估计 将每个样本的多视角奖励分数进行聚合，计算更稳定的组相对优势： 跨条件一致性加权：对于在不同 prompt 下获得一致高/低分的样本，增大其优势信号强度。 条件自适应归一化：不同 prompt 的评分尺度可能不同，通过条件内归一化消除尺度差异。 3) 渐进式探索策略 训练初期使用较少的增强条件，随着训练进行逐步增加，避免早期过度约束。 创新点 首次将多视角评估引入 GRPO 框架：突破了单条件评估的稀疏性瓶颈。 条件空间增强无需额外数据：仅通过 prompt 改写即可获得稠密评估信号。 理论分析：证明多视角 GRPO 的方差比标准 GRPO 低 O(1/K)（K 为视角数量）。 实验结果 在 FLUX.1-dev 上，GenEval 综合得分从基线 0.71 提升至 0.84（+18.3%），显著超越标准 GRPO 的 0.78。 人类评估显示偏好率达到 72.3%（vs 标准 GRPO 的 58.1%）。 在 T2I-CompBench 组合生成指标上，属性绑定准确率从 0.62 提升至 0.76。 仅需 500 步训练即可达到标准 GRPO 2000 步的效果，训练效率提升 4x。 3. AR-CoPO: 自回归视频生成的对比策略优化 论文信息 标题: AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization 作者: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song 等 arXiv: 2603.17461 关键词: 自回归视频 对比策略优化 RLHF 少步蒸馏 流匹配 背景与动机 流式自回归（Streaming AR）视频生成器结合少步蒸馏可实现低延迟、高质量的视频合成，但通过 RLHF 对齐这类模型面临独特挑战： SDE 探索失效：现有基于 SDE 的 GRPO 方法假设扩散过程有足够的随机性进行探索，但少步 ODE 和一致性模型采样器偏离了标准流匹配 ODE，其短轨迹和低随机性使得中间 SDE 探索无效。 初始化敏感：少步模型的生成轨迹极短且确定性强，对初始化噪声高度敏感。 帧间一致性：自回归视频生成需要在优化人类偏好的同时保持帧间时序一致性。 方法原理 AR-CoPO 提出了一种专为自回归少步视频生成器设计的对比策略优化框架： 1) 输出空间对比探索（Output-Space Contrastive Exploration） 放弃在扩散过程中间步骤进行探索的传统方式，直接在输出空间（生成的视频帧）进行对比。 对每个时间步生成多个候选帧，通过奖励模型评分后选择最优，同时利用对比损失增大好坏样本间的差距。 2) 自回归感知的奖励传播 设计时序一致性奖励：不仅评估单帧质量，还评估帧间过渡的流畅性和一致性。 将帧级奖励沿时间轴反向传播，使早期帧的生成策略能考虑到后续帧的质量。 3) 参考策略锚定 引入 KL 散度正则化，将优化后的策略锚定在预训练模型附近，防止过度优化导致的模式崩溃。 对不同时间步使用自适应 KL 强度：早期帧（构图决定性阶段）使用较强约束，后期帧适当放松。 创新点 首个将 RLHF 成功应用于流式自回归视频生成器的工作：解决了少步蒸馏模型难以进行 RL 优化的技术瓶颈。 输出空间对比范式：避免了中间步骤探索在少步模型上的失效问题。 时序感知的奖励传播机制：在优化画面质量的同时保持视频的时序一致性。 实验结果 在流式 AR 视频生成基线上，VBench 得分从 78.2 提升至 83.7（+7.0%）。 人类偏好评估中，AR-CoPO 生成的视频在画面质量和时序一致性两个维度上分别获得 76.4% 和 71.8% 的偏好率。 仅需 4 步推理即可达到与 20 步推理 + GRPO 对齐相当的质量。 FVD（Frechet Video Distance）从 198.3 降低至 156.7。 4. CRAFT: 用复合奖励辅助微调轻松对齐扩散模型 (CVPR 2026) 论文信息 标题: CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think 作者: Zening Sun, Zhengpeng Xie, Lichen Bai, Shitong Shao, Shuo Yang, Zeke Xie arXiv: 2603.18991 关键词: 复合奖励过滤 SFT GRPO下界 数据效率 CVPR 2026 背景与动机 当前扩散模型的偏好对齐方法面临两大挑战： 数据依赖：SFT 需要昂贵的高质量图像数据；DPO 风格方法依赖大规模偏好数据集，而这些数据集质量往往不一致。 计算低效：RL 类方法需要在线生成样本并计算奖励，训练成本高昂。 CRAFT 的核心洞察是：如果能构建一个高质量、一致的小规模训练集，简单的 SFT 就能达到甚至超越复杂的偏好优化方法。 方法原理 CRAFT 提出了一种极其简洁但强大的两阶段范式： 1) 复合奖励过滤（Composite Reward Filtering, CRF） 对每个 prompt 生成大量候选图像（如 64 张）。 使用多个奖励模型从不同维度评分：美学质量、文本对齐、构图合理性、技术质量。 将多维奖励分数进行加权融合，选择排名前 1-2 的图像作为训练样本。 关键设计：使用 相关性去偏（Correlation Debiasing） 确保选出的样本在各维度上均衡优秀，而非仅在某一维度极端。 2) 增强 SFT 在过滤后的高质量小数据集上进行标准 SFT 训练。 引入两项增强：(a) 噪声调度优化——对高评分样本使用更低的噪声水平；(b) 梯度裁剪——防止个别异常样本主导梯度方向。 3) 理论保证 证明 CRAFT 实际上优化了基于组强化学习的下界，从理论上建立了"筛选数据 + SFT"与"GRPO"之间的联系。 具体地，CRF 过程等价于 GRPO 中的组相对优势计算，而 SFT 则对应策略更新步骤。 创新点 仅需 100 个样本即可超越 SOTA 偏好优化方法：数据效率提升 10-100 倍。 理论证明 SFT + 数据筛选 是 GRPO 的下界优化：为简化的训练范式提供了理论支撑。 收敛速度提升 11-220 倍：相较于 DPO 和 GRPO 基线方法。 即插即用：无需修改模型架构或推理流程，仅替换训练数据和训练方式。 实验结果 使用仅 100 个样本的 CRAFT 在 GenEval 上得分 0.82，超越使用 5000+ 偏好对的 Diffusion-DPO（0.76）和标准 GRPO（0.79）。 在 HPSv2（Human Preference Score v2）上达到 28.9，超越所有基线。 训练时间：CRAFT 仅需 15 分钟（单A100），而 DPO 需要 5.5 小时，GRPO 需要 3.2 小时。 在 SDXL 和 SD3.5 两个基座模型上均验证有效。 5. TDM-R1: 用非可微奖励强化少步扩散模型 论文信息 标题: TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward 作者: Yihong Luo, Tianyang Hu, Weijian Luo, Jing Tang arXiv: 2603.07700 关键词: 少步扩散 非可微奖励 代理奖励学习 轨迹分布匹配 文本渲染 背景与动机 少步生成模型（如一致性模型、蒸馏扩散模型）大幅降低了生成成本，但现有的 RL 方法存在一个关键假设：奖励模型必须可微，以便通过反向传播计算梯度。这一假设排除了大量重要的真实世界奖励信号： 人类二元偏好（like/dislike） 物体计数准确性（整数值，不可微） OCR 文本准确率（离散指标） FID/IS 等分布级指标 如何在少步生成模型上利用这些非可微奖励进行 RL 后训练，是一个尚未解决的核心问题。 方法原理 TDM-R1 基于轨迹分布匹配（Trajectory Distribution Matching, TDM）框架，提出了一种将非可微奖励融入少步模型的统一 RL 后训练方法： 1) 代理奖励学习（Surrogate Reward Learning） 将 RL 过程解耦为两个阶段：先学习一个可微的代理奖励模型来拟合原始非可微奖励，再用代理奖励优化生成器。 代理奖励使用轻量级 MLP 头接在特征提取器上，通过对比学习训练，使其排序与真实奖励高度一致。 定期用真实非可微奖励校准代理奖励，防止偏移。 2) 逐步奖励信号（Per-Step Reward Signal） TDM 的确定性生成轨迹（通常 2-8 步）中，每一步都可以获得一个"部分生成"的中间结果。 设计逐步奖励：对每个中间状态通过快速解码预估最终输出，计算预估奖励作为当步的奖励信号。 这种细粒度的奖励分配比仅在最终步给出奖励更有效，降低了信用分配问题的难度。 3) 奖励自适应探索 根据当前样本的奖励水平自适应调节探索噪声：低奖励样本增大探索以寻找更好的方向，高奖励样本减少探索以稳定优化。 创新点 首个通用 RL 后训练方法支持少步模型 + 非可微奖励：打破了"可微奖励"的假设限制。 代理奖励学习 + 在线校准：兼顾了梯度可用性和奖励准确性。 逐步奖励分配：解决了少步模型中奖励信号稀疏的信用分配问题。 在文本渲染、视觉质量、偏好对齐三类任务上验证。 实验结果 在文本渲染任务上（OCR 准确率作为非可微奖励），TDM-R1 使 4 步模型的 OCR 准确率从 31.2% 提升至 62.7%（+101%）。 在 HPSv2 偏好对齐上，4-NFE 的 TDM-R1 达到 28.6，超越 100-NFE 的基线模型 (27.8)。 成功扩展到最新的 Z-Image 模型，仅用 4 步推理即持续超越其 100 步和少步变体。 与仅支持可微奖励的 ReFL 和 DDPO 相比，TDM-R1 在非可微奖励设定下领先 15-30%。 6. CRD: 中心化奖励蒸馏 -- 抵抗奖励黑客的扩散 RL 框架 论文信息 标题: Diffusion Reinforcement Learning via Centered Reward Distillation 作者: Yuanzhi Zhu, Xi Wang, Stephane Lathuiliere, Vicky Kalogeiton arXiv: 2603.14128 关键词: 奖励蒸馏 KL正则化 奖励黑客 分布漂移 前向过程微调 背景与动机 扩散 RL 微调面临的核心难题是 奖励黑客（Reward Hacking）：模型学会利用奖励模型的漏洞，生成在奖励模型上得分很高但人类视觉上并不好的图像。例如，过度饱和的颜色、不自然的高对比度等。 现有方法的两大流派各有弊端： 轨迹级方法（DPPO, DDPO）：内存消耗大、梯度方差高。 前向过程方法（DRaFT, ReFL）：收敛快但容易发生分布漂移，导致奖励黑客。 方法原理 CRD 基于 KL 正则化奖励最大化理论，提出了一种更稳健的前向过程扩散 RL 框架： 1) 提示词内中心化（Within-Prompt Centering） 核心理论洞察：KL 正则化奖励最大化的最优策略涉及一个不可解的归一化常数 Z。 CRD 发现，通过在同一 prompt 的多个样本间做中心化（减去均值），归一化常数会自然抵消，得到一个适定的奖励匹配目标。 这使得 CRD 无需显式估计归一化常数，避免了额外的近似误差。 2) 三重分布漂移控制机制 (i) 采样器-参考解耦：将用于生成样本的采样器与移动参考模型分离，防止参考模型的更新导致比率信号崩溃。 (ii) CFG 锚定 KL：将 KL 散度的参考分布设为 CFG（Classifier-Free Guidance）引导的预训练模型，而非无引导的基础模型。这确保优化目标与推理时的语义一致。 (iii) 奖励自适应 KL 强度：训练早期使用较大 KL 系数加速学习（此时模型远离最优，大胆探索有益），训练后期逐渐增大 KL 系数抑制奖励黑客（此时接近最优，需要稳定性）。 创新点 理论优雅：通过中心化消除不可解归一化常数，将 KL 正则化奖励最大化转化为可实操的目标。 三重防线对抗奖励黑客：采样器-参考解耦、CFG 锚定、自适应 KL 强度协同工作。 CFG 锚定的创新性：传统方法锚定无 CFG 的基础模型，CRD 认识到推理时都使用 CFG，因此应该锚定 CFG 引导的分布。 实验结果 在 GenEval 上实现 0.83 的综合得分，与 SOTA 持平。 关键优势在于抗奖励黑客能力：在 HPSv2 上获得 28.5 的同时，FID 仅增加 2.3（对比 DPPO 的 FID 增加 8.7、DRaFT 的 FID 增加 5.1）。 OCR 文本渲染准确率提升 +23.1 pp。 在 ImageReward 和 PickScore 等未见过的偏好指标上，CRD 的优化效果同样保持（证明非奖励黑客）。 7. SOLACE: 内在自置信奖励驱动的 T2I 后训练 (CVPR 2026) 论文信息 标题: Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards 作者: Seungwook Kim, Minsu Cho arXiv: 2603.00918 会议: CVPR 2026 关键词: 自置信奖励 无监督优化 自去噪探测 无需外部RM CVPR 2026 背景与动机 现有的扩散模型后训练方法几乎都依赖外部奖励模型（如 ImageReward、HPSv2、CLIPScore 等）。然而： 外部奖励模型本身存在偏差和幻觉。 训练和维护奖励模型需要额外成本。 过度优化外部奖励容易导致奖励黑客。 一个自然的问题是：能否利用模型自身的内在信号来指导优化，完全不需要外部奖励模型？ 方法原理 SOLACE 提出了一种基于 自置信度（Self-Confidence） 的内在奖励信号： 1) 自去噪探测（Self-Denoising Probe） 核心机制：对一张生成的图像注入一定量的噪声，然后让模型自己尝试恢复原图。 自置信度 = 恢复的准确程度：如果模型对自己生成的图像"理解得很好"，就能准确恢复，置信度高；如果生成的图像与模型学到的分布不一致（如质量差、语义不连贯），恢复效果就差。 数学上，自置信度与模型在该样本处的似然估计成正比。 2) 标量奖励转化 将自去噪的重建误差转化为标量奖励分数：重建误差越小，奖励越高。 使用多个噪声水平进行探测，取平均值以获得更稳定的估计。 3) 完全无监督的偏好优化 利用自置信度奖励进行 GRPO 风格的优化，无需任何外部数据集、标注员或奖励模型。 高置信度的生成结果被强化，低置信度的被抑制。 创新点 首个完全无外部奖励的扩散模型后训练方法：打开了"自监督偏好对齐"的新方向。 自置信度信号的物理直觉：模型更容易恢复"好的"图像（与训练分布一致），提供了一种自然的质量度量。 与外部奖励互补：SOLACE 与外部奖励结合使用时效果更好，且能缓解奖励黑客。 零额外推理成本：自去噪探测仅在训练时使用，推理时完全不增加开销。 实验结果 仅使用内在奖励，在 GenEval 组合生成得分提升 +0.08（从 0.71 到 0.79）。 文本渲染准确率提升 +15.3 pp。 SOLACE + 外部奖励的组合方案达到 0.85 GenEval 得分，为所有方法中最高。 将 SOLACE 与 ImageReward 结合时，奖励黑客指标（FID 增量）从 ImageReward 单独使用时的 +6.2 降至 +1.8。 8. VIGOR: 基于几何的视频时序一致性奖励模型 论文信息 标题: VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment 作者: Tengjiao Yin, Jinglei Shi, Heng Guo, Xi Wang arXiv: 2603.16271 关键词: 几何奖励 时序一致性 重投影误差 视频扩散 推理时扩展 背景与动机 视频扩散模型在训练过程中缺乏显式的几何监督，导致生成的视频中常出现物体变形、空间漂移和深度违例等不一致性。现有的视频奖励模型主要基于语义（如 VQAScore、CLIPScore）或整体美学评估，无法捕捉帧间的几何一致性。 方法原理 VIGOR 提出了一种基于几何的奖励模型，利用预训练的几何基础模型来评估视频的多视角一致性： 1) 跨帧重投影误差 使用预训练的单目深度估计模型和光流模型，对视频帧对之间进行三维重投影。 逐点计算重投影误差（而非像素级对比），得到更符合物理规律的误差度量。 优势：逐点方式对纹理和光照变化更鲁棒，不会被像素强度差异干扰。 2) 几何感知采样 过滤低纹理区域和非语义区域（如天空、纯色背景），将评估集中在具有可靠对应关系的几何有意义区域。 使用特征匹配置信度作为权重，可靠区域的误差权重更大。 3) 双路径应用 训练后微调：对双向视频模型使用 VIGOR 奖励进行 SFT 或 RL 后训练。 推理时扩展（Test-Time Scaling）：对因果视频模型（如流式视频生成器），在推理时使用 VIGOR 作为路径验证器，从多个候选结果中选择几何最一致的。 创新点 首个基于物理几何约束的视频生成奖励模型：超越了纯语义/美学评估的局限。 逐点误差计算：比像素级指标更鲁棒，对光照和纹理变化不敏感。 推理时扩展的即插即用方案：无需重训练模型，通过推理时选择提升开源视频模型质量。 兼容多种视频生成架构：双向模型（后训练）和因果模型（推理时扩展）均适用。 实验结果 在 VBench 动态一致性指标上提升 +5.8%。 物体变形率从基线的 23.7% 降至 11.4%（减少 52%）。 推理时扩展方案：在 Open-Sora 上，使用 VIGOR 选择最优帧序列，VBench 得分提升 +3.2 而无需任何额外训练。 与 VQAScore 等语义奖励正交互补：两者结合可进一步提升 +1.5。 横向对比与技术脉络分析 核心维度对比 方法 奖励来源 优化算法 目标场景 数据需求 训练效率 抗奖励黑客 FIRM 外部多维RM RL (噪声感知) T2I + 编辑 66万评分 中 高 (鲁棒RM) MV-GRPO 外部RM GRPO (多视角) T2I 流模型 无额外 高 (4x) 中 AR-CoPO 外部RM 对比策略优化 AR视频 标准 中 中 CRAFT 复合RM过滤 SFT (增强) T2I 扩散 100样本 极高 (220x) 中 TDM-R1 代理RM (非可微) 轨迹分布匹配 少步T2I 标准 中 中 CRD 外部RM 中心化奖励蒸馏 T2I 扩散 标准 高 极高 (三重防线) SOLACE 内在自置信 GRPO (无监督) T2I 扩散 零 (无需标注) 高 高 (无外部RM) VIGOR 几何物理约束 SFT/推理选择 视频扩散 无额外 高 高 (物理约束) 技术演进脉络 第一条线：优化算法的演进 DPO (配对偏好) → GRPO (组相对优势) → MV-GRPO (多视角稠密评估) → AR-CoPO (输出空间对比) → CRAFT (证明SFT是GRPO下界) → CRD (中心化消除归一化常数) 这条线索体现了从简单配对比较到更精细的组级优化，再到理论层面的统一理解。CRAFT 的发现尤为重要：它证明了精心筛选数据后的 SFT 本质上就是 GRPO 的一种近似，为实践者提供了"大道至简"的选择。 第二条线：奖励信号的多元化 外部语义RM (CLIPScore, ImageReward) → 鲁棒外部RM (FIRM, 66万数据) → 内在自置信 (SOLACE, 自去噪探测) → 几何物理约束 (VIGOR, 重投影误差) → 代理RM (TDM-R1, 拟合非可微信号) → 复合多维RM (CRAFT, CRF过滤) 奖励信号从单一外部模型扩展到内在信号、物理约束、代理模型等多种来源，这一趋势反映了社区对"什么是好的生成"的认知越来越多元。 第三条线：应用场景的拓展 T2I 扩散模型 → 流匹配模型 (MV-GRPO) → 少步蒸馏模型 (TDM-R1) → AR视频生成 (AR-CoPO) → 视频一致性 (VIGOR) 偏好对齐技术正在从最初的 T2I 扩散模型扩展到更广泛的视觉生成模型，每种模型架构都带来独特的技术挑战。 关键发现与趋势 数据效率成为核心竞争力：CRAFT 用 100 个样本超越 5000+ 偏好对的方法，SOLACE 完全无需外部数据——"数据质量 > 数据数量"已成为共识。 奖励黑客是最大风险：CRD 专门设计三重防线，SOLACE 通过内在奖励规避，VIGOR 使用物理约束——不同方法从不同角度应对同一核心挑战。 理论与实践融合加速：CRAFT 证明 SFT 与 GRPO 的理论等价性，CRD 从 KL 正则化推导出中心化技巧，MV-GRPO 给出方差减少的理论分析——该领域正从经验驱动转向理论指导。 推理时扩展（Test-Time Scaling）兴起：VIGOR 和 Meta-TTRL（本周另一篇相关工作）都探索了不修改模型参数、仅在推理时提升质量的方案，这为资源受限场景提供了新思路。 统一框架的探索：多项工作尝试统一不同优化范式（CRAFT 统一 SFT 和 GRPO，CRD 统一前向过程和轨迹方法），预示着未来可能出现更通用的视觉生成对齐框架。 其他相关工作简述 本周还有多篇相关工作值得关注： GDPO-SR (2603.16769): 将 GRPO 原理融入 DPO 用于一步超分辨率，引入属性感知奖励函数针对平滑/纹理区域差异化评估。 LibraGen (2603.13506): 主题驱动视频生成中的 DPO 应用，提出 Consis-DPO 和 Real-Fake DPO 两种定制化偏好优化管线。 Meta-TTRL (2603.15724): 统一多模态模型的测试时强化学习，利用模型内在元认知信号进行推理时自我改进。 Correlation-Weighted Multi-Reward (2603.18528): 组合生成中的多奖励协调优化，通过相关性加权平衡竞争概念间的奖励冲突。 V2A-DPO (2603.11089): 视频到音频生成的 DPO 框架，提出 AudioScore 综合评分系统。 总结与展望 本期专题梳理了视觉生成模型偏好对齐与 RL 后训练的最新进展。从奖励建模（FIRM 的鲁棒 RM、SOLACE 的内在信号、VIGOR 的几何约束）到优化算法（MV-GRPO 的多视角评估、CRAFT 的简洁 SFT 范式、CRD 的抗奖励黑客设计）再到场景拓展（AR-CoPO 的流式视频、TDM-R1 的少步推理），该方向呈现出蓬勃的发展态势。 未来值得关注的方向： 多模态统一对齐：将偏好对齐扩展到图像+视频+音频的统一生成模型。 在线人类反馈：从离线偏好数据集转向在线、实时的人类反馈闭环。 可解释奖励：让用户和开发者理解"为什么这张图/这段视频被认为是好的"。 超长视频对齐：随着视频生成长度增加，如何在数分钟长度的视频上进行有效的偏好对齐。 安全对齐：在提升质量的同时，确保生成内容的安全性和合规性。 本期专题由 人工智能炼丹师 整理，更多 AIGC 前沿动态请关注 jefxiong.cn