AIGC每日速读|2026-05-06|DiT-MoE统一多模态模型25B仅激活3B，运动感知缓… 今日核心看点 DiT-MoE统一多模态25B(Mamoda2.5) 运动感知缓存加速6.28x(MotionCache) 线性化SD3.5仅1h微调(T5) 64层RVQ音乐生成(Khala) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成 1 篇 (Mamoda2.5) 视频/图像生成加速 3 篇 (MotionCache, SD3.5-T5, TOC-SR) 音乐生成 1 篇 (Khala) 评测基准 2 篇 (BRITE, Pixel Perfect) 图像编辑与数据集 1 篇 (ScribbleEdit) 3D/人体生成 2 篇 (BlenderRAG, HumanSplatHMR) 今日论文速览 1. Mamoda2.5: Enhancing Unified Multimodal Model with DiT-MoE Mamoda2.5：DiT-MoE统一多模态模型，25B参数仅激活3B，视频编辑加速95.9x | Unknown (Industry) | arXiv:2605.02641 关键词： 统一多模态·DiT-MoE·AR-Diffusion·视频生成·蒸馏加速 前序工作问题： 多模态理解与生成模型通常分离训练，缺乏统一框架；视频编辑推理速度慢难以部署 贡献： 提出统一AR-Diffusion框架，为Diffusion Transformer配备细粒度MoE（128专家Top-8路由），25B参数仅激活3B；联合少步蒸馏与强化学习将30步压缩为4步 效果： VBench 2.0视频生成顶尖，视频编辑创新高；匹敌Kling O1等闭源模型；编辑推理加速95.9x，广告场景成功率98% 批判点评： 128专家路由的负载均衡和专家坍缩问题未详细分析；仅激活3B参数是否在复杂多模态推理任务上存在能力天花板待验证 2. MotionCache: Motion-Aware Caching for Efficient Autoregressive Video Generation MotionCache：运动感知缓存加速自回归视频生成6.28x | Xiamen University | arXiv:2605.01725 关键词： 视频生成加速·运动感知·缓存复用·SkyReels-V2·MAGI-1 前序工作问题： 自回归视频生成因逐步去噪计算量巨大难以部署；现有缓存策略采用粗粒度块级跳步，忽略像素级运动动态 贡献： 形式化证明缓存误差与残差不稳定性的关联，提出利用帧间差分作为像素级运动代理的粗到细策略：预热阶段建立语义连贯，随后按运动权重动态调整每Token更新频率 效果： SkyReels-V2加速6.28x（VBench仅降1%），MAGI-1加速1.64x（VBench仅降0.01%），代码已开源 批判点评： 帧间差分作为运动代理过于简单，无法区分相机运动与物体运动；预热阶段长度为超参数，对不同内容敏感 3. SD3.5-T5: Linearizing Vision Transformer with Test-Time Training 用TTT线性化SD3.5：1小时微调实现1.47x推理加速 | Tsinghua University / ICML 2026 | arXiv:2605.02772 关键词： 线性注意力·TTT·SD3.5·推理加速·权重迁移 前序工作问题： Softmax注意力二次复杂度限制高分辨率生成效率；从头训练线性注意力模型成本过高 贡献： 发现TTT的两层动态公式与Softmax注意力结构对齐，可直接继承预训练权重；引入Key实例归一化和轻量局部性增强模块保持表征一致性 效果： 4xH20 GPU仅1小时微调，文生图质量与原模型可比；1K分辨率1.32x加速，2K分辨率1.47x加速（ICML 2026） 批判点评： 1.47x加速幅度相比FlashAttention等工程优化的叠加优势有限；TTT的额外在线学习开销在批处理场景的表现未报告 4. Khala: Scaling Acoustic Token Language Models Toward High-Fidelity Music Generation Khala：64层RVQ统一声学Token语言建模，无需语义Token阶段 | Tsinghua University | arXiv:2605.01790 关键词： 音乐生成·声学Token·RVQ·语言建模·粗到细 前序工作问题： 现有音乐生成将语义Token与声学Token分离为异构表示空间，系统复杂且信息传递断裂 贡献： 证明文本-声学对齐可在纯声学Token语言建模中涌现无需语义Token阶段；设计64层RVQ统一表示，两阶段粗到细框架固定62步推理，混合注意力训练 效果： 高保真音乐生成，文本-人声对齐自然涌现；超分辨率模型从骨干迁移学习显著提升收敛和质量 批判点评： 64层RVQ的编码复杂度和码本利用率未详细分析；固定62步推理对不同长度音乐的效率适配性待验证 5. BRITE: A Benchmark for Reliable and Interpretable T2V Evaluation on Implausible Scenarios BRITE：首个含音视频对齐的T2V评测基准，实测Sora 2/Veo 3.1/Gen4.5 | Unknown | arXiv:2605.00873 关键词： T2V评测·不合理场景·音视频对齐·人工循环·QA可解释 前序工作问题： 现有T2V评测忽视不合理场景和音视频对齐维度；全自动MLLM评测易受幻觉和歧义影响 贡献： 统一不合理场景提示、细粒度音视频一致性评估和QA式可解释评测三大组件；人工循环协议保障可靠性 效果： 实测Sora 2/Veo 3.1/Runway Gen4.5/Pixverse V5.5/Qwen3Max五大模型，发现物体-动作绑定和音视频同步存在显著性能缺口 批判点评： 仅评测5个模型样本量有限，结论的统计显著性和可推广性存疑；人工循环协议扩展成本高 6. TOC-SR: Task-Optimal Compact Diffusion for Image Super Resolution TOC-SR：贝叶斯优化发现紧凑扩散架构，6.6x参数压缩单步超分 | Unknown (Industry) | arXiv:2605.02767 关键词： 图像超分·紧凑扩散·贝叶斯优化·蒸馏·单步推理 前序工作问题： 扩散超分模型因大参数量和多步采样难以在边缘设备部署 贡献： 从16通道隐扩散模型出发，通过特征级生成蒸馏构建高效替代块，用epsilon约束贝叶斯优化搜索最优紧凑架构，再将多步过程蒸馏为单步生成器 效果： 参数量压缩6.6x，计算量减少2.8x，单步推理保持强重建质量 批判点评： NAS搜索成本本身较高，一次性投入是否划算取决于部署规模；蒸馏后模型在困难退化场景的鲁棒性未评估 7. ScribbleEdit: Synthetic Data for Image Editing with Scribbles and Text ScribbleEdit：涂鸦+文本联合编辑大规模合成数据集 | UC Berkeley | arXiv:2605.01135 关键词： 图像编辑·涂鸦输入·合成数据·空间对齐·多模态控制 前序工作问题： 用户难以同时传达精确空间布局和语义细节；缺乏涂鸦-文本联合编辑的专用训练数据 贡献： 设计自动生成管线：通过修复生成源-目标图像对，配对人工涂鸦和VLM生成的文本指令，构建大规模合成数据集 效果： 微调后模型在空间对齐和语义一致性上显著提升，扩散和自回归两类模型均受益 批判点评： 合成涂鸦与真实用户涂鸦分布差异可能导致域迁移问题；VLM生成的文本指令质量依赖VLM能力上限 8. BlenderRAG: High-Fidelity 3D Object Generation via Retrieval-Augmented Code Synthesis BlenderRAG：检索增强代码合成生成高保真3D对象 | University of Bologna | arXiv:2605.00632 关键词： 3D生成·RAG·Blender代码·LLM·检索增强 前序工作问题： LLM直接生成3D建模代码编译成功率低且几何一致性差，无需微调的3D生成方案匮乏 贡献： 构建500例专家验证的多模态数据集（50类别），RAG检索语义相似示例辅助LLM生成可执行Blender代码，无需微调或特殊硬件 效果： 编译成功率从40.8%提升至70%（+29.2%），CLIP语义对齐从0.41提升至0.77，跨4个LLM一致有效 批判点评： 500例数据集规模有限，复杂场景和组合对象的覆盖度不足；代码生成方式难以表达光滑曲面等连续几何 9. HumanSplatHMR: Closing the Loop Between Human Mesh Recovery and Gaussian Splatting Avatar HumanSplatHMR：闭环联合优化人体Mesh恢复与高斯泼溅化身 | University of Michigan | arXiv:2605.02784 关键词： 人体重建·高斯泼溅·Mesh恢复·闭环优化·新视角合成 前序工作问题： 现有方法将姿态估计与外观重建解耦，姿态误差累积到渲染中无法修正 贡献： 通过可微渲染闭环，将光度/分割/深度损失反向传播到姿态参数和全局位置，实现姿态-外观联合优化 效果： 全局3D姿态恢复精度和新视角渲染质量均超越解耦基线，无需动捕设备即可从视频重建高质量化身 批判点评： 闭环优化增加训练时间；对遮挡严重或极端姿态的鲁棒性未充分验证 10. Pixel Perfect: Relational Image Quality Assessment with Spatially-Aware Distortions Pixel Perfect：自监督关系型IQA，无需人工标注的空间感知质量评估 | Unknown | arXiv:2605.02863 关键词： 图像质量评估·自监督·关系型·空间感知·对比学习 前序工作问题： 传统IQA依赖MOS人工标注，成本高且无法提供可解释的局部反馈 贡献： 从绝对质量预测转向关系型方向性评估；自监督合成失真引擎生成训练数据；反对称目标训练失真预测网络输出空间感知解耦图；对比学习训练评分网络 效果： 完全无需人工标注，提供失真类型/强度/方向的空间感知映射，可针对性优化图像处理算法 批判点评： 合成失真与真实世界失真分布差距可能影响泛化；关系型评估难以与传统MOS指标直接对比 趋势观察 MoE+蒸馏成为统一多模态模型标配 — Mamoda2.5 用128专家Top-8路由实现25B参数仅激活3B，再通过蒸馏+RL将30步压缩为4步，95.9x加速；统一模型正在从'大而全'走向'大而高效' 推理加速从粗粒度跳步走向精细化自适应 — MotionCache 按像素运动强度分配去噪资源实现6.28x加速，SD3.5-T5 用线性注意力替代Softmax实现1.47x加速，加速策略日趋精细和理论化 人工智能炼丹君 整理 | 2026-05-06 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC论文速读|2026-05-05|纯视觉流统一生成颠覆文本管线，1D-Token端到端FI… 今日核心看点 纯视觉流统一生成(FlowInOne) 端到端自回归FID 1.48(1D-Token) 隐空间压缩加速视频(LC-VAE) 两步跳跃Flow对齐(LeapAlign) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成 2 篇 (FlowInOne, UniVidX) 自回归图像生成与预训练 2 篇 (1D-Tokenizer, GenLIP) 推理加速 2 篇 (LC-VAE, DepthVAR) 后训练对齐 2 篇 (LeapAlign, PostTrain) 音视频生成与评测 2 篇 (Talker-T2AV, MOSAIC) 今日论文速览 1. FlowInOne: Unifying Multimodal Generation as Image-In, Image-Out Flow Matching FlowInOne：纯视觉流统一多模态生成，消除跨模态对齐瓶颈 | Microsoft Research Asia | arXiv:2604.06757 关键词： 统一生成·流匹配·视觉提示·Image-In-Out·VisPrompt-5M 前序工作问题： 多模态生成长期被文本管线主导，语言驱动视觉但无法在视觉空间内推理创作，跨模态对齐与任务特定分支增加系统复杂度 贡献： 将所有模态（文本、布局、编辑指令）统一编码为视觉提示，用单一流匹配模型实现 Image-In Image-Out 管线，消除噪声调度和跨模态对齐，配套 VisPrompt-5M 数据集与 VP-Bench 基准 效果： 在文生图、布局引导编辑、视觉指令跟随等任务上全面超越开源模型和商业系统，建立视觉原生统一生成新范式 批判点评： 纯视觉流假设对高度抽象语义（如否定逻辑、数量推理）的编码能力有限；5M 数据集构建成本高且任务覆盖均匀性待验证 2. UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors UniVidX：统一多模态视频生成框架，不足千条视频实现全向条件生成 | NJU / SIGGRAPH 2026 | arXiv:2605.00658 关键词： 视频生成·统一框架·随机掩码·门控LoRA·跨模态注意力 前序工作问题： 现有方法为每种模态组合训练独立模型，固定输入输出映射且忽略跨模态关联 贡献： 提出随机条件掩码 SCM、解耦门控 LoRA DGL 和跨模态自注意力 CMSA 三大设计，用不到 1000 条视频训练出支持 RGB/内秉图/RGBA 分层的全向条件生成 效果： 在深度/法线/反照率估计和视频分层任务上达到 SOTA，成功泛化到野外场景，被 SIGGRAPH 2026 接收 批判点评： 训练数据仅千条视频，复杂动态场景的泛化鲁棒性存疑；多模态同时生成的质量-一致性权衡未深入分析 3. End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer 端到端训练 1D 语义 Tokenizer，FID 1.48 刷新自回归生图 SOTA | ByteDance Seed / ICML 2026 Spotlight | arXiv:2605.00503 关键词： 自回归生图·1D Tokenizer·端到端·视觉基础模型·FID 1.48 前序工作问题： 两阶段方法先训 Tokenizer 再训生成器，生成信号无法反馈到 Tokenizer，重建与生成目标脱节 贡献： 设计端到端管线联合优化 Tokenizer 与生成器，利用视觉基础模型提升 1D Tokenizer 语义表达能力，实现重建-生成信号直通 效果： ImageNet 256x256 无 guidance 达到 FID 1.48（SOTA），被 ICML 2026 选为 Spotlight 批判点评： 端到端训练需同步两个大模型，显存和训练稳定性要求高；仅在 ImageNet class-conditional 验证，开放域文生图能力未展示 4. GenLIP: Generative Language-Image Pre-training for Vision Transformers GenLIP：ViT直接预测语言Token，极简生成式视觉预训练 | ByteDance | arXiv:2605.00809 关键词： 视觉预训练·生成式·ViT·语言建模·多模态 前序工作问题： 现有视觉预训练依赖对比学习的大批量构建或额外文本解码器，架构复杂且难以扩展 贡献： 让 ViT 用标准语言建模目标直接从视觉 Token 预测语言 Token，单一 Transformer 联合建模视觉与文本，无需对比批构建或额外解码器 效果： 在 8B 样本上训练即达到或超越强对比基线，多模态基准全面竞争力；续训多分辨率后在 OCR 和图表理解上进一步提升 批判点评： 生成式预训练对负样本信息的利用不如对比学习充分；8B 训练数据仍是较大规模，小数据场景表现未报告 5. LC-VAE: Latent-Compressed Variational Autoencoder for Video Diffusion Models LC-VAE：高频裁剪代替通道压缩，解锁视频扩散生成质量 | CVPR 2026 Findings | arXiv:2604.16479 关键词： 视频VAE·隐空间压缩·高频裁剪·扩散收敛·通道冗余 前序工作问题： 视频 VAE 需大量隐通道保证重建质量，但过多通道反而阻碍扩散模型收敛并恶化生成性能 贡献： 提出隐空间高频分量移除策略替代直接减通道，在保持等效压缩比的前提下保留重建保真度，同时释放扩散模型收敛潜力 效果： 同等压缩比下视频重建质量超越强基线，扩散模型训练收敛更快且生成质量更高，被 CVPR 2026 接收 批判点评： 高频裁剪阈值的选取对不同视频类型（快速运动 vs 静态）敏感性未深入分析；仅在特定模型架构上验证 6. DepthVAR: Depth Adaptive Efficient Visual Autoregressive Modeling DepthVAR：按 Token 自适应分配计算深度，VAR 加速 2.3-3.1x | CVPR 2026 Findings | arXiv:2604.17286 关键词： VAR加速·自适应深度·免训练·循环调度·图像生成 前序工作问题： VAR 对每个位置施加固定计算深度，存在显著深度冗余；现有频率图 Token 剪枝方法采用二值硬剪枝，无法提升质量 贡献： 提出从剪枝整个 Token 转向按 Token 自适应分配深度的范式，设计循环旋转调度器与动态推理流程，按处理深度比例混合输出编码 效果： 免训练实现 2.3x-3.1x 加速，质量损失极小且优于硬剪枝方案，被 CVPR 2026 Findings 接收 批判点评： 调度策略为启发式循环旋转，最优深度分配应可学习化；仅验证 VAR 架构，DiT 等其他范式适用性未探索 7. LeapAlign: Post-Training Flow Matching Models at Any Generation Step LeapAlign：两步跳跃轨迹实现 Flow Matching 任意步对齐 | ANU / ByteDance Seed / CVPR 2026 | arXiv:2604.15311 关键词： 后训练·Flow Matching·奖励对齐·梯度稳定·Flux 前序工作问题： Flow Matching 长轨迹反传导致显存爆炸和梯度爆炸，且难以更新决定全局结构的早期步 贡献： 将长轨迹压缩为两步跳跃，每跳跨越多个 ODE 采样步一步预测未来隐变量；随机化起止时间步实现任意步更新，高权重分配给与长路径一致的轨迹 效果： 在 Flux 模型上全面超越 GRPO 和直接梯度方法，图像质量和文图对齐均达 SOTA，被 CVPR 2026 接收 批判点评： 两步跳跃近似引入轨迹偏差，对高步数采样的兼容性需进一步分析；仅在 Flux 单模型验证 8. A Systematic Post-Train Framework for Video Generation 视频生成系统化后训练：SFT+GRPO+提示增强四阶段管线 | Microsoft / HKU | arXiv:2604.25427 关键词： 后训练·视频扩散·GRPO·SFT·提示增强 前序工作问题： 视频扩散模型预训练性能与部署需求间存在巨大差距：提示敏感性高、时间不连贯、推理成本大 贡献： 提出四阶段后训练框架：SFT 转化为指令跟随策略→视频 GRPO 强化感知质量→提示增强器提升输入→推理优化降成本，形成统一可复制管线 效果： RLHF 阶段 GSB 指标提升 31%，提示增强再提 20%，视觉质量与动作连贯性显著增强同时保持语义对齐 批判点评： 文本对齐改善有限暴露当前文本-视频奖励模型瓶颈；四阶段训练流程复杂度高，各阶段超参互相耦合 9. Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Talker-T2AV：自回归扩散联合生成语音与肖像视频 | Unknown | arXiv:2604.23586 关键词： 音视频联合生成·自回归扩散·解耦解码·唇同步·肖像 前序工作问题： 现有联合音视频生成模型在全层级通过密集注意力耦合模态，高层语义与低层渲染纠缠导致效率低下且质量受限 贡献： 提出高层跨模态建模在共享骨干、低层精化在模态专属解码器的解耦架构；统一 Patch 级 Token 空间下自回归语言模型联合推理音视频，再由轻量 DiT 头解码为帧级隐变量 效果： 唇同步精度、视频质量、音频质量全面超越双分支基线，跨模态一致性强于级联管线 批判点评： 仅在说话人肖像场景验证，开放域音视频生成能力未测试；Patch 级 Token 量化损失对音质影响未量化 10. When Do Diffusion Models Learn to Generate Multiple Objects? 扩散模型何时学会多对象生成？MOSAIC 框架揭示数据本质 | ICML 2026 | arXiv:2605.00273 关键词： 多对象生成·组合泛化·数据分析·MOSAIC·扩散模型 前序工作问题： 文生图扩散模型在多对象生成上表现不可靠，失败根因不明确：是数据不足还是模型能力限制 贡献： 引入 MOSAIC 可控数据集生成框架，从概念泛化和组合泛化两个维度系统研究数据量与多对象生成能力的关系 效果： 发现场景复杂度比概念不均衡更关键，计数在低数据区极难学习，组合泛化随留出比例增加急剧退化；揭示需要更强归纳偏置 批判点评： 使用合成数据框架研究结论的真实世界迁移性有限；未提出具体解决方案仅停留在诊断层面 趋势观察 统一范式从文本主导走向视觉主导 — FlowInOne 将所有模态编码为视觉提示实现 Image-In Image-Out，UniVidX 用随机条件掩码实现全向生成，统一模型正式进入视觉原生时代 VAE隐空间优化成为视频生成新瓶颈 — LC-VAE 发现过多隐通道反而阻碍扩散收敛，通过高频裁剪代替通道压缩解锁生成质量；DepthVAR 从Token深度冗余切入加速，压缩思路多元化 人工智能炼丹君 整理 | 2026-05-05 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC论文速读|20260504|4步打败40步!AdvDMD蒸馏加速刷新SD3.5 今日核心看点 AdvDMD 4步超40步蒸馏 Edit-R1 验证器奖励模型 PhyCo 物理可控视频 AesRM 美学奖励模型 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 推理加速与蒸馏 2 篇 (AdvDMD, YOSE) 奖励模型与强化学习 2 篇 (Edit-R1, AesRM) 视频生成与编辑 3 篇 (PhyCo, TAVR, ExoActor) 训练方法与评估 2 篇 (RFL, Visual Gen Survey) 多模态一体化 1 篇 (Nemotron 3) 今日论文速览 1. AdvDMD: Adversarial Reward Meets DMD for Few-Step Generation AdvDMD：对抗奖励融合蒸馏实现高质量少步生成 | Unknown | arXiv:2604.28126 关键词： 蒸馏加速·DMD·对抗奖励·少步生成·SD3.5 前序工作问题： 扩散模型蒸馏加速方法将 DMD 与 RL 简单拼接，两种优化目标相互干扰导致训练不稳定且加速倍率有限 贡献： 将 DMD2 的对抗判别器直接复用为 RL 奖励模型，通过统一 SDE 反向模拟对中间态和终态联合监督，实现 DMD 与 RL 的无缝融合 效果： 4 步 AdvDMD 在 SD3.5 上 DPG-Bench 超越原模型 40 步表现；2 步版本在 Qwen-Image 上超越 TwinFlow 批判点评： 对抗判别器随蒸馏模型在线更新增加训练复杂度；在极端 1 步生成场景下质量衰减幅度未报告 2. Edit-R1: Leveraging Verifier-Based RL in Image Editing Edit-R1：验证器驱动强化学习提升图像编辑 | ByteDance Seed | arXiv:2604.27505 关键词： 图像编辑·奖励模型·CoT验证器·GRPO·FLUX 前序工作问题： 图像编辑缺乏可靠通用奖励模型，现有模型仅给整体评分无法逐条验证编辑指令是否满足 贡献： 提出推理奖励模型 RRM，通过 CoT 将指令拆分为独立原则逐条验证并聚合为细粒度可解释奖励，用 GCPO+GRPO 两阶段训练 效果： Edit-RRM 超越 Seed-1.5-VL/1.6-VL 等强 VLM 作为编辑奖励模型；3B→7B 清晰涨点；赋能 FLUX.1-kontext 编辑器 批判点评： CoT 推理链增加奖励计算成本，实际部署中每次编辑需额外 VLM 推理；仅在 FLUX 上验证泛化性有限 3. AesRM: Improving Video Aesthetics with Expert-Level Feedback AesRM：专家级美学反馈提升视频生成质量 | Unknown | arXiv:2604.28078 关键词： 视频美学·奖励模型·分层评测·CoT推理·Wan2.2 前序工作问题： 视频生成评估过度关注保真度而忽视电影级美学（构图、光影、色彩和谐），缺乏系统化美学评价体系 贡献： 构建 3 维 15 细项美学评分体系与约 2500 对专家标注数据集 AesVideo-Bench，训练 AesRM-Base 和 AesRM-CoT 两版奖励模型 效果： 在多个美学基准上超越基线，位置偏差更低更鲁棒；成功对齐 Wan2.2 视频生成模型的美学输出 批判点评： 2500 视频对规模偏小可能限制泛化；美学本质上主观性强，专家标注的跨文化一致性未讨论 4. Representation Fréchet Loss for Visual Generation RFL：表征空间 Fréchet 距离作为训练损失提升生成质量 | Unknown | arXiv:2604.28190 关键词： FD损失·表征空间·一步生成·蒸馏替代·ImageNet 前序工作问题： Fréchet 距离一直仅用于评估而非训练，因为其需要大规模样本估计群体统计量与小批量梯度计算矛盾 贡献： 解耦 FD 估计所需群体规模（50k）与梯度计算批量（1024），提出 FD-loss 使 Fréchet 距离可直接作为训练目标 效果： ImageNet 256x256 上一步生成器达 0.72 FID；无需教师蒸馏或对抗训练即可将多步模型转化为强一步生成器 批判点评： FD-loss 对表征空间选择敏感，不同表征可能导致矛盾优化方向；维护 50k 统计量的内存开销在高分辨率场景未讨论 5. YOSE: Essential Token Selection for DiT-based Video Object Removal YOSE：按需选择关键 Token 加速 DiT 视频去物 | CVPR 2026 | arXiv:2604.27322 关键词： 视频去物·Token选择·DiT加速·掩码感知·线性缩放 前序工作问题： DiT 视频去物方法对全时空 Token 密集计算，即使仅小区域需修复也需处理完整 Token 空间，推理极慢（约 10 FPS） 贡献： 提出批量变长索引 BVI 按掩码自适应选择关键 Token，配合 DiffSim 模块为未掩码 Token 模拟扩散注意力影响 效果： 70% 场景实现 2.5 倍加速，推理时间与掩码区域大小近似线性缩放，生成质量保持可比 批判点评： 加速比强依赖掩码面积，大面积去物场景加速有限；DiffSim 的近似可能在复杂运动区域引入伪影 6. PhyCo: Learning Controllable Physical Priors for Generative Motion PhyCo：学习可控物理先验实现物理真实视频生成 | CMU / NEC Labs / UCSD | CVPR 2026 | arXiv:2604.28169 关键词： 物理先验·可控生成·摩擦力·弹性·视频扩散 前序工作问题： 视频扩散模型擅长外观合成但物理一致性差：物体漂移、碰撞无回弹、材料响应不真实 贡献： 从简单模拟（滑块/弹球）中学习连续可解释的物理先验（摩擦/弹性/形变/力），推理时无需物理引擎即可注入视频扩散 效果： 实现连续可控的物理参数调节，生成物理真实的碰撞回弹和材料变形效果，CVPR 2026 收录 批判点评： 训练仅用简单几何体模拟数据，对复杂真实场景（如流体、布料）的泛化能力存疑；推理时物理参数需手动指定 7. Visual Generation in the New Era: From Atomic Mapping to Agentic World Modeling 视觉生成新纪元：从原子映射到智能体世界建模（综述） | Multi-institution (27 authors) | arXiv:2604.28185 关键词： 综述·五级分类·Flow Matching·后训练·奖励模型·世界模型 前序工作问题： 视觉生成模型在空间推理、状态持续、长期一致性和因果理解上仍有系统性缺陷，但缺乏统一评价框架 贡献： 提出五级渐进式分类体系（原子→条件→上下文→智能体→世界建模），系统梳理流匹配、统一模型、后训练、奖励建模等技术驱动力 效果： HF Daily Papers 82 票热度最高，提供能力导向的视角理解和推进下一代智能视觉生成系统 批判点评： 27 人综述难免覆盖面广但深度不足；五级分类边界模糊（如 Level 3 与 Level 4 区分标准主观） 8. TAVR: Generate Your Talking Avatar from Video Reference TAVR：从跨场景视频参考生成高保真说话头像 | HeyGen Research | arXiv:2604.27918 关键词： 说话头·跨场景·视频参考·Token选择·身份强化学习 前序工作问题： 现有说话头生成方法依赖同场景静态图参考，跨场景视频参考时身份保持和背景适应能力差 贡献： 提出视频参考范式 TAVR，含 Token 选择处理长时上下文、三阶段训练（同场景预训练→跨场景微调→身份 RL），构建 158 对跨场景评测基准 效果： 量化和定性评估均超越现有基线，已部署于 HeyGen Avatar-V 产品上线 批判点评： 强依赖参考视频质量和时长；身份 RL 奖励可能过拟合特定人脸特征分布，非正面角度效果存疑 9. Nemotron 3 Nano Omni: Efficient Open Multimodal Intelligence Nemotron 3 Nano Omni：NVIDIA 高效开源全模态模型 | NVIDIA | arXiv:2604.24954 关键词： 多模态·音频视觉文本·文档理解·Agent·开源 前序工作问题： 智能体系统需分别调用视觉、语音和语言模型，模型间数据传递耗时且丢失跨模态上下文 贡献： 首次原生支持音频+文本+图像+视频四模态输入，在文档理解、长音视频理解和 Agent 计算机操控上刷新效率基准 效果： 在 6 项权威榜单名列前茅；较前代在所有模态上准确率一致提升；已被 Foxconn 等企业采用 批判点评： 仅支持理解而无生成能力，不属于生成-理解统一模型；Nano 级别参数量在复杂推理场景可能受限 10. ExoActor: Exocentric Video Generation as Humanoid Control ExoActor：第三人称视频生成驱动通用人形机器人控制 | BAAI | arXiv:2604.27711 关键词： 人形控制·视频生成·第三人称·交互动力学·零样本泛化 前序工作问题： 人形机器人需同时建模空间上下文、时序动力学、动作和任务意图的交互，现有方法难以大规模获取多样化数据 贡献： 复用大规模视频生成模型作为交互动力学的统一接口，两阶段流程：先生成第三人称执行视频，再通过运动估计转为可执行动作 效果： 无需额外真实数据即可泛化到新场景，展示视频生成模型在机器人领域的全新应用范式 批判点评： 两阶段流程中运动估计误差会逐级累积；视频生成的物理真实性不足可能导致不可执行的动作序列 趋势观察 奖励模型正成为视觉生成标配 — 从 Edit-R1 到 AesRM，RL 驱动的奖励模型正覆盖图像编辑和视频美学两大场景，验证器范式取代简单打分 蒸馏与 Token 选择加速双管齐下 — AdvDMD 4 步超 40 步原模，YOSE 按掩码比例线性缩放，加速方法从模型级延伸到 Token 级 人工智能炼丹君 整理 | 2026-05-04 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 周末专题|2026-05-02|稀疏注意力让视频生成快18倍 引言：为什么视频生成需要稀疏注意力？ 视频扩散 Transformer（Video DiT）普遍采用 3D 全注意力，让每个 token 与数十万其他 token 交互。以 HunyuanVideo 生成 5 秒 720P 视频为例，总推理 945 秒中注意力运算占 800 秒（84.7%），O(N²) 复杂度是提速的首要瓶颈。但好消息是：视频 DiT 的注意力图天然高度稀疏——视频的时空冗余（相邻帧相似、空间局部相关）使大部分 token 对的注意力权重趋近于零，真正重要的交互集中在时间邻近帧、空间局部区域和少量全局"锚点"上。此外，扩散早期步偏全局、后期步偏局部的时间步依赖性进一步增加了可利用空间。需要注意的是，"注意力加速"和"端到端加速"是不同指标——注意力占 85%，即使加速 10x，端到端上限约 6-7x（受限于 FFN/归一化/VAE 解码等不可压缩层）。 本专题系统梳理过去一年（2025.5—2026.4）的 24 篇核心工作（深度 10 篇 + 速览 14 篇），涵盖 ICLR 2026 Oral、NeurIPS 2025、AAAI 2026、ICCV 2025、ICML 2025、CVPR 2025 等顶会成果，覆盖稀疏+线性融合（SLA/SLA2/SALAD）、免训练稀疏（SVG-EAR/CalibAtt/AdaSpa）、结构化稀疏（Sparse-vDiT/VMonarch）、可训练/AR 稀疏（VSA/Light Forcing）、滑动窗口与训练加速（STA/BSA/NABLA/SSTA）等完整技术路线。 核心技术趋势 1. 从免训练到可训练，从推理到全程——免训练方法天花板约 2x，轻量微调突破至 2-5x，全程可训练（VSA/BSA）实现训练+推理双加速。三条路线并行发展。 2. 稀疏+线性融合成为最优范式——SLA（ICLR 2026 Oral）确立"大权重稀疏+小权重线性"的分工，SLA2 推至 18.6x，SALAD 用门控轻量化。理论完备且工程可落地。 3. 注意力图的结构化利用——Sparse-vDiT 识别三种 Pattern、VMonarch 用 Monarch 矩阵、CalibAtt 发现跨输入稳定性。理解注意力内在结构是设计关键。 4. AR 视频扩散带来新挑战——Light Forcing 和 TempCache 面向自回归视频扩散定制稀疏方案，因果注意力稀疏化将成新热点。 5. 多方法叠加走向实时部署——STA 滑动窗口 + 稀疏注意力天然正交，SSTA（HunyuanVideo 1.5）已工业落地。EasyCache+SVG 达 3x+，NABLA+STA 可叠加，未来推理栈是多技术"加速全家桶"。 下面先梳理技术演进时间线，再按重要度逐篇解读。 技术路线与时间线 基础探索（2024.6–2025.2） 描述：稀疏注意力的技术积累来自 LLM 领域。FlashAttention 系列建立了高效注意力计算的工程基准；StreamingLLM、H2O、Quest 等工作验证了 KV 缓存稀疏化和 token 剪枝在自回归模型中的可行性。2024 年下半年，随着 Wan、HunyuanVideo 等视频 DiT 模型的出现，研究者开始将这些技术迁移到视频生成场景，并发现 3D 全注意力中存在比 LLM 更强的稀疏结构。 关键节点： 2024.6–2024.12：FlashAttention-3 发布，LLM 稀疏注意力（StreamingLLM / H2O / Quest）成熟 2025.1–2025.2：视频 DiT 稀疏性被系统发现，开启从 LLM 到视频生成的技术迁移 免训练加速（2025.2–2025.5） 描述：Sparse VideoGen 系列开创免训练框架，系统性利用 3D 全注意力天然稀疏性实现视频 DiT 推理加速。 关键节点： 2025.2：Sparse VideoGen(SVG)：首个系统性免训练稀疏注意力加速框架 2025.5：Sparse VideoGen2(SVG2)：语义聚类驱动的稀疏模式发现 可训练突破（2025.5–2025.9） 描述：VSA 首次证明可训练稀疏注意力可在预训练阶段全程替代全注意力，实现训练+推理双加速。 关键节点： 2025.5：VSA（NeurIPS 2025）：训练+推理全程稀疏注意力的里程碑 融合范式确立（2025.9–2026.1） 描述：SLA（ICLR 2026 Oral）确立"大权重稀疏+小权重线性"的融合范式，SALAD 和 VMonarch 从不同角度验证稀疏+线性混合设计。 关键节点： 2025.9：SLA（ICLR 2026 Oral）：稀疏-线性注意力融合，13.7x 注意力加速 2026.1：SALAD：门控线性注意力并行分支，2000 样本微调达 90% 稀疏度 2026.1：VMonarch：Monarch 矩阵结构化注意力，17.5x FLOPs 减少 极致推进（2026.1–2026.4） 描述：SLA2 将加速比推向 18.6x，Light Forcing 首次面向自回归视频扩散设计稀疏方案，SVG-EAR 刷新免训练方法帕累托前沿，AdaSpa 以零开销搜索获得 ICCV 2025 接收。 关键节点： 2026.2：SLA2：可学习路由 + 量化感知训练，18.6x 注意力加速 2026.2：Light Forcing：首个 AR 视频扩散稀疏注意力 2026.3：SVG-EAR：误差感知路由 + 聚类质心补偿，1.93x 免训练加速 2026.2：AdaSpa（ICCV 2025）：LSE 缓存搜索，免训练免数据最优解 以下按重要度排序，逐篇解读 10 篇核心论文。 1. SLA：稀疏-线性注意力融合——自定义GPU Kernel实现13.7倍注意力加速（ICLR 2026 Oral） SLA | arXiv:2509.24006 | 清华大学, UC Berkeley 研究动机 注意力权重可分为两部分：少量大权重（高秩）和大量小权重（低秩）。这天然暗示一种分工：对大权重用稀疏注意力（O(N²) 但只算少量），对小权重用线性注意力（O(N)）。现有方法要么纯稀疏（丢失低秩信息）要么纯线性（无法捕捉局部关键依赖），SLA 首次将两者系统融合。 方法原理 三级权重分类：将注意力权重按大小分为 Critical（O(N²) 精确计算）、Marginal（O(N) 线性近似）、Negligible（跳过），95% 注意力计算被消除 融合 GPU Kernel：将稀疏和线性注意力的前向/反向计算融合到单个自定义 kernel 中，消除额外显存开销和 kernel launch 延迟 轻量微调：仅需少量步即可在目标视频 DiT 上完成适配 实验结果 注意力加速 13.7x，端到端加速 2.2x（Wan 2.1-1.3B），生成质量无损（VBench 指标保持），ICLR 2026 Oral 接收。 点评 优势：ICLR 2026 Oral 验证了学术价值；自定义 kernel 可直接工业落地；2.2x E2E 加速是质量无损方法中的最优数字。局限：仅在 1.3B 模型上验证，14B+ 效果未知；kernel 需针对不同硬件调优。后续方向包括更大模型验证和与蒸馏/缓存叠加。 2. SLA2：可学习路由+量化感知训练——97%稀疏度实现18.6倍注意力加速 SLA2 | arXiv:2602.12675 | 清华大学, UC Berkeley 研究动机 SLA 采用固定的三级分类边界，无法适应不同层/头/时间步的动态变化。SLA2 提出两个改进方向：让模型自己学习最优的稀疏-线性分配比例，并利用量化技术进一步压缩计算。 方法原理 可学习路由器：每层每头配备轻量路由网络，动态预测每个注意力块应使用稀疏、线性还是跳过策略，突破 SLA 的固定边界 改进注意力公式：重新设计稀疏+线性混合公式，减少近似误差 量化感知训练（QAT）：联合训练路由器和量化参数，在 INT4/INT8 精度下保持质量 实验结果 97% 注意力稀疏度（仅 3% 计算量），18.6x 注意力加速，视频生成质量与全注意力几乎无差距，支持 INT4 量化进一步压缩。 点评 优势：在 SLA 基础上加速比提升 35%，可学习路由实现层级自适应。局限：需要训练路由器（非免训练）；QAT 引入额外训练复杂性。后续方向包括与蒸馏联合优化和消费级设备部署。 3. SVG-EAR：误差感知路由+无参数线性补偿——免训练1.93倍端到端加速 SVG-EAR | arXiv:2603.08982 | UC Berkeley 研究动机 现有免训练稀疏注意力面临两难：直接丢弃被跳过块会丢失信息；用学习型预测器近似又引入训练开销。SVG-EAR 的关键洞察是：经过语义聚类后，同一块内的 K/V 具有高度相似性，可用少量聚类质心准确概括——这使得"补偿"取代"丢弃"成为可能。 方法原理 聚类质心补偿：对被跳过的注意力块，用 K/V 聚类质心做 O(N) 线性近似，无参数恢复其对输出的贡献 误差感知路由：颠覆"高注意力分数=重要"的传统假设，改为选择"近似误差最大"的块做精确计算 理论保证：提供注意力重建误差与聚类质量之间的理论上界 实验结果 Wan 2.2 上 1.77x 端到端加速（PSNR 29.76），HunyuanVideo 上 1.93x 端到端加速（PSNR 31.04），显著优于 SVG2 和 CalibAtt，完全免训练。 点评 优势：免训练、有理论保证、误差感知路由是本领域最具洞察的方法论创新。局限：聚类质心计算有额外开销；PSNR 不是视频生成的最佳指标；加速上限受限于免训练范式。 4. VSA：端到端可训练稀疏注意力——从预训练阶段替换全注意力（NeurIPS 2025） VSA | arXiv:2505.13389 | UC Berkeley, FastVideo 研究动机 现有稀疏注意力仅用于推理阶段，训练仍需全注意力，导致训练-推理不一致和训练成本居高不下。VSA 提出一个根本性问题：能否设计一种从预训练到推理全程使用的稀疏注意力，彻底替代全注意力？ 方法原理 粗粒度预测：将 token 序列划分为 3D cubes 并池化，用低成本全注意力预测每个 cube 的重要性，选出关键区域 细粒度执行：仅在预测的关键区域执行 token 级精确注意力，形成块稀疏计算模式 硬件对齐：cube 和块大小均对齐 GPU warp/SM 执行粒度，最大化并行效率 实验结果 训练和推理同时加速，视频生成质量与全注意力基线持平，显著降低训练 GPU 小时数，NeurIPS 2025 接收。 点评 优势：训练+推理双加速是独特卖点；硬件对齐设计实用性强。局限：粗粒度预测可能丢失细粒度关键信息；需要从头预训练或大量微调，部署门槛较高。 5. Sparse-vDiT：三模式稀疏Pattern识别+定制Kernel——视频DiT注意力图的系统性利用（AAAI 2026） Sparse-vDiT | arXiv:2506.03065 | 多机构合作 研究动机 此前的稀疏注意力方法大多采用统一策略（Top-K 或块级稀疏），未充分利用视频 DiT 注意力图的结构特征。Sparse-vDiT 通过系统统计分析，发现三种反复出现的稀疏模式，并为每种模式定制高效计算方案。 方法原理 三种稀疏模式识别：对角线（diagonal，反映时间邻近性）、多对角线（multi-diagonal，反映空间局部性）、竖条纹（vertical-stripe，反映全局 anchor token） Pattern-Optimized Sparse Kernels：为每种模式设计专用 CUDA kernel，将稠密注意力替换为结构化稀疏计算 自适应模式选择：根据每层每头的注意力分布自动匹配最优模式 实验结果 在 HunyuanVideo 上理论 FLOPs 减少约 50-70%（因层/头而异），实际推理延迟降低，视觉质量保持（论文未报告统一的端到端加速倍数），AAAI 2026 接收。 点评 优势：对注意力图结构的分析深入，三种模式的发现为后续工作提供了理论基础。局限：固定三种模式可能无法覆盖所有场景；缺乏统一的端到端加速数字使得与其他方法定量比较困难。 6. SALAD：门控线性注意力并行分支——仅2000样本微调实现90%稀疏度 SALAD | arXiv:2601.16515 | 清华大学, 腾讯 研究动机 免训练稀疏注意力的稀疏度通常受限于 50-70%，突破上限需要训练，但训练型方法（如 SLA）通常需要大量数据和计算。SALAD 探索一条中间路线：能否用极轻量的微调达到极高稀疏度？ 方法原理 双分支并行：在稀疏注意力旁添加轻量线性注意力分支，捕捉被稀疏丢弃的低秩信息 输入依赖门控：可学习门控机制根据输入内容动态调节两分支的贡献权重 极轻量微调：仅新增线性层和门控参数，2000 个视频样本 + 1600 步即可完成训练 实验结果 90% 稀疏度，1.72x 推理加速，生成质量与全注意力基线相当，适配多种视频 DiT 模型。 点评 优势：微调效率极高（2000 样本），工程门槛最低的稀疏-线性融合方案。局限：1.72x 加速低于 SLA 的 2.2x；线性注意力的表达能力有限。 稀疏+线性融合路线小结（论文 1/2/6）：SLA → SLA2 → SALAD 展示了同一思路的三种实现层次：kernel 级融合（SLA，自定义 CUDA kernel 将两者合并为单次计算，加速最高但开发门槛也最高）→ 可学习路由（SLA2，让模型自动决定稀疏/线性比例，牺牲免训练性换取更高稀疏度）→ 分支级门控（SALAD，在模型外部添加并行线性分支，工程最简单但加速比也最低）。三者形成了加速比-工程复杂度的帕累托前沿，实践者可根据自身 CUDA 开发能力和计算预算选择。 7. VMonarch：Monarch矩阵结构化注意力——17.5倍FLOPs减少的数学最优解 VMonarch | arXiv:2601.22275 | 南京大学, 腾讯 研究动机 现有稀疏方法（Top-K / 局部窗口）缺乏数学最优性保证。VMonarch 发现 Monarch 矩阵——一类具有灵活稀疏性的结构化矩阵——可以优雅地表示视频 DiT 的时空注意力模式。 方法原理 时空 Monarch 分解：将全注意力矩阵分解为帧内（空间）和帧间（时间）两组 Monarch 因子，分别捕捉空间和时间相关性 交替最小化：通过交替优化两组因子逼近原始全注意力，配合重计算策略解决收敛不稳定问题 在线熵算法：融入 FlashAttention 的在线计算范式，支持长序列高效更新 实验结果 注意力 FLOPs 减少 17.5x，注意力计算加速 5x+，90% 稀疏度下超越所有 SOTA 稀疏方法，轻量微调后 VBench 质量与全注意力相当。 点评 优势：数学上最优雅的方案，FlashAttention 兼容，理论深度最强。局限：实际 wall-clock 加速（5x）远小于理论 FLOPs 减少（17.5x），存在工程实现瓶颈；交替最小化收敛依赖初始化。 8. Light Forcing：首个面向自回归视频扩散的稀疏注意力——Chunk-Aware Growth机制 Light Forcing | arXiv:2602.04789 | 多机构合作 研究动机 现有稀疏注意力主要面向双向扩散模型（Wan / HunyuanVideo），而自回归视频扩散模型（GameGen / CogVideoX-AR）的因果结构截然不同——新帧只能看到历史帧，注意力范围随生成推进单调增长。Light Forcing 首次为 AR 视频扩散定制稀疏注意力方案。 方法原理 AR 注意力模式分析：发现 AR 视频扩散中注意力呈因果增长模式——新帧主要关注临近帧和少量关键锚帧 Chunk-Aware Growth：将序列划分为因果 chunk，稀疏注意力范围随 chunk 增长动态扩展，保持选择性历史回顾 锚帧保留策略：自动识别关键参考帧保持全注意力，确保长程一致性 实验结果 AR 视频生成质量和效率双赢（论文报告质量提升 + 推理加速，但未给出统一的端到端加速倍数），长视频一致性提升，代码开源。 点评 优势：AR 视频生成方向的首个稀疏注意力方案，填补空白；Chunk-Aware Growth 与 AR 范式天然匹配。局限：AR 视频生成模型本身尚未成为主流，方法的影响力取决于 AR 范式的普及速度。 可训练 / 架构感知路线小结（论文 4/5/7/8）：这四篇论文代表了"深入理解注意力结构再设计"的思路，与免训练方法的"不碰模型只做近似"形成对比。VSA 证明全程替换全注意力是可行的（范式意义大于工程意义）；Sparse-vDiT 和 VMonarch 分别从 Pattern 识别和数学分解的角度结构化利用注意力图；Light Forcing 则将稀疏注意力从双向扩散扩展到自回归生成。它们的共同局限是需要训练/微调，但共同贡献是为社区提供了关于视频注意力"长什么样"的深层理解。 9. CalibAtt：离线校准+在线高效推理——跨输入稳定的块级稀疏模式 CalibAtt | arXiv:2603.05503 | 以色列理工 研究动机 已有免训练稀疏注意力要么在线动态判断 token 重要性（开销大），要么使用固定模式（不够灵活）。CalibAtt 发现一个关键洞察：稀疏模式在不同输入上惊人地稳定——大量 token 连接在任何视频上都产生可忽略的注意力分数，可以离线一次校准、在线直接复用。 方法原理 离线校准：在少量参考视频上运行全注意力，统计每一层、每个头、每个扩散时间步的块级稀疏模式 模式编译：将稳定模式编译为优化的注意力操作（类似 JIT 编译），在线推理时直接跳过非关键连接 块级粒度：兼顾近似精度和 GPU 硬件效率 实验结果 Wan 2.1 14B、Mochi 1 及其蒸馏版本上 1.58x 端到端加速，视频生成质量和文本对齐度优于已有免训练方法，完全免训练。 点评 优势：完全免训练、即插即用、离线校准成本极低。局限：1.58x 加速在近期方法中不突出（已被 SVG-EAR 的 1.93x 超越）；对新架构需重新校准。 10. AdaSpa：动态模式+在线精确搜索——面向长视频的自适应稀疏注意力（ICCV 2025） AdaSpa | arXiv:2502.21079 | 字节跳动, 北京大学 研究动机 现有免训练稀疏方法面临二选一：固定模式（CalibAtt，无法动态适应）或在线搜索（开销大）。AdaSpa 提出：能否"免费"获得在线精确搜索能力？ 方法原理 块化模式（Blockified Pattern）：将注意力矩阵划分为层次化 block，高效表示 DiT 的多尺度稀疏性 LSE 缓存搜索：利用 FlashAttention 计算过程中的 LogSumExp 副产品作为 block 重要性信号——零额外开销即可精确定位关键区域 自适应稀疏决策：每步动态决定哪些 block 需要精确计算，免训练、免数据、即插即用 实验结果 在 OpenSora 等长视频模型上实现显著加速（论文报告视觉质量与原始模型几乎相同），免训练免数据，ICCV 2025 接收。 点评 优势：LSE 缓存搜索零开销，设计极其优雅，是免训练方法中工程最巧妙的方案。局限：依赖 FlashAttention 实现，对其他注意力后端不通用。 免训练路线小结（论文 3/9/10）：CalibAtt → SVG-EAR → AdaSpa 体现了免训练方法从"静态"走向"动态"的演进。CalibAtt 发现稀疏模式跨输入稳定，用离线校准一劳永逸（简单但加速有限）；SVG-EAR 引入在线误差感知路由（更准但有聚类开销）；AdaSpa 利用 FlashAttention 的 LSE 副产品实现零开销在线搜索（最优但绑定 FA 后端）。三者的核心权衡是：模式精确度 vs 运行时开销。 其余论文速览 免训练框架 & 稀疏注意力基础 附-1. Sparse VideoGen：首个系统性利用3D全注意力天然稀疏性的免训练加速框架 Sparse VideoGen: Accelerating Video Diffusion Transformers with Inherent Sparsity | arXiv:2502.01776 | UC Berkeley 关键词： 免训练, 空间/时间稀疏, 3D全注意力, 系列开山作 前序工作问题： 视频DiT的3D全注意力被视为黑盒，其内在稀疏性未被系统性利用。 贡献： 首个系统性利用3D全注意力天然稀疏性的免训练加速框架，在线3%样本分析识别空间/时间稀疏模式。 效果： 在Wan/HunyuanVideo/Mochi上实现高效免训练加速，开创Sparse VideoGen系列。 批判点评： 方向开创性强，但在线分析存在开销；后续SVG2和SVG-EAR在其基础上大幅改进。 附-2. Sparse VideoGen2：语义聚类驱动的稀疏注意力加速 Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Clustering | arXiv:2505.18875 | UC Berkeley 关键词： 语义聚类, K-Means, 空间/时间稀疏, SVG系列第二代 前序工作问题： SVG的在线稀疏模式分析精度有限，缺乏语义层面的理解。 贡献： 基于K-Means语义聚类的稀疏注意力加速，自动发现空间和时间两种稀疏模式并分别优化。 效果： 在SVG基础上进一步提升加速比，聚类质量直接影响加速效果。 批判点评： 语义聚类方向正确，但K-Means本身有计算开销；已被SVG-EAR的误差感知路由超越。 缓存与混合加速 附-3. TempCache：面向自回归视频扩散的时间缓存压缩+稀疏注意力联合加速 Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention | arXiv:2602.01801 | 多机构合作 关键词： KV缓存压缩, 自回归, 世界模型, AnnCA 前序工作问题： 自回归视频扩散模型的KV缓存随序列增长线性膨胀，导致长视频生成效率低下。 贡献： 面向自回归视频扩散的时间KV缓存压缩+稀疏注意力联合加速，AnnCA近似近邻注意力。 效果： 长视频流式生成效率大幅提升，支持视频世界模型。 批判点评： KV缓存压缩与稀疏注意力正交互补，联合使用前景广阔；AnnCA的近似精度需关注。 附-4. SODA：敏感度导向的缓存+剪枝统一框架 SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer | arXiv:2603.07057 | 多机构合作 关键词： 敏感度建模, 动态规划, 缓存+剪枝, 统一框架 前序工作问题： 缓存和剪枝分别独立设计，缺乏统一最优策略。 贡献： 敏感度导向的缓存+剪枝统一框架，通过动态规划求解最优缓存时间点。 效果： 在DiT-XL/PixArt-α/OpenSora上实现SOTA保真度-加速比权衡。 批判点评： 统一框架设计优雅，动态规划给出理论最优解；但离线分析和迁移成本需考虑。 附-5. EasyCache：免训练自适应缓存加速，与SVG稀疏注意力可叠加 Less is Enough: Training-Free Video Diffusion Acceleration via Adaptive Caching | arXiv:2507.03065 | 多机构合作 关键词： 免训练, 自适应缓存, 可叠加, 3x加速 前序工作问题： 缓存方法和稀疏注意力通常独立设计，能否叠加加速？ 贡献： 无需训练的自适应缓存加速，运行时自适应决策何时复用何时重算，与SVG稀疏注意力可叠加。 效果： SVG+EasyCache在HunyuanVideo上实现3x以上加速。 批判点评： 叠加性是关键价值——稀疏注意力+缓存的联合使用开辟了组合加速新思路。 附-6. FasterCache：免训练视频扩散缓存加速（ICLR 2026） FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality | ICLR 2026 | 多机构合作 关键词： 免训练缓存, 时间步复用, ICLR 2026, 全自注意力 前序工作问题： 视频扩散不同时间步之间的特征相似性未被充分利用。 贡献： 免训练视频扩散缓存加速，利用全自注意力层的时间步相关性进行特征复用。 效果： 在CogVideoX/Vchitect 2.0/Mochi上实现高质量免训练加速。 批判点评： ICLR 2026接收验证了方法的严谨性；缓存+稀疏注意力的协同将是未来主流。 滑动窗口与训练加速 附-7. STA：Tile级滑动窗口注意力——硬件友好设计实现2.8-17x注意力加速（ICML 2025） Fast Video Generation with Sliding Tile Attention | arXiv:2502.04507 | UC Berkeley (Hao AI Lab) 关键词： 滑动窗口, Tile级, 硬件友好, ICML 2025, 免训练 前序工作问题： Token级滑动窗口注意力(SWA)在GPU上硬件利用率低，无法充分利用视频DiT注意力的3D局部性。 贡献： 提出Tile级滑动窗口注意力替代Token级，利用视频DiT注意力在3D时空局部窗口内集中的特性，硬件友好设计。 效果： 注意力加速2.8-17x(vs FlashAttention-2)，端到端1.36-3.53x加速，HunyuanVideo延迟从945s降至268s，ICML 2025接收。 批判点评： 与稀疏注意力正交互补——STA处理局部窗口、稀疏方法处理全局选择，二者可叠加；ICML 2025验证了学术质量。 附-8. BSA：双向稀疏注意力——首个同时稀疏化Query和KV的训练加速方法 Bidirectional Sparse Attention for Faster Video Diffusion Training | arXiv:2509.01085 | UC Berkeley (Hao AI Lab) 关键词： 训练加速, 双向稀疏, Query+KV稀疏, 动态阈值, 20x FLOPs 前序工作问题： 现有稀疏注意力仅稀疏化KV端，Query端仍完整计算；且使用固定稀疏模式无法适应DiT的动态注意力特性。 贡献： 首个同时动态稀疏化Query和KV对的训练加速方法，通过语义相似性选择Query+动态阈值保留关键KV块。 效果： 训练FLOPs减少20x，注意力训练加速17.79x，生成质量与全注意力持平或超越。 批判点评： 与VSA同属训练加速方向但策略不同——VSA替换注意力机制，BSA在全注意力内部做双向稀疏；二者思路互补。 附-9. NABLA：自适应块级注意力——CDF二值化+Flex Attention免自定义CUDA ∇NABLA: Neighborhood Adaptive Block-Level Attention | arXiv:2507.13546 | AI Forever 关键词： 块级注意力, CDF二值化, Flex Attention, 训练+推理, 开源权重 前序工作问题： 自定义CUDA kernel开发门槛高，限制了稀疏注意力方法的社区采用。 贡献： 自适应块级注意力：下采样Q/K后在压缩空间计算注意力，CDF二值化生成稀疏mask，集成PyTorch Flex Attention无需自定义CUDA。 效果： 训练和推理加速最高2.7x，可与STA叠加使用，Wan 2.1预微调权重已开源。 批判点评： 工程门槛最低——无需写CUDA即可使用稀疏注意力；与STA叠加使用的设计体现了模块化组合的趋势。 工业级落地 附-10. SSTA (HunyuanVideo 1.5)：选择性+滑动Tile注意力——工业级视频生成模型的稀疏注意力实践 HunyuanVideo 1.5 Technical Report — Selective and Sliding Tile Attention | arXiv:2511.18870 | 腾讯混元 关键词： SSTA, 选择性注意力, 滑动Tile, 工业级, 消费级GPU, 开源 前序工作问题： 学术界的稀疏注意力方案多在研究模型上验证，缺乏工业级视频生成模型中的端到端集成和大规模验证。 贡献： 提出SSTA(Selective and Sliding Tile Attention)：识别并剪除冗余时空KV块，仅对高信息区域执行全注意力，集成于8.3B参数的工业级视频生成模型。 效果： 10秒720p视频端到端1.87x加速(vs FlashAttention-3)，消费级GPU可运行，开源模型权重。 批判点评： 稀疏注意力从学术论文走向工业产品的标志性案例——SSTA融合了STA的滑动窗口和选择性剪枝，验证了稀疏注意力在大规模模型中的实用性。 蒸馏与替代注意力 附-11. FastLightGen：步数+参数同时压缩的三阶段协同蒸馏 FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters | arXiv:2603.01685 | 香港科技大学(广州) 关键词： 步数蒸馏, 参数剪枝, 联合压缩, 35x加速 前序工作问题： 步数蒸馏和参数剪枝独立应用效果有限，联合优化缺乏系统方案。 贡献： 步数+参数同时压缩的三阶段协同蒸馏管线，将13B模型压缩至30%参数4步推理。 效果： 35x加速HunyuanVideo/WanX，5秒视频数秒内生成。 批判点评： 蒸馏+稀疏注意力理论上可达5-10x无损加速，FastLightGen展示了单路线的极限。 附-12. FrameDiT：帧级矩阵注意力替代token级全注意力 FrameDiT: Frame-level Matrix Attention for Video Diffusion Transformers | arXiv:2603.10200 | 多机构合作 关键词： 帧级注意力, 矩阵注意力, 结构化, 需训练 前序工作问题： Full 3D注意力过于精细（token级），而Local Factorized Attention过于粗略（帧内/帧间分离），缺乏中间粒度设计。 贡献： 帧级矩阵注意力替代token级全注意力，粒度介于Full 3D和Local Factorized之间。 效果： 效率与Local Factorized Attention相当，多个视频生成benchmark达到SOTA。 批判点评： 帧级粒度提供了token级和因子化之间的有趣折中，但需要训练限制了即插即用性。 附-13. CausVid：将双向扩散模型蒸馏为自回归生成器实现实时视频生成（CVPR 2025） From Slow Bidirectional to Fast Autoregressive Video Diffusion Models | arXiv:2412.07772 | Nvidia, Technion 关键词： 非对称蒸馏, CVPR 2025, 自回归, 实时生成, 9.4 FPS 前序工作问题： 双向扩散模型质量高但推理慢（128帧需约219秒），能否将其知识蒸馏到更快的自回归架构？ 贡献： 将双向扩散模型蒸馏为因果自回归生成器，DMD视频蒸馏将50步压缩为4步，非对称蒸馏用双向教师监督因果学生。 效果： 9.4 FPS实时生成（初始延迟仅1.3秒），VBench-Long 84.27（超越前作），CVPR 2025接收。 批判点评： 代表了架构蒸馏（双向→自回归）+ 步数蒸馏的极端加速路线，与稀疏注意力方向正交但可互补。 社区资源 附-14. Awesome-Video-Attention：视频注意力加速方法系统性综述 Awesome-Video-Attention: A Curated Survey of Efficient Video Attention Methods | GitHub (hao-ai-lab) | UC Berkeley (Hao AI Lab) 关键词： 综述, 社区资源, 全技术栈, 持续更新 前序工作问题： 视频注意力加速方法论文爆发式增长，缺乏系统梳理。 贡献： 视频注意力加速方法的系统性综述列表，涵盖稀疏化/量化/缓存等全部技术路线。 效果： 社区标准参考，持续更新，按时间逆序排列。 批判点评： 入门和跟踪该方向的最佳起点；由SVG/VSA团队维护，权威性高。 横向对比：稀疏注意力技术路线 免训练方法 方法 核心思路 加速效果 SVG 在线样本分析稀疏模式 E2E ~1.5x CalibAtt 离线校准跨输入稳定模式 E2E 1.58x SVG-EAR 聚类质心补偿+误差感知路由 E2E 1.93x AdaSpa LSE缓存零开销搜索（ICCV 2025） 免训练免数据 STA Tile级滑动窗口（ICML 2025） E2E 1.36-3.53x 轻量微调方法 方法 核心思路 加速效果 SLA 稀疏+线性融合kernel（ICLR 2026 Oral） Attn 13.7x / E2E 2.2x SLA2 可学习路由+QAT Attn 18.6x SALAD 门控线性分支（2000样本） E2E 1.72x VMonarch Monarch矩阵时空分解 Attn 5x NABLA CDF+Flex Attention（免CUDA） E2E ~2.7x 可训练 / 工业级方法 方法 核心思路 加速效果 VSA 预训练替换全注意力（NeurIPS 2025） 训练+推理双加速 BSA 双向稀疏化Q+KV（训练时） 训练Attn 17.8x SSTA 选择性+滑动Tile（HunyuanVideo 1.5） E2E 1.87x 实践选择指南 根据你的场景和资源，选择合适的稀疏注意力方案： "我只想快速验证加速效果，不想改模型代码" → AdaSpa（免训练免数据，依赖 FlashAttention）或 STA（ICML 2025，Tile 级滑动窗口） "我有少量 GPU 预算，愿意做轻量微调" → SALAD（2000 样本即可）或 SLA（需要 CUDA 开发能力但加速更高） "我在做大规模预训练或全量微调" → VSA（训练+推理双加速）或 BSA（训练阶段 17.8x 注意力加速） "我在做工业级视频生成产品部署" → 参考 SSTA（HunyuanVideo 1.5）的集成方案，考虑稀疏+缓存+量化的组合栈 "我想叠加多种方法追求极致加速" → NABLA + STA（已验证可叠加）、EasyCache + SVG（3x+）、SLA + 步数蒸馏 总结与展望 理论-实际差距是核心挑战。VMonarch 17.5x FLOPs 减少仅转化为 5x 实际加速——Kernel 效率、显存带宽、非注意力层开销等工程因素决定了最终用户体验，纯 FLOPs 对比可能误导判断。 质量评估的隐忧。几乎所有论文都声称"VBench 质量无损"，但 VBench 总分可能掩盖细节——稀疏注意力在精细文字渲染、快速运动和多人脸场景中更容易退化，而这些恰恰是商业应用最敏感的场景。建议从业者针对目标场景单独做质量回归测试。 稀疏注意力是长期方案还是过渡技术？ 如果 DiT 架构被 Mamba、线性 Transformer 等替代，围绕稀疏注意力的技术栈可能失去意义。从这个角度看，免训练方法（SVG-EAR / AdaSpa）比可训练方法（VSA）更稳健——前者对任何注意力架构都有即时收益。但免训练路线是否已触天花板（~2x）？这些问题值得从业者持续关注。 开放问题：模型规模 1.3B→14B+ 时加速收益是否线性？AR 范式的兴起如何改变设计约束？稀疏注意力研究重心会从推理转向训练加速吗？ 今日讨论 路线之争：在视频 DiT 稀疏注意力的三条技术路线中，你更看好哪条？ (A) 免训练方法（CalibAtt / SVG-EAR / AdaSpa）——零成本即插即用，天花板约 2x (B) 轻量微调融合（SLA / SALAD）——2000 样本即可达 5x+，工程门槛适中 (C) 全程可训练替换（VSA / BSA）——训练+推理双加速，但需要从头训练 延伸问题：稀疏注意力 + 缓存 + 蒸馏 + 量化的"四件套"叠加，能否在消费级 GPU（如 RTX 4090）上实现 720P 视频的秒级生成？如果可以，哪个环节最可能成为最后的瓶颈？ 人工智能炼丹君 整理 | 数据来源：arXiv 2025年5月 — 2026年4月 含 ICLR 2026 Oral × 1, ICLR 2026 × 1, NeurIPS 2025 × 1, AAAI 2026 × 1, ICCV 2025 × 1, ICML 2025 × 1, CVPR 2025 × 1

AIGC 周末专题|2026-04-25|视频编辑评测方法全景：从传统指标到 Reward Mo… AIGC 周末专题深度解读：视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁 人工智能炼丹君 整理 | 2026年4月25日（周六） 覆盖时间：2024年8月 — 2026年4月（涵盖 AAAI/WACV/ICLR/ICCV 2025-2026 评测基准爆发期） 本期概述 本期 AIGC 周末专题聚焦视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁方向，精选 7 篇代表性论文进行深度解读。 方向分布： 评测基准设计 3 篇（VEFX-Bench、IVEBench、VEditBench） 自动评估指标 2 篇（FiVE-Bench、SST-EM） Reward Model 2 篇（EditReward、VEFX-Reward） 技术路线与时间线 1. 传统指标时代（2018-2023） 描述：依赖手工设计的指标（CLIP-Score、LPIPS、FVD），与人类感知相关性低，无法捕捉编辑任务的语义一致性。 关键节点： 2018：LPIPS 提出，感知相似度指标 2019：FVD 提出，基于 I3D 特征的视频质量评估 2021：CLIP-Score 成为图像-文本相似度标准 2. 通用视频基准崛起（2024 年初） 描述：通用视频生成评测基准出现，覆盖多个维度，但尚未针对编辑任务设计。 关键节点： 2024：VBench 发布（CVPR 2024），16 维度视频生成评测 2024：VideoScore 发布（EMNLP 2024），视频质量评估模型 3. 编辑专用评测爆发（2024 下半年） 描述：针对视频/图像编辑任务设计的评测基准集中涌现，覆盖多维度、多任务、多编辑类型。 关键节点： 2024.08：I2EBench 发布（NeurIPS 2024），图像编辑 16 维度评测 2024.09：EditBoard 发布（AAAI 2025），视频编辑综合评测基准 2024.10：VE-Bench 发布，首个视频编辑专用 VQA 数据集 2024.11：FiVE-Bench 发布，细粒度视频编辑评测 4. Reward Model 范式确立（2025-2026） 描述：从手工指标和通用 VLM 评审，演进到编辑专用 Reward Model，人类相关性大幅提升（SRCC 从 0.214 提升到 0.780）。 关键节点： 2025：EditReward 发布，200K 偏好对训练 Reward Model 2026.04：VEFX-Bench 发布，三维解耦 + 序数回归 Reward Model（SRCC=0.780） 5. 未来方向（2026+） 描述：多模态 Reward Model、测试时计算缩放、标准化竞赛平台是三大重点方向，评测将与训练深度融合（RLHF/DPO）。 关键节点： 2026+：多模态 Reward Model（视频+音频+字幕联合评估） 2026+：测试时计算缩放（Reward-guided iterative refinement） 2026+：跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 1. VEFX-Bench：5049 样本 + 三维解耦标注 + 序数回归 Reward Model——迄今最全面的视频编辑评测体系 论文: VEFX-Bench arXiv: 2604.16272 机构: 未披露（2026 年 4 月最新工作） 1.1 研究动机 核心问题： 视频编辑模型缺乏统一评测标准，不同论文使用不同指标和数据集导致结论不可比 现有评测数据集规模小、缺少编辑输出或人工质量标签，通用 VLM 评审器未针对编辑质量优化，导致无法公正对比不同编辑系统。 前序工作及局限： CLIP-Score (Hessel et al. 2021)：图像-文本相似度指标，广泛但粗粒度 LPIPS (Zhang et al. 2018)：感知相似度指标，仅衡量像素级差异 FVD (Unterthiner et al. 2019)：视频生成质量指标，基于 I3D 特征 VBench (Huang et al. 2024)：视频生成综合基准，CVPR 2024，16 维度但不针对编辑 与前序工作的本质区别： 从单一指标到多维度评测框架，从通用视频质量到编辑特异性评估（指令遵循+编辑排他性+渲染质量三维解耦） 1.2 方法原理 数据集：5049 个视频编辑样本，9 大类（相机角度/实例运动/数量/相机运动/属性/创意/实例/视觉特效/风格）32 子类，每个样本由 3 个解耦维度独立标注（4 分制）。Reward Model：基于 Qwen3-VL-Instruct（4B/32B），联合处理原始视频+编辑指令+编辑视频，3 个可学习特殊 token 查询各维度分数，采用序数回归（ordinal regression）而非标量回归，训练时条件二值交叉熵保持有序约束。两阶段训练：Stage 1 冻结预训练权重仅训练 reward head，Stage 2 解冻语言骨干微调。推理时将有序概率转换为 [1,4] 连续分数。 1.3 核心创新 首个同时包含编辑输出+人工标注+多维标签的大规模视频编辑数据集 三维解耦质量标注（指令遵循 IF / 渲染质量 RQ / 编辑排他性 EE） 基于 Qwen3-VL 的序数回归 Reward Model（VEFX-Reward-4B/32B） 对标准化 VEFX-Bench 基准，覆盖 9 大类 32 子类编辑任务 1.4 实验结果 VEFX-Reward-32B SRCC=0.780 远超 EditReward(0.558) 和 VE-Bench(0.214)。配对偏好准确率：IF 93.66%、RQ 91.11%、EE 91.96%。系统评测显示 Kling o3 omni 综合第一（3.057），Runway Gen-4.5 第三（2.912），开源 UniVideo（2.516）可与部分商业系统竞争。所有系统在 IF 维度差异最大，RQ 相对稳定。 1.5 关键洞察 优势：三维解耦设计精准捕捉不同失败模式，序数回归比标量回归更适合有序评分。局限：数据集仅来自少量编辑系统，可能存在偏差；标注者间 IF 完全一致率仅 75.2%，说明指令遵循评估本身存在歧义。 技术演进定位： 2024 下半年 VE-Bench 开创编辑专用 VQA，2025 年 FiVE-Bench/IVEBench/VEditBench 细化任务分类，2026 年 VEFX-Bench 引入 Reward Model 实现自动+人类对齐评估。 可能的后续方向： 多模态 Reward Model（视频+音频+字幕联合评估） 测试时计算缩放（Reward-guided iterative refinement） 跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 2. IVEBench：600 视频 + 8 类 35 子类 + MLLM 三维评估协议——指令引导视频编辑的现代基准套件 论文: IVEBench arXiv: 2510.11647 机构: 浙江大学 / 腾讯优图 / 上海交通大学 / 新加坡国立大学 2.1 研究动机 核心问题： 传统手工指标（CLIP/LPIPS/FVD）与人类感知严重偏离 现有视频编辑基准无法支撑指令引导编辑的评估需求：数据来源单一、任务覆盖面窄、评估指标不完整。 前序工作及局限： CLIP-T Score：文本-图像余弦相似度，无法捕捉细粒度编辑差异 PickScore (Kirstain et al. 2023)：人类偏好训练的图像质量分数 VideoScore (He et al. 2024)：视频生成专用质量评估模型，EMNLP 2024 与前序工作的本质区别： 从手工指标到学习型评估器，从单一分数到多维度解耦评分，从通用质量到编辑专用 2.2 方法原理 数据集构建：600 高质量源视频，覆盖 7 个语义维度和 30 个主题，帧长从 32 到 1024 帧。编辑任务：8 大类（风格/特效/主体/相机角度/主体运动/相机运动/属性/视觉特效）35 子类，通过 LLM 生成+专家审核获取提示对（源/编辑/目标三元组）。评估协议三维度：(1) 视频质量（主体一致性、背景一致性、时间闪烁、运动平滑度、VTSS）；(2) 指令遵循（整体/短语语义一致性、指令满足度、数量准确性）；(3) 视频保真度（语义/运动/内容保真度）。 2.3 核心创新 首个专为指令引导视频编辑设计的现代化综合基准 高质量视频覆盖 7 语义维度、32-1024 帧长度 大类 35 子类编辑任务分类法 三维评估协议融合传统指标和 MLLM 评估 2.4 实验结果 评测 8 个方法：Ditto 在短视频上总分 0.667 领先，InsV2V 在长视频上 0.657 领先。所有方法的指令遵循维度得分最低（0.25-0.49），视频质量最高（0.69-0.82），说明语义编辑仍是主要瓶颈。VACE 保真度最强（0.826）但指令遵循最弱（0.254）。 2.5 关键洞察 优势：任务覆盖面最广（8 类 35 子类），MLLM + 传统指标双通道评估提升可靠性。局限：评估依赖特定 MLLM（如 Qwen3-VL），模型版本变化可能影响复现性；缺少人工标注的 ground truth 偏好数据。 技术演进定位： EditReward 和 VEFX-Reward 代表 Reward Model 范式在编辑评测中的应用，可能成为未来 RLHF/DPO 后训练的核心组件。 可能的后续方向： 编辑 Reward Model 用于 DPO/RLHF 后训练 在线学习持续更新 Reward Model 多 Reward Model 集成投票机制 3. FiVE-Bench：细粒度视频编辑基准——14 指标 + VLM 成功率 + RF vs 扩散方法系统对比 论文: FiVE-Bench arXiv: 2503.13684 机构: HKUST / 其他合作机构 3.1 研究动机 核心问题： 评测维度设计如何平衡全面性和可操作性 缺乏标准化细粒度基准导致方法间无法公平比较，也无法评估模型对超参数的敏感度。 前序工作及局限： VBench 16 维度：最全面但维度间相关性高，难以解读 VE-Bench 单一分数：操作简便但无法区分失败模式 与前序工作的本质区别： VEFX-Bench 的三维解耦（IF/RQ/EE）是目前最佳平衡点：维度足够区分失败模式（相关性 0.19-0.33），又不至于过多导致标注困难。 3.2 方法原理 数据集：74 真实视频 + 26 生成视频，6 类细粒度编辑（物体替换/添加/删除/属性修改/背景替换/动作修改），420 组源-目标提示对含精确 Mask。评估指标 14 项覆盖 5 维度：(1) 背景保留（PSNR/SSIM/LPIPS）；(2) 文本-视频相似度（CLIP-T/PickScore）；(3) 时间一致性（Warp Error/CLIP-I）；(4) 视频质量（FVD/FID/MUSIQ）；(5) 运行时间。新指标 FiVE-Acc 利用 VLM 判定编辑是否成功。FlowEdit 方法：将注入噪声视为 ODE 反向过程，在 RF 模型上无需 DDIM 反转。 3.3 核心创新 首个细粒度物体级视频编辑基准 视频 + 420 编辑对 + 对应 Mask 指标 + 新指标 FiVE-Acc（VLM 评估编辑成功率） 首次系统对比扩散 vs 整流流（RF）编辑方法 提出 FlowEdit 无训练无反转编辑方法 3.4 实验结果 RF 方法（Wan-Edit/Pyramid-Edit）全面优于扩散方法：Wan-Edit 在 FiVE-Acc 上 72.4% vs 最佳扩散方法 51.3%。Wan-Edit 对超参数最不敏感。扩散方法中 SDEdit 背景保留最佳但编辑成功率低，ControlVideo 时间一致性较好。 3.5 关键洞察 优势：Mask 标注使评估更精确，FiVE-Acc 利用 VLM 判定成功率是有意义的创新。局限：100 视频规模偏小；FlowEdit 同时是基准作者提出的方法，存在裁判-运动员角色冲突。 技术演进定位： 三维解耦已成为新的共识范式（IVEBench 的三维评估协议与之高度一致）。 可能的后续方向： 动态维度权重（根据编辑类型自动调整） 用户偏好个性化评估 4. EditReward：200K 人类偏好对 + VLM 奖励模型——指令引导图像/视频编辑的质量裁判 论文: EditReward arXiv: 2509.26346 机构: TIGER-AI Lab (Waterloo) 4.1 研究动机 核心问题： 评测数据集如何兼顾规模、多样性和标注质量 开源编辑模型落后于闭源的核心瓶颈在于缺乏可靠的 Reward Model 来规模化高质量合成训练数据。 前序工作及局限： DAVIS (Caelles et al. 2017)：视频分割基准，50 视频，被大量视频编辑论文借用 TGVE (Wu et al. 2023)：文本引导视频编辑数据集，规模有限 与前序工作的本质区别： 从几十个视频到数千标注样本，从单一来源到多系统输出收集。 4.2 方法原理 数据集构建：200K+ 偏好对，由训练有素的专家按严格标注协议标注。Reward Model 基于 VLM 架构，输入为编辑指令+源图+编辑图，输出人类偏好对齐的质量分数。下游验证：用 EditReward 从有噪声的 ShareGPT-4o-Image 数据集中筛选高质量子集，在该子集上训练 Step1X-Edit 显著优于在完整数据集上的训练效果。 4.3 核心创新 首个大规模人类偏好数据集 EditReward-Data（200K+ 偏好对） 基于 VLM 的专用编辑质量 Reward Model 在 GenAI-Bench、AURORA-Bench、ImagenHub 等基准上 SOTA 人类相关性 验证 Reward Model 可作为数据筛选器提升下游模型训练 4.4 实验结果 在 GenAI-Bench、AURORA-Bench、ImagenHub 和自建 EditReward-Bench 上均达到 SOTA 人类相关性，全面超越 VLM-as-judge 基线（包括 GPT-4o 评审）。Step1X-Edit 在筛选子集上训练后编辑质量显著提升。 4.5 关键洞察 优势：规模最大的专家标注偏好数据集，验证了 Reward Model 作为数据筛选器的实用价值（闭环验证）。局限：主要聚焦图像编辑，视频编辑的适用性需进一步验证；VEFX-Bench 的对比显示其在 RQ 维度相关性为负值（-0.211），暴露图-视频 domain gap。 技术演进定位： VEFX-Dataset（5049 样本）和 EditReward-Data（200K 偏好对）代表当前规模的上限。 可能的后续方向： 众包+AI 混合标注扩大规模 持续更新的活跃基准（每季度纳入新系统） 合成数据增强标注多样性 5. VE-Bench：首个视频编辑质量评估数据集 + 主观对齐的自动评估网络 论文: VE-Bench arXiv: 2408.11481 机构: 北京大学 5.1 研究动机 核心问题： VLM-as-Judge 范式的可靠性和一致性 传统 VQA 方法只关注画面质量，忽略编辑特有的文本对齐和源视频关联性，导致评估结果与人类感知严重偏离。 前序工作及局限： GPT-4V/GPT-4o 评审：零样本评估，成本高且不稳定 LLaVA-Critic (Sun et al. 2024)：开源 VLM 评审器 与前序工作的本质区别： 从通用 VLM 零样本评审到编辑专用微调 Reward Model，人类相关性大幅提升。 5.2 方法原理 VE-Bench DB：收集多样化源视频（不同运动模式和主题），为每个视频设计多种编辑提示，收集 8 个模型的编辑输出，24 名标注者给出 MOS（Mean Opinion Score）。VE-Bench QA 评估网络：在传统 VQA 的美学/失真维度之上，新增文本-视频对齐建模和源-编辑视频关联建模两个分支，输出综合质量分数。编辑任务覆盖 3 类：风格编辑、语义编辑、结构编辑。 5.3 核心创新 首个专为视频编辑设计的 VQA 数据集（VE-Bench DB） 个编辑模型结果 + 24 名标注者 MOS 评分 主观对齐的视频编辑评估网络 VE-Bench QA 同时建模文本-视频对齐和源-编辑视频关联 5.4 实验结果 VE-Bench QA 在与人类偏好的对齐性上显著优于 CLIP-Score、LPIPS、FVD 等传统指标，以及通用 VQA 模型。但在 VEFX-Bench 后续对比中，VE-Bench 单维度设计（SRCC=0.214）明显落后于多维度方法。 5.5 关键洞察 优势：首个视频编辑专用 VQA 数据集，为后续研究奠定了基础。局限：单一综合分数无法区分不同失败模式（如指令遵循好但渲染差）；8 个模型均为 SD 系列（2024 年），缺乏最新系统评测。 技术演进定位： VEFX-Reward 证明专用 Reward Model > 通用 VLM Judge > 传统手工指标。 可能的后续方向： 轻量化蒸馏（4B→1B 保持性能） 多 VLM 集成降低偏差 对抗样本鲁棒性评估 6. SST-EM：语义-空间-时序三维评估框架——VLM + 目标检测 + ViT 组合式视频编辑评测 论文: SST-EM arXiv: 2501.07554 机构: 未披露 6.1 研究动机 核心问题： 编辑任务分类法如何标准化 CLIP 文本分数受训练数据和层级依赖限制，图像分数无法评估时间一致性，需要一个同时覆盖语义、空间和时间维度的综合指标。 前序工作及局限： InstructPix2Pix 3 类：风格/对象/背景，过于粗糙 TGVE 4 类：风格/语义/结构/混合 与前序工作的本质区别： IVEBench 8 类 35 子类和 VEFX-Bench 9 类 32 子类代表当前最细化的分类。 6.2 方法原理 四组件管线：(1) VLM 提取每帧语义信息；(2) 目标检测追踪主要物体位置；(3) LLM Agent 精炼物体识别和上下文理解；(4) ViT 评估帧间时间一致性。统一指标权重通过人类评估数据 + 回归分析标定。最终输出语义保真度和时间平滑度的综合分数。 6.3 核心创新 首个组合 VLM + 目标检测 + ViT 的视频编辑评估框架 四阶段管线：语义提取→目标跟踪→LLM 精炼→时间一致性评估 人类评估回归权重标定 超越 CLIP 文本/图像分数的多维评估 6.4 实验结果 在多个视频编辑场景下，SST-EM 与人类评估的相关性显著优于 CLIP-T、CLIP-I 等传统指标，尤其在时间一致性评估上优势明显。代码已开源。 6.5 关键洞察 优势：管线式设计模块化程度高，每个组件可独立替换升级。局限：四阶段串行推理速度慢；依赖多个外部模型（VLM + 检测器 + LLM + ViT），部署成本高；权重标定依赖特定人类评估数据集，泛化性存疑。 技术演进定位： 分类法正在趋向收敛：相机控制、实例操作、属性修改、风格变换、视觉特效已成为公认的核心类别。 可能的后续方向： 统一编辑 ontology 标准 按难度分层的自适应评测 7. VEditBench：420 视频 + 6 编辑任务 + 9 评估维度——文本引导视频编辑的整体基准 论文: VEditBench arXiv: []() 机构: NUS / Intel / UC Berkeley 7.1 研究动机 核心问题： 长视频编辑的评测挑战 缺乏一个在通用视频编辑框架下同时覆盖多种编辑任务和时长范围的标准化基准。 前序工作及局限： VEditBench 短+长：首次覆盖 10-20s 长视频 IVEBench 32-1024 帧：覆盖最大帧数范围 与前序工作的本质区别： 发现长视频编辑性能普遍下降 5-15%，但现有指标未充分捕捉时序退化模式。 7.2 方法原理 数据集：420 真实视频（300 短 2-4s + 120 长 10-20s），覆盖多种场景和内容类别。任务设计 6 类：物体插入、物体删除、物体替换、场景替换、运动变化、风格转换。评估 9 维度覆盖：语义对齐（编辑语义/原始语义）、视觉质量（美学/失真/时间一致性）、额外维度（编辑精度/背景保留等）。 7.3 核心创新 真实世界视频覆盖短（2-4s）和长（10-20s）两种时长 种核心编辑任务分类（插入/删除/替换/场景/运动/风格） 维度评估全面覆盖语义保真度和视觉质量 个 SOTA 方法系统对比 7.4 实验结果 评测 10 个方法，发现长视频编辑性能普遍下降 5-15%；物体插入和运动变化是最困难的任务；风格转换相对容易。所有方法在语义对齐上差异较大，但视觉质量差异较小——与后续 VEFX-Bench 结论一致。 7.5 关键洞察 优势：短+长视频双覆盖设计实用，6 类任务分类简洁清晰。局限：420 视频规模中等；评估维度未明确区分编辑特有 vs 通用画质指标；缺少人工标注偏好数据。 技术演进定位： 长视频评测仍是开放挑战，需要新的时间维度指标。 可能的后续方向： 分段评估+全局一致性联合指标 时间维度上的退化曲线分析 其余论文速览 1. EditBoard：提出 EditBoard 综合评测基准 EditBoard: Towards A Comprehensive Evaluation Benchmark for Text-Based Video Editing Models | Cornell University / Nanjing University / University of Oxford | arXiv:2409.09668 关键词： 综合评测基准·多维度指标·文本视频编辑 前序工作问题： 当前视频编辑模型评估缺乏全面基准，现有方法仅用单一分数概括性能，无法细致分析模型在不同编辑任务中的表现。 贡献： 提出 EditBoard 综合评测基准，设计 4 个维度 9 个自动评估指标的评估框架，覆盖 4 个任务类别，标准化视频编辑评估流程。 效果： 为视频编辑模型提供了标准化评估工具，能够细致分析模型在不同编辑任务中的表现，推动视频编辑技术的标准化和进一步发展。 批判点评： 优势：填补了视频编辑模型评估基准的空白，多维度评估框架设计合理。局限：数据集规模未明确说明；评估维度未充分考虑时序一致性这一视频特有挑战。 2. I2EBench：构建 I2EBench 基准 I2EBench: A Comprehensive Benchmark for Instruction-based Image Editing | Xiamen University / 鹏城实验室 / 北京大学 | arXiv:2408.14180 关键词： 图像编辑评测·16维度·人类感知对齐·NeurIPS 2024 前序工作问题： 指令驱动的图像编辑（IIE）模型缺乏综合评测基准，现有指标无法全面覆盖高层次语义理解和低层次图像质量。 贡献： 构建 I2EBench 基准，包含 2000+ 待编辑图像和 4000+ 条指令，设计 16 个评估维度，并通过大量用户研究确保基准与人类感知高度一致。 效果： 为图像编辑模型提供了首个综合评测基准，16 个维度覆盖语义理解和图像质量，分析方法为视频编辑评测提供了可迁移方法论。 批判点评： 优势：16 维度设计全面，人类感知对齐做得好。局限：针对图像编辑而非视频编辑；部分维度（如时序一致性）在图像场景中不存在，迁移到视频需要适配。 3. T2VEval-Bench：构建 T2VEval-Bench 多维度评测基准数据集 T2VEval: Benchmark Dataset and Objective Evaluation Method for T2V-generated Videos | 中国传媒大学 信息与通信工程学院 | arXiv:2501.08545 关键词： 文本生成视频·多维度评测·主观客观融合·中国传媒大学 前序工作问题： 文本生成视频（T2V）模型缺乏统一的多维度评测基准，主观评价和客观评价方法各自存在局限性，无法全面评估生成视频质量。 贡献： 构建 T2VEval-Bench 多维度评测基准数据集，包含 148 个文本提示和 1783 个生成视频；提出 T2VEval 评估模型，从质量、真实感、一致性三个分支进行客观评估，达到 SOTA 人类相关性。 效果： 为文本生成视频提供了大规模评测基准，三分支评估模型可部分迁移到视频编辑评测场景，尤其是一致性评估维度与编辑排他性高度相关。 批判点评： 优势：主观+客观融合评估思路先进，数据集规模较大。局限：针对文本生成视频而非编辑场景；一致性分支主要评估生成稳定性，与编辑场景的源视频保真度存在差异。 横向对比与技术脉络总结 7 大视频编辑评测方法横向对比 论文 发表 数据规模 评测维度 自动指标类型 人工标注 任务分类 核心创新 VEFX-Bench 2026.04 5049 样本 3 维解耦 Reward Model 三维 4 分制 9 类 32 子类 序数回归 RM IVEBench ICLR 2026 600 视频 3 维评估 传统+MLLM 无 8 类 35 子类 MLLM 融合 FiVE-Bench ICCV 2025 100 视频 5 维 14 指标 传统+VLM 无 6 类 FiVE-Acc EditReward ICLR 2026 200K 偏好对 综合 Reward Model 专家偏好 通用 200K 数据 VE-Bench AAAI 2025 ~170 视频 综合 评估网络 MOS 24人 3 类 首个 VQA SST-EM WACV 2025 - 3 维管线 VLM+检测+ViT 权重标定 - 组合式评估 VEditBench ICLR 2025 420 视频 9 维 传统 无 6 类 短+长视频 核心技术趋势 三维解耦评测成为共识 IF（指令遵循）/ RQ（渲染质量）/ EE（编辑排他性）三维独立评估已成为 VEFX-Bench 和 IVEBench 的共同设计，正在取代单一综合分数。 Reward Model 取代手工指标 从 CLIP-Score/LPIPS/FVD 到学习型 Reward Model（VEFX-Reward/EditReward），评测精度大幅提升，且可直接用于下游 RLHF/DPO 训练。 MLLM 深度融入评测管线 IVEBench 和 SST-EM 将 MLLM 评估融入标准管线，FiVE-Acc 用 VLM 判定编辑成功率。但 MLLM 版本变化导致的结果漂移是待解决的风险。 评测任务分类趋向精细化 从 3-4 类到 8-9 大类 32-35 子类，相机控制、实例操作、属性修改、风格变换、视觉特效成为公认核心类别。 长视频评测成为开放挑战 VEditBench 首次发现长视频编辑性能下降 5-15%，但现有指标未充分捕捉时序退化模式，需要新的时间维度评估方法。 人工智能炼丹君 整理 | 数据来源：arXiv 2024年8月 — 2026年4月（涵盖 AAAI/WACV/ICLR/ICCV 2025-2026 评测基准爆发期） 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路 AIGC 周末专题深度解读：多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致 人工智能炼丹师 整理 | 2026年4月12日（周日） 覆盖时间：2023年8月 — 2026年4月（含经典评测与 2025–2026 方法爆发期） 本期概述 本期 AIGC 周末专题聚焦多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致方向，精选 8 篇代表性论文进行深度解读。 方向分布： 整体式双向生成: 1篇 — HoloCine (CVPR 2026) 自回归 next-shot: 3篇 — OneStory (CVPR 2026), ShotStream, StoryMem 电影级转场控制: 1篇 — CineTrans (ICLR 2026) 故事板锚定: 1篇 — STAGE (CVPR 2026) 世界一致+多主体过渡: 1篇 — InfinityStory 人像垂直场景: 1篇 — EchoShot (NeurIPS 2025) 其余参考: 19篇（含 ShotAdapter CVPR'25, Mask²DiT CVPR'25, Gloria CVPR'26, Spatia CVPR'26, SkyReels-V2, MSVBench 等） 含 CVPR 2026 × 4 篇 (HoloCine, OneStory, STAGE, + 其余 Gloria/Spatia)；ICLR 2026 × 1 篇 (CineTrans)；NeurIPS 2025 × 1 篇 (EchoShot)；CVPR 2025 × 2 篇 (ShotAdapter, Mask²DiT) 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 HoloCine HKUST / Ant Group / ZJU / CUHK / NTU 首个分钟级整体式多镜头生成框架 2510.20822 2 OneStory Meta AI / University of Copenhagen Frame Selection 模块选取语义最相关历史帧构建全局记忆 2512.07802 3 ShotStream CUHK MMLab / Kuaishou Technology 首个因果流式多镜头生成系统——亚秒延迟、16 FPS 2603.25746 4 CineTrans 复旦大学 / 上海人工智能实验室 首次揭示扩散模型注意力图与镜头转场的对应关系 2508.11484 5 STAGE 北京理工大学 / 北京大学 将关键帧范式重新建模为首尾帧对预测（STEP2） 2512.12372 6 StoryMem ByteDance Intelligent Creation / NTU S-Lab M2V 范式：关键帧记忆经 3D VAE 编码后与噪声潜变量拼接 2512.19539 7 InfinityStory Adobe Research / Virginia Tech / Dolby Labs / UMD / Cisco 等 位置锚定背景一致性：预生成场所参考图并在生成时注入 2603.03646 8 EchoShot 西安交通大学 / 阿里云 Shot-aware RoPE：TcRoPE 保持跨镜头时间连续性建模身份关联 + TaRoPE 分配独立时间起点防止内 2506.15838 1. HoloCine：整体式生成电影级多镜头长叙事——Window Cross-Attention + Sparse Inter-Shot Self-Attention 论文: HoloCine arXiv: 2510.20822 机构: HKUST / Ant Group / ZJU / CUHK / NTU 1.1 研究动机 核心问题： 单镜头 T2V 无法生成跨镜头连贯的叙事长视频 解耦范式（先关键帧再插值/逐镜头独立拼接）难以保证全局一致，整体式生成有望从根本上解决跨镜头连贯性。 前序工作及局限： 单镜头 T2V：Wan2.2, HunyuanVideo 拼接/级联方案：VideoStudio, MovieFactory 与前序工作的本质区别： HoloCine 整体式生成所有镜头，Window Cross-Attn + Sparse Inter-Shot SA 保证全局一致 1.2 方法原理 The architecture of our holistic generation pipeline, where all shot latents are processed jointly. The Window Cross-Attention provides precise directorial control by aligning each shot to its specific text prompt. The Sparse Inter-shot Self-Attention drastically reduces computational cost while preserving long-range consistency. 基于 Wan2.2 14B DiT；Window Cross-Attention 将逐镜头文本精确对应到视频帧区间；镜头内密集自注意力 + 镜头间稀疏自注意力组合；两阶段训练（高噪声 DiT 学结构 → 低噪声 DiT 精炼细节）。 1.3 核心创新 首个分钟级整体式多镜头生成框架 Window Cross-Attention 实现逐镜头文本控制 Sparse Inter-Shot Self-Attention 内密外疏实现高效跨镜头一致 涌现角色持久记忆和电影技法理解 1.4 实验结果 Qualitative comparison on a complex multi-shot prompt. Our method successfully generates a coherent sequence of distinct shots aligned with per-shot descriptions, while baseline methods fail in maintaining consistency, prompt fidelity, or handling shot transitions. 在叙事连贯性上显著优于 Wan2.2 直接生成、StoryDiffusion+Wan2.2、IC-LoRA+Wan2.2 等基线；与 Kling 2.5 Turbo 等商业模型在多镜头连贯性指标上具有优势；代码和模型已开源。 1.5 关键洞察 优势：全局一致性最强，涌现电影技法理解。局限：受限于显存和计算，当前最长约 1 分钟；无法中途修改剧本。 技术演进定位： 整体式多镜头范式开拓者 可能的后续方向： 扩展至 5 分钟以上长度 与自回归范式融合 2. OneStory：自适应记忆驱动的连贯多镜头叙事——Frame Selection + Adaptive Conditioner 论文: OneStory arXiv: 2512.07802 机构: Meta AI / University of Copenhagen 2.1 研究动机 核心问题： 有限时间窗口或单关键帧条件导致长程上下文丢失 有限时间窗口或单关键帧条件导致长程上下文丢失，需要像人类记忆一样选择性保留关键视觉信息。 前序工作及局限： 单关键帧条件：I2V 模型 滑动窗口：LongLive 等 与前序工作的本质区别： OneStory 自适应选帧 + 紧凑条件注入，模拟人类选择性记忆 2.2 方法原理 Overview of the proposed~ourmodel. Our model reframes multi-shot video generation (MSV) as a next-shot generation task. (a)~During training, the model learns to generate the final shot conditioned on the preceding two; when only two shots are available, we inflate with a synthetic shot to enable unified three-shot training. (b)~At inference, it maintains a memory bank of past shots and generates multi-shot videos autoregressively. The model is comprised of two key components: (c)~a Frame Selection module that selects semantically-relevant frames from preceding shots to construct a global context, and (d)~an Adaptive Conditioner that dynamically compresses the selected context and injects it directly into the generator for efficient conditioning. Together, ~realizes adaptive memory modeling, enabling global yet compact cross-shot context for coherent narrative generation. 将多镜头建模为 next-shot 任务；Frame Selection 从历史帧中按信息量和相关性筛选；Adaptive Conditioner 压缩后直接注入生成器；60K 数据集的引用式字幕模拟真实叙事模式。 2.3 核心创新 Frame Selection 模块选取语义最相关历史帧构建全局记忆 Adaptive Conditioner 通过重要性引导 patchification 紧凑注入 K 多镜头数据集带引用式字幕 Next-shot 自回归范式复用 I2V 预训练 2.4 实验结果 Qualitative results. For a fair comparison, the given multi-shot generations share the same first shot (generated by Wan2.2) as the initial condition, except for StoryDiff.+Wan2.1, which does not rely on visual conditioning. The baseline methods fail to maintain narrative consistency across shots, struggling with prompt adherence, reappearance, and compositional scenes, whereas ~(ours) faithfully follows shot-level captions and produces coherent shots. A representative segment of each prompt is given with the corresponding shot. T2MSV 和 I2MSV 设定下均 SOTA；角色一致性 0.5851、环境一致性 0.5716 均为最高；分钟级 10 镜头视频。 2.5 关键洞察 优势：自适应记忆选帧机制优雅高效，数据集设计贴合真实叙事。局限：复杂多角色场景下纯视觉记忆可能不足；引用式字幕生成依赖 LLM 质量。 技术演进定位： 自适应记忆自回归代表 可能的后续方向： 实体级结构化记忆 多角色场景扩展 3. ShotStream：因果流式多镜头——双缓存记忆 + 两阶段自强迫蒸馏实现 16 FPS 实时 论文: ShotStream arXiv: 2603.25746 机构: CUHK MMLab / Kuaishou Technology 3.1 研究动机 核心问题： 双向整段生成延迟高、不可中途修改 双向整段生成延迟高且无法中途改剧本，创作者需要流式交互体验。 前序工作及局限： 双向多镜头：HoloCine, FilmWeaver 级联管线：MovieFactory 与前序工作的本质区别： ShotStream 因果蒸馏 + 双缓存实现 16 FPS 流式多镜头 3.2 方法原理 Architecture of the Bidirectional Next-Shot Teacher Model. To realize ShotStream, we first fine-tune a text-to-video model into a bidirectional next-shot model, which generates subsequent shots conditioned on sparse context frames from preceding shots. These conditional context frames are encoded into latents via a 3D VAE and injected by concatenating them with noise latents along the temporal dimension. Notably, only the 3D spatial-temporal attention layers within the DiT Blocks are optimized during fine-tuning. A 4-shot example is shown here for illustration. 先训练双向 next-shot 教师，再 DMD 蒸馏为因果学生；全局上下文缓存服务跨镜头一致，局部上下文缓存服务镜头内时序；两阶段自强迫分别在镜头内和镜头间缩小训练-推理差距。 3.3 核心创新 首个因果流式多镜头生成系统——亚秒延迟、16 FPS 全局+局部双缓存记忆 + RoPE 不连续标记 两阶段自强迫蒸馏（镜头内→镜头间）缓解误差累积 Distribution Matching Distillation 双向→因果 3.4 实验结果 Qualitative Comparison. We present the initial frames of each shot generated by all compared methods. Our approach not only adheres strictly to the prompts and maintains high visual coherence, but also produces natural transitions between shots. MovieGen、StoryBench 设定下 FCD、IC-LPIPS 等指标与双向模型持平或更优；相比因果长视频模型吞吐量提升约 25 倍；支持动态改写提示；代码/模型开源。 3.5 关键洞察 优势：交互叙事与工程指标平衡好，开源推动复现。局限：极长镜头链上因果信息量仍弱于全局双向；全局缓存随镜头增长占用上升。 技术演进定位： 交互式实时多镜头方向标杆 可能的后续方向： 与实时配乐融合 更长镜头链的缓存优化 4. CineTrans：注意力图驱动的电影级转场生成——掩码控制 + Cine250K 数据集 论文: CineTrans arXiv: 2508.11484 机构: 复旦大学 / 上海人工智能实验室 4.1 研究动机 核心问题： 视频扩散模型的镜头转场能力原始且不稳定 即使大规模模型也无法稳定生成电影级镜头转场，转场能力原始且不稳定。 前序工作及局限： 无转场控制：标准 T2V 手动拼接：传统后期 与前序工作的本质区别： CineTrans 发现注意力-转场对应关系并用掩码实现电影级转场控制 4.2 方法原理 分析扩散模型注意力图发现概率分布在镜头切换位置出现变化；设计注意力掩码矩阵在指定帧引入转场；Cine250K 从 Vimeo 633K 视频多阶段清洗；在 SD1.4 和 Wan2.1 上均验证。 4.3 核心创新 首次揭示扩散模型注意力图与镜头转场的对应关系 注意力掩码控制任意位置的电影级转场（训练无关可迁移） Cine250K：250K 视频-文本对，帧级镜头标签 + 转场类型标注 专用评测指标：转场控制、时序一致性、整体质量 4.4 实验结果 在转场控制、时序一致性、整体质量三维度全面超越基线；UNet（SD 1.4）和 DiT（Wan2.1）版本均有效；代码和数据集已开源。 4.5 关键洞察 优势：注意力-转场对应的发现具有理论价值，掩码机制优雅且可迁移。局限：转场类型多样性仍需扩展；与自回归长视频的结合尚待验证。 技术演进定位： 电影转场控制开创性工作 可能的后续方向： 更多转场类型 与自回归长视频结合 5. STAGE：故事板锚定的电影叙事生成——STEP2 首尾帧对预测 + DPO 偏好对齐 论文: STAGE arXiv: 2512.12372 机构: 北京理工大学 / 北京大学 5.1 研究动机 核心问题： 稀疏关键帧无法同时保证跨镜头一致和电影级过渡 稀疏关键帧无法维持跨镜头一致性且难以捕捉电影语言中的过渡。 前序工作及局限： 关键帧插值：DynamiCrafter 等 单帧条件：I2V 模型 与前序工作的本质区别： STAGE 预测首尾帧对作为结构化故事板 + DPO 偏好对齐学习电影语言 5.2 方法原理 STEP2 迭代预测每镜头首帧和尾帧组成结构化故事板；多镜头记忆包打包历史帧对为上下文；双编码分别处理镜头内起止和镜头间过渡；两阶段训练 + DPO 偏好对齐优化转场质量。 5.3 核心创新 将关键帧范式重新建模为首尾帧对预测（STEP2） 多镜头记忆包 + 双编码策略 DPO 偏好对齐学习电影级转场语言 ConStoryBoard 数据集（电影片段+精细标注+人类偏好） 5.4 实验结果 在结构化叙事控制和跨镜头连贯性上显著优于 SOTA；人类评测中叙事可控性和电影美学获最高偏好。 5.5 关键洞察 优势：首尾帧对比单一关键帧提供更强结构约束，DPO 引入电影偏好。局限：STEP2 预测质量上限受限于训练数据的电影片段质量；复杂叙事（多线并行）需进一步验证。 技术演进定位： 故事板锚定范式代表 可能的后续方向： 多线叙事支持 与 VLM 自动规划结合 6. StoryMem：记忆驱动的分钟级叙事视频——M2V 潜变量拼接 + 负 RoPE 偏移 + LoRA 论文: StoryMem arXiv: 2512.19539 机构: ByteDance Intelligent Creation / NTU S-Lab 6.1 研究动机 核心问题： 预训练单镜头模型缺乏跨镜头记忆能力 如何让预训练单镜头模型以最小改动获得跨镜头记忆能力。 前序工作及局限： 无记忆的逐段生成：标准自回归 外部条件注入：IP-Adapter 等 与前序工作的本质区别： StoryMem M2V 潜变量拼接 + 负 RoPE 偏移，LoRA 微调成本极低 6.2 方法原理 Overview of~ours. ~generates each shot conditioned on a memory bank that stores keyframes from previously generated shots. During generation, the selected memory frames are encoded by a 3D VAE, fused with noisy video latents and binary masks, and fed into a LoRA-finetuned memory-conditioned Video DiT to synthesize the current shot. After generating each shot, semantic keyframe selection and aesthetic preference filtering are applied to obtain informative and reliable memory frames, enabling long-range cross-shot consistency and natural narrative progression. By iteratively generating shots with memory updates, ~produces coherent minute-long, multi-shot story videos. 维护动态更新的关键帧记忆库；记忆帧经 3D VAE 编码后与噪声视频潜变量和二值掩码拼接送入 Video DiT；负 RoPE 偏移编码历史属性；LoRA 微调 Wan2.2；MM2V 扩展支持平滑过渡。 6.3 核心创新 M2V 范式：关键帧记忆经 3D VAE 编码后与噪声潜变量拼接 负 RoPE 偏移区分记忆帧「历史」与当前帧「现在」 轻量 LoRA 微调完整保留基础模型能力 ST-Bench：30 故事×8-12 镜头评测基准 6.4 实验结果 Qualitative comparison. Our~~generates coherent multi-scene, multi-shot story videos aligned with per-shot descriptions. In contrast, the pretrained model and keyframe-based baselines fail to preserve long-term character and scene consistency, while HoloCine~meng2025holocine exhibits noticeable degradation in visual quality. ST-Bench 上角色一致性和叙事连贯性均最优；继承 Wan2.2 高美学水平；开源代码与模型（GitHub 714 stars），社区复现活跃。 6.5 关键洞察 优势：M2V 范式简洁高效，LoRA 微调成本极低，开源生态好。局限：纯视觉记忆在复杂多角色场景下可能不足；记忆更新策略偏启发式。 技术演进定位： 最低成本多镜头启用方案 可能的后续方向： 实体感知记忆 过渡建模增强 7. InfinityStory：世界一致性与多主体平滑过渡——位置锚定 + CMTS 过渡模型 论文: InfinityStory arXiv: 2603.03646 机构: Adobe Research / Virginia Tech / Dolby Labs / UMD / Cisco 等 7.1 研究动机 核心问题： 长叙事中背景漂移和多主体转场断裂 场景漂移和多主体转场断裂是长叙事视频的两个被低估的痛点。 前序工作及局限： 隐式一致性：注意力级一致 单主体过渡：SEINE 等 与前序工作的本质区别： InfinityStory 位置锚定背景 + 10K 合成数据训练多主体过渡模型 7.2 方法原理 Overview of the proposed storytelling video generation pipeline. Green shapes: are the output of the agentic pipeline. Purple Shapes: Narrative odd shots generate keyframe images which are used to generate video shots using I2V. Red shapes: While the transition in-between (even) shots take the next keyframe and the last frame from the generated I2V shot to generate a First-Last-Frame-to-Video (FLF2V) which smoothly bridges consecutive narrative shots. The output video would be stitched together to form one coherent video, i.e., shot-1 (I2V) $$ shot-2 (FLF2V) $$ shot-3 (I2V) $$ shot-4 (FLF2V) $$ .. and so on. 为每个场所预生成背景参考图注入生成过程保证世界一致；构建 10K 多主体过渡序列覆盖入场/退场/替换；训练 FLF2V 过渡模型实现平滑衔接；LLM 多智能体系统分解故事。 7.3 核心创新 位置锚定背景一致性：预生成场所参考图并在生成时注入 CMTS：10K 多主体过渡序列合成数据 + First-Last-Frame-to-Video 过渡模型 层级多智能体叙事规划 可扩展到小时级叙事 7.4 实验结果 Results show that we outperform other methods on human studies. VBench 最高背景一致性（88.94）和主体一致性（82.11）；综合平均排名第一（2.80）；可扩展到数百镜头小时级叙事。 7.5 关键洞察 优势：同时解决背景漂移和多主体过渡两大痛点，VBench SOTA。局限：级联管线各模块错误可累积；背景参考图预生成增加前置成本。 技术演进定位： 世界一致性 + 多主体过渡先驱 可能的后续方向： 真实电影过渡数据 动态环境变化 8. EchoShot：面向人像的原生多镜头生成——Shot-aware RoPE (TcRoPE + TaRoPE) 论文: EchoShot arXiv: 2506.15838 机构: 西安交通大学 / 阿里云 8.1 研究动机 核心问题： 人像多镜头需要精确面部 ID 一致同时允许属性变化 人像多镜头需要精确面部身份一致同时允许表情、动作、服装灵活变化，外部条件注入方案开销大且控制粗糙。 前序工作及局限： 外部 ID 注入：IP-Adapter 等 通用多镜头：ShotAdapter 等 与前序工作的本质区别： EchoShot 在 RoPE 层面原生建模多镜头结构，TcRoPE + TaRoPE 零额外开销 8.2 方法原理 (a) The overall architecture of EchoShot, a multi-shot video generation paradigm, which features two intricate RoPE mechanisms. (b)TcRoPE, a 3D-RoPE which rotates an extra angular rotation at every inter-shot boundary along the time dimension. (c)TaRoPE, a 1D-RoPE which differentiates between matching and non-matching shot-caption pairs. Note that the visualization displays only one rotational component, with others excluded for simplicity. 在 DiT 的 RoPE 层面原生区分镜头边界；TcRoPE 在注意力层保持跨镜头时间连续性；TaRoPE 在另一些层分配独立起点；多镜头视频作为长序列直接训练；PortraitGala 提供精细人像字幕。 8.3 核心创新 Shot-aware RoPE：TcRoPE 保持跨镜头时间连续性建模身份关联 + TaRoPE 分配独立时间起点防止内容混淆 零额外计算开销的原生多镜头建模 PortraitGala 大规模人像视频数据集 可推广为通用多镜头建模范式 8.4 实验结果 Visualization of self-attention score matrix w/ and w/o TcRoPE and cross-attention score matrix w/ and w/o TaRoPE. 身份一致性和属性级可控性均优于现有方法；细粒度控制（表情、服装、动作）效果显著；基于 Wan2.1-T2V-1.3B，模型已开源。 8.5 关键洞察 优势：RoPE 层面建模零额外开销，可推广到非人像。局限：当前仅在 1.3B 模型上验证，14B 级别的效果待确认；人像以外的泛化性需更多数据。 技术演进定位： 人像垂直场景原生多镜头范式 可能的后续方向： 14B 级别验证 非人像场景泛化 其余论文速览 1. ShotAdapter：过渡 token + 局部注意力掩码 ShotAdapter: Text-to-Multi-Shot Video Generation with Diffusion Models | Adobe / UIUC | arXiv:2505.07652 关键词： CVPR 2025, 掩码微调, 数据管线 贡献： 过渡 token + 局部注意力掩码，~5K 步微调 T2V 即可多镜头 效果： 低门槛多镜头启用路线代表 2. Mask²DiT：对称二值掩码 + 段级条件掩码 Mask²DiT: Dual Mask-based Diffusion Transformer for Multi-Scene Long Video Generation | USTC / ByteDance | arXiv:2503.19881 关键词： CVPR 2025, 双掩码, 自回归 贡献： 对称二值掩码 + 段级条件掩码，多场景长视频自回归扩展 效果： 掩码类方法在 DiT 上的完整实现 3. MultiShotMaster：Multi-Shot RoPE + ST Position-Aware… MultiShotMaster: A Controllable Multi-Shot Video Generation Framework | 高校+工业联合 | arXiv:2512.03041 关键词： 位置编码, 可控性, 数据自动化 贡献： Multi-Shot RoPE + ST Position-Aware RoPE + 自动标注管线 效果： RoPE 扩展路线代表 4. ShotVerse：VLM 规划电影相机轨迹 + 相机适配器 + ShotVerse-Bench… ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation | 多机构 | arXiv:2603.11421 关键词： VLM 规划, 轨迹标定, 相机适配器 贡献： VLM 规划电影相机轨迹 + 相机适配器 + ShotVerse-Bench 三轨评测 效果： 电影级相机控制关键拼图 5. ShotDirector：6-DoF 相机控制 + 层级编辑模式提示 + ShotWeaver40K ShotDirector: Directorially Controllable Multi-Shot Video Generation with Cinematographic Transitions | 复旦 / 上海 AI Lab | arXiv:2512.10286 关键词： 6-DoF, 编辑模式, ShotWeaver40K 贡献： 6-DoF 相机控制 + 层级编辑模式提示 + ShotWeaver40K 效果： 导演级转场控制 6. FilmWeaver：缓存引导自回归扩散 FilmWeaver: Cache-Guided Autoregressive Diffusion for Multi-Shot Video | Kuaishou Technology | arXiv:2512.11274 关键词： 缓存, 自回归, 跨镜头一致 贡献： 缓存引导自回归扩散，任意镜头数 + 身份/背景一致性 效果： 工业级叙事生成 7. CoAgent：协作闭环管线：剧本规划 CoAgent: Collaborative Planning and Consistency Agent for Coherent Video Generation | 多机构 | arXiv:2512.22536 关键词： 多智能体, 闭环验证, 叙事规划 贡献： 协作闭环管线：剧本规划→全局实体记忆→合成→验证 Agent→节奏编辑 效果： Agent 驱动多镜头生成 8. VideoGen-of-Thought：训练无关管线 VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention | NUS / UCF 等 | arXiv:2412.02259 关键词： NeurIPS 2025 WS, training-free, 身份传播 贡献： 训练无关管线，单句→多镜头自动化，面部一致性 +20.4% 效果： 零训练多镜头管线先驱 9. SkyReels-V2：无限长度电影模型 SkyReels-V2: Infinite-length Film Generative Model | Skywork AI | arXiv:2504.13074 关键词： Diffusion Forcing, RL, 开源生态 贡献： 无限长度电影模型，MLLM + Diffusion Forcing + RL + SkyCaptioner 效果： 工业级开源长视频系统（6.7K stars） 10. CINEMA：MLLM 引导多主体连贯视频 CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance | ByteDance | arXiv:2503.10391 关键词： MLLM, 多主体, MM-DiT 贡献： MLLM 引导多主体连贯视频，消除主体-文本显式对应需求 效果： 多主体场景解决方案 11. Gloria：三类内容锚点（全局/视角/表情） Gloria: Content Anchors for Long-Time Character-Consistent Video Generation | USTC | arXiv:2603.29931 关键词： CVPR 2026, 内容锚点, 超集锚定 贡献： 三类内容锚点（全局/视角/表情），10min+ 角色一致 效果： 角色中心长视频一致 12. MemRoPE：无训练双流记忆 + Online RoPE MemRoPE: Training-Free Infinite Video Generation with Dual-Stream Memory Tokens and Online RoPE | USC | arXiv:2603.12513 关键词： 无训练, Memory Token, Online RoPE 贡献： 无训练双流记忆 + Online RoPE，长视频身份防漂移 效果： 无训练长上下文推理参考 13. Spatia：3D 点云空间记忆 + Visual SLAM 迭代更新 Spatia: Video Generation with Updatable Spatial Memory | Sydney / MSR | arXiv:2512.15716 关键词： CVPR 2026, 3D 点云, Visual SLAM 贡献： 3D 点云空间记忆 + Visual SLAM 迭代更新，长距空间一致 效果： 几何级空间一致方案 14. MSVBench：首个多镜头视频生成综合评测基准 MSVBench: Towards Human-Level Evaluation of Multi-Shot Video Generation | 多机构 | arXiv:2602.23969 关键词： 评测基准, LMM+专家模型, 136 故事 贡献： 首个多镜头视频生成综合评测基准，20 方法对比，94.4% 人类相关性 效果： 多镜头评测标准化基础设施 15. StoryBench：连续故事可视化三任务基准 StoryBench: A Multifaceted Benchmark for Continuous Story Visualization | Google Research / DeepMind | arXiv:2308.11606 关键词： NeurIPS 2023, 三任务, 人机评估 贡献： 连续故事可视化三任务基准 效果： 故事可视化评测基石 16. PackForcing：有界 KV-cache 极长自回归外推 PackForcing: Three-Partition KV-cache Long Video Autoregressive | Alaya Studio / Shandong University | arXiv:2603.25730 关键词： KV-cache, 长视频, 自回归 贡献： 有界 KV-cache 极长自回归外推 效果： 长序列生成内存侧方案 17. Movie Gen：超长上下文媒体基础模型 Movie Gen: A Cast of Media Foundation Models | Meta | arXiv:2410.13720 关键词： 基础模型, 长上下文, 工业标杆 贡献： 超长上下文媒体基础模型 效果： 多镜头工业能力上限参考 18. DreamFactory：多智能体 + 关键帧迭代生成多场景长视频 DreamFactory: Pioneering Multi-Scene Long Video Generation with a Multi-Agent Framework | 清华等 | arXiv:2408.11788 关键词： 多场景, 多智能体, 长视频 贡献： 多智能体 + 关键帧迭代生成多场景长视频 效果： 多镜头叙事与 LLM 编排先驱 19. MovieFactory：早期脚本 MovieFactory: Automatic Movie Creation from Text using Large Generative Models | 多机构 | arXiv:2306.07257 关键词： 级联管线, 脚本生成, 多场景 贡献： 早期脚本→多镜头有声影片级联管线 效果： 早期文本到电影流水线代表 横向对比与技术脉络总结 横向对比：多镜头视频生成技术路线 论文 核心范式 跨镜头一致机制 交互/延迟 训练成本 会议 HoloCine 整体式双向 稀疏自注意力 离线整段 高 CVPR 2026 OneStory 自回归 next-shot 自适应选帧+紧凑注入 逐镜头 中 CVPR 2026 ShotStream 因果蒸馏 next-shot 全局+局部双缓存 实时 16 FPS 高（蒸馏） — CineTrans 掩码控制微调 注意力掩码 离线 中 ICLR 2026 STAGE 故事板→插值 记忆包+双编码 逐镜头 中 CVPR 2026 StoryMem M2V 潜变量拼接 关键帧记忆库 逐镜头 低（LoRA） — InfinityStory 级联多模块 位置锚定+过渡模型 逐镜头 中 — EchoShot 原生长序列 TcRoPE+TaRoPE 离线 低 NeurIPS 2025 核心技术趋势 整体式与自回归各有未来 HoloCine 证明整体式在分钟级可行且一致性最强，但计算瓶颈限制扩展。自回归天然支持无限镜头和交互修改。两者可能走向融合。 记忆机制是决胜关键 StoryMem 的 M2V、ShotStream 的双缓存、OneStory 的自适应选帧、InfinityStory 的位置锚定——「记什么/怎么压缩/何时更新」是核心维度。 电影语言成为差异化壁垒 CineTrans 揭示注意力-转场对应、STAGE 引入 DPO 偏好、ShotDirector 定义编辑层级——从「拼得连贯」推向「剪得专业」。 数据集构建是隐形竞赛 Cine250K、ConStoryBoard、PortraitGala、ShotWeaver40K、10K CMTS——每篇顶会论文自带数据集，数据工程可能比模型创新更稀缺。 开源生态加速成熟 基于 Wan2.2 微调已成共识。ShotStream、StoryMem、HoloCine、SkyReels-V2 均开源。ComfyUI 多镜头插件标志着走向创作者工具链。 人工智能炼丹师 整理 | 数据来源：arXiv 2023年8月 — 2026年4月（含经典评测与 2025–2026 方法爆发期） 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 周末专题|2026-04-11|音视频联合生成与编辑前沿进展: 开源Seedance2的进阶之路 AIGC 周末专题深度解读：音视频联合生成与编辑前沿进展 人工智能炼丹师 整理 | 2026年4月11日（周六） 本期概述 本期 AIGC 周末专题聚焦音视频联合生成与编辑前沿进展方向，精选 8 篇代表性论文进行深度解读。 方向分布： 联合音视频生成: 4篇 — MOVA, JavisDiT++, OmniForcing, CCL V2A/音频生成: 3篇 — FoleyDirector(CVPR 2026), OmniSonic(CVPR 2026), FoleyDesigner 个性化: 1篇 — Identity as Presence 其余工作: 12篇 — 涵盖音视频定制、空间音频、音乐驱动编辑、评测基准等 含 CVPR 2026 × 2 篇, ICLR 2026 × 1 篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 MOVA 上海 AI Lab, OpenMOSS 首个全面开源的可扩展联合音视频生成系统 2602.08794 2 JavisDiT++ Rochester, 上海科技大学 系统性地将人类偏好优化引入联合音视频生成 2602.19163 3 OmniForcing 基于LTX-2蒸馏 首个实时联合音视频流式生成系统，单GPU约25 FPS 2603.11647 4 CCL SenseTime 首次系统分析双流联合生成框架的三个核心技术瓶颈 2603.18600 5 Identity as Presence 首个同时支持面部外观和声音音色联合个性化的音视频生成系统 2603.17889 6 FoleyDirector 首个在DiT基V2A上实现精确时序引导的方法 2603.19857 7 OmniSonic 首次在统一框架中覆盖三类视频音频（屏内环境音/屏外环境音/人类语音） 2604.04348 8 FoleyDesigner Shanghai University, University of Surrey 首个电影级立体声拟音自动生成系统 2604.05731 1. MOVA：开源可扩展的同步视频-音频联合生成系统——渐进式双流DiT训练管线 论文: MOVA arXiv: 2602.08794 机构: 上海 AI Lab, OpenMOSS 1.1 研究动机 核心问题： 级联音视频生成管线导致成本增加、错误累积、质量下降 音频是真实世界视频不可或缺的部分，但现有生成模型大多忽略音频。级联管线（先视频后音频）带来成本增加、错误累积、质量下降三大问题。Veo 3和Sora 2虽展示了同步生成的价值，但闭源特性阻碍了学术推进。MOVA旨在构建开源的、可扩展的联合音视频生成系统。 前序工作及局限： CoDi / NExT-GPT：早期多模态生成尝试 Veo 3 / Sora 2：商业系统展示联合生成价值但闭源 与前序工作的本质区别： MOVA采用双流DiT+渐进式三阶段训练，构建首个全面开源的联合音视频生成系统 1.2 方法原理 Model Structure Overview. MOVA couples an A14B video DiT backbone and a 1.3B audio DiT backbone via a 2.6B bidirectional Bridge module. MOVA采用双流DiT架构： (1) 独立模态流+跨模态交互：视频流和音频流分别基于预训练模型初始化，通过跨模态注意力层在每个Transformer块中建立音视频对齐。 (2) 渐进式训练策略：阶段一冻结主干仅训练跨模态注意力层，阶段二全模型联合微调，阶段三高质量数据精调。 (3) 大规模数据管线：自动化音视频配对数据清洗，多维度质量过滤。 1.3 核心创新 首个全面开源的可扩展联合音视频生成系统 采用双流DiT架构，独立模态流+跨模态注意力交互 渐进式三阶段训练策略缓解多模态联合训练的稳定性问题 大规模音视频配对数据清洗管线支撑高质量生成 1.4 实验结果 Ablation study on human preference. 在音视频同步性、音频质量、视频质量等多维度达到开源SOTA 与Veo 3等商业系统在部分指标上具有竞争力 代码和模型全面开源 1.5 关键洞察 优势：系统工程完整，开源贡献大；渐进式训练有效。局限：双流架构的跨模态对齐存在固有上限；数据规模仍不及商业系统。 技术演进定位： 开源联合音视频生成的技术基线 可能的后续方向： 双流→单流架构演进 更大规模数据与模型 2. JavisDiT++：统一建模与人类偏好对齐——联合音视频生成的系统性优化 论文: JavisDiT++ arXiv: 2602.19163 机构: Rochester, 上海科技大学 2.1 研究动机 核心问题： 联合音视频生成的质量与商业系统仍有差距，缺乏人类偏好对齐 联合音视频生成已成为多模态合成基础任务，但与Veo 3等商业系统相比，开源方法在生成质量、时序同步和人类偏好对齐三个维度上仍存在明显差距。JavisDiT++从统一建模和系统优化两个层面同时发力。 前序工作及局限： MOVA：开源联合生成基线 DPO / RLHF：语言模型偏好对齐技术 与前序工作的本质区别： JavisDiT++首次将DPO人类偏好优化引入联合音视频生成，配合时间对齐RoPE 2.2 方法原理 Architecture of . We use shared attention layers to encourage audio-visual mutual information modeling, with modality-specific FFN layers to enhance intra-modal aggregation. The Temporal-Aligned RoPE strategy is applied to ensure audio-video synchrony. The audio/video embedder layer and prediction head that bridge DiT and VAEs are hidden for simplicity. JavisDiT++的核心设计： (1) 统一双流DiT架构：基于预训练视频DiT和音频DiT，跨模态注意力实现联合推理，时间对齐RoPE解决时间分辨率不匹配。 (2) 多阶段优化：跨模态注意力预训练→全模型联合微调→人类偏好对齐（DPO/RLHF）。 (3) 高质量数据策略：精心策划的多源音视频训练数据，基于同步性的质量过滤。 2.3 核心创新 系统性地将人类偏好优化引入联合音视频生成 时间对齐RoPE解决异构时间分辨率问题 支持多种生成模式：T2AV/V2A/A2V 多阶段优化管线包含DPO后训练 2.4 实验结果 Illustration of preference data collection and training pipeline of audio-video DPO. 在多个JAVG基准上取得开源SOTA 人类偏好对齐后用户偏好率显著提升 同步质量和感知质量综合提升 2.5 关键洞察 优势：首次在JAVG中引入DPO后训练，方法论完整。局限：人类偏好标注成本高；DPO对齐效果受奖励模型质量制约。 技术演进定位： 联合音视频生成的偏好对齐开拓者 可能的后续方向： 更精细的音视频同步奖励模型 人类偏好驱动的质量提升 3. OmniForcing：首个实时联合音视频流式生成——Self-Forcing蒸馏实现25FPS 论文: OmniForcing arXiv: 2603.11647 机构: 基于LTX-2蒸馏 3.1 研究动机 核心问题： 联合音视频生成局限于离线模式，无法支持交互式应用 现有联合音视频生成系统都是离线的，严重限制交互式应用（游戏NPC、虚拟直播、实时对话）。OmniForcing提出核心问题：能否实现实时的、流式的联合音视频生成？ 前序工作及局限： LTX-2：高质量离线双流联合生成教师模型 Self-Forcing：流式生成蒸馏范式 与前序工作的本质区别： OmniForcing将离线双向扩散蒸馏为25FPS流式自回归生成器 3.2 方法原理 The three-stage OmniForcing distillation pipeline. Stage I employs Distribution Matching Distillation (DMD)~yin2024one,yin2024improved to adapt the model for few-step, fast denoising. Stage II utilizes causal ODE regression to adapt the network weights to the asymmetric block-causal mask. Stage III implements joint Self-Forcing~huang2025self training by autoregressively unrolling the generation process to mitigate exposure bias. OmniForcing的核心设计： (1) Joint Self-Forcing Distillation：以离线双向扩散模型为教师，蒸馏为流式自回归学生，在长序列上自纠正跨模态误差。 (2) Asymmetric Block-Causal Alignment + Zero-truncation Global Prefix：确保流式生成中音视频同步。 (3) Audio Sink Token + Identity RoPE：缓解音频token稀疏的梯度问题。 (4) 模态无关滚动KV-Cache：支持任意长度流式生成。 3.3 核心创新 首个实时联合音视频流式生成系统，单GPU约25 FPS 将离线双流双向扩散蒸馏为流式自回归生成器 Joint Self-Forcing Distillation在长序列上自纠正跨模态误差 非对称块因果对齐+全局前缀确保流式同步 Audio Sink Token缓解音频token稀疏问题 3.4 实验结果 Asymmetric Block-Causal Masking. The vertical axis denotes query tokens and the horizontal axis denotes key tokens. Modalities are synchronized via 1s macro-blocks. Each audio block ($B^a$) contains 25 latent frames (one token each), whereas each video block ($B^v$) contains 3 latent frames patchified into $3 384$ tokens. Unmasked tokens include the Global Prefix (orange, $V_0/A_0$) and Audio Sink tokens (red, $s$). Blue regions denote allowed attention (bidirectional intra-block, strictly causal inter-block), while white regions mask future keys to prevent information leakage. 单GPU约25 FPS实时生成 同步质量和视觉质量与双向教师模型持平 显著优于已有流式方法 项目代码开源 3.5 关键洞察 优势：实时生成突破意义重大，对交互式应用有直接影响。局限：蒸馏质量上限受教师模型制约；LTX-2训练成本高。 技术演进定位： 首个实时联合音视频流式生成系统 可能的后续方向： 实时生成的质量进一步提升 交互式音视频创作工具 4. CCL：系统解决双流联合生成三大瓶颈——跨模态上下文学习 论文: CCL arXiv: 2603.18600 机构: SenseTime 4.1 研究动机 核心问题： 双流联合生成框架存在门控流形变化、背景偏差、CFG冲突三大瓶颈 双流Transformer已成为联合音视频生成主流范式，但存在三个关键问题：(1)门控机制引起的模型流形变化；(2)跨模态注意力引入的多模态背景区域偏差；(3)多模态CFG的训练-推理不一致性。 前序工作及局限： 双流DiT范式：当前联合音视频生成的主流架构 TARP / RoPE：位置编码对齐技术 与前序工作的本质区别： CCL系统性提出TARP/LCT+DCR/UCG三个模块精准解决三大瓶颈 4.2 方法原理 The pipeline of our proposed Cross-Modal Context Learning. CCL follows the conventional dual-stream transformer architecture, equipped with several novel-designed modules, enabling efficient and effective joint audio-video generation with high consistency. The figure illustrates the implementation details of proposed modules. For Dynamic Context Routing, the various colors denote that the corresponding colored paths on the left are in an activated state. CCL提出三个模块： (1) TARP(时间对齐RoPE和分区)：在RoPE位置编码层面实现音视频精确时间对齐。 (2) LCT(可学习上下文标记)+DCR(动态上下文路由)：LCT提供稳定锚点缓解流形变化，DCR根据生成模式动态路由。 (3) UCG(无条件上下文引导)：利用LCT在推理时提供稳定的无条件支持，改善训练-推理一致性。 4.3 核心创新 首次系统分析双流联合生成框架的三个核心技术瓶颈 TARP解决异构时间分辨率的精确对齐 可学习上下文标记(LCT)+动态上下文路由(DCR)稳定跨模态交互 无条件上下文引导(UCG)解决多模态CFG训练-推理不一致 4.4 实验结果 The gating mechanism alters the optimization objective during training, which affects training efficiency. 实现开源SOTA联合音视频生成 所需训练资源远少于对比方法 音视频同步质量和整体生成质量均显著提升 4.5 关键洞察 优势：问题分析精准，三个模块各自解决一个核心问题，设计优雅。局限：仍基于双流范式，未突破架构本身的上限。 技术演进定位： 双流范式优化的精巧方案 可能的后续方向： 跨模态对齐机制的进一步演化 5. Identity as Presence：外观+声音联合个性化——音视频生成的身份可控新范式 论文: Identity as Presence arXiv: 2603.17889 5.1 研究动机 核心问题： 联合音视频生成产出匿名内容，无法指定特定人物的外貌和声音 现有联合音视频生成产出的都是'匿名'内容——无法指定特定人物的外貌和声音。然而在虚拟人、个性化视频、AI配音等应用中，身份可控是核心需求。 前序工作及局限： IP-Adapter：图像特征注入技术 联合音视频生成基线：不支持身份控制 与前序工作的本质区别： Identity as Presence首次实现面部外观+声音音色的联合个性化 5.2 方法原理 Overview of data curation pipeline for constructing identity-labeled audio-visual data from raw videos. The process involves isolating both visual and auditory identity-specific signals from raw videos, synthesizing comprehensive captions via MLLMs, and rigorously matching audio-visual identities to guarantee precise alignment across video clips to ensure high-fidelity identity consistency. 核心设计： (1) 自动化身份数据策划管线：从大规模音视频数据中自动提取配对身份信息。 (2) 双模态身份注入：面部外观通过IP-Adapter风格特征注入，声音音色通过音频编码器+适配层注入。 (3) 多阶段训练：阶段一单模态身份预训练，阶段二联合微调学习外观-声音协同保持。 5.3 核心创新 首个同时支持面部外观和声音音色联合个性化的音视频生成系统 自动化身份数据策划管线 多阶段训练处理音视觉表征差异 支持单人和多人场景 5.4 实验结果 身份保持、音画一致性、生成质量多维度优于基线 多主体场景下保持高保真身份一致性 5.5 关键洞察 优势：问题定义清晰，双模态身份注入设计实用。局限：身份保持精度受特征编码器上限制约；多人场景下的身份混淆问题待深入分析。 技术演进定位： 联合生成走向身份可控的关键工作 可能的后续方向： 多身份精细解耦控制 虚拟人产品化 6. FoleyDirector：导演级V2A精细控制——时序脚本驱动的画内/画外声并行合成 论文: FoleyDirector arXiv: 2603.19857 6.1 研究动机 核心问题： V2A缺乏精细时序控制，用户无法指定具体时间点的声音事件 当前V2A方法无法实现精细的时序控制——用户希望在特定时间点产生不同音效、控制画内/画外声的切换。现有V2A系统缺乏导演级别的精细调度能力。 前序工作及局限： Diff-Foley / SonicVisionLM：早期V2A方法，粗粒度语义匹配 Make-An-Audio / AudioLDM：文本到音频生成基线 与前序工作的本质区别： FoleyDirector引入结构化时序脚本(STS)实现导演级精确控制 6.2 方法原理 Overview of our method. (a) Extraction pipeline of segment-level ~features. (b) Structure of the ~module, where Temporal Script Attention introduces control signals. (c) , which leverages the controllability of our method in T2A and V2A to enable parallel rendering of in-frame and out-of-frame sounds. Fused block represents the single-modal transformer block in MMAudio. 核心设计： (1) 结构化时序脚本(STS)：用户精确指定在第N秒到第M秒产生某种声音，支持画内/画外声独立控制。 (2) Temporal Script Attention：在DiT中引入时序脚本注意力层，融合STS与视频特征。 (3) Bi-Frame Sound Synthesis：并行生成画内声和画外声，精确对齐后混合输出。 6.3 核心创新 首个在DiT基V2A上实现精确时序引导的方法 结构化时序脚本(STS)提供导演级控制 画内/画外声并行合成(Bi-Frame Sound Synthesis) 构建DirectorSound数据集和DirectorBench评测基准 CVPR 2026接收 6.4 实验结果 Visual Results in VGGSound-Director. We present several results from VGGSound-Director, comparing the mel-spectrograms generated by our method with those from other approaches and with the ground-truth audio. We also compute the L1 similarity between each generated mel-spectrogram and the ground truth. VGGSoundDirector和DirectorBench上时序控制SOTA 高保真与精确时序可控性兼顾 CVPR 2026接收 6.5 关键洞察 优势：时序脚本是优雅的控制接口，CVPR 2026验证了方法质量。局限：STS常需手工编写，大规模自动化可用性待验证。 技术演进定位： V2A精细控制的CVPR 2026代表作 可能的后续方向： STS自动化生成 V2A与联合生成的融合 7. OmniSonic：首个全场景V2A——统一屏内/屏外/语音三类音频的通用生成 论文: OmniSonic arXiv: 2604.04348 7.1 研究动机 核心问题： V2A只关注单一类型音频，无法覆盖真实视频中的全部声音场景 现有V2A方法通常只关注单一类型音频。但真实视频中同时包含屏内环境音、屏外环境音和人类语音三类声音。OmniSonic首次提出Universal Holistic Audio Generation任务。 前序工作及局限： FoleyDirector：V2A精细时序控制 环境音/语音/音乐分离模型：单类型音频处理 与前序工作的本质区别： OmniSonic首次统一屏内环境音/屏外环境音/人类语音三类音频的生成 7.2 方法原理 (A) Overview of our proposed OmniSonic, which mainly consists of an environmental text encoder (FLAN-T5), a speech transcription encoder (SpeechT5), a visual encoder (CLIP visual encoder), an audio VAE, and our specially designed TriAttn-DiT blocks. The input example demonstrates the scenario of on-screen speech with off-screen environmental sound. The input conditions include visual frames, speech transcription, an on-screen environmental sound caption (represented by a placeholder ""), and an off-screen environmental sound caption. (B) Details of our proposed TriAttn-DiT block. 核心设计： (1) UniHAGen任务：统一屏内环境音、屏外环境音、人类语音三类音频的生成。 (2) TriAttn-DiT架构：基于Flow Matching的DiT，三路交叉注意力（视频/文本/音频类型条件），MoE门控不同专家处理不同类型音频。 (3) UniHAGen-Bench：首个覆盖三类音频的统一评测基准。 7.3 核心创新 首次在统一框架中覆盖三类视频音频（屏内环境音/屏外环境音/人类语音） TriAttn-DiT+MoE的专家化架构设计 构建UniHAGen-Bench评测体系 CVPR 2026接收 7.4 实验结果 Visualization of the spectrograms of generated audios and the ground-truth. 客观指标和人工评估一致超越现有SOTA 在全部三类音频生成上均取得最优性能 CVPR 2026接收 7.5 关键洞察 优势：任务定义前瞻，全场景覆盖填补领域空白，CVPR 2026验证了质量。局限：三类音频的联合生成质量仍有提升空间。 技术演进定位： 全场景V2A的CVPR 2026开拓者 可能的后续方向： 三类音频联合质量提升 空间音频集成 8. FoleyDesigner：电影级立体声拟音——多智能体时空分析+LLM空间混音 论文: FoleyDesigner arXiv: 2604.05731 机构: Shanghai University, University of Surrey 8.1 研究动机 核心问题： 自动Foley生成产出单声道音频，缺乏空间感和沉浸式体验 拟音艺术是电影沉浸式听觉体验的关键。现有自动Foley生成方法产生的都是单声道音频，且时空对齐精度有限。FoleyDesigner首次将Foley生成推向立体声甚至5.1环绕声。 前序工作及局限： OmniSonic / FoleyDirector：单声道V2A方法 杜比全景声：专业空间音频标准 与前序工作的本质区别： FoleyDesigner首次将Foley生成推向立体声/5.1环绕声，LLM驱动空间混音 8.2 方法原理 FoleyDesigner Architecture. Our pipeline for automated Foley generation consists of three stages, (1) Fine-Grained Film Decomposition: analyzes silent video and generates hierarchical Foley scripts; (2) Spatio-Temporal Foley Generation: produces spatially-controlled stereo audio using DiT-based diffusion conditioned on visual cues; (3) Foley Refinement: applies multi-agent processing to refine audio quality and generate 5.1 surround output. 核心设计： (1) 多智能体时空分析：使用多个AI Agent分析视频中的声音事件，精确标注时间窗口和空间位置。 (2) 潜在扩散音频合成：基于潜在扩散模型生成时序精确对齐的高质量音频。 (3) LLM驱动混音引擎：利用LLM理解声音空间分布，自动完成立体声/5.1声道空间混音。 8.3 核心创新 首个电影级立体声拟音自动生成系统 多智能体+LLM驱动的空间混音方案 支持杜比5.1环绕声输出 构建FilmStereo数据集 8.4 实验结果 FilmStereo Dataset Pipeline. The process begins with sourcing data using randomly sampled parameters to define sound event attributes, followed by a simulated sound design scenario in Step 2 to generate film foley annotations. The resulting data undergoes manual verification to ensure quality and accuracy. 时空对齐精度优于所有基线方法 生成的立体声音频具有沉浸式空间感 支持杜比5.1环绕声输出 8.5 关键洞察 优势：立体声方向前瞻，LLM混音设计新颖。局限：LLM混音的精度和可控性仍需提升；FilmStereo数据集规模有限。 技术演进定位： 立体声拟音方向的探索先驱 可能的后续方向： 空间音频/立体声标准化 专业Foley工具产品化 其余论文速览 1. ALIVE：将预训练T2V模型适配为联合音视频生成+动画 ALIVE: Animate Your World with Lifelike Audio-Video Generation | arXiv:2602.08682 关键词： T2VA, 动画, MMDiT 贡献： 将预训练T2V模型适配为联合音视频生成+动画，MMDiT架构增强音视频同步 效果： T2VA和参考图动画双能力 2. daVinci-MagiHuman：首个单流Transformer联合音视频生成 Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model | Sand.ai | arXiv:2603.21986 关键词： 单流架构, 人物中心, 统一token 贡献： 首个单流Transformer联合音视频生成，统一token序列+自注意力，避免多流/跨注意力复杂性 效果： 架构简洁，易于优化，开源 3. DreamID-Omni：统一R2AV/RV2AV/RA2V三种人物中心任务 DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation | arXiv:2602.12160 关键词： 统一框架, 多身份, 人物中心 贡献： 统一R2AV/RV2AV/RA2V三种人物中心任务，实现多身份解耦控制 效果： 首个统一多人物音视频控制框架 4. OmniCustom：提出同步音视频定制新任务 OmniCustom: Sync Audio-Video Customization Via Joint Audio-Video Generation Model | 腾讯, HKU | arXiv:2602.12304 关键词： 音视频定制, 身份+音色, 新任务定义 贡献： 提出同步音视频定制新任务，同时定制视频身份+音频音色 效果： 同步音视频身份定制 5. AVControl：基于LTX-2的模块化音视频控制 AVControl: Efficient Framework for Training Audio-Visual Controls | arXiv:2603.24793 关键词： 模块化控制, LoRA, LTX-2 贡献： 基于LTX-2的模块化音视频控制，每模态独立LoRA，低训练成本 效果： 模块化控制SOTA 6. Woosh：统一文本音效+视频条件音效的基础模型 Woosh: A Sound Effects Foundation Model | Sony AI | arXiv:2604.01929 关键词： T2A+V2A, 基础模型, 蒸馏加速 贡献： 统一文本音效+视频条件音效的基础模型，蒸馏5-8x加速 效果： AudioCaps/Clotho上FAD与SOTA相当，V2A同步分数高于基线 7. AC-Foley：以参考音频（非文本）控制V2A生成 AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer | ICLR 2026 关键词： 参考音频, V2A, ICLR 2026 贡献： 以参考音频（非文本）控制V2A生成，实现更细粒度音色迁移 效果： 参考音频条件下Foley生成SOTA 8. DynFOA：结合3DGS与条件扩散 DynFOA: Generating First-Order Ambisonics with Conditional Diffusion for Dynamic 360-Degree Videos | arXiv:2604.02781 关键词： 360°视频, 空间音频, 3DGS, Ambisonics 贡献： 结合3DGS与条件扩散，为360°视频生成物理一致的一阶Ambisonics空间音频 效果： 空间准确性和声学保真持续优于基线 9. V2M-Zero：无需配对数据实现视频到音乐的时间对齐生成 V2M-Zero: Zero-Pair Time-Aligned Video-to-Music Generation | arXiv:2603.11042 关键词： 视频转音乐, 零样本, 时间对齐 贡献： 无需配对数据实现视频到音乐的时间对齐生成 效果： 零样本跨模态音乐生成 10. GLANCE：音乐驱动非线性视频编辑 GLANCE: A Global-Local Coordination Multi-Agent Framework for Music-Grounded Non-Linear Video Editing | Virginia Tech, Meta AI | arXiv:2604.05076 关键词： 音乐驱动, 视频编辑, 多智能体 贡献： 音乐驱动非线性视频编辑，全局-局部协调多智能体，双循环长期规划+逐片段精修 效果： 比最强基线高33.2% 11. Echoes Over Time：解决V2A模型的长度泛化问题 Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models | arXiv:2602.20981 关键词： V2A, 长度泛化, MMHNet 贡献： 解决V2A模型的长度泛化问题，提出MMHNet多模态层次网络 效果： 短训练长推理的长度泛化 12. AVGen-Bench：首个多粒度文本-音视频联合生成评测基准 AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation | arXiv:2604.08540 关键词： 评测基准, T2AV, 多粒度 贡献： 首个多粒度文本-音视频联合生成评测基准，11个任务类别 效果： 填补T2AV评测空白 横向对比与技术脉络总结 横向对比：音视频联合生成与编辑方法的技术路线对比 论文 架构设计 训练范式 推理模式 控制粒度 MOVA 双流DiT 渐进式三阶段 离线 语义级 JavisDiT++ 双流DiT 多阶段+DPO 离线 语义级+偏好 OmniForcing 流式自回归 蒸馏 实时25FPS 语义级 CCL 双流DiT 轻量训练 离线 语义级 FoleyDirector DiT V2A 监督训练 离线 时序脚本精确控制 OmniSonic TriAttn-DiT+MoE 监督训练 离线 音频类型级 FoleyDesigner 扩散+LLM 多阶段 离线 时空精确控制 Identity as Presence 双模态注入 多阶段 离线 身份级 核心技术趋势 从级联到联合，从离线到实时 联合音视频生成从'先视频后音频'的级联方式快速进化为端到端同步生成，OmniForcing的实时流式生成标志着从离线工具向交互式应用的关键转变 双流vs单流架构之争 双流DiT（MOVA/JavisDiT++/CCL）通过复用预训练模型降低训练成本但引入对齐复杂性，单流设计（daVinci-MagiHuman）更简洁，两种范式的优劣将在半年内见分晓 V2A走向导演级精细控制 从粗粒度语义匹配到FoleyDirector的时序脚本精确控制、OmniSonic的全场景覆盖、FoleyDesigner的立体声/空间音频，V2A正从玩具走向专业后期工具 个性化是产品化的关键 Identity as Presence/DreamID-Omni/OmniCustom将联合生成从匿名内容创作推向身份可控的个性化创作，这是从研究到消费产品的关键一步 评测体系亟需标准化 AVGen-Bench的出现说明社区已认识到联合音视频生成缺乏统一评测标准的痛点，标准化评测是推动领域进步的关键基础设施 人工智能炼丹师 整理 | 2026-04-11

AIGC 周末专题|2026-04-05|语音合成与音频生成前沿 AIGC 周末专题深度解读：语音合成与音频生成前沿：从编解码器语言模型到扩散 TTS、音效生成与指令驱动语音设计 人工智能炼丹师 整理 | 2026年4月5日（周日） 覆盖时间：2026年3月29日 — 2026年4月5日 本期概述 本期 AIGC 周末专题聚焦语音合成与音频生成前沿：从编解码器语言模型到扩散 TTS、音效生成与指令驱动语音设计方向，精选 6 篇代表性论文进行深度解读。 方向分布： 语音合成（TTS）— 4篇 音效生成（T2A/V2A）— 1篇 语音设计（Voice Design）— 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 Voxtral TTS Mistral AI 提出 Voxtral TTS 混合架构：自回归语义 token 建模 + 流匹配声学 token 生成，兼顾语义连贯性和 2603.25551 2 LongCat-AudioDiT Meituan 在波形潜空间（而非频谱或 token 空间）进行扩散 TTS，保留完整音频信息 2603.29339 3 T5Gemma-TTS Google 回归编码器-解码器架构：T5 编码器(2B)理解文本、Gemma 解码器(2B)生成语音 token 2604.01760 4 Woosh Sony AI 构建完整音效基础模型：音频编解码器 + 文本-音频对齐 + T2A 生成 + V2A 生成 2604.01929 5 MOSS-VoiceGenerator Fudan University 指令驱动语音生成：自然语言描述控制语音风格、情感和表达方式 2603.28086 6 Prosody-Aware TTS Independent Research 多阶段预训练：MLM 预训练 + SigLIP 跨模态对比学习 2604.01247 1. Voxtral TTS：混合自回归与流匹配的高质量语音合成系统 论文: Voxtral TTS arXiv: 2603.25551 机构: Mistral AI 1.1 研究动机 核心问题： 语音合成在零样本克隆音色保真度和多语言支持上不足，开源与商业差距大 当前语音合成系统在零样本语音克隆的音色保真度、韵律自然度和长文本稳定性上仍有差距。商业系统如 ElevenLabs 领先，开源社区需要更强大的基座模型。 前序工作及局限： VALL-E (2023)：首个 Codec LM 零样本 TTS，纯自回归 XTTSv2 (2024)：Coqui 开源多语言 TTS，音质有限 CosyVoice (2025)：阿里开源 TTS，Flow Matching 后端 ElevenLabs (2025)：商业 TTS 标杆，完全闭源 与前序工作的本质区别： 混合 AR 语义建模 + Flow Matching 声学生成，Voxtral Codec 双层量化，68.4% 胜率超越 ElevenLabs 1.2 方法原理 Voxtral TTS 的核心是两阶段生成管线。第一阶段使用自回归 Transformer 预测语义 token 序列，这些语义 token 由 Voxtral Codec 的 VQ 层提取，编码语音的语言内容和韵律模式。第二阶段使用条件流匹配模型以语义 token 为条件生成声学 token，FSQ 层编码精细的音色纹理。Voxtral Codec 是关键创新：编码器将音频压缩为双层表示（VQ 语义层 + FSQ 声学层），解码器从两层 token 重建高保真音频。 1.3 核心创新 提出 Voxtral TTS 混合架构：自回归语义 token 建模 + 流匹配声学 token 生成，兼顾语义连贯性和声学保真度 设计 Voxtral Codec：结合 VQ 和 FSQ 的混合编解码器，语义 token 捕获内容，声学 token 捕获音色 在 68.4% 的人类偏好评测中胜过 ElevenLabs Flash v2.5 支持多语言多说话人零样本克隆，CC BY-NC 开源 1.4 实验结果 MOS 达 4.32 分，A/B 测试中以 68.4% 胜率超过 ElevenLabs Flash v2.5。零样本音色相似度 0.891，支持英法德西等多种语言。 1.5 关键洞察 CC BY-NC 限制商业应用。两阶段推理增加延迟。与 ElevenLabs Turbo 系列未对比。训练数据未完全公开。 技术演进定位： 开源 TTS 新标杆，证明混合架构路线有效性 可能的后续方向： 低延迟流式推理 更多语言覆盖 情感控制融合 2. LongCat-AudioDiT：波形潜空间中的非自回归扩散语音合成 论文: LongCat-AudioDiT arXiv: 2603.29339 机构: Meituan 2.1 研究动机 核心问题： 自回归 TTS 误差累积和延迟，非自回归方法音色克隆质量不足 自回归 TTS 面临误差累积和推理延迟问题，非自回归方法在音色克隆上通常不如自回归。需要既能高效并行生成又达到自回归级别质量的方案。 前序工作及局限： Grad-TTS (2021)：首个扩散 TTS，梅尔频谱空间 NaturalSpeech 2/3 (2024)：扩散 TTS 系列，仍在频谱域 Seed-TTS (2025)：字节 TTS 标杆，当时 SOTA F5-TTS (2025)：Flow Matching TTS，潜空间但非波形域 与前序工作的本质区别： 首个波形潜空间扩散 TTS，Wav-VAE 保留相位信息，APG 替代 CFG 2.2 方法原理 三个核心组件：(1) Wav-VAE 在波形域工作，多尺度卷积编码器压缩波形到连续潜空间，保留相位和细节信息。(2) 扩散 DiT 在潜空间去噪，文本和说话人条件通过交叉注意力注入。(3) APG 将无条件预测投影到条件预测的正交补空间，避免 CFG 的过饱和问题。非自回归一次性生成完整潜表示。 2.3 核心创新 在波形潜空间（而非频谱或 token 空间）进行扩散 TTS，保留完整音频信息 设计 Wav-VAE 将波形压缩到连续潜空间，避免离散量化信息损失 自适应投影引导 APG 替代 CFG，避免过饱和 在 Seed-TTS 中文评测上超越 SOTA：SIM 0.818 vs 0.809 2.4 实验结果 Seed-TTS 中文基准 SIM 0.818（超 Seed-TTS 0.809），英文同达 SOTA。推理速度比自回归快 5-10 倍。代码和权重开源。 2.5 关键洞察 Wav-VAE 波形域压缩计算量较大。APG 增加少量推理开销。极长文本稳定性待验证。作者机构未明确标注。 技术演进定位： 非自回归 TTS 新高度，SIM 0.818 超越 Seed-TTS 可能的后续方向： 更高效 Wav-VAE 长音频生成 口型同步 TTS 3. T5Gemma-TTS：编码器-解码器架构的大规模 Codec 语言模型 TTS 论文: T5Gemma-TTS arXiv: 2604.01760 机构: Google 3.1 研究动机 核心问题： Decoder-only Codec LM TTS 在文本理解和时长控制上的局限 当前 Codec LM TTS 主流采用 decoder-only 架构，但文本理解和语音生成是性质不同的任务，统一序列建模可能不是最优方案。多语言场景下的时长控制不够精确。 前序工作及局限： VALL-E (2023)：Decoder-only Codec LM 开山之作 VoiceCraft (2024)：基于 Codec 的语音编辑 T5-TTS (2024)：早期编码器-解码器 TTS，参数小 SpeechGPT (2025)：GPT 架构多模态语音 LM 与前序工作的本质区别： 编码器-解码器各司其职，PM-RoPE 音素/词素位置精细时长控制，4B 参数 scaling 3.2 方法原理 T5 编码器接收文本生成上下文化表示，Gemma 解码器以交叉注意力为条件自回归生成 Codec token。PM-RoPE 在 RoPE 中额外注入音素级位置（字符级对齐）和词素级位置（语义级对齐），通过不同频率维度编码，使模型精确控制每个音素持续时间。 3.3 核心创新 回归编码器-解码器架构：T5 编码器(2B)理解文本、Gemma 解码器(2B)生成语音 token 提出 PM-RoPE 注入音素和词素级位置信息实现精细时长控制 B 参数规模，170K 小时多语言训练 日语说话人相似度 0.677 超过 XTTSv2 的 0.622，代码和权重开源 3.4 实验结果 日语说话人相似度 0.677 vs XTTSv2 0.622。PM-RoPE 消融显示字符级对齐误差降低 15%。4B 参数展现 scaling 优势。 3.5 关键洞察 4B 参数推理成本高。交叉注意力增加内存占用。PM-RoPE 需要音素/词素标注。与 Google 自家闭源系统仍有差距。 技术演进定位： 挑战 decoder-only 主流，编码器-解码器架构在大规模 TTS 上有效 可能的后续方向： 参数效率优化 更多语言 scaling 流式推理适配 4. Woosh：文本到音效与视频到音效的基础模型 论文: Woosh arXiv: 2604.01929 机构: Sony AI 4.1 研究动机 核心问题： 音效生成模型分散，T2A 和 V2A 各自独立，缺乏统一基础模型 音效生成模型分散，T2A 和 V2A 各自独立，缺乏统一基础模型。现有模型推理速度慢，难以满足交互式创作需求。 前序工作及局限： AudioLDM (2023)：首个潜空间音效生成，仅 T2A Make-An-Audio (2023)：文本到音频扩散框架 StableAudio-Open (2024)：Stability AI 开源，仅 T2A TangoFlux (2025)：Flow Matching 音效加速 与前序工作的本质区别： 完整音效基础模型统一 T2A+V2A，蒸馏版本快速推理 4.2 方法原理 模块化设计四组件：(1) 音频编解码器压缩/重建音频 (2) CLAP 风格对比学习建立文本-音频对齐 (3) T2A 扩散模型以文本为条件生成 (4) V2A 扩散模型以视频帧为条件生成同步音效。蒸馏版通过知识蒸馏实现少步生成。 4.3 核心创新 构建完整音效基础模型：音频编解码器 + 文本-音频对齐 + T2A 生成 + V2A 生成 蒸馏版本实现 5-8 倍快速推理 在 T2A/V2A 上与 StableAudio-Open 和 TangoFlux 竞争 4.4 实验结果 AudioCaps/Clotho 上 FAD 与 StableAudio-Open/TangoFlux 竞争。V2A 音视频同步分数高于基线。蒸馏版 5-8 倍加速。 4.5 关键洞察 模块化增加系统复杂度。T2A 和 V2A 未完全统一。蒸馏版复杂音效质量下降。与闭源音效模型仍有差距。 技术演进定位： 音效生成从单任务走向基础模型 可能的后续方向： T2A+V2A 深度统一 3D 空间音效 交互式音效设计 5. MOSS-VoiceGenerator：指令驱动的表达性语音设计：用自然语言控制语音风格 论文: MOSS-VoiceGenerator arXiv: 2603.28086 机构: Fudan University 5.1 研究动机 核心问题： 语音风格控制依赖参考音频，无法用自然语言灵活描述 传统 TTS 需要参考音频克隆风格，但很多创意场景中用户想用自然语言描述期望的语音风格。现有系统对复杂风格描述的理解能力有限。 前序工作及局限： PromptTTS (2023)：简单标签提示风格控制 InstructTTS (2024)：指令式 TTS，风格维度单一 StyleTTS 2 (2024)：风格迁移仍需参考音频 ParlerTTS (2025)：文本描述控制，主要针对说话人属性 与前序工作的本质区别： 电影语音数据训练，多维风格空间，自然语言直接映射 5.2 方法原理 两模块设计：(1) 风格理解模块用预训练 LLM 将自然语言风格描述编码为嵌入向量，涵盖音色/情感/语速/场景多维度。(2) 条件语音生成模块以文本和风格嵌入为条件，在梅尔频谱空间扩散生成。训练数据来自电影语音，自动标注情感、风格和角色属性。 5.3 核心创新 指令驱动语音生成：自然语言描述控制语音风格、情感和表达方式 基于表达性电影语音数据训练，覆盖丰富情感和说话风格 语音自然度和风格一致性超过现有语音设计模型 5.4 实验结果 MOS 3.89 高于 PromptTTS(3.52)/InstructTTS(3.71)。风格一致性 81.3%。情感表达维度尤为突出。 5.5 关键洞察 风格理解依赖 LLM 能力，抽象描述可能失效。电影语音数据版权问题。MOS 3.89 距顶级 TTS 仍有差距。缺少与最新系统直接对比。 技术演进定位： 指令驱动语音设计代表工作，开辟人机交互式语音创作 可能的后续方向： 多轮对话式设计 与高质量 TTS 集成 视频配音自动化 6. Prosody-Aware TTS：多阶段预训练的韵律感知扩散语音合成 论文: Prosody-Aware TTS arXiv: 2604.01247 机构: Independent Research 6.1 研究动机 核心问题： 扩散 TTS 韵律平淡缺乏表现力，缺少显式韵律建模 韵律是自然语音的关键要素，但扩散 TTS 往往生成韵律平淡的语音，缺乏对韵律结构的显式建模。 前序工作及局限： FastSpeech 2 (2021)：显式韵律预测器，非扩散框架 Grad-TTS (2021)：扩散 TTS 基础，无显式韵律建模 ProDiff (2022)：改善韵律但未用预训练 CLaM-TTS (2024)：语义 token 隐式韵律编码 与前序工作的本质区别： MLM+SigLIP 两阶段韵律预训练，即插即用不增推理开销 6.2 方法原理 三阶段：(1) MLM 预训练韵律编码器，掩码韵律 token 预测，学习韵律结构。(2) SigLIP 对比学习，建立文本语义和语音韵律跨模态对齐。(3) 将韵律编码器集成到扩散 TTS，韵律嵌入作为额外条件注入去噪。韵律编码器仅增加 5% 参数。 6.3 核心创新 多阶段预训练：MLM 预训练 + SigLIP 跨模态对比学习 MLM 让韵律编码器学习 F0/能量/时长的韵律模式 SigLIP 建立文本-韵律跨模态对应 在 Grad-TTS 和潜空间扩散 TTS 上验证有效，不增加推理开销 6.4 实验结果 F0 RMSE 降低 18%，Duration Accuracy 提升 12%。韵律 MOS 从 3.71 升至 4.02（Grad-TTS）和 3.85 升至 4.15（潜空间扩散）。推理时间几乎不变。 6.5 关键洞察 多阶段预训练增加训练复杂度。SigLIP 效果依赖正负样本质量。仅验证两种架构。韵律特征提取依赖信号处理工具。 技术演进定位： 通用韵律预训练策略可提升任意扩散 TTS 可能的后续方向： 更多韵律维度 跨语言韵律迁移 情感+韵律联合框架 横向对比与技术脉络总结 架构与核心指标对比 论文 核心架构 主要任务 关键创新 核心指标 Voxtral TTS AR + Flow Matching 多语言 TTS Voxtral Codec 双层量化 68.4% 胜率 vs ElevenLabs LongCat-AudioDiT Wav-VAE + DiT 零样本 TTS 波形潜空间 + APG SIM 0.818 超 Seed-TTS T5Gemma-TTS T5 + Gemma (4B) 多语言 TTS PM-RoPE 时长控制 日语 SIM 0.677 超 XTTSv2 Woosh 模块化扩散 T2A + V2A 统一音效基础模型 与 StableAudio 竞争 MOSS-VoiceGen LLM + 扩散 语音设计 自然语言风格控制 MOS 3.89, 一致性 81.3% Prosody-Aware 预训练 + 扩散 韵律增强 MLM + SigLIP 预训练 F0 RMSE 降低 18% 训练范式与应用场景对比 论文 训练范式 数据规模/特色 推理特点 目标场景 Voxtral TTS 两阶段生成管线 大规模多语言 两步推理 通用高质量 TTS LongCat-AudioDiT Wav-VAE + DiT 联合 大规模中英文 一步并行, 快5-10x 高保真零样本克隆 T5Gemma-TTS 编码器-解码器微调 170K 小时多语言 自回归, 4B 参数 多语言精细控制 Woosh 模块化分阶段 大规模音效数据 蒸馏版 5-8x 加速 影视/游戏音效 MOSS-VoiceGen 电影语音微调 电影对白(情感丰富) 标准扩散速度 有声书/游戏配音 Prosody-Aware 三阶段预训练 标准 TTS 数据 不增推理开销 通用韵律增强插件 核心技术趋势 趋势 1：混合架构成为语音合成最优解 Voxtral TTS 的 AR+Flow Matching 和 T5Gemma-TTS 的编码器-解码器都证明，将不同任务交给不同模块比统一架构更有效。混合方案在语义连贯性和声学保真度之间取得最佳平衡。 趋势 2：表示空间从离散走向连续 LongCat-AudioDiT 在波形潜空间超越 Seed-TTS 证明，连续潜表示比离散 token 保留更多信息。Voxtral Codec 的双层设计也体现了语义（离散）和声学（连续）的最优分工。 趋势 3：音效生成走向基础模型化 Woosh 统一 T2A 和 V2A 是音效领域的重要尝试。类似于视觉领域从单任务模型走向基础模型，音频领域也在整合不同任务到统一框架。蒸馏加速为交互式应用铺路。 趋势 4：自然语言成为生成控制的通用接口 MOSS-VoiceGenerator 用自然语言替代参考音频控制语音风格，这与图像生成中 text-to-image 的成功类似。自然语言作为人机接口的通用性正在从文本/图像扩展到音频领域。 趋势 5：模块化预训练策略的崛起 Prosody-Aware TTS 的韵律预训练可即插即用提升任意扩散 TTS。这种模块化的预训练策略——独立训练某个能力模块再嵌入主框架——可能成为能力增强的通用范式。 技术路线全景图 语音合成与音频生成技术路线 ├── TTS 架构创新 │ ├── 混合架构 → Voxtral TTS（AR + Flow Matching，68.4% 胜率） │ ├── 编码器-解码器 → T5Gemma-TTS（4B 参数，PM-RoPE 时长控制） │ └── 纯扩散路线 → LongCat-AudioDiT（波形潜空间，SIM 0.818） ├── 表示空间探索 │ ├── 波形潜空间 → Wav-VAE（保留相位信息） │ └── 双层量化 → Voxtral Codec（VQ 语义 + FSQ 声学） ├── 音效生成 │ └── 统一基础模型 → Woosh（T2A + V2A + 蒸馏加速） └── 交互与控制 ├── 自然语言控制 → MOSS-VoiceGenerator（指令驱动风格设计） └── 韵律增强 → Prosody-Aware TTS（MLM + SigLIP 即插即用） 总结与展望 本期专题的 6 篇论文共同描绘了语音合成与音频生成的前沿全景图。从混合架构（Voxtral TTS）到波形域扩散（LongCat-AudioDiT），从编码器-解码器回归（T5Gemma-TTS）到音效基础模型（Woosh），再到指令驱动设计（MOSS-VoiceGenerator）和韵律预训练（Prosody-Aware TTS），语音生成正在从技术验证走向实际可用。值得关注的未来方向： 混合+波形域：将 Voxtral 的混合架构与 LongCat 的波形空间结合 精细控制：PM-RoPE 时长控制 + 韵律预训练 + 情感控制的统一框架 端到端创意配音：MOSS 的语言风格控制与高质量 TTS 集成 音效+语音统一：将 TTS 和音效生成融入同一个音频基础模型 人工智能炼丹师 整理 | 数据来源：arXiv 2026年3月29日 — 2026年4月5日 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性 AIGC 周末专题深度解读：视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理 人工智能炼丹师 整理 | 2026年4月4日（周六） 覆盖时间：2026年3月29日 — 2026年4月4日 本期概述 本期 AIGC 周末专题聚焦视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理方向，精选 6 篇代表性论文进行深度解读。 方向分布： 统一视频生成框架 — 1篇 长视频生成 — 1篇 物理一致性与几何对齐 — 1篇 高效少步训练 — 1篇 多镜头流式叙事 — 1篇 角色一致性生成 — 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 OmniWeaving Tencent Hunyuan, Zhejiang University 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输 2603.24458 2 PackForcing Alaya Studio, Shandong University 提出三分区 KV-cache 策略：Sink tokens（全分辨率锚点帧）+ Mid tokens（32倍时空压缩）+ 2603.25730 3 VGGRPO Independent Research 提出 VGGRPO（Visual Geometry GRPO），首个在潜空间计算几何奖励的视频后训练框架 2603.26599 4 EFlow Snap Research, Rutgers University 提出 EFlow，同时解决注意力复杂度和采样步数两大瓶颈的统一框架 2603.27086 5 ShotStream CUHK, Kuaishou Technology 提出 ShotStream，首个因果多镜头视频生成架构，支持流式实时交互 2603.25746 6 Gloria USTC (CVPR 2026) 提出内容锚点（Content Anchors）表示角色视觉属性：全局锚点（身份特征）+ 视角锚点（多视角外观）+ 表情锚 2603.29931 1. OmniWeaving：统一视频生成：自由组合与推理驱动的全能框架 论文: OmniWeaving arXiv: 2603.24458 机构: Tencent Hunyuan, Zhejiang University 1.1 研究动机 核心问题： 开源视频生成模型碎片化，无法在单一框架内统一 T2V/I2V/V2V 等多任务 当前开源视频生成模型高度碎片化，无法在单一框架内统一文生视频、图生视频、视频编辑等多种任务。商业系统（如 Seedance-2.0）遥遥领先，开源社区急需一个全能统一方案。 前序工作及局限： CogVideo (2022)：早期文生视频扩散模型，仅支持文本到视频单一任务 Stable Video Diffusion (2024)：图生视频基础模型，不支持多模态组合输入 HunyuanVideo (2025)：腾讯混元视频生成，功能相对单一 Seedance-2.0 (2026)：字节商业全能系统，但不开源 与前序工作的本质区别： 首个开源全能统一视频生成框架，MLLM+DiT 双模块架构支持自由多模态组合输入和推理驱动的视频创作 1.2 方法原理 OmniWeaving 由两个核心模块组成：(1) 多模态大语言模型（MLLM）负责理解和推理复杂的用户意图，将文本、图像、视频等多模态输入统一编码为条件表示；(2) 视频扩散模型接收条件表示生成高质量视频。训练分为三阶段：首先在大规模视频数据上预训练基础扩散模型，然后通过精心构建的多模态组合数据（包含交错文本-图像-视频对）进行微调，最后通过推理增强数据提升模型的意图理解能力。关键创新在于训练数据构建管线：自动从海量视频中提取多模态组合场景，生成需要推理才能完成的复杂视频创作任务。 1.3 核心创新 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输入 构建大规模多模态组合与推理增强训练数据集，学习在时间维度上绑定交错的多模态输入 引入 IntelligentVBench 综合评测基准，首个面向智能统一视频生成的严格评测体系 在开源统一模型中达到 SOTA，代码和模型完全开源 1.4 实验结果 在文生视频（T2V）、图生视频（I2V）、视频到视频（V2V）等多个任务上均达到开源 SOTA。在新提出的 IntelligentVBench 上，OmniWeaving 在多模态组合和抽象推理任务上显著优于现有开源方案，与商业系统差距大幅缩小。 1.5 关键洞察 训练数据构建管线依赖大量自动化标注，数据质量可能存在噪声。IntelligentVBench 作为自家提出的评测基准，客观性有待社区验证。与 Seedance-2.0 等商业系统相比仍有差距，但开源意义重大。 技术演进定位： 开源统一视频生成的里程碑，填补了开源社区在全能视频框架上的空白 可能的后续方向： 更强的推理能力：结合 CoT 和 tool-use 实现更复杂的视频创作 视频质量提升：进一步缩小与 Seedance-2.0 等商业系统的差距 社区生态建设：作为开源基座支持下游任务微调和插件开发 2. PackForcing：短视频训练即可生成连贯2分钟长视频 论文: PackForcing arXiv: 2603.25730 机构: Alaya Studio, Shandong University 2.1 研究动机 核心问题： 自回归视频扩散模型的 KV-cache 线性增长导致长视频生成内存爆炸 自回归视频扩散模型在长视频生成中面临三大瓶颈：KV-cache 线性增长导致内存爆炸、时间重复（temporal repetition）和误差累积。现有方法无法在有限 GPU 内存下生成超过30秒的连贯视频。 前序工作及局限： FIFO-Diffusion (2024)：FIFO 队列长视频生成，但视频长度受限于队列大小 FreeNoise (2024)：噪声重安排扩展长度，但生成质量随长度下降 Pyramid Flow (2025)：金字塔流式生成，计算开销仍然很大 StreamDiffusion (2025)：流式扩散框架，未解决 KV-cache 膨胀问题 与前序工作的本质区别： 三分区 KV-cache 策略（Sink+Mid+Recent）实现 32 倍压缩和有界 4GB 内存，仅用 5 秒短视频训练即可 24 倍时间外推到 2 分钟 2.2 方法原理 PackForcing 将自回归视频扩散中的历史上下文分为三类：(1) Sink tokens 保留最早的若干帧作为全局语义锚点；(2) Mid tokens 通过双分支网络将中间帧压缩为极少 token——一个分支是渐进式 3D 卷积逐步降低时空分辨率，另一个分支将帧重编码为低分辨率 VAE latent，两者通过门控机制融合；(3) Recent tokens 保持最近帧的全分辨率以确保局部连贯性。当 Mid tokens 过多时，动态 top-k 机制选择最重要的 token 保留，同时通过连续 RoPE 重编码消除位置间隙。整个框架可在仅 5 秒短视频片段上训练，推理时自回归扩展到 2 分钟。 2.3 核心创新 提出三分区 KV-cache 策略：Sink tokens（全分辨率锚点帧）+ Mid tokens（32倍时空压缩）+ Recent tokens（全分辨率近期帧），实现有界 4GB KV-cache Mid tokens 采用双分支压缩网络：渐进式 3D 卷积 + 低分辨率 VAE 重编码，实现 32 倍 token 缩减 动态 top-k 上下文选择 + 连续时间 RoPE 调整，无缝处理丢弃 token 造成的位置间隙 仅用 5 秒短视频训练，实现 24 倍时间外推到 120 秒（2分钟），VBench SOTA 2.4 实验结果 在单个 H200 GPU 上生成 832x480/16FPS 的 2 分钟连贯视频，KV-cache 仅占 4GB。VBench 时间一致性达 26.07，动态度 56.25，均为 SOTA。实现 24 倍时间外推（5秒→120秒）。 2.5 关键洞察 双分支 Mid token 压缩引入额外计算开销，需要验证其在更高分辨率（1080p+）下的可扩展性。目前仅在 16FPS 下验证，更高帧率场景待测试。分区策略中的超参数（Sink/Mid/Recent 比例）需要仔细调节。 技术演进定位： 当前最高效的长视频生成方案，首次在单 GPU 上实现 2 分钟连贯视频 可能的后续方向： 更高分辨率：将方案扩展到 1080p 以上 自适应压缩率：根据场景复杂度动态调整 Mid token 压缩比 与统一框架集成：将 PackForcing 策略融入 OmniWeaving 等全能模型 3. VGGRPO：4D潜空间奖励驱动的世界一致性视频生成 论文: VGGRPO arXiv: 2603.26599 机构: Independent Research 3.1 研究动机 核心问题： 视频扩散模型虽然视觉效果好但经常违反几何规律（相机抖动、多视角不一致） 大规模视频扩散模型虽然视觉质量出色，但经常违反几何一致性：相机抖动、多视角几何不一致、物理规律违反。现有方法要么修改架构（损害泛化能力），要么在 RGB 空间计算几何奖励（昂贵且仅限静态场景）。需要一种不修改架构、计算高效且支持动态场景的方案。 前序工作及局限： DDPO (2023)：首次将强化学习引入扩散模型，但限于图像领域 DPO for Diffusion (2024)：扩散模型偏好对齐，不涉及几何奖励 VideoScore (2025)：视频质量奖励模型，在 RGB 空间计算成本高 T2V-Turbo (2025)：视频 RLHF，但仅优化视觉质量不涉及几何 与前序工作的本质区别： 首次在潜空间计算几何奖励（绕过 VAE 解码），通过 4D 重建扩展到动态场景，GRPO 策略梯度优化几何一致性 3.2 方法原理 VGGRPO 分为两步：(1) 训练潜在几何模型 LGM，它是一个轻量级网络，直接从视频扩散的 latent 空间解码场景的深度和法线信息，不需要经过 VAE 解码到 RGB 空间。LGM 通过冻结 VAE encoder-decoder 对和几何基础模型（如 DPT/Metric3D）蒸馏训练。(2) 使用 Group Relative Policy Optimization（GRPO）进行视频扩散模型的后训练。对同一 prompt 采样多条生成轨迹，通过 LGM 在 latent 空间计算两种奖励：相机运动平滑度奖励惩罚帧间几何抖动，几何重投影一致性奖励确保跨视角的 3D 一致性。GRPO 根据奖励差异更新策略梯度。4D 扩展通过时序多帧几何重建实现。 3.3 核心创新 提出 VGGRPO（Visual Geometry GRPO），首个在潜空间计算几何奖励的视频后训练框架 引入潜在几何模型（Latent Geometry Model, LGM），将视频扩散 latent 直接映射到场景几何（深度/法线），无需 VAE 解码 构建 4D 几何重建能力，自然扩展到动态场景，克服了先前方法仅限静态场景的局限 双奖励机制：相机运动平滑度奖励 + 几何重投影一致性奖励 3.4 实验结果 在静态场景（RealEstate10K）和动态场景（WebVid）上均显著提升几何一致性。相机稳定性提升 23%，几何重投影误差下降 31%。推理成本与基线相同（LGM 仅训练时使用），避免了 VAE 解码的计算开销。 3.5 关键洞察 LGM 的训练质量直接影响奖励信号的准确性，如果几何基础模型本身有偏差会传播到视频模型。当前奖励仅考虑几何一致性，未涉及物理动力学（如碰撞、重力）。GRPO 的多轨迹采样增加了训练成本。 技术演进定位： 开创了视频几何后训练的新范式，证明 RLHF 类方法可有效提升视频的物理合理性 可能的后续方向： 物理动力学奖励：扩展到碰撞、重力、流体等物理规律 多维度联合奖励：几何+物理+美学的统一奖励函数 在线强化学习：实时根据用户反馈优化生成质量 4. EFlow：高效少步视频生成器：从头训练的突破 论文: EFlow arXiv: 2603.27086 机构: Snap Research, Rutgers University 4.1 研究动机 核心问题： 视频扩散 Transformer 面临每步二次注意力复杂度和多步迭代采样的双重瓶颈 视频扩散 Transformer 面临两个复合成本瓶颈：每步的二次注意力复杂度 O(n^2) 和多步迭代采样。现有加速方法通常只解决其中一个——蒸馏减少步数但不降低单步成本，高效注意力降低单步成本但不减少步数。需要同时解决两个瓶颈的统一方案。 前序工作及局限： Consistency Models (2023)：一步生成模型，但仅限图像且质量有限 Flow Matching (2023)：条件流匹配框架，需要多步采样 Rectified Flow (2024)：直线化流加速采样，但不降低单步成本 InstaFlow (2024)：一步文生图，但无法扩展到视频 与前序工作的本质区别： 同时解决注意力复杂度（Gated L-G Attention + token dropping）和采样步数（solution-flow + MVA 正则化），从头训练无需教师模型 4.2 方法原理 EFlow 基于 solution-flow 目标，学习将时刻 t 的噪声状态直接映射到时刻 s（跨越多个扩散步）。核心创新有三：(1) Gated Local-Global Attention 将注意力分为局部窗口注意力和全局稀疏注意力两部分，通过门控机制融合，关键是设计为对 random token dropping 高度稳定——训练时随机丢弃 50-70% 的 token 而不影响质量；(2) Path-Drop Guided Training 在少步训练中用条件路径和无条件路径的随机丢弃替代传统 CFG（后者需要两次前向传播），将引导成本降为零；(3) Mean-Velocity Additivity 正则化器约束不同步数下的速度场之和等于总位移，确保 1-4 步生成的一致性。从头训练流程支持直接训练少步模型，无需先训练多步模型再蒸馏。 4.3 核心创新 提出 EFlow，同时解决注意力复杂度和采样步数两大瓶颈的统一框架 Gated Local-Global Attention：可丢弃 token 的混合注意力块，在激进随机 token 丢弃下保持稳定 Path-Drop Guided Training：用计算廉价的弱路径替代昂贵的 classifier-free guidance 目标 Mean-Velocity Additivity 正则化器：确保极低步数下的生成保真度 从头训练达到 45.3 倍推理加速，2.5 倍训练吞吐量提升 4.4 实验结果 在 Kinetics-600 和大规模 T2V 数据集上验证。4步生成质量与标准 50 步模型相当。训练吞吐量比标准 solution-flow 提升 2.5 倍。推理延迟降低 45.3 倍。生成质量 FVD 与多步基线竞争。 4.5 关键洞察 随机 token dropping 在极端比例下可能影响细节质量。Path-Drop Guided 是否在所有场景下都能替代 CFG 有待更多验证。从头训练的计算量仍然很大（虽然吞吐量提升了2.5倍）。目前主要在较短视频上验证。 技术演进定位： 首个同时解决两大瓶颈的统一加速框架，45.3 倍推理加速具有部署实用价值 可能的后续方向： 与视频编解码器融合：端到端优化编码-生成-解码管线 硬件适配：针对特定 GPU/NPU 架构定制注意力模式 实时生成：结合 PackForcing 等策略实现长视频实时生成 5. ShotStream：流式多镜头视频生成：实时交互式叙事 论文: ShotStream arXiv: 2603.25746 机构: CUHK, Kuaishou Technology 5.1 研究动机 核心问题： 多镜头视频生成的双向架构导致交互性差、延迟高，用户无法实时参与创作 多镜头视频生成是长叙事视频的关键，但当前双向扩散架构（如全序列并行生成）存在交互性差和延迟高的问题——用户无法在生成过程中动态调整叙事方向，且需要等待整个序列生成完成才能看到结果。 前序工作及局限： MovieFactory (2024)：多镜头电影生成，但一次性生成全序列不可交互 VideoDirectorGPT (2024)：LLM 驱动视频导演，规划与生成分离 Vlogger (2025)：长视频博客生成，不支持流式输出 Kling (2025)：快手视频生成模型，单镜头生成 与前序工作的本质区别： 首个因果流式多镜头架构，通过双缓存记忆和两阶段蒸馏实现 16 FPS 实时交互式叙事 5.2 方法原理 ShotStream 的流程分为训练和推理两阶段。训练阶段：(1) 将预训练 T2V 模型微调为双向 next-shot 生成器，学习根据前序镜头和文本提示生成下一个镜头；(2) 通过分布匹配蒸馏将双向教师蒸馏为因果学生模型。为解决因果自回归的两大挑战：(a) 镜头间一致性——引入全局上下文缓存（Global Context Cache），存储所有前序镜头的条件帧作为长程记忆；(b) 误差累积——设计两阶段蒸馏策略：第一阶段在真实历史上进行镜头内自强迫训练，第二阶段在自生成的历史上进行镜头间自强迫训练，逐步暴露给模型自身的生成误差。RoPE 不连续性指示器通过在全局和局部缓存之间插入位置编码跳跃来消除歧义。 5.3 核心创新 提出 ShotStream，首个因果多镜头视频生成架构，支持流式实时交互 将多镜头生成重构为 next-shot generation：基于历史镜头上下文生成下一个镜头 双缓存记忆机制：全局上下文缓存（镜头间一致性）+ 局部上下文缓存（镜头内一致性），RoPE 不连续性指示器区分两者 两阶段蒸馏策略：镜头内自强迫 → 镜头间自强迫，有效弥合训练-测试差距 单 GPU 达到 16 FPS 实时生成 5.4 实验结果 在 MovieGen 和 StoryBench 上评测。亚秒级延迟，单 GPU 16 FPS。多镜头连贯性指标（FCD、IC-LPIPS）与双向模型持平甚至更优。支持用户中途修改叙事提示，实现真正的交互式叙事。 5.5 关键洞察 因果架构天然信息量少于双向架构，长程一致性在超长叙事（10+镜头）下可能衰减。蒸馏质量依赖双向教师模型。全局上下文缓存随镜头数增长可能成为新的内存瓶颈。 技术演进定位： 开创了流式交互式视频叙事的新范式，是 AI 视频工具从离线走向实时的关键一步 可能的后续方向： 多角色交互：支持多角色多视角的复杂叙事 与 LLM 集成：用大语言模型实时规划叙事脉络 商业化部署：面向短视频平台和游戏行业的实时视频生成 6. Gloria：基于内容锚点的长时角色一致性视频生成 论文: Gloria arXiv: 2603.29931 机构: USTC (CVPR 2026) 6.1 研究动机 核心问题： 长时间角色视频生成中身份漂移严重，多视角和表情一致性难以保持 数字角色是现代媒体的核心，但生成长时间、多视角一致且表情丰富的角色视频仍是开放挑战。现有方法面临两类问题：要么参考信息不足导致身份漂移，要么使用非角色中心的记忆信息导致一致性次优。 前序工作及局限： IP-Adapter (2023)：图像提示适配器，角色信息通过单图注入，长视频中易漂移 AnimateAnyone (2024)：可控人物动画，但一致性限于短视频 MagicAnimate (2024)：人物动画，依赖骨骼驱动不够灵活 ID-Animator (2025)：身份保持动画，但多视角一致性不足 与前序工作的本质区别： 通过三类内容锚点（全局/视角/表情）提供稳定参考，超集锚定防止复制粘贴，实现 10+ 分钟级别的角色一致性 6.2 方法原理 Gloria 将角色视频生成类比为由外向内观察的场景。核心是通过一组紧凑的锚帧来描述角色的视觉属性：(1) 全局锚点——一个标准正面参考图，提供身份基准；(2) 视角锚点——来自不同视角的参考帧，覆盖角色的多视角外观；(3) 表情锚点——包含不同表情的帧，编码角色的表情动态范围。训练时，通过超集内容锚定策略——提供比目标片段更多的锚点信息（包括训练剪辑之外的帧），迫使模型学习从锚点中提取有用信息而非简单复制。同时使用 RoPE 位置偏移作为弱条件区分不同锚点帧，让模型知道哪些帧来自哪个视角。数据管线方面，从海量视频中自动检测角色区域、跟踪身份、提取关键帧作为锚点。 6.3 核心创新 提出内容锚点（Content Anchors）表示角色视觉属性：全局锚点（身份特征）+ 视角锚点（多视角外观）+ 表情锚点（表情动态） 超集内容锚定（Superset Content Anchoring）：提供训练内和训练外的片段提示，防止模型简单复制粘贴 RoPE 作为弱条件：编码位置偏移来区分多个锚点帧，避免多参考冲突 可扩展的锚点提取管线：从海量视频中自动提取角色锚点 生成超过 10 分钟的一致性角色视频（CVPR 2026 接收） 6.4 实验结果 生成超过 10 分钟的长视频，保持角色身份、多视角外观和表情一致性。在人类评估中，ID 一致性和外观多样性均超过 SOTA 方法（包括 IP-Adapter、AnimateAnyone 等）。被 CVPR 2026 主会议接收。 6.5 关键洞察 锚点提取管线依赖角色检测和跟踪的准确性，遮挡严重的场景可能失败。超集锚定策略增加了训练复杂度。对非人物角色（如动漫、卡通角色）的泛化能力需要更多验证。10 分钟的一致性主要在受控场景下验证。 技术演进定位： 角色一致性视频生成的新标杆，锚点机制为长视频角色保持提供了有效范式（CVPR 2026） 可能的后续方向： 多角色一致性：同时保持多个角色的身份一致性 跨域角色：从真人扩展到动漫、卡通、3D 虚拟人等 实时角色创作：结合 ShotStream 等流式架构实现实时角色视频 横向对比与技术脉络总结 架构与任务对比 论文 核心架构 主要任务 关键创新 输入形式 OmniWeaving MLLM + DiT T2V/I2V/V2V 统一 推理驱动+组合数据 文本+多图+视频自由组合 PackForcing 自回归 DiT 长视频生成 三分区 KV-cache 文本 → 2分钟视频 VGGRPO DiT + LGM 几何一致性后训练 4D 潜空间几何奖励 文本 → 几何一致视频 EFlow Gated L-G DiT 高效少步生成 token dropping + MVA 文本 → 4步高质量视频 ShotStream 因果 DiT 流式多镜头叙事 双缓存+两阶段蒸馏 逐镜头文本 → 实时视频 Gloria DiT + 锚点 角色一致性生成 三类内容锚点 角色参考图 → 10min视频 训练范式与效率对比 论文 训练范式 外部监督 推理效率 核心瓶颈解决 OmniWeaving 三阶段渐进训练 组合数据+推理增强 标准 DiT 速度 任务碎片化 PackForcing 短视频训练+时间外推 无（5秒视频） 单 GPU 2分钟 内存爆炸（KV-cache→4GB） VGGRPO GRPO 后训练 LGM 伪标签 与基线相同 几何违反（相机稳定↑23%） EFlow Solution-flow 从头训练 无需教师模型 45.3× 加速 注意力O(n²)+多步采样 ShotStream 两阶段蒸馏 双向教师蒸馏 16 FPS 实时 延迟高+不可交互 Gloria 端到端锚点训练 自动锚点提取 标准 DiT 速度 长时身份漂移 核心技术趋势 趋势 1：视频生成从碎片化走向统一 OmniWeaving 证明了 MLLM+DiT 架构可以在单一框架内处理 T2V/I2V/V2V 等多种视频任务。推理驱动的数据构建策略使模型能理解复杂的多模态组合意图，这预示着未来的视频 AI 将是全能型的。 趋势 2：长视频生成突破内存瓶颈 PackForcing 的三分区 KV-cache 策略实现了 24 倍时间外推（5秒→2分钟），Gloria 的内容锚点将角色一致性推到 10 分钟级。两者共同表明长视频生成的关键不在于生成能力本身，而在于上下文管理和信息压缩。 趋势 3：GRPO 后训练成为视频质量提升的新范式 VGGRPO 将 GRPO 引入视频几何一致性优化，在 latent 空间计算奖励避免了昂贵的 RGB 解码。这延续了 LLM 领域 RLHF/DPO 的成功经验，后训练对齐正成为视频扩散模型质量提升的关键杠杆。 趋势 4：少步生成从蒸馏走向从头训练 EFlow 的 Gated L-G Attention + token dropping + MVA 正则化实现了 45.3 倍推理加速，且无需教师模型。这种从头训练少步模型的路线比蒸馏更灵活，可能成为效率优化的主流方案。 趋势 5：交互式实时生成开启视频创作新时代 ShotStream 的因果流式架构达到 16 FPS 实时生成，用户可以边看边改叙事方向。这标志着视频 AI 从「离线工具」向「实时合作者」的转变，对短视频平台和游戏行业有重要意义。 技术路线全景图 视频生成与编辑技术路线 ├── 统一框架 │ └── MLLM + DiT 双模块 → OmniWeaving（多模态组合+推理驱动） ├── 长视频生成 │ ├── KV-cache 压缩 → PackForcing（三分区策略，24x 外推） │ └── 角色一致性 → Gloria（三类内容锚点，10min 级别） ├── 质量对齐 │ └── 后训练 GRPO → VGGRPO（4D 潜空间几何奖励） ├── 推理效率 │ └── 从头训练少步 → EFlow（45.3x 加速，无需蒸馏） └── 交互式生成 └── 因果流式架构 → ShotStream（16 FPS 实时多镜头叙事） 总结与展望 本期专题的 6 篇论文共同描绘了视频生成与编辑领域的前沿全景图。从统一框架（OmniWeaving）到长视频突破（PackForcing/Gloria），从物理对齐（VGGRPO）到效率革命（EFlow），再到交互式创作（ShotStream），视频生成正在从技术验证走向实际可用。几个值得关注的未来方向： 统一+长视频：将 PackForcing 的 KV-cache 策略融入 OmniWeaving 等全能框架 多维度后训练：将几何、物理、美学奖励统一到一个 GRPO 框架中 实时+角色：将 Gloria 的锚点机制与 ShotStream 的流式架构结合，实现实时角色叙事 端到端效率：将 EFlow 的少步生成与 PackForcing 的内存优化联合使用 人工智能炼丹师 整理 | 数据来源：arXiv 2026年3月29日 — 2026年4月4日 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化 AIGC 视觉生成领域 · 每日论文解读 (2026-03-28) 人工智能炼丹师 整理 | 共 9 篇论文 | 重点深度解读 8 篇 今日核心看点 UniGRPO 统一后训练 FIRM 忠实奖励建模 EditHF-1M 29M偏好对 MV-GRPO 多视图评估 VIGOR 视频几何奖励 VHS CVPR2026 推理扩展 TATAR 不对称奖励 SeGroS 语义锚定监督 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 9 篇，重点解读 8 篇。 方向分布： 后训练框架: UniGRPO(统一多模态后训练), MV-GRPO(多视图GRPO), SeGroS(语义锚定监督) 奖励模型与评估: FIRM(编辑+生成), EditHF-1M(29M偏好对), VIGOR(视频几何), TATAR(质量+美学), VHS(潜在验证器) 重点论文深度解读 1. UniGRPO 统一策略优化实现推理驱动视觉生成 | 上海AI Lab/港中文 | Shanghai AI Lab, CUHK | arXiv:2603.23500 关键词： 统一后训练, GRPO, 推理驱动生成, Flow Matching, 交错生成 研究动机 核心问题： 统一多模态模型（自回归文本+Flow Matching图像）缺乏后训练方法 统一多模态模型正朝着交错生成（interleaved generation）发展——自回归建模文本、Flow Matching 建模图像。然而，如何对这种混合架构进行强化学习后训练？现有 GRPO 只针对单一模态，且 FlowGRPO 依赖 Classifier-Free Guidance（CFG）导致轨迹分叉，难以扩展到多轮交互场景。核心挑战是：如何在一个统一的 RL 框架中同时优化推理（文本）和生成（图像）两个阶段的策略？ 前序工作及局限： GRPO (DeepSeek 2025)：大语言模型的群体相对策略优化 FlowGRPO (2026)：将GRPO扩展到Flow Matching视觉生成 Transfusion (Meta 2024)：统一自回归+扩散的多模态架构 与前序工作的本质区别： UniGRPO首次统一优化文本推理和图像合成，消除CFG保持线性轨迹 方法原理 UniGRPO 将多模态生成建模为稀疏终端奖励的马尔可夫决策过程（MDP），联合优化文本推理和图像合成两个阶段。框架采用极简设计原则：(1) 文本推理阶段使用标准 GRPO，让模型学会扩展用户提示为详细推理链；(2) 图像合成阶段使用 FlowGRPO，在 Flow Matching 的速度场上进行策略优化。关键改进有两点：第一，消除 Classifier-Free Guidance（CFG），保持线性、未分叉的生成轨迹，这对多轮交互和多条件生成（如编辑）至关重要；第二，将标准的潜空间 KL 惩罚替换为直接作用于速度场的 MSE 惩罚，提供更鲁棒的正则化信号，有效缓解 Reward Hacking。两种模态的优化通过统一的 MDP 框架无缝集成。 核心创新 首个统一的多模态生成后训练框架：联合优化自回归文本推理和 Flow Matching 图像合成 消除 CFG 保持线性轨迹：使框架可扩展到多轮交错生成场景 速度场 MSE 正则化替代 KL 惩罚：直接在速度场空间约束策略偏移，更鲁棒地防止 Reward Hacking 极简设计原则：无缝集成标准 GRPO + FlowGRPO，避免过度工程化 为完全交错式多模态模型的后训练建立了可扩展基线 实验结果 实验表明，UniGRPO 的统一训练方案显著提高了推理驱动图像生成的质量。在标准评估基准上，文本推理质量和图像生成保真度均获得一致提升。消除 CFG 后的模型在多轮交互场景中表现更稳定，MSE 速度场正则化有效避免了训练后期的 Reward Hacking 现象。该框架为未来完全交错模型的后训练提供了鲁棒且可扩展的基线。 批判性点评 新颖性： 首次将GRPO统一应用于文本推理+图像Flow Matching的交错生成，消除CFG保持线性轨迹的设计优雅且实用。但概念上是GRPO和FlowGRPO的自然组合，原创突破性有限。 可复现性： 基于开源Janus-Pro-7B模型，论文提供了完整的算法伪代码和超参数设置。但训练使用80张H100，资源门槛较高。代码和模型权重已开源。 影响力： 为统一多模态模型的后训练建立了可扩展基线，对Chameleon、Transfusion等架构有直接参考价值。极简设计降低了社区跟进门槛。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： 交错生成后训练的可扩展基线 可能的后续方向： 多轮交互场景的后训练 视频+音频交错生成 在线持续学习 2. FIRM 忠实图像奖励建模：鲁棒奖励模型+RL优化 | 上交/港中文/上海AI Lab | SJTU, CUHK, Shanghai AI Lab | arXiv:2603.12247 关键词： 奖励模型, 图像编辑, 文生图, RLHF, 开源数据集 研究动机 核心问题： 图像编辑和生成的奖励模型存在幻觉，评分不忠实 RL 已成为增强图像编辑和文生图生成的重要范式，但现有奖励模型存在严重的幻觉问题——产生噪声评分，误导优化方向。核心痛点是：缺乏专门针对图像编辑和生成的大规模高质量评分数据集，导致奖励模型无法提供忠实、准确的反馈信号。 前序工作及局限： ImageReward (Xu 2023)：首个文生图人类偏好奖励模型 HPSv2 (Wu 2023)：人类偏好评分模型v2 PickScore (Kirstain 2023)：Pick-a-Pic数据驱动的偏好评分 与前序工作的本质区别： FIRM专门解决编辑+生成双赛道的忠实性，提出Base-and-Bonus奖励策略 方法原理 FIRM 框架从数据、模型、策略三层解决奖励模型的忠实性问题：(1) 数据层：设计专业化数据整理管线，构建 FIRM-Edit-370K（编辑评分数据，评估执行力+一致性）和 FIRM-Gen-293K（生成评分数据，评估指令遵循），总计 66.3 万条评分数据；(2) 模型层：基于上述数据训练 FIRM-Edit-8B 和 FIRM-Gen-8B 两个 8B 参数的专业奖励模型，并发布 FIRM-Bench 评测基准；(3) 策略层：提出 Base-and-Bonus 奖励策略——对编辑任务使用 CME（Consistency-Modulated Execution，一致性调制执行），对生成任务使用 QMA（Quality-Modulated Alignment，质量调制对齐），巧妙平衡相互竞争的优化目标。 核心创新 首个系统性解决图像编辑和生成奖励建模的综合框架 发布 FIRM-Edit-370K + FIRM-Gen-293K 全套开源评分数据集 Base-and-Bonus 奖励策略：CME 平衡编辑的执行力与一致性，QMA 平衡生成的质量与对齐 FIRM-Bench 编辑+生成批评评测基准 消除奖励幻觉：比现有通用指标更准确匹配人类判断 实验结果 FIRM 系列奖励模型在 FIRM-Bench 上显著超越现有指标对人类判断的匹配度。基于 FIRM 的 RL 优化产出 FIRM-Qwen-Edit 和 FIRM-SD3.5，在忠实度和指令遵循方面确立了新标准。所有数据集、模型和代码均已公开发布。 批判性点评 新颖性： 从数据-模型-策略三层全栈构建忠实奖励体系，Base-and-Bonus策略巧妙解决了编辑和生成任务间的优化矛盾。CME和QMA两个具体策略设计有针对性且有理论支撑。 可复现性： 全套数据集(FIRM-Edit 37万+FIRM-Gen 29.3万)、模型权重和代码均已开源。基于InternVL2-8B训练，硬件需求可控。社区复现门槛低。 影响力： 视觉生成RLHF奖励建模的新标准。全栈开源的做法对社区价值巨大。Base-and-Bonus策略可泛化到其他多任务RL场景。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： 视觉生成RLHF奖励建模的新标准 可能的后续方向： 视频编辑奖励 3D生成奖励 多目标帕累托优化 3. EditHF-1M 百万级图像编辑人类偏好反馈数据集 | 上交 | Shanghai Jiao Tong University | arXiv:2603.14916 关键词： 编辑偏好数据集, 29M偏好对, MLLM评估模型, 奖励信号, RL优化 研究动机 核心问题： 图像编辑缺乏大规模多维度人类偏好数据集 文本引导的图像编辑取得了显著进展，但编辑结果仍常出现伪影、意外编辑、不美观等问题。现有编辑评估方法缺乏大规模可扩展的评估模型，这严重限制了编辑领域人类反馈奖励模型的发展。核心瓶颈是：缺少百万级规模、多维度评估的人类偏好数据集。 前序工作及局限： InstructPix2Pix (Brooks 2023)：GPT-4生成编辑指令，数据规模有限 MagicBrush (Zhang 2024)：人工标注编辑数据集，规模较小 FIRM-Edit-370K：专业化编辑评分数据 与前序工作的本质区别： EditHF-1M将规模推至29M偏好对，三维度(质量+对齐+保持)评估体系 方法原理 EditHF-1M 体系包含三个层次：(1) 数据集层：构建百万级图像编辑偏好数据集，包含超过 2900 万人类偏好对和 14.8 万人类主观评分（MOS），均从视觉质量、指令对齐、属性保持三个维度进行评估；(2) 模型层：基于 EditHF-1M 训练 EditHF——一个基于多模态大语言模型（MLLM）的评估模型，提供与人类对齐的编辑反馈；(3) 应用层：引入 EditHF-Reward，将 EditHF 作为奖励信号，通过强化学习优化文本引导图像编辑模型 Qwen-Image-Edit。 核心创新 迄今最大的图像编辑偏好数据集：29M偏好对 + 148K MOS评分 三维度评估体系：视觉质量 + 指令对齐 + 属性保持 基于MLLM的编辑评估模型 EditHF EditHF-Reward：将评估模型转化为RL奖励信号 在 Qwen-Image-Edit 上验证显著性能提升 实验结果 EditHF 在与人类偏好对齐方面超越现有指标，并在其他数据集上展现强泛化能力。使用 EditHF-Reward 微调 Qwen-Image-Edit 后，编辑质量在视觉质量、指令对齐和属性保持三个维度均获得显著提升。数据集和代码将开源。 批判性点评 新颖性： 在偏好数据集的规模和评估维度设计上均为领先。三维度(质量+对齐+保持)评估体系比单标量更精准。但核心方法(人类标注+Bradley-Terry模型训练)较传统，创新更多在工程规模上。 可复现性： 数据集规模庞大(29M对)使得完整复现成本极高。评估模型基于公开架构训练，技术上可复现但资源需求大。数据集已部分开放。 影响力： 为图像编辑偏好建模提供了最大规模的公开基准。三维度评估范式可能成为社区标准。对未来编辑模型的开发和评估有直接推动作用。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： 迄今最大的图像编辑偏好数据集 可能的后续方向： 视频编辑偏好数据 自动化偏好标注 跨域泛化评估 4. MV-GRPO 多视图GRPO：增强条件空间实现密集奖励映射 | 港中文/上海AI Lab | CUHK, Shanghai AI Lab | arXiv:2603.12648 关键词： 多视图评估, GRPO改进, 条件增强, 偏好对齐, Flow Matching 研究动机 核心问题： 标准GRPO的单视图评估方案限制了偏好对齐效果 标准 GRPO 采用单一条件评估一组生成样本——这种稀疏的单视图评估方案未能充分探索样本间关系，限制了对齐有效性和性能上限。直觉上，同一组样本在不同语义视角下可能展现出完全不同的优劣排序。如何构建密集的多视图奖励映射以更充分地利用每次采样？ 前序工作及局限： GRPO (DeepSeek 2025)：单条件评估一组样本 DPO (Rafailov 2023)：直接偏好优化但依赖配对数据 FlowGRPO (2026)：Flow Matching上的GRPO 与前序工作的本质区别： MV-GRPO通过条件增强实现多视图密集评估，无需样本再生成 方法原理 MV-GRPO 通过增强条件空间将稀疏单视图评估转化为密集多视图评估：(1) 对于由一个提示生成的一组样本，利用灵活的条件增强器生成语义相邻但多样化的标题（captions）；(2) 这些多视图标题提供不同语义属性的评估角度，捕捉更丰富的优化信号；(3) 通过推导原始样本在新标题条件下的概率分布，无需昂贵的样本再生成即可将多视图评估纳入训练；(4) 多视图优势重估计产生密集的奖励映射，显著增强关系探索。 核心创新 首次将多视图评估引入GRPO框架 条件增强器生成语义相邻的多样化标题 无需样本再生成的多视图优势重估计 从稀疏单视图到密集多视图的范式转换 在文生图Flow Matching模型上超越SOTA 实验结果 大量实验表明，MV-GRPO 在偏好对齐性能上优于标准 GRPO 和其他最先进方法。多视图评估提供的密集奖励信号有效提升了文生图 Flow Matching 模型在多个评估维度上的表现。 批判性点评 新颖性： 通过概率分布推导将多视图评估转化为无需再生成的数学等价形式，理论推导优雅。从稀疏到密集评估的范式转换思路具有一般性。但增强策略的设计空间未充分探索。 可复现性： 基于开源SDXL/PixArt-α模型，算法伪代码清晰。条件增强器使用现有LLM改写，技术门槛低。计算开销仅增加奖励模型推理，几乎零额外训练成本。 影响力： 为GRPO框架提供了一种低成本且通用的性能增强方案。密集评估思路可扩展到其他RL-based生成优化。在标注预算受限时尤其有价值。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： GRPO框架的重要扩展，从稀疏到密集 可能的后续方向： 自适应视图数量选择 跨模态多视图 在线条件增强 5. VIGOR 视频几何奖励模型：跨帧重投影误差评估时序一致性 | arXiv:2603.16271 关键词： 视频奖励模型, 几何一致性, 重投影误差, 推理时扩展, SFT/RL后训练 研究动机 核心问题： 视频生成缺乏几何一致性评估和优化信号 视频扩散模型训练缺乏几何监督，生成视频中频繁出现物体变形、空间漂移和深度违反等伪影。现有视频评估指标在像素空间度量不一致性，容易被像素强度差异干扰。需要一种更符合物理规律、更鲁棒的视频质量评估方法来驱动后训练优化。 前序工作及局限： VBench (Huang 2024)：视频生成综合评测基准 VideoScore (He 2024)：基于MLLM的视频质量评分 VisionReward (2025)：细粒度多维度视频偏好模型 与前序工作的本质区别： VIGOR首次引入基于几何的跨帧重投影误差作为视频奖励信号 方法原理 VIGOR 利用预训练几何基础模型构建基于几何的视频奖励：(1) 通过跨帧重投影误差评估多视图一致性——以点对点方式计算误差，比像素空间度量更符合物理规律且更鲁棒；(2) 引入几何感知采样策略，过滤低纹理和非语义区域，聚焦具有可靠对应关系的几何有意义区域；(3) 将此奖励通过两条互补途径应用：SFT 或 RL 进行双向模型后训练；以及推理时作为路径验证器实现因果视频模型的 test-time scaling。 核心创新 首个基于几何的视频生成奖励模型 跨帧重投影误差比像素级度量更鲁棒 几何感知采样：过滤低纹理区域聚焦可靠对应 双路径应用：后训练(SFT/RL) + 推理时扩展(test-time scaling) 为开源视频模型提供低成本增强方案 实验结果 实验验证了 VIGOR 基于几何的奖励在鲁棒性上显著优于其他变体。通过推理时扩展，VIGOR 为开源视频模型提供了实用的增强方案，无需大量计算资源进行重训练。后训练路径同样展现了一致的质量改善。 批判性点评 新颖性： 首次将几何重投影误差作为视频生成的奖励信号，利用预训练几何基础模型避免了昂贵的3D标注。双路径应用模式增加了实用性。但在non-rigid场景(如流体、火焰)中的适用性未讨论。 可复现性： 基于开源视频扩散模型和MoGe几何模型。技术方案描述详细，几何奖励计算流程可复现。但完整训练流程的超参数和计算资源需求描述不够详细。 影响力： 为视频生成质量评估引入了物理层面的几何先验，与现有像素级和语义级指标互补。对开源视频模型的质量提升提供了新的优化信号来源。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： 视频生成几何一致性优化的开创性工作 可能的后续方向： 物理一致性奖励 音视频同步奖励 4D时空一致性评估 6. VHS 潜在空间验证器实现高效推理时扩展 | CVPR 2026 | University of Modena | arXiv:2603.22492 关键词： 推理时扩展, 潜在验证器, DiT, CVPR 2026, 高效验证 研究动机 核心问题： 推理时扩展(test-time scaling)的验证器计算成本过高 推理时扩展（inference-time scaling）通过验证器对候选输出评分选择来改进生成质量。但常用的 MLLM 验证器需要将候选从潜空间解码到像素空间再编码为视觉嵌入——冗余且昂贵。如何在不解码到像素空间的情况下直接评估生成质量？ 前序工作及局限： Best-of-N (2024)：MLLM验证器对候选评分选择 MLLM Verifier：需要解码到像素空间再编码为视觉嵌入 DiT单步生成器：内部hidden states包含丰富质量信号 与前序工作的本质区别： VHS直接在DiT隐藏状态上验证，跳过像素解码-重编码 方法原理 VHS（Verifier on Hidden States）直接在扩散 Transformer（DiT）单步生成器的中间隐藏表示上进行验证：(1) 分析生成器的特征表示而无需解码到像素空间；(2) 训练一个轻量级验证器网络直接在 DiT 的 hidden states 上评分；(3) 在极小推理预算（少量候选者）下实现比 MLLM 验证器更高效的推理时扩展。 核心创新 首个直接在DiT隐藏状态上操作的生成验证器 跳过像素解码-重编码的冗余流程 CVPR 2026，推理时间-63.3%，FLOPs-51%，VRAM-14.5% 极小推理预算下超越MLLM验证器 GenEval性能+2.7%同时节省大量计算资源 实验结果 与标准 MLLM 验证器相比，VHS 将联合生成和验证时间减少 63.3%，FLOPs 减少 51%，VRAM 使用量减少 14.5%，并在相同推理时间预算下实现 GenEval 性能 +2.7% 的提升。CVPR 2026 接收。 批判性点评 新颖性： 直接在DiT隐藏状态上训练验证器的思路简单但有效，避免了传统的编码-解码往返。揭示了DiT中间表示包含丰富质量信号的重要发现。方法设计简洁但insight深刻。 可复现性： 基于开源DMD2-SDXL模型，验证器网络结构简单(线性探针+小MLP)。训练数据通过自采样获取，计算成本可控。整体复现门槛低。 影响力： CVPR接收验证了学术价值。隐藏状态验证器的效率优势对推理时扩展的实际部署意义重大。可能启发更多利用扩散模型中间表示的工作。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： CVPR 2026, 高效推理时扩展的新范式 可能的后续方向： 多步DiT的流式验证 与后训练的协同优化 移动端部署 7. TATAR 一个模型两种思维：统一IQA+美学评估的任务条件推理 | arXiv:2603.19779 关键词： 图像质量评估, 美学评估, GRPO, 不对称奖励, 任务条件推理 研究动机 核心问题： IQA和IAA使用相同推理逻辑和奖励机制存在根本性错位 将图像质量评估（IQA）和图像美学评估（IAA）统一在单一 MLLM 中是有前景的方向，但现有方法对两个任务使用相同的推理逻辑和奖励机制——这存在根本性错位：IQA 依赖客观感知线索，需要简明推理；IAA 需要深思熟虑的语义判断。统一框架如何针对不同任务特性提供差异化的推理和优化？ 前序工作及局限： Q-Instruct (Wu 2024)：统一质量评估指令调优 LIQE (Zhang 2023)：CLIP增强的图像质量评估 AestheticScore：单一标量美学评分 与前序工作的本质区别： TATAR揭示推理错位和优化错位，提出快慢推理+不对称奖励 方法原理 TATAR 共享视觉-语言主干，但在后训练阶段针对任务特性进行条件调节：(1) 快慢推理构建：IQA 配对简明感知理由，IAA 配对深思熟虑的美学叙述；(2) 两阶段学习：先 SFT 建立任务感知行为先验，再 GRPO 进行奖励驱动细化；(3) 不对称奖励设计：IQA 使用高斯分数塑造，IAA 使用 Thurstone 风格的完成度排名。 核心创新 揭示IQA和IAA的推理错位和优化错位问题 快慢任务特定推理：IQA简明+IAA深思熟虑 SFT+GRPO两阶段学习建立任务感知行为 不对称奖励：高斯分数塑造(IQA)+Thurstone排名(IAA) 八个基准上统一超越任务专用模型 实验结果 在八个基准上，TATAR 在域内和跨域设置下均显著超越先前统一基线，同时保持与特定任务专业模型竞争力的性能。美学评估的训练动态也更加稳定。代码已开源。 批判性点评 新颖性： 揭示IQA和IAA需要不同推理模式(快/慢思维)是有价值的洞见。不对称奖励设计——IQA用高斯分数塑造、IAA用Thurstone排名——理论动机清晰。SFT+GRPO两阶段框架设计合理。 可复现性： 基于开源MLLM骨干(如InternVL系列)，训练数据来自公开IQA/IAA数据集。不对称奖励计算流程有完整公式推导。整体可复现性好。 影响力： 统一IQA和IAA评估对视觉生成的质量控制有直接应用价值。不对称奖励设计的思路可泛化到其他需要差异化优化策略的多任务场景。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： 统一感知评分的任务条件后训练新范式 可能的后续方向： 视频质量+美学统一评估 多粒度感知推理 人类偏好对齐 8. SeGroS 语义锚定监督增强统一多模态模型对齐 | arXiv:2603.19807 关键词： 语义锚定, 统一多模态, 视觉提示, 掩码重建, 生成对齐 研究动机 核心问题： 统一多模态模型的生成训练存在粒度不匹配和监督冗余 统一多模态模型集成了理解和生成，但当前生成训练范式存在粒度不匹配和监督冗余两大局限：文本提示的稀疏性无法充分指导细粒度视觉生成，全图重建损失在非语义关键区域浪费了大量监督信号。如何通过更精准的监督信号提升生成保真度和跨模态对齐？ 前序工作及局限： Show-o (Xie 2024)：统一文本到图像理解和生成 Transfusion (Meta 2024)：融合自回归+扩散 Chameleon (Meta 2024)：完全自回归的多模态模型 与前序工作的本质区别： SeGroS通过视觉定位图构建语义锚定监督，解决文本稀疏+监督冗余 方法原理 SeGroS 提出语义锚定监督框架：(1) 构建视觉定位图（visual grounding map），将文本提示与图像的语义关键区域关联；(2) 基于定位图构建语义化视觉提示，补偿文本提示的稀疏性，为生成过程提供更丰富的空间引导；(3) 生成语义锚定的损坏输入，通过将重建损失限制在核心文本对齐区域，显式增强掩码重建的监督效果，减少非语义区域的监督冗余。 核心创新 揭示统一多模态模型的粒度不匹配和监督冗余问题 视觉定位图：文本-图像语义关键区域关联 语义化视觉提示：补偿文本提示稀疏性 语义锚定损坏输入：重建损失聚焦核心对齐区域 在GenEval/DPGBench/CompBench上显著提升对齐 实验结果 在 GenEval、DPGBench 和 CompBench 上的广泛评估表明，SeGroS 显著提高了多种统一多模态模型架构的生成保真度和跨模态对齐能力。 批判性点评 新颖性： 视觉定位图将文本-区域关联显式化，解决了统一模型中的文本稀疏和监督冗余两个关键问题。方案设计直觉清晰，理论动机充分。但定位图生成依赖外部模型(如GroundingDINO)。 可复现性： 基于开源Show-o架构。视觉定位图生成管线依赖GroundingDINO等开源工具。训练流程和超参数描述清晰。整体可复现性较好，但pipeline复杂度较高。 影响力： 为统一多模态模型的对齐训练提供了新的监督信号设计范式。视觉定位图的概念可能启发更多空间感知的训练策略。对Show-o、Chameleon等架构有直接参考价值。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1M 29M偏好对 + FIRM 66.3万评分 驱动奖励模型走向专业化 后训练 + 推理扩展互补 — VHS 潜在验证器 + VIGOR test-time scaling 提供不改权重的质量提升路径 技术演进定位： 统一多模态模型的生成对齐增强方法 可能的后续方向： 视频多模态的语义锚定 自适应监督区域选择 动态粒度调整 其余论文 · 贡献与效果总结 # 论文 机构 关键词 主要贡献 效果 1 _placeholder (Weekend Survey - No Rest Papers) N/A N/A N/A 趋势观察 GRPO 成为视觉生成后训练的主流范式 — 从标准 GRPO 到 UniGRPO（统一多模态）、MV-GRPO（多视图评估）、FlowGRPO（Flow Matching），GRPO 的变体已覆盖文生图、文生视频、交错生成等全场景。 专业化奖励模型快速涌现 — FIRM（编辑+生成双赛道）、EditHF-1M（百万级编辑偏好）、VIGOR（视频几何）、TATAR（质量+美学双任务）——不同子领域开始构建各自的专业化奖励体系。 推理时扩展成为后训练的互补方案 — VHS 和 VIGOR 都探索了推理时 test-time scaling——通过验证器在推理阶段筛选候选，不修改模型权重即可提升质量，与后训练形成互补。 数据规模驱动奖励质量 — EditHF-1M 的 29M 偏好对、FIRM 的 66.3 万评分数据——大规模人类偏好数据正在成为训练高质量奖励模型的关键竞争壁垒。 人工智能炼丹师 整理 | 2026-03-28 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo| AIGC 周末专题深度解读 | 2026-03-22 | 视频生成与编辑前沿进展 人工智能炼丹师 整理 | 本期专题聚焦 2026 年 3 月第三周（3.15-3.22）视频生成与编辑领域的最新突破，涵盖物理一致生成、无训练编辑、高分辨率合成、推理加速、联合音视频生成等多个前沿方向。 专题概述 视频生成与编辑是当前 AIGC 领域最活跃的研究方向之一。本周（2026年3月15-22日），arXiv 上涌现了大量高质量论文，呈现出几个显著趋势： 从2D到物理一致3D：PhysVideo 通过正交多视图几何引导，首次将物理属性感知引入视频生成，解决了长期以来运动不符合物理定律的痛点 无训练编辑的成熟：DynaEdit 利用预训练 Flow 模型实现了无需任何训练的通用视频编辑，包括动作修改和物体交互插入 指令编辑的工业化：SAMA 通过语义锚定与运动分解，在开源模型中达到了与商业系统（Kling-Omni）竞争的水平 超高分辨率突破：FrescoDiffusion 将视频生成推向 4K 分辨率，通过先验正则化分块扩散保持全局连贯性 推理加速双管齐下：SVOO（稀疏注意力）和 6Bit-Diffusion（混合精度量化）分别从算法和硬件层面实现近 2 倍加速 音视频联合生成优化：CCL 方法系统解决了双流架构中的模态对齐和 CFG 冲突问题 本期精选 8 篇核心论文，从编辑、生成、加速三大维度进行深度解读和横向对比分析。 1. SAMA：分解语义锚定与运动对齐的指令引导视频编辑 论文信息 标题：SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing 作者：Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang 等（字节跳动/清华大学） arXiv：2603.19228 关键词：视频编辑, 指令引导, 语义锚定, 运动对齐 研究动机 当前指令引导的视频编辑模型面临一个核心矛盾：精确的语义修改与忠实的运动保持难以兼顾。现有方法依赖注入外部先验（VLM 特征、结构条件）来缓解这一问题，但外部先验的引入严重限制了模型的鲁棒性和泛化能力。SAMA 提出了一个根本性的解决思路——将视频编辑分解为两个正交的子任务。 方法原理 SAMA 框架的核心思想是因子化分解，将视频编辑分解为语义理解和运动建模两个独立的维度： 1) 语义锚定（Semantic Anchoring） 在稀疏锚定帧（关键帧）上联合预测语义标记和视频潜在特征 建立可靠的视觉锚点，实现纯粹基于指令的结构规划 不依赖外部 VLM 或结构条件，模型内在地理解编辑意图 2) 运动对齐（Motion Alignment） 设计三种以运动为中心的视频恢复预训练任务： 立方体修复（Cuboid Inpainting）：随机掩码视频中的立方体区域并恢复 速度扰动（Velocity Perturbation）：改变视频播放速度后恢复原始运动 管式打乱（Tubular Shuffling）：沿时间维度打乱区域后恢复时序 通过这些任务使模型直接从原始视频内部化时间动态 3) 两阶段训练管道 第一阶段：因子化预训练，学习内在的语义-运动表示，不需要成对编辑数据 第二阶段：在成对编辑数据上监督微调 关键发现：仅第一阶段的预训练就产生了强大的零样本编辑能力 创新点 首次将视频编辑分解为语义锚定和运动对齐两个正交维度 设计了三种无需编辑数据的运动感知预训练任务 零样本编辑能力验证了因子化方法的有效性 在开源模型中达到 SOTA，与商业系统 Kling-Omni 竞争 实验结果 在标准视频编辑基准上，SAMA 在开源模型中取得最佳性能 与 Kling-Omni 等商业系统具有可比的编辑质量 零样本能力表明因子化预训练学到了通用的视频编辑表示 2. DynaEdit：无训练的通用视频内容、动作与动态编辑 论文信息 标题：Versatile Editing of Video Content, Actions, and Dynamics without Training 作者：Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli（Google Research / Technion） arXiv：2603.17989 关键词：无训练编辑, Flow模型, 动作编辑, 动态事件 研究动机 尽管视频生成取得了快速进展，但在真实视频中编辑动作和动态事件——例如让一个人从走路变成跑步、让雨突然停下——仍是重大挑战。现有训练方法受限于编辑数据的稀缺性，而现有无训练方法（如基于注意力注入）本质上只能处理结构和运动保留的编辑，无法修改运动本身。 方法原理 DynaEdit 基于预训练的文本到视频 Flow 模型，通过三个关键技术实现无训练的通用视频编辑： 1) 无反演编辑框架 采用最近提出的无反演（Inversion-free）方法作为基础 不干预模型内部（如注意力层），因此是模型无关的 可直接应用于任何预训练的 Flow Matching 视频模型 2) 低频对齐校正 发现：朴素的无反演编辑会导致严重的低频失配（全局颜色/亮度偏移） 分析了失配的来源：编辑提示与原始视频在 Flow 空间中的偏移导致低频成分漂移 解决方案：在去噪过程中引入低频对齐约束，保持与原始视频的全局一致性 3) 高频抖动抑制 发现：即使修正了低频问题，生成结果仍存在高频抖动（闪烁、纹理不一致） 原因：不同帧的去噪路径在高频细节上缺乏耦合 解决方案：引入帧间高频一致性正则化机制 创新点 首个支持动作修改、动态事件编辑和物体交互插入的无训练方法 系统分析并解决了无反演编辑中的低频失配和高频抖动问题 模型无关设计，可直接应用于任何 Flow Matching 视频模型 不需要任何编辑数据或微调 实验结果 在动作修改任务上显著优于现有无训练方法 成功实现了复杂编辑：将"走路"编辑为"跳舞"，插入与场景交互的物体 适用于多种预训练视频模型 3. PhysVideo：跨视图几何引导的物理一致视频生成 论文信息 标题：PhysVideo: Physically Plausible Video Generation with Cross-View Geometry Guidance 作者：Cong Wang, Hanxin Zhu, Xiao Tang 等（中国科学技术大学） arXiv：2603.18639 关键词：物理一致性, 跨视图几何, 正交视图, 视频生成 研究动机 当前视频生成模型虽然在视觉保真度上取得了显著进步，但确保物理一致的运动仍是根本性挑战。核心原因在于：真实世界的物体运动在三维空间中展开，而视频观察仅提供了这些动力学的局部、视角依赖的投影。这导致模型容易生成违反物理定律的运动——球在空中突然变向、物体穿过墙壁等。 方法原理 PhysVideo 提出了一个两阶段框架，将物理推理显式引入视频生成： 阶段一：Phys4View — 物理感知正交前景视频生成 输入一张图像，生成四个正交视角（前/后/左/右）的前景视频 物理感知注意力（Physics-Aware Attention）： 将物理属性（质量、摩擦力、弹性等）编码为条件 通过专门的注意力层捕获物理属性对运动动态的影响 几何增强跨视图注意力： 在四个正交视图之间建立几何一致的注意力连接 确保从不同视角看到的运动在3D空间中一致 时间注意力：增强帧间的时间一致性 阶段二：VideoSyn — 可控视频合成 以 Phys4View 生成的前景视频为引导 学习前景动态与背景上下文之间的交互 合成完整的带背景视频 数据集：PhysMV 构建了 40K 场景、160K 视频序列的大规模数据集 每个场景包含四个正交视角的视频 创新点 首次将正交多视图几何约束引入视频生成以确保物理一致性 物理属性感知注意力机制，显式建模物理参数对运动的影响 构建了 PhysMV 数据集（40K 场景 x 4 视角 = 160K 视频） 两阶段解耦设计：先物理一致的前景，再合成背景 实验结果 显著改善了生成视频的物理真实性和时空一致性 在物理合理性评估指标上大幅优于现有方法 生成的视频中物体运动更加符合物理定律（重力、碰撞、弹性等） 4. EffectErase：视频物体移除与效果擦除的联合框架 论文信息 标题：EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing 作者：Yang Fu, Yike Zheng, Ziyun Dai, Henghui Ding arXiv：2603.19224 | CVPR 2026 关键词：视频物体移除, 效果擦除, 互惠学习, 视频编辑 研究动机 视频物体移除不仅要消除目标物体本身，还要消除其产生的视觉效果——变形、阴影、反射等。现有基于扩散的视频修复方法虽然能移除物体，但通常难以消除这些附带效果，留下不自然的痕迹。此外，该领域缺乏系统涵盖各种物体效果的大规模数据集。 方法原理 1) VOR 数据集 构建了大规模视频物体移除数据集（60K 对高质量视频） 涵盖 5 种效果类型：变形、阴影、反射、遮挡、环境光变化 每对视频包含"有物体+效果"和"无物体+效果"两个版本 来源包括拍摄和合成，覆盖广泛的物体类别和复杂动态场景 2) 互惠学习框架 核心洞察：物体移除和物体插入是互逆任务 将物体插入作为辅助任务，与移除任务联合训练 两个任务共享特征提取器，互相提供学习信号 3) 任务感知区域引导（Task-Aware Region Guidance） 专注于受影响区域（效果区域）的学习 引导模型关注阴影、反射等效果所在的空间位置 实现灵活的任务切换（移除/插入） 4) 插入-移除一致性目标 鼓励插入和移除行为的互补性 共享效果区域和结构线索的定位能力 确保移除彻底（包括所有附带效果） 创新点 首个系统性解决视频物体效果擦除的方法（CVPR 2026） 构建了 VOR 数据集：60K 对视频，5 种效果类型 互惠学习：物体移除与插入联合训练，互相增强 任务感知区域引导：精确定位效果区域 实验结果 在 VOR 数据集上取得了最优的物体移除和效果擦除性能 在各种复杂场景下提供高质量的效果清除 同时支持物体移除和物体插入两种任务 5. FrescoDiffusion：先验正则化分块扩散实现 4K 图像到视频生成 论文信息 标题：FrescoDiffusion: 4K Image-to-Video with Prior-Regularized Tiled Diffusion 作者：Hugo Caselles-Dupre, Mathis Koroglu, Guillaume Jeanneret 等（Obvious Research / Sorbonne University） arXiv：2603.17555 关键词：4K视频, Image-to-Video, 分块扩散, 先验正则化 研究动机 基于扩散的图像到视频（I2V）模型在标准分辨率下日趋成熟，但扩展到超高分辨率（如 4K）时面临根本性困难：在模型原始分辨率下生成会丢失精细结构，而高分辨率分块去噪虽然保留了局部细节，但会破坏全局布局一致性。这个问题在"湿壁画动画"场景中尤为严重——包含多个角色、物体和语义子场景的巨型艺术品必须在时间上保持空间连贯性。 方法原理 FrescoDiffusion 是一种无训练方法，通过先验正则化增强分块去噪： 1) 全局潜在先验计算 首先在底层模型的原始分辨率下生成低分辨率视频 对低分辨率视频的潜在轨迹进行上采样 获得捕捉长程时间和空间结构的全局参考先验 2) 先验正则化分块融合 对每个高分辨率分块（tile）计算噪声预测 在每个扩散时间步，通过加权最小二乘目标将分块预测与全局先验融合 该目标结合了标准分块合并准则和正则化项 产生一个闭合形式的融合更新，计算效率高 3) 空间正则化控制 提供区域级别的控制能力 可以指定哪些区域允许产生运动，哪些区域保持静止 显式控制创造力与一致性之间的权衡 创新点 首次实现无训练的 4K 图像到视频生成 闭合形式的先验正则化融合，计算效率高 区域级运动控制能力 提出了湿壁画 I2V 数据集用于评估 实验结果 在 VBench-I2V 数据集上，全局一致性和保真度优于分块基线 在自提出的湿壁画数据集上展示了出色的大幅面视频生成能力 计算效率高，闭合形式更新无需额外优化迭代 6. SVOO：离线层级稀疏度分析+在线双向共聚类的无训练视频生成加速 论文信息 标题：Training-Free Sparse Attention for Fast Video Generation via Offline Layer-Wise Sparsity Profiling and Online Bidirectional Co-Clustering 作者：Jiayi Luo, Jiayu Chen, Jiankun Wang, Cong Wang 等（中国科学技术大学 / 北京航空航天大学） arXiv：2603.18636 关键词：稀疏注意力, 视频生成加速, DiT, 免训练 研究动机 扩散 Transformer（DiT）在视频生成方面实现了强大的质量，但密集的 3D 注意力机制导致推理成本极高。现有的免训练稀疏注意力方法存在两个关键限制：(1) 忽略了不同层的注意力稀疏度差异（层异构性），(2) 在注意力块划分时忽略了查询-键之间的耦合关系。 方法原理 SVOO 采用两阶段范式实现高效的稀疏注意力： 阶段一：离线逐层敏感性分析 关键发现：每一层的注意力稀疏度是其内在属性，在不同输入之间变化很小 基于此，可以预先用少量样本分析每一层的最优稀疏度（剪枝水平） 不同层获得不同的稀疏度配额，敏感层保留更多注意力，不敏感层大幅剪枝 阶段二：在线双向共聚类 传统方法独立对 Query 和 Key 进行分块，忽略了 Q-K 耦合 SVOO 提出双向共聚类算法： 同时考虑 Query 和 Key 的分布 将 Q-K 对联合聚类到注意力块 确保高注意力分数的 Q-K 对被保留在同一块中 实现更精确的块级稀疏注意力 创新点 发现层注意力稀疏度是输入无关的内在属性 离线分析+在线推理的两阶段范式 双向共聚类算法考虑 Q-K 耦合 适用于 7 种主流视频生成模型（包括 Wan2.1） 实验结果 在 Wan2.1 上实现 1.93x 加速，同时保持 29 dB 的 PSNR 在 7 个视频生成模型上一致优于现有稀疏注意力方法 质量-速度权衡显著优于对比方法 7. 6Bit-Diffusion：视频 DiT 的推理时混合精度量化 论文信息 标题：6Bit-Diffusion: Inference-Time Mixed-Precision Quantization for Video Diffusion Models 作者：Rundong Su, Jintao Zhang, Zhihang Yuan 等（清华大学） arXiv：2603.18742 关键词：模型量化, 混合精度, 视频DiT, 推理加速 研究动机 扩散 Transformer 在视频生成方面虽然质量卓越，但实际部署受到高内存占用和计算成本的严重限制。后训练量化是一种实用的加速方法，但现有量化方法通常应用静态位宽分配，忽略了不同扩散时间步之间激活值的量化难度差异，导致效率和质量之间的权衡不理想。 方法原理 6Bit-Diffusion 提出了推理时 NVFP4/INT8 混合精度量化框架： 1) 输入-输出差异感知的精度预测 关键发现：模块的输入-输出差异与其内部线性层的量化敏感性之间存在强线性相关性 基于此设计轻量级预测器（几乎零开销） 动态为每一层在每个时间步选择最优精度： 时间稳定的层 → NVFP4（4位浮点，最大压缩） 不稳定的层 → INT8（8位整数，保持鲁棒性） 2) 时间增量缓存（Temporal Delta Caching） 发现：Transformer 模块的输入-输出残差在相邻时间步上表现出高度时间一致性 如果某模块在当前时间步的残差与上一步几乎相同，则直接复用上一步的结果 跳过不变模块的计算，进一步降低成本 3) 自适应精度策略 不同时间步、不同层获得不同的量化精度 噪声较大的早期时间步容忍更低精度 细节关键的后期时间步保留更高精度 创新点 发现输入-输出差异与量化敏感性的线性相关规律 推理时动态混合精度分配（NVFP4 + INT8） 时间增量缓存利用时间步间冗余 端到端加速而非单一优化点 实验结果 1.92x 端到端加速 3.32x 内存减少 生成质量与全精度模型几乎无差异 为高效视频 DiT 推理设立了新基准 8. CCL：跨模态上下文学习改进联合音视频生成 论文信息 标题：Improving Joint Audio-Video Generation with Cross-Modal Context Learning 作者：Bingqi Ma, Linlong Lang, Ming Zhang 等（SenseTime） arXiv：2603.18600 关键词：联合音视频生成, 跨模态, 双流Transformer, 上下文学习 研究动机 基于双流 Transformer 的联合音视频生成已成为主流范式。通过结合预训练的视频和音频扩散模型，加上跨模态交互注意力，可以用最少的训练数据生成高质量同步音视频。但现有方法存在三个关键问题：(1) 门控机制引起的模型流形变化，(2) 跨模态注意力引入的多模态背景区域偏差，(3) 多模态 CFG 的训练-推理不一致性。 方法原理 CCL（Cross-Modal Context Learning）提出了多个精心设计的模块来解决上述问题： 1) 时间对齐 RoPE 和分区（TARP） 视频和音频的时间分辨率不同（视频约 30fps，音频采样率更高） TARP 有效增强了音频潜在表示与视频潜在表示之间的时间对齐 确保对应的音频-视频片段在注意力计算中正确对应 2) 可学习上下文标记（LCT）与动态上下文路由（DCR） LCT：在跨模态注意力模块中引入可学习的上下文标记 为跨模态信息提供稳定的无条件锚点 缓解门控机制引起的流形变化 DCR：根据不同训练任务（文本→视频+音频 / 视频→音频 / 音频→视频）动态路由 提高了模型收敛速度和生成质量 3) 无条件上下文引导（UCG） 在推理时利用 LCT 提供的无条件支持 促进不同形式的分类器自由引导（CFG） 改善训练-推理一致性，缓解多模态 CFG 冲突 创新点 系统分析了双流联合生成框架的三个核心问题 TARP 解决了异构时间分辨率的对齐问题 LCT + DCR 为跨模态交互提供稳定锚点和灵活路由 UCG 解决了多模态 CFG 的训练-推理不一致性 实验结果 与最近的学术方法相比，实现了最先进的音视频联合生成性能 所需训练资源远少于对比方法 在音视频同步质量和整体生成质量上均取得提升 横向对比分析 一、视频编辑方法对比 维度 SAMA DynaEdit EffectErase 训练需求 两阶段训练 完全免训练 在VOR数据集上训练 编辑类型 指令引导的通用编辑 动作/动态/交互编辑 物体移除+效果擦除 技术路线 语义-运动分解 Flow模型无反演 互惠学习（移除+插入） 运动保持 运动对齐预训练 低频对齐+高频抑制 N/A（任务不同） 模型依赖 需特定训练框架 模型无关 需专门训练 适用场景 工业级编辑产品 快速原型/研究 视频后期制作 性能基准 开源SOTA，接近商用 无训练方法SOTA CVPR 2026 对比分析：三种方法代表了视频编辑的三个不同发展方向。SAMA 走的是工业化路线，通过大规模预训练+微调获得最强性能；DynaEdit 走灵活路线，无需任何训练即可使用，适合快速实验；EffectErase 则聚焦于一个更具体但非常实用的任务——不仅移除物体，还要清除其留下的所有视觉痕迹。 二、视频生成方法对比 维度 PhysVideo FrescoDiffusion CCL 核心问题 物理不一致 超高分辨率 音视频联合生成 分辨率 标准 4K 标准 训练需求 需训练 完全免训练 轻量训练 关键技术 正交视图+物理注意力 先验正则化分块 上下文学习+TARP 数据集 PhysMV (160K) 湿壁画I2V 现有数据 多模态 否 否 音频+视频 控制能力 物理属性控制 区域级运动控制 多条件生成 三、推理加速方法对比 维度 SVOO 6Bit-Diffusion 加速策略 算法层面（稀疏注意力） 硬件层面（量化） 加速倍数 1.93x 1.92x 内存优化 有限 3.32x 减少 训练需求 完全免训练 完全免训练 适用模型 7种视频DiT 通用视频DiT 质量损失 29 dB PSNR 几乎无损 互补性 可与量化结合 可与稀疏注意力结合 加速方法互补性分析：SVOO 和 6Bit-Diffusion 分别从算法（注意力稀疏化）和硬件（数值量化）两个正交维度进行加速，理论上可以叠加使用。如果将两者结合，有望实现接近 4x 的加速，同时内存减少超过 3x。这为视频 DiT 的实际部署打开了大门。 四、技术演进脉络 视频编辑演进： 注意力注入编辑 → 反演+编辑 → 无反演编辑(DynaEdit) → 因子化分解编辑(SAMA) 物理一致生成： 2D纹理生成 → 时间一致性约束 → 多视图一致性(PhysVideo) → 物理属性感知 分辨率突破： 512x → 1080p → 4K(FrescoDiffusion) → 先验正则化 + 分块扩散 推理加速： 步数减少(蒸馏) → Token剪枝 → 稀疏注意力(SVOO) + 混合精度量化(6Bit-Diffusion) 音视频联合： 分离生成 → 双流架构 → 跨模态上下文学习(CCL) 总结与展望 本周视频生成与编辑领域的进展呈现出几个重要趋势： 编辑能力跃升：从简单的风格转换和内容替换，发展到动作修改（DynaEdit）、效果擦除（EffectErase）和工业级指令编辑（SAMA），视频编辑的可控粒度和实用性大幅提升。 物理世界建模：PhysVideo 通过引入正交多视图约束和物理属性感知，标志着视频生成开始从"看起来像"向"符合物理规律"转变。这是迈向世界模型的重要一步。 分辨率天花板突破：FrescoDiffusion 的 4K 生成表明，通过巧妙的先验正则化设计，可以在不重新训练的情况下将现有模型扩展到超高分辨率。 部署友好化：SVOO 和 6Bit-Diffusion 从算法和硬件两个维度各自实现了约 2x 的加速，且两者互补可叠加。这使得高质量视频 DiT 在消费级硬件上运行成为可能。 多模态融合深化：CCL 对双流联合音视频生成框架的系统优化，预示着未来的视频生成将越来越多地包含同步音频，向沉浸式内容创作迈进。 展望：下一阶段的关键挑战包括：(1) 将物理一致性扩展到更复杂的场景（多物体交互、流体动力学等）；(2) 实现实时交互式的 4K+ 视频编辑；(3) 将稀疏注意力和量化技术与 Few-Step 蒸馏结合，实现 10x+ 的综合加速；(4) 统一的视频-音频-3D 联合生成框架。 本报告由人工智能炼丹师自动整理生成，基于 arXiv 2026年3月第三周公开论文。

AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR| AIGC 周末专题深度解读 | 2026-03-21 | 视觉生成模型的偏好对齐与强化学习后训练 人工智能炼丹师 整理 本期专题聚焦 视觉生成模型的偏好对齐与强化学习后训练（Preference Alignment & RL Post-Training for Visual Generation），深度解读 8 篇最新论文，并对该方向的技术演进脉络进行系统性横向对比。 专题概述 随着扩散模型（Diffusion Models）和流匹配模型（Flow Matching Models）在图像/视频生成领域取得突破性进展，如何让生成结果更好地符合人类偏好成为当前研究的核心焦点。借鉴大语言模型领域 RLHF（Reinforcement Learning from Human Feedback）的成功经验，研究者们正在积极探索将强化学习、直接偏好优化（DPO）、组相对策略优化（GRPO）等后训练技术应用于视觉生成模型。 本周（2026年3月14日-21日），该方向涌现出大量高质量论文，涵盖了从奖励模型构建、训练算法设计、到具体场景应用的完整技术栈。本期专题选取 8 篇代表性工作进行深度解读，系统梳理该方向的技术脉络与发展趋势。 核心技术线索： 奖励信号来源：外部奖励模型 vs 内在自置信信号 vs 几何物理约束 优化算法演进：DPO -> GRPO -> 多视角GRPO -> 对比策略优化 -> 中心化奖励蒸馏 应用场景拓展：T2I生成 -> 视频生成 -> 图像超分 -> AR视频 -> 少步推理模型 关键挑战：奖励黑客（Reward Hacking）、分布漂移、计算效率、非可微奖励 1. FIRM: Trust Your Critic -- 鲁棒奖励建模与强化学习的忠实图像编辑与生成 论文信息 标题: Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation 作者: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding 等 arXiv: 2603.12247 关键词: 奖励模型 鲁棒RL 图像编辑 T2I生成 数据管线 背景与动机 强化学习（RL）已成为提升图像编辑和文本到图像（T2I）生成质量的重要范式。然而，当前的奖励模型（Reward Model）作为 RL 中的"评论家"，往往存在幻觉（hallucination）问题——给出不准确的评分，从而误导优化过程。这一问题在图像编辑场景中尤为严重：奖励模型可能对编辑后图像的忠实度评估不准确，导致生成结果偏离编辑指令。 方法原理 FIRM 框架包含两大核心组件： 1) 鲁棒奖励建模 定制化数据策管线（Data Curation Pipeline）：针对图像编辑和 T2I 生成分别设计数据收集流程，构建高质量的评分数据集。编辑任务收集了涵盖颜色修改、风格迁移、物体添加/删除等多种编辑类型的 66 万条评分数据。 多维度评估：奖励模型同时考虑文本对齐度、编辑忠实度、图像质量等多个维度，避免单一指标的片面性。 对比学习增强：通过正负样本对比学习，提升奖励模型对微妙质量差异的辨别能力。 2) 鲁棒强化学习训练 噪声感知训练策略：在 RL 训练过程中，显式建模奖励信号中的噪声，通过置信度加权降低不可靠评分的影响。 多奖励聚合：将多个维度的奖励信号进行加权融合，动态调整各维度权重以平衡不同目标之间的trade-off。 正则化约束：引入 KL 散度正则化防止模型在优化过程中偏离预训练分布过远。 创新点 首个系统性解决奖励模型幻觉问题的框架：不仅改进奖励模型本身的准确性，还在 RL 训练阶段引入鲁棒性机制。 66万条高质量评分数据集开源：为社区提供了标准化的图像编辑/生成质量评估数据。 统一框架同时适用于图像编辑和 T2I 生成：两个任务共享奖励建模架构，仅在数据策管线上做差异化。 实验结果 在图像编辑任务上，FIRM 使 InstructPix2Pix 模型在 EditBench 上的编辑准确率提升 18.7%。 在 T2I 生成任务上，GenEval 综合得分从 0.63 提升至 0.79，超越 DALL-E 3 和 SDXL 基线。 奖励模型本身在 ImageReward 测试集上的 Kendall's Tau 相关性从 0.52 提升至 0.68。 2. MV-GRPO: 多视角组相对策略优化 -- 从稀疏到稠密的流模型对齐 论文信息 标题: From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space 作者: Jiazi Bu, Pengyang Ling, Yujie Zhou, Yibin Wang, Yuhang Zang, Tianyi Wei 等 arXiv: 2603.12648 关键词: GRPO 流模型 多视角评估 条件空间增强 T2I对齐 背景与动机 组相对策略优化（GRPO）已成为文本到图像流模型偏好对齐的强大框架。然而，标准 GRPO 范式存在一个根本性限制：单视角稀疏评估——对一组生成样本仅使用单一条件（prompt）进行评估，无法充分探索样本间的关系，限制了对齐效果的上限。 具体来说，给定一个 prompt，GRPO 生成 N 个候选图像，然后通过奖励模型评分并计算组相对优势。但这种方式下，每个样本只从一个角度被评估，奖励信号稀疏且容易受到 prompt 特异性的影响。 方法原理 MV-GRPO 提出了条件空间增强（Condition Space Augmentation）策略，将单视角稀疏评估升级为多视角稠密评估： 1) 条件空间增强 对原始 prompt 进行多维度改写：语义保持改写（paraphrase）、细节扩充（detail augmentation）、视角变换（perspective shifting）。 每个生成样本同时在原始 prompt 和增强 prompt 下进行评估，获得多个奖励分数。 2) 多视角优势估计 将每个样本的多视角奖励分数进行聚合，计算更稳定的组相对优势： 跨条件一致性加权：对于在不同 prompt 下获得一致高/低分的样本，增大其优势信号强度。 条件自适应归一化：不同 prompt 的评分尺度可能不同，通过条件内归一化消除尺度差异。 3) 渐进式探索策略 训练初期使用较少的增强条件，随着训练进行逐步增加，避免早期过度约束。 创新点 首次将多视角评估引入 GRPO 框架：突破了单条件评估的稀疏性瓶颈。 条件空间增强无需额外数据：仅通过 prompt 改写即可获得稠密评估信号。 理论分析：证明多视角 GRPO 的方差比标准 GRPO 低 O(1/K)（K 为视角数量）。 实验结果 在 FLUX.1-dev 上，GenEval 综合得分从基线 0.71 提升至 0.84（+18.3%），显著超越标准 GRPO 的 0.78。 人类评估显示偏好率达到 72.3%（vs 标准 GRPO 的 58.1%）。 在 T2I-CompBench 组合生成指标上，属性绑定准确率从 0.62 提升至 0.76。 仅需 500 步训练即可达到标准 GRPO 2000 步的效果，训练效率提升 4x。 3. AR-CoPO: 自回归视频生成的对比策略优化 论文信息 标题: AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization 作者: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song 等 arXiv: 2603.17461 关键词: 自回归视频 对比策略优化 RLHF 少步蒸馏 流匹配 背景与动机 流式自回归（Streaming AR）视频生成器结合少步蒸馏可实现低延迟、高质量的视频合成，但通过 RLHF 对齐这类模型面临独特挑战： SDE 探索失效：现有基于 SDE 的 GRPO 方法假设扩散过程有足够的随机性进行探索，但少步 ODE 和一致性模型采样器偏离了标准流匹配 ODE，其短轨迹和低随机性使得中间 SDE 探索无效。 初始化敏感：少步模型的生成轨迹极短且确定性强，对初始化噪声高度敏感。 帧间一致性：自回归视频生成需要在优化人类偏好的同时保持帧间时序一致性。 方法原理 AR-CoPO 提出了一种专为自回归少步视频生成器设计的对比策略优化框架： 1) 输出空间对比探索（Output-Space Contrastive Exploration） 放弃在扩散过程中间步骤进行探索的传统方式，直接在输出空间（生成的视频帧）进行对比。 对每个时间步生成多个候选帧，通过奖励模型评分后选择最优，同时利用对比损失增大好坏样本间的差距。 2) 自回归感知的奖励传播 设计时序一致性奖励：不仅评估单帧质量，还评估帧间过渡的流畅性和一致性。 将帧级奖励沿时间轴反向传播，使早期帧的生成策略能考虑到后续帧的质量。 3) 参考策略锚定 引入 KL 散度正则化，将优化后的策略锚定在预训练模型附近，防止过度优化导致的模式崩溃。 对不同时间步使用自适应 KL 强度：早期帧（构图决定性阶段）使用较强约束，后期帧适当放松。 创新点 首个将 RLHF 成功应用于流式自回归视频生成器的工作：解决了少步蒸馏模型难以进行 RL 优化的技术瓶颈。 输出空间对比范式：避免了中间步骤探索在少步模型上的失效问题。 时序感知的奖励传播机制：在优化画面质量的同时保持视频的时序一致性。 实验结果 在流式 AR 视频生成基线上，VBench 得分从 78.2 提升至 83.7（+7.0%）。 人类偏好评估中，AR-CoPO 生成的视频在画面质量和时序一致性两个维度上分别获得 76.4% 和 71.8% 的偏好率。 仅需 4 步推理即可达到与 20 步推理 + GRPO 对齐相当的质量。 FVD（Frechet Video Distance）从 198.3 降低至 156.7。 4. CRAFT: 用复合奖励辅助微调轻松对齐扩散模型 (CVPR 2026) 论文信息 标题: CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think 作者: Zening Sun, Zhengpeng Xie, Lichen Bai, Shitong Shao, Shuo Yang, Zeke Xie arXiv: 2603.18991 关键词: 复合奖励过滤 SFT GRPO下界 数据效率 CVPR 2026 背景与动机 当前扩散模型的偏好对齐方法面临两大挑战： 数据依赖：SFT 需要昂贵的高质量图像数据；DPO 风格方法依赖大规模偏好数据集，而这些数据集质量往往不一致。 计算低效：RL 类方法需要在线生成样本并计算奖励，训练成本高昂。 CRAFT 的核心洞察是：如果能构建一个高质量、一致的小规模训练集，简单的 SFT 就能达到甚至超越复杂的偏好优化方法。 方法原理 CRAFT 提出了一种极其简洁但强大的两阶段范式： 1) 复合奖励过滤（Composite Reward Filtering, CRF） 对每个 prompt 生成大量候选图像（如 64 张）。 使用多个奖励模型从不同维度评分：美学质量、文本对齐、构图合理性、技术质量。 将多维奖励分数进行加权融合，选择排名前 1-2 的图像作为训练样本。 关键设计：使用 相关性去偏（Correlation Debiasing） 确保选出的样本在各维度上均衡优秀，而非仅在某一维度极端。 2) 增强 SFT 在过滤后的高质量小数据集上进行标准 SFT 训练。 引入两项增强：(a) 噪声调度优化——对高评分样本使用更低的噪声水平；(b) 梯度裁剪——防止个别异常样本主导梯度方向。 3) 理论保证 证明 CRAFT 实际上优化了基于组强化学习的下界，从理论上建立了"筛选数据 + SFT"与"GRPO"之间的联系。 具体地，CRF 过程等价于 GRPO 中的组相对优势计算，而 SFT 则对应策略更新步骤。 创新点 仅需 100 个样本即可超越 SOTA 偏好优化方法：数据效率提升 10-100 倍。 理论证明 SFT + 数据筛选 是 GRPO 的下界优化：为简化的训练范式提供了理论支撑。 收敛速度提升 11-220 倍：相较于 DPO 和 GRPO 基线方法。 即插即用：无需修改模型架构或推理流程，仅替换训练数据和训练方式。 实验结果 使用仅 100 个样本的 CRAFT 在 GenEval 上得分 0.82，超越使用 5000+ 偏好对的 Diffusion-DPO（0.76）和标准 GRPO（0.79）。 在 HPSv2（Human Preference Score v2）上达到 28.9，超越所有基线。 训练时间：CRAFT 仅需 15 分钟（单A100），而 DPO 需要 5.5 小时，GRPO 需要 3.2 小时。 在 SDXL 和 SD3.5 两个基座模型上均验证有效。 5. TDM-R1: 用非可微奖励强化少步扩散模型 论文信息 标题: TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward 作者: Yihong Luo, Tianyang Hu, Weijian Luo, Jing Tang arXiv: 2603.07700 关键词: 少步扩散 非可微奖励 代理奖励学习 轨迹分布匹配 文本渲染 背景与动机 少步生成模型（如一致性模型、蒸馏扩散模型）大幅降低了生成成本，但现有的 RL 方法存在一个关键假设：奖励模型必须可微，以便通过反向传播计算梯度。这一假设排除了大量重要的真实世界奖励信号： 人类二元偏好（like/dislike） 物体计数准确性（整数值，不可微） OCR 文本准确率（离散指标） FID/IS 等分布级指标 如何在少步生成模型上利用这些非可微奖励进行 RL 后训练，是一个尚未解决的核心问题。 方法原理 TDM-R1 基于轨迹分布匹配（Trajectory Distribution Matching, TDM）框架，提出了一种将非可微奖励融入少步模型的统一 RL 后训练方法： 1) 代理奖励学习（Surrogate Reward Learning） 将 RL 过程解耦为两个阶段：先学习一个可微的代理奖励模型来拟合原始非可微奖励，再用代理奖励优化生成器。 代理奖励使用轻量级 MLP 头接在特征提取器上，通过对比学习训练，使其排序与真实奖励高度一致。 定期用真实非可微奖励校准代理奖励，防止偏移。 2) 逐步奖励信号（Per-Step Reward Signal） TDM 的确定性生成轨迹（通常 2-8 步）中，每一步都可以获得一个"部分生成"的中间结果。 设计逐步奖励：对每个中间状态通过快速解码预估最终输出，计算预估奖励作为当步的奖励信号。 这种细粒度的奖励分配比仅在最终步给出奖励更有效，降低了信用分配问题的难度。 3) 奖励自适应探索 根据当前样本的奖励水平自适应调节探索噪声：低奖励样本增大探索以寻找更好的方向，高奖励样本减少探索以稳定优化。 创新点 首个通用 RL 后训练方法支持少步模型 + 非可微奖励：打破了"可微奖励"的假设限制。 代理奖励学习 + 在线校准：兼顾了梯度可用性和奖励准确性。 逐步奖励分配：解决了少步模型中奖励信号稀疏的信用分配问题。 在文本渲染、视觉质量、偏好对齐三类任务上验证。 实验结果 在文本渲染任务上（OCR 准确率作为非可微奖励），TDM-R1 使 4 步模型的 OCR 准确率从 31.2% 提升至 62.7%（+101%）。 在 HPSv2 偏好对齐上，4-NFE 的 TDM-R1 达到 28.6，超越 100-NFE 的基线模型 (27.8)。 成功扩展到最新的 Z-Image 模型，仅用 4 步推理即持续超越其 100 步和少步变体。 与仅支持可微奖励的 ReFL 和 DDPO 相比，TDM-R1 在非可微奖励设定下领先 15-30%。 6. CRD: 中心化奖励蒸馏 -- 抵抗奖励黑客的扩散 RL 框架 论文信息 标题: Diffusion Reinforcement Learning via Centered Reward Distillation 作者: Yuanzhi Zhu, Xi Wang, Stephane Lathuiliere, Vicky Kalogeiton arXiv: 2603.14128 关键词: 奖励蒸馏 KL正则化 奖励黑客 分布漂移 前向过程微调 背景与动机 扩散 RL 微调面临的核心难题是 奖励黑客（Reward Hacking）：模型学会利用奖励模型的漏洞，生成在奖励模型上得分很高但人类视觉上并不好的图像。例如，过度饱和的颜色、不自然的高对比度等。 现有方法的两大流派各有弊端： 轨迹级方法（DPPO, DDPO）：内存消耗大、梯度方差高。 前向过程方法（DRaFT, ReFL）：收敛快但容易发生分布漂移，导致奖励黑客。 方法原理 CRD 基于 KL 正则化奖励最大化理论，提出了一种更稳健的前向过程扩散 RL 框架： 1) 提示词内中心化（Within-Prompt Centering） 核心理论洞察：KL 正则化奖励最大化的最优策略涉及一个不可解的归一化常数 Z。 CRD 发现，通过在同一 prompt 的多个样本间做中心化（减去均值），归一化常数会自然抵消，得到一个适定的奖励匹配目标。 这使得 CRD 无需显式估计归一化常数，避免了额外的近似误差。 2) 三重分布漂移控制机制 (i) 采样器-参考解耦：将用于生成样本的采样器与移动参考模型分离，防止参考模型的更新导致比率信号崩溃。 (ii) CFG 锚定 KL：将 KL 散度的参考分布设为 CFG（Classifier-Free Guidance）引导的预训练模型，而非无引导的基础模型。这确保优化目标与推理时的语义一致。 (iii) 奖励自适应 KL 强度：训练早期使用较大 KL 系数加速学习（此时模型远离最优，大胆探索有益），训练后期逐渐增大 KL 系数抑制奖励黑客（此时接近最优，需要稳定性）。 创新点 理论优雅：通过中心化消除不可解归一化常数，将 KL 正则化奖励最大化转化为可实操的目标。 三重防线对抗奖励黑客：采样器-参考解耦、CFG 锚定、自适应 KL 强度协同工作。 CFG 锚定的创新性：传统方法锚定无 CFG 的基础模型，CRD 认识到推理时都使用 CFG，因此应该锚定 CFG 引导的分布。 实验结果 在 GenEval 上实现 0.83 的综合得分，与 SOTA 持平。 关键优势在于抗奖励黑客能力：在 HPSv2 上获得 28.5 的同时，FID 仅增加 2.3（对比 DPPO 的 FID 增加 8.7、DRaFT 的 FID 增加 5.1）。 OCR 文本渲染准确率提升 +23.1 pp。 在 ImageReward 和 PickScore 等未见过的偏好指标上，CRD 的优化效果同样保持（证明非奖励黑客）。 7. SOLACE: 内在自置信奖励驱动的 T2I 后训练 (CVPR 2026) 论文信息 标题: Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards 作者: Seungwook Kim, Minsu Cho arXiv: 2603.00918 会议: CVPR 2026 关键词: 自置信奖励 无监督优化 自去噪探测 无需外部RM CVPR 2026 背景与动机 现有的扩散模型后训练方法几乎都依赖外部奖励模型（如 ImageReward、HPSv2、CLIPScore 等）。然而： 外部奖励模型本身存在偏差和幻觉。 训练和维护奖励模型需要额外成本。 过度优化外部奖励容易导致奖励黑客。 一个自然的问题是：能否利用模型自身的内在信号来指导优化，完全不需要外部奖励模型？ 方法原理 SOLACE 提出了一种基于 自置信度（Self-Confidence） 的内在奖励信号： 1) 自去噪探测（Self-Denoising Probe） 核心机制：对一张生成的图像注入一定量的噪声，然后让模型自己尝试恢复原图。 自置信度 = 恢复的准确程度：如果模型对自己生成的图像"理解得很好"，就能准确恢复，置信度高；如果生成的图像与模型学到的分布不一致（如质量差、语义不连贯），恢复效果就差。 数学上，自置信度与模型在该样本处的似然估计成正比。 2) 标量奖励转化 将自去噪的重建误差转化为标量奖励分数：重建误差越小，奖励越高。 使用多个噪声水平进行探测，取平均值以获得更稳定的估计。 3) 完全无监督的偏好优化 利用自置信度奖励进行 GRPO 风格的优化，无需任何外部数据集、标注员或奖励模型。 高置信度的生成结果被强化，低置信度的被抑制。 创新点 首个完全无外部奖励的扩散模型后训练方法：打开了"自监督偏好对齐"的新方向。 自置信度信号的物理直觉：模型更容易恢复"好的"图像（与训练分布一致），提供了一种自然的质量度量。 与外部奖励互补：SOLACE 与外部奖励结合使用时效果更好，且能缓解奖励黑客。 零额外推理成本：自去噪探测仅在训练时使用，推理时完全不增加开销。 实验结果 仅使用内在奖励，在 GenEval 组合生成得分提升 +0.08（从 0.71 到 0.79）。 文本渲染准确率提升 +15.3 pp。 SOLACE + 外部奖励的组合方案达到 0.85 GenEval 得分，为所有方法中最高。 将 SOLACE 与 ImageReward 结合时，奖励黑客指标（FID 增量）从 ImageReward 单独使用时的 +6.2 降至 +1.8。 8. VIGOR: 基于几何的视频时序一致性奖励模型 论文信息 标题: VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment 作者: Tengjiao Yin, Jinglei Shi, Heng Guo, Xi Wang arXiv: 2603.16271 关键词: 几何奖励 时序一致性 重投影误差 视频扩散 推理时扩展 背景与动机 视频扩散模型在训练过程中缺乏显式的几何监督，导致生成的视频中常出现物体变形、空间漂移和深度违例等不一致性。现有的视频奖励模型主要基于语义（如 VQAScore、CLIPScore）或整体美学评估，无法捕捉帧间的几何一致性。 方法原理 VIGOR 提出了一种基于几何的奖励模型，利用预训练的几何基础模型来评估视频的多视角一致性： 1) 跨帧重投影误差 使用预训练的单目深度估计模型和光流模型，对视频帧对之间进行三维重投影。 逐点计算重投影误差（而非像素级对比），得到更符合物理规律的误差度量。 优势：逐点方式对纹理和光照变化更鲁棒，不会被像素强度差异干扰。 2) 几何感知采样 过滤低纹理区域和非语义区域（如天空、纯色背景），将评估集中在具有可靠对应关系的几何有意义区域。 使用特征匹配置信度作为权重，可靠区域的误差权重更大。 3) 双路径应用 训练后微调：对双向视频模型使用 VIGOR 奖励进行 SFT 或 RL 后训练。 推理时扩展（Test-Time Scaling）：对因果视频模型（如流式视频生成器），在推理时使用 VIGOR 作为路径验证器，从多个候选结果中选择几何最一致的。 创新点 首个基于物理几何约束的视频生成奖励模型：超越了纯语义/美学评估的局限。 逐点误差计算：比像素级指标更鲁棒，对光照和纹理变化不敏感。 推理时扩展的即插即用方案：无需重训练模型，通过推理时选择提升开源视频模型质量。 兼容多种视频生成架构：双向模型（后训练）和因果模型（推理时扩展）均适用。 实验结果 在 VBench 动态一致性指标上提升 +5.8%。 物体变形率从基线的 23.7% 降至 11.4%（减少 52%）。 推理时扩展方案：在 Open-Sora 上，使用 VIGOR 选择最优帧序列，VBench 得分提升 +3.2 而无需任何额外训练。 与 VQAScore 等语义奖励正交互补：两者结合可进一步提升 +1.5。 横向对比与技术脉络分析 核心维度对比 方法 奖励来源 优化算法 目标场景 数据需求 训练效率 抗奖励黑客 FIRM 外部多维RM RL (噪声感知) T2I + 编辑 66万评分 中 高 (鲁棒RM) MV-GRPO 外部RM GRPO (多视角) T2I 流模型 无额外 高 (4x) 中 AR-CoPO 外部RM 对比策略优化 AR视频 标准 中 中 CRAFT 复合RM过滤 SFT (增强) T2I 扩散 100样本 极高 (220x) 中 TDM-R1 代理RM (非可微) 轨迹分布匹配 少步T2I 标准 中 中 CRD 外部RM 中心化奖励蒸馏 T2I 扩散 标准 高 极高 (三重防线) SOLACE 内在自置信 GRPO (无监督) T2I 扩散 零 (无需标注) 高 高 (无外部RM) VIGOR 几何物理约束 SFT/推理选择 视频扩散 无额外 高 高 (物理约束) 技术演进脉络 第一条线：优化算法的演进 DPO (配对偏好) → GRPO (组相对优势) → MV-GRPO (多视角稠密评估) → AR-CoPO (输出空间对比) → CRAFT (证明SFT是GRPO下界) → CRD (中心化消除归一化常数) 这条线索体现了从简单配对比较到更精细的组级优化，再到理论层面的统一理解。CRAFT 的发现尤为重要：它证明了精心筛选数据后的 SFT 本质上就是 GRPO 的一种近似，为实践者提供了"大道至简"的选择。 第二条线：奖励信号的多元化 外部语义RM (CLIPScore, ImageReward) → 鲁棒外部RM (FIRM, 66万数据) → 内在自置信 (SOLACE, 自去噪探测) → 几何物理约束 (VIGOR, 重投影误差) → 代理RM (TDM-R1, 拟合非可微信号) → 复合多维RM (CRAFT, CRF过滤) 奖励信号从单一外部模型扩展到内在信号、物理约束、代理模型等多种来源，这一趋势反映了社区对"什么是好的生成"的认知越来越多元。 第三条线：应用场景的拓展 T2I 扩散模型 → 流匹配模型 (MV-GRPO) → 少步蒸馏模型 (TDM-R1) → AR视频生成 (AR-CoPO) → 视频一致性 (VIGOR) 偏好对齐技术正在从最初的 T2I 扩散模型扩展到更广泛的视觉生成模型，每种模型架构都带来独特的技术挑战。 关键发现与趋势 数据效率成为核心竞争力：CRAFT 用 100 个样本超越 5000+ 偏好对的方法，SOLACE 完全无需外部数据——"数据质量 > 数据数量"已成为共识。 奖励黑客是最大风险：CRD 专门设计三重防线，SOLACE 通过内在奖励规避，VIGOR 使用物理约束——不同方法从不同角度应对同一核心挑战。 理论与实践融合加速：CRAFT 证明 SFT 与 GRPO 的理论等价性，CRD 从 KL 正则化推导出中心化技巧，MV-GRPO 给出方差减少的理论分析——该领域正从经验驱动转向理论指导。 推理时扩展（Test-Time Scaling）兴起：VIGOR 和 Meta-TTRL（本周另一篇相关工作）都探索了不修改模型参数、仅在推理时提升质量的方案，这为资源受限场景提供了新思路。 统一框架的探索：多项工作尝试统一不同优化范式（CRAFT 统一 SFT 和 GRPO，CRD 统一前向过程和轨迹方法），预示着未来可能出现更通用的视觉生成对齐框架。 其他相关工作简述 本周还有多篇相关工作值得关注： GDPO-SR (2603.16769): 将 GRPO 原理融入 DPO 用于一步超分辨率，引入属性感知奖励函数针对平滑/纹理区域差异化评估。 LibraGen (2603.13506): 主题驱动视频生成中的 DPO 应用，提出 Consis-DPO 和 Real-Fake DPO 两种定制化偏好优化管线。 Meta-TTRL (2603.15724): 统一多模态模型的测试时强化学习，利用模型内在元认知信号进行推理时自我改进。 Correlation-Weighted Multi-Reward (2603.18528): 组合生成中的多奖励协调优化，通过相关性加权平衡竞争概念间的奖励冲突。 V2A-DPO (2603.11089): 视频到音频生成的 DPO 框架，提出 AudioScore 综合评分系统。 总结与展望 本期专题梳理了视觉生成模型偏好对齐与 RL 后训练的最新进展。从奖励建模（FIRM 的鲁棒 RM、SOLACE 的内在信号、VIGOR 的几何约束）到优化算法（MV-GRPO 的多视角评估、CRAFT 的简洁 SFT 范式、CRD 的抗奖励黑客设计）再到场景拓展（AR-CoPO 的流式视频、TDM-R1 的少步推理），该方向呈现出蓬勃的发展态势。 未来值得关注的方向： 多模态统一对齐：将偏好对齐扩展到图像+视频+音频的统一生成模型。 在线人类反馈：从离线偏好数据集转向在线、实时的人类反馈闭环。 可解释奖励：让用户和开发者理解"为什么这张图/这段视频被认为是好的"。 超长视频对齐：随着视频生成长度增加，如何在数分钟长度的视频上进行有效的偏好对齐。 安全对齐：在提升质量的同时，确保生成内容的安全性和合规性。 本期专题由 人工智能炼丹师 整理，更多 AIGC 前沿动态请关注 jefxiong.cn