AIGC论文速读|2026-05-05|纯视觉流统一生成颠覆文本管线，1D-Token端到端FI… 今日核心看点 纯视觉流统一生成(FlowInOne) 端到端自回归FID 1.48(1D-Token) 隐空间压缩加速视频(LC-VAE) 两步跳跃Flow对齐(LeapAlign) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成 2 篇 (FlowInOne, UniVidX) 自回归图像生成与预训练 2 篇 (1D-Tokenizer, GenLIP) 推理加速 2 篇 (LC-VAE, DepthVAR) 后训练对齐 2 篇 (LeapAlign, PostTrain) 音视频生成与评测 2 篇 (Talker-T2AV, MOSAIC) 今日论文速览 1. FlowInOne: Unifying Multimodal Generation as Image-In, Image-Out Flow Matching FlowInOne：纯视觉流统一多模态生成，消除跨模态对齐瓶颈 | Microsoft Research Asia | arXiv:2604.06757 关键词： 统一生成·流匹配·视觉提示·Image-In-Out·VisPrompt-5M 前序工作问题： 多模态生成长期被文本管线主导，语言驱动视觉但无法在视觉空间内推理创作，跨模态对齐与任务特定分支增加系统复杂度 贡献： 将所有模态（文本、布局、编辑指令）统一编码为视觉提示，用单一流匹配模型实现 Image-In Image-Out 管线，消除噪声调度和跨模态对齐，配套 VisPrompt-5M 数据集与 VP-Bench 基准 效果： 在文生图、布局引导编辑、视觉指令跟随等任务上全面超越开源模型和商业系统，建立视觉原生统一生成新范式 批判点评： 纯视觉流假设对高度抽象语义（如否定逻辑、数量推理）的编码能力有限；5M 数据集构建成本高且任务覆盖均匀性待验证 2. UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors UniVidX：统一多模态视频生成框架，不足千条视频实现全向条件生成 | NJU / SIGGRAPH 2026 | arXiv:2605.00658 关键词： 视频生成·统一框架·随机掩码·门控LoRA·跨模态注意力 前序工作问题： 现有方法为每种模态组合训练独立模型，固定输入输出映射且忽略跨模态关联 贡献： 提出随机条件掩码 SCM、解耦门控 LoRA DGL 和跨模态自注意力 CMSA 三大设计，用不到 1000 条视频训练出支持 RGB/内秉图/RGBA 分层的全向条件生成 效果： 在深度/法线/反照率估计和视频分层任务上达到 SOTA，成功泛化到野外场景，被 SIGGRAPH 2026 接收 批判点评： 训练数据仅千条视频，复杂动态场景的泛化鲁棒性存疑；多模态同时生成的质量-一致性权衡未深入分析 3. End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer 端到端训练 1D 语义 Tokenizer，FID 1.48 刷新自回归生图 SOTA | ByteDance Seed / ICML 2026 Spotlight | arXiv:2605.00503 关键词： 自回归生图·1D Tokenizer·端到端·视觉基础模型·FID 1.48 前序工作问题： 两阶段方法先训 Tokenizer 再训生成器，生成信号无法反馈到 Tokenizer，重建与生成目标脱节 贡献： 设计端到端管线联合优化 Tokenizer 与生成器，利用视觉基础模型提升 1D Tokenizer 语义表达能力，实现重建-生成信号直通 效果： ImageNet 256x256 无 guidance 达到 FID 1.48（SOTA），被 ICML 2026 选为 Spotlight 批判点评： 端到端训练需同步两个大模型，显存和训练稳定性要求高；仅在 ImageNet class-conditional 验证，开放域文生图能力未展示 4. GenLIP: Generative Language-Image Pre-training for Vision Transformers GenLIP：ViT直接预测语言Token，极简生成式视觉预训练 | ByteDance | arXiv:2605.00809 关键词： 视觉预训练·生成式·ViT·语言建模·多模态 前序工作问题： 现有视觉预训练依赖对比学习的大批量构建或额外文本解码器，架构复杂且难以扩展 贡献： 让 ViT 用标准语言建模目标直接从视觉 Token 预测语言 Token，单一 Transformer 联合建模视觉与文本，无需对比批构建或额外解码器 效果： 在 8B 样本上训练即达到或超越强对比基线，多模态基准全面竞争力；续训多分辨率后在 OCR 和图表理解上进一步提升 批判点评： 生成式预训练对负样本信息的利用不如对比学习充分；8B 训练数据仍是较大规模，小数据场景表现未报告 5. LC-VAE: Latent-Compressed Variational Autoencoder for Video Diffusion Models LC-VAE：高频裁剪代替通道压缩，解锁视频扩散生成质量 | CVPR 2026 Findings | arXiv:2604.16479 关键词： 视频VAE·隐空间压缩·高频裁剪·扩散收敛·通道冗余 前序工作问题： 视频 VAE 需大量隐通道保证重建质量，但过多通道反而阻碍扩散模型收敛并恶化生成性能 贡献： 提出隐空间高频分量移除策略替代直接减通道，在保持等效压缩比的前提下保留重建保真度，同时释放扩散模型收敛潜力 效果： 同等压缩比下视频重建质量超越强基线，扩散模型训练收敛更快且生成质量更高，被 CVPR 2026 接收 批判点评： 高频裁剪阈值的选取对不同视频类型（快速运动 vs 静态）敏感性未深入分析；仅在特定模型架构上验证 6. DepthVAR: Depth Adaptive Efficient Visual Autoregressive Modeling DepthVAR：按 Token 自适应分配计算深度，VAR 加速 2.3-3.1x | CVPR 2026 Findings | arXiv:2604.17286 关键词： VAR加速·自适应深度·免训练·循环调度·图像生成 前序工作问题： VAR 对每个位置施加固定计算深度，存在显著深度冗余；现有频率图 Token 剪枝方法采用二值硬剪枝，无法提升质量 贡献： 提出从剪枝整个 Token 转向按 Token 自适应分配深度的范式，设计循环旋转调度器与动态推理流程，按处理深度比例混合输出编码 效果： 免训练实现 2.3x-3.1x 加速，质量损失极小且优于硬剪枝方案，被 CVPR 2026 Findings 接收 批判点评： 调度策略为启发式循环旋转，最优深度分配应可学习化；仅验证 VAR 架构，DiT 等其他范式适用性未探索 7. LeapAlign: Post-Training Flow Matching Models at Any Generation Step LeapAlign：两步跳跃轨迹实现 Flow Matching 任意步对齐 | ANU / ByteDance Seed / CVPR 2026 | arXiv:2604.15311 关键词： 后训练·Flow Matching·奖励对齐·梯度稳定·Flux 前序工作问题： Flow Matching 长轨迹反传导致显存爆炸和梯度爆炸，且难以更新决定全局结构的早期步 贡献： 将长轨迹压缩为两步跳跃，每跳跨越多个 ODE 采样步一步预测未来隐变量；随机化起止时间步实现任意步更新，高权重分配给与长路径一致的轨迹 效果： 在 Flux 模型上全面超越 GRPO 和直接梯度方法，图像质量和文图对齐均达 SOTA，被 CVPR 2026 接收 批判点评： 两步跳跃近似引入轨迹偏差，对高步数采样的兼容性需进一步分析；仅在 Flux 单模型验证 8. A Systematic Post-Train Framework for Video Generation 视频生成系统化后训练：SFT+GRPO+提示增强四阶段管线 | Microsoft / HKU | arXiv:2604.25427 关键词： 后训练·视频扩散·GRPO·SFT·提示增强 前序工作问题： 视频扩散模型预训练性能与部署需求间存在巨大差距：提示敏感性高、时间不连贯、推理成本大 贡献： 提出四阶段后训练框架：SFT 转化为指令跟随策略→视频 GRPO 强化感知质量→提示增强器提升输入→推理优化降成本，形成统一可复制管线 效果： RLHF 阶段 GSB 指标提升 31%，提示增强再提 20%，视觉质量与动作连贯性显著增强同时保持语义对齐 批判点评： 文本对齐改善有限暴露当前文本-视频奖励模型瓶颈；四阶段训练流程复杂度高，各阶段超参互相耦合 9. Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Talker-T2AV：自回归扩散联合生成语音与肖像视频 | Unknown | arXiv:2604.23586 关键词： 音视频联合生成·自回归扩散·解耦解码·唇同步·肖像 前序工作问题： 现有联合音视频生成模型在全层级通过密集注意力耦合模态，高层语义与低层渲染纠缠导致效率低下且质量受限 贡献： 提出高层跨模态建模在共享骨干、低层精化在模态专属解码器的解耦架构；统一 Patch 级 Token 空间下自回归语言模型联合推理音视频，再由轻量 DiT 头解码为帧级隐变量 效果： 唇同步精度、视频质量、音频质量全面超越双分支基线，跨模态一致性强于级联管线 批判点评： 仅在说话人肖像场景验证，开放域音视频生成能力未测试；Patch 级 Token 量化损失对音质影响未量化 10. When Do Diffusion Models Learn to Generate Multiple Objects? 扩散模型何时学会多对象生成？MOSAIC 框架揭示数据本质 | ICML 2026 | arXiv:2605.00273 关键词： 多对象生成·组合泛化·数据分析·MOSAIC·扩散模型 前序工作问题： 文生图扩散模型在多对象生成上表现不可靠，失败根因不明确：是数据不足还是模型能力限制 贡献： 引入 MOSAIC 可控数据集生成框架，从概念泛化和组合泛化两个维度系统研究数据量与多对象生成能力的关系 效果： 发现场景复杂度比概念不均衡更关键，计数在低数据区极难学习，组合泛化随留出比例增加急剧退化；揭示需要更强归纳偏置 批判点评： 使用合成数据框架研究结论的真实世界迁移性有限；未提出具体解决方案仅停留在诊断层面 趋势观察 统一范式从文本主导走向视觉主导 — FlowInOne 将所有模态编码为视觉提示实现 Image-In Image-Out，UniVidX 用随机条件掩码实现全向生成，统一模型正式进入视觉原生时代 VAE隐空间优化成为视频生成新瓶颈 — LC-VAE 发现过多隐通道反而阻碍扩散收敛，通过高频裁剪代替通道压缩解锁生成质量；DepthVAR 从Token深度冗余切入加速，压缩思路多元化 人工智能炼丹君 整理 | 2026-05-05

AIGC论文速读|20260504|4步打败40步!AdvDMD蒸馏加速刷新SD3.5 今日核心看点 AdvDMD 4步超40步蒸馏 Edit-R1 验证器奖励模型 PhyCo 物理可控视频 AesRM 美学奖励模型 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 推理加速与蒸馏 2 篇 (AdvDMD, YOSE) 奖励模型与强化学习 2 篇 (Edit-R1, AesRM) 视频生成与编辑 3 篇 (PhyCo, TAVR, ExoActor) 训练方法与评估 2 篇 (RFL, Visual Gen Survey) 多模态一体化 1 篇 (Nemotron 3) 今日论文速览 1. AdvDMD: Adversarial Reward Meets DMD for Few-Step Generation AdvDMD：对抗奖励融合蒸馏实现高质量少步生成 | Unknown | arXiv:2604.28126 关键词： 蒸馏加速·DMD·对抗奖励·少步生成·SD3.5 前序工作问题： 扩散模型蒸馏加速方法将 DMD 与 RL 简单拼接，两种优化目标相互干扰导致训练不稳定且加速倍率有限 贡献： 将 DMD2 的对抗判别器直接复用为 RL 奖励模型，通过统一 SDE 反向模拟对中间态和终态联合监督，实现 DMD 与 RL 的无缝融合 效果： 4 步 AdvDMD 在 SD3.5 上 DPG-Bench 超越原模型 40 步表现；2 步版本在 Qwen-Image 上超越 TwinFlow 批判点评： 对抗判别器随蒸馏模型在线更新增加训练复杂度；在极端 1 步生成场景下质量衰减幅度未报告 2. Edit-R1: Leveraging Verifier-Based RL in Image Editing Edit-R1：验证器驱动强化学习提升图像编辑 | ByteDance Seed | arXiv:2604.27505 关键词： 图像编辑·奖励模型·CoT验证器·GRPO·FLUX 前序工作问题： 图像编辑缺乏可靠通用奖励模型，现有模型仅给整体评分无法逐条验证编辑指令是否满足 贡献： 提出推理奖励模型 RRM，通过 CoT 将指令拆分为独立原则逐条验证并聚合为细粒度可解释奖励，用 GCPO+GRPO 两阶段训练 效果： Edit-RRM 超越 Seed-1.5-VL/1.6-VL 等强 VLM 作为编辑奖励模型；3B→7B 清晰涨点；赋能 FLUX.1-kontext 编辑器 批判点评： CoT 推理链增加奖励计算成本，实际部署中每次编辑需额外 VLM 推理；仅在 FLUX 上验证泛化性有限 3. AesRM: Improving Video Aesthetics with Expert-Level Feedback AesRM：专家级美学反馈提升视频生成质量 | Unknown | arXiv:2604.28078 关键词： 视频美学·奖励模型·分层评测·CoT推理·Wan2.2 前序工作问题： 视频生成评估过度关注保真度而忽视电影级美学（构图、光影、色彩和谐），缺乏系统化美学评价体系 贡献： 构建 3 维 15 细项美学评分体系与约 2500 对专家标注数据集 AesVideo-Bench，训练 AesRM-Base 和 AesRM-CoT 两版奖励模型 效果： 在多个美学基准上超越基线，位置偏差更低更鲁棒；成功对齐 Wan2.2 视频生成模型的美学输出 批判点评： 2500 视频对规模偏小可能限制泛化；美学本质上主观性强，专家标注的跨文化一致性未讨论 4. Representation Fréchet Loss for Visual Generation RFL：表征空间 Fréchet 距离作为训练损失提升生成质量 | Unknown | arXiv:2604.28190 关键词： FD损失·表征空间·一步生成·蒸馏替代·ImageNet 前序工作问题： Fréchet 距离一直仅用于评估而非训练，因为其需要大规模样本估计群体统计量与小批量梯度计算矛盾 贡献： 解耦 FD 估计所需群体规模（50k）与梯度计算批量（1024），提出 FD-loss 使 Fréchet 距离可直接作为训练目标 效果： ImageNet 256x256 上一步生成器达 0.72 FID；无需教师蒸馏或对抗训练即可将多步模型转化为强一步生成器 批判点评： FD-loss 对表征空间选择敏感，不同表征可能导致矛盾优化方向；维护 50k 统计量的内存开销在高分辨率场景未讨论 5. YOSE: Essential Token Selection for DiT-based Video Object Removal YOSE：按需选择关键 Token 加速 DiT 视频去物 | CVPR 2026 | arXiv:2604.27322 关键词： 视频去物·Token选择·DiT加速·掩码感知·线性缩放 前序工作问题： DiT 视频去物方法对全时空 Token 密集计算，即使仅小区域需修复也需处理完整 Token 空间，推理极慢（约 10 FPS） 贡献： 提出批量变长索引 BVI 按掩码自适应选择关键 Token，配合 DiffSim 模块为未掩码 Token 模拟扩散注意力影响 效果： 70% 场景实现 2.5 倍加速，推理时间与掩码区域大小近似线性缩放，生成质量保持可比 批判点评： 加速比强依赖掩码面积，大面积去物场景加速有限；DiffSim 的近似可能在复杂运动区域引入伪影 6. PhyCo: Learning Controllable Physical Priors for Generative Motion PhyCo：学习可控物理先验实现物理真实视频生成 | CMU / NEC Labs / UCSD | CVPR 2026 | arXiv:2604.28169 关键词： 物理先验·可控生成·摩擦力·弹性·视频扩散 前序工作问题： 视频扩散模型擅长外观合成但物理一致性差：物体漂移、碰撞无回弹、材料响应不真实 贡献： 从简单模拟（滑块/弹球）中学习连续可解释的物理先验（摩擦/弹性/形变/力），推理时无需物理引擎即可注入视频扩散 效果： 实现连续可控的物理参数调节，生成物理真实的碰撞回弹和材料变形效果，CVPR 2026 收录 批判点评： 训练仅用简单几何体模拟数据，对复杂真实场景（如流体、布料）的泛化能力存疑；推理时物理参数需手动指定 7. Visual Generation in the New Era: From Atomic Mapping to Agentic World Modeling 视觉生成新纪元：从原子映射到智能体世界建模（综述） | Multi-institution (27 authors) | arXiv:2604.28185 关键词： 综述·五级分类·Flow Matching·后训练·奖励模型·世界模型 前序工作问题： 视觉生成模型在空间推理、状态持续、长期一致性和因果理解上仍有系统性缺陷，但缺乏统一评价框架 贡献： 提出五级渐进式分类体系（原子→条件→上下文→智能体→世界建模），系统梳理流匹配、统一模型、后训练、奖励建模等技术驱动力 效果： HF Daily Papers 82 票热度最高，提供能力导向的视角理解和推进下一代智能视觉生成系统 批判点评： 27 人综述难免覆盖面广但深度不足；五级分类边界模糊（如 Level 3 与 Level 4 区分标准主观） 8. TAVR: Generate Your Talking Avatar from Video Reference TAVR：从跨场景视频参考生成高保真说话头像 | HeyGen Research | arXiv:2604.27918 关键词： 说话头·跨场景·视频参考·Token选择·身份强化学习 前序工作问题： 现有说话头生成方法依赖同场景静态图参考，跨场景视频参考时身份保持和背景适应能力差 贡献： 提出视频参考范式 TAVR，含 Token 选择处理长时上下文、三阶段训练（同场景预训练→跨场景微调→身份 RL），构建 158 对跨场景评测基准 效果： 量化和定性评估均超越现有基线，已部署于 HeyGen Avatar-V 产品上线 批判点评： 强依赖参考视频质量和时长；身份 RL 奖励可能过拟合特定人脸特征分布，非正面角度效果存疑 9. Nemotron 3 Nano Omni: Efficient Open Multimodal Intelligence Nemotron 3 Nano Omni：NVIDIA 高效开源全模态模型 | NVIDIA | arXiv:2604.24954 关键词： 多模态·音频视觉文本·文档理解·Agent·开源 前序工作问题： 智能体系统需分别调用视觉、语音和语言模型，模型间数据传递耗时且丢失跨模态上下文 贡献： 首次原生支持音频+文本+图像+视频四模态输入，在文档理解、长音视频理解和 Agent 计算机操控上刷新效率基准 效果： 在 6 项权威榜单名列前茅；较前代在所有模态上准确率一致提升；已被 Foxconn 等企业采用 批判点评： 仅支持理解而无生成能力，不属于生成-理解统一模型；Nano 级别参数量在复杂推理场景可能受限 10. ExoActor: Exocentric Video Generation as Humanoid Control ExoActor：第三人称视频生成驱动通用人形机器人控制 | BAAI | arXiv:2604.27711 关键词： 人形控制·视频生成·第三人称·交互动力学·零样本泛化 前序工作问题： 人形机器人需同时建模空间上下文、时序动力学、动作和任务意图的交互，现有方法难以大规模获取多样化数据 贡献： 复用大规模视频生成模型作为交互动力学的统一接口，两阶段流程：先生成第三人称执行视频，再通过运动估计转为可执行动作 效果： 无需额外真实数据即可泛化到新场景，展示视频生成模型在机器人领域的全新应用范式 批判点评： 两阶段流程中运动估计误差会逐级累积；视频生成的物理真实性不足可能导致不可执行的动作序列 趋势观察 奖励模型正成为视觉生成标配 — 从 Edit-R1 到 AesRM，RL 驱动的奖励模型正覆盖图像编辑和视频美学两大场景，验证器范式取代简单打分 蒸馏与 Token 选择加速双管齐下 — AdvDMD 4 步超 40 步原模，YOSE 按掩码比例线性缩放，加速方法从模型级延伸到 Token 级 人工智能炼丹君 整理 | 2026-05-04

AIGC 周末专题|2026-05-02|13.7-18.6x注意力加速，稀疏注意力撕开视频Di… AIGC 周末专题深度解读：稀疏注意力在视频生成中的应用：从免训练加速到可训练融合 人工智能炼丹君 整理 | 2026年5月2日（周六） 覆盖时间：2025年5月 — 2026年4月 本期概述 本期 AIGC 周末专题聚焦稀疏注意力在视频生成中的应用：从免训练加速到可训练融合方向，精选 10 篇代表性论文进行深度解读。 方向分布： 稀疏+线性融合 3篇 3 篇 (SLA, SLA2, SALAD) 免训练稀疏注意力 3篇 3 篇 (SVG-EAR, CalibAtt, AdaSpa) 结构化/Pattern稀疏 2篇 2 篇 (Sparse-vDiT, VMonarch) 可训练/AR稀疏 2篇 2 篇 (VSA, Light Forcing) 其余工作 14篇 1 篇 (SVG/SVG2/STA/BSA/NABLA/SSTA/TempCache/SODA/EasyCache/FasterCache/FastLightGen/FrameDiT/DiagDist/Survey) 含 ICLR 2026 Oral × 1, ICLR 2026 × 1, NeurIPS 2025 × 1, AAAI 2026 × 1, ICCV 2025 × 1 技术路线与时间线 基础探索（2024.06 — 2025.02） 描述：Sparse Attention 从 LLM 领域迁移到视频 DiT，研究者发现 3D 全注意力中天然存在的稀疏性。 关键节点： 2024.06–2025.02：LLM 稀疏注意力技术向视频扩散模型迁移 免训练加速（2025.02 — 2025.05） 描述：Sparse VideoGen 系列开创免训练框架，系统性利用 3D 全注意力天然稀疏性。 关键节点： 2025.02：SVG：首个免训练稀疏注意力加速框架 2025.05：SVG2：语义聚类驱动稀疏模式发现 可训练突破（2025.05 — 2025.09） 描述：VSA 首次证明可训练稀疏注意力可在预训练阶段全程替代全注意力。 关键节点： 2025.05：VSA（NeurIPS 2025）：训练+推理全程稀疏 融合范式确立（2025.09 — 2026.01） 描述：SLA（ICLR 2026 Oral）确立稀疏+线性融合范式，SALAD 和 VMonarch 从不同角度验证。 关键节点： 2025.09：SLA（ICLR 2026 Oral）：13.7x 注意力加速 2026.01：SALAD：2000 样本微调达 90% 稀疏度 2026.01：VMonarch：Monarch 矩阵 17.5x FLOPs 减少 极致推进（2026.01 — 2026.04） 描述：SLA2 将加速比推向 18.6x，SVG-EAR 刷新免训练帕累托前沿，Light Forcing 开辟 AR 方向。 关键节点： 2026.02：SLA2：可学习路由 + QAT，18.6x 加速 2026.02：Light Forcing：首个 AR 视频扩散稀疏注意力 2026.03：SVG-EAR：误差感知路由，1.93x 免训练加速 2026.02：AdaSpa（ICCV 2025）：LSE 缓存搜索 1. SLA：稀疏-线性注意力融合——自定义GPU Kernel实现13.7倍注意力加速（ICLR 2026 Oral） 论文: SLA arXiv: 2509.24006 机构: 清华大学, UC Berkeley 1.1 研究动机 核心问题： 视频DiT中全注意力O(N²)复杂度导致推理延迟极高 注意力权重可分为两部分：少量大权重(高秩)和大量小权重(低秩)。这天然暗示：对大权重用稀疏注意力(O(N²)但只算少量)，对小权重用线性注意力(O(N))。现有方法要么纯稀疏（丢失低秩信息）要么纯线性（无法捕捉局部关键依赖），SLA首次将两者系统融合。 前序工作及局限： 稀疏注意力(Top-K/局部窗口)：丢失信息或不灵活 线性注意力(Linear Transformer)：表达能力不足 与前序工作的本质区别： SLA首次系统性融合稀疏+线性注意力，通过三级分类+自定义GPU kernel实现最优分配 1.2 方法原理 SLA的核心设计：\n\n(1) 三级分类：将注意力权重按大小分为Critical(精确计算)、Marginal(线性注意力近似)、Negligible(跳过)三个级别。\n\n(2) 融合GPU Kernel：将稀疏注意力和线性注意力的前向/反向计算融合到单个自定义GPU kernel中，消除额外显存开销和kernel launch延迟。\n\n(3) 轻量微调：仅需少量步即可在目标视频DiT模型上完成适配。 1.3 核心创新 首次系统性融合稀疏注意力与线性注意力\n提出三级权重分类：Critical(O(N²)精确)+Marginal(O(N)线性)+Negligible(跳过)\n实现自定义GPU kernel支持前向+反向传播融合计算\n95%注意力计算减少，13.7倍注意力加速，2.2倍端到端加速\nICLR 2026 Oral——学术最高认可 1.4 实验结果 注意力计算减少95%（20倍）\n注意力加速13.7倍\n端到端加速2.2倍（Wan 2.1-1.3B）\n生成质量无损（VBench指标保持）\nICLR 2026 Oral接收 1.5 关键洞察 优势：ICLR 2026 Oral验证了方法的学术价值；自定义kernel可直接工业落地；2.2x E2E加速是质量无损方法的最优数字。局限：目前仅在1.3B模型上验证，14B+模型效果未知；kernel需针对不同硬件调优。 技术演进定位： 稀疏-线性融合范式的奠基工作(ICLR 2026 Oral) 可能的后续方向： 更大模型验证(14B+) 与蒸馏/缓存叠加 2. SLA2：可学习路由+量化感知训练——97%稀疏度实现18.6倍注意力加速 论文: SLA2 arXiv: 2602.12675 机构: 清华大学, UC Berkeley 2.1 研究动机 核心问题： SLA固定分类边界无法适应动态变化，且未利用量化压缩空间 SLA采用固定的三级分类边界，无法适应不同层/头/时间步的动态变化。SLA2提出：能否让模型自己学习最优的稀疏-线性分配比例？同时，SLA未利用量化技术进一步压缩计算，存在额外压缩空间。 前序工作及局限： SLA：固定三级分类，ICLR 2026 Oral 量化感知训练(QAT)：LLM领域成熟技术 与前序工作的本质区别： SLA2引入可学习路由器实现层级自适应+QAT进一步压缩，将加速比从13.7x提升到18.6x 2.2 方法原理 SLA2的核心改进：\n\n(1) 可学习路由器：每层每头配备轻量路由网络，动态预测每个注意力块应使用稀疏、线性还是跳过策略。\n\n(2) 改进注意力公式：重新设计稀疏+线性混合公式，更好地贴合原始SLA的分解动机，减少近似误差。\n\n(3) 量化感知训练(QAT)：联合训练路由器和量化参数，在INT4/INT8精度下保持质量。 2.3 核心创新 突破SLA固定分类上限，引入可学习路由器动态调节稀疏/线性比例\n提出贴合原始分解动机的改进注意力公式\n量化感知训练(QAT)进一步压缩推理成本\n97%注意力稀疏度，18.6倍注意力加速\n质量保持与全注意力几乎无差距 2.4 实验结果 97%注意力稀疏度（仅3%计算量）\n18.6倍注意力加速\n视频生成质量与全注意力几乎无差距\n支持INT4量化进一步压缩 2.5 关键洞察 优势：在SLA基础上进一步将加速比提升35%，可学习路由实现层级自适应。局限：需要训练路由器（非免训练）；QAT引入额外训练复杂性。 技术演进定位： SLA范式的极致推进 可能的后续方向： 与稀疏+蒸馏联合优化 消费级设备部署 3. SVG-EAR：误差感知路由+无参数线性补偿——免训练1.93倍端到端加速 论文: SVG-EAR arXiv: 2603.08982 机构: UC Berkeley 3.1 研究动机 核心问题： 免训练稀疏注意力丢弃块后信息损失且传统路由不精确 现有稀疏注意力面临两难：直接丢弃被跳过块会丢失信息；用学习型预测器近似又引入训练开销和分布偏移。SVG-EAR提出关键洞察：经过语义聚类后，同一块内的key/value具有高度相似性，可用少量聚类质心准确概括。 前序工作及局限： Sparse VideoGen/SVG2：在线稀疏模式识别 CalibAtt：离线校准静态模式 与前序工作的本质区别： SVG-EAR用聚类质心无参数恢复被跳过块+误差感知路由替代传统注意力分数路由 3.2 方法原理 SVG-EAR的核心设计：\n\n(1) 聚类质心补偿：对被跳过的注意力块，用key/value的聚类质心做线性(O(N))近似，恢复其对输出的贡献。\n\n(2) 误差感知路由：不按注意力分数选择块，而是用轻量探测器估计每个块的补偿误差，选择'误差-成本比'最高的块做精确计算。\n\n(3) 理论保证：提供注意力重建误差与聚类质量之间的理论上界。 3.3 核心创新 颠覆传统'高注意力分数=重要'的假设，改为'高近似误差=需要精确计算'\n无参数线性补偿：用聚类质心O(N)恢复被跳过块的贡献\n误差感知路由：选择误差-成本比最高的块做精确计算\n提供注意力重建误差的理论上界 3.4 实验结果 Wan 2.2：1.77x端到端加速，PSNR 29.759\nHunyuanVideo：1.93x端到端加速，PSNR 31.043\n显著优于Sparse VideoGen2和CalibAtt\n完全免训练 3.5 关键洞察 优势：免训练、有理论保证、误差感知路由思路优雅。局限：聚类质心计算本身有开销；PSNR不是视频生成的最佳指标；加速上限受限于免训练范式。 技术演进定位： 免训练稀疏注意力的帕累托前沿 可能的后续方向： 与可训练方法结合 聚类效率优化 4. VSA：端到端可训练稀疏注意力——从预训练阶段替换全注意力（NeurIPS 2025） 论文: VSA arXiv: 2505.13389 机构: UC Berkeley, FastVideo 4.1 研究动机 核心问题： 稀疏注意力仅用于推理，训练仍需全注意力导致训练-推理不一致 现有稀疏注意力主要用于推理加速，训练仍需全注意力。这导致训练-推理不一致和训练成本居高不下。VSA提出核心问题：能否设计一种从训练到推理全程使用的稀疏注意力，彻底替代全注意力？ 前序工作及局限： 所有推理时稀疏方法：训练仍用全注意力 FlashAttention：全注意力的高效实现 与前序工作的本质区别： VSA首次证明可训练稀疏注意力可从预训练阶段全程替代全注意力 4.2 方法原理 VSA采用层次化两阶段设计：\n\n(1) 粗粒度阶段：将token序列划分为3D cubes并池化为粗粒度表示，用低成本全注意力预测每个cube的重要性分数，选出关键token区域。\n\n(2) 细粒度阶段：仅在预测的关键区域执行token级精确注意力，形成块稀疏计算模式。\n\n(3) 硬件对齐：cube大小和块大小均对齐GPU的执行粒度，最大化并行效率。 4.3 核心创新 首个在预训练阶段就替换全注意力的可训练稀疏注意力\n层次化设计：粗粒度cube池化预测关键token+细粒度块稀疏注意力\n硬件对齐：所有操作均对齐GPU warp/SM执行模式\n训练和推理双加速——不仅加速推理，还加速训练\n建立可训练稀疏注意力作为全注意力实用替代的里程碑 4.4 实验结果 训练和推理同时加速\n在视频生成质量上与全注意力基线持平\n显著降低训练GPU小时数\n建立可训练稀疏注意力作为全注意力的实用替代\nNeurIPS 2025接收 4.5 关键洞察 优势：训练+推理双加速是独特卖点；硬件对齐设计实用性强；NeurIPS 2025验证了学术质量。局限：粗粒度预测可能丢失细粒度关键信息；需要从头预训练或大量微调。 技术演进定位： 训练范式变革的先驱(NeurIPS 2025) 可能的后续方向： 更大规模模型验证 社区标准化 5. Sparse-vDiT：三模式稀疏Pattern识别+定制Kernel——视频DiT注意力图的系统性利用（AAAI 2026） 论文: Sparse-vDiT arXiv: 2506.03065 机构: 多机构合作 5.1 研究动机 核心问题： 统一稀疏策略未充分利用视频DiT注意力图的结构特征 此前的稀疏注意力方法大多采用统一的稀疏策略（如Top-K或块级稀疏），未充分利用视频DiT注意力图的结构特征。Sparse-vDiT通过详细分析注意力图，发现三种反复出现的稀疏模式，并为每种模式定制高效计算方案。 前序工作及局限： 通用稀疏注意力：统一Top-K或块级策略 FlashAttention：稠密注意力优化 与前序工作的本质区别： Sparse-vDiT系统识别三种稀疏Pattern并为每种设计专用kernel 5.2 方法原理 Sparse-vDiT的核心设计：\n\n(1) 稀疏模式识别：通过统计分析发现视频DiT注意力图中三种主导模式——对角线(diagonal)反映时间邻近性、多对角线(multi-diagonal)反映空间局部性、竖条纹(vertical-stripe)反映全局anchor token。\n\n(2) Pattern-Optimized Sparse Kernels：为每种模式设计专用的CUDA kernel，将稠密注意力替换为结构化稀疏计算。\n\n(3) 自适应模式选择：根据每层每头的注意力分布自动选择最匹配的稀疏模式。 5.3 核心创新 系统性识别视频DiT注意力图中的三种稀疏模式：对角线、多对角线、竖条纹\n为每种模式设计定制的高效计算kernel\n同时减少理论FLOPs和实际推理延迟\n即插即用框架，适配多种视频DiT模型\nAAAI 2026接收 5.4 实验结果 理论FLOPs大幅减少\n实际推理速度显著提升\n视觉质量保持\n适配HunyuanVideo等主流模型\nAAAI 2026接收 5.5 关键洞察 优势：对注意力图的结构化分析深入，三种模式的识别有启发性；定制kernel实现到位。局限：固定的三种模式可能无法覆盖所有场景；模式选择的开销需考虑。 技术演进定位： Pattern-aware稀疏注意力的开拓者(AAAI 2026) 可能的后续方向： 更多Pattern发现 自动Pattern选择 6. SALAD：门控线性注意力并行分支——仅2000样本微调实现90%稀疏度 论文: SALAD arXiv: 2601.16515 机构: 清华大学, 腾讯 6.1 研究动机 核心问题： 免训练稀疏度受限于50-70%，而训练型方法计算成本高 免训练稀疏注意力受限于有限的稀疏度（通常50-70%），突破稀疏度上限需要训练。但训练型方法通常需要大量数据和计算。SALAD提出：能否用极轻量的微调达到极高稀疏度？ 前序工作及局限： 免训练稀疏方法：稀疏度上限有限 SLA：需要较多微调步数 与前序工作的本质区别： SALAD用极轻量微调(2000样本)在稀疏注意力旁添加线性分支达到90%稀疏度 6.2 方法原理 SALAD的核心设计：\n\n(1) 双分支并行：在原始稀疏注意力旁边添加一个轻量线性注意力分支，线性分支负责捕捉被稀疏注意力丢弃的低秩信息。\n\n(2) 输入依赖门控：用可学习门控机制根据输入内容动态调节两个分支的贡献权重。\n\n(3) 极轻量微调：仅新增线性注意力层和门控网络的参数，用2000个视频样本1600步即可完成训练。 6.3 核心创新 在稀疏注意力旁添加轻量线性注意力并行分支\n输入依赖门控机制动态平衡两分支贡献\n极轻量微调：仅需2000个视频样本和1600步训练\n90%稀疏度下质量与全注意力基线相当\n1.72x推理加速 6.4 实验结果 90%稀疏度，1.72x推理加速\n生成质量与全注意力基线相当\n仅需2000样本微调\n适配多种视频DiT模型 6.5 关键洞察 优势：微调效率极高（2000样本），工程门槛低；门控机制优雅。局限：1.72x加速低于SLA的2.2x；线性注意力的表达能力有限。 技术演进定位： 工程门槛最低的稀疏-线性融合方案 可能的后续方向： 门控机制改进 与VSA思路融合 7. VMonarch：Monarch矩阵结构化注意力——17.5倍FLOPs减少的数学最优解 论文: VMonarch arXiv: 2601.22275 机构: 南京大学, 腾讯 7.1 研究动机 核心问题： 现有稀疏方法缺乏数学最优性保证 视频DiT的注意力模式天然具有高度稀疏的时空结构，但现有稀疏方法(Top-K/局部窗口)要么不灵活要么丢失全局信息。VMonarch发现Monarch矩阵——一类具有灵活稀疏性的结构化矩阵——可以优雅地表示这些模式。 前序工作及局限： Monarch Mixer(2023)：结构化矩阵在Mixer中的应用 Monarch in LLM：LLM注意力压缩 与前序工作的本质区别： VMonarch首次将Monarch矩阵引入视频DiT，提供时空注意力的数学最优分解 7.2 方法原理 VMonarch的核心设计：\n\n(1) 时空Monarch分解：将全注意力矩阵分解为帧内(空间)和帧间(时间)两组Monarch因子，分别捕捉空间和时间相关性。\n\n(2) 交替最小化：通过交替优化两组因子来逼近原始全注意力，配合重计算策略解决收敛不稳定问题。\n\n(3) 在线熵算法：融入FlashAttention的在线计算范式，使Monarch矩阵更新在长序列上高效可行。 7.3 核心创新 首次将Monarch矩阵引入视频DiT注意力\n时空Monarch分解：帧内(空间)+帧间(时间)两组结构化因子\n交替最小化+重计算策略解决不稳定问题\n在线熵算法融入FlashAttention支持长序列\n17.5倍FLOPs减少，5倍以上注意力加速 7.4 实验结果 注意力FLOPs减少17.5倍\n注意力计算加速5倍以上\n90%稀疏度下超越所有SOTA稀疏注意力方法\n轻量微调后VBench质量与全注意力相当 7.5 关键洞察 优势：数学上最优雅的方案；FlashAttention兼容；理论深度最强。局限：交替最小化收敛依赖初始化；实际wall-clock加速(5x)远小于理论FLOPs减少(17.5x)，存在实现瓶颈。 技术演进定位： 理论深度最强的结构化注意力方案 可能的后续方向： 工程优化缩小理论-实际差距 与FlashAttention深度融合 8. Light Forcing：首个面向自回归视频扩散的稀疏注意力——Chunk-Aware Growth机制 论文: Light Forcing arXiv: 2602.04789 机构: 多机构合作 8.1 研究动机 核心问题： 现有稀疏注意力面向双向扩散模型，忽视自回归视频生成的因果特性 现有稀疏注意力主要面向双向扩散模型(如Wan/HunyuanVideo)，而自回归视频扩散模型(如GameGen/Oasis/CogVideoX-AR)的因果结构与双向模型截然不同。Light Forcing首次为AR视频扩散定制稀疏注意力方案。 前序工作及局限： 双向扩散稀疏方法：SVG/CalibAtt/SLA等 AR视频扩散模型：CogVideoX-AR/GameGen 与前序工作的本质区别： Light Forcing首次为AR视频扩散定制Chunk-Aware Growth稀疏注意力 8.2 方法原理 Light Forcing的核心设计：\n\n(1) AR注意力模式分析：发现AR视频扩散中注意力呈现因果增长的独特模式——新生成帧主要关注临近帧和关键锚帧。\n\n(2) Chunk-Aware Growth机制：将视频序列划分为因果chunk，稀疏注意力范围随chunk增长动态扩展，保持对历史的选择性回顾。\n\n(3) 锚帧保留策略：自动识别并保留关键参考帧的全注意力计算，确保长程一致性。 8.3 核心创新 首个专门面向自回归(AR)视频生成模型的稀疏注意力\n提出Chunk-Aware Growth机制适应AR生成的因果增长特性\n发现AR视频扩散中独特的注意力稀疏模式\n兼顾质量提升和效率加速\n开源代码和模型 8.4 实验结果 AR视频生成质量提升（质量和效率双赢）\n推理速度显著加速\n长视频生成的一致性提升\n代码开源 8.5 关键洞察 优势：AR视频生成方向的首个稀疏注意力方案，填补空白；Chunk-Aware Growth设计与AR范式天然匹配。局限：AR视频生成模型本身尚未成为主流；方法可推广性受限于AR架构。 技术演进定位： AR视频生成稀疏加速的开创者 可能的后续方向： AR范式普及后的标准化 与KV缓存压缩联合 9. CalibAtt：离线校准+在线高效推理——跨输入稳定的块级稀疏模式 论文: CalibAtt arXiv: 2603.05503 机构: 以色列理工 9.1 研究动机 核心问题： 免训练方法需要在线动态判断token重要性，开销大 已有稀疏注意力方法要么需要训练，要么在线动态判断token重要性(开销大)。CalibAtt发现核心洞察：稀疏模式在不同输入上惊人地稳定，可以离线一次校准、在线直接复用。 前序工作及局限： Sparse VideoGen：在线3%样本分析 动态稀疏方法：运行时判断开销 与前序工作的本质区别： CalibAtt发现稀疏模式跨输入稳定，可离线固定复用 9.2 方法原理 CalibAtt采用两阶段策略：\n\n(1) 离线校准阶段：在少量参考视频上运行全注意力，统计每一层、每个头、每个扩散时间步的块级稀疏模式和重复模式。\n\n(2) 模式编译：将稳定的稀疏模式编译为优化的注意力操作(类似JIT编译)。\n\n(3) 在线推理：只计算被选中的输入相关连接，以硬件友好方式跳过未选中连接。 9.3 核心创新 发现关键洞察：大量token-to-token连接在不同输入上一致地产生可忽略的注意力分数\n离线校准+在线推理两阶段策略\n层-头-时间步三维稀疏模式校准\n块级粒度兼顾精度和硬件效率\n完全免训练，1.58x端到端加速 9.4 实验结果 Wan 2.1 14B、Mochi 1及其蒸馏版本上实现1.58x端到端加速\n视频生成质量和文本-视频对齐度优于已有免训练方法\n支持多种分辨率\n完全免训练 9.5 关键洞察 优势：完全免训练、直接即插即用；离线校准成本低；硬件友好。局限：1.58x加速比在近期方法中不突出；对新架构需重新校准；块级粒度可能丢失细粒度信息。 技术演进定位： 离线校准范式的开创者 可能的后续方向： 模式自动更新 新架构快速适配 10. AdaSpa：动态模式+在线精确搜索——面向长视频的自适应稀疏注意力（ICCV 2025） 论文: AdaSpa arXiv: 2502.21079 机构: 字节跳动, 北京大学 10.1 研究动机 核心问题： 动态模式和在线搜索难以兼顾，现有方法牺牲其一 现有免训练稀疏方法要么用固定模式(无法适应动态变化)，要么在线搜索开销大。AdaSpa提出：能否将动态模式与在线精确搜索结合，实现既准确又高效的自适应稀疏注意力？ 前序工作及局限： 固定模式方法：CalibAtt等，无法动态适应 在线搜索方法：开销大 与前序工作的本质区别： AdaSpa利用FlashAttention的LSE副产品零开销实现在线精确搜索 10.2 方法原理 AdaSpa的核心设计：\n\n(1) 块化模式(Blockified Pattern)：将注意力矩阵划分为层次化block结构，高效表示DiT中的多尺度稀疏性。\n\n(2) LSE缓存搜索：利用FlashAttention计算过程中的LogSumExp副产品作为block重要性信号，零额外开销精确定位关键token区域。\n\n(3) 自适应稀疏决策：根据每步动态计算的重要性信号决定哪些block需要精确计算，实现自适应稀疏。 10.3 核心创新 首个结合动态模式和在线精确搜索的稀疏注意力方法\n块化模式(Blockified Pattern)高效表示DiT的层次稀疏性\nLSE(LogSumExp)缓存搜索实现精确重要token定位\n免训练、免数据、即插即用\n面向长视频生成加速\nICCV 2025接收 10.4 实验结果 长视频生成速度显著提升\n视觉质量与原始模型几乎相同\n免训练、免数据\nICCV 2025接收\n适配OpenSora等模型 10.5 关键洞察 优势：LSE缓存搜索零开销，设计极其优雅；免训练免数据实用性最强。局限：依赖FlashAttention实现，对其他注意力实现不通用。 技术演进定位： 免训练免数据方案的最优解(ICCV 2025) 可能的后续方向： 推广到更多注意力实现 与缓存方法叠加 其余论文速览 1. Sparse VideoGen Sparse VideoGen: Accelerating Video Diffusion Transformers with Inherent Sparsity | UC Berkeley | arXiv:2502.01776 关键词： 免训练, 空间/时间稀疏, 3D全注意力, 系列开山作 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 首个系统性利用3D全注意力天然稀疏性的免训练加速框架，在线3%样本分析识别空间/时间稀疏模式 效果： 在Wan/HunyuanVideo/Mochi上实现高效免训练加速，开创Sparse VideoGen系列 2. Sparse VideoGen2 Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Clustering | UC Berkeley | arXiv:2505.18875 关键词： 语义聚类, K-Means, 空间/时间稀疏, SVG系列第二代 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 基于K-Means语义聚类的稀疏注意力加速，自动发现空间和时间两种稀疏模式并分别优化 效果： 在SVG基础上进一步提升加速比，聚类质量直接影响加速效果 3. TempCache Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention | 多机构合作 | arXiv:2602.01801 关键词： KV缓存压缩, 自回归, 世界模型, AnnCA 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 面向自回归视频扩散的时间KV缓存压缩+稀疏注意力联合加速，AnnCA近似近邻注意力 效果： 长视频流式生成效率大幅提升，支持视频世界模型 4. SODA SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer | 多机构合作 | arXiv:2603.07057 关键词： 敏感度建模, 动态规划, 缓存+剪枝, 统一框架 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 敏感度导向的缓存+剪枝统一框架，通过动态规划求解最优缓存时间点 效果： 在DiT-XL/PixArt-α/OpenSora上实现SOTA保真度-加速比权衡 5. EasyCache Less is Enough: Training-Free Video Diffusion Acceleration via Adaptive Caching | 多机构合作 | arXiv:2507.03065 关键词： 免训练, 自适应缓存, 可叠加, 3x加速 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 无需训练的自适应缓存加速，运行时自适应决策何时复用何时重算，与SVG稀疏注意力可叠加 效果： SVG+EasyCache在HunyuanVideo上实现3x以上加速 6. FasterCache FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality | 多机构合作 | ICLR 2026 关键词： 免训练缓存, 时间步复用, ICLR 2026, 全自注意力 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 免训练视频扩散缓存加速，利用全自注意力层的时间步相关性进行特征复用 效果： 在CogVideoX/Vchitect 2.0/Mochi上实现高质量免训练加速 7. FastLightGen FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters | 香港科技大学(广州) | arXiv:2603.01685 关键词： 步数蒸馏, 参数剪枝, 联合压缩, 35x加速 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 步数+参数同时压缩的三阶段协同蒸馏管线，将13B模型压缩至30%参数4步推理 效果： 35x加速HunyuanVideo/WanX，5秒视频数秒内生成 8. FrameDiT FrameDiT: Frame-level Matrix Attention for Video Diffusion Transformers | 多机构合作 | arXiv:2603.10200 关键词： 帧级注意力, 矩阵注意力, 结构化, 需训练 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 帧级矩阵注意力替代token级全注意力，粒度介于Full 3D和Local Factorized之间 效果： 效率与Local Factorized Attention相当，多个视频生成benchmark达到SOTA 9. CausVid From Slow Bidirectional to Fast Autoregressive Video Diffusion Models | Nvidia, Technion | arXiv:2412.07772 关键词： 非对称蒸馏, CVPR 2025, 自回归, 实时生成, 9.4 FPS 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 将双向扩散模型蒸馏为因果自回归生成器，DMD视频蒸馏50步→4步，非对称蒸馏用双向教师监督因果学生 效果： 9.4 FPS实时生成，VBench-Long 84.27，CVPR 2025接收 10. STA Fast Video Generation with Sliding Tile Attention | UC Berkeley (Hao AI Lab) | arXiv:2502.04507 关键词： 滑动窗口, Tile级, 硬件友好, ICML 2025, 免训练 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 提出Tile级滑动窗口注意力替代Token级，利用视频DiT注意力在3D时空局部窗口内集中的特性，硬件友好设计 效果： 注意力加速2.8-17x(vs FlashAttention-2)，端到端1.36-3.53x加速，ICML 2025接收 11. BSA Bidirectional Sparse Attention for Faster Video Diffusion Training | UC Berkeley (Hao AI Lab) | arXiv:2509.01085 关键词： 训练加速, 双向稀疏, Query+KV稀疏, 动态阈值, 20x FLOPs 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 首个同时动态稀疏化Query和KV对的训练加速方法，通过语义相似性选择Query+动态阈值保留关键KV块 效果： 训练FLOPs减少20x，注意力训练加速17.79x，生成质量与全注意力持平或超越 12. NABLA ∇NABLA: Neighborhood Adaptive Block-Level Attention | AI Forever | arXiv:2507.13546 关键词： 块级注意力, CDF二值化, Flex Attention, 训练+推理, 开源权重 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 自适应块级注意力：下采样Q/K后在压缩空间计算注意力，CDF二值化生成稀疏mask，集成PyTorch Flex Attention无需自定义CUDA 效果： 训练和推理加速最高2.7x，可与STA叠加使用，Wan 2.1预微调权重已开源 13. SSTA (HunyuanVideo 1.5) HunyuanVideo 1.5 Technical Report — Selective and Sliding Tile Attention | 腾讯混元 | arXiv:2511.18870 关键词： SSTA, 选择性注意力, 滑动Tile, 工业级, 消费级GPU, 开源 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 提出SSTA(Selective and Sliding Tile Attention)：识别并剪除冗余时空KV块，仅对高信息区域执行全注意力，集成于8.3B参数的工业级视频生成模型 效果： 10秒720p视频端到端1.87x加速(vs FlashAttention-3)，消费级GPU可运行，开源模型权重 14. Awesome-Video-Attention Awesome-Video-Attention: A Curated Survey of Efficient Video Attention Methods | UC Berkeley (Hao AI Lab) | GitHub (hao-ai-lab) 关键词： 综述, 社区资源, 全技术栈, 持续更新 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 视频注意力加速方法的系统性综述列表，涵盖稀疏化/量化/缓存等全部技术路线 效果： 社区标准参考，持续更新，按时间逆序排列 横向对比与技术脉络总结 横向对比：稀疏注意力在视频生成中的技术路线对比 论文 方法类别 是否需要训练 注意力加速 端到端加速 测试模型 质量保持 SLA 稀疏+线性融合 轻量微调 13.7x 2.2x Wan 2.1 1.3B SLA2 稀疏+线性+量化 可学习路由 18.6x - 视频DiT SVG-EAR 稀疏+线性补偿 免训练 - 1.93x Wan 2.2 / HunyuanVideo VSA 可训练稀疏 预训练替换 训练+推理 - 视频DiT Sparse-vDiT Pattern定制kernel 免训练 显著 显著 HunyuanVideo SALAD 稀疏+线性门控 2000样本微调 - 1.72x 视频DiT VMonarch 结构化Monarch 轻量微调 5x - VBench Light Forcing AR稀疏 免训练 显著 - AR视频DiT CalibAtt 离线校准稀疏 免训练 - 1.58x Wan 2.1 14B / Mochi AdaSpa 自适应稀疏 免训练免数据 显著 显著 OpenSora 核心技术趋势 从免训练到可训练，从推理到全程 稀疏注意力的演进路线清晰：免训练方法(CalibAtt/SVG-EAR)天花板约2x，轻量微调(SALAD/SLA)突破至2-5x，全程可训练(VSA)则实现训练+推理双加速。三条路线并行发展，适用于不同部署场景。 稀疏+线性融合成为最优范式 SLA(ICLR 2026 Oral)确立了'大权重用稀疏、小权重用线性'的分工模式。SLA2通过可学习路由将其推向极致(18.6x)。SALAD用门控机制轻量化实现同一思路。这一范式的优势在于理论完备且工程可落地。 注意力图的结构化利用 从统一稀疏策略到结构化利用：Sparse-vDiT识别三种Pattern、VMonarch用Monarch矩阵表示时空结构、CalibAtt发现跨输入稳定性。理解注意力图的内在结构是设计更好稀疏方案的关键。 自回归视频扩散带来新挑战 Light Forcing和TempCache分别面向AR视频扩散设计稀疏注意力和缓存压缩。随着AR范式(CogVideoX-AR/GameGen)兴起，因果注意力的稀疏化将成为新研究热点。 多方法叠加实现极致加速 EasyCache+SVG可叠加达3x+；SLA+步数蒸馏理论可达5-10x无损加速；稀疏注意力+量化(SLA2 QAT)+缓存三者联合将推动视频生成走向消费级设备实时部署。 人工智能炼丹君 整理 | 数据来源：arXiv 2025年5月 — 2026年4月

AIGC 每日速读|2026-05-01|20秒训练7x加速DiT，SAMG零开销解锁空间自适应… 今日核心看点 ViPO 偏好优化 SAMG 自适应引导 L2P 推理加速 SpatialFusion 3D感知 Z² 零开销采样 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 推理加速与采样优化 3 篇 (L2P, Z²-Sampling, IDaS-SR) 引导策略与偏好对齐 3 篇 (SAMG, ViPO, ACPO) 统一生成架构与可控性 2 篇 (SpatialFusion, Diffusion Templates) 生成式超分辨率 2 篇 (MetaSR, IDaS-SR) 视觉推理与规划评测 1 篇 (EAR) 今日论文速览 1. ViPO: Visual Preference Optimization at Scale ViPO：大规模视觉偏好优化 | ICLR 2026 | arXiv:2604.24953 关键词： 偏好优化·扩散模型·DPO·大规模数据集·图像视频生成 前序工作问题： 开源偏好数据集存在冲突模式和噪声，直接优化难以学习有效偏好，阻碍视觉生成模型的大规模偏好对齐 贡献： 提出 Poly-DPO 算法通过多项式项动态调节模型置信度适应不同数据分布，构建含 100 万图像对和 30 万视频对的大规模偏好数据集 效果： 在 Pick-a-Pic V2 上 GenEval 指标超 Diffusion-DPO 6.87 分(SD1.5)和 2.32 分(SDXL)，训练模型远超现有开源偏好数据集 批判点评： 数据集构建依赖 SOTA 模型生成偏好对，可能引入模型自身偏差；Poly-DPO 在高质量数据上退化为标准 DPO，额外复杂度的实际收益有限 2. SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness SpatialFusion：赋予统一图像生成内在3D几何感知 | Zhejiang University | arXiv:2604.26341 关键词： 3D感知·统一生成·MoT架构·深度图·空间推理 前序工作问题： 统一图像生成模型在空间感知任务上表现受限，缺乏内在空间理解和生成时的显式几何引导 贡献： 提出 MoT 架构并行空间 Transformer 提取度量深度图作为几何支架，通过深度适配器注入扩散骨干实现空间一致生成 效果： 在空间感知基准上显著超越 GPT-4o 等领先模型，同时在 T2I 和图像编辑上实现泛化性能提升，推理开销可忽略 批判点评： 依赖额外深度 Transformer 分支增加参数量；空间感知仅覆盖单目深度，对遮挡和多视角一致性的处理能力未验证 3. Delta Score Matters! Spatial Adaptive Multi Guidance in Diffusion Models SAMG：空间自适应多引导打破细节-伪影困境 | Unknown | arXiv:2604.26503 关键词： CFG改进·空间自适应·微分几何·零开销·图像视频扩散 前序工作问题： 标准 CFG 使用全局均匀标量引导，陷入'细节-伪影困境'：低引导丢失语义细节，高引导导致结构退化和色彩过饱和 贡献： 从微分几何角度揭示 CFG 本质是切向线性外推在弯曲流形上引入正交偏差，提出 SAMG 逐点动态计算引导能量实现空间自适应 效果： 跨 SD1.5/SDXL/SD3.5/CogVideoX/ModelScope 五种架构验证，零计算开销下同时提升语义对齐、结构完整性和时序平滑度 批判点评： 理论分析基于 Tweedie 公式的局部近似，对高阶流形曲率的建模精度不明；逐点计算在极高分辨率下的内存开销未讨论 4. Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models L2P：可学习线性预测器加速 DiT 推理 | CVPR 2026 | arXiv:2604.26365 关键词： 推理加速·特征缓存·可学习权重·DiT·FLUX 前序工作问题： DiT 特征缓存加速方法依赖手工固定预测公式，在激进跳步策略下性能严重退化 贡献： 提出 L2P 用可学习的逐时间步权重替代固定系数，仅需单 GPU 约 20 秒训练即可从历史轨迹精确重建当前特征 效果： FLUX.1-dev 上实现 4.55 倍 FLOPs 降低和 4.15 倍延迟加速，Qwen-Image 上 7.18 倍加速仍保持高视觉保真度 批判点评： 线性预测器表达能力有限，对复杂非线性特征变化的建模可能存在天花板；泛化到不同提示分布的鲁棒性未充分验证 5. Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion Diffusion Templates：统一插件框架实现可控扩散模组化 | Unknown | arXiv:2604.24351 关键词： 可控生成·插件框架·模块化·KV-Cache·LoRA·开源 前序工作问题： 可控扩散方法各自独立开发，训练管线、参数格式和运行时钩子互不兼容，难以跨任务复用和组合多种控制 贡献： 提出系统级统一接口框架，解耦基础模型推理与可控能力注入，通过 Template Model/Cache/Pipeline 三组件支持异构能力载体 效果： 构建覆盖结构控制、亮度/色彩调整、编辑、超分、锐化、美学对齐、内容参考、局部修复、年龄控制等 11+ 任务的模型动物园 批判点评： 框架抽象层可能引入额外推理延迟；不同 Template 组合时的冲突解决策略未深入讨论 6. Z²-Sampling: Zero-Cost Zigzag Trajectories for Semantic Alignment in Diffusion Models Z²-Sampling：零开销锯齿采样破 Pareto 前沿 | Unknown | arXiv:2604.23536 关键词： 采样加速·锯齿轨迹·代数消元·CFG增强·零额外NFE 前序工作问题： 显式锯齿采样(Z-Sampling)通过多步前向-后向遍历探测流形曲率提升语义对齐，但三倍化 NFE 开销且引入离流形截断误差 贡献： 证明显式锯齿序列拓扑可约，提出隐式 Z-Sampling 通过算子对偶代数消元中间态，结合时序语义代理实现零开销 效果： 恢复标准 2-NFE 基线同时保留语义探索增益，跨 UNet/DiT 架构和图像/视频模态验证，与 AYS/Diffusion-DPO 正交兼容 批判点评： 代数消元依赖特定 ODE 求解器的时序相干性假设，对自适应步长调度器的兼容性需进一步验证 7. Bridging Restoration and Generation Manifolds in One-Step Diffusion for Real-World Super-Resolution IDaS-SR：一步扩散桥接修复与生成流形 | Unknown | arXiv:2604.24136 关键词： 真实超分·一步推理·流形桥接·感知-失真平衡·噪声估计 前序工作问题： 单步蒸馏加速方法面临刚性时间步初始化、分布轨迹错配和脆弱随机调制导致的感知-失真权衡困境 贡献： 提出 MINE 预测退化感知时间步和反演噪声锚定低质量潜变量，CHARIOT 连续生成导向机制显式导航感知-失真边界 效果： 一步推理下超越 SOTA 方法，从严格结构修复器到精细纹理幻觉器的无缝过渡 批判点评： 退化感知依赖预训练的退化分类器，对未见退化类型的泛化能力存疑；一步推理的质量上界仍受限于蒸馏教师 8. ACPO: Anchor-Constrained Perceptual Optimization for Diffusion Models with No-Reference Quality Guidance ACPO：锚点约束感知优化提升扩散模型主观质量 | Unknown | arXiv:2604.26348 关键词： 感知质量·无参考IQA·锚点正则化·微调稳定性·分布漂移 前序工作问题： 扩散模型训练以像素级全参考损失为主，忽略主观视觉感知质量；直接优化无参考 IQA 信号导致训练不稳定和分布漂移 贡献： 提出锚点约束优化框架，通过 NR-IQA 模型引导感知优化同时用锚点正则化在噪声预测层面保持与基础模型一致性 效果： 有效平衡感知质量提升与生成保真度/多样性保持，避免微调过程中的训练不稳定 批判点评： NR-IQA 模型自身的偏差可能被放大注入生成模型；锚点强度的最优选择缺乏自适应机制 9. MetaSR: Content-Adaptive Metadata Orchestration for Generative Super-Resolution MetaSR：内容自适应元数据编排生成式超分辨率 | Northwestern University | arXiv:2604.26244 关键词： 生成式超分·元数据引导·DiT·一步蒸馏·码率优化 前序工作问题： 现有元数据引导超分方法使用固定调节设计，在内容和退化多样性高的真实场景中次优，传输预算受限时尤甚 贡献： 提出基于 DiT 的框架智能选择并注入任务相关元数据引导超分，利用 VAE 和 Transformer 融合异构元数据并实现一步推理蒸馏 效果： 跨多种内容桶和退化模式超越参考方案最高 1.0dB PSNR，匹配质量下节省 50% 传输码率 批判点评： 元数据选择策略的计算开销和在线部署延迟未量化；实验未覆盖极端退化(如严重压缩伪影)场景 10. Probing Visual Planning in Image Editing Models EAR：编辑即推理探测图像编辑模型视觉规划能力 | Unknown | arXiv:2604.22868 关键词： 视觉规划·编辑即推理·抽象谜题·迷宫·评测基准 前序工作问题： 视觉规划是人类智能关键能力，但机器学习中多以语言为中心解决；纯视觉方法因逐步生成范式计算效率低下 贡献： 提出 EAR 编辑即推理范式将视觉规划重构为单步图像变换，引入 AMAZE 抽象迷宫数据集自动评估 AR 和扩散模型的像素保真度与逻辑有效性 效果： 微调后模型可泛化到更大规模和域外几何，但最佳模型仍无法匹配人类零样本效率，揭示神经视觉推理差距 批判点评： 抽象迷宫任务与真实图像编辑场景差异大，结论迁移性存疑；评估仅覆盖路径规划类任务，对创意编辑推理无覆盖 趋势观察 扩散模型推理加速持续白热化 — L2P(20秒训练7x加速)、Z²-Sampling(零开销语义增强)、IDaS-SR(一步超分) 三篇工作从不同角度逼近效率极限 CFG 引导范式迎来几何重构 — SAMG 和 Z²-Sampling 不约而同从微分几何视角重新理解 CFG，推动引导策略从粗暴标量走向精细空间自适应 人工智能炼丹君 整理 | 2026-05-01 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-04-30|V-GRPO让RL对齐提速3倍，64token暴力生图 今日核心看点 RL对齐扩散 1D AR生成 视频后训练 音频RLHF 组合式文生图 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 扩散模型 RL 对齐与加速 2 篇 (V-GRPO, Mutual Forcing) 视频生成后训练与叙事 2 篇 (Systematic Post-Train, Co-Director) 图像生成与编辑 4 篇 (VibeToken, RvR, Golden RPG, ResetEdit) 音频与音乐生成 2 篇 (Step-Audio-R1.5, SymphonyGen) 今日论文速览 1. V-GRPO：RL对齐扩散模型原来这么简单，文生图SOTA提速3倍 V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think | 2604.23380 关键词： 强化学习·扩散模型·ELBO·GRPO·文生图对齐 前序工作问题： 用策略梯度在线 RL 对齐扩散生成模型面临似然不可解难题，现有 MDP 轨迹方法稳定但低效，ELBO 代理方法在视觉生成上表现不佳 贡献： 提出 V-GRPO，将 ELBO 代理与 GRPO 算法融合，通过降低代理方差和控制梯度步长使 ELBO 路线首次超越 MDP 方法，实现稳定高效的扩散模型 RL 对齐 效果： 在文生图合成中达到 SOTA 性能，相比 MixGRPO 提速 2 倍，相比 DiffusionNFT 提速 3 倍，且实现简单、与预训练目标自然对齐 批判点评： ELBO 代理的方差控制依赖精心调参，泛化到不同扩散架构的鲁棒性待验证；仅在文生图场景评估，对视频生成等其他扩散任务的迁移能力未知；与 DPO 等离线方法的对比缺少公平条件分析 2. VibeToken：1D Tokenizer让AR图像生成效率暴增63倍（CVPR 2026） VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations | 2604.24885 关键词： 图像Tokenizer·自回归生成·动态分辨率·1D序列·CVPR 2026 前序工作问题： 固定分辨率 AR 模型的推理 FLOPs 随分辨率二次增长（LlamaGen 在 1024×1024 需 11T FLOPs），且无法泛化到任意宽高比 贡献： 提出 VibeToken，基于 1D Transformer 的分辨率无关图像 Tokenizer，将图像编码为 32-256 个用户可控 token，实现动态分辨率自回归生成；VibeToken-Gen 仅用 64 token 即可合成 1024×1024 图像 效果： 64 token 生成 1024×1024 图像达 3.94 gFID（对比 SOTA 扩散模型 1024 token / 5.87 gFID），推理 FLOPs 仅 179G，比 LlamaGen 高效 63.4 倍且与分辨率无关 批判点评： 极端压缩（32 token 编码一张图）可能丢失高频细节；1D tokenizer 对空间结构的建模能力不如 2D 方案；CVPR 接收但 gFID 指标与最新扩散模型仍有差距 3. Mutual Forcing：4步搞定音视频角色生成，无需教师模型 Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation | 2604.25819 关键词： 音视频生成·自回归·自蒸馏·少步生成·双模式协同 前序工作问题： 现有流式蒸馏管线需先训练双向教师模型再多阶段蒸馏为因果生成器，流程复杂、训练开销大，且受限于固定教师质量 贡献： 提出 Mutual Forcing 框架，在原生自回归模型上集成少步和多步两种生成模式共享参数，多步模式通过自蒸馏提升少步模式质量，少步模式在训练时生成历史上下文改善训练-推理一致性，两模式互相强化 效果： 仅用 4-8 步即可匹配或超越需要约 50 步采样的强基线，无需额外双向教师模型，支持更灵活的训练序列长度 批判点评： 双模式共享参数可能导致两种模式互相干扰而非完全互补；4-8 步生成在高质量要求场景下是否真正匹配全步效果需更多定量验证；仅在角色动画场景验证，泛化到通用音视频的能力待考 4. 视频生成后训练蓝图：SFT→RLHF→提示增强→推理优化四步走 A Systematic Post-Train Framework for Video Generation | 2604.25427 关键词： 视频生成·后训练·RLHF·GRPO·SFT·推理优化 前序工作问题： 大规模视频扩散模型预训练后仍存在提示敏感、时序不一致和推理成本过高等问题，导致与实际部署需求之间有巨大差距 贡献： 提出系统化后训练框架，分四阶段逐步对齐：SFT 稳定指令跟随 → RLHF（视频专用 GRPO）增强感知质量和时序一致性 → 提示增强精炼用户输入 → 推理优化压缩采样成本 效果： 统一管线有效抑制常见伪影，显著提升可控性和视觉美学，同时满足严格的采样成本约束，提供可复制的生产级后训练蓝图 批判点评： 四阶段串联管线的调参和维护成本极高；GRPO 在视频维度的奖励设计细节不够充分；缺少与 InstructVideo、VideoDirectorGPT 等已有后训练方法的直接对比 5. RvR：统一多模态模型的图像精修应该「再生」而非「编辑」 Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models | 2604.25636 关键词： 统一多模态·图像精修·条件再生成·语义对齐·修改空间 前序工作问题： 统一多模态模型的精修方法沿用编辑范式（RvE），编辑指令对齐描述粗糙且像素级保留过度限制修改空间，导致精修不完整 贡献： 提出 Refinement via Regeneration (RvR) 框架，将精修重定义为基于目标提示和初始图像语义 token 的条件再生成，突破编辑范式的修改空间限制实现更完整的语义对齐 效果： Geneval 从 0.78 提升至 0.91，DPGBench 从 84.02 到 87.21，UniGenBench++ 从 61.53 到 77.41，全面提升文图对齐质量 批判点评： 再生成策略可能导致图像风格和低级纹理的不一致；对已经高度对齐的初始图像反而可能引入不必要的变化；语义 token 的压缩程度对再生成质量的影响未充分消融 6. Step-Audio-R1.5：用RLHF突破音频推理的「可验证奖励陷阱」 Step-Audio-R1.5 Technical Report | 2604.25719 关键词： 音频推理·RLHF·可验证奖励陷阱·韵律自然度·沉浸对话 前序工作问题： 大型音频语言模型通过 RLVR 优化在基准测试上取得高分，但系统性地退化对话的韵律自然度、情感连续性和用户沉浸感，变成机械的「答题机器」 贡献： 揭示「可验证奖励陷阱」——RLVR 将丰富连续的听觉语境压缩为离散可验证标签的根本矛盾；引入 Step-Audio-R1.5，开创性地在音频推理中使用 RLHF 替代 RLVR，从机械客观验证转向感官共情 效果： Step-Audio-R1.5 在保持分析推理能力的同时深刻改善交互体验，重新定义深度沉浸式长轮对话的边界 批判点评： RLHF 的人类偏好数据收集成本极高且主观性强；「可验证奖励陷阱」的论述虽有洞察但定量证据不足；对非对话场景（如音频分类、音频检索）的影响未讨论 7. Co-Director：多智能体协作驱动视频叙事创作 Co-Director: Agentic Generative Video Storytelling | 2604.24842 关键词： 视频叙事·多智能体·分层优化·多臂赌博机·身份一致性 前序工作问题： 扩散模型能生成高保真视频片段但难以构成连贯叙事，现有智能体管线因独立手工提示而导致语义漂移和级联失败 贡献： 提出 Co-Director 分层多智能体框架，将视频叙事形式化为全局优化问题：多臂赌博机全局探索有前景的创意方向，局部多模态自精炼循环抑制身份漂移确保序列级一致性 效果： 在 GenAD-Bench（400 场景个性化广告数据集）上显著超越 SOTA 基线，可无缝泛化到更广泛的电影叙事 批判点评： 多臂赌博机的探索-利用权衡在创意领域的适用性存疑；400 场景集中在广告领域，对长篇叙事的验证不足；多智能体协调的计算开销和延迟缺乏量化分析 8. Golden RPG：区域感知噪声让组合式文生图更精准 Golden RPG: Confidence-Adaptive Region-Aware Noise for Compositional Text-to-Image Generation | 2604.25314 关键词： 组合式文生图·区域感知·噪声预测·FiLM·置信度自适应 前序工作问题： 扩散模型的 golden noise 预测本质上是全局的，同一网络用单一文本嵌入概括多区域提示，在描述空间分离实体时成为瓶颈 贡献： 提出 Golden RPG，在冻结 NPNet 上增加两个可训练模块：逐区域 FiLM 适配器按子提示重塑预测噪声、Region Cross-Attention 让不同空间位置关注不同子提示 token；置信度自适应融合头动态决定区域信号覆盖全局信号的强度 效果： 在 RPG 基准和 T2I-CompBench 四类多区域评测上均取得最高 Cross-Region-Coherence 分数，用户研究中约 67% 偏好率超越最强基线，仅增加约 2M 参数和 0.6s 推理开销 批判点评： 依赖冻结的 NPNet 基座，其固有局限传导到区域预测；FiLM 适配器的区域分解假设子提示完全独立，忽略跨区域交互；仅在 SDXL 上验证，对其他扩散架构的迁移性未知 9. ResetEdit：给生成图预埋「回溯锚点」实现精确重编辑 ResetEdit: Precise Text-guided Editing of Generated Image via Resettable Starting Latent | 2604.25128 关键词： 图像编辑·扩散反演·可重置隐变量·主动嵌入·VAE补偿 前序工作问题： 现有反演方法（如 DDIM 反演）产生的起始隐变量质量差，导致编辑保真度和结构一致性受损；理想的编辑锚点是生成时的原始隐变量，但为每张图存储该隐变量不现实 贡献： 提出 ResetEdit 主动扩散编辑框架，在生成过程中将干净隐变量与扩散隐变量的差异信息嵌入扩散轨迹，反演时提取该信息重建近似真实起始状态的可重置隐变量；轻量隐变量优化模块补偿 VAE 不对称导致的重建偏差 效果： 基于 Stable Diffusion 无缝集成现有免微调编辑方法，在可控性和视觉保真度上持续超越 SOTA 基线 批判点评： 需要在生成阶段预埋信息，无法用于已有的外部图像编辑；嵌入的差异信息可能影响原始生成质量；对高步数扩散过程的信息保持能力未分析 10. SymphonyGen：3D分层管弦乐生成，GRPO+不协和感知采样 SymphonyGen: 3D Hierarchical Orchestral Generation with Controllable Harmony Skeleton | 2604.25498 关键词： 音乐生成·交响乐·3D分层·GRPO·不协和感知采样 前序工作问题： 交响音乐生成需同时管理高层结构形式和密集多轨编配，现有符号模型面临「复杂度-控制失衡」，扩展瓶颈限制长期精细可控性 贡献： 提出 SymphonyGen 3D 分层框架，级联解码器将 Bar-Track-Event 三轴解耦提升计算效率；引入 beat-quantized 多声部和声骨架实现轮廓控制；GRPO 跨模态音频感知奖励对齐符号输出与现代声学期望；不协和感知采样算法抑制推理时的意外调性冲突 效果： 客观评估证明 RL 和不协和感知采样有效提升和声清洁度同时保持旋律表达力，主观评估在音乐性和偏好度上超越基线 批判点评： 3D 分层解码器的三轴解耦假设 Bar/Track/Event 独立性，可能丢失跨轴依赖；GRPO 奖励基于音频渲染，符号到音频的转换引入额外噪声；训练数据以西方古典/电影音乐为主，对其他音乐体系的泛化有限 趋势观察 GRPO 成为生成模型标配优化器 — V-GRPO、Systematic Post-Train、SymphonyGen 三篇独立工作不约而同选择 GRPO 作为 RL 对齐核心，标志着 GRPO 从 LLM 走向多模态生成的全面渗透 生成模型从预训练转向后训练精细化 — Systematic Post-Train 的四阶段蓝图和 Step-Audio-R1.5 对 RLHF 的引入，说明业界已从追求更大预训练模型转向挖掘后训练阶段的对齐潜力 人工智能炼丹君 整理 | 2026-04-30

AIGC 每日速读|2026-04-28|20FPS实时数字人Hallo-Live 今日核心看点 Hallo-Live 20FPS实时 Z²零成本采样 REDEdit无掩码编辑 V-GRPO偏好对齐 EAD-Net情感Talking Head 今日概览 共 10 篇 | 覆盖 4 个方向 | 含 Fudan / ETH / MIT / Baidu 等机构 方向 篇数 代表论文 视频/数字人 5 Hallo-Live(实时流式)、Talker-T2AV、EAD-Net、BurstGP、MotionHiFlow 采样优化 2 Z2-Sampling(零成本锯齿)、Oracle Noise(球面对齐) 图片编辑 2 REDEdit(无掩码局部编辑)、Geometry-Conditioned Diffusion 模型对齐 1 V-GRPO(在线RL偏好对齐) 今日论文速览 1. Hallo-Live：提出 Hallo-Live 框架 Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation | Shanghai Innovation Institute, Fudan University, University of Science and Technology of China, Nanjing University, Baidu 关键词： 实时生成, 音视频数字人, 双流扩散, 偏好蒸馏 前序工作问题： 现有音视频扩散模型推理速度太慢，无法满足实时交互式数字人生成的需求，激进加速后质量严重退化。 贡献： 提出 Hallo-Live 框架，通过异步双流扩散架构（视频流与音频流独立去噪 + Future-Expanding Attention）和以人为本偏好蒸馏（HP-DMD），实现首个实时流式联合音视频数字人生成。 效果： 在两块 H200 GPU 上达到 20.38 FPS、0.94 秒延迟，较教师模型吞吐量提升 16 倍、延迟降低 99.3 倍。VideoAlign 整体分数和 Sync 分数均超越教师模型。 批判点评： 双H200的硬件门槛不低，20FPS实时性令人印象深刻但工程复杂度高，偏好蒸馏的泛化性有待更多场景验证 2. BurstGP：提出 BurstGP BurstGP: Enhancing Raw Burst Image Super Resolution with Generative Priors | ETH 关键词： 突发超分, 扩散先验, 退化感知 前序工作问题： 传统 Burst 超分方法在复杂纹理上过度平滑，难以从多帧低分辨率图像重建精细视觉细节。 贡献： 提出 BurstGP，利用预训练视频扩散模型的生成先验来增强多帧突发（Burst）图像超分辨率，解决传统方法在复杂纹理上过度平滑的问题。 效果： 引入退化感知条件机制控制细节合成力度，以及鲁棒的 sRGB-to-lRGB 反转模块以利用视频先验。在感知指标（MUSIQ、LPIPS）上达到 SOTA，纹理恢复和结构细节显著提升。 批判点评： 视频扩散先验用于Burst超分思路新颖，但退化感知机制的鲁棒性在极端退化场景下可能受限 3. $Z^2$-Sampling：理论证明 Z-Sampling 的显式锯齿轨迹可拓扑约简 $Z^2$-Sampling: Zero-Cost Zigzag Trajectories for Semantic Alignment in Diffusion Models | MIT, ETH 关键词： 采样优化, CFG增强, 零成本 前序工作问题： 标准 CFG 仅利用瞬时梯度，忽略历史去噪轨迹中的语义对齐信息，限制了扩散模型的生成质量。 贡献： 理论证明 Z-Sampling 的显式锯齿轨迹可拓扑约简，提出 Z²-Sampling（零成本锯齿采样），在不增加 NFE 开销的情况下显著提升扩散模型的语义对齐质量。 效果： 利用概率流 ODE 的时间连续性，将隐式代数坍缩与动态缓存结合，零额外计算成本实现与 Z-Sampling 相当的语义对齐提升，消除离流形评估误差。 批判点评： 零成本提升语义对齐的理论贡献扎实，但实际增益幅度需看具体任务和模型架构 4. Oracle Noise：提出 Oracle Noise 方法 Oracle Noise: Faster Semantic Spherical Alignment for Interpretable Latent Optimization | MIT, ETH 关键词： 噪声优化, 球面对齐, 语义增强 前序工作问题： 文生图扩散模型在复杂文本提示下语义对齐不精确，传统初始噪声优化方法会破坏高斯先验导致伪影。 贡献： 提出 Oracle Noise 方法，通过球面对齐优化初始噪声来提升文生图模型的语义对齐，避免传统欧几里得梯度上升破坏高斯先验导致的伪影。 效果： 在球面流形上进行约束优化，保持噪声的高斯分布性质，消除颜色过饱和等伪影，实现更快速的语义对齐收敛。 批判点评： 球面约束优化思路优雅，2秒预算内的收敛速度是亮点，但对高分辨率生成的扩展性存疑 5. Talker-T2AV：提出 Talker-T2AV Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling 关键词： Talking Head, 自回归扩散, 音视频联合 前序工作问题： 现有联合音视频生成模型在整个去噪过程中耦合模态，无法有效解耦语义关联与底层渲染。 贡献： 提出 Talker-T2AV，采用自回归扩散建模实现联合说话音视频生成，将语义关联与底层渲染解耦。 效果： 高层语义跨模态关联，低层音频信号和视觉纹理独立渲染，减少不必要的纠缠，提升说话头像合成中的音画质量和唇形同步精度。 批判点评： 语义-渲染解耦设计合理，但双头架构的训练稳定性和音视频同步精度需更大规模验证 6. MotionHiFlow：提出 MotionHiFlow MotionHiFlow: Text-to-motion via hierarchical flow matching | MIT 关键词： 动作生成, 分层流匹配, 文本驱动 前序工作问题： 文本驱动动作生成在复杂动作的层级理解和精细细节保真方面仍有不足，单一层次建模难以兼顾语义对齐与物理合理性。 贡献： 提出 MotionHiFlow，一种用于文本驱动动作生成的分层 Flow Matching 框架，模拟人类认知中对复杂动作的层级理解。 效果： 在多个时间尺度上逐层生成动作，从粗粒度语义到细粒度细节，提升语义对齐和时间连贯性，生成更自然的 3D 人体运动。 批判点评： 分层Flow Matching概念清晰，跨尺度过渡机制是关键创新，但3D动作的物理合理性评估不够充分 7. EAD-Net：提出 EAD-Net EAD-Net: Emotion-Aware Talking Head Generation with Spatial Refinement and Temporal Coherence | MIT, ETH 关键词： 情感驱动, Talking Head, 时间连贯 前序工作问题： 情感说话头像生成依赖简单情感标签语义不足，且引入情感表达往往导致唇形同步质量退化。 贡献： 提出 EAD-Net，情感感知的说话头像生成方法，解决简单情感标签语义不足和唇形同步退化问题。 效果： 引入高层语义情感信息增强表情表达力，同时通过空间精化和时间连贯性模块平衡计算效率与全局运动感知，减轻长视频中的闪烁伪影。 批判点评： 情感标签→LLM文本描述的升级方向正确，但STDA的计算开销可能限制长视频实用性 8. V-GRPO：提出 V-GRPO V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think | MIT, ETH 关键词： GRPO, 偏好对齐, 在线RL 前序工作问题： 将去噪生成模型与人类偏好对齐仍面临方差大、训练不稳定等挑战，现有策略梯度方法效率有限。 贡献： 提出 V-GRPO，用在线强化学习对齐去噪生成模型与人类偏好，基于 ELBO 似然代理实现高效稳定的策略优化。 效果： 关键发现：ELBO 似然代理在足够的 KL 正则化下效果与精确似然相当。V-GRPO 在视觉生成任务上优于 MDP 轨迹优化方法，训练更高效。 批判点评： ELBO代理+GRPO的组合简洁高效，2-3倍加速实用价值高，但奖励模型的质量仍是瓶颈 9. Geometry-Conditioned：将遮挡感知数据增强重新定义为几何条件生成建模任务 Geometry-Conditioned Diffusion for Occlusion-Robust In-Bed Pose Estimation | MIT, ETH 关键词： 姿态估计, 遮挡鲁棒, 条件扩散 前序工作问题： 毯子遮挡下的床上人体姿态估计缺乏可靠标注数据，现有多模态方法成本高且适应性差。 贡献： 将遮挡感知数据增强重新定义为几何条件生成建模任务，提出姿态条件扩散模型用于被毯子遮挡的床上姿态估计。 效果： 系统比较确定性遮罩、非配对翻译、配对扩散翻译和姿态条件生成四种方案，实现不依赖多模态传感器的鲁棒遮挡姿态估计。 批判点评： 从骨架直接生成遮挡图像消除了配对数据依赖，但应用场景较窄，泛化到其他遮挡类型需验证 10. Edit Where You Mean：提出 REDEdit Edit Where You Mean: Region-Aware Adapter Injection for Mask-Free Local Image Editing 关键词： 局部编辑, 无掩码, DiT适配器 前序工作问题： 大型 DiT 模型的联合注意力架构缺乏显式空间控制，局部编辑指令会不可避免地泄漏到无关区域。 贡献： 提出 REDEdit，指令与区域感知的适配器框架，让冻结的 DiT 变成精确的局部编辑器，无需修改骨干网络权重。 效果： 通过 Block Adapter 在每个 Transformer 块注入结构化条件流，将「编辑什么」与「在哪编辑」分离，解决 DiT 局部编辑泄漏到无关区域的问题，无需掩码输入。 批判点评： Block Adapter免训练骨干的设计实用性强，MaskPredictor自动定位编辑区域是亮点，但复杂多区域编辑场景未充分探索 趋势观察 实时流式生成 — 数字人生成从离线走向实时流式，Hallo-Live 以 20.38 FPS 展示了扩散模型实时音视频生成的可行性，Future-Expanding Attention 和偏好蒸馏是关键使能技术。 采样效率理论突破 — Z²-Sampling 从拓扑学角度证明显式锯齿轨迹可约简，Oracle Noise 引入球面约束优化，两者都在不增加或减少计算开销的前提下提升语义对齐。 音视频联合建模深化 — Talker-T2AV 和 EAD-Net 分别从自回归解耦和情感感知角度推进 Talking Head 技术，语义-渲染分离成为新范式。 扩散后训练对齐 — V-GRPO 证明基于 ELBO 的在线 RL 可有效对齐去噪生成模型，为扩散模型的 RLHF 提供了简洁高效的新路径。 精准可控编辑 — REDEdit 解决了 DiT 架构下局部编辑泄漏的痛点，Block Adapter 实现指令与空间的分离，无掩码精准编辑。 人工智能炼丹君 整理 | 2026-04-28

AIGC 每日速读|2026-04-27|多目标Pareto后训练ParetoSlider 今日核心看点 NVIDIA ParetoSlider 多目标Pareto后训练 扩散蒸馏嵌入损失 训练成本大降 快手Kling UniSonate 统一音频生成 VAR蒸馏一步超分 10倍加速 FlowAnchor 免反转视频编辑 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇。 方向分布： 图像生成与编辑 — 5 篇（Pareto多目标后训练、扩散蒸馏加速、VAR超分蒸馏、HDR线性图像生成、人脸属性编辑） 视频生成与编辑 — 4 篇（Flow-based视频编辑、稀疏注意力实时生成、注意力操控、知识驱动广告视频） 音频生成 — 1 篇（统一语音/音乐/音效生成，快手Kling团队） 生成理解一体化 — 1 篇（精确视频描述语言+Wan微调，CMU/Stanford） 生成模型推理加速 — 1 篇（VAR风格迁移自回归建模） 源自 arXiv 4月25日 141 篇候选 + HF Daily Papers，经多维评分排序精选 今日论文速览 1. ParetoSlider：提出多目标RL框架训练单个扩散模型逼近整个Pareto前沿 ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control | Tel Aviv University / NVIDIA | arXiv:2604.20816 关键词： 多目标RL·Pareto前沿·扩散后训练·推理时控制 前序工作问题： RL后训练只能优化单一标量奖励，无法在推理时动态控制文本对齐度、美学、真实感等多个冲突目标间的权衡 贡献： 提出多目标RL框架训练单个扩散模型逼近整个Pareto前沿，通过偏好权重条件化+多目标GRPO实现推理时Slider实时调控 效果： 在SD3.5/FluxKontext/LTX-2三个骨干上单模型匹配或超越多个独立训练的基线，权衡导航平滑连续 批判点评： Pareto前沿维度灾难：目标数超过3-4个时近似质量可能下降，reward model覆盖度有限 2. EmbedDist：提出嵌入损失替代传统蒸馏目标 Efficient Diffusion Distillation via Embedding Loss | Unknown | arXiv:2604.22379 关键词： 扩散蒸馏·嵌入损失·少步生成·训练效率 前序工作问题： 扩散蒸馏训练成本极高：回归损失需预生成大量教师样本，对抗损失训练不稳定且资源消耗大 贡献： 提出嵌入损失替代传统蒸馏目标，用预训练视觉编码器(DINO/CLIP)将师生输出映射到嵌入空间计算相似度，兼具稳定性和感知质量 效果： 训练效率相比对抗蒸馏提升数倍，生成质量保持或提升，即插即用适配多种蒸馏框架 批判点评： 嵌入损失上限受预训练编码器表达能力制约，与对抗损失的最优组合尚未探索 3. UniSonate：首个单模型统一三大音频任务 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions | Tianjin University / Kling Team, Kuaishou / Chinese Academy of Sciences | arXiv:2604.22209 关键词： 统一音频生成·TTS·音乐生成·音效生成·快手Kling 前序工作问题： 音频生成被割裂为TTS、文生音乐、文生音效三个独立领域，结构化语义与非结构化声学纹理的统一面临根本挑战 贡献： 首个单模型统一三大音频任务，设计层次化token(语义+声学)+两阶段生成(语言模型+扩散)，文本指令统一接口 效果： 单模型在语音/音乐/音效上接近专用模型性能，支持跨模态组合生成(如带背景音乐的语音) 批判点评： 系统复杂度高(多编码器+LM+扩散)，复现门槛大，与专用SOTA的性能差距需详细量化 4. FlowAnchor：提出FlowAnchor训练免费框架 FlowAnchor: Stabilizing the Editing Signal for Inversion-Free Video Editing | Unknown | arXiv:2604.22586 关键词： 视频编辑·Flow-based·免反转·训练免费 前序工作问题： 免反转的flow-based视频编辑方法在多物体场景下信号不稳定，常出现失败 贡献： 提出FlowAnchor训练免费框架，通过锚定编辑信号稳定采样轨迹，实现高效结构保持的视频编辑 效果： 在多物体场景的视频编辑任务中显著提升稳定性和结构保真度 批判点评： 锚定策略的通用性需在更多编辑场景验证，对大幅度语义变化的支持可能有限 5. Sparse Forcing：提出Sparse Forcing范式 Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation | Unknown | arXiv:2604.21221 关键词： 稀疏注意力·视频扩散·自回归·实时生成 前序工作问题： 自回归视频扩散模型的注意力计算量随序列增长爆炸，无法实时生成长视频 贡献： 提出Sparse Forcing范式，利用注意力集中于显著视觉块的观察设计原生可训练稀疏注意力，同时提升生成质量和降低延迟 效果： 长视频生成质量提升的同时解码延迟显著降低，向实时自回归视频生成迈进 批判点评： 稀疏模式的选择依赖场景特性，对快速运动或场景切换的鲁棒性待验证 6. VARestorer：提出蒸馏框架将预训练文生图VAR模型转化为一步超分模型 VARestorer: One-Step VAR Distillation for Real-World Image Super-Resolution | Tsinghua University | arXiv:2604.21450 关键词： VAR蒸馏·图像超分·一步推理·参数高效 前序工作问题： 视觉自回归模型(VAR)的逐尺度预测机制在超分任务中因因果注意力限制无法利用全局低质量上下文，导致输出模糊，且多步迭代引发误差累积 贡献： 提出蒸馏框架将预训练文生图VAR模型转化为一步超分模型，引入金字塔图像条件+跨尺度注意力实现双向尺度交互，仅微调1.2%参数 效果： DIV2K上MUSIQ 72.32、CLIPIQA 0.7669达SOTA，推理速度提升10倍 批判点评： 蒸馏依赖教师模型质量，对极端退化场景（如严重压缩伪影）的泛化能力待验证 7. Linear Image Gen：首次提出文本到线性图像生成任务 Linear Image Generation by Synthesizing Exposure Brackets | Adobe Research / NTU | arXiv:2604.21008 关键词： 线性图像·曝光包围·HDR生成·DiT流匹配 前序工作问题： 现有生成模型只能合成经色调映射的显示参考图像，丢失场景真实辐照信息，限制后期编辑空间 贡献： 首次提出文本到线性图像生成任务，将线性图像表示为曝光包围序列，设计DiT流匹配架构生成多曝光bracket保留完整动态范围 效果： 生成高质量场景参考线性图像，支持文本引导编辑和ControlNet结构条件生成等下游应用 批判点评： 曝光包围表示增加推理开销，线性图像评估标准尚未建立，实用性需更多专业摄影师反馈验证 8. CHAI：定义结构化视频描述规范（数百个视觉原语） Building a Precise Video Language with Human-AI Oversight | CMU / Stanford | arXiv:2604.21718 关键词： 视频描述·CHAI框架·人机协同·Wan微调 前序工作问题： 现有视频语言模型缺乏精确描述运动、空间和摄像机动态的能力，标注数据质量参差不齐 贡献： 定义结构化视频描述规范（数百个视觉原语），提出CHAI人机协同框架让专家对模型预标注进行批判修正，支持SFT/DPO/推理时Scaling 效果： 在适度人工监督下开源模型超越Gemini-3.1-Pro；微调Wan实现400词长提示的精准视频生成控制 批判点评： 专家监督仍需大量人力投入，视觉原语定义的通用性和可扩展性有待社区验证 9. StyleVAR：基于VAR框架将风格迁移建模为条件离散序列生成 StyleVAR: Controllable Image Style Transfer via Visual Autoregressive Modeling | Unknown | arXiv:2604.21052 关键词： VAR框架·风格迁移·离散序列·VQ-VAE 前序工作问题： 现有风格迁移方法在内容保持与风格一致性之间难以平衡，基于扩散的方法推理慢 贡献： 基于VAR框架将风格迁移建模为条件离散序列生成，用VQ-VAE分解多尺度表示，Transformer自回归建模风格和内容条件下的目标token分布 效果： 在内容保持和风格一致性两方面取得良好平衡，推理速度优于扩散方法 批判点评： VQ-VAE的离散化可能导致细节损失，对抽象艺术风格的迁移效果待验证 10. AttentionBender：基于Network Bending设计工具 AttentionBender: Manipulating Cross-Attention in Video Diffusion Transformers | University of the Arts London | arXiv:2604.20936 关键词： 注意力操控·视频DiT·创意工具·可解释AI 前序工作问题： 视频生成模型只能通过提示词控制，艺术家无法直观理解和操控模型内部机制以突破默认生成倾向 贡献： 基于Network Bending设计工具，对视频DiT的交叉注意力图施加2D变换（旋转/缩放/平移），4500+视频实验验证操控效果 效果： 揭示交叉注意力高度纠缠特性，产生超越模型学习表征空间的新颖glitch美学效果 批判点评： 操控效果高度非线性且难以预测，作为实用工具的可控性和易用性较弱 11. KD-CVG：构建广告创意知识库(ACKB) KD-CVG: A Knowledge-Driven Approach for Creative Video Generation | Xi'an Jiaotong University / ByteDance | arXiv:2604.21362 关键词： 创意视频·广告生成·知识图谱·语义对齐 前序工作问题： T2V模型在广告创意视频生成中存在语义对齐模糊和运动适应性不足两大问题 贡献： 构建广告创意知识库(ACKB)，提出语义感知检索(SAR)+多模态知识参考(MKR)两阶段方法，用图注意力网络和RL反馈增强卖点-视频关联理解 效果： 在语义对齐和运动适应性指标上超越现有方法，代码和数据集将开源 批判点评： 知识库构建成本高且依赖特定广告领域，泛化到其他创意场景需额外适配 12. AttDiff-GAN：提出混合Diffusion-GAN框架 AttDiff-GAN: A Hybrid Diffusion-GAN Framework for Facial Attribute Editing | Unknown | arXiv:2604.21289 关键词： 人脸编辑·扩散GAN混合·属性解耦·高保真 前序工作问题： GAN方法可控性好但风格码与属性语义对齐弱，扩散方法图像真实但编辑精度受噪声纠缠限制 贡献： 提出混合Diffusion-GAN框架，融合GAN的可控性和扩散模型的高真实度，实现精确人脸属性编辑 效果： 在属性编辑精度和图像保真度上超越纯GAN和纯扩散基线 批判点评： 人脸属性编辑场景较窄，对非人脸图像编辑的泛化性未知 趋势观察 多目标优化进入扩散后训练 — ParetoSlider证明单模型可逼近整个Pareto前沿，推理时实时调控多个冲突目标的权衡，标志着扩散模型后训练从单目标RLHF进化到多目标连续控制 扩散蒸馏降本增效竞争激烈 — EmbedDist用嵌入损失替代传统回归/对抗损失，大幅降低蒸馏训练成本，表明高效蒸馏仍是加速扩散推理的活跃战场 音频生成走向统一大模型 — UniSonate首次在单模型中统一TTS、音乐和音效生成，层次化token设计优雅统一结构化与非结构化音频，预示音频领域的GPT时刻 视觉自回归模型多点开花 — VARestorer将VAR用于超分恢复，StyleVAR将VAR用于风格迁移，VAR框架正从纯生成扩展到更广泛的视觉任务 稀疏注意力助推实时视频生成 — Sparse Forcing利用注意力集中性设计原生稀疏机制，在保持质量的同时降低延迟，为实时自回归视频生成铺路 人工智能炼丹君 整理 | 2026-04-27

AIGC周末专题|2026-04-26|统一多模态生成大爆发：Omni五模态SOTA碾压Qwen 技术路线与时间线 离散 token 统一探索（2024.05 — 2024.12） 描述：Chameleon、Emu3、Show-o 等工作证明文本、图像、视频可以进入同一 token/Transformer 框架。 关键节点： 2024.05：Chameleon：mixed-modal early-fusion 2024.08：Show-o：自回归 + 离散扩散统一 2024.09：Emu3：next-token prediction 统一视觉生成理解 双编码器与混合目标稳定化（2025.01 — 2025.06） 描述：Janus-Pro、Transfusion、Show-o2 等工作开始稳定统一图文生成质量，并探索视频扩展。 关键节点： 2025.01：Janus-Pro：理解/生成编码解耦 + scaling 2025.05：BAGEL：交错多模态预训练基座 2025.06：Show-o2：自回归 + Flow Matching 扩散式统一模型升温（2026.01 — 2026.03） 描述：AR-Omni、LLaDA-o 等从自回归和扩散两端推进 any-to-any 与 omni diffusion。 关键节点： 2026.01：AR-Omni：统一自回归 any-to-any 生成 2026.03：LLaDA-o：Mixture of Diffusion + 长度自适应 近期大爆发（2026.04） 描述：Qwen3.5-Omni、LLaDA2.0-Uni、Vision Banana、Uni-ViGU、Omni 等集中出现，统一模型成为主线。 关键节点： 2026.04.09：Uni-ViGU：视频生成器基座统一理解生成 2026.04.17：Qwen3.5-Omni：千亿级全模态系统 2026.04.22：Vision Banana：生成器成为通用视觉学习器 2026.04.23：Omni：上下文展开统一多模态推理 1. Omni (Context Unrolling)：原生多模态统一模型——上下文展开让生成与理解互相增强 论文: Omni (Context Unrolling) arXiv: 2604.21921 机构: 字节跳动 / BAGEL 团队 1.1 研究动机 核心问题： 统一多模态模型常被做成“理解模型+生成头”或“生成模型+理解头”，但这种拼接式统一缺乏推理过程中的跨模态中间状态。 统一多模态模型常被做成“理解模型+生成头”或“生成模型+理解头”，但这种拼接式统一缺乏推理过程中的跨模态中间状态。模型看似统一，实际仍很难让文本、图像、视频线索在生成前反复互相补充。 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： Omni (Context Unrolling) 的关键区别在于：提出上下文展开(Context Unrolling)：把跨模态中间表征作为原子操作写回共享上下文。 1.2 方法原理 方法框架图 Omni 的核心是上下文展开：模型把任务分成描述、局部视觉展开、编辑、视频预测等原子操作，每一步输出都重新写回共享上下文，再基于更丰富的上下文生成最终答案。相比一次性条件生成，它更像一个多模态工作区：先把输入转换成可复用中间表征，再逐步调用不同模态能力。架构上沿用 BAGEL 系列 MoE 统一骨干，以较小活跃参数承载生成与理解。 1.3 核心创新 提出上下文展开(Context Unrolling)：把跨模态中间表征作为原子操作写回共享上下文 在统一模型内部显式进行跨模态组合推理，而不是简单共享任务头 图像生成 GenEval2=54.12、DPG Bench=88.55，视频编辑 FiVE=72.41 以较小活跃参数覆盖文本、图像、视频等生成与理解任务 1.4 实验结果 实验结果 图像生成 GenEval2=54.12，DPG Bench=88.55；视频编辑 FiVE=72.41，显著高于 Wan-Edit；视频生成 VBench 语义分 84.29；多项视觉理解任务也达到强基线水平。最重要的不是单项 SOTA，而是它展示了统一模型可以通过“中间推理状态”同时提升生成和理解。 1.5 关键洞察 优势：上下文展开是很强的范式信号，让统一模型从多任务容器走向组合式推理系统。局限：仍依赖高质量多模态训练数据，视频分辨率和长时序能力距离专用模型还有差距。 技术演进定位： Omni (Context Unrolling) 位于统一多模态生成路线中的“统一多模态”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 2. LLaDA2.0-Uni：离散扩散 LLM 统一多模态理解与生成——扩散路线正面挑战自回归 论文: LLaDA2.0-Uni arXiv: 2604.20796 机构: Inclusion AI / Westlake University / Zhejiang University 2.1 研究动机 核心问题： 自回归模型擅长文本推理，但图像生成往往依赖连续扩散；把二者硬接在一起会造成训练目标割裂。 自回归模型擅长文本推理，但图像生成往往依赖连续扩散；把二者硬接在一起会造成训练目标割裂。LLaDA2.0-Uni 要回答的问题是：离散扩散语言模型能否成为统一多模态生成和理解的新底座？ 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： LLaDA2.0-Uni 的关键区别在于：基于离散扩散大语言模型构建统一多模态理解与生成框架。 2.2 方法原理 方法框架图 方法上，它把视觉信息先通过 SigLIP-VQ 转为语义离散 token，再用离散扩散 LLM 的块级 mask/denoise 过程同时建模文本与视觉序列。MoE 主干承载多模态 token，生成时通过少步蒸馏降低迭代成本；理解时则利用双向上下文优势处理图文推理。关键在于：图像不再只是扩散头的连续 latent，而是进入语言模型式的离散生成过程。 2.3 核心创新 基于离散扩散大语言模型构建统一多模态理解与生成框架 使用 SigLIP-VQ 语义离散视觉分词器，把图像纳入块级掩码扩散 MoE 主干同时处理文本与视觉 token，支持交错生成、编辑和理解 通过前缀感知优化与少步蒸馏提高扩散式解码效率 2.4 实验结果 实验结果 在多模态理解上接近专用 VLM，图像生成和编辑表现强，支持交错文本-图像生成。其重要性在于证明“扩散 LLM”不是只适合文本，也可以成为统一多模态生成的核心范式。 2.5 关键洞察 优势：主题贴合度极高，代表扩散式统一模型路线。局限：离散视觉量化会损失细粒度纹理；扩散式多步生成的交互延迟仍需和自回归模型继续比较。 技术演进定位： LLaDA2.0-Uni 位于统一多模态生成路线中的“离散扩散”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 3. Qwen3.5-Omni：千亿级全模态模型——文本、图像、视频、音频理解与语音生成的一体化工程样板 论文: Qwen3.5-Omni arXiv: 2604.15804 机构: Alibaba / Qwen Team 3.1 研究动机 核心问题： 统一多模态不只是图文生成，还包括音频、语音、视频和长上下文交互。 统一多模态不只是图文生成，还包括音频、语音、视频和长上下文交互。Qwen3.5-Omni 的意义在于把“全模态”做成大规模工程系统，回答大厂路线如何把理解和生成能力产品化。 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： Qwen3.5-Omni 的关键区别在于：千亿级全模态模型，支持文本、图像、视频、音频的统一理解。 3.2 方法原理 方法框架图 技术报告围绕大规模全模态训练展开：文本、视觉、音频和视频输入被统一到长上下文模型中，语音生成通过 ARIA 动态对齐文本 token 与语音单元，缓解流式对话语音的稳定性和韵律问题。它更偏工程规模化：依靠大模型容量、长上下文和海量音视频数据，让模型具备跨模态理解、对话、语音生成和多语言能力。 3.3 核心创新 千亿级全模态模型，支持文本、图像、视频、音频的统一理解 K 长上下文与大规模音视频数据训练，覆盖 215 个音频/音视频任务 提出 ARIA 语音合成技术，动态对齐文本与语音单元 展示 Audio-Visual Vibe Coding 等跨模态交互能力 3.4 实验结果 实验结果 在 215 个音频和音视频任务上达到 SOTA 或强竞争表现，支持 10 种语言理解与生成，并出现音视频指令直接生成代码等能力。它代表统一多模态从论文 demo 走向系统级产品的路线。 3.5 关键洞察 优势：规模、模态覆盖和工程完整性强，是近期全模态方向绕不开的基准。局限：更多是技术报告与系统工程，生成细节和训练数据配方透明度有限；图像/视频生成本身不是全部重点。 技术演进定位： Qwen3.5-Omni 位于统一多模态生成路线中的“全模态”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 4. Vision Banana：Google 证明“图像生成器也是通用视觉学习器”——生成即理解路线的强证据 论文: Vision Banana arXiv: 2604.20329 机构: Google DeepMind 4.1 研究动机 核心问题： 过去很多人怀疑图像生成模型只是学会了像素分布，并不一定具备真正视觉理解。 过去很多人怀疑图像生成模型只是学会了像素分布，并不一定具备真正视觉理解。Vision Banana 把问题反过来：如果把分割、深度、关键点等视觉任务都变成“生成一张答案图”，生成器能否成为通用视觉模型？ 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： Vision Banana 的关键区别在于：把视觉任务输出统一参数化为 RGB 图像，让生成器直接执行感知任务。 4.2 方法原理 方法框架图 它将各类视觉任务的输出统一成 RGB 图像或可视化结果，让一个图像生成器在指令条件下直接生成任务答案。这样做绕开了为不同任务设计专用头的问题，把视觉理解也表述成生成。模型从强生成基座出发，通过多任务指令微调学习“看懂并画出答案”。 4.3 核心创新 把视觉任务输出统一参数化为 RGB 图像，让生成器直接执行感知任务 基于强图像生成器指令微调，得到通用视觉学习器 在分割、深度、视觉定位等任务上展现强泛化，同时保持生成能力 为“生成预训练是否学到视觉理解”提供直接证据 4.4 实验结果 实验结果 报告显示模型在多个 2D 感知任务上达到强结果，并且不牺牲原有图像生成能力。它的重要性不在于替代所有视觉专家，而在于证明生成模型内部表征可以迁移到通用视觉理解。 4.5 关键洞察 优势：范式意义强，是生成→理解路线的重要证据。局限：依赖未完全开源的强基座，部分需要精确数值输出的任务不适合 RGB 参数化。 技术演进定位： Vision Banana 位于统一多模态生成路线中的“生成即理解”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 5. Uni-ViGU：以视频生成器为基座统一理解与生成——生成中心路线的低成本验证 论文: Uni-ViGU arXiv: 2604.08121 机构: 上海人工智能科学研究院 / 复旦大学 5.1 研究动机 核心问题： 视频生成 token 数远大于文本理解。 视频生成 token 数远大于文本理解。与其在理解模型上外接昂贵的视频生成模块，不如从视频生成器出发，把理解能力补进去。Uni-ViGU 正是这条“生成中心”路线的代表。 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： Uni-ViGU 的关键区别在于：逆转主流范式：以 WAN2.1 视频生成器为基座扩展理解能力。 5.2 方法原理 方法框架图 模型基于 WAN2.1 视频生成器扩展。视频 latent 使用连续流匹配，文本嵌入使用离散流匹配，二者通过共享自注意力耦合；FFN 按模态分支，视频分支保留预训练权重，文本分支新初始化。训练分两阶段：先做提示词回忆保持生成器知识，再用详细 caption 训练视频理解。 5.3 核心创新 逆转主流范式：以 WAN2.1 视频生成器为基座扩展理解能力 统一流匹配：连续流匹配处理视频，离散流匹配处理文本 模态驱动 MoE：共享注意力保留跨模态对齐，分离 FFN 适配不同模态 块 H800 一周训练，验证生成器作为统一基座的可行性 5.4 实验结果 实验结果 在小规模训练预算下同时获得视频生成与理解能力，展示了生成器基座迁移到统一模型的可行性。它和 Vision Banana 一起构成“生成器即理解器”的路线。 5.5 关键洞察 优势：思路清晰、成本低、主题贴合。局限：公开量化结果不足，仍是路线验证而非大规模 SOTA 系统。 技术演进定位： Uni-ViGU 位于统一多模态生成路线中的“视频生成器”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 6. LLaDA-o：长度自适应 Omni Diffusion——文本离散扩散与图像连续扩散的混合专家统一 论文: LLaDA-o arXiv: 2603.01068 机构: Gaoling School of AI / Renmin University 等 6.1 研究动机 核心问题： 文本和图像天然偏好不同扩散动态：文本适合离散 mask denoising，图像适合连续 latent diffusion。 文本和图像天然偏好不同扩散动态：文本适合离散 mask denoising，图像适合连续 latent diffusion。LLaDA-o 试图解决“统一扩散模型是否必须用同一种扩散过程”的问题。 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： LLaDA-o 的关键区别在于：提出 Mixture of Diffusion(MoD)：文本理解用离散 masked diffusion，视觉生成用连续扩散。 6.2 方法原理 方法框架图 它采用 Mixture of Diffusion：理解专家处理文本与视觉编码 token 的离散掩码扩散，生成专家处理图像 latent 的连续扩散；二者共享注意力骨干以交换跨模态信息。长度自适应训练让模型在理解任务中不被固定输出长度限制，同时推理时可调节置信阈值，在速度和准确率之间权衡。 6.3 核心创新 提出 Mixture of Diffusion(MoD)：文本理解用离散 masked diffusion，视觉生成用连续扩散 共享高效注意力骨干，减少固定条件下的冗余计算 数据中心的长度自适应策略，无需改架构即可支持灵活长度输出 DPG-Bench=87.04，成为 omni-diffusion 路线的重要强基线 6.4 实验结果 实验结果 在多模态理解中达到 omni-diffusion 强结果；文生图 DPG-Bench=87.04，超过多种统一模型；MathVista 推理中相较 LLaDA-V 获得约 5.9x 吞吐提升。 6.5 关键洞察 优势：很好地解释了“统一”不等于“同构”，用混合扩散解决模态差异。局限：总体语言能力仍受 LLaDA 语基座限制；与 BAGEL 等自回归强模型相比仍有差距。 技术演进定位： LLaDA-o 位于统一多模态生成路线中的“Omni Diffusion”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 7. AR-Omni：统一自回归 Any-to-Any 生成——文本、图像、语音流式输出的单解码器路线 论文: AR-Omni arXiv: 2601.17761 机构: 未披露 7.1 研究动机 核心问题： 扩散路线在图像质量上强，但自回归模型在交互、流式和工具生态上更成熟。 扩散路线在图像质量上强，但自回归模型在交互、流式和工具生态上更成熟。AR-Omni 的核心问题是：能否用单一自回归解码器完成任意模态到任意模态的生成？ 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： AR-Omni 的关键区别在于：单一 Transformer Decoder 统一自回归文本、图像和流式语音生成。 7.2 方法原理 方法框架图 方法将文本、图像和语音 token 放进统一自回归序列。训练中用任务感知损失重加权解决不同模态 token 数和梯度规模差异；视觉生成则加入 token-level perceptual alignment，让离散视觉 token 更贴近感知质量；语音分支强调流式实时生成。 7.3 核心创新 单一 Transformer Decoder 统一自回归文本、图像和流式语音生成 任务感知 loss reweighting 缓解多模态训练不平衡 token-level perceptual alignment 提升视觉保真度 语音生成达到 0.88 RTF，展示 any-to-any 自回归路线潜力 7.4 实验结果 实验结果 模型支持文本/图像/语音的统一自回归生成，语音生成 RTF=0.88，说明自回归统一模型可以保留交互实时性。它是扩散统一路线的重要对照组。 7.5 关键洞察 优势：范式清晰，any-to-any 与实时语音对话契合应用。局限：图像质量通常受离散 token 表示限制；公开细节和大规模对比仍需补充。 技术演进定位： AR-Omni 位于统一多模态生成路线中的“自回归”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 8. BAGEL：开源统一多模态预训练基座——大规模交错数据涌现复杂生成与理解能力 论文: BAGEL arXiv: 2505.14683 机构: 开源社区 / 多机构 8.1 研究动机 核心问题： 统一多模态模型能否靠大规模交错预训练自然涌现生成与理解能力？BAGEL 的价值在于提供了一个开放统一基座，让研究者能观察 scaling、数据混合和模态交错带来的能力迁移。 统一多模态模型能否靠大规模交错预训练自然涌现生成与理解能力？BAGEL 的价值在于提供了一个开放统一基座，让研究者能观察 scaling、数据混合和模态交错带来的能力迁移。 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： BAGEL 的关键区别在于：Decoder-only 统一模型，在交错文本、图像、视频和网页数据上大规模预训练。 8.2 方法原理 方法框架图 BAGEL 采用 decoder-only 统一建模，将文本、图像、视频等数据组织为交错序列进行预训练。模型学习的不只是单向文生图，而是多轮图文上下文中的理解、编辑和生成。相比“理解模型+扩散头”，它更强调单一序列建模和统一上下文。 8.3 核心创新 Decoder-only 统一模型，在交错文本、图像、视频和网页数据上大规模预训练 展示自由图像编辑、未来帧预测、图文推理等涌现能力 为 Omni 的上下文展开和统一 MoE 路线提供重要基座 开源属性让其成为统一多模态研究的公共参考点 8.4 实验结果 实验结果 在图像生成、自由编辑、复杂多模态推理和部分视频相关任务中表现强，成为后续 Omni 等工作的技术基础。其影响力来自“开放统一基座”而非单一 benchmark。 8.5 关键洞察 优势：开源和基座意义强，是路线图中不可缺的中间层。局限：训练成本高，模型能力强依赖数据规模；部分 3D/空间能力不是本期重点。 技术演进定位： BAGEL 位于统一多模态生成路线中的“开源基座”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 9. MMCORE：轻量连接统一框架——用 VLM 表征桥接扩散生成，不必从头训练统一巨模型 论文: MMCORE arXiv: 2604.19902 机构: ByteDance 9.1 研究动机 核心问题： 并不是所有团队都有资源训练 Qwen/Omni 级别的统一巨模型。 并不是所有团队都有资源训练 Qwen/Omni 级别的统一巨模型。MMCORE 代表更实用的路线：能否通过轻量连接，把现有强 VLM 和扩散生成器组合成统一生成系统？ 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： MMCORE 的关键区别在于：提出 MultiModal COnnection with Representation Aligned Latent Embeddings。 9.2 方法原理 方法框架图 MMCORE 使用可学习查询 token 从 VLM 中抽取语义视觉嵌入，并对齐到扩散模型可用的 latent 条件空间。这样 VLM 负责理解、推理和定位，扩散模型负责高保真像素合成。相比深度融合，它训练成本更低，也更容易接入已有生成器。 9.3 核心创新 提出 MultiModal COnnection with Representation Aligned Latent Embeddings 用预训练 VLM 预测语义视觉嵌入，再作为扩散模型条件 无需从头训练深度融合架构，即可把 VLM 推理能力迁移到视觉生成 在文生图、交错生成和多图编辑中提升复杂语义控制 9.4 实验结果 实验结果 在文生图、交错图像生成、单图/多图编辑等任务上相对基线提升，尤其适合需要复杂语义条件和多图上下文的场景。它是“组合式统一”路线的代表。 9.5 关键洞察 优势：工程实用性强，能复用已有 VLM 和扩散模型。局限：连接带宽有限，复杂像素级约束和长序列一致性仍可能不足；不是原生统一。 技术演进定位： MMCORE 位于统一多模态生成路线中的“轻量统一”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 10. Show-o2：原生统一模型的二代改进——自回归 + Flow Matching 支持图像与视频扩展 论文: Show-o2 arXiv: 2506.15564 机构: 多机构合作 10.1 研究动机 核心问题： 早期统一模型大多停留在图文任务。 早期统一模型大多停留在图文任务。Show-o2 的问题意识是：如何让统一模型从图像扩展到视频，同时不完全放弃自回归文本建模的优势？ 前序工作及局限： Chameleon / Emu3 / Show-o：早期统一 token 或混合目标模型证明方向可行，但生成质量、模态覆盖和中间推理仍有限 Janus / Transfusion / BAGEL：通过双编码器、混合目标或交错预训练提升稳定性，但统一方式仍各有取舍 与前序工作的本质区别： Show-o2 的关键区别在于：在 Show-o 基础上改进原生统一多模态模型。 10.2 方法原理 方法框架图 Show-o2 将自回归 token 建模和 Flow Matching 结合，在统一 Transformer 中处理不同模态。图像/视频被映射到适合生成的 latent 空间，时空融合模块帮助视频扩展；文本仍保留自回归序列建模。它代表“混合生成目标”的统一路线。 10.3 核心创新 在 Show-o 基础上改进原生统一多模态模型 结合自回归建模与 Flow Matching，兼顾文本/图像/视频生成 引入 3D causal VAE 空间与双路径时空融合，提升视频扩展性 在统一图像生成、理解和视频生成上形成较完整桥梁 10.4 实验结果 实验结果 相较 Show-o，Show-o2 在统一生成质量和视频扩展上更完整，并成为后续 LLaDA-o、Omni 等论文常用比较对象之一。 10.5 关键洞察 优势：承上启下，连接早期统一图文模型和后续视频/扩散统一模型。局限：相较 2026 年最新模型，指标和规模已不是最强，但路线价值仍高。 技术演进定位： Show-o2 位于统一多模态生成路线中的“Show-o2”分支。 可能的后续方向： 后续关键在于更大规模可复现训练、跨模态中间推理、更低延迟生成以及真实应用场景中的稳定性验证。 其余论文速览 路线奠基（2024.05 — 2025.01） 1. Chameleon：早期用统一 token 序列建模文本和图像 Chameleon: Mixed-Modal Early-Fusion Foundation Models | arXiv:2405.09818 关键词： 混合模态·早期融合·统一token 前序工作问题： 多模态模型长期将理解和生成分离成独立系统，缺乏统一的 token 表示和 early-fusion 训练方案。 贡献： 早期用统一 token 序列建模文本和图像，证明 early-fusion mixed-modal 模型可行。 效果： 在混合模态对话和图像生成任务上验证了统一 token 框架的可行性，为后续 Emu3、Show-o 等工作奠定基础。 批判点评： 生成质量和训练稳定性有限，但奠定离散 token 统一路线。 2. Emu3：用 next-token prediction 统一文本、图像和视频生成/理解 Emu3: Next-Token Prediction is All You Need | arXiv:2409.18869 关键词： 自回归·next-token·统一视觉生成 前序工作问题： 视觉生成和理解使用不同的建模范式（扩散 vs 判别），难以在单一自回归框架中统一。 贡献： 用 next-token prediction 统一文本、图像和视频生成/理解，是自回归统一路线的重要代表。 效果： 在图像生成、视频生成和视觉理解上均展现竞争力，证明纯自回归路线可覆盖多模态全栈。 批判点评： 离散视觉 token 对细节保真有压力，视频长时序仍受限。 3. Show-o：把自回归与离散扩散放进单一 Transformer Show-o: One Single Transformer to Unify Multimodal Understanding and Generation | arXiv:2408.12528 关键词： 单Transformer·自回归+扩散·图文统一 前序工作问题： 自回归擅长文本但图像生成质量有限，扩散擅长图像但不适合文本——两种目标难以在单一模型中共存。 贡献： 把自回归与离散扩散放进单一 Transformer，支持 VQA、文生图、编辑和交错生成。 效果： 首次在单一 Transformer 中同时实现理解和生成，VQA 和文生图均达到可用水平。 批判点评： 早期模型规模和生成质量有限，但提出了很关键的混合目标思路。 4. Transfusion：同一模型中结合 next-token 文本预测和图像扩散 Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model | arXiv:2408.11039 关键词： next-token·diffusion·混合目标 前序工作问题： 纯自回归的图像生成质量不如连续扩散，但两种训练目标如何在同一模型中兼容缺乏验证。 贡献： 同一模型中结合 next-token 文本预测和图像扩散，为混合目标统一训练提供早期证据。 效果： 在图文理解和生成任务上同时表现合理，验证了 Transfusion 混合目标架构的收敛性和兼容性。 批判点评： 主要覆盖图文，离全模态和视频统一仍远。 5. Janus-Pro：理解/生成解耦编码器与数据扩展 Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling | arXiv:2501.17811 关键词： 双编码器·图文统一·数据扩展 前序工作问题： 统一模型中理解和生成共享同一视觉编码器容易导致能力冲突，生成质量上不去。 贡献： 通过理解/生成解耦编码器与数据扩展提升统一图文模型质量。 效果： 在图像生成和视觉理解上均有明显提升，验证了解耦编码器 + 数据 scaling 的有效性。 批判点评： 双编码器设计更稳，但原生统一程度弱于单工作区模型。 路线深化（2025.10 — 2026.03） 6. LightBagel：轻量双融合框架连接理解和生成模型 LightBagel: A Light-weighted Double Fusion Framework | arXiv:2510.22946 关键词： 轻量融合·低成本·统一模型 前序工作问题： 深度融合的统一模型训练成本极高，中小团队难以复现或迭代。 贡献： 用轻量双融合框架连接理解和生成模型，代表低成本统一模型方向。 效果： 在复用现有 VLM 和生成器的前提下，以较低训练成本实现统一模型的基础能力。 批判点评： 组合式架构依赖外部专家，统一性不如原生模型。 7. DREAM：视觉理解与文生图的联合优化框架 DREAM: Where Visual Understanding Meets Text-to-Image Generation | arXiv:2603.02667 | MIT + Amazon 关键词： 联合训练·Masking Warmup·语义对齐解码 前序工作问题： 对比学习（低掩码率）和生成训练（高掩码率）的训练目标直接冲突，联合训练不稳定。 贡献： 提出 Masking Warmup + Semantically Aligned Decoding，在 CC12M 上同时提升判别与生成性能，证明二者存在协同效应而非零和竞争。 效果： ImageNet 线性探测 72.7%（+1.1%），FID 4.25（-6.2%），文本-图像保真度提升 6.3%，无需外部重排序器。 批判点评： 仅在 CC12M 上验证，规模扩大后协同效应是否更强仍待验证，但训练策略设计（先学"看"再学"画"）具有启发性。 8. Omni-Diffusion：首个全离散掩码扩散 any-to-any 统一模型 Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion | arXiv:2603.06577 | 腾讯 + 中科院自动化所 关键词： 离散扩散·any-to-any·并行生成 前序工作问题： 统一多模态模型几乎都基于自回归架构，存在逐 token 生成慢、错误累积等固有局限。 贡献： 首个完全基于掩码离散扩散模型的 any-to-any 多模态语言模型，文本/图像/语音全部编码为离散 token 后统一建模联合分布，证明离散扩散可替代自回归成为统一模型骨干。 效果： 在理解任务上与现有多模态系统持平或超越，图像生成质量突出，支持并行解码。 批判点评： 打破"统一多模态 = 自回归"定式，但整体规模和精细生成质量仍有空间。 9. InternVL-U：4B 参数挑战 14B+ 统一模型 InternVL-U: Democratizing Unified Multimodal Models | arXiv:2603.09877 | 上海 AI Lab + 商汤 关键词： 小模型·CoT增强生成·模块化 前序工作问题： 现有统一模型需要 10B+ 参数才能在理解和生成上都取得不错效果，中小规模模型往往顾此失彼。 贡献： 仅 4B 参数，通过解耦视觉表征 + CoT 推理增强生成 + 三阶段渐进训练，在生成和编辑任务上超越 BAGEL（14B）等大 3 倍以上的模型，证明"小而精"路线可行。 效果： 4B 模型在生成/编辑上超越 14B 基线，同时保持与同尺寸纯理解模型相当的多模态推理能力。 批判点评： 精心的架构设计和数据工程弥补参数量不足，但模型能力天花板仍受参数限制。 10. UniCom：压缩连续语义表征的统一多模态建模 UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations | arXiv:2603.10702 | 阿里达摩院 关键词： 压缩连续表征·通道压缩·Transfusion 前序工作问题： 离散 token（VQ-VAE）信息损失大导致理解弱，连续表征（CLIP）维度高难以建模生成，缺乏兼顾两端的折中方案。 贡献： 发现通道压缩优于空间下采样，用基于注意力的语义压缩器将 CLIP 特征压缩为紧凑表征，同时服务理解和生成；验证 Transfusion 架构收敛更快且一致性更好。 效果： 在统一模型中实现最先进的生成性能，图像编辑可控性优于离散 token 方案。 批判点评： 为"离散 vs 连续"之争提供折中方案，压缩后的连续表征可能是未来主流选择。 11. UniLongGen：长序列交错生成的主动遗忘策略 How Long Can Unified Multimodal Models Generate Images Reliably? | arXiv:2603.07540 | Adobe + 香港理工 关键词： 长序列生成·主动遗忘·视觉污染 前序工作问题： 统一模型在长序列交错生成（交替文本和图像）中，随序列增长生成质量急剧崩溃，原因不明。 贡献： 发现长序列中质量崩溃并非由 token 总数引起，而是累积图像事件数导致的视觉污染；提出无训练的注意力感知上下文清理策略，通过"主动遗忘"低相关历史图像显著提升长期保真度。 效果： 长期保真度和一致性显著优于所有基线方法，同时减少内存占用和提升推理速度。 批判点评： 揭示了反直觉事实——"记住所有东西"反而有害，但策略依赖注意力权重质量。 12. UniG2U-Bench：生成增强理解的首个系统性评测 UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? | arXiv:2603.03241 | 多机构联合 关键词： G2U评测·7种机制·30子任务 前序工作问题： 统一模型声称"生成能力可以增强理解"，但缺乏系统性评测来验证这一承诺在多大程度上成立。 贡献： 首个系统性评测"生成是否增强理解"的基准，覆盖心理旋转、视觉类比、反事实推理等 7 种机制 30 个子任务；关键发现：G2U 效应仅在特定场景（多步推理、视觉错觉）下成立，并非万能药。 效果： 对 30+ 个模型的评估表明，统一模型通常不如其基础 VLM，但在空间推理和多步推理场景下生成确实能增强理解。 批判点评： 给出清醒结论，为后续统一模型设计提供明确优化方向。 扩展总结：从 0315 到 0426——统一多模态模型六周演进 本期主题与 2026 年 3 月 15 日专题 同属"统一多模态模型"方向。六周内该领域经历了从路线探索到大规模爆发的加速演进，以下是核心变化： 六周关键变化 维度 0315 期状态 0426 期进展 架构主线 自回归为主，离散扩散刚起步（Omni-Diffusion） 扩散与自回归双线并行：LLaDA2.0-Uni、LLaDA-o 代表扩散主线，AR-Omni 代表自回归对照 规模 4B–14B 参数探索（InternVL-U、BAGEL） 千亿级系统（Qwen3.5-Omni）+ 中等规模（Omni MoE）并存 范式创新 联合训练（DREAM） 上下文展开（Omni Context Unrolling）、生成器即理解器（Vision Banana） 模态覆盖 图文为主，语音初步涉及 全模态（文本/图像/视频/音频/3D）成为标配 工程化 偏学术验证 Qwen3.5-Omni 代表产品级全模态系统 四大技术趋势（综合两期） 原生统一正在取代拼接式统一：从 Show-o/Janus 到 BAGEL 再到 Omni，统一模型越来越强调共享工作区和中间推理，而不是简单外接生成头。Omni 的上下文展开让统一模型从多任务容器走向组合式推理系统。 扩散语言模型成为自回归之外的第二条主线：从 Omni-Diffusion 首次验证到 LLaDA2.0-Uni / LLaDA-o 的系统化推进，离散扩散可以同时承担理解和生成。混合扩散（MoD）进一步说明"统一"不等于"同构"。 生成器即理解器成为新共识：Vision Banana 和 Uni-ViGU 从图像和视频两端证明，强生成器内部已学习可迁移视觉表征，未来生成模型可能反哺理解，甚至成为视觉预训练的新范式。 工程化全模态与开源基座并行推进：Qwen3.5-Omni 代表大厂规模化系统，BAGEL/MMCORE/LightBagel/InternVL-U 则代表可复现和低成本路线，两条线共同推动统一模型走向实用。 人工智能炼丹君 整理 | 数据来源：arXiv 2026年1月 — 2026年4月（重点覆盖近4个月 arXiv 热门统一多模态模型） 扩展参考：2026年3月15日专题——统一多模态模型：生成与理解的大一统之路

AIGC 周末专题|2026-04-25|视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁 技术路线与时间线 传统指标时代（2018-2023） 描述：依赖手工设计的指标（CLIP-Score、LPIPS、FVD），与人类感知相关性低，无法捕捉编辑任务的语义一致性。 关键节点： 2018：LPIPS 提出，感知相似度指标 2019：FVD 提出，基于 I3D 特征的视频质量评估 2021：CLIP-Score 成为图像-文本相似度标准 通用视频基准崛起（2024 年初） 描述：通用视频生成评测基准出现，覆盖多个维度，但尚未针对编辑任务设计。 关键节点： 2024：VBench 发布（CVPR 2024），16 维度视频生成评测 2024：VideoScore 发布（EMNLP 2024），视频质量评估模型 编辑专用评测爆发（2024 下半年） 描述：针对视频/图像编辑任务设计的评测基准集中涌现，覆盖多维度、多任务、多编辑类型。 关键节点： 2024.08：I2EBench 发布（NeurIPS 2024），图像编辑 16 维度评测 2024.09：EditBoard 发布（AAAI 2025），视频编辑综合评测基准 2024.10：VE-Bench 发布，首个视频编辑专用 VQA 数据集 2024.11：FiVE-Bench 发布，细粒度视频编辑评测 Reward Model 范式确立（2025-2026） 描述：从手工指标和通用 VLM 评审，演进到编辑专用 Reward Model，人类相关性大幅提升（SRCC 从 0.214 提升到 0.780）。 关键节点： 2025：EditReward 发布，200K 偏好对训练 Reward Model 2026.04：VEFX-Bench 发布，三维解耦 + 序数回归 Reward Model（SRCC=0.780） 未来方向（2026+） 描述：多模态 Reward Model、测试时计算缩放、标准化竞赛平台是三大重点方向，评测将与训练深度融合（RLHF/DPO）。 关键节点： 2026+：多模态 Reward Model（视频+音频+字幕联合评估） 2026+：测试时计算缩放（Reward-guided iterative refinement） 2026+：跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 1. VEFX-Bench：5049 样本 + 三维解耦标注 + 序数回归 Reward Model——迄今最全面的视频编辑评测体系 论文: VEFX-Bench arXiv: 2604.16272 机构: 未披露（2026 年 4 月最新工作） 1.1 研究动机 核心问题： 视频编辑模型缺乏统一评测标准，不同论文使用不同指标和数据集导致结论不可比 现有评测数据集规模小、缺少编辑输出或人工质量标签，通用 VLM 评审器未针对编辑质量优化，导致无法公正对比不同编辑系统。 前序工作及局限： CLIP-Score (Hessel et al. 2021)：图像-文本相似度指标，广泛但粗粒度 LPIPS (Zhang et al. 2018)：感知相似度指标，仅衡量像素级差异 FVD (Unterthiner et al. 2019)：视频生成质量指标，基于 I3D 特征 VBench (Huang et al. 2024)：视频生成综合基准，CVPR 2024，16 维度但不针对编辑 与前序工作的本质区别： 从单一指标到多维度评测框架，从通用视频质量到编辑特异性评估（指令遵循+编辑排他性+渲染质量三维解耦） 1.2 方法原理 数据集：5049 个视频编辑样本，9 大类（相机角度/实例运动/数量/相机运动/属性/创意/实例/视觉特效/风格）32 子类，每个样本由 3 个解耦维度独立标注（4 分制）。 Reward Model 架构：基于 Qwen3-VL-Instruct（4B/32B），联合处理原始视频 + 编辑指令 + 编辑视频。3 个可学习特殊 token 分别查询 IF / RQ / EE 三维度分数。 训练策略：采用序数回归（ordinal regression）而非标量回归，条件二值交叉熵保持有序约束。Stage 1 冻结预训练权重仅训练 reward head；Stage 2 解冻语言骨干端到端微调。 推理：将有序概率转换为 [1, 4] 连续分数。 1.3 核心创新 首个同时包含编辑输出+人工标注+多维标签的大规模视频编辑数据集 三维解耦质量标注（指令遵循 IF / 渲染质量 RQ / 编辑排他性 EE） 基于 Qwen3-VL 的序数回归 Reward Model（VEFX-Reward-4B/32B） 对标准化 VEFX-Bench 基准，覆盖 9 大类 32 子类编辑任务 1.4 实验结果 VEFX-Reward-32B SRCC=0.780 远超 EditReward(0.558) 和 VE-Bench(0.214)。配对偏好准确率：IF 93.66%、RQ 91.11%、EE 91.96%。系统评测显示 Kling o3 omni 综合第一（3.057），Runway Gen-4.5 第三（2.912），开源 UniVideo（2.516）可与部分商业系统竞争。所有系统在 IF 维度差异最大，RQ 相对稳定。 1.5 关键洞察 优势：三维解耦设计精准捕捉不同失败模式；序数回归比标量回归更适合有序评分。 局限：数据集仅来自少量编辑系统，可能存在偏差；标注者间 IF 完全一致率仅 75.2%，说明指令遵循评估本身存在歧义。 技术演进定位：2024 下半年 VE-Bench 开创编辑专用 VQA → 2025 年 FiVE-Bench / IVEBench / VEditBench 细化任务分类 → 2026 年 VEFX-Bench 引入 Reward Model 实现自动+人类对齐评估。 可能的后续方向： 多模态 Reward Model（视频+音频+字幕联合评估） 测试时计算缩放（Reward-guided iterative refinement） 跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 2. IVEBench：600 视频 + 8 类 35 子类 + MLLM 三维评估协议——指令引导视频编辑的现代基准套件 论文: IVEBench arXiv: 2510.11647 机构: 浙江大学 / 腾讯优图 / 上海交通大学 / 新加坡国立大学 2.1 研究动机 核心问题： 传统手工指标（CLIP/LPIPS/FVD）与人类感知严重偏离 现有视频编辑基准无法支撑指令引导编辑的评估需求：数据来源单一、任务覆盖面窄、评估指标不完整。 前序工作及局限： CLIP-T Score：文本-图像余弦相似度，无法捕捉细粒度编辑差异 PickScore (Kirstain et al. 2023)：人类偏好训练的图像质量分数 VideoScore (He et al. 2024)：视频生成专用质量评估模型，EMNLP 2024 与前序工作的本质区别： 从手工指标到学习型评估器，从单一分数到多维度解耦评分，从通用质量到编辑专用 2.2 方法原理 数据集：600 高质量源视频，覆盖 7 个语义维度和 30 个主题，帧长 32-1024 帧。 任务体系：8 大类 35 子类（风格/特效/主体/相机角度/主体运动/相机运动/属性/视觉特效），通过 LLM 生成 + 专家审核获取提示三元组（源/编辑/目标）。 三维评估协议： 视频质量：主体一致性、背景一致性、时间闪烁、运动平滑度、VTSS 指令遵循：整体/短语语义一致性、指令满足度、数量准确性 视频保真度：语义/运动/内容保真度 2.3 核心创新 首个专为指令引导视频编辑设计的现代化综合基准 高质量视频覆盖 7 语义维度、32-1024 帧长度 大类 35 子类编辑任务分类法 三维评估协议融合传统指标和 MLLM 评估 2.4 实验结果 评测 8 个方法：Ditto 在短视频上总分 0.667 领先，InsV2V 在长视频上 0.657 领先。所有方法的指令遵循维度得分最低（0.25-0.49），视频质量最高（0.69-0.82），说明语义编辑仍是主要瓶颈。VACE 保真度最强（0.826）但指令遵循最弱（0.254）。 2.5 关键洞察 优势：任务覆盖面最广（8 类 35 子类），MLLM + 传统指标双通道评估提升可靠性。 局限：评估依赖特定 MLLM（如 Qwen3-VL），模型版本变化可能影响复现性；缺少人工标注的 ground truth 偏好数据。 技术演进定位：EditReward 和 VEFX-Reward 代表 Reward Model 范式在编辑评测中的应用，可能成为未来 RLHF/DPO 后训练的核心组件。 可能的后续方向： 编辑 Reward Model 用于 DPO/RLHF 后训练 在线学习持续更新 Reward Model 多 Reward Model 集成投票机制 3. FiVE-Bench：细粒度视频编辑基准——14 指标 + VLM 成功率 + RF vs 扩散方法系统对比 论文: FiVE-Bench arXiv: 2503.13684 机构: HKUST / 其他合作机构 3.1 研究动机 核心问题： 评测维度设计如何平衡全面性和可操作性 缺乏标准化细粒度基准导致方法间无法公平比较，也无法评估模型对超参数的敏感度。 前序工作及局限： VBench 16 维度：最全面但维度间相关性高，难以解读 VE-Bench 单一分数：操作简便但无法区分失败模式 与前序工作的本质区别： VEFX-Bench 的三维解耦（IF/RQ/EE）是目前最佳平衡点：维度足够区分失败模式（相关性 0.19-0.33），又不至于过多导致标注困难。 3.2 方法原理 数据集：74 真实视频 + 26 生成视频，6 类细粒度编辑（物体替换/添加/删除/属性修改/背景替换/动作修改），420 组源-目标提示对含精确 Mask。 评估指标（14 项，5 维度）： 背景保留：PSNR / SSIM / LPIPS 文本-视频相似度：CLIP-T / PickScore 时间一致性：Warp Error / CLIP-I 视频质量：FVD / FID / MUSIQ 运行时间 新指标 FiVE-Acc：利用 VLM 判定编辑是否成功。 FlowEdit：将注入噪声视为 ODE 反向过程，在 RF 模型上无需 DDIM 反转。 3.3 核心创新 首个细粒度物体级视频编辑基准 视频 + 420 编辑对 + 对应 Mask 指标 + 新指标 FiVE-Acc（VLM 评估编辑成功率） 首次系统对比扩散 vs 整流流（RF）编辑方法 提出 FlowEdit 无训练无反转编辑方法 3.4 实验结果 RF 方法（Wan-Edit/Pyramid-Edit）全面优于扩散方法：Wan-Edit 在 FiVE-Acc 上 72.4% vs 最佳扩散方法 51.3%。Wan-Edit 对超参数最不敏感。扩散方法中 SDEdit 背景保留最佳但编辑成功率低，ControlVideo 时间一致性较好。 3.5 关键洞察 优势：Mask 标注使评估更精确；FiVE-Acc 利用 VLM 判定成功率是有意义的创新。 局限：100 视频规模偏小；FlowEdit 同时是基准作者提出的方法，存在裁判-运动员角色冲突。 技术演进定位：三维解耦已成为新的共识范式（IVEBench 的三维评估协议与之高度一致）。 可能的后续方向： 动态维度权重（根据编辑类型自动调整） 用户偏好个性化评估 4. EditReward：200K 人类偏好对 + VLM 奖励模型——指令引导图像/视频编辑的质量裁判 论文: EditReward arXiv: 2509.26346 机构: TIGER-AI Lab (Waterloo) 4.1 研究动机 核心问题： 评测数据集如何兼顾规模、多样性和标注质量 开源编辑模型落后于闭源的核心瓶颈在于缺乏可靠的 Reward Model 来规模化高质量合成训练数据。 前序工作及局限： DAVIS (Caelles et al. 2017)：视频分割基准，50 视频，被大量视频编辑论文借用 TGVE (Wu et al. 2023)：文本引导视频编辑数据集，规模有限 与前序工作的本质区别： 从几十个视频到数千标注样本，从单一来源到多系统输出收集。 4.2 方法原理 数据集：200K+ 偏好对，由训练有素的专家按严格标注协议标注。 Reward Model：基于 VLM 架构，输入为编辑指令 + 源图 + 编辑图，输出人类偏好对齐的质量分数。 下游验证（闭环）：用 EditReward 从有噪声的 ShareGPT-4o-Image 数据集中筛选高质量子集 → 在该子集上训练 Step1X-Edit，效果显著优于在完整数据集上训练。 4.3 核心创新 首个大规模人类偏好数据集 EditReward-Data（200K+ 偏好对） 基于 VLM 的专用编辑质量 Reward Model 在 GenAI-Bench、AURORA-Bench、ImagenHub 等基准上 SOTA 人类相关性 验证 Reward Model 可作为数据筛选器提升下游模型训练 4.4 实验结果 在 GenAI-Bench、AURORA-Bench、ImagenHub 和自建 EditReward-Bench 上均达到 SOTA 人类相关性，全面超越 VLM-as-judge 基线（包括 GPT-4o 评审）。Step1X-Edit 在筛选子集上训练后编辑质量显著提升。 4.5 关键洞察 优势：规模最大的专家标注偏好数据集；验证了 Reward Model 作为数据筛选器的实用价值（闭环验证）。 局限：主要聚焦图像编辑，视频编辑的适用性需进一步验证；VEFX-Bench 的对比显示其在 RQ 维度相关性为负值（-0.211），暴露图-视频 domain gap。 技术演进定位：VEFX-Dataset（5049 样本）和 EditReward-Data（200K 偏好对）代表当前规模的上限。 可能的后续方向： 众包+AI 混合标注扩大规模 持续更新的活跃基准（每季度纳入新系统） 合成数据增强标注多样性 5. VE-Bench：首个视频编辑质量评估数据集 + 主观对齐的自动评估网络 论文: VE-Bench arXiv: 2408.11481 机构: 北京大学 5.1 研究动机 核心问题： VLM-as-Judge 范式的可靠性和一致性 传统 VQA 方法只关注画面质量，忽略编辑特有的文本对齐和源视频关联性，导致评估结果与人类感知严重偏离。 前序工作及局限： GPT-4V/GPT-4o 评审：零样本评估，成本高且不稳定 LLaVA-Critic (Sun et al. 2024)：开源 VLM 评审器 与前序工作的本质区别： 从通用 VLM 零样本评审到编辑专用微调 Reward Model，人类相关性大幅提升。 5.2 方法原理 VE-Bench DB（数据集）：收集多样化源视频（不同运动模式和主题），为每个视频设计多种编辑提示，收集 8 个模型的编辑输出，24 名标注者给出 MOS 评分。 VE-Bench QA（评估网络）：在传统 VQA 的美学/失真维度之上，新增两个分支——文本-视频对齐建模 + 源-编辑视频关联建模，输出综合质量分数。 任务覆盖：3 类（风格编辑、语义编辑、结构编辑）。 5.3 核心创新 首个专为视频编辑设计的 VQA 数据集（VE-Bench DB） 个编辑模型结果 + 24 名标注者 MOS 评分 主观对齐的视频编辑评估网络 VE-Bench QA 同时建模文本-视频对齐和源-编辑视频关联 5.4 实验结果 VE-Bench QA 在与人类偏好的对齐性上显著优于 CLIP-Score、LPIPS、FVD 等传统指标，以及通用 VQA 模型。但在 VEFX-Bench 后续对比中，VE-Bench 单维度设计（SRCC=0.214）明显落后于多维度方法。 5.5 关键洞察 优势：首个视频编辑专用 VQA 数据集，为后续研究奠定了基础。 局限：单一综合分数无法区分不同失败模式（如指令遵循好但渲染差）；8 个模型均为 SD 系列（2024 年），缺乏最新系统评测。 技术演进定位：VEFX-Reward 证明专用 Reward Model > 通用 VLM Judge > 传统手工指标。 可能的后续方向： 轻量化蒸馏（4B→1B 保持性能） 多 VLM 集成降低偏差 对抗样本鲁棒性评估 6. SST-EM：语义-空间-时序三维评估框架——VLM + 目标检测 + ViT 组合式视频编辑评测 论文: SST-EM arXiv: 2501.07554 机构: 未披露 6.1 研究动机 核心问题： 编辑任务分类法如何标准化 CLIP 文本分数受训练数据和层级依赖限制，图像分数无法评估时间一致性，需要一个同时覆盖语义、空间和时间维度的综合指标。 前序工作及局限： InstructPix2Pix 3 类：风格/对象/背景，过于粗糙 TGVE 4 类：风格/语义/结构/混合 与前序工作的本质区别： IVEBench 8 类 35 子类和 VEFX-Bench 9 类 32 子类代表当前最细化的分类。 6.2 方法原理 四组件管线： VLM 提取每帧语义信息 目标检测追踪主要物体位置 LLM Agent 精炼物体识别和上下文理解 ViT 评估帧间时间一致性 权重标定：统一指标权重通过人类评估数据 + 回归分析标定，最终输出语义保真度和时间平滑度的综合分数。 6.3 核心创新 首个组合 VLM + 目标检测 + ViT 的视频编辑评估框架 四阶段管线：语义提取→目标跟踪→LLM 精炼→时间一致性评估 人类评估回归权重标定 超越 CLIP 文本/图像分数的多维评估 6.4 实验结果 在多个视频编辑场景下，SST-EM 与人类评估的相关性显著优于 CLIP-T、CLIP-I 等传统指标，尤其在时间一致性评估上优势明显。代码已开源。 6.5 关键洞察 优势：管线式设计模块化程度高，每个组件可独立替换升级。 局限：四阶段串行推理速度慢；依赖多个外部模型（VLM + 检测器 + LLM + ViT），部署成本高；权重标定依赖特定人类评估数据集，泛化性存疑。 技术演进定位：分类法正在趋向收敛——相机控制、实例操作、属性修改、风格变换、视觉特效已成为公认的核心类别。 可能的后续方向： 统一编辑 ontology 标准 按难度分层的自适应评测 7. VEditBench：420 视频 + 6 编辑任务 + 9 评估维度——文本引导视频编辑的整体基准 论文: VEditBench arXiv: 2501.11048 机构: NUS / Intel / UC Berkeley 7.1 研究动机 核心问题： 长视频编辑的评测挑战 缺乏一个在通用视频编辑框架下同时覆盖多种编辑任务和时长范围的标准化基准。 前序工作及局限： VEditBench 短+长：首次覆盖 10-20s 长视频 IVEBench 32-1024 帧：覆盖最大帧数范围 与前序工作的本质区别： 发现长视频编辑性能普遍下降 5-15%，但现有指标未充分捕捉时序退化模式。 7.2 方法原理 数据集：420 真实视频（300 短 2-4s + 120 长 10-20s），覆盖多种场景和内容类别。 任务设计（6 类）：物体插入、物体删除、物体替换、场景替换、运动变化、风格转换。 评估维度（9 维）： 语义对齐：编辑语义 / 原始语义 视觉质量：美学 / 失真 / 时间一致性 额外维度：编辑精度 / 背景保留等 7.3 核心创新 真实世界视频覆盖短（2-4s）和长（10-20s）两种时长 6 种核心编辑任务分类（插入/删除/替换/场景/运动/风格） 9 维度评估全面覆盖语义保真度和视觉质量 10 个 SOTA 方法系统对比 7.4 实验结果 评测 10 个方法，发现长视频编辑性能普遍下降 5-15%；物体插入和运动变化是最困难的任务；风格转换相对容易。所有方法在语义对齐上差异较大，但视觉质量差异较小——与后续 VEFX-Bench 结论一致。 7.5 关键洞察 优势：短+长视频双覆盖设计实用，6 类任务分类简洁清晰。 局限：420 视频规模中等；评估维度未明确区分编辑特有 vs 通用画质指标；缺少人工标注偏好数据。 技术演进定位：长视频评测仍是开放挑战，需要新的时间维度指标。 可能的后续方向： 分段评估+全局一致性联合指标 时间维度上的退化曲线分析 其余论文速览 1. EditBoard：提出 EditBoard 综合评测基准 EditBoard: Towards A Comprehensive Evaluation Benchmark for Text-Based Video Editing Models | Cornell University / Nanjing University / University of Oxford | arXiv:2409.09668 关键词： 综合评测基准·多维度指标·文本视频编辑 前序工作问题： 当前视频编辑模型评估缺乏全面基准，现有方法仅用单一分数概括性能，无法细致分析模型在不同编辑任务中的表现。 贡献： 提出 EditBoard 综合评测基准，设计 4 个维度 9 个自动评估指标的评估框架，覆盖 4 个任务类别，标准化视频编辑评估流程。 效果： 为视频编辑模型提供了标准化评估工具，能够细致分析模型在不同编辑任务中的表现，推动视频编辑技术的标准化和进一步发展。 批判点评： 优势：填补了视频编辑模型评估基准的空白，多维度评估框架设计合理。局限：数据集规模未明确说明；评估维度未充分考虑时序一致性这一视频特有挑战。 2. I2EBench：构建 I2EBench 基准 I2EBench: A Comprehensive Benchmark for Instruction-based Image Editing | Xiamen University / 鹏城实验室 / 北京大学 | arXiv:2408.14180 关键词： 图像编辑评测·16维度·人类感知对齐·NeurIPS 2024 前序工作问题： 指令驱动的图像编辑（IIE）模型缺乏综合评测基准，现有指标无法全面覆盖高层次语义理解和低层次图像质量。 贡献： 构建 I2EBench 基准，包含 2000+ 待编辑图像和 4000+ 条指令，设计 16 个评估维度，并通过大量用户研究确保基准与人类感知高度一致。 效果： 为图像编辑模型提供了首个综合评测基准，16 个维度覆盖语义理解和图像质量，分析方法为视频编辑评测提供了可迁移方法论。 批判点评： 优势：16 维度设计全面，人类感知对齐做得好。局限：针对图像编辑而非视频编辑；部分维度（如时序一致性）在图像场景中不存在，迁移到视频需要适配。 3. T2VEval-Bench：构建 T2VEval-Bench 多维度评测基准数据集 T2VEval: Benchmark Dataset and Objective Evaluation Method for T2V-generated Videos | 中国传媒大学 信息与通信工程学院 | arXiv:2501.08545 关键词： 文本生成视频·多维度评测·主观客观融合·中国传媒大学 前序工作问题： 文本生成视频（T2V）模型缺乏统一的多维度评测基准，主观评价和客观评价方法各自存在局限性，无法全面评估生成视频质量。 贡献： 构建 T2VEval-Bench 多维度评测基准数据集，包含 148 个文本提示和 1783 个生成视频；提出 T2VEval 评估模型，从质量、真实感、一致性三个分支进行客观评估，达到 SOTA 人类相关性。 效果： 为文本生成视频提供了大规模评测基准，三分支评估模型可部分迁移到视频编辑评测场景，尤其是一致性评估维度与编辑排他性高度相关。 批判点评： 优势：主观+客观融合评估思路先进，数据集规模较大。局限：针对文本生成视频而非编辑场景；一致性分支主要评估生成稳定性，与编辑场景的源视频保真度存在差异。 横向对比与技术脉络总结 7 大视频编辑评测方法横向对比 论文 发表 数据规模 评测维度 自动指标类型 人工标注 任务分类 核心创新 VEFX-Bench 2026.04 5049 样本 3 维解耦 Reward Model 三维 4 分制 9 类 32 子类 序数回归 RM IVEBench ICLR 2026 600 视频 3 维评估 传统+MLLM 无 8 类 35 子类 MLLM 融合 FiVE-Bench ICCV 2025 100 视频 5 维 14 指标 传统+VLM 无 6 类 FiVE-Acc EditReward ICLR 2026 200K 偏好对 综合 Reward Model 专家偏好 通用 200K 数据 VE-Bench AAAI 2025 ~170 视频 综合 评估网络 MOS 24人 3 类 首个 VQA SST-EM WACV 2025 - 3 维管线 VLM+检测+ViT 权重标定 - 组合式评估 VEditBench ICLR 2025 420 视频 9 维 传统 无 6 类 短+长视频 核心技术趋势 三维解耦评测成为共识 IF（指令遵循）/ RQ（渲染质量）/ EE（编辑排他性）三维独立评估已成为 VEFX-Bench 和 IVEBench 的共同设计，正在取代单一综合分数。 Reward Model 取代手工指标 从 CLIP-Score/LPIPS/FVD 到学习型 Reward Model（VEFX-Reward/EditReward），评测精度大幅提升，且可直接用于下游 RLHF/DPO 训练。 MLLM 深度融入评测管线 IVEBench 和 SST-EM 将 MLLM 评估融入标准管线，FiVE-Acc 用 VLM 判定编辑成功率。但 MLLM 版本变化导致的结果漂移是待解决的风险。 评测任务分类趋向精细化 从 3-4 类到 8-9 大类 32-35 子类，相机控制、实例操作、属性修改、风格变换、视觉特效成为公认核心类别。 长视频评测成为开放挑战 VEditBench 首次发现长视频编辑性能下降 5-15%，但现有指标未充分捕捉时序退化模式，需要新的时间维度评估方法。 人工智能炼丹君 整理 | 数据来源：arXiv 2024年8月 — 2026年4月（涵盖 AAAI/WACV/ICLR/ICCV 2025-2026 评测基准爆发期）

AIGC 每日速读|2026-04-24|Wan-Image 今日核心看点 阿里 Wan-Image 统一视觉生成 Google Vision Banana 生成即理解 LLaDA2.0 离散扩散统一多模态 DynamicRad 视频扩散 2.5x 加速 字节 MMCORE 轻量统一框架 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 生成理解一体化 — 3 篇（LLaDA2.0-Uni、Vision Banana、MMCORE） 图像生成与编辑 — 4 篇（万象图像系统、编辑定位、扩散幻觉检测、空间智能基准） 视频生成 — 1 篇（长视频稀疏注意力加速） 音频与语音 — 1 篇（流式目标说话人提取） 生成模型训练与优化 — 1 篇（半监督流匹配遥感融合） 涵盖 arXiv 最新 127 篇候选中精选 今日论文速览 1. Wan-Image：提出 Wan-Image 统一视觉生成系统 Wan-Image: Pushing the Boundaries of Generative Visual Intelligence | Alibaba Group (Tongyi Lab) | arXiv:2604.19858 关键词： 统一视觉生成·文字渲染·多主体保持·4K合成 前序工作问题： 当前扩散模型在专业设计场景中缺乏绝对可控性，尤其在复杂排版渲染、多主体身份保持和精细交互编辑方面力不从心 贡献： 提出 Wan-Image 统一视觉生成系统，融合 LLM 认知能力与 DiT 像素合成，通过大规模多模态数据扩展和强化学习训练，解锁超长文本渲染、调色板引导、多主体保持、原生 Alpha 通道等专业功能 效果： 在多项人类评估中超越 Seedream 5.0 Lite 和 GPT Image 1.5，在高难度任务中与 Nano Banana Pro 持平，支持原生 4K 高效合成 批判点评： 模型参数量和训练成本未公开，「专业级生产力工具」的定位缺少与 Adobe Firefly 等商业工具的定量用户研究；多主体保持在相似外观角色间的区分能力未充分测试 2. LLaDA2.0-Uni：提出基于离散扩散的统一大语言模型 LLaDA2.0-Uni LLaDA2.0-Uni: Unifying Multimodal Understanding and Generation with Diffusion Large Language Model | Inclusion AI, Westlake University, Zhejiang University | arXiv:2604.20796 关键词： 离散扩散LLM·多模态统一·MoE·交错生成 前序工作问题： 现有多模态模型难以在统一框架内同时实现高质量的视觉理解和图像生成，自回归与扩散范式各有局限 贡献： 提出基于离散扩散的统一大语言模型 LLaDA2.0-Uni，结合语义离散分词器 SigLIP-VQ、MoE 主干和扩散解码器，支持块级掩码扩散同时处理文本和视觉输入，并通过前缀感知优化和少步蒸馏提速 效果： 在多模态理解上匹配专用 VLM 水平，图像生成和编辑表现出色，原生支持交错生成和推理，代码和模型已开源 批判点评： 离散扩散 LLM 的并行解码虽然快但牺牲了自回归模型的逐步纠错能力；SigLIP-VQ 的量化损失对精细纹理和小物体的影响需要更多消融实验 3. Vision Banana：证明图像生成预训练可以学到强大通用视觉表征 Image Generators are Generalist Vision Learners | Google DeepMind | arXiv:2604.20329 关键词： 生成预训练·视觉理解·统一模型·指令微调 前序工作问题： 图像生成模型是否真正学会了视觉理解一直缺乏有力证据，生成与理解的关系尚不明确 贡献： 证明图像生成预训练可以学到强大通用视觉表征，通过将视觉任务输出参数化为 RGB 图像实现感知即生成，在 Nano Banana Pro 基础上指令微调得到 Vision Banana 通才模型 效果： 在分割（超越 SAM3）、深度估计（超越 Depth Anything）等 2D 和 3D 视觉任务上达到 SOTA，且不牺牲图像生成能力 批判点评： 将所有视觉任务输出编码为 RGB 图像是一种巧妙但有局限的参数化方式，对检测框回归等需要精确数值的任务可能力不从心；实验依赖 Nano Banana Pro 这一未开源的强基座，可复现性受限 4. MMCORE：提出 MMCORE 轻量统一框架 MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings | ByteDance | arXiv:2604.19902 关键词： 多模态统一·VLM引导·轻量连接·表征对齐 前序工作问题： 现有统一多模态生成模型要么需要从头训练自回归+扩散深度融合架构，要么计算成本极高 贡献： 提出 MMCORE 轻量统一框架，利用预训练 VLM 通过可学习查询 token 预测语义视觉嵌入，再作为扩散模型的条件信号，无需深度融合或从头训练即可将 VLM 的理解推理能力迁移至视觉生成 效果： 在文生图、交错图像生成和单/多图编辑基准上全面超越 SOTA 基线，空间推理和视觉定位等复杂场景表现突出 批判点评： 「轻量连接」本质上限制了 VLM 与扩散模型之间的信息传递带宽，对需要精细像素级控制的任务（如 inpainting 边界）可能成为瓶颈；多图编辑的一致性在长序列交错场景下未充分验证 5. DynamicRad：提出 DynamicRad 统一稀疏注意力范式 DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion | UESTC, Michigan State University | arXiv:2604.20470 关键词： 视频扩散加速·稀疏注意力·贝叶斯优化·自适应 前序工作问题： 视频扩散模型的全注意力计算随序列长度二次增长，静态稀疏掩码在复杂动态场景中丢失关键长程信息 贡献： 提出 DynamicRad 统一稀疏注意力范式，基于径向局部性先验实现自适应稀疏选择，双模式策略（静态比率+动态阈值）配合离线贝叶斯优化和语义运动路由器，零运行时开销实现内容自适应 效果： 在 HunyuanVideo 和 Wan2.1-14B 上实现 1.7-2.5 倍推理加速，有效稀疏度超 80%，动态模式在部分长序列设置中甚至匹配或超越全注意力基线 批判点评： 离线贝叶斯优化虽避免了在线开销，但优化的超参可能对分布外视频内容泛化不佳；语义运动路由器仅依赖 prompt 嵌入，忽略了视觉内容本身的复杂度信号 6. TAL-Edit：提出无需训练的任务感知编辑定位框架 Rethinking Where to Edit: Task-Aware Localization for Instruction-Based Image Editing | University of Sydney | arXiv:2604.20258 关键词： 图像编辑·任务感知·编辑定位·无需训练 前序工作问题： 指令驱动的图像编辑模型缺乏显式编辑定位机制，不同编辑操作（添加、移除、替换）的空间模式差异被忽略，导致频繁过度编辑 贡献： 提出无需训练的任务感知编辑定位框架，利用 IIE 模型内在的源图和目标图双流注意力构建编辑线索和特征质心，将 token 划分为编辑区和非编辑区，并按任务类型选择性融合双流信息 效果： 在 EdiVal-Bench 上持续提升非编辑区域一致性，同时保持强指令跟随性能，可即插即用于多种强图像编辑骨干 批判点评： 无需训练的优势以牺牲精度为代价，注意力图质心分割在精细边界处可能不够准确；任务类型的自动识别依赖启发式规则，对模糊指令（如「让这张图更好看」）的任务分类可能出错 7. HEaD+：提出 HEaD+ 幻觉早期检测框架 Hallucination Early Detection in Diffusion Models | University of Modena, University of Trento | arXiv:2604.20354 关键词： 扩散幻觉·早期检测·跨注意力·种子筛选 前序工作问题： 扩散模型在多物体生成时频繁出现物体遗漏幻觉，现有方法聚焦于优化潜空间，忽略了初始种子的决定性影响 贡献： 提出 HEaD+ 幻觉早期检测框架，融合跨注意力图、文本信息和预测最终图像三重信号，在去噪早期阶段判断当前种子是否会产生完整生成，决定是否切换种子重启 效果： 4 个物体场景下完整生成成功率提升 6-8%，生成时间最多减少 32%，在 45K 图像的 InsideGen 数据集上训练和验证 批判点评： 6-8% 的成功率提升幅度有限，随着物体数量增加效果可能递减；早期检测阈值的选择依赖经验调参，缺乏自适应机制；与 Attend-and-Excite 等注意力引导方法的组合效果未探索 8. CISAR：提出首个面向流式场景的自回归目标说话人提取模型 Towards Streaming Target Speaker Extraction via Chunk-wise Interleaved Splicing of Autoregressive Language Model | Tencent AI Lab, Tsinghua University | arXiv:2604.19635 关键词： 流式语音·目标说话人·自回归·块间拼接 前序工作问题： 生成式目标说话人提取模型依赖全局上下文，直接适配流式场景会导致灾难性推理性能退化 贡献： 提出首个面向流式场景的自回归目标说话人提取模型，核心创新为块间交错拼接范式（CISAR），配合历史上下文精炼机制消除边界不连续性 效果： 在 Libri2Mix 上保持 100% 推理稳定性和优越可懂度，流式结果媲美甚至超越离线基线，消费级 GPU 上 RTF 仅 0.248 批判点评： Libri2Mix 是干净的朗读语音混合数据集，在噪声环境和远场麦克风等真实场景下的表现需要验证；块大小的选择对延迟-质量的权衡影响未充分分析 9. SSFM-Fusion：提出半监督流匹配框架 Semi-Supervised Flow Matching for Mosaiced and Panchromatic Fusion Imaging | Harbin Institute of Technology (Shenzhen) | arXiv:2604.20128 关键词： 流匹配·半监督·图像融合·高光谱 前序工作问题： 低分辨率马赛克高光谱图像与高分辨率全色图像的融合是严重病态问题，现有扩散方法受限于特定协议和人工假设 贡献： 提出半监督流匹配框架，将无监督先验网络与条件流匹配模型两阶段结合，引入随机投票机制迭代精炼和无冲突梯度引导策略，实现光谱和空间一致的高分辨率重建 效果： 在多个基准数据集上大幅超越代表性基线方法，生成质量和效率显著提升 批判点评： 遥感融合是相对小众的应用场景，流匹配在此领域的优势相比传统方法的边际增益需要实际部署验证；两阶段训练管线增加了工程复杂度 10. GSI-Bench：提出首个生成式空间智能基准 GSI-Bench Exploring Spatial Intelligence from a Generative Perspective | Zhejiang University | arXiv:2604.20570 关键词： 空间智能·生成式评测·3D约束·图像编辑 前序工作问题： 现有多模态模型基准仅从理解角度评估空间智能，忽略了生成模型在 3D 空间约束下的图像生成能力 贡献： 提出首个生成式空间智能基准 GSI-Bench，包含真实数据集 GSI-Real（3D 先验引导过滤）和合成数据集 GSI-Syn（可控空间操作+自动标注），统一评估空间合规性和编辑保真度 效果： 在 GSI-Syn 上微调统一多模态模型后，合成和真实任务均显著提升，且首次证明生成式训练能增强空间理解能力 批判点评： GSI-Syn 的合成数据与真实场景仍存在域差距，微调增益能否泛化到 GSI-Real 之外的开放场景未充分验证；评估协议的「空间合规性」指标定义偏简化，难以覆盖复杂多物体遮挡场景 趋势观察 生成与理解的统一正在加速 — LLaDA2.0-Uni、Vision Banana、MMCORE 三篇论文从不同路径（离散扩散、生成预训练、轻量连接）推进生成-理解统一，「生成即理解」成为新共识 视觉生成从「能用」走向「专业级」 — Wan-Image 瞄准专业设计场景（文字渲染、4K 合成、Alpha 通道），标志着生成模型从展示性 demo 向生产力工具转型 视频扩散推理加速的新范式 — DynamicRad 用自适应稀疏注意力在 HunyuanVideo 上实现 2.5x 加速且不损质量，离线 BO+语义路由的思路值得关注 图像编辑的精细化控制 — TAL-Edit 从任务感知定位角度推动编辑精度提升，HEaD+ 从幻觉检测角度减少多物体遗漏，GSI-Bench 建立生成式空间智能评测基准 流式音频生成的突破 — CISAR 首次将自回归生成模型应用于流式目标说话人提取，证明 AR 骨干在低延迟场景的可行性 人工智能炼丹君 整理 | 2026-04-24

AIGC 每日速读|2026-04-23|淘宝试穿上线-Google城市视频-GRPO优化扩散 今日核心看点 淘宝虚拟试穿 Tstars-Tryon Google 城市视频 CityRAG 图像优先人体视频 ReImagine 统一音频前端 UAF 单步扩散加速 OSD-IRF 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 图像生成与编辑 — 4 篇（虚拟试穿、照片编辑、偏见缓解、图像优先视频） 视频生成 — 3 篇（人物交互、城市视频、人体视频） 音频与语音 — 1 篇（统一音频前端 LLM） 生成模型训练与优化 — 2 篇（离散扩散 GRPO、过程级信用分配） 涵盖 HuggingFace 热门 + arXiv 最新 159 篇候选中精选 今日论文速览 1. Tstars-Tryon 1.0：提出商业级虚拟试穿系统 Tstars-Tryon 1.0: Robust and Realistic Virtual Try-On for Diverse Fashion Items | Alibaba (Taobao & Tmall Group) | arXiv:2604.19748 关键词： 虚拟试穿·图像生成·扩散模型·商业部署 前序工作问题： 现有虚拟试穿方法在极端姿态、光照变化、运动模糊等真实场景下成功率低，无法满足商业级部署需求 贡献： 提出商业级虚拟试穿系统，支持 6 张参考图多品类合成（8 类时尚单品），集成端到端模型架构、可扩展数据引擎和多阶段训练范式，已在淘宝 App 大规模上线 实验结果： 已部署服务数百万日活用户，累计处理数千万请求；支持 8 大品类（上装/下装/裙装/连体衣/外套/鞋/帽/包），近实时推理速度，跨身份跨背景生成 批判点评： 工业系统论文，技术细节披露有限，核心架构和训练数据均未开源，学术复现性低；「数百万用户」的指标缺少与同类商业方案的定量对比 2. CoInteract：提出空间结构化协同生成框架 CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation | Zhejiang University, Alibaba | arXiv:2604.19636 关键词： 人物交互视频·物理一致·空间结构·协同生成 前序工作问题： 扩散模型在人物-物体交互视频中经常出现手部结构崩塌和物体穿透等物理不一致问题 贡献： 提出空间结构化协同生成框架，将人体与物体解耦为独立的 3D 空间表示，通过物理约束的交互建模确保手部-物体接触的物理一致性 实验结果： 在电商 HOI 视频场景中显著提升结构稳定性和物理真实感；手部-物体穿透率大幅下降，视频 FVD 和 FID 指标全面超越 AnimateDiff、DynamiCrafter 等基线 批判点评： 3D 解耦表示增加了计算复杂度，论文未给出推理速度数据；物理约束仅限于接触层面，对柔体变形和流体交互等更复杂物理现象的泛化性存疑 3. CityRAG：将视频生成与空间检索增强结合（RAG） CityRAG: Stepping Into a City via Spatially-Grounded Video Generation | Google Research | arXiv:2604.19741 关键词： 城市视频生成·空间锚定·3D一致·可导航环境 前序工作问题： 现有视频生成模型缺乏空间锚定能力，无法生成与真实地点对应的 3D 一致可导航视频 贡献： 将视频生成与空间检索增强结合（RAG），利用真实城市数据实现空间锚定的 3D 一致视频合成，可生成真实地点的沉浸式可导航环境 实验结果： 生成视频在 3D 空间一致性和地理位置对应关系上优于 WonderWorld 和 SceneScape 等基线，FVD 和空间误差指标均有显著改善 批判点评： RAG 范式依赖高质量街景数据库覆盖度，对数据稀疏地区效果可能大打折扣；生成视频的分辨率和时长限制未明确说明，实用性有待验证 4. SmartPhotoCrafter：提出统一推理-生成-优化框架 SmartPhotoCrafter: Unified Reasoning, Generation and Optimization for Automatic Photographic Image Editing | University of Electronic Science and Technology of China | arXiv:2604.19587 关键词： 照片编辑·审美推理·自动优化·统一框架 前序工作问题： 传统照片编辑需要用户具备充分的美学理解才能给出正确的调整指令，极大限制了普通用户的使用体验 贡献： 提出统一推理-生成-优化框架，自动理解图像美学缺陷并生成编辑方案，无需用户提供显式指令即可完成专业级照片优化 实验结果： 实现从「用户指令驱动」到「AI 自主推理驱动」的范式转变，在多种照片编辑场景下美学评分和用户满意度均优于 InstructPix2Pix 等基线 批判点评： 「美学」标准高度主观，论文的评估指标能否充分反映真实用户偏好值得商榷；自动编辑可能与专业摄影师的创作意图冲突，缺少人机协作模式设计 5. UDM-GRPO：系统分析了 UDM 中 GRPO 不稳定的根源 UDM-GRPO: Stable and Efficient Group Relative Policy Optimization for Uniform Discrete Diffusion Models | Tsinghua University, ByteDance | arXiv:2604.18518 关键词： 离散扩散·GRPO·强化学习·训练稳定性 前序工作问题： 将 GRPO 直接应用于均匀离散扩散模型（UDM）会导致训练不稳定和性能提升有限 贡献： 系统分析了 UDM 中 GRPO 不稳定的根源，提出针对离散扩散模型的稳定高效 GRPO 变体，解决梯度方差和策略漂移问题 实验结果： 在离散文本生成和图像生成任务上显著提升训练稳定性和生成质量，梯度方差降低 2-3 个量级，策略漂移控制在可接受范围内 批判点评： 实验仅在离散扩散模型上验证，未证明方法是否可迁移到连续扩散模型；与 DPO/PPO 等替代强化学习算法的对比不够充分 6. ReImagine：提出「图像优先」策略 ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis | SSE, CUHK-Shenzhen | arXiv:2604.19720 关键词： 人体视频生成·图像优先·姿态控制·SMPL-X 前序工作问题： 人体视频生成需要同时建模外观、运动和相机视角，在有限多视角数据下难以兼顾可控性和视觉质量 贡献： 提出「图像优先」策略，先通过预训练图像模型学习高质量人体外观，再结合 SMPL-X 运动引导和无需训练的视频扩散时序精炼，实现姿态和视角可控的人体视频生成 实验结果： MVHumanNet++ 上 FVD 0.275（vs Wan-Ani 0.403 降低 31.8%），FID 36.23（vs Qwen 46.33 降低 21.8%），LPIPS 0.165 最优；用户研究偏好率 41.8%（视角一致性），显著领先 批判点评： 图像优先策略将时序一致性完全托付给后续精炼阶段，快速运动和复杂遮挡场景可能出现时序伪影；SMPL-X 依赖限制了对穿裙装等宽松服饰的建模能力 7. UAF：提出首个统一音频前端 LLM UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction | NTU, Intel Labs | arXiv:2604.19221 关键词： 全双工语音·统一前端·自回归·流式推理 前序工作问题： 传统级联语音处理管线存在累积延迟和错误传播问题，现有端到端模型仍依赖独立的前端组件（VAD、转场检测等） 贡献： 提出首个统一音频前端 LLM，将 VAD、转场检测、说话人识别、ASR 和 QA 五大前端任务统一为单一自回归序列预测问题，支持 600ms 流式音频块输入 实验结果： VAD F1 97.57%（SOTA），极端噪声 2dB 下 ASR WER 5.34（vs Qwen3-Omni 38.60 降低 86%），中断检测 100% 准确率，真实场景 Online-test WER 13.75（vs Qwen3-Omni 17.83 降低 23%） 批判点评： 统一五大任务到一个模型可能导致各任务间的性能权衡，论文未充分讨论多任务冲突；600ms 块大小对于实时对话仍有可感知延迟，距离真正的零延迟交互尚有差距 8. Embedding Arithmetic：提出推理时嵌入空间算术方法 Embedding Arithmetic: A Lightweight, Tuning-Free Framework for Post-hoc Bias Mitigation in Text-to-Image Models | Fraunhofer IKS | arXiv:2604.18167 关键词： T2I公平性·嵌入空间·无需训练·偏见缓解 前序工作问题： 文生图模型放大社会偏见（如性别、种族），现有去偏方法需要修改模型权重或提示词，且难以平衡公平性与语义保真 贡献： 提出推理时嵌入空间算术方法，通过分析和校正条件嵌入空间中的偏见结构来缓解社会偏见，无需修改模型权重或数据集，同时提出概念一致性评分（CCS）替代 CLIP Score 实验结果： FLUX 上平均性别熵 0.88（vs 默认 0.15 提升 487%），种族熵 0.86（vs 默认 0.16 提升 438%），CCS 保持 0.60 与默认模型持平；SD 3.5-Large 上效果一致 批判点评： 嵌入空间的「偏见方向」定义高度依赖先验标注，对交叉性偏见（如性别×种族）的处理能力不明；CCS 指标虽弥补了 CLIP Score 的不足，但其自身的有效性需要更大规模的人类评估验证 9. OTCA：提出目标感知轨迹信用分配框架（OTCA） Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation | NWPU, Kuaishou | arXiv:2604.19234 关键词： 视觉生成·过程优化·GRPO·信用分配 前序工作问题： 现有 GRPO 训练将多维度奖励压缩为单一标量并均匀传播到整个去噪轨迹，忽略了不同去噪步骤的阶段性功能差异 贡献： 提出目标感知轨迹信用分配框架（OTCA），包含轨迹级信用分解和多目标信用分配两大模块，将粗粒度奖励信号转化为时间步感知的结构化训练信号 实验结果： 图像生成 CLIP-T 0.3071（vs Flux 基线 0.2682 提升 14.5%），ImageReward 1.1998（vs DanceGRPO 1.0172 提升 17.8%）；视频生成 VBench 总分 82.01（vs 基线 81.26），动态度提升 5.0%，空间关系提升 6.4% 批判点评： 信用分配的时间步粒度假设（早期步骤负责构图、晚期负责细节）过于简化，不同架构和调度器下该假设可能不成立；方法引入额外的奖励分解计算，训练成本增加但论文未量化开销 10. OSD-IRF：提出 OSD-IRF One-Step Diffusion with Inverse Residual Fields for Unsupervised Industrial Anomaly Detection | UESTC | arXiv:2604.18393 关键词： 单步扩散·异常检测·逆残差场·推理加速 前序工作问题： 扩散模型在工业异常检测中性能优异但迭代去噪导致推理速度慢 贡献： 提出 OSD-IRF，基于训练好的 DDPM 噪声函数预测逆残差场（IRF），通过评估 IRF 在高斯分布下的概率密度实现单步异常检测，发现异常在 IRF 空间中可区分这一关键现象 实验结果： MVTec-AD mAD 85.7（SOTA），MPDD mAD 83.8（vs InvAD 80.1 提升 3.7），推理速度 133-212 FPS（vs InvAD 88-120 加速约 1.5x，vs DiAD 0.1 FPS 加速 1000x+） 批判点评： 相对于一步蒸馏方法加速幅度有限；IRF 的高斯分布假设在复杂工业场景下可能不成立，对分布外异常类型的鲁棒性需要更多验证 趋势观察 视觉生成的强化学习后训练 — UDM-GRPO 和 OTCA 分别从离散扩散模型和信用分配角度推进 GRPO 在视觉生成中的应用 商业级生成系统落地 — Tstars-Tryon 已在淘宝服务数百万用户，SmartPhotoCrafter 实现全自动照片编辑 人体视频生成的可控性突破 — ReImagine 的图像优先策略和 CoInteract 的物理一致性框架分别从不同角度提升人体视频质量 扩散模型推理加速 — OSD-IRF 实现单步扩散异常检测（2x 加速），无需蒸馏即可保持性能 语音交互统一化 — UAF 将五大音频前端任务统一为单一自回归模型，RTF 0.248 接近实时 人工智能炼丹君 整理 | 2026-04-23 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-04-22|武大MemWN按需记忆撑起长视频一致性 今日核心看点 解耦记忆长视频 MemWN 一步文本生成 EMF 投机解码加速 2.09x 多事件视频+33.5% 编辑 RLHF 后训练 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 视频生成（4篇）：长视频空间一致性 MemWN、多事件生成 TS-Attn、人体视频 ReImagine、视频到音乐 Video-Robin 推理加速（3篇）：投机解码 SDVG、稀疏注意力聚类 AdaCluster、Patch 级自适应采样 Patch Forcing 图像生成与编辑（3篇）：一步文本生成 EMF、人类偏好编辑 HP-Edit、扩散引导检测 DGSSM 含 CVPR 2026 接收，多篇开源代码，覆盖视频/图像/音频三大生成方向 今日论文速览 1. MemWN：提出解耦记忆控制框架 MemWN Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation | Wuhan University | arXiv:2604.18215 关键词： 长视频生成·空间一致性·解耦记忆·相机轨迹·按需记忆 前序工作问题： 现有长视频生成方法将记忆建模与生成过程耦合，导致场景重访时空间一致性差，相机运动下物体位置和外观不连贯。 贡献： 提出解耦记忆控制框架 MemWN，将记忆建模与视频生成分离。混合记忆表示捕获时间+空间双重线索，逐帧交叉注意力精准注入记忆，相机感知门控智能判断何时使用记忆。 效果： 在长视频生成基准上取得 SOTA，场景重访空间一致性大幅提升，训练成本显著降低。 2. EMF：首次将 MeanFlow 框架从类别标签扩展到文本条件 EMF: Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation | Nankai University, Alibaba AMAP-ML | arXiv:2604.18168 关键词： 一步生成·MeanFlow·文本条件·LLM编码器·图像合成 前序工作问题： MeanFlow 等一步生成框架仅支持类别标签条件，无法处理开放文本描述；直接套用文本编码器会因特征区分度不足导致生成质量骤降。 贡献： 首次将 MeanFlow 框架从类别标签扩展到文本条件，实现高效的一步文本到图像生成。揭示了 MeanFlow 少步生成中文本特征需要高区分度的关键洞察，开发了基于 LLM 文本编码器的解决方案。 效果： 在 MeanFlow 框架下首次实现文本条件的一步图像生成，同时在扩散模型上也展示了显著的生成性能提升。代码已开源。 3. TS-Attn：提出免训练的时间可分离注意力机制（TS-Attn） TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation | PKU, ZJU, Nankai, MIT, NJU, UCSB | arXiv:2604.19473 关键词： 多事件视频·免训练·时间注意力·Wan2.1·即插即用 前序工作问题： 多事件视频生成中，全局时间注意力导致不同事件的动作特征相互干扰，造成动作保真度与时间连贯性难以兼顾。 贡献： 提出免训练的时间可分离注意力机制（TS-Attn），解决多事件视频生成中动作保真度与时间一致性的固有矛盾。可即插即用到 Wan2.1-T2V-14B 等预训练模型中。 效果： 在 Wan2.1-T2V-14B 上 StoryEval-Bench 提升 33.5%，在 Wan2.2-T2V-A14B 上提升 16.4%，推理开销仅 +2%。代码已开源。 4. SDVG：首次将投机解码引入自回归视频扩散模型加速 Speculative Decoding for Autoregressive Video Generation | Independent Research | arXiv:2604.17397 关键词： 投机解码·自回归视频·加速推理·ImageReward·免训练 前序工作问题： 自回归视频扩散模型逐帧生成速度极慢，LLM 领域成熟的投机解码策略尚未被引入视频生成场景。 贡献： 首次将投机解码引入自回归视频扩散模型加速。用 1.3B 小模型起草候选块，ImageReward 路由器以最差帧评分筛选，实现免训练、无需架构修改的视频生成加速。 效果： 在 MovieGenVideoBench 上，保持 98.1% 质量实现 1.59× 加速，或 2.09× 加速保持 95.7% 质量，始终比纯 Draft 高 >17%。 5. ReImagine：提出先图像后视频的人体视频生成范式 ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis | CUHK(SZ), SSE, FNii | arXiv:2604.18300 关键词： 人体视频·SMPL-X·图像先验·视角控制·免训练精炼 前序工作问题： 端到端人体视频生成同时学习外观质量和时序一致性，两者相互制约导致生成质量受限，且缺乏精细的姿态和视角控制。 贡献： 提出先图像后视频的人体视频生成范式，将高质量人体外观学习与时序一致性解耦。结合 SMPL-X 姿态引导和预训练视频扩散模型的免训练时序精炼。 效果： 在多样化姿态和视角下生成高质量、时序一致的人体视频。发布了标准化人体数据集和辅助合成模型。代码已开源。 6. DGSSM：提出扩散引导的状态空间模型框架 DGSSM: Diffusion Guided State-Space Models for Multimodal Salient Object Detection | IIT Guwahati | arXiv:2604.18500 关键词： 显著性检测·Mamba·扩散先验·多模态·边界感知 前序工作问题： 现有多模态显著性检测方法依赖 Transformer 的二次复杂度注意力，难以高效建模全局上下文；同时缺乏结构先验导致边界预测粗糙。 贡献： 提出扩散引导的状态空间模型框架，将多模态显著性检测建模为渐进去噪过程。融合 Mamba 高效全局推理与扩散结构先验。 效果： 在 13 个公开基准（RGB、RGB-D、RGB-T）上全面超越现有 SOTA，同时保持紧凑的模型尺寸。 7. Patch Forcing：探索 patch 级别的噪声调度用于图像合成 Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation | CompVis @ LMU Munich | arXiv:2604.19141 关键词： 自适应去噪·Patch级调度·难度感知·计算优化·扩散模型 前序工作问题： 扩散模型对所有空间区域采用统一的去噪步数，浪费大量计算在已趋向清晰的简单区域上，缺乏空间自适应的采样策略。 贡献： 探索 patch 级别的噪声调度用于图像合成，提出 Patch Forcing 框架，让简单区域先行去噪为困难区域提供上下文。引入自适应难度头按需分配计算资源。 效果： 在 class-conditional ImageNet 上实现优于基线的生成质量，与表示对齐和引导方法正交，可扩展到文本到图像合成。 8. Video-Robin：提出 Video-Robin Video-Robin: Autoregressive Diffusion Planning for Intent-Grounded Video-to-Music Generation | UMD, Microsoft | arXiv:2604.18700 关键词： 视频到音乐·自回归规划·扩散合成·文本条件·DiT 前序工作问题： 现有视频到音乐方法仅依赖视觉特征对齐，缺乏对用户意图的理解，且全局音乐结构建模不足导致生成连贯性差。 贡献： 提出 Video-Robin，结合自回归规划与扩散合成的文本条件视频到音乐生成模型。自回归模块建模全局结构并对齐视觉与文本语义。 效果： 在分布内和分布外基准上均超越仅接受视频输入和额外特征条件的基线，推理速度比 SOTA 快 2.21 倍。 9. HP-Edit：提出 HP-Edit 人类偏好对齐的图像编辑后训练框架 HP-Edit: A Human-Preference Post-Training Framework for Image Editing | HIT, vivo AI Lab | arXiv:2604.19406 关键词： 图像编辑·人类偏好·RLHF·VLM评分器·后训练 前序工作问题： 图像编辑模型训练仅依赖像素级损失，未考虑人类主观偏好，导致编辑结果与用户期望存在系统性偏差；同时缺乏大规模真实世界编辑偏好数据。 贡献： 提出 HP-Edit 人类偏好对齐的图像编辑后训练框架，发布 RealPref-50K 真实世界偏好数据集覆盖 8 类编辑任务。训练 HP-Scorer 自动评分器作为 RLHF 奖励函数。 效果： 显著增强 Qwen-Image-Edit-2509 等模型的输出，使其更贴合人类偏好。同时发布 RealPref-Bench 基准。 10. AdaCluster：提出免训练的自适应聚类稀疏注意力框架 AdaCluster AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation | NUS, ByteDance | arXiv:2604.18348 关键词： 稀疏注意力·自适应聚类·视频DiT·加速推理·免训练 前序工作问题： 视频 DiT 的全注意力机制时间复杂度为 O(n²)，长视频生成的计算和显存需求极高；现有稀疏注意力方案采用固定模式，无法适应不同层和时间步的动态注意力分布。 贡献： 提出免训练的自适应聚类稀疏注意力框架 AdaCluster，针对视频 DiT 的二次注意力复杂度问题。Q/K 分别采用角度和欧氏距离保持的聚类策略。 效果： 在 CogVideoX-2B、HunyuanVideo 和 Wan-2.1 上实现 1.67-4.31× 加速，质量损失可忽略不计，仅需单张 A40 GPU。 趋势观察 视频生成推理加速多路并进 — 投机解码(SDVG)、自适应稀疏注意力(AdaCluster)和 patch 级自适应采样(Patch Forcing)三种不同思路同时涌现，视频生成的实用化进程加速 免训练方法成为即插即用新常态 — TS-Attn、AdaCluster、ReImagine 的时序精炼均为免训练设计，降低部署门槛的同时保持了高效果 人类偏好对齐从生成扩展到编辑 — HP-Edit 将 RLHF 引入图像编辑后训练，配合 RealPref-50K 数据集和 VLM 评分器，预示编辑模型也将进入偏好对齐时代 长视频与多事件生成攻克一致性 — MemWN 用解耦记忆解决空间一致性，TS-Attn 用时间可分离注意力解决多事件时间一致性，分别从空间和时间维度推进长视频质量 视频-音乐跨模态生成走向可控 — Video-Robin 首次引入文本条件+自回归规划到 V2M 任务，从单纯视觉对齐升级为语义意图驱动的音乐创作 人工智能炼丹君 整理 | 2026-04-22