AIGC 每日速读|2026-05-15|实时视频2步出帧Causal Forcing++ 今日 AIGC 论文速览 今日共 8 篇 · 实时 AR 视频与世界模型 3 篇 · 相机控制与视频生成 2 篇 · 图像编辑持续学习 1 篇 · 扩散模型 RL 后训练 1 篇 · 视频世界模型评测 1 篇 重点论文标题列表 Causal Forcing++：因果一致性蒸馏 Warp-as-History：把相机引起的形变直接转化为「相机扭曲 ACE-LoRA：动态正则化框架 RefDecoder：参考条件视频 VAE decoder DiffusionOPD：多任务训练范式 今日论文速览 1. Causal Forcing++：因果一致性蒸馏 Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation | 清华 TSAIL, 生数科技 | arXiv:2605.15141 关键词：少步AR视频·因果一致性蒸馏·实时交互生成·世界模型·Genie3 前序问题：实时交互式视频生成需要低延迟、流式、可控的 rollout。现有自回归扩散蒸馏在 chunk-wise 4 步取得了不错效果，但 chunk 粒度过粗、采样延迟仍然不可忽略；当尝试更激进的 frame-wise 1-2 步时，少步 AR 学生的初始化策略要么目标错位、要么不能少步生成、要么算力代价大到无法 scale 本文贡献：提出 Causal Forcing++ 因果一致性蒸馏（Causal CD）流水线：核心观察是 Causal CD 学习与 Causal ODE 蒸馏相同的 AR-条件流图，但只需在相邻时间步之间用一次教师 ODE 步在线提供监督，无需预先计算并存储完整 PF-ODE 轨迹——既高效又易优化；进一步把流水线扩展到 Genie3 风格的 action-conditioned 世界模型 实验效果：在 frame-wise 2 步设定下，全面超越 SOTA 4 步 chunk-wise Causal Forcing：VBench Total +0.1、VBench Quality +0.3、VisionReward +0.335，同时首帧延迟降低 50%、Stage 2 训练成本降至约 1/4 批判点评：把蒸馏从 chunk-wise 4 步推进到 frame-wise 2 步，是实时交互式视频生成可用性上的关键一步——把瓶颈识别为「初始化」是非常贴切的诊断；但 1-2 步生成对教师 ODE 误差的放大效应、以及在更复杂 action 条件下的稳定性还需更多压力测试 2. Warp-as-History：把相机引起的形变直接转化为「相机扭曲 Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video | 上海交大, 上海 AI Lab | arXiv:2605.15182 关键词：相机控制·视频生成·零样本·伪历史·LoRA 微调 前序问题：相机可控视频生成已经很成熟，但现有方法普遍需要在大规模带相机标注的视频上做后训练（额外的 camera encoder、控制分支、注意力/位置编码改造）；training-free 方案则把代价转嫁到测试时优化或 denoising 时的额外 guidance，依然不便宜 本文贡献：提出 Warp-as-History：把相机引起的形变直接转化为「相机扭曲后的伪历史」，在 frozen 视频生成模型自带的「视觉历史」通路中喂进去——目标帧位置编码对齐、剔除没有有效观测来源的 token，无需训练或架构改动即可零样本服从相机轨迹；可选用一段相机标注视频做轻量 LoRA 微调进一步提升泛化能力 实验效果：在多个数据集上的实验显示：完全 training-free 即可让冻结视频生成模型获得不平凡的相机轨迹跟随能力；只用「一段」相机标注视频做 LoRA 微调，即可在未见视频上同时改善相机贴合度、画质与运动动态 批判点评：把相机可控问题视作「历史 warp」是一个非常优雅的视角，几乎不增加任何训练成本；但 zero-shot 能力依赖底模的「视觉历史」通路是否足够强，没有该通路的扩散视频模型迁移性可能受限；另外极端轨迹下的孔洞填充质量值得关注 3. ACE-LoRA：动态正则化框架 ACE-LoRA: Adaptive Orthogonal Decoupling for Continual Image Editing | 上海交大, vivo AI Lab | arXiv:2605.14948 关键词：持续学习·图像编辑·LoRA·正交解耦·CIE-Bench 前序问题：现有 SOTA 扩散模型靠参数高效微调（LoRA 等）适配各类图像编辑任务，但真实业务需要在不断到来的新任务上持续学习同时保留旧任务能力；图像编辑的持续学习问题至今几乎没人系统研究，灾难性遗忘问题严重 本文贡献：提出 ACE-LoRA 动态正则化框架：通过 Adaptive Orthogonal Decoupling 自动识别并正交化任务间干扰，再用 Rank-Invariant Historical Information Compression 解决持续更新中的可扩展性瓶颈；同时发布 CIE-Bench——业内首个面向图像编辑的持续学习评测基准 实验效果：在指令保真度、视觉真实感、抗遗忘鲁棒性上一致优于现有 baseline，建立了「图像编辑持续学习」这一子方向的标准方法+标准评测 批判点评：把「持续学习」首次正式带到图像编辑领域，问题设定和 benchmark 都非常务实；但 14 维基因式正交化的超参对任务序列分布的鲁棒性、以及面对几十个长尾编辑任务时压缩策略的极限，需要更长任务流的实测 4. RefDecoder：参考条件视频 VAE decoder RefDecoder: Enhancing Visual Generation with Conditional Video Decoding | University of Washington, UNC | arXiv:2605.15196 关键词：视频 VAE·参考条件 decoder·视频生成·即插即用·VBench 前序问题：主流 latent 视频扩散模型的 denoising 网络条件丰富，但 VAE decoder 几乎都是无条件的——这种结构性不对称导致细节流失、与输入参考图不一致，是当前视频生成「看起来糊糊的」的隐藏元凶 本文贡献：提出 RefDecoder 参考条件视频 VAE decoder：用一个轻量图像编码器把参考帧映射成细节丰富的高维 token，在 decoder 每个 upsampling stage 与去噪后的视频 latent token 共同处理（reference attention），让 decoder 也获得与 denoising 网络对等的条件信息 实验效果：在 Wan 2.1、VideoVAE+ 等多个 decoder backbone 上一致提升 PSNR 最多 +2.1dB（Inter4K / WebVid / Large Motion）；可直接热插拔进现有视频生成系统，无需额外微调，VBench I2V 上主体一致性、背景一致性、综合质量全面提升；天然泛化到风格迁移、视频编辑精修等任务 批判点评：这是一项「补条件」的低风险高收益工作，可即插即用是工程师最爱的属性；但 decoder 端注入参考可能在大幅运动场景下与 latent 表示冲突，长视频累积误差与 reference token 选择策略仍有优化空间 5. DiffusionOPD：多任务训练范式 DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models | 阿里 Wan Team, 复旦 | arXiv:2605.15055 关键词：扩散模型 RL·On-Policy 蒸馏·多任务·Wan Team·文生图 前序问题：强化学习是改进文生图扩散模型的强力工具，但现有方法大多局限于单任务优化——多任务联合 RL 受困于跨任务干扰和不平衡，级联 RL 又笨重且易遗忘 本文贡献：提出 DiffusionOPD 多任务训练范式：先独立训练任务专属 teacher，再沿学生自己的 rollout 轨迹做 Online Policy Distillation 把多 teacher 能力蒸馏到统一学生；理论上首次把 OPD 框架从离散 token 提升到连续状态 Markov 过程，给出闭式 per-step KL 目标，统一 SDE 与 ODE refinement，方差更低、泛化更好 实验效果：一致超越多奖励 RL 与级联 RL 基线，训练效率与最终性能两端均占优，在所有评测基准上达到 SOTA 批判点评：把 OPD 严格地搬上连续扩散是漂亮的理论延伸，多任务版本对落地非常有价值；但 teacher 数量增加后蒸馏的 token-level KL 是否仍稳定、teacher 与学生 capacity 失配时的下界，仍需更大规模实验 6. RAVEN：框架 RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO | 帝国理工 AGI Lab | arXiv:2605.15190 关键词：实时 AR 视频·一致性模型·CM-GRPO·训练-测试对齐·流式生成 前序问题：因果自回归视频扩散模型靠把过去内容外推未来 chunk 实现实时流式生成，蒸馏自高保真双向教师后已能少步推理；但训练时 history 分布与推理时实际 rollout 分布之间的 gap 一直限制长序列的生成质量 本文贡献：提出 RAVEN training-time test 框架：把每次自身 rollout 重打包为「干净历史端点 + 噪声去噪状态」交错序列，让训练注意力对齐推理时的外推方式，同时让下游 chunk loss 监督未来预测所依赖的历史表示；进一步提出 CM-GRPO，把 consistency 采样步重新表达为条件高斯转移，直接在该核上做在线 RL，避免了之前 flow-model RL 公式中的 Euler-Maruyama 辅助过程 实验效果：RAVEN 在质量、语义、动态度多维评测上超越近期因果视频蒸馏 baseline；CM-GRPO 与 RAVEN 组合后进一步提升性能 批判点评：把 training-test 不一致问题正面解决并配套 CM-GRPO 是组合拳；但 RAVEN 重打包对长序列内存占用的影响、CM-GRPO 在更复杂奖励上的稳定性，还需要在更大模型尺度上验证 7. SANA-WM：2.6B 参数原生面向 1 SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer | NVIDIA, MIT, 港科大 | arXiv:2605.15178 关键词：世界模型·分钟级视频·Hybrid Linear Attention·6-DoF 相机·开源 前序问题：一分钟级别的世界模型既要画质媲美 LingBot-World、HY-WorldPlay 这些产业级大模型，又要在算力、数据、推理硬件三方面都「能用得起」——目前几乎没有开源方案能同时做到 本文贡献：提出 SANA-WM：2.6B 参数原生面向 1 分钟视频生成的开源世界模型——(1) Hybrid Linear Attention 把 frame-wise Gated DeltaNet 与 softmax attention 混合，长上下文内存可控；(2) Dual-Branch Camera Control 保证 6-DoF 轨迹精确跟随；(3) 两阶段生成 + long-video refiner；(4) 鲁棒标注流水线从公开视频中提取 metric-scale 6-DoF 相机姿态作为动作标签 实验效果：仅用约 213K 公开视频片段、64 张 H100 训练 15 天，每个 60s 720p clip 单 GPU 即可生成；蒸馏量化版可在单卡 RTX 5090 上 NVFP4 量化下 34 秒生成 60s 720p；在 1 分钟世界模型 benchmark 上动作跟随精度强于现有开源 baseline，画质相当但吞吐高 36 倍 批判点评：把「分钟级世界模型」做到能在单张消费卡上跑动，是世界模型走向开发者手里的关键一步；但 1 分钟仍然依赖「stage-2 refiner」这一外置模块，端到端 1 分钟生成质量与商业闭源仍有差距 8. PDI-Bench：几何一致性量化框架 Quantitative Video World Model Evaluation for Geometric-Consistency | UCSD, 港科大等 | arXiv:2605.15185 关键词：视频世界模型·几何一致性·评测基准·3D 重建·物理推理 前序问题：生成视频模型越来越被当作隐式世界模型来研究，但「生成视频是否产生了物理合理的 3D 结构与运动」一直缺乏客观度量——现有评测要么靠人工打分要么靠学习式 grader，对几何失败的诊断力都很弱 本文贡献：提出 PDI-Bench（Perspective Distortion Index）几何一致性量化框架：先用 SAM 2、MegaSaM、CoTracker3 抽取物体级观测，单目重建到 3D 世界坐标，再算三类射影几何残差——尺度-深度对齐、3D 运动一致性、3D 结构刚性；配套 PDI-Dataset 覆盖多种压力测试场景 实验效果：在多个 SOTA 视频生成器上揭示了通用感知指标完全捕获不到的「几何特定失败模式」，为「物理基础视频生成 / 物理世界模型」的进展提供了可诊断信号 批判点评：把视频世界模型评测从「看起来对不对」推进到「几何上对不对」是必要的下一步，依托成熟 3D 工具链让指标可复现；但单目重建本身的误差对 PDI 指标的噪声有多大、对真实开放世界长尾场景的覆盖度，是后续要补的关键证据 趋势观察 实时交互视频生成进入 frame-wise 时代 — Causal Forcing++ 把少步 AR 视频从 chunk-wise 4 步压缩到 frame-wise 2 步，首帧延迟降一半；RAVEN 用 training-time test + CM-GRPO 直击 history 分布漂移——实时交互视频已经从「能动」进入「秒级响应」 相机控制从「重训」走向「零样本 + 一段视频微调」 — Warp-as-History 把相机条件转译为 frozen 模型自带的视觉历史通路，零样本即跟随；只用一段视频做 LoRA 即可泛化到未见素材——相机可控视频生成从「依赖大规模标注」滑向「轻数据即用」 VAE decoder 不再是哑终端 — RefDecoder 指出主流视频扩散模型 decoder 长期处于「无条件」状态，导致细节流失；用 reference attention 给 decoder 也加上条件，PSNR 直接 +2.1dB——decoder 端的条件化正成为视频生成的下一个低悬果实 世界模型走向消费级硬件 — SANA-WM 用 Hybrid Linear Attention + 量化在单卡 RTX 5090 上跑出 34 秒生成 60 秒 720p——分钟级世界模型第一次具备了「开发者本地可玩」的硬件包络 评测从感知质量转向几何/物理一致性 — PDI-Bench 把视频世界模型的考评从「看起来真不真」转到「几何上对不对」，借助成熟 3D 工具链给出射影几何残差——这预示着视频生成下一阶段的评测竞赛是「物理可解释性」 人工智能炼丹君 整理 | 2026-05-15 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-05-14|视频扩散从少步到任意步AnyFlow 今日 AIGC 论文速览 今日共 6 篇 · 视频扩散与推理加速 2 篇 · 图像生成与表征 2 篇 · 图像编辑与对齐评测 1 篇 · RL 后训练方法论 1 篇 重点论文标题列表 AnyFlow：——首个基于 flow map AsymFlow：rank-asymmetric ⚡ Qwen-Image-VAE-2.0：高压缩 VAE 套件 Edit-Compass：EditReward-Compass Orthrus：双视图框架 今日论文速览 1. AnyFlow：——首个基于 flow map AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation | 新加坡国立大学 Show Lab, MIT, NVIDIA | arXiv:2605.13724 关键词：视频扩散·Flow Map·On-Policy 蒸馏·Any-Step·推理加速 ⚠️ 前序问题：近一年的少步视频生成几乎被一致性蒸馏（Consistency Distillation）统治，4-8 步即可出图，但只要把采样步数从 4 加到 16/32 画质反而塌——CD 用一致性轨迹替换了原始 PF-ODE 轨迹，破坏了 ODE 采样在测试时的可扩展行为，无法服务「任意步数」推理需求 本文贡献：提出 AnyFlow——首个基于 flow map 的任意步数视频扩散蒸馏框架：(1) 把蒸馏目标从端点一致性映射 z_t→z_0 升级为流图过渡 z_t→z_r，让学生学会任意时间区间的跳跃；(2) Flow Map Backward Simulation 把完整 Euler rollout 拆为多段 shortcut，用 on-policy rollout 替代 off-policy 配对蒸馏，缓解少步采样的离散化误差和因果生成的 exposure bias 实验效果：在双向 DiT 与因果两类视频扩散骨干、1.3B 到 14B 全规模区间一致达到或超越 consistency baseline；当步数从 4 提升到 16/32 时性能不再退化、反而单调上升，重新恢复了 ODE 采样的 test-time scaling 优势 批判点评：把蒸馏目标从端点一致性升级到任意区间流图是范式级创新，FMBS 的 on-policy 反向模拟在视频域是首次系统化提出；但论文未公开 VBench/UCF-FVD 等具体数值，复现门槛在 1B-14B 教师 + 大规模 on-policy rollout，数据与算力两端都不低 2. AsymFlow：rank-asymmetric Asymmetric Flow Models | Stanford, ETH | arXiv:2605.12964 关键词：Flow Matching·像素扩散·非对称参数化·FLUX.2·文生图 ⚠️ 前序问题：高维像素空间下做 flow matching 速度预测时，模型必须建模与图像同维的高维噪声，即使数据本身有强低秩结构也只能用满秩参数化硬扛，导致像素扩散与潜空间模型间长期存在显著质量差距 本文贡献：提出 AsymFlow：rank-asymmetric 速度参数化——噪声预测限制在低秩子空间、数据预测保持满维，不改网络结构与训练/采样流程即可解析恢复完整速度；首次给出潜空间预训练→像素空间微调的可行路径，让 FLUX.2 klein 9B 的潜空间先验直接初始化像素生成 实验效果：ImageNet 256×256 取得 1.57 FID，大幅超越同类 DiT/JiT 像素扩散；从 FLUX.2 klein 9B 微调出的像素文生图模型在 HPSv3、DPG-Bench、GenEval 上全面超越其潜空间基模，主观真实感显著提升 批判点评：rank-asymmetric 视角直击像素扩散的本质瓶颈，无侵入式参数化是工程甜点；但低秩子空间的秩选择、与 FLUX.2 这种顶级模型的耦合是否过强、跨数据集泛化能力都还需更大规模验证 3. Qwen-Image-VAE-2.0：高压缩 VAE 套件 Qwen-Image-VAE-2.0 Technical Report | Alibaba Qwen Team | arXiv:2605.13565 关键词：图像 VAE·高压缩·文本渲染·扩散兼容·视觉分词器 ⚠️ 前序问题：高压缩比 VAE 在重建保真度和 diffusability 之间长期难以兼得——压得越狠下游 DiT 越难训，文本密集场景（文档、海报）的字符更是首当其冲糊掉 本文贡献：提出 Qwen-Image-VAE-2.0 高压缩 VAE 套件：架构上引入 Global Skip Connections + 扩展潜空间通道；训练上用十亿级图像 + 合成渲染引擎专项强化文本场景；潜空间用增强语义对齐策略让其更适合扩散建模；编解码器采用非对称 + attention-free 主干降低编码开销 实验效果：在公开重建基准上达到 SOTA；提出 OmniDoc-TokenBench 文档专项评测，在高压缩比下兼顾通用与文本场景；下游 DiT 实验显示其 diffusability 显著优于现有高压缩基线，收敛速度明显加快 批判点评：把 VAE 当成独立产品打磨——文档专项 benchmark + 文本渲染合成数据是务实的工程亮点；但相对其他高压缩 VAE 的提升幅度需等论文公开数值后比较，「diffusability」的量化定义仍偏经验 4. Edit-Compass：EditReward-Compass Edit-Compass & EditReward-Compass: A Unified Benchmark for Image Editing and Reward Modeling | 字节跳动 Doubao Team 等 | arXiv:2605.13062 关键词：图像编辑·Reward Model·多维评测·RL 对齐·Benchmark ⚠️ 前序问题：现有图像编辑 benchmark 难度不足、评测维度粗放，已无法区分前沿模型；与此同时图像编辑 RL 越来越依赖 reward model，但 reward model 评测仍停留在脱离实际 RL 场景的设定上，导致编辑模型与 reward model 都缺少可靠裁判 本文贡献：提出 Edit-Compass + EditReward-Compass 统一评测套件：前者含 2,388 条精标实例，覆盖世界知识推理、视觉推理、多图编辑等六级递进任务，采用结构化推理 + 细粒度 rubric 多维评分；后者含 2,251 对偏好对，模拟真实 RL 优化中的 reward 场景 实验效果：为前沿编辑模型提供了能拉开差距的多维难度梯度，配套的 reward model 评测能反映 RL 训练中 reward model 的真实表现，为后续编辑模型与 reward model 的迭代提供统一坐标系 批判点评：把「编辑能力」和「reward model 能力」两条评测线收编进同一套 benchmark 是踏实的基础工作；2,251 对偏好对的标注一致性、reward 评测对真实 RL 收益的预测力，是这类工作走向社区共识的关键门槛 5. Orthrus：双视图框架 Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion | Adobe Research, University of Oregon | arXiv:2605.12825 关键词：并行解码·扩散语言模型·KV Cache·推理加速·双视图 ⚠️ 前序问题：自回归 LLM 生成保真度高但串行解码慢，扩散语言模型可并行却质量退化、训练贵、收敛缺乏严格保证——视觉/多模态 token 生成场景同样面临「快」与「准」难以兼得 本文贡献：提出 Orthrus 双视图框架：在冻结的 AR LLM 上挂载一个轻量可训练扩散并行视图，两视图共用同一份高保真 KV Cache——AR 头负责 prefill 构建准确表征、扩散头负责并行解码；通过两视图共识机制保证无损推理，把扩散并行解码移植到 Transformer 几乎零侵入 实验效果：在保证完全等价生成（lossless）的前提下，相比纯自回归提供最高 7.8x 加速，KV Cache 内存仅增加 O(1)，参数增量极小；为视觉/多模态自回归 token 生成提供直接可用的并行加速路线 批判点评：把扩散当成 AR 的「并行外设」而不是替代品，借共识机制保留 AR 保真度，工程上很优雅；但 7.8x 加速属上限值，真实任务下并行步内的拒绝率与吞吐曲线值得进一步给出，扩散头训练成本也未充分披露 6. Beyond-GRPO：奖励分配原则 Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training | Meta | arXiv:2605.12483 关键词：LLM 后训练·GRPO·On-Policy 蒸馏·奖励密度·稀疏到稠密 ⚠️ 前序问题：在「可验证标注极其稀缺」的后训练场景下，主流做法（在部署模型本身上跑 GRPO）忽视了一个奖励密度原则：稀疏的序列级奖励应该用在能产生有效探索的强模型上、稠密的 token 级奖励才适合把行为压缩进小模型，这一直觉对生成模型的 RL 对齐同样关键 本文贡献：提出 Sparse-to-Dense 奖励分配原则：把宝贵的可验证数据先「上游」给强 teacher 跑 GRPO 做探索，再以稠密蒸馏的形式「下游」灌给小学生，最后在学生侧再补一段稀疏 RL；具体配方为 forward-KL warmup → OPD on-policy → 学生侧 GRPO 的三段桥 实验效果：在 Qwen3-1.7B 学生固定的前提下，先在 8B teacher 上 RL 再蒸馏全面优于直接在学生上 GRPO；学生侧后续 GRPO 把 MATH 从 75.4% 提升到 78.5%、比 replay baseline 高 2.8 分，AIME 端点也最强 批判点评：「奖励密度」的视角让 GRPO 与 OPD 不再对立而成同一光谱的两端，对资源紧张团队的实践指导价值很高；但结论建立在数学这一可验证任务上，对图像/多模态生成等弱验证任务能否平移仍待验证 趋势观察 视频扩散从「少步」走向「任意步」 — AnyFlow 把蒸馏目标从端点一致性升级到任意区间的 flow map，叠加 on-policy 反向模拟，让一个学生模型在 1/4/16/32 步上都呈现良性 scaling——少步视频生成第一次有了真正的「test-time 预算自由度」 像素扩散借势潜空间预训练 — AsymFlow 用 rank-asymmetric 速度参数化把高维噪声预测限制在低秩子空间，并首次跑通了「FLUX.2 klein 9B 潜空间→像素空间」的微调路径——像素扩散与潜空间扩散开始走向「初始化共享、后期分化」的新协作方式 VAE 不再是配角，而是产品 — Qwen-Image-VAE-2.0 把高压缩 VAE 当作独立产品打磨：Global Skip Connections + 扩展通道 + 文档专项 benchmark，承认了「VAE 决定 DiT 上限」的事实，VAE 进入「文本可读、扩散友好、推理便宜」的三维竞赛 编辑模型与 reward model 同台同尺 — Edit-Compass 把「图像编辑能力」和「reward model 能力」并入同一评测套件，并把 reward model 评测从脱节场景改造成贴合 RL 实战的偏好对——前沿编辑模型的 RL 对齐第一次有了配套的统一坐标系 稀疏-稠密奖励分配成为后训练新共识 — Beyond-GRPO 给出一条简单规则：稀缺可验证数据先在强 teacher 上做稀疏 RL，再以稠密蒸馏下沉到小学生，最后学生侧补稀疏 RL；这一原则同样适用于多模态生成模型的 reward 分配，正在成为下一代 alignment pipeline 的骨架 人工智能炼丹君 整理 | 2026-05-14

AIGC 每日速读|2026-05-13|INSET图像即词汇开启统一视觉生成新范式 今日 AIGC 论文速览 今日共 10 篇 · 统一视觉生成与编辑 3 篇 · 视频生成与叙事 2 篇 · 视觉分词与表征 2 篇 · 视频理解与推理 1 篇 · Agent 与训练方法论 2 篇 重点论文标题列表 INSET：将图像作为原生词汇无缝嵌入文本指令— Qwen-Image-2.0：全能图像生成基础模型 ⚡ DRoRAE：轻量级融合模块通过能量约束路由和增量 CausalCine：交互式自回归框架 ELF：在连续嵌入空间中基于连续时间 今日论文速览 1. INSET：将图像作为原生词汇无缝嵌入文本指令— INSET (Images iN SEnTences): Interleaved Instruction for Unified Visual Generation | MIT, ETH | arXiv:2605.12305 关键词：交错指令·统一视觉生成·图像词汇化·多图一致性·数据引擎 ⚠️ 前序问题：现有多模态语言模型已支持从多图指令生成图像，但在处理复杂交错指令时性能急剧下降——根本原因在于当前范式中图像和文本结构性分离，模型必须跨越困难的长距离依赖才能将描述与视觉目标正确匹配，导致多图一致性和精确绑定失败 本文贡献：提出 INSET（Images iN SEnTences），将图像作为原生词汇无缝嵌入文本指令——直接把视觉特征放在对应语义槽位，利用 Transformer 的上下文局部性替代长距离依赖实现精确对象绑定；同时设计可扩展数据引擎，借助 VLM 和 LLM 从标准图像/视频数据集合成 1500 万高质量交错样本 实验效果：在 InterleaveBench 上显著超越 SOTA，多图一致性和文本对齐方面领先，且随输入复杂度增加性能差距进一步扩大；架构天然扩展支持多模态图像编辑，把视觉内容作为指令一部分实现高度表达性的视觉操控 批判点评：图像词汇化的核心直觉新颖——把多图绑定从长距离依赖问题转化为局部上下文问题是范式级改变；但 1500 万合成数据的复现成本极高，模型与数据是否开源将直接决定其影响力，且论文未给出 FLOPS/推理延迟的对比 2. Qwen-Image-2.0：全能图像生成基础模型 Qwen-Image-2.0 Technical Report | Alibaba Qwen Team | arXiv:2605.10730 关键词：图像生成·文本渲染·多语言排版·扩散Transformer·统一编辑 ⚠️ 前序问题：现有图像生成模型在超长文本渲染、多语言排版、高分辨率写实、鲁棒指令遵循和高效部署方面仍面临挑战，尤其在文字密集和组合复杂场景中表现不足 本文贡献：提出 Qwen-Image-2.0 全能图像生成基础模型：将 Qwen3-VL 作为条件编码器与多模态扩散 Transformer 结合，支持联合条件-目标建模；支持 1K token 长度指令生成文字密集内容（幻灯片、海报、信息图、漫画），显著提升多语言文字保真度和排版质量 实验效果：在生成和编辑任务上大幅超越之前的 Qwen-Image 模型，在写实感、细节丰富度、纹理真实性和光照一致性方面均有显著提升 批判点评：统一生成和编辑的全能架构令人印象深刻，但技术报告形式缺乏与开放社区模型的公平对比；1K token 长指令的实际推理成本和延迟未详述 3. DRoRAE：轻量级融合模块通过能量约束路由和增量 Beyond the Last Layer: Multi-Layer Representation Fusion for Visual Tokenization | Peking University, Meituan, Tsinghua University | arXiv:2605.10780 关键词：视觉分词器·多层融合·表征自编码·缩放律·图像生成 ⚠️ 前序问题：表征自编码器（Representation AE）复用冻结预训练视觉编码器作为视觉分词器，但现有方法仅提取最后一层特征，丢弃了中间层分布的丰富层次化信息——低层视觉细节在最后一层仅以衰减残差形式存活 本文贡献：提出 DRoRAE（深度路由表征自编码器）：轻量级融合模块通过能量约束路由和增量校正自适应聚合所有编码器层；三阶段解耦训练策略先在冻结解码器的隐式分布约束下学习融合，再微调解码器充分利用丰富表征 实验效果：在 ImageNet-256 上将 rFID 从 0.57 降至 0.29，生成 FID 从 1.74 降至 1.65；发现融合容量与重建质量间的对数线性缩放律（R²=0.86） 批判点评：多层融合的思路简洁有效，对数线性缩放律的发现为视觉分词器提供了新的可预测扩展维度；但融合模块的额外计算开销和对不同编码器架构的泛化性需更多验证 4. CausalCine：交互式自回归框架 CausalCine: Real-Time Autoregressive Generation for Multi-Shot Video Narratives | HKUST, Ant Group, SJTU | arXiv:2605.12496 关键词：多镜头视频·自回归生成·实时推理·记忆路由·镜头转换 ⚠️ 前序问题：自回归视频生成以实时开放式合成为目标，但电影叙事不是无限延伸单一场景——它需要事件演进、视角切换和镜头边界。现有 AR 模型将长序列视为延伸单镜头，导致长推演中运动停滞和语义漂移 本文贡献：提出 CausalCine 交互式自回归框架：将多镜头视频生成转化为在线导演过程；先在原生多镜头序列上训练因果基础模型学习复杂镜头转换先验，再提出 Content-Aware Memory Routing (CAMR) 按注意力相关性动态检索历史 KV 条目，最后蒸馏为少步实时生成器 实验效果：显著超越自回归基线，接近双向模型能力，同时解锁因果生成的流式交互特性，支持动态 prompt 实时切换 批判点评：多镜头叙事的问题设定高度实用，CAMR 的内容感知路由设计优雅；但蒸馏后的少步生成器是否保持镜头转换的多样性存疑；训练数据中多镜头标注的获取成本未讨论 5. ELF：在连续嵌入空间中基于连续时间 ELF: Embedded Language Flows | MIT (Kaiming He 团队) | arXiv:2605.10938 关键词：连续扩散语言模型·Flow Matching·嵌入空间·CFG·文本生成 ⚠️ 前序问题：扩散/流模型在连续数据（图像、视频）生成中占主导地位，但应用于语言建模时，当前领先的扩散语言模型（DLM）仍主要操作离散 token，连续 DLM 尚未证明有效性 本文贡献：提出 ELF（Embedded Language Flows）：在连续嵌入空间中基于连续时间 Flow Matching 的扩散模型，在最终时间步通过共享权重网络映射到离散 token；这一公式化使得从图像扩散模型迁移成熟技术（如 CFG）变得直接 实验效果：大幅超越领先的离散和连续 DLM，以更少的采样步骤实现更好的生成质量，证明连续 DLM 可以通过最小适配有效工作 批判点评：Kaiming He 团队的工作一贯简洁有力——将连续流匹配应用于语言的思路开创性地打通了图像和语言扩散的技术栈；但语言的离散本质是否在连续空间中引入不必要的量化误差值得深入分析 6. PhyGround：标准化物理推理基准 PhyGround: Benchmarking Physical Reasoning in Generative World Models | Northeastern University, ETH | arXiv:2605.10806 关键词：物理推理基准·世界模型·视频生成评估·VLM评判器·人类评估 ⚠️ 前序问题：生成式世界模型被期望捕获真实世界物理规则，但评估生成视频是否真正遵循物理定律仍极具挑战——现有基准存在粗粒度评估掩盖逐律失败、标注偏见和自动评估器物理感知不足等问题 本文贡献：提出 PhyGround 标准化物理推理基准：250 个精选 prompt 配有预期物理结果，覆盖固体力学、流体动力学、光学等 13 条物理定律的分类学；通过社会科学实验设计执行 459 名标注者大规模人类评估；发布 PhyJudge-9B 物理专用 VLM 评判器 实验效果：PhyJudge-9B 相对偏差仅 3.3%（vs Gemini-3.1-Pro 的 16.6%）；人类标注达到高分半相关性（Spearman's ρ > 0.90），揭示当前视频生成器在视觉逼真和物理推理间的持续鸿沟 批判点评：评估框架设计严谨（借鉴社会科学实验方法论），PhyJudge-9B 的开源贡献显著；但 250 个 prompt 的规模可能不足以覆盖开放世界物理场景的长尾分布 7. GridProbe：无训练后验探测推理范式 GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs | MIT | arXiv:2605.10762 关键词：长视频理解·自适应计算·帧选择·后验探测·VLM推理 ⚠️ 前序问题：长视频 VLM 理解被单次整体前向传播瓶颈化——数千帧的二次注意力成本高昂；现有帧选择方法依赖编码器空间相似度，在推理密集型查询（否定、跨帧计数、全局总结）上失败 本文贡献：提出 GridProbe 无训练后验探测推理范式：将帧排列为 K×K 网格，执行轻量行列探测，用冻结 VLM 自身推理能力在答案空间中评分证据，外积生成可解释重要性图；提出 Shape-Adaptive Selection 闭式规则以每问题自适应帧预算替代固定预算 实验效果：在 Video-MME-v2 上匹配整体基线精度（差 1.6pp）的同时减少 3.36x TFLOPs；在 LongVideoBench 上 Pareto 主导基线（+0.9pp at 0.35x compute）；2B 选择器 + 8B QA 组合在 0.52x 计算量下提升 +4.0pp 批判点评：后验探测的思路巧妙——用模型自身推理能力选帧替代外部相似度；Shape-Adaptive Selection 的闭式解优雅实用；但网格排列假设可能在超长视频中引入信息损失 8. AlphaGRPO：将 GRPO 应用于 AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward | HKU | arXiv:2605.12495 关键词：多模态生成·GRPO·可验证奖励·自反思·统一模型 ⚠️ 前序问题：统一多模态模型（UMM）缺乏有效的强化学习对齐方案——多模态生成场景中提供稳定监督信号极具挑战，现有整体标量奖励无法捕捉多维语义和质量要求 本文贡献：提出 AlphaGRPO：将 GRPO 应用于 AR-Diffusion UMM，无需额外冷启动阶段；引入分解可验证奖励（DVReward）——LLM 将复杂请求分解为原子可验证语义/质量问题，由通用 MLLM 评估提供可靠可解释反馈；解锁推理型文生图和自反思精炼能力 实验效果：在 GenEval、TIIF-Bench、DPG-Bench、WISE 等多模态生成基准上取得稳健提升，同时在未训练的编辑任务（GEdit）上也获得显著增益 批判点评：分解可验证奖励的设计思路与 Auto-Rubric as Reward 异曲同工，自反思精炼是引人注目的涌现能力；但 DVReward 的可靠性仍受限于评估用 MLLM 的能力上限 9. Shepherd：函数式编程模型 Shepherd: A Runtime Substrate Empowering Meta-Agents with a Formalized Execution Trace | Stanford, META | arXiv:2605.10913 关键词：Meta-Agent·执行追踪·分叉重放·函数式编程·Agent基础设施 ⚠️ 前序问题：Meta-Agent 对目标 Agent 的操作缺乏形式化框架——无法有效记录、分叉和重放 Agent 执行状态，限制了运行时干预、反事实优化和训练等高级能力 本文贡献：提出 Shepherd 函数式编程模型：将 meta-agent 操作形式化为函数（核心操作在 Lean 中机械化），以 Git-like 执行追踪记录每次交互为类型化事件，支持任意状态分叉和重放；进程+文件系统 fork 速度比 Docker 快 5 倍，重放时 prompt-cache 复用率 >95% 实验效果：运行时干预将结对编程通过率从 28.8% 提升至 54.7%；反事实优化在四个基准上领先最多 11 分且墙钟时间减少 58%；Tree-RL 训练在 TerminalBench-2 上从 34.2% 提升至 39.4% 批判点评：将 Agent 执行形式化为可分叉追踪的系统设计前沿且实用，Git-like 语义直观易理解；但 Lean 形式化的学习曲线和实际部署复杂度可能限制采用 10. On-Policy Distillation：系统实证研究 OPD/OPSD The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes | MIT, ETH | arXiv:2605.11182 关键词：在策略蒸馏·自蒸馏·LLM后训练·失败分析·知识蒸馏 ⚠️ 前序问题：在策略蒸馏（OPD）和在策略自蒸馏（OPSD）作为 LLM 后训练方法前景广阔，但现有结果不一致——有时有效有时退化，何时有效、何时失败及其原因不清楚 本文贡献：系统实证研究 OPD/OPSD 的成功与失败条件，识别三种失败机制：1）teacher 条件化在 student 前缀上的分布错配；2）有偏 TopK reverse-KL 梯度的优化不稳定；3）OPSD 特有的实例特定特权信息缺失问题；提出 stop-gradient TopK、RLVR-adapted teacher 和 SFT-stabilized student 等修复方案 实验效果：为 OPD/OPSD 建立系统性指导：数学推理中对 teacher 选择和 loss 形式高度敏感，系统提示内化场景中 OPSD 有效 批判点评：实证分析全面深入，三种失败机制的识别为该领域提供了重要的实践指导；修复方案虽有效但增加了训练复杂度 趋势观察 统一生成范式成熟化 — INSET 和 Qwen-Image-2.0 分别从交错指令和全能框架角度推进统一视觉生成——前者将图像提升为文本词汇实现精确绑定，后者通过 VLM+MDT 实现生成/编辑一体化，标志着统一生成从概念验证走向工程化 自回归视频走向电影叙事 — CausalCine 首次将多镜头叙事引入自回归视频生成，通过内容感知记忆路由和少步蒸馏实现实时交互导演——AR 视频不再局限于单镜头延伸，开始具备电影级叙事能力 连续扩散模型跨域迁移 — ELF 证明连续 Flow Matching 可以有效用于语言建模，DRoRAE 发现视觉分词器的对数线性缩放律——扩散/流模型的核心技术正在跨越模态边界寻找新的应用空间 物理推理成为生成质量新维度 — PhyGround 构建了首个标准化物理推理基准并开源 PhyJudge-9B，揭示当前视频生成器「看起来真实但物理错误」的系统性问题——物理一致性正从加分项变为硬性要求 RL 对齐驱动生成自反思 — AlphaGRPO 通过分解可验证奖励在 UMM 上解锁了自反思精炼能力——模型不仅能生成，还能自主诊断和修正对齐失败，预示着生成模型将具备更强的自我改进能力 人工智能炼丹君 整理 | 2026-05-13

AIGC 每日速读|2026-05-12|Forcing-KV 视频扩散2.82倍加速突破实时 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与加速 4 篇 · 图像生成与超分 2 篇 · 生成对齐与评估 2 篇 · 视频理解 1 篇 · 语音合成 1 篇 重点论文标题列表 Forcing-KV：混合 KV cache 压缩策略 TIE：一种即插即用的区间感知 RoPE SWIFT：无训练框架 Unison：统一框架 Auto-Rubric as Reward：将 VLM 内隐偏好知识外化为 今日论文速览 1. Forcing-KV：混合 KV cache 压缩策略 Forcing-KV: Hybrid KV Cache Compression for Efficient Autoregressive Video Diffusion Models | Nvidia, MIT, ETH Zurich, ZJU | arXiv:2605.09681 关键词：KV Cache压缩·自回归视频扩散·注意力头特化·流式视频生成·推理加速 前序问题：自回归视频扩散模型（如 Self Forcing）实现了流式长视频生成，但历史帧的 KV cache 冗余导致注意力复杂度爆炸和显存瓶颈，严重限制可扩展性 本文贡献：提出 Forcing-KV 混合 KV cache 压缩策略：发现注意力头具有稳定的功能特化（静态头负责跨 chunk 过渡和帧内保真，动态头负责帧间运动与一致性），对静态头执行结构化剪枝，对动态头执行基于片段相似度的动态剪枝 实验效果：单卡 H200 达到 29+ FPS 并减少 30% cache 显存；在 LongLive 和 Self Forcing 上分别获得 1.35x 和 1.50x 加速（480P），1080P 场景加速比达 2.82x 批判点评：注意力头功能特化的发现颇具洞察，但实验仅在两个 AR 视频扩散模型上验证，是否推广到 CogVideoX 等非 AR 架构有待检验；静态/动态头的划分策略对新架构是否仍然成立存疑 2. TIE：一种即插即用的区间感知 RoPE TIE: Time Interval Encoding for Video Generation over Events | University of Science and Technology of China, Fudan University | arXiv:2605.10543 关键词：时间区间编码·多事件视频生成·RoPE·DiT·时间控制 前序问题：现有视频生成器将时间表征为离散点（点式位置编码），无法表示时间区间和重叠事件——68% 的通用视频片段和 99% 的机器人/游戏片段包含事件重叠，但多事件生成器仍假设单一活跃 prompt 本文贡献：提出 Time Interval Encoding (TIE)，一种即插即用的区间感知 RoPE 泛化方案，将时间区间提升为 DiT 交叉注意力的一等原语；基于时间可积性和持续时间不变性两个原则推导出高效闭式 sinc 解 实验效果：在 OmniEvents 数据集上将人工验证的时间约束满足率从 77.34% 提升至 96.03%，时间边界误差从 0.261s 降至 0.073s，同时保持视觉质量不损 批判点评：理论推导优雅（sinc 解的闭式形式），但区间编码的假设依赖均匀核，非均匀时间分布场景的鲁棒性需进一步验证；数据集规模和事件复杂度有限 3. SWIFT：无训练框架 SWIFT: Prompt-Adaptive Memory for Efficient Interactive Long Video Generation | University of Science and Technology of China, Fudan University, Georgia Institute of Technology | arXiv:2605.09442 关键词：长视频生成·语义切换·无训练·自适应记忆·流式推理 前序问题：流式长视频生成中的连续语义切换需要自适应记忆保持视觉连贯性，但现有方法在 prompt 边界重建缓存导致冗余计算，固定显存预算无法灵活适配语义变化 本文贡献：提出 SWIFT（Semantic Windowing and Injection for Flexible Transitions）无训练框架：引入语义注入缓存增强而非重建记忆，逐头语义注入使每个注意力头按视频状态对齐度接收更新，自适应动态窗口按 prompt 阶段分配时间记忆 实验效果：在保持生成质量的同时，单卡 H100 上达到 22.6 FPS，为多 prompt 长视频生成建立了显著更高效的方案 批判点评：无训练方案的通用性令人印象深刻，但逐头注入的语义对齐度计算本身可能引入延迟；仅在因果视频扩散模型上验证，对双向注意力架构的适用性存疑 4. Unison：统一框架 Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation | Wuhan University, Westlake University | arXiv:2605.08729 关键词：音视频生成·多模态协调·语音合成·音效生成·人物视频 前序问题：人物视频中的动作、语音和音效具有异质时序特征，联合生成时各模态难以保持一致对齐，导致运动-语音-环境音之间出现明显不匹配 本文贡献：提出 Unison 统一框架：音频流内通过语义引导的协调策略解耦语音与音效生成（双向音频交叉注意力+语义条件门控），跨模态通过双向交叉模态 forcing 策略让更干净的模态引导更噪声的模态，配合渐进稳定策略 实验效果：在音频感知质量和跨模态同步性两方面均达到 SOTA，有效缓解了语音主导问题并增强了声学清晰度 批判点评：多模态协调机制设计精巧，但「更干净模态引导更噪声模态」的假设在实际复杂场景中不一定成立；人物视频数据集的多样性可能限制泛化能力 5. Auto-Rubric as Reward：将 VLM 内隐偏好知识外化为 Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria | Nanyang Technological University, Ant Group, MMLab, CUHK | arXiv:2605.08354 关键词：奖励建模·RLHF·评分准则·文生图对齐·可解释AI 前序问题：多模态生成模型的 RLHF 对齐将人类多维判断压缩为标量/成对标签，丢失了组合结构化偏好，导致奖励 hacking 和不可解释性 本文贡献：提出 Auto-Rubric as Reward (ARR)：将 VLM 内隐偏好知识外化为 prompt 特定的评分准则（rubric），将整体意图分解为独立可验证的质量维度；进一步提出 Rubric Policy Optimization (RPO) 将多维评估蒸馏为稳健的二元奖励 实验效果：在文生图和图片编辑基准上超越成对奖励模型和 VLM 裁判，证明瓶颈不在知识缺失而在缺乏分解接口 批判点评：将隐式偏好显式化为 rubric 的思路新颖且可解释性强，但 rubric 生成依赖 VLM 质量——若 VLM 本身存在偏见则 rubric 会继承；RPO 的二元奖励简化是否在高维偏好空间中信息损失过大值得探讨 6. SMFSR：保持噪声起始点 Noise-Started One-Step Real-World Super-Resolution via LR-Conditioned SplitMeanFlow and GAN Refinement | Nanjing University of Science and Technology, ETH Zurich | arXiv:2605.09328 关键词：真实超分·单步推理·流匹配蒸馏·GAN精炼·噪声起始 前序问题：扩散模型真实超分面临效率-质量权衡：多步方法质量好但慢，单步方法用直接 LR→HR 映射替代噪声起始过程从而削弱随机性，限制了真实纹理合成能力 本文贡献：提出 SMFSR：保持噪声起始点+学习以 LR 为条件的直接噪声到 HR 映射；Interval Splitting Consistency 将多步轨迹蒸馏为单步平均速度预测；GAN 精炼阶段（DINOv3 判别器+变分分数蒸馏）补偿渐进精炼的缺失 实验效果：在单步扩散超分方法中达到 SOTA 感知质量，保持快速单步推理的同时实现逼真的纹理细节合成 批判点评：噪声起始+单步映射的设计巧妙地兼顾了多样性和效率，但 GAN 精炼阶段引入的额外训练成本和模式坍塌风险未充分讨论；DINOv3 判别器的选择缺乏消融对比 7. ExtraVAR：无训练策略 ExtraVAR: Stage-Aware RoPE Remapping for Resolution Extrapolation in Visual Autoregressive Models | Tsinghua University | arXiv:2605.10045 关键词：视觉自回归·分辨率外推·RoPE重映射·无训练·注意力校准 前序问题：Visual Autoregressive（VAR）模型训练分辨率固定，直接外推到更高分辨率会出现三种失败模式：全局重复、局部重复和细节退化——根因是频段-阶段错配 本文贡献：提出 Stage-Aware RoPE Remapping 无训练策略：为每个频段分配阶段特定的重映射规则，联合抑制三种失败模式；进一步提出 Entropy-Driven Adaptive Attention Calibration，通过分辨率无关的归一化熵量化注意力分散度并生成逐头缩放因子 实验效果：在结构连贯性和细节保真度上一致优于现有分辨率外推方法，无需额外训练即可在 VAR 模型上实现高分辨率图像生成 批判点评：对 VAR 生成过程中频段-阶段关系的分析深入且自洽，但无训练方法的质量上限受限于原始模型的表征能力；熵驱动校准的闭式解依赖于注意力分布的特定假设 8. OZ-TAL：在线零样本时序动作定位 OZ-TAL: Online Zero-Shot Temporal Action Localization | Harbin Institute of Technology | arXiv:2605.09976 关键词：零样本·在线动作定位·视觉语言模型·无训练·时序定位 前序问题：在线时序动作定位方法通常在特定领域训练，面对未见动作时泛化能力有限，无法适应开放世界中任意视频流的实时动作检测 本文贡献：提出在线零样本时序动作定位（OZ-TAL）新任务和无训练框架：利用现成视觉语言模型（VLM），引入额外机制增强视觉表征并缓解 VLM 固有偏差，在流式视频中检测从未见过的动作 实验效果：在 THUMOS14 和 ActivityNet-1.3 上建立 OZ-TAL 基准，在离线和在线零样本设置下均大幅超越现有 SOTA 批判点评：零样本+在线检测的问题设定有实际价值，但无训练框架对 VLM 能力高度依赖——VLM 的时序理解弱点可能成为瓶颈；基准设置仍较为受限 9. WorldReasonBench：将视频生成评估重构为世界状态预测任务 WorldReasonBench: Human-Aligned Stress Testing of Video Generators as Future World-State Predictors | University of Waterloo, MBZUAI | arXiv:2605.10434 关键词：视频生成评估·世界模型·推理基准·状态预测·奖励模型 前序问题：视频生成器被视为「世界模拟器」，但缺乏直接测试模型能否推理世界状态演化的基准——视频可以视觉逼真但物理/因果/信息一致性完全错误 本文贡献：提出 WorldReasonBench：将视频生成评估重构为世界状态预测任务（初始状态+动作→未来视频），包含 436 个结构化测试用例覆盖 4 个推理维度和 22 个子类别；提出双重评估方法论（过程感知推理验证+多维质量评估）和 WorldRewardBench（~6K 专家标注偏好对） 实验效果：揭示当前视频生成器在视觉逼真与世界推理之间存在持续鸿沟：视频可以看起来令人信服但在动力学、因果性或信息保存方面失败 批判点评：评估框架设计系统全面，但 436 个测试用例的规模可能不足以覆盖开放世界的复杂性；「世界推理」的定义边界模糊——部分子类别更接近常识推理而非物理模拟 10. GibbsTTS：动力学最优调度器 Kinetic-Optimal Scheduling with Moment Correction for Metric-Induced Discrete Flow Matching in Zero-Shot Text-to-Speech | The University of Tokyo | arXiv:2605.09386 关键词：零样本TTS·离散流匹配·动力学最优调度·CTMC·语音合成 前序问题：度量诱导离散流匹配（MI-DFM）利用 token-latent 几何进行离散生成，但受限于启发式调度器需要超参搜索和一阶 CTMC 求解器的有限步路径跟踪误差 本文贡献：推导出动力学最优调度器（训练无关，以恒定 Fisher-Rao 速度遍历概率路径），并引入有限步矩校正调整跳转概率同时保持跳转目标分布不变；构建 GibbsTTS 零样本语音合成系统 实验效果：在统一架构和大规模数据集的控制对比中，GibbsTTS 达到最佳客观自然度且在主观评估中优于掩码离散生成基线；说话人相似度在四个测试集中三个排第一 批判点评：动力学最优调度的理论推导严谨（Fisher-Rao 恒速）且无需额外训练，但 codec-based TTS 的 token 离散化本身引入的信息损失是否被该方法放大未讨论 趋势观察 KV Cache 压缩从 LLM 迁移到视频扩散 — Forcing-KV 证明了注意力头功能特化在视频扩散中同样成立，混合剪枝策略为 AR 视频模型开辟了 1080P 实时生成的路径。LLM 加速技巧向视觉生成的系统性迁移正成为趋势。 时间控制从离散点走向连续区间 — TIE 将 RoPE 从时间点泛化到时间区间，使多事件重叠可被直接表示。这标志着视频生成对时间维度的建模精度正从帧级跃迁到事件级。 无训练方法的崛起与边界 — SWIFT、ExtraVAR 和 OZ-TAL 均采用无训练范式，通过精巧的注意力操作或外部 VLM 实现新能力。无训练方法的共同局限在于受限于基础模型的表征天花板。 奖励建模从隐式走向可解释分解 — ARR 将 RLHF 的黑盒偏好分解为可验证的 rubric 维度，WorldReasonBench 将视频评估分解为 22 个推理子类别——结构化、可解释的评估正在替代标量评分。 单步生成的效率-质量帕累托前沿推进 — SMFSR 通过保持噪声起始+流匹配蒸馏+GAN 精炼，在单步推理中逼近多步质量。单步生成方法正在系统性地补全其相对于多步方法的各项短板。 人工智能炼丹君 整理 | 2026-05-12 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-05-11|Cola DLM 扩散语言模型挑战自回归范式 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与渲染 3 篇 · 扩散模型对齐与RL 2 篇 · 推理加速与蒸馏 2 篇 · 评测基准与奖励模型 2 篇 · 医学视频编辑 1 篇 重点论文标题列表 Relit-LiVE：无需相机位姿的物理一致视频重光照 MARBLE：多维奖励平衡的扩散模型强化学习 HSA：异构步数分配加速DiT视频生成 VURB：视频理解奖励模型的鲁棒基准 ReasonEdit：可解释图像编辑评估 今日论文速览 1. Relit-LiVE：无需相机位姿的物理一致视频重光照 Relit-LiVE: Relight Video by Jointly Learning Environment Video | ETH | arXiv:2605.06658 关键词：视频重光照 · 视频扩散 · 环境贴图预测 · 内在分解 · 神经渲染 前序问题：现有视频重光照范式依赖精确的内在分解（albedo/normal/shading），但真实视频的内在分解高度不可靠，导致重光照结果出现外观失真、材质破损和时序伪影累积 本文贡献：提出 Relit-LiVE，通过引入原始参考图像恢复内在分解中丢失的关键场景线索，并首创环境视频预测公式，在单次扩散过程中同时生成重光照视频和逐帧环境贴图 实验效果：在合成和真实场景基准上均一致优于SOTA视频重光照和神经渲染方法，支持场景级渲染、材质编辑、物体插入和流式视频重光照等下游应用 批判点评：联合预测环境贴图的方式优雅地避开了内在分解的瓶颈，但环境视频预测本身的精度上限取决于扩散模型的几何理解能力；流式重光照的实时性指标未详细报告 2. MARBLE：多维奖励平衡的扩散模型强化学习 MARBLE: Multi-Aspect Reward Balance for Diffusion RL | ETH | arXiv:2605.06507 关键词：扩散模型RL · 多奖励对齐 · 梯度平衡 · 二次规划 · RLHF 前序问题：扩散模型多奖励对齐中，加权求和方案因样本级别不匹配导致梯度互相稀释——大多数 rollout 仅对特定奖励维度有信息量，对其他维度无关，加权聚合丢失了这种差异性 本文贡献：提出 MARBLE 梯度空间优化框架，为每个奖励维度维护独立优势估计器并计算逐奖励策略梯度，通过求解二次规划问题将多维梯度协调为单一更新方向，无需人工调权重 实验效果：在 SD3.5 Medium + 5 个奖励维度上同时提升全部指标，将加权求和方案中最差维度的梯度余弦从80%批次为负扭转为持续正值，训练速度保持基线的 0.97 倍 批判点评：QP 求解将多奖励冲突显式化处理是优雅的，但 5 维奖励的结论能否推广到更多维度（如10+）需验证；EMA 平滑引入的额外超参数可能增加调优成本 3. HSA：异构步数分配加速DiT视频生成 Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation | Johns Hopkins University | arXiv:2605.06892 关键词：DiT加速 · 异构步数分配 · KV-cache · 视频生成 · 无训练推理 前序问题：DiT 视频生成标准推理对每个 token 均匀施加相同去噪步数，但人类视觉忽略大量冗余运动，均匀分配造成巨大计算浪费 本文贡献：提出 HSA（Heterogeneous Step Allocation），基于 token 速度动态为不同时空 token 分配不同去噪步数，通过 KV-cache 同步机制和缓存 Euler 更新实现无训练推理加速 实验效果：在 Wan-2 和 LTX-2 模型的 T2V/I2V 任务上显著优于现有缓存方法，在 50% 和 25% 计算预算下仍保持结构完整性和生成质量，无需离线 profiling 批判点评：基于速度动态的 token 重要性判断简单高效，但速度指标能否准确捕获所有视觉显著性值得商榷；在极端加速（如 25% 预算）下的长视频质量退化模式需要更多分析 4. VURB：视频理解奖励模型的鲁棒基准 Video Understanding Reward Modeling: A Robust Benchmark and Performant Reward Models | PKU / ByteDance | arXiv:2605.07872 关键词：视频奖励模型 · 偏好学习 · CoT推理 · 视频理解 · 基准测试 前序问题：多模态奖励模型在文本和图像领域进展迅速，但视频理解方向的奖励建模严重受限于缺乏鲁棒的评测基准和高质量偏好数据 本文贡献：提出 VURB 基准（2,100 偏好对 + 长链推理痕迹）和 VUP-35K 全自动偏好数据集，训练出 VideoDRM（判别式）和 VideoGRM（生成式）两种视频奖励模型 实验效果：两种奖励模型在 VURB 和 VideoRewardBench 上均达到 SOTA，VUP-35K 数据同时提升奖励性能和模型推理能力，best-of-N 测试时缩放显著增益 批判点评：统一框架覆盖了基准设计、数据构建和模型训练，但 VURB 偏好对数量（2,100）相对有限；VUP-35K 全自动构建的偏好质量上限取决于标注模型的视频理解能力 5. ReasonEdit：可解释图像编辑评估 ReasonEdit: Towards Interpretable Image Editing Evaluation via Reinforcement Learning | SJTU / UESTC | arXiv:2605.07477 关键词：图像编辑评估 · CoT推理 · 奖励模型 · GRPO · 可解释AI 前序问题：现有文本引导图像编辑（TIE）评估方法大多依赖标量分数缺乏可解释性，主要原因是缺少高质量的 TIE 解释数据集和有效的奖励模型来训练可解释评估器 本文贡献：构建 ReasonEdit-22K 数据集（22K 编辑图 + 113K CoT 样本 + 1.3M 人类判断），提出 RE-Reward 奖励模型和基于 GRPO 训练的可解释评估模型 ReasonEdit 实验效果：在多个公开基准上与人类偏好对齐度优于现有方法，能生成高质量可解释评估文本，实现更透明可信的图像编辑评估 批判点评：首个将 CoT 推理与奖励模型结合到图像编辑评估的工作，数据规模可观（1.3M 人类判断）；但可解释性的评估本身就是主观的，"逻辑性/准确性/有用性"三维度的标注一致性需关注 6. CDM：连续时间分布匹配蒸馏 Continuous-Time Distribution Matching for Few-Step Diffusion Distillation | Alibaba / Nankai | arXiv:2605.06376 关键词：蒸馏加速 · 分布匹配 · 连续时间 · Flow Matching · 少步生成 前序问题：DMD 蒸馏在稀疏离散时间步上做分布匹配，加上反向 KL 散度的模式寻求特性，容易产生视觉伪影和过度平滑输出，通常需要 GAN 或奖励模型等复杂辅助模块来恢复保真度 本文贡献：将 DMD 框架从离散锚定首次迁移到连续优化，提出动态连续调度（任意轨迹点分布匹配）和连续时间对齐目标（主动偏离轨迹匹配），无需 GAN 或奖励模型等复杂辅助模块 实验效果：在 SD3-Medium 和 Longcat-Image 上展示了高度竞争力的少步生成视觉保真度，代码已开源 批判点评：连续时间优化思路自然且优雅，有效弥补了 DMD 离散锚定的根本缺陷；但连续调度增加了采样复杂度，实际训练时间和显存开销的对比数据不够充分 7. CASCADE：上下文感知的推测解码加速图像生成 CASCADE: Context-Aware Relaxation for Speculative Image Decoding | UIUC / Qualcomm | arXiv:2605.07230 关键词：自回归图像生成 · 推测解码 · 树搜索 · 接受放松 · 推理加速 前序问题：自回归图像生成计算密集且缓慢，现有推测解码在图像域无法实现文本域那样的效率提升，核心瓶颈是目标模型在图像生成时不确定性高导致草稿 token 拒绝率高 本文贡献：发现目标模型在树状推测解码中的语义可互换性和收敛性两个冗余模式，利用隐状态冗余实现有原则的接受放松策略，并将冗余信号注入草稿模型训练提升独立性能 实验效果：在多个文生图模型和草稿架构上实现最高 3.6 倍加速，保持图像质量和文本-提示忠实度，达到基于草稿的推测解码 SOTA 批判点评：从冗余模式出发设计接受放松策略的思路新颖，3.6x 加速在实用中很有价值；但放松策略的质量保证依赖于冗余模式假设的普适性，在风格差异大的生成任务中可能失效 8. Flow-OPD：在策略蒸馏统一Flow Matching对齐 Flow-OPD: On-Policy Distillation for Flow Matching Models | USTC / UCLA / CUHK / Xiaohongshu | arXiv:2605.08063 关键词：Flow Matching · 在策略蒸馏 · GRPO · 多任务对齐 · 文生图 前序问题：现有 Flow Matching 文生图模型在多任务对齐时面临两大瓶颈：标量奖励导致的奖励稀疏性和异构目标联合优化的梯度干扰，引发"跷跷板效应"和奖励黑客 本文贡献：提出 Flow-OPD，首个将在策略蒸馏集成到 Flow Matching 的统一后训练框架：先通过单奖励 GRPO 培养领域专家教师，再通过冷启动+三步编排将异质专长蒸馏到单一学生模型 实验效果：基于 SD3.5 Medium，GenEval 从 63 提升至 92，OCR 准确率从 59 提升至 94，比 vanilla GRPO 总体提升约 10 分，并展现出"超越教师"效应 批判点评：OPD 从 LLM 社区引入扩散模型是很好的跨界迁移，GenEval +29 的提升显著；但两阶段训练（先训专家再蒸馏）的总计算成本较高，MAR 正则化引入的额外教师也增加了复杂度 9. Diffusion-APO：轨迹感知视频扩散偏好对齐 Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers | Kuaishou | arXiv:2605.07503 关键词：视频扩散 · 偏好对齐 · 轨迹感知 · RLHF · DPO 前序问题：大规模视频扩散模型与人类意图对齐需要弥合训练噪声分布与推理轨迹之间的固有差异，现有 DPO 和 GRPO 方案受限于有偏奖励模型或次优时间步采样 本文贡献：提出 Diffusion-APO 轨迹感知算法，通过同步训练噪声与推理去噪路径最大化梯度信号效能，配合在线排名/半在线锚定/离线精细化/蒸馏漂移校正的统一模块化 RLHF 框架 实验效果：在视觉质量和指令跟随上一致优于标准基线，同时在模型加速过程中有效保持生成保真度，提供了可扩展的端到端视频扩散对齐方案 批判点评：轨迹感知的梯度信号同步是一个被忽视但重要的问题，模块化 RLHF 框架提供了灵活的多阶段对齐能力；但没有依赖标量奖励模型这一点需要更多消融验证其优势来源 10. OphEdit：无训练的眼科手术视频文本引导编辑 OphEdit: Training-Free Text-Guided Editing of Ophthalmic Surgical Videos | IIST India | arXiv:2605.07695 关键词：手术视频编辑 · 无训练 · ODE反演 · CFG注入 · 眼科AI 前序问题：高保真手术视频生成对医学训练和AI开发至关重要，但将生成模型适配为精确视频编辑面临严峻挑战——手术属性修改（器械-组织交互、手术阶段变换）需满足严格的解剖和时序约束 本文贡献：提出 OphEdit，利用二阶 ODE 反演捕获注意力值张量，在去噪阶段选择性注入 CFG 条件分支，在保持眼部解剖几何的同时实现文本驱动的手术语义修改 实验效果：临床评估显示在器械替换、手术阶段变换等复杂转换中，结构保真度和时序一致性优于自然域视频编辑器，为首个眼科手术域的无训练视频编辑应用 批判点评：首次将无训练视频编辑应用于眼科手术域是一个有价值的交叉创新；但眼科手术的解剖结构相对规整，是否能推广到更复杂的手术场景（如腹腔镜/心脏外科）需验证 趋势观察 视频重光照告别内在分解 — Relit-LiVE 跳过不可靠的内在分解，直接引入参考图像+环境视频联合预测，重新定义了视频重光照的范式 多奖励对齐进入梯度空间 — MARBLE 和 Flow-OPD 不约而同地在梯度层面解决多奖励冲突，标志着扩散模型 RLHF 从标量聚合向精细化梯度调控演进 推理加速的「不均匀」哲学 — HSA 和 CASCADE 都挑战了「均匀对待所有 token/步数」的默认假设，用异构分配和冗余利用实现更聪明的计算资源调度 蒸馏从离散走向连续 — CDM 将 DMD 从固定离散锚点迁移到连续轨迹优化，消除了离散化带来的视觉伪影，是蒸馏范式的重要理论推进 AI评测走向可解释 — ReasonEdit 和 VURB 推动评测从不透明的标量分数走向 CoT 推理和长链偏好标注，让评估本身变得可审计 人工智能炼丹君 整理 | 2026-05-11

AIGC每日速读|2026-05-08|JoyAI统一模型唤醒空间智能,通义D-OPSD破解少步… 今日核心看点 JoyAI-Image D-OPSD Stream-T1 LIVEditor PhysForge 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成与理解 2 篇 (JoyAI-Image, Open-Source Editors) 扩散模型微调与蒸馏 1 篇 (D-OPSD) 视频生成与编辑加速 2 篇 (Stream-T1, LIVEditor) 3D生成与风格迁移 2 篇 (PhysForge, DiLAST) 生成内容检测与评测 3 篇 (HAAD, StableI2I, RLFSeg) 今日论文速览 1. JoyAI-Image：唤醒空间智能的统一多模态理解与生成模型 Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation | JoyAI | 2605.04128 关键词： 统一多模态模型·MLLM+MMDiT·空间智能·文生图·指令编辑·新视角推理 前序工作问题： 现有统一多模态模型仅追求功能整合（理解+生成），但在空间感知、几何推理和可控编辑方面能力不足，理解与生成之间缺乏双向增强的闭环 贡献： 提出 JoyAI-Image，将空间增强 MLLM 与 MMDiT 通过共享多模态接口耦合，结合统一指令微调、长文本渲染监督、空间编辑信号和新视角辅助推理，实现理解↔生成双向增强 效果： 在理解、生成、长文本渲染和编辑四大基准上均达 SOTA 或高度竞争，展示了统一模型通向空间智能和世界模型的可行路径 批判点评： 论文未公开模型权重和训练数据细节，且作者机构信息模糊；空间智能的评估维度仍有限，缺少与 GPT-4o 等商业模型在编辑任务上的系统对比 2. D-OPSD：让少步蒸馏扩散模型持续微调不掉速 D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models | Tongyi-MAI (Alibaba) | 2605.05204 关键词： 少步蒸馏·on-policy自蒸馏·LLM/VLM编码器·持续微调·概念学习 前序工作问题： Z-Image-Turbo、FLUX.2-klein 等少步蒸馏模型在传统 SFT 微调后会丧失少步推理能力，导致质量严重退化 贡献： 发现 LLM/VLM 编码器的 in-context 能力可被扩散模型继承，据此设计 on-policy 自蒸馏：同一模型分别以纯文本和多模态条件扮演学生/教师，在模型自身轨迹上最小化分布差异，实现概念/风格学习且保持少步能力 效果： 在 Z-Image-Turbo 和 FLUX.2-klein 上验证，微调后保持原始少步推理速度的同时成功学习新概念和风格 批判点评： 仅验证了图像生成，能否扩展到视频蒸馏模型未知；自蒸馏的教师信号质量依赖参考图像质量，在困难概念上的鲁棒性有待验证 3. Stream-T1：流式视频生成的测试时缩放框架 Stream-T1: Test-Time Scaling for Streaming Video Generation | USTC / FrameX-AI | 2605.04461 关键词： 测试时缩放·流式视频生成·噪声传播·奖励剪枝·记忆沉降 前序工作问题： 基于扩散模型的测试时缩放(TTS)方法候选探索成本巨大且缺乏时序引导，在视频生成中难以规模化应用 贡献： 提出 Stream-T1，首个面向流式视频生成的综合 TTS 框架，包含三个模块：噪声传播(利用历史高质量噪声引导当前生成)、奖励剪枝(短期美学+滑动窗口长期一致性)、记忆沉降(奖励驱动的 KV-cache 动态路由) 效果： 在 5 秒和 30 秒视频基准上显著提升时序一致性、运动平滑度和帧级视觉质量，配合 Stream-R1 构成完整流式生成体系 批判点评： TTS 天然增加推理时间，三个模块叠加后的实际延迟开销未量化；奖励模型本身的偏差可能导致错误剪枝 4. LIVEditor：稀疏注意力加速统一视频编辑 Lightning Unified Video Editing via In-Context Sparse Attention | ICML 2026 | 2605.04569 关键词： 视频编辑·稀疏注意力·ICL·170万数据集·注意力延迟60%削减 前序工作问题： 基于上下文学习(ICL)的视频编辑方法因二次注意力成本产生严重计算瓶颈，限制了实际部署 贡献： 提出 ISA(In-context Sparse Attention)，首个面向 ICL 视频编辑的近无损稀疏框架：上下文 token 裁剪 + Query 锐度驱动的动态分组(高误差走全注意力、低误差走零阶泰勒近似)，并构建 170 万高质量编辑数据集训练 LIVEditor 效果： 注意力模块延迟削减约 60%，同时在 EditVerseBench、IVE-Bench、VIE-Bench 三个基准上超越 SOTA，ICML 2026 接收 批判点评： 稀疏注意力的误差阈值需手动调节，不同编辑类型的最优配置可能不同；170 万数据集的构建细节和质量保证流程未充分披露 5. PhysForge：物理驱动的交互式3D资产生成 PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World | HKU MMLab | 2605.05163 关键词： 3D资产生成·物理蓝图·运动学注入·15万资产数据集·ICML 2026 前序工作问题： 现有3D生成方法聚焦静态几何，忽略了交互虚拟世界所需的材质、功能、运动学等物理属性，生成的资产无法直接用于仿真 贡献： 提出 PhysForge 两阶段解耦框架：(1) VLM 物理架构师规划分层物理蓝图(材质→功能→运动学)；(2) 物理驱动扩散模型通过 KineVoxel Injection 同时合成高保真几何与精确运动学参数。配套 PhysDB 15万资产四级物理标注数据集 效果： 生成的资产可直接用于物理仿真，功能合理性和几何质量均优于现有方法，ICML 2026 接收 批判点评： 15 万数据集的标注质量和覆盖范围未详述；VLM 物理蓝图的错误传播到下游生成的容错机制不明确 6. DiLAST：2D扩散引导唤醒3D潜空间风格迁移 Structured 3D Latents Are Surprisingly Powerful: Unleashing Generalizable Style with 2D Diffusion | N/A | 2605.04412 关键词： 3D风格迁移·结构化3D潜空间·2D扩散引导·OOD风格·即插即用 前序工作问题： 现有3D风格化方法依赖训练分布内的风格图像，面对分布外(OOD)风格时性能严重退化甚至失败 贡献： 提出 DiLAST，利用预训练2D扩散模型作为风格先验教师，通过扩散引导对齐渲染视图与目标风格，优化结构化3D潜空间表示，发现潜空间本身表达力极强但被低估 效果： 在多种数据和多个3D生成骨干上验证有效，即插即用地实现多样OOD风格迁移 批判点评： 需要逐样本优化，速度较慢；风格一致性在复杂拓扑结构上是否稳定未充分验证 7. StableI2I：I2I任务的内容保真与一致性统一评估框架 StableI2I: Spotting Unintended Changes in Image-to-Image Transition | N/A | 2605.04453 关键词： I2I评估·内容保真·前后一致性·无参考评测·MLLM基准 前序工作问题： 现有 I2I 评估主要关注指令遵循和感知质量，忽略了输出是否保持输入的语义对应和空间结构，导致"改了不该改的地方"难以被检测 贡献： 提出 StableI2I 统一动态评估框架，无需参考图像即可评估内容保真和前后一致性；构建 StableI2I-Bench 系统评估 MLLM 在保真与一致性判断上的准确度 效果： 与人类主观判断高度相关，可作为 I2I 系统的标准化诊断工具 批判点评： 评测指标的鲁棒性仅在有限模型集上验证；"不该改的地方"的定义本身带有主观性，边界案例处理不够充分 8. Open-Source Editors：开源图像编辑模型是零样本视觉学习器 Open-Source Image Editing Models Are Zero-Shot Vision Learners | N/A | 2605.04566 关键词： 图像编辑模型·零样本·深度估计·法线估计·语义分割·涌现能力 前序工作问题： 生成模型具有零样本视觉理解能力的证据集中在闭源模型，开源图像编辑模型是否也具备这种涌现能力尚未系统验证 贡献： 系统评估 Qwen-Image-Edit、FireRed-Image-Edit、LongCat-Image-Edit 三个开源编辑模型在深度估计、法线估计和语义分割上的零样本表现，验证编辑预训练本身催生视觉理解能力 效果： FireRed 法线估计 17.69° 超越微调的 Marigold(20.86°)并匹配 Vision Banana(17.78°)；Qwen 在 DIODE 深度达 δ₁=0.868 批判点评： 仅测试三个模型，样本量有限；编辑预训练数据的分布偏差可能导致某些任务表现虚高而非真正涌现 9. HAAD：用哈密顿动力学检测AI生成图像 Detecting Deepfakes via Hamiltonian Dynamics | NUS | 2605.04405 关键词： Deepfake检测·哈密顿动力学·势能面·稳定性分析·跨数据集迁移 前序工作问题： Deepfake 检测器需要针对每种新生成技术反复校准，难以泛化，根本原因是依赖静态模式匹配而非捕获真实/伪造图像的本质差异 贡献： 提出 HAAD，从物理动力学角度出发：将图像潜空间建模为势能面，真实图像对应低能稳定盆地、生成图像对应高能不稳定状态，通过哈密顿轨迹的 action 和能量耗散两个统计量区分真伪 效果： 在跨数据集迁移基准上超越 SOTA 基线，无需针对新生成器重训练 批判点评： 物理类比的假设过强——高质量生成模型可能也会逼近稳定均衡；计算轨迹的额外开销可能限制实时部署 10. RLFSeg：整流流替代扩散实现零样本文本分割 From Diffusion to Rectified Flow: Rethinking Text-Based Segmentation | ICMR 2026 | 2605.04590 关键词： 文本分割·整流流·零样本·单步推理·无架构修改 前序工作问题： 将扩散模型用作文本分割的特征提取器会继承其生成噪声-去噪的固有性质，这对判别性分割任务有害，且需要优化时间步 贡献： 提出 RLFSeg，用 Rectified Flow 替代扩散过程，在潜空间中学习从图像到分割掩码的直接映射，引入标签细化和自适应单步采样策略，零修改模型结构 效果： 在零样本场景下显著优于之前的扩散方法，单步推理即可达到高精度，ICMR 2026 接收 批判点评： 仅在文本分割任务验证，能否推广到其他像素级任务未知；Rectified Flow 的训练稳定性在大规模数据上的表现有待验证 趋势观察 统一生成-理解模型走向空间智能 — JoyAI-Image 将空间理解、文生图、编辑融为一体并加入新视角推理，标志着统一模型从'能做'走向'做好'的拐点 少步蒸馏模型的微调困境被破解 — D-OPSD 利用 LLM/VLM encoder 的 in-context 能力实现 on-policy 自蒸馏，让 Z-Image-Turbo 等模型微调不掉速，打开了个性化少步模型的大门 视频编辑从'能改'走向'秒改' — LIVEditor 通过 ISA 稀疏注意力将上下文冗余裁剪 60%，同时刷新三个编辑基准，ICML'26 认可说明效率与质量可以兼得 人工智能炼丹君 整理 | 2026-05-08

AIGC每日速读|2026-05-06|DiT-MoE统一多模态模型25B仅激活3B，运动感知缓… 今日核心看点 DiT-MoE统一多模态25B(Mamoda2.5) 运动感知缓存加速6.28x(MotionCache) 线性化SD3.5仅1h微调(T5) 64层RVQ音乐生成(Khala) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成 1 篇 (Mamoda2.5) 视频/图像生成加速 3 篇 (MotionCache, SD3.5-T5, TOC-SR) 音乐生成 1 篇 (Khala) 评测基准 2 篇 (BRITE, Pixel Perfect) 图像编辑与数据集 1 篇 (ScribbleEdit) 3D/人体生成 2 篇 (BlenderRAG, HumanSplatHMR) 今日论文速览 1. Mamoda2.5: Enhancing Unified Multimodal Model with DiT-MoE Mamoda2.5：DiT-MoE统一多模态模型，25B参数仅激活3B，视频编辑加速95.9x | Unknown (Industry) | arXiv:2605.02641 关键词： 统一多模态·DiT-MoE·AR-Diffusion·视频生成·蒸馏加速 前序工作问题： 多模态理解与生成模型通常分离训练，缺乏统一框架；视频编辑推理速度慢难以部署 贡献： 提出统一AR-Diffusion框架，为Diffusion Transformer配备细粒度MoE（128专家Top-8路由），25B参数仅激活3B；联合少步蒸馏与强化学习将30步压缩为4步 效果： VBench 2.0视频生成顶尖，视频编辑创新高；匹敌Kling O1等闭源模型；编辑推理加速95.9x，广告场景成功率98% 批判点评： 128专家路由的负载均衡和专家坍缩问题未详细分析；仅激活3B参数是否在复杂多模态推理任务上存在能力天花板待验证 2. MotionCache: Motion-Aware Caching for Efficient Autoregressive Video Generation MotionCache：运动感知缓存加速自回归视频生成6.28x | Xiamen University | arXiv:2605.01725 关键词： 视频生成加速·运动感知·缓存复用·SkyReels-V2·MAGI-1 前序工作问题： 自回归视频生成因逐步去噪计算量巨大难以部署；现有缓存策略采用粗粒度块级跳步，忽略像素级运动动态 贡献： 形式化证明缓存误差与残差不稳定性的关联，提出利用帧间差分作为像素级运动代理的粗到细策略：预热阶段建立语义连贯，随后按运动权重动态调整每Token更新频率 效果： SkyReels-V2加速6.28x（VBench仅降1%），MAGI-1加速1.64x（VBench仅降0.01%），代码已开源 批判点评： 帧间差分作为运动代理过于简单，无法区分相机运动与物体运动；预热阶段长度为超参数，对不同内容敏感 3. SD3.5-T5: Linearizing Vision Transformer with Test-Time Training 用TTT线性化SD3.5：1小时微调实现1.47x推理加速 | Tsinghua University / ICML 2026 | arXiv:2605.02772 关键词： 线性注意力·TTT·SD3.5·推理加速·权重迁移 前序工作问题： Softmax注意力二次复杂度限制高分辨率生成效率；从头训练线性注意力模型成本过高 贡献： 发现TTT的两层动态公式与Softmax注意力结构对齐，可直接继承预训练权重；引入Key实例归一化和轻量局部性增强模块保持表征一致性 效果： 4xH20 GPU仅1小时微调，文生图质量与原模型可比；1K分辨率1.32x加速，2K分辨率1.47x加速（ICML 2026） 批判点评： 1.47x加速幅度相比FlashAttention等工程优化的叠加优势有限；TTT的额外在线学习开销在批处理场景的表现未报告 4. Khala: Scaling Acoustic Token Language Models Toward High-Fidelity Music Generation Khala：64层RVQ统一声学Token语言建模，无需语义Token阶段 | Tsinghua University | arXiv:2605.01790 关键词： 音乐生成·声学Token·RVQ·语言建模·粗到细 前序工作问题： 现有音乐生成将语义Token与声学Token分离为异构表示空间，系统复杂且信息传递断裂 贡献： 证明文本-声学对齐可在纯声学Token语言建模中涌现无需语义Token阶段；设计64层RVQ统一表示，两阶段粗到细框架固定62步推理，混合注意力训练 效果： 高保真音乐生成，文本-人声对齐自然涌现；超分辨率模型从骨干迁移学习显著提升收敛和质量 批判点评： 64层RVQ的编码复杂度和码本利用率未详细分析；固定62步推理对不同长度音乐的效率适配性待验证 5. BRITE: A Benchmark for Reliable and Interpretable T2V Evaluation on Implausible Scenarios BRITE：首个含音视频对齐的T2V评测基准，实测Sora 2/Veo 3.1/Gen4.5 | Unknown | arXiv:2605.00873 关键词： T2V评测·不合理场景·音视频对齐·人工循环·QA可解释 前序工作问题： 现有T2V评测忽视不合理场景和音视频对齐维度；全自动MLLM评测易受幻觉和歧义影响 贡献： 统一不合理场景提示、细粒度音视频一致性评估和QA式可解释评测三大组件；人工循环协议保障可靠性 效果： 实测Sora 2/Veo 3.1/Runway Gen4.5/Pixverse V5.5/Qwen3Max五大模型，发现物体-动作绑定和音视频同步存在显著性能缺口 批判点评： 仅评测5个模型样本量有限，结论的统计显著性和可推广性存疑；人工循环协议扩展成本高 6. TOC-SR: Task-Optimal Compact Diffusion for Image Super Resolution TOC-SR：贝叶斯优化发现紧凑扩散架构，6.6x参数压缩单步超分 | Unknown (Industry) | arXiv:2605.02767 关键词： 图像超分·紧凑扩散·贝叶斯优化·蒸馏·单步推理 前序工作问题： 扩散超分模型因大参数量和多步采样难以在边缘设备部署 贡献： 从16通道隐扩散模型出发，通过特征级生成蒸馏构建高效替代块，用epsilon约束贝叶斯优化搜索最优紧凑架构，再将多步过程蒸馏为单步生成器 效果： 参数量压缩6.6x，计算量减少2.8x，单步推理保持强重建质量 批判点评： NAS搜索成本本身较高，一次性投入是否划算取决于部署规模；蒸馏后模型在困难退化场景的鲁棒性未评估 7. ScribbleEdit: Synthetic Data for Image Editing with Scribbles and Text ScribbleEdit：涂鸦+文本联合编辑大规模合成数据集 | UC Berkeley | arXiv:2605.01135 关键词： 图像编辑·涂鸦输入·合成数据·空间对齐·多模态控制 前序工作问题： 用户难以同时传达精确空间布局和语义细节；缺乏涂鸦-文本联合编辑的专用训练数据 贡献： 设计自动生成管线：通过修复生成源-目标图像对，配对人工涂鸦和VLM生成的文本指令，构建大规模合成数据集 效果： 微调后模型在空间对齐和语义一致性上显著提升，扩散和自回归两类模型均受益 批判点评： 合成涂鸦与真实用户涂鸦分布差异可能导致域迁移问题；VLM生成的文本指令质量依赖VLM能力上限 8. BlenderRAG: High-Fidelity 3D Object Generation via Retrieval-Augmented Code Synthesis BlenderRAG：检索增强代码合成生成高保真3D对象 | University of Bologna | arXiv:2605.00632 关键词： 3D生成·RAG·Blender代码·LLM·检索增强 前序工作问题： LLM直接生成3D建模代码编译成功率低且几何一致性差，无需微调的3D生成方案匮乏 贡献： 构建500例专家验证的多模态数据集（50类别），RAG检索语义相似示例辅助LLM生成可执行Blender代码，无需微调或特殊硬件 效果： 编译成功率从40.8%提升至70%（+29.2%），CLIP语义对齐从0.41提升至0.77，跨4个LLM一致有效 批判点评： 500例数据集规模有限，复杂场景和组合对象的覆盖度不足；代码生成方式难以表达光滑曲面等连续几何 9. HumanSplatHMR: Closing the Loop Between Human Mesh Recovery and Gaussian Splatting Avatar HumanSplatHMR：闭环联合优化人体Mesh恢复与高斯泼溅化身 | University of Michigan | arXiv:2605.02784 关键词： 人体重建·高斯泼溅·Mesh恢复·闭环优化·新视角合成 前序工作问题： 现有方法将姿态估计与外观重建解耦，姿态误差累积到渲染中无法修正 贡献： 通过可微渲染闭环，将光度/分割/深度损失反向传播到姿态参数和全局位置，实现姿态-外观联合优化 效果： 全局3D姿态恢复精度和新视角渲染质量均超越解耦基线，无需动捕设备即可从视频重建高质量化身 批判点评： 闭环优化增加训练时间；对遮挡严重或极端姿态的鲁棒性未充分验证 10. Pixel Perfect: Relational Image Quality Assessment with Spatially-Aware Distortions Pixel Perfect：自监督关系型IQA，无需人工标注的空间感知质量评估 | Unknown | arXiv:2605.02863 关键词： 图像质量评估·自监督·关系型·空间感知·对比学习 前序工作问题： 传统IQA依赖MOS人工标注，成本高且无法提供可解释的局部反馈 贡献： 从绝对质量预测转向关系型方向性评估；自监督合成失真引擎生成训练数据；反对称目标训练失真预测网络输出空间感知解耦图；对比学习训练评分网络 效果： 完全无需人工标注，提供失真类型/强度/方向的空间感知映射，可针对性优化图像处理算法 批判点评： 合成失真与真实世界失真分布差距可能影响泛化；关系型评估难以与传统MOS指标直接对比 趋势观察 MoE+蒸馏成为统一多模态模型标配 — Mamoda2.5 用128专家Top-8路由实现25B参数仅激活3B，再通过蒸馏+RL将30步压缩为4步，95.9x加速；统一模型正在从'大而全'走向'大而高效' 推理加速从粗粒度跳步走向精细化自适应 — MotionCache 按像素运动强度分配去噪资源实现6.28x加速，SD3.5-T5 用线性注意力替代Softmax实现1.47x加速，加速策略日趋精细和理论化 人工智能炼丹君 整理 | 2026-05-06

AIGC论文速读|2026-05-05|纯视觉流统一生成颠覆文本管线，1D-Token端到端FI… 今日核心看点 纯视觉流统一生成(FlowInOne) 端到端自回归FID 1.48(1D-Token) 隐空间压缩加速视频(LC-VAE) 两步跳跃Flow对齐(LeapAlign) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成 2 篇 (FlowInOne, UniVidX) 自回归图像生成与预训练 2 篇 (1D-Tokenizer, GenLIP) 推理加速 2 篇 (LC-VAE, DepthVAR) 后训练对齐 2 篇 (LeapAlign, PostTrain) 音视频生成与评测 2 篇 (Talker-T2AV, MOSAIC) 今日论文速览 1. FlowInOne: Unifying Multimodal Generation as Image-In, Image-Out Flow Matching FlowInOne：纯视觉流统一多模态生成，消除跨模态对齐瓶颈 | Microsoft Research Asia | arXiv:2604.06757 关键词： 统一生成·流匹配·视觉提示·Image-In-Out·VisPrompt-5M 前序工作问题： 多模态生成长期被文本管线主导，语言驱动视觉但无法在视觉空间内推理创作，跨模态对齐与任务特定分支增加系统复杂度 贡献： 将所有模态（文本、布局、编辑指令）统一编码为视觉提示，用单一流匹配模型实现 Image-In Image-Out 管线，消除噪声调度和跨模态对齐，配套 VisPrompt-5M 数据集与 VP-Bench 基准 效果： 在文生图、布局引导编辑、视觉指令跟随等任务上全面超越开源模型和商业系统，建立视觉原生统一生成新范式 批判点评： 纯视觉流假设对高度抽象语义（如否定逻辑、数量推理）的编码能力有限；5M 数据集构建成本高且任务覆盖均匀性待验证 2. UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors UniVidX：统一多模态视频生成框架，不足千条视频实现全向条件生成 | NJU / SIGGRAPH 2026 | arXiv:2605.00658 关键词： 视频生成·统一框架·随机掩码·门控LoRA·跨模态注意力 前序工作问题： 现有方法为每种模态组合训练独立模型，固定输入输出映射且忽略跨模态关联 贡献： 提出随机条件掩码 SCM、解耦门控 LoRA DGL 和跨模态自注意力 CMSA 三大设计，用不到 1000 条视频训练出支持 RGB/内秉图/RGBA 分层的全向条件生成 效果： 在深度/法线/反照率估计和视频分层任务上达到 SOTA，成功泛化到野外场景，被 SIGGRAPH 2026 接收 批判点评： 训练数据仅千条视频，复杂动态场景的泛化鲁棒性存疑；多模态同时生成的质量-一致性权衡未深入分析 3. End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer 端到端训练 1D 语义 Tokenizer，FID 1.48 刷新自回归生图 SOTA | ByteDance Seed / ICML 2026 Spotlight | arXiv:2605.00503 关键词： 自回归生图·1D Tokenizer·端到端·视觉基础模型·FID 1.48 前序工作问题： 两阶段方法先训 Tokenizer 再训生成器，生成信号无法反馈到 Tokenizer，重建与生成目标脱节 贡献： 设计端到端管线联合优化 Tokenizer 与生成器，利用视觉基础模型提升 1D Tokenizer 语义表达能力，实现重建-生成信号直通 效果： ImageNet 256x256 无 guidance 达到 FID 1.48（SOTA），被 ICML 2026 选为 Spotlight 批判点评： 端到端训练需同步两个大模型，显存和训练稳定性要求高；仅在 ImageNet class-conditional 验证，开放域文生图能力未展示 4. GenLIP: Generative Language-Image Pre-training for Vision Transformers GenLIP：ViT直接预测语言Token，极简生成式视觉预训练 | ByteDance | arXiv:2605.00809 关键词： 视觉预训练·生成式·ViT·语言建模·多模态 前序工作问题： 现有视觉预训练依赖对比学习的大批量构建或额外文本解码器，架构复杂且难以扩展 贡献： 让 ViT 用标准语言建模目标直接从视觉 Token 预测语言 Token，单一 Transformer 联合建模视觉与文本，无需对比批构建或额外解码器 效果： 在 8B 样本上训练即达到或超越强对比基线，多模态基准全面竞争力；续训多分辨率后在 OCR 和图表理解上进一步提升 批判点评： 生成式预训练对负样本信息的利用不如对比学习充分；8B 训练数据仍是较大规模，小数据场景表现未报告 5. LC-VAE: Latent-Compressed Variational Autoencoder for Video Diffusion Models LC-VAE：高频裁剪代替通道压缩，解锁视频扩散生成质量 | CVPR 2026 Findings | arXiv:2604.16479 关键词： 视频VAE·隐空间压缩·高频裁剪·扩散收敛·通道冗余 前序工作问题： 视频 VAE 需大量隐通道保证重建质量，但过多通道反而阻碍扩散模型收敛并恶化生成性能 贡献： 提出隐空间高频分量移除策略替代直接减通道，在保持等效压缩比的前提下保留重建保真度，同时释放扩散模型收敛潜力 效果： 同等压缩比下视频重建质量超越强基线，扩散模型训练收敛更快且生成质量更高，被 CVPR 2026 接收 批判点评： 高频裁剪阈值的选取对不同视频类型（快速运动 vs 静态）敏感性未深入分析；仅在特定模型架构上验证 6. DepthVAR: Depth Adaptive Efficient Visual Autoregressive Modeling DepthVAR：按 Token 自适应分配计算深度，VAR 加速 2.3-3.1x | CVPR 2026 Findings | arXiv:2604.17286 关键词： VAR加速·自适应深度·免训练·循环调度·图像生成 前序工作问题： VAR 对每个位置施加固定计算深度，存在显著深度冗余；现有频率图 Token 剪枝方法采用二值硬剪枝，无法提升质量 贡献： 提出从剪枝整个 Token 转向按 Token 自适应分配深度的范式，设计循环旋转调度器与动态推理流程，按处理深度比例混合输出编码 效果： 免训练实现 2.3x-3.1x 加速，质量损失极小且优于硬剪枝方案，被 CVPR 2026 Findings 接收 批判点评： 调度策略为启发式循环旋转，最优深度分配应可学习化；仅验证 VAR 架构，DiT 等其他范式适用性未探索 7. LeapAlign: Post-Training Flow Matching Models at Any Generation Step LeapAlign：两步跳跃轨迹实现 Flow Matching 任意步对齐 | ANU / ByteDance Seed / CVPR 2026 | arXiv:2604.15311 关键词： 后训练·Flow Matching·奖励对齐·梯度稳定·Flux 前序工作问题： Flow Matching 长轨迹反传导致显存爆炸和梯度爆炸，且难以更新决定全局结构的早期步 贡献： 将长轨迹压缩为两步跳跃，每跳跨越多个 ODE 采样步一步预测未来隐变量；随机化起止时间步实现任意步更新，高权重分配给与长路径一致的轨迹 效果： 在 Flux 模型上全面超越 GRPO 和直接梯度方法，图像质量和文图对齐均达 SOTA，被 CVPR 2026 接收 批判点评： 两步跳跃近似引入轨迹偏差，对高步数采样的兼容性需进一步分析；仅在 Flux 单模型验证 8. A Systematic Post-Train Framework for Video Generation 视频生成系统化后训练：SFT+GRPO+提示增强四阶段管线 | Microsoft / HKU | arXiv:2604.25427 关键词： 后训练·视频扩散·GRPO·SFT·提示增强 前序工作问题： 视频扩散模型预训练性能与部署需求间存在巨大差距：提示敏感性高、时间不连贯、推理成本大 贡献： 提出四阶段后训练框架：SFT 转化为指令跟随策略→视频 GRPO 强化感知质量→提示增强器提升输入→推理优化降成本，形成统一可复制管线 效果： RLHF 阶段 GSB 指标提升 31%，提示增强再提 20%，视觉质量与动作连贯性显著增强同时保持语义对齐 批判点评： 文本对齐改善有限暴露当前文本-视频奖励模型瓶颈；四阶段训练流程复杂度高，各阶段超参互相耦合 9. Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Talker-T2AV：自回归扩散联合生成语音与肖像视频 | Unknown | arXiv:2604.23586 关键词： 音视频联合生成·自回归扩散·解耦解码·唇同步·肖像 前序工作问题： 现有联合音视频生成模型在全层级通过密集注意力耦合模态，高层语义与低层渲染纠缠导致效率低下且质量受限 贡献： 提出高层跨模态建模在共享骨干、低层精化在模态专属解码器的解耦架构；统一 Patch 级 Token 空间下自回归语言模型联合推理音视频，再由轻量 DiT 头解码为帧级隐变量 效果： 唇同步精度、视频质量、音频质量全面超越双分支基线，跨模态一致性强于级联管线 批判点评： 仅在说话人肖像场景验证，开放域音视频生成能力未测试；Patch 级 Token 量化损失对音质影响未量化 10. When Do Diffusion Models Learn to Generate Multiple Objects? 扩散模型何时学会多对象生成？MOSAIC 框架揭示数据本质 | ICML 2026 | arXiv:2605.00273 关键词： 多对象生成·组合泛化·数据分析·MOSAIC·扩散模型 前序工作问题： 文生图扩散模型在多对象生成上表现不可靠，失败根因不明确：是数据不足还是模型能力限制 贡献： 引入 MOSAIC 可控数据集生成框架，从概念泛化和组合泛化两个维度系统研究数据量与多对象生成能力的关系 效果： 发现场景复杂度比概念不均衡更关键，计数在低数据区极难学习，组合泛化随留出比例增加急剧退化；揭示需要更强归纳偏置 批判点评： 使用合成数据框架研究结论的真实世界迁移性有限；未提出具体解决方案仅停留在诊断层面 趋势观察 统一范式从文本主导走向视觉主导 — FlowInOne 将所有模态编码为视觉提示实现 Image-In Image-Out，UniVidX 用随机条件掩码实现全向生成，统一模型正式进入视觉原生时代 VAE隐空间优化成为视频生成新瓶颈 — LC-VAE 发现过多隐通道反而阻碍扩散收敛，通过高频裁剪代替通道压缩解锁生成质量；DepthVAR 从Token深度冗余切入加速，压缩思路多元化 人工智能炼丹君 整理 | 2026-05-05

AIGC论文速读|20260504|4步打败40步!AdvDMD蒸馏加速刷新SD3.5 今日核心看点 AdvDMD 4步超40步蒸馏 Edit-R1 验证器奖励模型 PhyCo 物理可控视频 AesRM 美学奖励模型 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 推理加速与蒸馏 2 篇 (AdvDMD, YOSE) 奖励模型与强化学习 2 篇 (Edit-R1, AesRM) 视频生成与编辑 3 篇 (PhyCo, TAVR, ExoActor) 训练方法与评估 2 篇 (RFL, Visual Gen Survey) 多模态一体化 1 篇 (Nemotron 3) 今日论文速览 1. AdvDMD: Adversarial Reward Meets DMD for Few-Step Generation AdvDMD：对抗奖励融合蒸馏实现高质量少步生成 | Unknown | arXiv:2604.28126 关键词： 蒸馏加速·DMD·对抗奖励·少步生成·SD3.5 前序工作问题： 扩散模型蒸馏加速方法将 DMD 与 RL 简单拼接，两种优化目标相互干扰导致训练不稳定且加速倍率有限 贡献： 将 DMD2 的对抗判别器直接复用为 RL 奖励模型，通过统一 SDE 反向模拟对中间态和终态联合监督，实现 DMD 与 RL 的无缝融合 效果： 4 步 AdvDMD 在 SD3.5 上 DPG-Bench 超越原模型 40 步表现；2 步版本在 Qwen-Image 上超越 TwinFlow 批判点评： 对抗判别器随蒸馏模型在线更新增加训练复杂度；在极端 1 步生成场景下质量衰减幅度未报告 2. Edit-R1: Leveraging Verifier-Based RL in Image Editing Edit-R1：验证器驱动强化学习提升图像编辑 | ByteDance Seed | arXiv:2604.27505 关键词： 图像编辑·奖励模型·CoT验证器·GRPO·FLUX 前序工作问题： 图像编辑缺乏可靠通用奖励模型，现有模型仅给整体评分无法逐条验证编辑指令是否满足 贡献： 提出推理奖励模型 RRM，通过 CoT 将指令拆分为独立原则逐条验证并聚合为细粒度可解释奖励，用 GCPO+GRPO 两阶段训练 效果： Edit-RRM 超越 Seed-1.5-VL/1.6-VL 等强 VLM 作为编辑奖励模型；3B→7B 清晰涨点；赋能 FLUX.1-kontext 编辑器 批判点评： CoT 推理链增加奖励计算成本，实际部署中每次编辑需额外 VLM 推理；仅在 FLUX 上验证泛化性有限 3. AesRM: Improving Video Aesthetics with Expert-Level Feedback AesRM：专家级美学反馈提升视频生成质量 | Unknown | arXiv:2604.28078 关键词： 视频美学·奖励模型·分层评测·CoT推理·Wan2.2 前序工作问题： 视频生成评估过度关注保真度而忽视电影级美学（构图、光影、色彩和谐），缺乏系统化美学评价体系 贡献： 构建 3 维 15 细项美学评分体系与约 2500 对专家标注数据集 AesVideo-Bench，训练 AesRM-Base 和 AesRM-CoT 两版奖励模型 效果： 在多个美学基准上超越基线，位置偏差更低更鲁棒；成功对齐 Wan2.2 视频生成模型的美学输出 批判点评： 2500 视频对规模偏小可能限制泛化；美学本质上主观性强，专家标注的跨文化一致性未讨论 4. Representation Fréchet Loss for Visual Generation RFL：表征空间 Fréchet 距离作为训练损失提升生成质量 | Unknown | arXiv:2604.28190 关键词： FD损失·表征空间·一步生成·蒸馏替代·ImageNet 前序工作问题： Fréchet 距离一直仅用于评估而非训练，因为其需要大规模样本估计群体统计量与小批量梯度计算矛盾 贡献： 解耦 FD 估计所需群体规模（50k）与梯度计算批量（1024），提出 FD-loss 使 Fréchet 距离可直接作为训练目标 效果： ImageNet 256x256 上一步生成器达 0.72 FID；无需教师蒸馏或对抗训练即可将多步模型转化为强一步生成器 批判点评： FD-loss 对表征空间选择敏感，不同表征可能导致矛盾优化方向；维护 50k 统计量的内存开销在高分辨率场景未讨论 5. YOSE: Essential Token Selection for DiT-based Video Object Removal YOSE：按需选择关键 Token 加速 DiT 视频去物 | CVPR 2026 | arXiv:2604.27322 关键词： 视频去物·Token选择·DiT加速·掩码感知·线性缩放 前序工作问题： DiT 视频去物方法对全时空 Token 密集计算，即使仅小区域需修复也需处理完整 Token 空间，推理极慢（约 10 FPS） 贡献： 提出批量变长索引 BVI 按掩码自适应选择关键 Token，配合 DiffSim 模块为未掩码 Token 模拟扩散注意力影响 效果： 70% 场景实现 2.5 倍加速，推理时间与掩码区域大小近似线性缩放，生成质量保持可比 批判点评： 加速比强依赖掩码面积，大面积去物场景加速有限；DiffSim 的近似可能在复杂运动区域引入伪影 6. PhyCo: Learning Controllable Physical Priors for Generative Motion PhyCo：学习可控物理先验实现物理真实视频生成 | CMU / NEC Labs / UCSD | CVPR 2026 | arXiv:2604.28169 关键词： 物理先验·可控生成·摩擦力·弹性·视频扩散 前序工作问题： 视频扩散模型擅长外观合成但物理一致性差：物体漂移、碰撞无回弹、材料响应不真实 贡献： 从简单模拟（滑块/弹球）中学习连续可解释的物理先验（摩擦/弹性/形变/力），推理时无需物理引擎即可注入视频扩散 效果： 实现连续可控的物理参数调节，生成物理真实的碰撞回弹和材料变形效果，CVPR 2026 收录 批判点评： 训练仅用简单几何体模拟数据，对复杂真实场景（如流体、布料）的泛化能力存疑；推理时物理参数需手动指定 7. Visual Generation in the New Era: From Atomic Mapping to Agentic World Modeling 视觉生成新纪元：从原子映射到智能体世界建模（综述） | Multi-institution (27 authors) | arXiv:2604.28185 关键词： 综述·五级分类·Flow Matching·后训练·奖励模型·世界模型 前序工作问题： 视觉生成模型在空间推理、状态持续、长期一致性和因果理解上仍有系统性缺陷，但缺乏统一评价框架 贡献： 提出五级渐进式分类体系（原子→条件→上下文→智能体→世界建模），系统梳理流匹配、统一模型、后训练、奖励建模等技术驱动力 效果： HF Daily Papers 82 票热度最高，提供能力导向的视角理解和推进下一代智能视觉生成系统 批判点评： 27 人综述难免覆盖面广但深度不足；五级分类边界模糊（如 Level 3 与 Level 4 区分标准主观） 8. TAVR: Generate Your Talking Avatar from Video Reference TAVR：从跨场景视频参考生成高保真说话头像 | HeyGen Research | arXiv:2604.27918 关键词： 说话头·跨场景·视频参考·Token选择·身份强化学习 前序工作问题： 现有说话头生成方法依赖同场景静态图参考，跨场景视频参考时身份保持和背景适应能力差 贡献： 提出视频参考范式 TAVR，含 Token 选择处理长时上下文、三阶段训练（同场景预训练→跨场景微调→身份 RL），构建 158 对跨场景评测基准 效果： 量化和定性评估均超越现有基线，已部署于 HeyGen Avatar-V 产品上线 批判点评： 强依赖参考视频质量和时长；身份 RL 奖励可能过拟合特定人脸特征分布，非正面角度效果存疑 9. Nemotron 3 Nano Omni: Efficient Open Multimodal Intelligence Nemotron 3 Nano Omni：NVIDIA 高效开源全模态模型 | NVIDIA | arXiv:2604.24954 关键词： 多模态·音频视觉文本·文档理解·Agent·开源 前序工作问题： 智能体系统需分别调用视觉、语音和语言模型，模型间数据传递耗时且丢失跨模态上下文 贡献： 首次原生支持音频+文本+图像+视频四模态输入，在文档理解、长音视频理解和 Agent 计算机操控上刷新效率基准 效果： 在 6 项权威榜单名列前茅；较前代在所有模态上准确率一致提升；已被 Foxconn 等企业采用 批判点评： 仅支持理解而无生成能力，不属于生成-理解统一模型；Nano 级别参数量在复杂推理场景可能受限 10. ExoActor: Exocentric Video Generation as Humanoid Control ExoActor：第三人称视频生成驱动通用人形机器人控制 | BAAI | arXiv:2604.27711 关键词： 人形控制·视频生成·第三人称·交互动力学·零样本泛化 前序工作问题： 人形机器人需同时建模空间上下文、时序动力学、动作和任务意图的交互，现有方法难以大规模获取多样化数据 贡献： 复用大规模视频生成模型作为交互动力学的统一接口，两阶段流程：先生成第三人称执行视频，再通过运动估计转为可执行动作 效果： 无需额外真实数据即可泛化到新场景，展示视频生成模型在机器人领域的全新应用范式 批判点评： 两阶段流程中运动估计误差会逐级累积；视频生成的物理真实性不足可能导致不可执行的动作序列 趋势观察 奖励模型正成为视觉生成标配 — 从 Edit-R1 到 AesRM，RL 驱动的奖励模型正覆盖图像编辑和视频美学两大场景，验证器范式取代简单打分 蒸馏与 Token 选择加速双管齐下 — AdvDMD 4 步超 40 步原模，YOSE 按掩码比例线性缩放，加速方法从模型级延伸到 Token 级 人工智能炼丹君 整理 | 2026-05-04

AIGC 周末专题|2026-05-02|13.7-18.6x注意力加速，稀疏注意力撕开视频Di… AIGC 周末专题深度解读：稀疏注意力在视频生成中的应用：从免训练加速到可训练融合 人工智能炼丹君 整理 | 2026年5月2日（周六） 覆盖时间：2025年5月 — 2026年4月 本期概述 本期 AIGC 周末专题聚焦稀疏注意力在视频生成中的应用：从免训练加速到可训练融合方向，精选 10 篇代表性论文进行深度解读。 方向分布： 稀疏+线性融合 3篇 3 篇 (SLA, SLA2, SALAD) 免训练稀疏注意力 3篇 3 篇 (SVG-EAR, CalibAtt, AdaSpa) 结构化/Pattern稀疏 2篇 2 篇 (Sparse-vDiT, VMonarch) 可训练/AR稀疏 2篇 2 篇 (VSA, Light Forcing) 其余工作 14篇 1 篇 (SVG/SVG2/STA/BSA/NABLA/SSTA/TempCache/SODA/EasyCache/FasterCache/FastLightGen/FrameDiT/DiagDist/Survey) 含 ICLR 2026 Oral × 1, ICLR 2026 × 1, NeurIPS 2025 × 1, AAAI 2026 × 1, ICCV 2025 × 1 技术路线与时间线 基础探索（2024.06 — 2025.02） 描述：Sparse Attention 从 LLM 领域迁移到视频 DiT，研究者发现 3D 全注意力中天然存在的稀疏性。 关键节点： 2024.06–2025.02：LLM 稀疏注意力技术向视频扩散模型迁移 免训练加速（2025.02 — 2025.05） 描述：Sparse VideoGen 系列开创免训练框架，系统性利用 3D 全注意力天然稀疏性。 关键节点： 2025.02：SVG：首个免训练稀疏注意力加速框架 2025.05：SVG2：语义聚类驱动稀疏模式发现 可训练突破（2025.05 — 2025.09） 描述：VSA 首次证明可训练稀疏注意力可在预训练阶段全程替代全注意力。 关键节点： 2025.05：VSA（NeurIPS 2025）：训练+推理全程稀疏 融合范式确立（2025.09 — 2026.01） 描述：SLA（ICLR 2026 Oral）确立稀疏+线性融合范式，SALAD 和 VMonarch 从不同角度验证。 关键节点： 2025.09：SLA（ICLR 2026 Oral）：13.7x 注意力加速 2026.01：SALAD：2000 样本微调达 90% 稀疏度 2026.01：VMonarch：Monarch 矩阵 17.5x FLOPs 减少 极致推进（2026.01 — 2026.04） 描述：SLA2 将加速比推向 18.6x，SVG-EAR 刷新免训练帕累托前沿，Light Forcing 开辟 AR 方向。 关键节点： 2026.02：SLA2：可学习路由 + QAT，18.6x 加速 2026.02：Light Forcing：首个 AR 视频扩散稀疏注意力 2026.03：SVG-EAR：误差感知路由，1.93x 免训练加速 2026.02：AdaSpa（ICCV 2025）：LSE 缓存搜索 1. SLA：稀疏-线性注意力融合——自定义GPU Kernel实现13.7倍注意力加速（ICLR 2026 Oral） 论文: SLA arXiv: 2509.24006 机构: 清华大学, UC Berkeley 1.1 研究动机 核心问题： 视频DiT中全注意力O(N²)复杂度导致推理延迟极高 注意力权重可分为两部分：少量大权重(高秩)和大量小权重(低秩)。这天然暗示：对大权重用稀疏注意力(O(N²)但只算少量)，对小权重用线性注意力(O(N))。现有方法要么纯稀疏（丢失低秩信息）要么纯线性（无法捕捉局部关键依赖），SLA首次将两者系统融合。 前序工作及局限： 稀疏注意力(Top-K/局部窗口)：丢失信息或不灵活 线性注意力(Linear Transformer)：表达能力不足 与前序工作的本质区别： SLA首次系统性融合稀疏+线性注意力，通过三级分类+自定义GPU kernel实现最优分配 1.2 方法原理 SLA的核心设计：\n\n(1) 三级分类：将注意力权重按大小分为Critical(精确计算)、Marginal(线性注意力近似)、Negligible(跳过)三个级别。\n\n(2) 融合GPU Kernel：将稀疏注意力和线性注意力的前向/反向计算融合到单个自定义GPU kernel中，消除额外显存开销和kernel launch延迟。\n\n(3) 轻量微调：仅需少量步即可在目标视频DiT模型上完成适配。 1.3 核心创新 首次系统性融合稀疏注意力与线性注意力\n提出三级权重分类：Critical(O(N²)精确)+Marginal(O(N)线性)+Negligible(跳过)\n实现自定义GPU kernel支持前向+反向传播融合计算\n95%注意力计算减少，13.7倍注意力加速，2.2倍端到端加速\nICLR 2026 Oral——学术最高认可 1.4 实验结果 注意力计算减少95%（20倍）\n注意力加速13.7倍\n端到端加速2.2倍（Wan 2.1-1.3B）\n生成质量无损（VBench指标保持）\nICLR 2026 Oral接收 1.5 关键洞察 优势：ICLR 2026 Oral验证了方法的学术价值；自定义kernel可直接工业落地；2.2x E2E加速是质量无损方法的最优数字。局限：目前仅在1.3B模型上验证，14B+模型效果未知；kernel需针对不同硬件调优。 技术演进定位： 稀疏-线性融合范式的奠基工作(ICLR 2026 Oral) 可能的后续方向： 更大模型验证(14B+) 与蒸馏/缓存叠加 2. SLA2：可学习路由+量化感知训练——97%稀疏度实现18.6倍注意力加速 论文: SLA2 arXiv: 2602.12675 机构: 清华大学, UC Berkeley 2.1 研究动机 核心问题： SLA固定分类边界无法适应动态变化，且未利用量化压缩空间 SLA采用固定的三级分类边界，无法适应不同层/头/时间步的动态变化。SLA2提出：能否让模型自己学习最优的稀疏-线性分配比例？同时，SLA未利用量化技术进一步压缩计算，存在额外压缩空间。 前序工作及局限： SLA：固定三级分类，ICLR 2026 Oral 量化感知训练(QAT)：LLM领域成熟技术 与前序工作的本质区别： SLA2引入可学习路由器实现层级自适应+QAT进一步压缩，将加速比从13.7x提升到18.6x 2.2 方法原理 SLA2的核心改进：\n\n(1) 可学习路由器：每层每头配备轻量路由网络，动态预测每个注意力块应使用稀疏、线性还是跳过策略。\n\n(2) 改进注意力公式：重新设计稀疏+线性混合公式，更好地贴合原始SLA的分解动机，减少近似误差。\n\n(3) 量化感知训练(QAT)：联合训练路由器和量化参数，在INT4/INT8精度下保持质量。 2.3 核心创新 突破SLA固定分类上限，引入可学习路由器动态调节稀疏/线性比例\n提出贴合原始分解动机的改进注意力公式\n量化感知训练(QAT)进一步压缩推理成本\n97%注意力稀疏度，18.6倍注意力加速\n质量保持与全注意力几乎无差距 2.4 实验结果 97%注意力稀疏度（仅3%计算量）\n18.6倍注意力加速\n视频生成质量与全注意力几乎无差距\n支持INT4量化进一步压缩 2.5 关键洞察 优势：在SLA基础上进一步将加速比提升35%，可学习路由实现层级自适应。局限：需要训练路由器（非免训练）；QAT引入额外训练复杂性。 技术演进定位： SLA范式的极致推进 可能的后续方向： 与稀疏+蒸馏联合优化 消费级设备部署 3. SVG-EAR：误差感知路由+无参数线性补偿——免训练1.93倍端到端加速 论文: SVG-EAR arXiv: 2603.08982 机构: UC Berkeley 3.1 研究动机 核心问题： 免训练稀疏注意力丢弃块后信息损失且传统路由不精确 现有稀疏注意力面临两难：直接丢弃被跳过块会丢失信息；用学习型预测器近似又引入训练开销和分布偏移。SVG-EAR提出关键洞察：经过语义聚类后，同一块内的key/value具有高度相似性，可用少量聚类质心准确概括。 前序工作及局限： Sparse VideoGen/SVG2：在线稀疏模式识别 CalibAtt：离线校准静态模式 与前序工作的本质区别： SVG-EAR用聚类质心无参数恢复被跳过块+误差感知路由替代传统注意力分数路由 3.2 方法原理 SVG-EAR的核心设计：\n\n(1) 聚类质心补偿：对被跳过的注意力块，用key/value的聚类质心做线性(O(N))近似，恢复其对输出的贡献。\n\n(2) 误差感知路由：不按注意力分数选择块，而是用轻量探测器估计每个块的补偿误差，选择'误差-成本比'最高的块做精确计算。\n\n(3) 理论保证：提供注意力重建误差与聚类质量之间的理论上界。 3.3 核心创新 颠覆传统'高注意力分数=重要'的假设，改为'高近似误差=需要精确计算'\n无参数线性补偿：用聚类质心O(N)恢复被跳过块的贡献\n误差感知路由：选择误差-成本比最高的块做精确计算\n提供注意力重建误差的理论上界 3.4 实验结果 Wan 2.2：1.77x端到端加速，PSNR 29.759\nHunyuanVideo：1.93x端到端加速，PSNR 31.043\n显著优于Sparse VideoGen2和CalibAtt\n完全免训练 3.5 关键洞察 优势：免训练、有理论保证、误差感知路由思路优雅。局限：聚类质心计算本身有开销；PSNR不是视频生成的最佳指标；加速上限受限于免训练范式。 技术演进定位： 免训练稀疏注意力的帕累托前沿 可能的后续方向： 与可训练方法结合 聚类效率优化 4. VSA：端到端可训练稀疏注意力——从预训练阶段替换全注意力（NeurIPS 2025） 论文: VSA arXiv: 2505.13389 机构: UC Berkeley, FastVideo 4.1 研究动机 核心问题： 稀疏注意力仅用于推理，训练仍需全注意力导致训练-推理不一致 现有稀疏注意力主要用于推理加速，训练仍需全注意力。这导致训练-推理不一致和训练成本居高不下。VSA提出核心问题：能否设计一种从训练到推理全程使用的稀疏注意力，彻底替代全注意力？ 前序工作及局限： 所有推理时稀疏方法：训练仍用全注意力 FlashAttention：全注意力的高效实现 与前序工作的本质区别： VSA首次证明可训练稀疏注意力可从预训练阶段全程替代全注意力 4.2 方法原理 VSA采用层次化两阶段设计：\n\n(1) 粗粒度阶段：将token序列划分为3D cubes并池化为粗粒度表示，用低成本全注意力预测每个cube的重要性分数，选出关键token区域。\n\n(2) 细粒度阶段：仅在预测的关键区域执行token级精确注意力，形成块稀疏计算模式。\n\n(3) 硬件对齐：cube大小和块大小均对齐GPU的执行粒度，最大化并行效率。 4.3 核心创新 首个在预训练阶段就替换全注意力的可训练稀疏注意力\n层次化设计：粗粒度cube池化预测关键token+细粒度块稀疏注意力\n硬件对齐：所有操作均对齐GPU warp/SM执行模式\n训练和推理双加速——不仅加速推理，还加速训练\n建立可训练稀疏注意力作为全注意力实用替代的里程碑 4.4 实验结果 训练和推理同时加速\n在视频生成质量上与全注意力基线持平\n显著降低训练GPU小时数\n建立可训练稀疏注意力作为全注意力的实用替代\nNeurIPS 2025接收 4.5 关键洞察 优势：训练+推理双加速是独特卖点；硬件对齐设计实用性强；NeurIPS 2025验证了学术质量。局限：粗粒度预测可能丢失细粒度关键信息；需要从头预训练或大量微调。 技术演进定位： 训练范式变革的先驱(NeurIPS 2025) 可能的后续方向： 更大规模模型验证 社区标准化 5. Sparse-vDiT：三模式稀疏Pattern识别+定制Kernel——视频DiT注意力图的系统性利用（AAAI 2026） 论文: Sparse-vDiT arXiv: 2506.03065 机构: 多机构合作 5.1 研究动机 核心问题： 统一稀疏策略未充分利用视频DiT注意力图的结构特征 此前的稀疏注意力方法大多采用统一的稀疏策略（如Top-K或块级稀疏），未充分利用视频DiT注意力图的结构特征。Sparse-vDiT通过详细分析注意力图，发现三种反复出现的稀疏模式，并为每种模式定制高效计算方案。 前序工作及局限： 通用稀疏注意力：统一Top-K或块级策略 FlashAttention：稠密注意力优化 与前序工作的本质区别： Sparse-vDiT系统识别三种稀疏Pattern并为每种设计专用kernel 5.2 方法原理 Sparse-vDiT的核心设计：\n\n(1) 稀疏模式识别：通过统计分析发现视频DiT注意力图中三种主导模式——对角线(diagonal)反映时间邻近性、多对角线(multi-diagonal)反映空间局部性、竖条纹(vertical-stripe)反映全局anchor token。\n\n(2) Pattern-Optimized Sparse Kernels：为每种模式设计专用的CUDA kernel，将稠密注意力替换为结构化稀疏计算。\n\n(3) 自适应模式选择：根据每层每头的注意力分布自动选择最匹配的稀疏模式。 5.3 核心创新 系统性识别视频DiT注意力图中的三种稀疏模式：对角线、多对角线、竖条纹\n为每种模式设计定制的高效计算kernel\n同时减少理论FLOPs和实际推理延迟\n即插即用框架，适配多种视频DiT模型\nAAAI 2026接收 5.4 实验结果 理论FLOPs大幅减少\n实际推理速度显著提升\n视觉质量保持\n适配HunyuanVideo等主流模型\nAAAI 2026接收 5.5 关键洞察 优势：对注意力图的结构化分析深入，三种模式的识别有启发性；定制kernel实现到位。局限：固定的三种模式可能无法覆盖所有场景；模式选择的开销需考虑。 技术演进定位： Pattern-aware稀疏注意力的开拓者(AAAI 2026) 可能的后续方向： 更多Pattern发现 自动Pattern选择 6. SALAD：门控线性注意力并行分支——仅2000样本微调实现90%稀疏度 论文: SALAD arXiv: 2601.16515 机构: 清华大学, 腾讯 6.1 研究动机 核心问题： 免训练稀疏度受限于50-70%，而训练型方法计算成本高 免训练稀疏注意力受限于有限的稀疏度（通常50-70%），突破稀疏度上限需要训练。但训练型方法通常需要大量数据和计算。SALAD提出：能否用极轻量的微调达到极高稀疏度？ 前序工作及局限： 免训练稀疏方法：稀疏度上限有限 SLA：需要较多微调步数 与前序工作的本质区别： SALAD用极轻量微调(2000样本)在稀疏注意力旁添加线性分支达到90%稀疏度 6.2 方法原理 SALAD的核心设计：\n\n(1) 双分支并行：在原始稀疏注意力旁边添加一个轻量线性注意力分支，线性分支负责捕捉被稀疏注意力丢弃的低秩信息。\n\n(2) 输入依赖门控：用可学习门控机制根据输入内容动态调节两个分支的贡献权重。\n\n(3) 极轻量微调：仅新增线性注意力层和门控网络的参数，用2000个视频样本1600步即可完成训练。 6.3 核心创新 在稀疏注意力旁添加轻量线性注意力并行分支\n输入依赖门控机制动态平衡两分支贡献\n极轻量微调：仅需2000个视频样本和1600步训练\n90%稀疏度下质量与全注意力基线相当\n1.72x推理加速 6.4 实验结果 90%稀疏度，1.72x推理加速\n生成质量与全注意力基线相当\n仅需2000样本微调\n适配多种视频DiT模型 6.5 关键洞察 优势：微调效率极高（2000样本），工程门槛低；门控机制优雅。局限：1.72x加速低于SLA的2.2x；线性注意力的表达能力有限。 技术演进定位： 工程门槛最低的稀疏-线性融合方案 可能的后续方向： 门控机制改进 与VSA思路融合 7. VMonarch：Monarch矩阵结构化注意力——17.5倍FLOPs减少的数学最优解 论文: VMonarch arXiv: 2601.22275 机构: 南京大学, 腾讯 7.1 研究动机 核心问题： 现有稀疏方法缺乏数学最优性保证 视频DiT的注意力模式天然具有高度稀疏的时空结构，但现有稀疏方法(Top-K/局部窗口)要么不灵活要么丢失全局信息。VMonarch发现Monarch矩阵——一类具有灵活稀疏性的结构化矩阵——可以优雅地表示这些模式。 前序工作及局限： Monarch Mixer(2023)：结构化矩阵在Mixer中的应用 Monarch in LLM：LLM注意力压缩 与前序工作的本质区别： VMonarch首次将Monarch矩阵引入视频DiT，提供时空注意力的数学最优分解 7.2 方法原理 VMonarch的核心设计：\n\n(1) 时空Monarch分解：将全注意力矩阵分解为帧内(空间)和帧间(时间)两组Monarch因子，分别捕捉空间和时间相关性。\n\n(2) 交替最小化：通过交替优化两组因子来逼近原始全注意力，配合重计算策略解决收敛不稳定问题。\n\n(3) 在线熵算法：融入FlashAttention的在线计算范式，使Monarch矩阵更新在长序列上高效可行。 7.3 核心创新 首次将Monarch矩阵引入视频DiT注意力\n时空Monarch分解：帧内(空间)+帧间(时间)两组结构化因子\n交替最小化+重计算策略解决不稳定问题\n在线熵算法融入FlashAttention支持长序列\n17.5倍FLOPs减少，5倍以上注意力加速 7.4 实验结果 注意力FLOPs减少17.5倍\n注意力计算加速5倍以上\n90%稀疏度下超越所有SOTA稀疏注意力方法\n轻量微调后VBench质量与全注意力相当 7.5 关键洞察 优势：数学上最优雅的方案；FlashAttention兼容；理论深度最强。局限：交替最小化收敛依赖初始化；实际wall-clock加速(5x)远小于理论FLOPs减少(17.5x)，存在实现瓶颈。 技术演进定位： 理论深度最强的结构化注意力方案 可能的后续方向： 工程优化缩小理论-实际差距 与FlashAttention深度融合 8. Light Forcing：首个面向自回归视频扩散的稀疏注意力——Chunk-Aware Growth机制 论文: Light Forcing arXiv: 2602.04789 机构: 多机构合作 8.1 研究动机 核心问题： 现有稀疏注意力面向双向扩散模型，忽视自回归视频生成的因果特性 现有稀疏注意力主要面向双向扩散模型(如Wan/HunyuanVideo)，而自回归视频扩散模型(如GameGen/Oasis/CogVideoX-AR)的因果结构与双向模型截然不同。Light Forcing首次为AR视频扩散定制稀疏注意力方案。 前序工作及局限： 双向扩散稀疏方法：SVG/CalibAtt/SLA等 AR视频扩散模型：CogVideoX-AR/GameGen 与前序工作的本质区别： Light Forcing首次为AR视频扩散定制Chunk-Aware Growth稀疏注意力 8.2 方法原理 Light Forcing的核心设计：\n\n(1) AR注意力模式分析：发现AR视频扩散中注意力呈现因果增长的独特模式——新生成帧主要关注临近帧和关键锚帧。\n\n(2) Chunk-Aware Growth机制：将视频序列划分为因果chunk，稀疏注意力范围随chunk增长动态扩展，保持对历史的选择性回顾。\n\n(3) 锚帧保留策略：自动识别并保留关键参考帧的全注意力计算，确保长程一致性。 8.3 核心创新 首个专门面向自回归(AR)视频生成模型的稀疏注意力\n提出Chunk-Aware Growth机制适应AR生成的因果增长特性\n发现AR视频扩散中独特的注意力稀疏模式\n兼顾质量提升和效率加速\n开源代码和模型 8.4 实验结果 AR视频生成质量提升（质量和效率双赢）\n推理速度显著加速\n长视频生成的一致性提升\n代码开源 8.5 关键洞察 优势：AR视频生成方向的首个稀疏注意力方案，填补空白；Chunk-Aware Growth设计与AR范式天然匹配。局限：AR视频生成模型本身尚未成为主流；方法可推广性受限于AR架构。 技术演进定位： AR视频生成稀疏加速的开创者 可能的后续方向： AR范式普及后的标准化 与KV缓存压缩联合 9. CalibAtt：离线校准+在线高效推理——跨输入稳定的块级稀疏模式 论文: CalibAtt arXiv: 2603.05503 机构: 以色列理工 9.1 研究动机 核心问题： 免训练方法需要在线动态判断token重要性，开销大 已有稀疏注意力方法要么需要训练，要么在线动态判断token重要性(开销大)。CalibAtt发现核心洞察：稀疏模式在不同输入上惊人地稳定，可以离线一次校准、在线直接复用。 前序工作及局限： Sparse VideoGen：在线3%样本分析 动态稀疏方法：运行时判断开销 与前序工作的本质区别： CalibAtt发现稀疏模式跨输入稳定，可离线固定复用 9.2 方法原理 CalibAtt采用两阶段策略：\n\n(1) 离线校准阶段：在少量参考视频上运行全注意力，统计每一层、每个头、每个扩散时间步的块级稀疏模式和重复模式。\n\n(2) 模式编译：将稳定的稀疏模式编译为优化的注意力操作(类似JIT编译)。\n\n(3) 在线推理：只计算被选中的输入相关连接，以硬件友好方式跳过未选中连接。 9.3 核心创新 发现关键洞察：大量token-to-token连接在不同输入上一致地产生可忽略的注意力分数\n离线校准+在线推理两阶段策略\n层-头-时间步三维稀疏模式校准\n块级粒度兼顾精度和硬件效率\n完全免训练，1.58x端到端加速 9.4 实验结果 Wan 2.1 14B、Mochi 1及其蒸馏版本上实现1.58x端到端加速\n视频生成质量和文本-视频对齐度优于已有免训练方法\n支持多种分辨率\n完全免训练 9.5 关键洞察 优势：完全免训练、直接即插即用；离线校准成本低；硬件友好。局限：1.58x加速比在近期方法中不突出；对新架构需重新校准；块级粒度可能丢失细粒度信息。 技术演进定位： 离线校准范式的开创者 可能的后续方向： 模式自动更新 新架构快速适配 10. AdaSpa：动态模式+在线精确搜索——面向长视频的自适应稀疏注意力（ICCV 2025） 论文: AdaSpa arXiv: 2502.21079 机构: 字节跳动, 北京大学 10.1 研究动机 核心问题： 动态模式和在线搜索难以兼顾，现有方法牺牲其一 现有免训练稀疏方法要么用固定模式(无法适应动态变化)，要么在线搜索开销大。AdaSpa提出：能否将动态模式与在线精确搜索结合，实现既准确又高效的自适应稀疏注意力？ 前序工作及局限： 固定模式方法：CalibAtt等，无法动态适应 在线搜索方法：开销大 与前序工作的本质区别： AdaSpa利用FlashAttention的LSE副产品零开销实现在线精确搜索 10.2 方法原理 AdaSpa的核心设计：\n\n(1) 块化模式(Blockified Pattern)：将注意力矩阵划分为层次化block结构，高效表示DiT中的多尺度稀疏性。\n\n(2) LSE缓存搜索：利用FlashAttention计算过程中的LogSumExp副产品作为block重要性信号，零额外开销精确定位关键token区域。\n\n(3) 自适应稀疏决策：根据每步动态计算的重要性信号决定哪些block需要精确计算，实现自适应稀疏。 10.3 核心创新 首个结合动态模式和在线精确搜索的稀疏注意力方法\n块化模式(Blockified Pattern)高效表示DiT的层次稀疏性\nLSE(LogSumExp)缓存搜索实现精确重要token定位\n免训练、免数据、即插即用\n面向长视频生成加速\nICCV 2025接收 10.4 实验结果 长视频生成速度显著提升\n视觉质量与原始模型几乎相同\n免训练、免数据\nICCV 2025接收\n适配OpenSora等模型 10.5 关键洞察 优势：LSE缓存搜索零开销，设计极其优雅；免训练免数据实用性最强。局限：依赖FlashAttention实现，对其他注意力实现不通用。 技术演进定位： 免训练免数据方案的最优解(ICCV 2025) 可能的后续方向： 推广到更多注意力实现 与缓存方法叠加 其余论文速览 1. Sparse VideoGen Sparse VideoGen: Accelerating Video Diffusion Transformers with Inherent Sparsity | UC Berkeley | arXiv:2502.01776 关键词： 免训练, 空间/时间稀疏, 3D全注意力, 系列开山作 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 首个系统性利用3D全注意力天然稀疏性的免训练加速框架，在线3%样本分析识别空间/时间稀疏模式 效果： 在Wan/HunyuanVideo/Mochi上实现高效免训练加速，开创Sparse VideoGen系列 2. Sparse VideoGen2 Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Clustering | UC Berkeley | arXiv:2505.18875 关键词： 语义聚类, K-Means, 空间/时间稀疏, SVG系列第二代 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 基于K-Means语义聚类的稀疏注意力加速，自动发现空间和时间两种稀疏模式并分别优化 效果： 在SVG基础上进一步提升加速比，聚类质量直接影响加速效果 3. TempCache Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention | 多机构合作 | arXiv:2602.01801 关键词： KV缓存压缩, 自回归, 世界模型, AnnCA 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 面向自回归视频扩散的时间KV缓存压缩+稀疏注意力联合加速，AnnCA近似近邻注意力 效果： 长视频流式生成效率大幅提升，支持视频世界模型 4. SODA SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer | 多机构合作 | arXiv:2603.07057 关键词： 敏感度建模, 动态规划, 缓存+剪枝, 统一框架 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 敏感度导向的缓存+剪枝统一框架，通过动态规划求解最优缓存时间点 效果： 在DiT-XL/PixArt-α/OpenSora上实现SOTA保真度-加速比权衡 5. EasyCache Less is Enough: Training-Free Video Diffusion Acceleration via Adaptive Caching | 多机构合作 | arXiv:2507.03065 关键词： 免训练, 自适应缓存, 可叠加, 3x加速 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 无需训练的自适应缓存加速，运行时自适应决策何时复用何时重算，与SVG稀疏注意力可叠加 效果： SVG+EasyCache在HunyuanVideo上实现3x以上加速 6. FasterCache FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality | 多机构合作 | ICLR 2026 关键词： 免训练缓存, 时间步复用, ICLR 2026, 全自注意力 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 免训练视频扩散缓存加速，利用全自注意力层的时间步相关性进行特征复用 效果： 在CogVideoX/Vchitect 2.0/Mochi上实现高质量免训练加速 7. FastLightGen FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters | 香港科技大学(广州) | arXiv:2603.01685 关键词： 步数蒸馏, 参数剪枝, 联合压缩, 35x加速 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 步数+参数同时压缩的三阶段协同蒸馏管线，将13B模型压缩至30%参数4步推理 效果： 35x加速HunyuanVideo/WanX，5秒视频数秒内生成 8. FrameDiT FrameDiT: Frame-level Matrix Attention for Video Diffusion Transformers | 多机构合作 | arXiv:2603.10200 关键词： 帧级注意力, 矩阵注意力, 结构化, 需训练 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 帧级矩阵注意力替代token级全注意力，粒度介于Full 3D和Local Factorized之间 效果： 效率与Local Factorized Attention相当，多个视频生成benchmark达到SOTA 9. CausVid From Slow Bidirectional to Fast Autoregressive Video Diffusion Models | Nvidia, Technion | arXiv:2412.07772 关键词： 非对称蒸馏, CVPR 2025, 自回归, 实时生成, 9.4 FPS 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 将双向扩散模型蒸馏为因果自回归生成器，DMD视频蒸馏50步→4步，非对称蒸馏用双向教师监督因果学生 效果： 9.4 FPS实时生成，VBench-Long 84.27，CVPR 2025接收 10. STA Fast Video Generation with Sliding Tile Attention | UC Berkeley (Hao AI Lab) | arXiv:2502.04507 关键词： 滑动窗口, Tile级, 硬件友好, ICML 2025, 免训练 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 提出Tile级滑动窗口注意力替代Token级，利用视频DiT注意力在3D时空局部窗口内集中的特性，硬件友好设计 效果： 注意力加速2.8-17x(vs FlashAttention-2)，端到端1.36-3.53x加速，ICML 2025接收 11. BSA Bidirectional Sparse Attention for Faster Video Diffusion Training | UC Berkeley (Hao AI Lab) | arXiv:2509.01085 关键词： 训练加速, 双向稀疏, Query+KV稀疏, 动态阈值, 20x FLOPs 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 首个同时动态稀疏化Query和KV对的训练加速方法，通过语义相似性选择Query+动态阈值保留关键KV块 效果： 训练FLOPs减少20x，注意力训练加速17.79x，生成质量与全注意力持平或超越 12. NABLA ∇NABLA: Neighborhood Adaptive Block-Level Attention | AI Forever | arXiv:2507.13546 关键词： 块级注意力, CDF二值化, Flex Attention, 训练+推理, 开源权重 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 自适应块级注意力：下采样Q/K后在压缩空间计算注意力，CDF二值化生成稀疏mask，集成PyTorch Flex Attention无需自定义CUDA 效果： 训练和推理加速最高2.7x，可与STA叠加使用，Wan 2.1预微调权重已开源 13. SSTA (HunyuanVideo 1.5) HunyuanVideo 1.5 Technical Report — Selective and Sliding Tile Attention | 腾讯混元 | arXiv:2511.18870 关键词： SSTA, 选择性注意力, 滑动Tile, 工业级, 消费级GPU, 开源 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 提出SSTA(Selective and Sliding Tile Attention)：识别并剪除冗余时空KV块，仅对高信息区域执行全注意力，集成于8.3B参数的工业级视频生成模型 效果： 10秒720p视频端到端1.87x加速(vs FlashAttention-3)，消费级GPU可运行，开源模型权重 14. Awesome-Video-Attention Awesome-Video-Attention: A Curated Survey of Efficient Video Attention Methods | UC Berkeley (Hao AI Lab) | GitHub (hao-ai-lab) 关键词： 综述, 社区资源, 全技术栈, 持续更新 前序工作问题： 统一多模态生成与理解长期面临模态表示、训练目标和推理范式不一致的问题。 贡献： 视频注意力加速方法的系统性综述列表，涵盖稀疏化/量化/缓存等全部技术路线 效果： 社区标准参考，持续更新，按时间逆序排列 横向对比与技术脉络总结 横向对比：稀疏注意力在视频生成中的技术路线对比 论文 方法类别 是否需要训练 注意力加速 端到端加速 测试模型 质量保持 SLA 稀疏+线性融合 轻量微调 13.7x 2.2x Wan 2.1 1.3B SLA2 稀疏+线性+量化 可学习路由 18.6x - 视频DiT SVG-EAR 稀疏+线性补偿 免训练 - 1.93x Wan 2.2 / HunyuanVideo VSA 可训练稀疏 预训练替换 训练+推理 - 视频DiT Sparse-vDiT Pattern定制kernel 免训练 显著 显著 HunyuanVideo SALAD 稀疏+线性门控 2000样本微调 - 1.72x 视频DiT VMonarch 结构化Monarch 轻量微调 5x - VBench Light Forcing AR稀疏 免训练 显著 - AR视频DiT CalibAtt 离线校准稀疏 免训练 - 1.58x Wan 2.1 14B / Mochi AdaSpa 自适应稀疏 免训练免数据 显著 显著 OpenSora 核心技术趋势 从免训练到可训练，从推理到全程 稀疏注意力的演进路线清晰：免训练方法(CalibAtt/SVG-EAR)天花板约2x，轻量微调(SALAD/SLA)突破至2-5x，全程可训练(VSA)则实现训练+推理双加速。三条路线并行发展，适用于不同部署场景。 稀疏+线性融合成为最优范式 SLA(ICLR 2026 Oral)确立了'大权重用稀疏、小权重用线性'的分工模式。SLA2通过可学习路由将其推向极致(18.6x)。SALAD用门控机制轻量化实现同一思路。这一范式的优势在于理论完备且工程可落地。 注意力图的结构化利用 从统一稀疏策略到结构化利用：Sparse-vDiT识别三种Pattern、VMonarch用Monarch矩阵表示时空结构、CalibAtt发现跨输入稳定性。理解注意力图的内在结构是设计更好稀疏方案的关键。 自回归视频扩散带来新挑战 Light Forcing和TempCache分别面向AR视频扩散设计稀疏注意力和缓存压缩。随着AR范式(CogVideoX-AR/GameGen)兴起，因果注意力的稀疏化将成为新研究热点。 多方法叠加实现极致加速 EasyCache+SVG可叠加达3x+；SLA+步数蒸馏理论可达5-10x无损加速；稀疏注意力+量化(SLA2 QAT)+缓存三者联合将推动视频生成走向消费级设备实时部署。 人工智能炼丹君 整理 | 数据来源：arXiv 2025年5月 — 2026年4月

AIGC 每日速读|2026-05-01|20秒训练7x加速DiT，SAMG零开销解锁空间自适应… 今日核心看点 ViPO 偏好优化 SAMG 自适应引导 L2P 推理加速 SpatialFusion 3D感知 Z² 零开销采样 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 推理加速与采样优化 3 篇 (L2P, Z²-Sampling, IDaS-SR) 引导策略与偏好对齐 3 篇 (SAMG, ViPO, ACPO) 统一生成架构与可控性 2 篇 (SpatialFusion, Diffusion Templates) 生成式超分辨率 2 篇 (MetaSR, IDaS-SR) 视觉推理与规划评测 1 篇 (EAR) 今日论文速览 1. ViPO: Visual Preference Optimization at Scale ViPO：大规模视觉偏好优化 | ICLR 2026 | arXiv:2604.24953 关键词： 偏好优化·扩散模型·DPO·大规模数据集·图像视频生成 前序工作问题： 开源偏好数据集存在冲突模式和噪声，直接优化难以学习有效偏好，阻碍视觉生成模型的大规模偏好对齐 贡献： 提出 Poly-DPO 算法通过多项式项动态调节模型置信度适应不同数据分布，构建含 100 万图像对和 30 万视频对的大规模偏好数据集 效果： 在 Pick-a-Pic V2 上 GenEval 指标超 Diffusion-DPO 6.87 分(SD1.5)和 2.32 分(SDXL)，训练模型远超现有开源偏好数据集 批判点评： 数据集构建依赖 SOTA 模型生成偏好对，可能引入模型自身偏差；Poly-DPO 在高质量数据上退化为标准 DPO，额外复杂度的实际收益有限 2. SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness SpatialFusion：赋予统一图像生成内在3D几何感知 | Zhejiang University | arXiv:2604.26341 关键词： 3D感知·统一生成·MoT架构·深度图·空间推理 前序工作问题： 统一图像生成模型在空间感知任务上表现受限，缺乏内在空间理解和生成时的显式几何引导 贡献： 提出 MoT 架构并行空间 Transformer 提取度量深度图作为几何支架，通过深度适配器注入扩散骨干实现空间一致生成 效果： 在空间感知基准上显著超越 GPT-4o 等领先模型，同时在 T2I 和图像编辑上实现泛化性能提升，推理开销可忽略 批判点评： 依赖额外深度 Transformer 分支增加参数量；空间感知仅覆盖单目深度，对遮挡和多视角一致性的处理能力未验证 3. Delta Score Matters! Spatial Adaptive Multi Guidance in Diffusion Models SAMG：空间自适应多引导打破细节-伪影困境 | Unknown | arXiv:2604.26503 关键词： CFG改进·空间自适应·微分几何·零开销·图像视频扩散 前序工作问题： 标准 CFG 使用全局均匀标量引导，陷入'细节-伪影困境'：低引导丢失语义细节，高引导导致结构退化和色彩过饱和 贡献： 从微分几何角度揭示 CFG 本质是切向线性外推在弯曲流形上引入正交偏差，提出 SAMG 逐点动态计算引导能量实现空间自适应 效果： 跨 SD1.5/SDXL/SD3.5/CogVideoX/ModelScope 五种架构验证，零计算开销下同时提升语义对齐、结构完整性和时序平滑度 批判点评： 理论分析基于 Tweedie 公式的局部近似，对高阶流形曲率的建模精度不明；逐点计算在极高分辨率下的内存开销未讨论 4. Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models L2P：可学习线性预测器加速 DiT 推理 | CVPR 2026 | arXiv:2604.26365 关键词： 推理加速·特征缓存·可学习权重·DiT·FLUX 前序工作问题： DiT 特征缓存加速方法依赖手工固定预测公式，在激进跳步策略下性能严重退化 贡献： 提出 L2P 用可学习的逐时间步权重替代固定系数，仅需单 GPU 约 20 秒训练即可从历史轨迹精确重建当前特征 效果： FLUX.1-dev 上实现 4.55 倍 FLOPs 降低和 4.15 倍延迟加速，Qwen-Image 上 7.18 倍加速仍保持高视觉保真度 批判点评： 线性预测器表达能力有限，对复杂非线性特征变化的建模可能存在天花板；泛化到不同提示分布的鲁棒性未充分验证 5. Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion Diffusion Templates：统一插件框架实现可控扩散模组化 | Unknown | arXiv:2604.24351 关键词： 可控生成·插件框架·模块化·KV-Cache·LoRA·开源 前序工作问题： 可控扩散方法各自独立开发，训练管线、参数格式和运行时钩子互不兼容，难以跨任务复用和组合多种控制 贡献： 提出系统级统一接口框架，解耦基础模型推理与可控能力注入，通过 Template Model/Cache/Pipeline 三组件支持异构能力载体 效果： 构建覆盖结构控制、亮度/色彩调整、编辑、超分、锐化、美学对齐、内容参考、局部修复、年龄控制等 11+ 任务的模型动物园 批判点评： 框架抽象层可能引入额外推理延迟；不同 Template 组合时的冲突解决策略未深入讨论 6. Z²-Sampling: Zero-Cost Zigzag Trajectories for Semantic Alignment in Diffusion Models Z²-Sampling：零开销锯齿采样破 Pareto 前沿 | Unknown | arXiv:2604.23536 关键词： 采样加速·锯齿轨迹·代数消元·CFG增强·零额外NFE 前序工作问题： 显式锯齿采样(Z-Sampling)通过多步前向-后向遍历探测流形曲率提升语义对齐，但三倍化 NFE 开销且引入离流形截断误差 贡献： 证明显式锯齿序列拓扑可约，提出隐式 Z-Sampling 通过算子对偶代数消元中间态，结合时序语义代理实现零开销 效果： 恢复标准 2-NFE 基线同时保留语义探索增益，跨 UNet/DiT 架构和图像/视频模态验证，与 AYS/Diffusion-DPO 正交兼容 批判点评： 代数消元依赖特定 ODE 求解器的时序相干性假设，对自适应步长调度器的兼容性需进一步验证 7. Bridging Restoration and Generation Manifolds in One-Step Diffusion for Real-World Super-Resolution IDaS-SR：一步扩散桥接修复与生成流形 | Unknown | arXiv:2604.24136 关键词： 真实超分·一步推理·流形桥接·感知-失真平衡·噪声估计 前序工作问题： 单步蒸馏加速方法面临刚性时间步初始化、分布轨迹错配和脆弱随机调制导致的感知-失真权衡困境 贡献： 提出 MINE 预测退化感知时间步和反演噪声锚定低质量潜变量，CHARIOT 连续生成导向机制显式导航感知-失真边界 效果： 一步推理下超越 SOTA 方法，从严格结构修复器到精细纹理幻觉器的无缝过渡 批判点评： 退化感知依赖预训练的退化分类器，对未见退化类型的泛化能力存疑；一步推理的质量上界仍受限于蒸馏教师 8. ACPO: Anchor-Constrained Perceptual Optimization for Diffusion Models with No-Reference Quality Guidance ACPO：锚点约束感知优化提升扩散模型主观质量 | Unknown | arXiv:2604.26348 关键词： 感知质量·无参考IQA·锚点正则化·微调稳定性·分布漂移 前序工作问题： 扩散模型训练以像素级全参考损失为主，忽略主观视觉感知质量；直接优化无参考 IQA 信号导致训练不稳定和分布漂移 贡献： 提出锚点约束优化框架，通过 NR-IQA 模型引导感知优化同时用锚点正则化在噪声预测层面保持与基础模型一致性 效果： 有效平衡感知质量提升与生成保真度/多样性保持，避免微调过程中的训练不稳定 批判点评： NR-IQA 模型自身的偏差可能被放大注入生成模型；锚点强度的最优选择缺乏自适应机制 9. MetaSR: Content-Adaptive Metadata Orchestration for Generative Super-Resolution MetaSR：内容自适应元数据编排生成式超分辨率 | Northwestern University | arXiv:2604.26244 关键词： 生成式超分·元数据引导·DiT·一步蒸馏·码率优化 前序工作问题： 现有元数据引导超分方法使用固定调节设计，在内容和退化多样性高的真实场景中次优，传输预算受限时尤甚 贡献： 提出基于 DiT 的框架智能选择并注入任务相关元数据引导超分，利用 VAE 和 Transformer 融合异构元数据并实现一步推理蒸馏 效果： 跨多种内容桶和退化模式超越参考方案最高 1.0dB PSNR，匹配质量下节省 50% 传输码率 批判点评： 元数据选择策略的计算开销和在线部署延迟未量化；实验未覆盖极端退化(如严重压缩伪影)场景 10. Probing Visual Planning in Image Editing Models EAR：编辑即推理探测图像编辑模型视觉规划能力 | Unknown | arXiv:2604.22868 关键词： 视觉规划·编辑即推理·抽象谜题·迷宫·评测基准 前序工作问题： 视觉规划是人类智能关键能力，但机器学习中多以语言为中心解决；纯视觉方法因逐步生成范式计算效率低下 贡献： 提出 EAR 编辑即推理范式将视觉规划重构为单步图像变换，引入 AMAZE 抽象迷宫数据集自动评估 AR 和扩散模型的像素保真度与逻辑有效性 效果： 微调后模型可泛化到更大规模和域外几何，但最佳模型仍无法匹配人类零样本效率，揭示神经视觉推理差距 批判点评： 抽象迷宫任务与真实图像编辑场景差异大，结论迁移性存疑；评估仅覆盖路径规划类任务，对创意编辑推理无覆盖 趋势观察 扩散模型推理加速持续白热化 — L2P(20秒训练7x加速)、Z²-Sampling(零开销语义增强)、IDaS-SR(一步超分) 三篇工作从不同角度逼近效率极限 CFG 引导范式迎来几何重构 — SAMG 和 Z²-Sampling 不约而同从微分几何视角重新理解 CFG，推动引导策略从粗暴标量走向精细空间自适应 人工智能炼丹君 整理 | 2026-05-01 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-04-30|V-GRPO让RL对齐提速3倍，64token暴力生图 今日核心看点 RL对齐扩散 1D AR生成 视频后训练 音频RLHF 组合式文生图 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 扩散模型 RL 对齐与加速 2 篇 (V-GRPO, Mutual Forcing) 视频生成后训练与叙事 2 篇 (Systematic Post-Train, Co-Director) 图像生成与编辑 4 篇 (VibeToken, RvR, Golden RPG, ResetEdit) 音频与音乐生成 2 篇 (Step-Audio-R1.5, SymphonyGen) 今日论文速览 1. V-GRPO：RL对齐扩散模型原来这么简单，文生图SOTA提速3倍 V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think | 2604.23380 关键词： 强化学习·扩散模型·ELBO·GRPO·文生图对齐 前序工作问题： 用策略梯度在线 RL 对齐扩散生成模型面临似然不可解难题，现有 MDP 轨迹方法稳定但低效，ELBO 代理方法在视觉生成上表现不佳 贡献： 提出 V-GRPO，将 ELBO 代理与 GRPO 算法融合，通过降低代理方差和控制梯度步长使 ELBO 路线首次超越 MDP 方法，实现稳定高效的扩散模型 RL 对齐 效果： 在文生图合成中达到 SOTA 性能，相比 MixGRPO 提速 2 倍，相比 DiffusionNFT 提速 3 倍，且实现简单、与预训练目标自然对齐 批判点评： ELBO 代理的方差控制依赖精心调参，泛化到不同扩散架构的鲁棒性待验证；仅在文生图场景评估，对视频生成等其他扩散任务的迁移能力未知；与 DPO 等离线方法的对比缺少公平条件分析 2. VibeToken：1D Tokenizer让AR图像生成效率暴增63倍（CVPR 2026） VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations | 2604.24885 关键词： 图像Tokenizer·自回归生成·动态分辨率·1D序列·CVPR 2026 前序工作问题： 固定分辨率 AR 模型的推理 FLOPs 随分辨率二次增长（LlamaGen 在 1024×1024 需 11T FLOPs），且无法泛化到任意宽高比 贡献： 提出 VibeToken，基于 1D Transformer 的分辨率无关图像 Tokenizer，将图像编码为 32-256 个用户可控 token，实现动态分辨率自回归生成；VibeToken-Gen 仅用 64 token 即可合成 1024×1024 图像 效果： 64 token 生成 1024×1024 图像达 3.94 gFID（对比 SOTA 扩散模型 1024 token / 5.87 gFID），推理 FLOPs 仅 179G，比 LlamaGen 高效 63.4 倍且与分辨率无关 批判点评： 极端压缩（32 token 编码一张图）可能丢失高频细节；1D tokenizer 对空间结构的建模能力不如 2D 方案；CVPR 接收但 gFID 指标与最新扩散模型仍有差距 3. Mutual Forcing：4步搞定音视频角色生成，无需教师模型 Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation | 2604.25819 关键词： 音视频生成·自回归·自蒸馏·少步生成·双模式协同 前序工作问题： 现有流式蒸馏管线需先训练双向教师模型再多阶段蒸馏为因果生成器，流程复杂、训练开销大，且受限于固定教师质量 贡献： 提出 Mutual Forcing 框架，在原生自回归模型上集成少步和多步两种生成模式共享参数，多步模式通过自蒸馏提升少步模式质量，少步模式在训练时生成历史上下文改善训练-推理一致性，两模式互相强化 效果： 仅用 4-8 步即可匹配或超越需要约 50 步采样的强基线，无需额外双向教师模型，支持更灵活的训练序列长度 批判点评： 双模式共享参数可能导致两种模式互相干扰而非完全互补；4-8 步生成在高质量要求场景下是否真正匹配全步效果需更多定量验证；仅在角色动画场景验证，泛化到通用音视频的能力待考 4. 视频生成后训练蓝图：SFT→RLHF→提示增强→推理优化四步走 A Systematic Post-Train Framework for Video Generation | 2604.25427 关键词： 视频生成·后训练·RLHF·GRPO·SFT·推理优化 前序工作问题： 大规模视频扩散模型预训练后仍存在提示敏感、时序不一致和推理成本过高等问题，导致与实际部署需求之间有巨大差距 贡献： 提出系统化后训练框架，分四阶段逐步对齐：SFT 稳定指令跟随 → RLHF（视频专用 GRPO）增强感知质量和时序一致性 → 提示增强精炼用户输入 → 推理优化压缩采样成本 效果： 统一管线有效抑制常见伪影，显著提升可控性和视觉美学，同时满足严格的采样成本约束，提供可复制的生产级后训练蓝图 批判点评： 四阶段串联管线的调参和维护成本极高；GRPO 在视频维度的奖励设计细节不够充分；缺少与 InstructVideo、VideoDirectorGPT 等已有后训练方法的直接对比 5. RvR：统一多模态模型的图像精修应该「再生」而非「编辑」 Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models | 2604.25636 关键词： 统一多模态·图像精修·条件再生成·语义对齐·修改空间 前序工作问题： 统一多模态模型的精修方法沿用编辑范式（RvE），编辑指令对齐描述粗糙且像素级保留过度限制修改空间，导致精修不完整 贡献： 提出 Refinement via Regeneration (RvR) 框架，将精修重定义为基于目标提示和初始图像语义 token 的条件再生成，突破编辑范式的修改空间限制实现更完整的语义对齐 效果： Geneval 从 0.78 提升至 0.91，DPGBench 从 84.02 到 87.21，UniGenBench++ 从 61.53 到 77.41，全面提升文图对齐质量 批判点评： 再生成策略可能导致图像风格和低级纹理的不一致；对已经高度对齐的初始图像反而可能引入不必要的变化；语义 token 的压缩程度对再生成质量的影响未充分消融 6. Step-Audio-R1.5：用RLHF突破音频推理的「可验证奖励陷阱」 Step-Audio-R1.5 Technical Report | 2604.25719 关键词： 音频推理·RLHF·可验证奖励陷阱·韵律自然度·沉浸对话 前序工作问题： 大型音频语言模型通过 RLVR 优化在基准测试上取得高分，但系统性地退化对话的韵律自然度、情感连续性和用户沉浸感，变成机械的「答题机器」 贡献： 揭示「可验证奖励陷阱」——RLVR 将丰富连续的听觉语境压缩为离散可验证标签的根本矛盾；引入 Step-Audio-R1.5，开创性地在音频推理中使用 RLHF 替代 RLVR，从机械客观验证转向感官共情 效果： Step-Audio-R1.5 在保持分析推理能力的同时深刻改善交互体验，重新定义深度沉浸式长轮对话的边界 批判点评： RLHF 的人类偏好数据收集成本极高且主观性强；「可验证奖励陷阱」的论述虽有洞察但定量证据不足；对非对话场景（如音频分类、音频检索）的影响未讨论 7. Co-Director：多智能体协作驱动视频叙事创作 Co-Director: Agentic Generative Video Storytelling | 2604.24842 关键词： 视频叙事·多智能体·分层优化·多臂赌博机·身份一致性 前序工作问题： 扩散模型能生成高保真视频片段但难以构成连贯叙事，现有智能体管线因独立手工提示而导致语义漂移和级联失败 贡献： 提出 Co-Director 分层多智能体框架，将视频叙事形式化为全局优化问题：多臂赌博机全局探索有前景的创意方向，局部多模态自精炼循环抑制身份漂移确保序列级一致性 效果： 在 GenAD-Bench（400 场景个性化广告数据集）上显著超越 SOTA 基线，可无缝泛化到更广泛的电影叙事 批判点评： 多臂赌博机的探索-利用权衡在创意领域的适用性存疑；400 场景集中在广告领域，对长篇叙事的验证不足；多智能体协调的计算开销和延迟缺乏量化分析 8. Golden RPG：区域感知噪声让组合式文生图更精准 Golden RPG: Confidence-Adaptive Region-Aware Noise for Compositional Text-to-Image Generation | 2604.25314 关键词： 组合式文生图·区域感知·噪声预测·FiLM·置信度自适应 前序工作问题： 扩散模型的 golden noise 预测本质上是全局的，同一网络用单一文本嵌入概括多区域提示，在描述空间分离实体时成为瓶颈 贡献： 提出 Golden RPG，在冻结 NPNet 上增加两个可训练模块：逐区域 FiLM 适配器按子提示重塑预测噪声、Region Cross-Attention 让不同空间位置关注不同子提示 token；置信度自适应融合头动态决定区域信号覆盖全局信号的强度 效果： 在 RPG 基准和 T2I-CompBench 四类多区域评测上均取得最高 Cross-Region-Coherence 分数，用户研究中约 67% 偏好率超越最强基线，仅增加约 2M 参数和 0.6s 推理开销 批判点评： 依赖冻结的 NPNet 基座，其固有局限传导到区域预测；FiLM 适配器的区域分解假设子提示完全独立，忽略跨区域交互；仅在 SDXL 上验证，对其他扩散架构的迁移性未知 9. ResetEdit：给生成图预埋「回溯锚点」实现精确重编辑 ResetEdit: Precise Text-guided Editing of Generated Image via Resettable Starting Latent | 2604.25128 关键词： 图像编辑·扩散反演·可重置隐变量·主动嵌入·VAE补偿 前序工作问题： 现有反演方法（如 DDIM 反演）产生的起始隐变量质量差，导致编辑保真度和结构一致性受损；理想的编辑锚点是生成时的原始隐变量，但为每张图存储该隐变量不现实 贡献： 提出 ResetEdit 主动扩散编辑框架，在生成过程中将干净隐变量与扩散隐变量的差异信息嵌入扩散轨迹，反演时提取该信息重建近似真实起始状态的可重置隐变量；轻量隐变量优化模块补偿 VAE 不对称导致的重建偏差 效果： 基于 Stable Diffusion 无缝集成现有免微调编辑方法，在可控性和视觉保真度上持续超越 SOTA 基线 批判点评： 需要在生成阶段预埋信息，无法用于已有的外部图像编辑；嵌入的差异信息可能影响原始生成质量；对高步数扩散过程的信息保持能力未分析 10. SymphonyGen：3D分层管弦乐生成，GRPO+不协和感知采样 SymphonyGen: 3D Hierarchical Orchestral Generation with Controllable Harmony Skeleton | 2604.25498 关键词： 音乐生成·交响乐·3D分层·GRPO·不协和感知采样 前序工作问题： 交响音乐生成需同时管理高层结构形式和密集多轨编配，现有符号模型面临「复杂度-控制失衡」，扩展瓶颈限制长期精细可控性 贡献： 提出 SymphonyGen 3D 分层框架，级联解码器将 Bar-Track-Event 三轴解耦提升计算效率；引入 beat-quantized 多声部和声骨架实现轮廓控制；GRPO 跨模态音频感知奖励对齐符号输出与现代声学期望；不协和感知采样算法抑制推理时的意外调性冲突 效果： 客观评估证明 RL 和不协和感知采样有效提升和声清洁度同时保持旋律表达力，主观评估在音乐性和偏好度上超越基线 批判点评： 3D 分层解码器的三轴解耦假设 Bar/Track/Event 独立性，可能丢失跨轴依赖；GRPO 奖励基于音频渲染，符号到音频的转换引入额外噪声；训练数据以西方古典/电影音乐为主，对其他音乐体系的泛化有限 趋势观察 GRPO 成为生成模型标配优化器 — V-GRPO、Systematic Post-Train、SymphonyGen 三篇独立工作不约而同选择 GRPO 作为 RL 对齐核心，标志着 GRPO 从 LLM 走向多模态生成的全面渗透 生成模型从预训练转向后训练精细化 — Systematic Post-Train 的四阶段蓝图和 Step-Audio-R1.5 对 RLHF 的引入，说明业界已从追求更大预训练模型转向挖掘后训练阶段的对齐潜力 人工智能炼丹君 整理 | 2026-04-30