AIGC 每日速读|2026-05-29|生数科技minWM开源实时交互视频世界模型 今日 AIGC 论文速览 今日共 8 篇 · 视频世界模型 3 篇 · 流式视频生成 1 篇 · 音视频联合生成 1 篇 · 可控图像生成与数据 2 篇 · 大模型记忆与微调 1 篇 重点论文标题列表 minWM：实时交互视频世界模型全栈开源 NAVA：原生音视频对齐联合生成6.3B Gamma-World：多智能体生成式世界模型 AdaState：流式视频生成自演化锚点 YoCausal：视频生成因果性认知基准 今日论文速览 1. minWM：实时交互视频世界模型全栈开源 minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models | 生数科技, 清华大学 | arXiv:2605.30263 关键词：视频世界模型·实时交互·自回归蒸馏·开源·生数科技 前序问题：视频扩散基础模型已能高质量出片，但把它变成实时交互视频世界模型仍然难：交互世界模型需要可控、因果、低延迟的 rollout，实践上要打通数据构造、可控微调、自回归训练、少步蒸馏、流式推理整条链路，而开源社区一直缺一套能跑通的端到端 recipe 本文贡献：minWM：全栈开源框架，把现成的双向 T2V/TI2V 视频基础模型转成「相机可控 + 少步自回归」的世界模型。先对双向扩散做相机控制微调，再用 Causal Forcing / Causal Forcing++ 流程（AR diffusion 训练 + causal ODE/consistency 蒸馏 + 非对称 DMD）蒸成少步自回归生成器做低延迟 rollout。框架模块化、架构可扩展：在 Wan2.1-T2V-1.3B（cross-attention 条件注入）和 HY1.5-TI2V-8B（MMDiT）上分别实例化，还能把 HY-WorldPlay 等已有世界模型适配到新数据分布、训练配方与延迟目标 实验效果：不止放出可运行脚本、checkpoint、文档和推理代码，还给出相机轨迹质量、可控性训练步数、最小 batch size 等实战 ablation——是这个方向少见的「能跑起来、可复现、可扩展」的实时交互视频世界模型配方 (github.com/shengshu-ai/minWM) 批判点评：「全栈开源 + 跨两种主流架构（Wan2.1 cross-attn / HY1.5 MMDiT）实例化 + 可适配已有世界模型」三点让它成为这个方向稀缺的工程基建，对想做实时交互视频的团队意义重大。但框架 / recipe 类工作的核心价值在工程完整度而非单点创新；Causal Forcing++ 与非对称 DMD 联训的稳定性、长 rollout 的累积漂移控制还可以披露更多 2. NAVA：原生音视频对齐联合生成6.3B Native Audio-Visual Alignment for Generation | 百度 ERNIE | arXiv:2605.30073 关键词：音视频联合生成·原生对齐·MMDiT·音色可控·百度 前序问题：联合音视频生成要做到时序同步 + 语义连贯，但现有开源方案要么走「双塔 + 后验对齐」（弱化细粒度音视频协同演化），要么走「三模态全统一」（把语义条件和底层同步耦死在一起）——两条路线都有结构性缺陷 本文贡献：NAVA：context-conditioned 的原生音视频对齐框架。先在专用交互空间建立音视频对应关系，再用外部 context 条件化联合去噪。用 Align-then-Fuse MMDiT 架构实例化，从「模态感知的音视频对齐」平滑过渡到「模态共享的联合去噪」；并提出 Timbre-in-Context Conditioning，把参考音色线索关联到对应语音片段，实现可控语音音色 实验效果：在 Verse-Bench 和 Seed-TTS 上配合用户研究表明：仅用 6.3B 参数即取得更优视频质量、精确的音视频同步、有竞争力的音频质量，以及更强的参考音色可控性 批判点评：「先对齐后融合」而非「一上来全统一」的设计直击双塔 / 三模态两条路线的痛点，6.3B 拿下多项指标性价比很高；Timbre-in-Context 把音色可控做进 context 是干净的设计。但「专用交互空间 + 联合去噪」的两阶段是否引入额外训练复杂度、对更长音视频的扩展性仍需观察 3. Gamma-World：多智能体生成式世界模型 Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players | NVIDIA, 清华大学 | arXiv:2605.28816 关键词：多智能体·世界模型·RoPE·稀疏注意力·NVIDIA 前序问题：交互式视频世界模型大多聚焦单 agent（从单一控制信号生成未来观测），但很多生成环境需要多 agent 同时在共享空间行动（多玩家 / 机器人 / 具身体）。扩到多 agent 需要原则性设计：各 agent 独立可控、排列对称、推理高效，同时跨时间和视角保持一致 本文贡献：生成式多智能体世界模型。提出 Simplex Rotary Agent Encoding：3D RoPE 的无参扩展，把 agent 表示成旋转角空间里正单纯形的顶点，给每个 agent 不同相位又保持排列等价——无需学习 per-slot 身份或固定排序即可扩展 agent 身份；提出 Sparse Hub Attention：用可学习 hub token 中介跨 agent 交互，把跨 agent 注意力从二次降到线性。再把全上下文扩散 teacher 蒸成因果 student，带 KV cache 顺序生成时间块，实现 24FPS 的动作响应生成 实验效果：多人虚拟环境实验中，在视频保真度、动作可控性、agent 间一致性上超越 slot-based 和 dense-attention 基线，且无需额外训练即可从 2 玩家泛化到 4 玩家 批判点评：「用正单纯形顶点的旋转相位编码 agent 身份」是极优雅的无参设计——天然排列对称又可扩展；Sparse Hub Attention 把多 agent 注意力线性化是务实工程；从 2 人零样本泛化到 4 人很有说服力。但 hub token 数量与 agent 数的可扩展上限、长时序多 agent 一致性的退化曲线需要更大规模验证 4. AdaState：流式视频生成自演化锚点 AdaState: Self-Evolving Anchors for Streaming Video Generation | 弗吉尼亚理工 Virginia Tech | arXiv:2605.30349 关键词：流式视频生成·自回归扩散·自演化锚点·KV cache·时间相对 前序问题：自回归视频扩散逐块生成、每块条件于已生成内容，但模型结构性地「锚定在第一帧」：首帧 KV 占据注意力 cache 的特权位置、作为整段主场景参考。作为最干净无误差的位置，这个锚点吸走过多注意力，压制视频动态、把场景构图锁死在初始视角，结果是「时间上很浅」的视频——运动、镜头、场景推进都被静态一致性压制 本文贡献：用「自适应 state」替换静态锚点——一个隐 latent，模型每块和内容一起去噪但从不渲染。模型不再参考冻结的首帧，而是每步通过同时关注「前一 state + 当前内容」自己生成场景锚点，产出随生成内容演化的参考。不同于编码绝对时间的标准视频生成，本方法把时间当相对量：每个生成步看到相同的位置结构、state transition 每块都相同。这给生成过程引入了递归——去噪即 transition 函数，KV cache 即载体，无需任何外部模块 实验效果：实验表明自适应 state 大幅改善视频动态，让生成视频内出现更丰富的运动和更自然的场景推进 批判点评：「首帧 KV 锚点偷走注意力 → 视频时间上变浅」的诊断非常精准，用「可去噪但不渲染的隐 state」做自演化锚点是优雅的零外部模块方案，把时间从绝对改成相对的视角很有启发。但「丰富运动」与「时序一致性」本就是 trade-off，自演化锚点会不会牺牲长程一致性需要定量；缺与显式 memory / anchor 方法的正面对比 5. YoCausal：视频生成因果性认知基准 YoCausal: How Far is Video Generation from World Model? A Causality Perspective | 上海 AI Lab, 阳明交大 NYCU | arXiv:2605.30346 关键词：视频生成·世界模型·因果性·评测基准·上海AILab 前序问题：视频扩散模型（VDM）正走向世界模型，关键问题是：它们真懂因果，还是只过拟合统计时序模式？现有基准大多依赖合成数据，受 sim-to-real gap 限制真实世界泛化 本文贡献：YoCausal：受认知科学「违反预期(VoE)」范式启发的两级基准。零成本地把真实世界视频时序反转，作为天然反事实样本，建立可任意扩展的评测协议。Level 1 提出 Reverse Surprise Index (RSI)，用去噪 loss 量化「时间箭头」感知；Level 2 提出 Causality Cognition Index (CCI)，用 VLM 把数据分层成因果 / 非因果子集，把真正的因果推理从时序偏置中解耦 实验效果：评测 13 个 SOTA VDM 发现：感知到时间箭头并不意味着理解因果，且相对人类级因果认知仍存在显著差距 批判点评：「时序反转真实视频做零成本反事实」是极聪明的基准构造，RSI / CCI 两级指标把「时间感知」与「因果认知」分层解耦的思路很清晰，给「视频生成→世界模型」泼了必要的冷水。但用去噪 loss 衡量「惊讶度」是否完全等价于因果理解仍可争议；VLM 分层本身的可靠性会传导到 CCI 的结论 6. GenClaw：代码驱动的智能体图像生成 GenClaw: Code-Driven Agentic Image Generation | 中山大学 | arXiv:2605.30248 关键词：图像生成·智能体·代码驱动·可控生成·中山大学 前序问题：图像生成已从「文本条件像素合成」走向「具备视觉理解 + 工具调用的多模态 agent」，但现有 agent 仍受制于底层黑盒图像模型——工作流困在「为优化生成反复改 prompt」的循环里，没有直接操控画布的机制。LLM 作为精确视觉构建「画笔」的潜力基本未被开发 本文贡献：GenClaw：代码驱动的智能体图像生成范式，让 agent 像人类艺术家一样创作——先构思、再起草、最后上色。agent 先通过搜索和推理构建概念知识与上下文；再用代码（SVG / HTML / Three.js）渲染可执行的视觉草图；最后用图像生成模型补充纹理、材质、真实感。代码在此作为可控的中间画布，桥接语言推理与像素合成，把程序逻辑与生成模型的视觉表现力无缝整合 实验效果：把图像生成从黑盒范式转成类似真实人类创作的分阶段过程，朝着高度可控、可解释的视觉生成系统迈出一步 批判点评：「代码作中间画布」是把可控性问题转译成「可执行草图」的聪明思路——SVG / HTML / Three.js 草图天然结构化、可精确编辑，比反复改 prompt 强太多；构思-起草-上色的拟人流程也很有叙事性。但代码草图能表达的视觉复杂度有上限（精细写实场景难用 SVG 起草），最终仍依赖底层生成模型的「上色」能力；端到端延迟和失败率需要量化 7. GPIC：28万亿像素许可级图像语料 GPIC: A Giant Permissive Image Corpus for Visual Generation | 斯坦福 李飞飞团队 | arXiv:2605.30341 关键词：图像语料·视觉生成·许可数据集·flow matching·斯坦福 前序问题：研究可扩展的视觉生成方法需要大、可获取、稳定的数据集，但开放且许可清晰的大规模图像语料长期稀缺 本文贡献：GPIC：约 28 万亿像素的巨型许可图像语料。由 SOTA 视觉语言模型为多样互联网图像生成 caption，含 1 亿训练 + 20 万验证 + 100 万测试样本。所有图像均「研究 + 商用」许可宽松，经安全过滤、去重，集中托管于 Hugging Face。提供生成建模的 benchmark 协议，并给出像素空间 flow matching 的参考 baseline 实验效果：数据集、benchmark、模型全部开放（stanford-vision-lab/gpic）；为视觉生成提供「大规模 + 许可清晰 + 稳定可复现」的公共底座 批判点评：「许可宽松 + 商用可用 + 安全去重 + 集中托管」直击当前生成数据集的版权 / 可复现痛点——这种基础设施工作对整个社区的长尾价值很高，28 万亿像素 + 完整 benchmark + baseline 让它即插即用。但「VLM 自动 caption」的质量上限会限制可训出的文本对齐能力；与 LAION 类已有大语料的去重重叠和质量差异需要更透明 8. Parametric Memory Law：LoRA参数记忆的幂律定律 How LoRA Remembers? A Parametric Memory Law for LLM Finetuning | 浙江大学, 阿里 | arXiv:2605.30260 关键词：LoRA·参数记忆·幂律·LLM微调·浙大 前序问题：LLM 需持续学习更新知识，LoRA 被广泛用于记忆更新，但现有研究多靠定性下游评测，对「精确参数记忆」的定量容量极限和底层动力学几乎没探索 本文贡献：用 LoRA 作为受控的记忆容量探针，在 latent 空间系统量化精确参数记忆。提出 Parametric Memory Law：把 loss 下降 ΔL 与有效参数量、序列长度联系起来的稳健幂律。token 级细粒度分析揭示确定性相变——证明预测概率 p>0.5 是 greedy decoding 下逐字召回的充分条件。据此提出 MemFT：阈值引导的优化策略，把训练预算动态重分配到次阈值 token 实验效果：实证表明 MemFT 能提升记忆保真度和效率；为「LoRA 到底记住多少、怎么记」给出可量化的定律而非定性结论 (github.com/zjunlp/ParametricMemoryLaw) 批判点评：「用 LoRA 当记忆容量探针 + 找出幂律 + p>0.5 相变的充分条件」是把模糊的「记忆能力」做成可量化科学定律的扎实工作，MemFT 把定律反哺成实际训练策略形成漂亮闭环。但幂律的普适性需要跨更多模型规模 / 任务验证；「逐字召回」的记忆与「泛化知识」的记忆是两回事，定律对后者的适用边界要谨慎 趋势观察 视频生成正在「世界模型化」：从出片段走向实时交互、多智能体、可因果 — minWM 把双向 T2V/TI2V 蒸成相机可控的少步自回归世界模型并全栈开源；Gamma-World 用单纯形旋转编码 + 稀疏 hub 注意力把世界模型从单 agent 扩到多 agent（2→4 人零样本泛化、24FPS）；YoCausal 用时序反转真实视频做反事实基准，量出 13 个 SOTA VDM 距离「真懂因果」仍有显著差距——视频生成的下一站从「画面好」转向「能交互、有因果、多主体」 自回归流式视频生成开始解决「时间太浅」的结构病 — AdaState 诊断出首帧 KV 锚点偷走注意力、把场景锁死在初始视角，改用「可去噪但不渲染的自演化隐 state」做相对时间锚点，显著改善运动和场景推进——流式视频生成从「保一致」转向「敢动起来」 音视频联合生成走向「先对齐后融合」的原生范式 — NAVA 指出双塔后验对齐弱化协同、三模态全统一耦合语义与同步两条路都有缺陷，提出 Align-then-Fuse MMDiT 先在交互空间建音视频对应、再 context 条件化联合去噪，6.3B 拿下多项 SOTA + 可控音色——音视频生成的架构共识正在形成 图像生成的可控性升级：代码做中间画布、许可数据做底座 — GenClaw 用 SVG/HTML/Three.js 可执行草图作中间画布，把「反复改 prompt」换成「构思-起草-上色」的拟人可控流程；GPIC 放出 28 万亿像素、研究+商用许可宽松、安全去重的图像语料 + benchmark + flow matching baseline——可控生成的「方法」和「数据底座」被同时推进 大模型记忆与微调走向「可量化定律」 — How LoRA Remembers 用 LoRA 当记忆探针，给出 loss 下降 ΔL 与有效参数 / 序列长度的 Parametric Memory Law，发现 p>0.5 是逐字召回的充分条件，并据此提出阈值引导的 MemFT——把「LoRA 记多少」从定性评测推到可解析的幂律 人工智能炼丹君 整理 | 2026-05-29 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-05-26|百度ERNIE-Image开源8B DiT追平闭源 今日 AIGC 论文速览 今日共 11 篇 · 国产开源文生图基础模型 1 篇 · 音视频联合生成与编辑 3 篇 · 视频生成训练范式革新 2 篇 · few-step 蒸馏与自回归视频蒸馏 2 篇 · 推理时自适应与视频编辑 3 篇 重点论文标题列表 ERNIE-Image：百度8B DiT开源逼近闭源SOTA Baton：首引语义蓝图驱动音视频联合生成 ⚡ SpongeBob：首个端到端音视频联合编辑Sync+30% StreamChar：长时流式角色音视频实时生成 PixelWizard：原生2K/4K视频生成10倍加速 今日论文速览 1. ERNIE-Image：百度8B DiT开源逼近闭源SOTA ERNIE-Image Technical Report | 百度 Baidu ERNIE Team | arXiv:2605.25347 关键词：ERNIE-Image·百度·8B DiT·MT-DMD 蒸馏·industrial-grade ⚠️ 前序问题：开源文生图模型与闭源顶级系统在指令跟随、文字渲染、美学质量上仍有明显差距。差距主要来自两件事：预训练数据噪声大且长尾概念覆盖差；后训练人类偏好对齐的稳定性不足，蒸馏期间还会出现 capability drift（蒸馏前能做的事，蒸馏后做不到了） 本文贡献：ERNIE-Image：8B 单流 DiT 架构开源文生图基础模型。预训练用 bottom-up 数据管线（细粒度分类 + 富 caption + 美学评估 + 分层采样）压噪同时保长尾；后训练 top-down 高需求场景 + 多样化 prompt + 稳定化 DPO；ERNIE-Image-Turbo 实现 8-NFE 高效生成，配套 MT-DMD 蒸馏算法缓解 capability drift。配套发布 industrial-grade ERNIE-Image-Aes 美学模型和 ERNIE-Image-Aes-1K benchmark（首个针对真实场景的美学评测基准） 实验效果：开源模型中达到 leading 表现，在指令跟随/文字渲染/美学三项接近顶级闭源商业模型；模型权重和美学评测资源全部开源，覆盖完整工业流水线（包括 Prompt Enhancer 把简短意图扩展为结构化视觉描述） 批判点评：「8B DiT + bottom-up 预训练 + top-down 后训练 + 稳定 DPO + Turbo 蒸馏」是教科书级的工业开源大模型训法，单独哪一项都不算新颖，但全部端到端打通、配套基础设施 + 评测开源是最大贡献。但闭源 SOTA（GPT-Image / Imagen 4 / Midjourney v7）的差距具体几何缺乏精确量化对比，且 industrial-grade aesthetic model 的偏好可能强烈反映中文用户审美，国际场景适用性需观察 2. Baton：首引语义蓝图驱动音视频联合生成 Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation | 复旦大学, 腾讯混元 | arXiv:2605.25195 关键词：音视频联合生成·explicit planning·VA-Planner·腾讯混元·Relative RoPE ⚠️ 前序问题：开源扩散模型做音视频联合生成时，两个模态的去噪轨迹各自为政，导致音画不同步、长时一致性差。根因：现有方法用现成 encoder 的粗粒度 text embedding 引导音/视频去噪——这丢掉了细粒度语义，更关键的是缺少一个跨模态的「长 horizon 共享规划」 本文贡献：提出 Baton：首个引入 explicit semantic planning 的音视频联合生成框架。VA-Planner（带双语义对齐塔的多模态 LLM）让可学习 query 同时 cross-attend 视频和音频特征，吐出一对语义对齐的音/视频 planned token（关键帧级蓝图）；这些 plan token 通过 cross-attention 注入扩散 backbone，与粗 text embedding 互补；进一步提出 Relative Semantic RoPE 把 planned token 和 latent 映射到共享时空坐标系，让 latent 准确 attend 到对应语义线索 实验效果：在标准音视频联合生成 benchmark 上定性定量都显著超过基线；首次把「先规划后渲染」的范式从单模态扩散扩展到跨模态联合扩散——和昨天 Bernini「MLLM 规划 + DiT 渲染」是同向延续 批判点评：「explicit semantic planning」做跨模态联合生成是非常对的方向——粗 text embedding 当指挥棒本来就太宽松。VA-Planner + Relative Semantic RoPE 解决了「plan 怎么对齐 latent」的工程关键。但 VA-Planner 多了一次 MLLM 推理，端到端时延和显存对比单 DiT 联合扩散需要进一步说明；planned token 颗粒度是 keyframe-level 而非 frame-level，复杂动作对齐上限仍受限 3. SpongeBob：首个端到端音视频联合编辑Sync+30% SpongeBob: Sync-Aware Harmonious Audio-Visual Generative Editing | 中科大 USTC | arXiv:2605.25193 关键词：音视频联合编辑·端到端·Sync-Aware·Context-Aware·USTC ⚠️ 前序问题：物理世界的视觉和声音本就耦合，但现有视频编辑全部是「视觉编完，再单独配音/换音」的解耦 pipeline，没有双向模态交互。结果是：(i) 音画不同步；(ii) 改动后的画面和保留下来的原音之间出现语义冲突（看到打字键盘却继续是说话声） 本文贡献：SpongeBob：首个端到端音视频联合编辑框架，带双向 cross-modal 交互。Sync-Aware Mechanism 通过双向注意力 + 时序对齐 + 空间约束让视觉编辑跟声音事件对齐；Context-Aware Module 用声/像 context attention 防止编辑后语义冲突；Sync-Preserving Training and Guidance（SPTG）在保持画质的同时强化对齐。配套构建可扩展数据管线 + subject-level 大规模数据集 + SpongeBob-Bench 评测 实验效果：Sync-C（音画同步指标）+30%、Ctx-F1（上下文一致性）+12.5%，显著超越现有 baseline；首次把「音视频编辑」推到 explicit joint 范式，让「改了画也改对应音」成为可能 批判点评：把音视频编辑从「解耦串行」改成「联合并行」是必要的下一步，Sync-Aware + Context-Aware 双模块设计简洁；但训练数据规模和评测集都依赖作者自建，第三方复现成本高；编辑场景的覆盖（替换/插入/删除）和真实创作工作流的对接深度还需后续验证 4. StreamChar：长时流式角色音视频实时生成 StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration | 阿里通义实验室 | arXiv:2605.25659 关键词：流式生成·角色动画·decoupled orchestration·阿里通义·sink-chunk memory ⚠️ 前序问题：实时流式的角色音视频联合生成要同时满足：(1) 说出指定 transcript；(2) 跨 chunk 保持视觉身份；(3) 严格的播放预算（低延迟）。三个目标相互掣肘——逐 chunk 的自回归生成会累积 transcript-audio 错位和视觉漂移；为低延迟而做的 few-step 蒸馏又会牺牲空间多样性和时序质量 本文贡献：StreamChar：把「长 horizon 规划」与「短窗音视频去噪」解耦的流式框架。LLM 编排器（orchestrator）用 transcript 和历史上下文产出帧对齐的音频条件；joint audio-video DiT 做局部双向去噪并带 reference + motion-frame conditioning；两阶段蒸馏先压缩 sampler 再用 online chunk rollout 微调 student；progress-aware pointer 在 rollout 训练时把部分 transcript 与生成音频对齐；sink-chunk memory 提供持久视觉 anchor 缓解长 horizon 漂移 实验效果：把流式 character animation 这个被低延迟严重压制的方向推到「长 horizon + 严格时延 + 身份稳定」可同时满足；解耦式架构让 LLM 做规划、扩散 backbone 做细节生成成为长视频流式生成的可行新范式 批判点评：把「orchestrator vs denoiser」解耦解决了流式 + 长时生成两难，sink-chunk memory + progress pointer 是非常针对性的工程设计。但 LLM orchestrator 引入额外推理路径，对端到端时延的真实贡献需要更细评测；joint audio-video DiT 蒸馏后的 student 与教师模型 audio-visual coherence 的差距上限值得跟踪 5. PixelWizard：原生2K/4K视频生成10倍加速 PixelWizard: Towards Efficient High-Fidelity Video Generation at Ultra-Large Spatial Resolution | 港科大广州, 小米 | arXiv:2605.25801 关键词：高分辨率视频·原生 2K/4K·10× 加速·分层 anchor·小米 ⚠️ 前序问题：高分辨率视频生成有两个相互耦合的瓶颈：(1) token 序列爆炸让优化偏向局部纹理而牺牲全局连贯（结构坍塌）；(2) 训练成本巨大、推理延迟严重。简单堆分辨率根本不可持续 本文贡献：PixelWizard 把全局结构建模和细粒度细节合成分层解耦：先建立一个紧凑的时空 anchor 浓缩稠密结构先验，再以此引导高分辨率细节生成，缓解局部优化偏置；引入 Noise-Span Aligned Shortcut Training 让模型可以「大步」遍历生成轨迹（突破推理瓶颈）；Exponential Index-Biased Sampling + Adaptive Noise-Span Calibration 把优化与高分辨率网格的偏移噪声 schedule 对齐，实现 robust few-step 推理且无需蒸馏的开销 实验效果：原生 2K/4K 视频生成加速 >10×，同时保证视觉质量；不依赖蒸馏（避免 capability drift），是高分辨率视频生成的「全栈式」效率优化方案 批判点评：分层 anchor + shortcut training 思路很正——直接面对「token 爆炸」根因。10× 加速 + 不蒸馏的组合非常吸引人；但与最新蒸馏路线（如 DMD2/Causal Distill）的端到端对比缺失，结构 anchor 是否能跨场景（人物运动/复杂相机）稳定泛化需要更细评测 6. Paris 2.0：首个去中心化预训练视频生成FVD减半 Paris 2.0: A Decentralized Diffusion Model for Video Generation | Bagel Network | arXiv:2605.26064 关键词：去中心化训练·DDM·视频生成预训练·FVD 2×·Bagel ⚠️ 前序问题：训视频生成模型几乎都要 monolithic GPU 大集群，开源社区无法独立完成时序连贯的视频生成预训练。前作 Paris 1.0 证明了图像生成可以分布式训练（去中心化扩散 DDM），但「时序连贯的视频生成」在 decentralized 训练范式下仍是 open problem 本文贡献：Paris 2.0：首个通过去中心化（decentralized）计算完成预训练的视频生成模型。训练 recipe 基于 Paris 1.0 的开源 DDM 扩展到视频领域，关闭了「分布式训视频」最后一块短板。同 compute budget 下与 monolithic 模型在相同数据上对照评估 实验效果：在 low-resolution 文生视频训练上，相同总算力预算下相比 monolithic baseline，FVD 从 561.04 降到 279.01（~2.0× 提升），CLIP 文本-视频相似度与美学分数双双提升。证明 decentralized 训练不仅可行而且能反超 monolithic——开源社区独立训视频基础模型门槛被显著拉低 批判点评：「分布式 GPU 也能训视频生成」是范式级的工程突破——把视频生成预训练的算力门槛从「必须有大集群」拉到「能聚起多组消费级 GPU」。同算力预算下反超 monolithic 是惊喜数字。但还停留在 low-resolution 段位，高分辨率长视频下分布式通信开销是否仍能 hold 住，是后续最大悬念 7. RTDMD：4步生成同时蒸馏对齐刷新SOTA Reinforcing Few-step Generators via Reward-Tilted Distribution Matching | Sea AI Lab, 港科大 | arXiv:2605.26108 关键词：few-step 扩散·蒸馏·RLHF·GRPO·FLUX.2 ⚠️ 前序问题：few-step 扩散蒸馏已能让图像生成又快又好，但和人类偏好对齐还是难——直接套 RLHF 会破坏蒸馏后的分布稳定性，难以兼得「步数少 + 画质高 + 对齐人类偏好」 本文贡献：RTDMD（Reward-Tilted Distribution Matching Distillation）：两阶段统一蒸馏与 RL 对齐。理论上证明 minimizing KL 到「reward-tilted teacher」自然分解为分布匹配 + reward maximization 两项。Stage1：AC-DMD（Ambient-Consistent DMD）做子区间分布匹配 + consistency 正则化，让 fake score 模型追上漂移的 generator；Stage2：混合 policy gradient——GRPO-style estimator 处理随机中间步 + direct reward backprop 处理确定性 final step；进一步用 step-subset GRPO（SubGRPO）降方差 实验效果：在 SD3 / SD3.5 / FLUX.2 上仅 4 步推理就刷新 preference / aesthetic / compositional 三类指标 SOTA，超越此前所有 few-step 文生图方法，代码模型开源 批判点评：把蒸馏和 RL 对齐写成同一个 KL 优化问题在理论上很优雅，工程实现 AC-DMD + 混合 policy gradient + SubGRPO 三件套也都是合理设计；但 GRPO 在 4 步采样下的方差估计仍可能高，跨更多底模（SD3.5 / FLUX 之外）的稳定性需要更多验证 8. AFD：on-policy黑盒蒸馏自回归视频 On-Policy Adversarial Flow Distillation for Autoregressive Video Generation | 新加坡国立大学 NUS | arXiv:2605.26105 关键词：自回归视频·黑盒蒸馏·on-policy·flow-matching·Bradley-Terry ⚠️ 前序问题：自回归视频生成器对流式、长 horizon、交互应用非常有吸引力，但把强黑盒 teacher 蒸馏成 causal student 极其困难：student 必须在自己 rollout 分布下学习，而实际 teacher 通常只暴露 prompt-conditioned 完成的视频，结构/容量/时序设计/采样 schedule 都不同。这让 SFT 是 off-policy 的、score-based 蒸馏不适用、直接对抗模仿对去噪步级 credit assignment 又太稀疏 本文贡献：AFD（Adversarial Flow Distillation）：异构黑盒视频蒸馏的 on-policy 框架。同 prompt 同时 query teacher 和 rollout 当前 student；训 prompt-paired Bradley-Terry discriminator 估计 clean-sample 教师-学生差异；把 on-policy advantage 转成 forward-process flow-matching 更新到 student 自己的 noised state 上。这套设计让 student 拿到稠密 velocity-field 监督，且无需 teacher score / latent / 去噪轨迹 / step alignment / reverse-chain RL 实验效果：把「自回归视频生成 + 黑盒强 teacher」蒸馏从死局拉到可行——这恰是流式视频 + 大闭源 teacher 时代的最关键工程问题。on-policy 学习避免分布漂移，flow-matching 转换提供稠密信号，是 RTDMD 在「自回归视频」侧的对偶贡献 批判点评：把「黑盒、异构、自回归视频」三个最难维度同时解决，思路非常对——on-policy + 对抗 + flow-matching 转换是当前最合理的组合。但 Bradley-Terry discriminator 在视频域的样本效率与训练稳定性、以及面对真正巨大闭源 teacher（如商用 Sora / Veo 级别）的 query 成本，是工程落地的真实门槛 9. TT-SAC：talking-head推理时自适应免训练 Test-Time Self-Adaptive Conditioning for Stable Audio-Driven Talking-Head Generation | 格里菲斯大学 Griffith | arXiv:2605.25488 关键词：talking-head·推理时自适应·免训练·feedback loop·身份保持 ⚠️ 前序问题：音频驱动 talking-head（AniTalker / FLOAT / Sonic 等）当前主流是：一张静态参考图条件整段视频生成。但静态身份条件 vs 动态面部运动天然错配，导致 identity drift、时序不一致、感知质量下降 本文贡献：TT-SAC（Test-Time Self-Adaptive Conditioning）：完全 parameter-free 的推理时框架，让预训练 talking-head 模型在生成过程中自适应调整 conditioning，不需要重训、不需要梯度、不需要任何额外监督。把 generator 与 encoder 组成 feedback loop：generator 输出再被 encoder 编码，构造与时序动力学对齐的精修 conditioning；单步自适应即近似 self-consistent equilibrium，稳定跨时长的身份与运动 实验效果：把 talking-head 的「静态参考图」假设彻底打破——同一组预训练权重，仅靠推理时 feedback loop 即可显著缓解 identity drift 和时序退化；零训练成本即可升级现有 talking-head 模型，是非常实用的 plug-in 改造 批判点评：把 generator-encoder feedback 当作 implicit fixed-point 迭代是聪明的——既廉价又对预训练模型友好。但 single adaptation step 是否真能稳定逼近 self-consistent equilibrium 取决于具体模型，对发生面部大幅度运动或镜头切换时的鲁棒性需要更细评测；feedback 单步 vs 多步的边际收益曲线也值得展开 10. RVEDiT：MLLM注入Token让DiT分粒度推理编辑 Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing | 华为 | arXiv:2605.24674 关键词：视频编辑·DiT·MLLM Token·分粒度路由·华为 ⚠️ 前序问题：指令视频编辑需要按自然语言改源视频，同时保留无关内容、保持时序一致。但现有 DiT 编辑器有两个结构性缺陷：(1) 条件信号不分粒度灌入所有 transformer block，单一 token 流既要编码全局意图又要编码细粒度证据；(2) cross-attention 模式只受 pixel-level 重建间接监督，内部推理过程完全不受约束 本文贡献：RVEDiT：implicit Reasoning Video Editing DiT。两个互补组件：(i) Granularity-Routed Token Conditioning——从 MLLM 蒸馏出 learnable editing token 路由到浅层 block，深层 block 留给原生视觉/文本 token，自然形成 coarse-to-fine 编辑过程；(ii) Reference-Anchored Attention Alignment——训练时用参数共享 reference 分支，最大化编辑/参考分支注意力特征的互信息，正则化内部推理但推理时零额外开销 实验效果：在标准指令视频编辑 benchmark 上一致超过 SOTA，对 localized 和 compositional 编辑提升最大；引入 MLLM 推理但部署时单分支，性价比高 批判点评：「分粒度路由 conditioning + reference 互信息对齐」两个手段都直击 DiT 编辑器的结构性病灶，思路非常清晰。但 MLLM 提供的 editing token 是离线蒸馏，可能不能捕捉新颖指令；reference 分支在训练时翻倍显存，长视频上的可扩展性需评测 11. Squeeze-MLLM：MLLM+VAE双条件根治主体生成贴图 Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation | 多伦多大学 U of T | arXiv:2605.26111 关键词：Subject-driven·MLLM·VAE 身份·DLA·copy-paste ⚠️ 前序问题：subject-driven 生成（保留参考主体身份 + 跟随文字指令）此前主流是 text 和 reference 各编各的——这天然削弱跨模态推理，并导致典型的 copy-paste artifact（参考图被原样贴上去）。最近 MLLM + diffusion 框架改善了指令跟随，但忽略了身份保持 本文贡献：把 diffusion model condition 在 MLLM 上（让 text 和 reference 联合编码），同时用 VAE 做 identity conditioning；新设 Dual Layer Aggregation (DLA) 模块聚合 MLLM 多层级特征做最优 conditioning；用多阶段去噪策略在推理时渐进式平衡 MLLM 提供的语义和 VAE 提供的细节身份 实验效果：把多模态理解和身份保持调和得很好，缓解了 copy-paste 问题，人类偏好评测上 subject-driven 生成超越现有方法；项目页面开放 批判点评：「MLLM 编联合语义 + VAE 守身份细节」的双通道是非常合理的分工——比纯 MLLM/纯 reference encoder 都更接近问题本质。DLA + 多阶段去噪是工程上的细致打磨；但 VAE 通道也可能引入贴图倾向（VAE 重建本身就有 identity 偏置），与最新 IP-Adapter / OmniGen 等的端到端对比是否在所有场景占优需要更细评测 趋势观察 国产开源文生图基础模型加速对标闭源 SOTA — 百度 ERNIE-Image 8B 单流 DiT 系统化打通预训练 bottom-up 数据 + 后训练 top-down + 稳定 DPO + Turbo 蒸馏 + 工业 aesthetic 评测全栈，且模型/数据全部开源——开源阵营在指令跟随/文字渲染/美学三项已逼近 GPT-Image/Imagen/Midjourney 等闭源顶级系统 音视频联合生成进入「规划 + 流式 + 编辑」三角范式 — Baton 用 VA-Planner（多模态 LLM）吐出音/视频共享语义蓝图驱动联合扩散；SpongeBob 通过双向 cross-modal 交互做端到端音视频联合编辑；StreamChar 用 LLM orchestrator 解耦长 horizon 规划与短窗去噪做流式角色音视频——音视频从「各编各的」彻底走向「联合规划 + 联合渲染」 视频生成同时突破两个壁垒：分辨率天花板与训练算力门槛 — PixelWizard 把全局 anchor 与细节合成分层解耦，加上 Noise-Span Aligned Shortcut Training，原生 2K/4K 视频生成提速 10× 且不蒸馏；Paris 2.0 首次完成 decentralized 视频生成预训练，同算力下 FVD 从 561→279（2×）反超 monolithic baseline——视频生成的「分辨率天花板」被工程化突破，「训练必须大集群」被打破 few-step 蒸馏从图像扩散扩展到自回归视频生成 — RTDMD 把蒸馏和 RL 对齐写成同一 KL 优化（4 步刷 SD3/FLUX.2 SOTA）；AFD 把 on-policy 对抗 + flow-matching 转换组合用于黑盒异构 teacher 蒸馏 causal 视频 student——证明「步数少 + 画质高 + 对齐人类偏好 + 流式自回归」可以同时拿到，且不依赖白盒 teacher score / 轨迹访问 推理时自适应/编辑成为零训练能力升级标配 — TT-SAC 让 talking-head 模型在推理时通过 generator-encoder feedback loop 自适应 conditioning（免训练、免梯度）；RVEDiT 把 MLLM 推理 token 路由到 DiT 浅层 block 形成 coarse-to-fine 编辑；Squeeze-MLLM 用 MLLM+VAE 双通道在推理时渐进平衡语义与身份——「不重训也能拿到新能力」正在成为生成模型的标准升级路径 人工智能炼丹君 整理 | 2026-05-26

AIGC 每日速读|2026-05-15|实时视频2步出帧Causal Forcing++ 今日 AIGC 论文速览 今日共 8 篇 · 实时 AR 视频与世界模型 3 篇 · 相机控制与视频生成 2 篇 · 图像编辑持续学习 1 篇 · 扩散模型 RL 后训练 1 篇 · 视频世界模型评测 1 篇 重点论文标题列表 Causal Forcing++：因果一致性蒸馏 Warp-as-History：把相机引起的形变直接转化为「相机扭曲 ACE-LoRA：动态正则化框架 RefDecoder：参考条件视频 VAE decoder DiffusionOPD：多任务训练范式 今日论文速览 1. Causal Forcing++：因果一致性蒸馏 Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation | 清华 TSAIL, 生数科技 | arXiv:2605.15141 关键词：少步AR视频·因果一致性蒸馏·实时交互生成·世界模型·Genie3 前序问题：实时交互式视频生成需要低延迟、流式、可控的 rollout。现有自回归扩散蒸馏在 chunk-wise 4 步取得了不错效果，但 chunk 粒度过粗、采样延迟仍然不可忽略；当尝试更激进的 frame-wise 1-2 步时，少步 AR 学生的初始化策略要么目标错位、要么不能少步生成、要么算力代价大到无法 scale 本文贡献：提出 Causal Forcing++ 因果一致性蒸馏（Causal CD）流水线：核心观察是 Causal CD 学习与 Causal ODE 蒸馏相同的 AR-条件流图，但只需在相邻时间步之间用一次教师 ODE 步在线提供监督，无需预先计算并存储完整 PF-ODE 轨迹——既高效又易优化；进一步把流水线扩展到 Genie3 风格的 action-conditioned 世界模型 实验效果：在 frame-wise 2 步设定下，全面超越 SOTA 4 步 chunk-wise Causal Forcing：VBench Total +0.1、VBench Quality +0.3、VisionReward +0.335，同时首帧延迟降低 50%、Stage 2 训练成本降至约 1/4 批判点评：把蒸馏从 chunk-wise 4 步推进到 frame-wise 2 步，是实时交互式视频生成可用性上的关键一步——把瓶颈识别为「初始化」是非常贴切的诊断；但 1-2 步生成对教师 ODE 误差的放大效应、以及在更复杂 action 条件下的稳定性还需更多压力测试 2. Warp-as-History：把相机引起的形变直接转化为「相机扭曲 Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video | 上海交大, 上海 AI Lab | arXiv:2605.15182 关键词：相机控制·视频生成·零样本·伪历史·LoRA 微调 前序问题：相机可控视频生成已经很成熟，但现有方法普遍需要在大规模带相机标注的视频上做后训练（额外的 camera encoder、控制分支、注意力/位置编码改造）；training-free 方案则把代价转嫁到测试时优化或 denoising 时的额外 guidance，依然不便宜 本文贡献：提出 Warp-as-History：把相机引起的形变直接转化为「相机扭曲后的伪历史」，在 frozen 视频生成模型自带的「视觉历史」通路中喂进去——目标帧位置编码对齐、剔除没有有效观测来源的 token，无需训练或架构改动即可零样本服从相机轨迹；可选用一段相机标注视频做轻量 LoRA 微调进一步提升泛化能力 实验效果：在多个数据集上的实验显示：完全 training-free 即可让冻结视频生成模型获得不平凡的相机轨迹跟随能力；只用「一段」相机标注视频做 LoRA 微调，即可在未见视频上同时改善相机贴合度、画质与运动动态 批判点评：把相机可控问题视作「历史 warp」是一个非常优雅的视角，几乎不增加任何训练成本；但 zero-shot 能力依赖底模的「视觉历史」通路是否足够强，没有该通路的扩散视频模型迁移性可能受限；另外极端轨迹下的孔洞填充质量值得关注 3. ACE-LoRA：动态正则化框架 ACE-LoRA: Adaptive Orthogonal Decoupling for Continual Image Editing | 上海交大, vivo AI Lab | arXiv:2605.14948 关键词：持续学习·图像编辑·LoRA·正交解耦·CIE-Bench 前序问题：现有 SOTA 扩散模型靠参数高效微调（LoRA 等）适配各类图像编辑任务，但真实业务需要在不断到来的新任务上持续学习同时保留旧任务能力；图像编辑的持续学习问题至今几乎没人系统研究，灾难性遗忘问题严重 本文贡献：提出 ACE-LoRA 动态正则化框架：通过 Adaptive Orthogonal Decoupling 自动识别并正交化任务间干扰，再用 Rank-Invariant Historical Information Compression 解决持续更新中的可扩展性瓶颈；同时发布 CIE-Bench——业内首个面向图像编辑的持续学习评测基准 实验效果：在指令保真度、视觉真实感、抗遗忘鲁棒性上一致优于现有 baseline，建立了「图像编辑持续学习」这一子方向的标准方法+标准评测 批判点评：把「持续学习」首次正式带到图像编辑领域，问题设定和 benchmark 都非常务实；但 14 维基因式正交化的超参对任务序列分布的鲁棒性、以及面对几十个长尾编辑任务时压缩策略的极限，需要更长任务流的实测 4. RefDecoder：参考条件视频 VAE decoder RefDecoder: Enhancing Visual Generation with Conditional Video Decoding | University of Washington, UNC | arXiv:2605.15196 关键词：视频 VAE·参考条件 decoder·视频生成·即插即用·VBench 前序问题：主流 latent 视频扩散模型的 denoising 网络条件丰富，但 VAE decoder 几乎都是无条件的——这种结构性不对称导致细节流失、与输入参考图不一致，是当前视频生成「看起来糊糊的」的隐藏元凶 本文贡献：提出 RefDecoder 参考条件视频 VAE decoder：用一个轻量图像编码器把参考帧映射成细节丰富的高维 token，在 decoder 每个 upsampling stage 与去噪后的视频 latent token 共同处理（reference attention），让 decoder 也获得与 denoising 网络对等的条件信息 实验效果：在 Wan 2.1、VideoVAE+ 等多个 decoder backbone 上一致提升 PSNR 最多 +2.1dB（Inter4K / WebVid / Large Motion）；可直接热插拔进现有视频生成系统，无需额外微调，VBench I2V 上主体一致性、背景一致性、综合质量全面提升；天然泛化到风格迁移、视频编辑精修等任务 批判点评：这是一项「补条件」的低风险高收益工作，可即插即用是工程师最爱的属性；但 decoder 端注入参考可能在大幅运动场景下与 latent 表示冲突，长视频累积误差与 reference token 选择策略仍有优化空间 5. DiffusionOPD：多任务训练范式 DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models | 阿里 Wan Team, 复旦 | arXiv:2605.15055 关键词：扩散模型 RL·On-Policy 蒸馏·多任务·Wan Team·文生图 前序问题：强化学习是改进文生图扩散模型的强力工具，但现有方法大多局限于单任务优化——多任务联合 RL 受困于跨任务干扰和不平衡，级联 RL 又笨重且易遗忘 本文贡献：提出 DiffusionOPD 多任务训练范式：先独立训练任务专属 teacher，再沿学生自己的 rollout 轨迹做 Online Policy Distillation 把多 teacher 能力蒸馏到统一学生；理论上首次把 OPD 框架从离散 token 提升到连续状态 Markov 过程，给出闭式 per-step KL 目标，统一 SDE 与 ODE refinement，方差更低、泛化更好 实验效果：一致超越多奖励 RL 与级联 RL 基线，训练效率与最终性能两端均占优，在所有评测基准上达到 SOTA 批判点评：把 OPD 严格地搬上连续扩散是漂亮的理论延伸，多任务版本对落地非常有价值；但 teacher 数量增加后蒸馏的 token-level KL 是否仍稳定、teacher 与学生 capacity 失配时的下界，仍需更大规模实验 6. RAVEN：框架 RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO | 帝国理工 AGI Lab | arXiv:2605.15190 关键词：实时 AR 视频·一致性模型·CM-GRPO·训练-测试对齐·流式生成 前序问题：因果自回归视频扩散模型靠把过去内容外推未来 chunk 实现实时流式生成，蒸馏自高保真双向教师后已能少步推理；但训练时 history 分布与推理时实际 rollout 分布之间的 gap 一直限制长序列的生成质量 本文贡献：提出 RAVEN training-time test 框架：把每次自身 rollout 重打包为「干净历史端点 + 噪声去噪状态」交错序列，让训练注意力对齐推理时的外推方式，同时让下游 chunk loss 监督未来预测所依赖的历史表示；进一步提出 CM-GRPO，把 consistency 采样步重新表达为条件高斯转移，直接在该核上做在线 RL，避免了之前 flow-model RL 公式中的 Euler-Maruyama 辅助过程 实验效果：RAVEN 在质量、语义、动态度多维评测上超越近期因果视频蒸馏 baseline；CM-GRPO 与 RAVEN 组合后进一步提升性能 批判点评：把 training-test 不一致问题正面解决并配套 CM-GRPO 是组合拳；但 RAVEN 重打包对长序列内存占用的影响、CM-GRPO 在更复杂奖励上的稳定性，还需要在更大模型尺度上验证 7. SANA-WM：2.6B 参数原生面向 1 SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer | NVIDIA, MIT, 港科大 | arXiv:2605.15178 关键词：世界模型·分钟级视频·Hybrid Linear Attention·6-DoF 相机·开源 前序问题：一分钟级别的世界模型既要画质媲美 LingBot-World、HY-WorldPlay 这些产业级大模型，又要在算力、数据、推理硬件三方面都「能用得起」——目前几乎没有开源方案能同时做到 本文贡献：提出 SANA-WM：2.6B 参数原生面向 1 分钟视频生成的开源世界模型——(1) Hybrid Linear Attention 把 frame-wise Gated DeltaNet 与 softmax attention 混合，长上下文内存可控；(2) Dual-Branch Camera Control 保证 6-DoF 轨迹精确跟随；(3) 两阶段生成 + long-video refiner；(4) 鲁棒标注流水线从公开视频中提取 metric-scale 6-DoF 相机姿态作为动作标签 实验效果：仅用约 213K 公开视频片段、64 张 H100 训练 15 天，每个 60s 720p clip 单 GPU 即可生成；蒸馏量化版可在单卡 RTX 5090 上 NVFP4 量化下 34 秒生成 60s 720p；在 1 分钟世界模型 benchmark 上动作跟随精度强于现有开源 baseline，画质相当但吞吐高 36 倍 批判点评：把「分钟级世界模型」做到能在单张消费卡上跑动，是世界模型走向开发者手里的关键一步；但 1 分钟仍然依赖「stage-2 refiner」这一外置模块，端到端 1 分钟生成质量与商业闭源仍有差距 8. PDI-Bench：几何一致性量化框架 Quantitative Video World Model Evaluation for Geometric-Consistency | UCSD, 港科大等 | arXiv:2605.15185 关键词：视频世界模型·几何一致性·评测基准·3D 重建·物理推理 前序问题：生成视频模型越来越被当作隐式世界模型来研究，但「生成视频是否产生了物理合理的 3D 结构与运动」一直缺乏客观度量——现有评测要么靠人工打分要么靠学习式 grader，对几何失败的诊断力都很弱 本文贡献：提出 PDI-Bench（Perspective Distortion Index）几何一致性量化框架：先用 SAM 2、MegaSaM、CoTracker3 抽取物体级观测，单目重建到 3D 世界坐标，再算三类射影几何残差——尺度-深度对齐、3D 运动一致性、3D 结构刚性；配套 PDI-Dataset 覆盖多种压力测试场景 实验效果：在多个 SOTA 视频生成器上揭示了通用感知指标完全捕获不到的「几何特定失败模式」，为「物理基础视频生成 / 物理世界模型」的进展提供了可诊断信号 批判点评：把视频世界模型评测从「看起来对不对」推进到「几何上对不对」是必要的下一步，依托成熟 3D 工具链让指标可复现；但单目重建本身的误差对 PDI 指标的噪声有多大、对真实开放世界长尾场景的覆盖度，是后续要补的关键证据 趋势观察 实时交互视频生成进入 frame-wise 时代 — Causal Forcing++ 把少步 AR 视频从 chunk-wise 4 步压缩到 frame-wise 2 步，首帧延迟降一半；RAVEN 用 training-time test + CM-GRPO 直击 history 分布漂移——实时交互视频已经从「能动」进入「秒级响应」 相机控制从「重训」走向「零样本 + 一段视频微调」 — Warp-as-History 把相机条件转译为 frozen 模型自带的视觉历史通路，零样本即跟随；只用一段视频做 LoRA 即可泛化到未见素材——相机可控视频生成从「依赖大规模标注」滑向「轻数据即用」 VAE decoder 不再是哑终端 — RefDecoder 指出主流视频扩散模型 decoder 长期处于「无条件」状态，导致细节流失；用 reference attention 给 decoder 也加上条件，PSNR 直接 +2.1dB——decoder 端的条件化正成为视频生成的下一个低悬果实 世界模型走向消费级硬件 — SANA-WM 用 Hybrid Linear Attention + 量化在单卡 RTX 5090 上跑出 34 秒生成 60 秒 720p——分钟级世界模型第一次具备了「开发者本地可玩」的硬件包络 评测从感知质量转向几何/物理一致性 — PDI-Bench 把视频世界模型的考评从「看起来真不真」转到「几何上对不对」，借助成熟 3D 工具链给出射影几何残差——这预示着视频生成下一阶段的评测竞赛是「物理可解释性」 人工智能炼丹君 整理 | 2026-05-15 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注