AIGC 每日速读|2026-10-02|NVIDIA砍掉视觉编码器，PixelUMM图像视频同模 今日 AIGC 论文速览 今日共 10 篇 · 统一理解生成与三维细节 2 篇 · 推理式与可控视频生成 2 篇 · 音视频联合生成 1 篇 · 视频推理加速 4 篇 · 视频文字编辑评测 1 篇 重点论文标题列表 PixelUMM（NVIDIA）：像素直进图像视频同模型 BTC3D（香港城市大学（东莞））：分块条件补3D细节 ThinkV2V（港中大）：先推理再改视频 LIFT（加州大学圣迭戈分校）：只画终帧也能控未来 StereoBind（西电）：声源移动立体声跟着走 今日论文速览 1. PixelUMM：像素直进图像视频同模型 PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation | NVIDIA；滑铁卢大学 | arXiv:2609.38597 关键词：统一多模态, 像素空间, 图像生成, 视频生成, 视觉理解 前序问题：统一理解与生成模型通常给同一张图准备两套表示：ViT 特征服务理解，VAE latent 服务生成。这不只让视觉上下文变长，也把成熟的视觉语言预训练与生成接口绑在两条管线上。图像还能直接切 patch，视频却要同时兼容理解侧的采样帧与生成侧的连续时空块，统一接口更难。 本文贡献：PixelUMM 取消预训练视觉编码器和 VAE，把图像变成空间 patch、视频变成时空 tubelet，都只用一层线性投影接入 8B Mixture-of-Transformers。理解走自回归文本预测，生成在原始像素上做 flow matching；共享 attention 让干净条件与带噪目标直接交互。论文还系统比较 patch/tubelet 大小、线性头与卷积解码头，发现卷积头能压掉格子伪影。 实验效果：不使用视觉 encoder/tokenizer 时，PixelUMM 在图像理解 MMMU 得 41.67、视频理解 MVBench 得 70.53；图像生成 GenEval 原始 prompt 为 0.77，用 BAGEL-long 重写后为 0.83，DPG-Bench 为 85.74。视频生成 VBench 总分 83.24，处于统一模型可比区间，但不是各榜第一。 批判点评：“统一”仍有边界：理解与生成使用两套 Transformer expert，只共享 attention，并非一组参数同时做两件事。原始像素 token 让更小 patch 和 tubelet 虽然降低 loss，却直接抬高序列长度与训练成本。作者也提醒各模型训练数据不同，当前表格不能证明 encoder-free 架构本身更优；MMMU 41.67 与主流 8B VLM 仍有明显差距。 2. BTC3D：分块条件补3D细节 BTC3D: Blended Tile Conditioning for Detail-Enhancing Image-to-3D Generation | 香港城市大学（东莞）；SB Intuitions；巴塞罗那自治大学 | arXiv:2609.39709 关键词：图像生成3D, 免训练, 分块条件, 细节保真, 流匹配 前序问题：扩散式 image-to-3D 已经能出像样模型，可一旦输入图细节丰富，纹理就糊成一团。主流做法把整张图压成一个全局条件特征，空间信息在这一步被压掉，作者称之为 detail attenuation；而想补细节通常要重训或微调大模型，对 3D 管线代价过高。 本文贡献：BTC3D 是推理时即插即用的免训练框架。它先验证 image-to-3D 模型存在「图像特征可加性」：把局部图块的特征相加，仍能得到语义一致且保留局部细节的 3D 输出。据此把输入图切成若干 tile，各自提取局部条件并按前景权重聚合成 blended tile embedding；再配一个 dynamic conditioning 调度，在扩散后期低噪声阶段逐步加大 tile 条件的权重，早期仍交给全局条件主导结构。 实验效果：在 3D-Arena 与 Toys4K 上，把 BTC3D 接到 TRELLIS、TRELLIS.2、Hunyuan3D-v2.1 上都提升了纹理与视觉保真，且保持全局结构一致。20 名参与者、400 次两两偏好测试中，接入 BTC3D 的 TRELLIS.2 拿到 67.25% 选票（269 票），基线只有 32.75%（131 票），纹理密集的样本优势最明显。 批判点评：收益主要靠人眼偏好而非几何或纹理指标说话，67.25% 也是相对自家基线的增幅，缺少跨方法横评；论文同时承认纹理稀疏的样本上两者偏好接近持平，说明方法吃的是「有没有细节可补」。另外 tile 切分与融合系数 α、β 都是人工超参，动态调度只按扩散时间步推进，不看当前生成内容。 3. ThinkV2V：先推理再改视频 ThinkV2V: Unleashing the Reasoning Capability of MLLMs for Instruction-Guided Video Editing | 香港中文大学；字节跳动；浙江大学；俄亥俄州立大学 | arXiv:2609.38541 关键词：视频编辑, 多模态大模型, 显式推理, DiT, 指令跟随 前序问题：现有指令视频编辑器多把 MLLM 当语义编码器，直接把 prompt 压成条件。碰到“把会被雨淋湿的东西收起来”这类不直接点名目标的指令，模型必须先理解因果与对象关系，再决定改哪里；只抓关键词往往画面能改，却改错对象或违背真实意图。 本文贡献：ThinkV2V 让 MLLM 先显式分析源视频和指令，再通过 learnable-query connector 把推理结果送给多条件 DiT。训练采用从直接编辑到推理密集样本的 progressive curriculum；推理时生成多份候选编辑 prompt，迭代反思并选择最可靠的一份。团队同时整理 ThinkV2V-150K 与专门考隐式意图、因果编辑的 ThinkV2V-Bench。 实验效果：5B 编辑器在 ThinkV2V-Bench 上由 Seed-1.6-VL 评测的 Overall 为 2.72，高于 OpenVE-Edit 的 2.09 和 14B DITTO 的 2.02；Gemini-2.5-Pro 评测下为 2.61，也高于 ICVE 的 2.52。模型在 32 卡上分三阶段训练，最终 720p 推理，以小于多条 10B–14B 基线的规模拿到最佳综合分。 批判点评：核心结论依赖 Seed-1.6-VL 与 Gemini-2.5-Pro 充当裁判，复杂编辑的自动分数仍可能偏向更会“讲意图”的输出。Inference-Time Thinking Scaling 需要多候选生成、反思和筛选，论文没有把新增延迟与算力单独量化。150K 数据由既有模型与筛选流程构建，推理能力有多少来自 MLLM、多少来自数据课程，还缺更严格的因果拆分。 4. LIFT：只画终帧也能控未来 LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation | 加州大学圣迭戈分校；弗吉尼亚大学；Meta；Amazon；Lambda | arXiv:2609.38146 关键词：视频生成, 相机控制, 未来布局, on-policy self-distillation, 图生视频 前序问题：相机大幅移动时，首帧之外会露出全新区域。只给相机轨迹能控制“镜头往哪走”，却不能指定新区域里出现什么；逐帧框轨迹虽然能控布局，标注和交互成本又太高。真正实用的接口应允许用户只在未来关键帧画几个框，同时让中间过程自然长出来。 本文贡献：LIFT 把最后一帧的 bounding box 与局部 prompt 编成稀疏 layout latent，与首帧和噪声视频一起送入 DiT，相机 token 另行注入。训练时用拥有逐帧 dense layout 的冻结教师，在学生自己访问的 ODE 状态上做 on-policy self-distillation，把 dense 轨迹知识蒸馏给只看终帧布局的学生；同一个学生交替学习有布局与仅相机两种模式。 实验效果：LIFT 1.3B 在终帧布局控制上 mIoU 0.51，高于需要逐帧框的 MagicMotion 0.41；同时相机 RotErr 2.97、TransErr 0.59，视频 FVD 99.35。OPSD 只用 500×16=8000 次样本更新，直接或 dense-to-sparse SFT 都要 4000×32=12.8 万次，训练样本量缩到 1/16。 批判点评：布局接口仍只是 2D 框加局部文字，没有深度、朝向、遮挡和实例关系；相机一转，两个框在 3D 中究竟谁挡谁并未显式建模。所谓 1/16 训练量比较的是作者设定的更新预算，并不等于端到端数据与教师成本也缩到 1/16；OPSD 还依赖一个先用 dense layout 训练好的教师。 5. StereoBind：声源移动立体声跟着走 Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation | 西安电子科技大学；vivo 蓝图影像实验室 | arXiv:2609.38748 关键词：音视频联合生成, 立体声, 空间音频, 运动轨迹, 跨模态对应 前序问题：联合音视频模型已经能做到“画面里有什么就听到什么”和大致同步，却很少管声音来自哪里。AR/VR 中声源从左往右移动时，左右声道也应连续变化；只用文本或整段视频条件生成声音，往往知道是汽车声，却无法让声像跟随汽车轨迹。 本文贡献：StereoBind 把可见声源的 motion track 作为共同坐标系：Visual Motion Binding 绑定视觉运动与音频 token，Spatial Track Encoder 提供绝对位置，Residual Track RoPE 编码相对位移。团队用真实视频定位跟踪加合成立体声、再配合可控合成场景，构建 StereoWorld-29K，并用 StereoWorldBench 单独评测动态空间对应。 实验效果：在 StereoWorldBench 上，StereoBind 的 ILD-W 为 2.754、SELD-Acc 0.757、SMR-Err 14.86、AST-Ang 0.465、AST-Cal 0.314，五项空间指标都优于表中 Ovi、MiniMax-H3、LTX-2.5/2.3 及两条 video-to-spatial-audio 基线；视觉 Subject Consistency 0.955、Motion Smoothness 0.996，整体画面质量没有明显牺牲。 批判点评：当前条件是一条主要声源轨迹，训练和评测强调水平声像移动；多声源竞争、声源与听者同时运动、遮挡和完整 3D 声场仍被列为未来工作。空间指标全面领先不代表总体音质全面领先，Subject Consistency 0.955 低于 MiniMax-H3 的 0.968，Audio PQ 6.86 也只是略高于 6.81。 6. ReCaVSR：1080p单卡跑21.2FPS ReCaVSR: One-Step Streaming Diffusion Video Super-Resolution with Recycled Latents and Learned Cache Routing | 中国科学技术大学 | arXiv:2609.37831 关键词：视频超分辨率, 流式扩散, KV Cache, 一步生成, 实时推理 前序问题：扩散式视频超分画质好，却很难满足直播级延迟。现有流式方案要么多步去噪，要么每层都保留完整历史 KV；但视频超分当前帧已有低清观测，上一块超分 latent 也带着局部时序信息，继续为所有层保存同样长的历史既占显存又拖慢注意力。 本文贡献：ReCaVSR 基于 Wan2.2 做一步流式超分，把上一块生成的 SR latent 直接回收为下一块条件，再为每个 DiT 层学习不同的历史缓存范围，训练完导出固定路由。生成器用 sequential self-rollout 对齐真实因果推理；Multi-Scope Query 判别器同时看全局、空间窗口和时间 tube；LR-conditioned FlashDecoder 在解码时再次利用低清观测。 实验效果：单张 A100-80GB 输出 1080×1920 时达到 21.20 FPS、峰值显存 15.16GB，相对 FlashVSR Tiny 快 2.72 倍、少用 38.0% 显存，首个完整 RGB 输出的模型时间为 0.982 秒。LongVSR60 上 MUSIQ 57.89、CLIP-IQA 0.4932、DOVER 0.6075，后三项都高于列出的流式基线。 批判点评：它并非所有重建指标都第一：REDS30 的 PSNR 21.67 明显低于 RealViformer 23.32，说明生成式纹理仍会牺牲逐像素保真。缓存路由在训练后固定，遇到运动强度突变或硬切镜不能自适应；论文的长视频测试还是单段连续镜头，跨场景时旧 latent 和 KV 会不会污染新镜头尚未验证。 7. PARK：稀疏注意力快1.76倍 PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers | 华南理工大学 | arXiv:2609.38978 关键词：视频生成, 稀疏注意力, DiT, block retrieval, 免训练加速 前序问题：视频 DiT 的稀疏注意力通常先把 query 与 key 分块求均值，再按块检索。这个近似有两重错位：Softmax 前把多个 query 平均会抹掉各自偏好的 key；在原始 key 空间做欧氏聚类，也不保证同一簇的 key 在当前 query 下拥有相似 QK 分数。检索一旦选错块，要么掉画质，要么为了兜底算太多。 本文贡献：PARK 保留块内每一个原始 query，分别对 key block 做归一化后再平均分布，避免 query-centroid 代替整块偏好；key 侧则从当前 query 推导度量，先变换 key 再做 K-means，让欧氏距离对应 QK-score 误差。方法完全免训练，并把 PAMA 检索写成融合 GPU kernel，把准确率收益留住而不让检索开销反噬。 实验效果：在 Wan2.1-1.3B 上，PARK 将单次测试从 745 秒降到 423 秒，端到端 1.76 倍加速，同时 PSNR 27.52、SSIM 0.908、LPIPS 0.177，优于同表其他稀疏基线。跨 Wan2.2-14B、Wan2.1-14B、Wan2.1-1.3B 和 HunyuanVideo 四个模型，相对 dense 的加速范围为 1.53–1.76 倍。 批判点评：收益建立在四个视频扩散模型和固定检索配置上，作者明确没有验证 LLM 或其他多模态任务。主表中 Wan2.2 的 Aesthetic Quality 65.29% 仍低于 dense 的 65.56%，Wan2.1-1.3B 的 Background Consistency 96.87% 也低于 dense 的 96.99%；它更像高质量近似，而不是无损替换。 8. UnStep：免训练把视频推到50FPS UnStep: Training-Free Acceleration of Causal Video Diffusion with Fewer Steps Than Distillation | Meta 超级智能实验室 | arXiv:2609.32518 关键词：视频生成, 因果扩散, 免训练加速, KV Cache, 推理优化 前序问题：四步因果蒸馏已经比 50 步双向教师快，但 Self Forcing 在 H100 上仍只有 17 FPS。步数继续砍到一两步会掉质量，历史 KV 随视频变长继续膨胀；同时当 DiT 已经很少步，RoPE、cache 索引、attention 调度和 VAE 解码这些过去被遮住的系统开销反而成了瓶颈。 本文贡献：UnStep 是不改权重的推理 wrapper：后续块从四步减到两步，只保留 sink 加最近窗口；把已生成 latent 重新加到近干净噪声，再复用原有 clean-cache pass 做一次修正，并对 attention 的 V/O 投影做截断 SVD 抵消少步误差。系统侧再融合 RoPE、缓存系数、固定长度 attention，并把 VAE 改成 FP16 与 channels-last 卷积。 实验效果：同一 Self Forcing checkpoint 在 H100 上从 17.0 FPS 提到 49.8 FPS，VBench Total 反而从 84.31 到 84.56；相同 wrapper 套在 Causal Forcing 和 LongLive 1.0 上也都约 49.8 FPS。若推理时改成一步，H100 达 59.6 FPS；GB200 最快报告 77 FPS，全程没有重训。 批判点评：所有超参数只在 Self Forcing、5 秒 T2V、单张 H100 这一套设置上调过，迁移结果证明“能用”，不代表每个 checkpoint、GPU、任务和长度都最优。50 FPS 的成绩同时叠加算法减步与大量 H100 专用 kernel 优化，不能全部归功于新的生成算法；而训练自由的约束也限制了更激进稀疏或量化后的质量恢复。 9. DeCoPrune：剪85%缓存仍保上下文 DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency | 南洋理工大学；清华大学；普林斯顿大学 | arXiv:2609.39096 关键词：自回归视频, KV Cache, 训练自由剪枝, 长上下文, 一致性 前序问题：自回归视频扩散把每段历史都塞进 KV Cache，时间越长，显存和 attention 成本越大。固定滑窗只看远近，attention 权重或相似度剪枝又不直接回答“这个历史块是否提供了不可替代的信息”，所以容易把稍后 prompt 才会重新提到的物体细节一起删掉。 本文贡献：DeCoPrune 用同一条去噪轨迹里的中间 probe 与最终预测做差：没有历史支持时难以稳定去噪、step-to-final discrepancy 较大的 token 被判为更需要上下文，因此保留高差异 token，再物理压紧历史 KV。论文同时构建 CMBench，用一分钟上下文中的物体取放、场景恢复等续写任务专测“前文记没记住”，并提供按 attention head 类型分组的 HS 版本。 实验效果：主设置剪掉 85.43% 历史 KV，续写 FPS 从 FullKV 的 1.568 提到 6.489，快 4.14 倍；CMBench DINO 从 0.6803 只降到 0.6701。head-specialized 版本在 86.19% 剪枝率下 DINO 为 0.6783，几乎追平 FullKV，且 VBench 的图像质量项没有出现系统性崩塌。 批判点评：“剪掉 85%”并不等于显存有硬上限，作者明确承认剩余缓存仍随视频长度线性增长。Denoising consistency 是 future-agnostic 的：某个细节此刻很好去噪、因此被删掉，但未来指令恰好再次询问它时仍可能失忆。主干又集中在 LingBot World v2，其他开源模型的分钟级 FullKV 本身就不稳定，方法与 backbone 上限难完全拆开。 10. ViTeX-Bench：387段视频检验动态改字 ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing | 得州农工大学 | arXiv:2609.40356 关键词：视频编辑, 场景文字, 评测基准, 时序一致性, 编辑局部性 前序问题：视频里的招牌、球衣或屏幕改字，要同时满足字符串正确、跨帧不漂、背景不被改。通用视频编辑指标可能把“画面很稳但根本没改字”的结果评得很高，静态 OCR 又看不见闪烁与字符漂移，现有公开数据也缺少真实视频的成对编辑参考。 本文贡献：ViTeX-Bench 收集 387 段 720p、120 帧、24 FPS 真实视频，其中 230 段提供人工复核的成对训练编辑，157 段冻结测试。评测拆成文字正确性、视觉/时序质量、编辑局部性三轴共 13 个指标，并用 OCR 校准、人评相关性与 Pareto 前沿解释取舍；配套的 ViTeX-Edit-14B 用随运动对齐的 glyph-video 条件微调 VACE。 实验效果：八条基线中，ViTeX-Edit-14B 在 video-native 编辑器里 CharAcc 最高，为 0.688，text-crop Warp 1.53 也最低；相较 VideoPainter 的 CharAcc 0.619 提升 0.069。但逐帧 FLUX-Text 的 CharAcc 仍达 0.737，代价是 Warpc 13.01、字符跨帧严重漂。人评与 OCR 方法排名的 Spearman 相关系数为 0.95。 批判点评：这个基准把“漂亮、正确、稳定、局部”拆开是优点，也暴露了参考模型并非全面第一：ViTeX-Edit 的 SeqAcc 0.341 低于 FLUX-Text 0.528。数据以清晰、局部、拉丁文字为主；非拉丁切片里除 AnyText2 外其余编辑器 CharAcc 都低于 0.19，严重运动、曲面文字、密集排版的覆盖仍不足。 趋势观察 加速的战场从「少走几步」挪到了「每层只记该记的」 ReCaVSR 给每个 DiT 层学一个缓存跨度，PARK 修正稀疏注意力的块检索误差，UnStep 把两步采样、限窗 KV 与 kernel 优化叠进同一个免训练 wrapper，DeCoPrune 则用去噪一致性挑出真正依赖历史的 token，四篇都指向同一件事：视频模型已进入少步时代，下一轮效率竞争发生在缓存、检索与运行时细节。另一头，PixelUMM 去掉视觉编码器让像素直进统一模型，说明「统一」正在从拼模块转向砍模块。 人工智能炼丹君 整理 | 2026-10-02 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

深度解读|字节Seed×UCSD VSA2|砍掉95%注意力计算 720p端到端快4.62倍 VSA2 深度解读：字节 Seed 与 UCSD 把视频稀疏注意力推到 95%，720p 端到端快 4.62 倍 论文：Improving Video Sparse Attention with Fine-grained Router and Sparse Rebasing 机构：UC San Diego · 字节跳动 Seed · UC Berkeley · Georgia Tech 作者：Peiyuan Zhang、Guoqiang Wei、Yilong Zhao、Zixiang Zhang、Wei Zhou、Will Lin、Heng Zhang、Xiaonan Nie、Yan Zeng、Hao Zhang（Peiyuan Zhang 与 Yilong Zhao 的工作完成于字节 Seed 实习期间） 日期：2026-09-26（arXiv 2609.32882） 代码：截至发稿未见 VSA2 的代码与权重；前代 VSA、STA 的 kernel 在 FastVideo 仓库（hao-ai-lab/FastVideo）开源 论文状态：arXiv 预印本，comment 字段为空，暂无接收信息 01 先说说这东西是干嘛用的 视频 DiT 越做越长、越做越清晰，最先扛不住的是注意力。 论文开头给了一个量级：一段 5 秒的高清视频，展开成 token 就超过 10 万个。3D 全注意力的计算量随序列长度平方增长，训练和推理的大头都落在注意力上。作者后面测速用的 720p、10 秒视频，是 22 万 token。 UCSD 这个组在更早的 STA 论文里给过一个更直观的数：HunyuanVideo 生成一段 5 秒 720P 视频总共要 945 秒，其中注意力就占了 800 秒。 大家早就知道注意力矩阵里大部分元素贡献很小，于是有了一大批稀疏注意力方法。但这里有一道分水岭： 只在推理时稀疏（Sparse VideoGen、SpargeAttn 这一类）：模型还是用全注意力训出来的，最贵的预训练阶段一点没省； 训练时就稀疏（VSA、SLA、SLA2 这一类）：理论上预训练也能省。但按作者的说法，这类方法在 post-training 阶段大约能稀疏掉 80%，再往上就碰到天花板；真正拿去做预训练的工作规模都偏小，评价主要只看 loss。 VSA2 想做的是后一类的"完整版"：一个能从预训练中途接入、一路用到 RL 和推理的可训练稀疏注意力。它在前代 VSA 的基础上改了两处结构，外加一套训练配方： 细粒度 router：选块时的池化粒度不再和 GPU 友好的块大小绑定，而是先用小得多的池化算注意力分数，softmax 之后再合并成块级分数； per-sequence TopK：总计算预算固定，但不再要求每个 query 分到一样多的 KV 块，难的 query 可以多拿； Sparse Rebasing：低分辨率阶段照旧用全注意力 checkpoint，到 480p/720p 这种最烧算力的阶段才切换成 VSA2；配合 Hard-to-Easy Curriculum，训练时稀疏度高、推理时放宽。 结果是这样的（论文 Table 2 与 Figure 8）： 设置 注意力稀疏度 加速 质量 480p 预训练，训练/推理都用 top64 90% 端到端 2.09× 人评与全注意力互有胜负 720p 预训练，训练/推理都用 top64 95% 端到端 4.62× 人评与全注意力基本持平 注意力算子，22 万 token（单卡 H800，对比 FlashAttention-3） top64 注意力 8.9× — 作者团队也值得一提。UCSD 这边是 Hao Zhang 组，STA、VSA 和 FastVideo 都出自这里，一作 Peiyuan Zhang 同时是 STA 和 VSA 的一作；另一半作者来自字节 Seed。所以这篇可以看成 VSA 这条路线第一次在完整的视频 DiT 训练流程里走通——从预训练、RL 到推理。 （图片来源：论文 Figure 3。样本来自 Table 2 中 Exp 6 的 checkpoint，每组上行是全注意力、下行是 VSA2；第一组和第三组是图生视频，中间一组是文生视频） 02 主要亮点，以及需要冷静看的地方 值得关注的地方： 全流程验证。480p 预训练、720p 预训练、RL、推理四个环节都换成了稀疏注意力，并且和同数据、同超参、同步数训出来的全注意力模型逐项对比。按作者的说法，这是第一个在视频 DiT 开发各阶段都端到端验证过的可训练稀疏注意力； "router 不需要学"有实验支撑。几组对照实验显示，让 router 接收梯度（不管是 NSA 式借道 coarse branch，还是 MoE 式直接反传），都不如完全不给梯度（Figure 7(c)(d)），结构因此更简单； 选块粒度和硬件块大小解耦。细粒度 router 配 top64，loss 比粗粒度 router 配 top128 还低（Figure 7(e)），fine branch 的计算量直接砍半； 稀疏预算按整条序列分配。per-sequence TopK 让每个 query block 拿到的 KV 块数可变，loss 比传统的 per-token TopK 低（Figure 7(f)）； 不用从头训。Sparse Rebasing 只在高分辨率阶段切换，新增参数只有一个零初始化的门控投影； "训难测易"换来更好的运动。用 top64 训、top128 推，文生视频运动质量的人评净胜率达到 22.1%（Table 2 Exp 2）； kernel 是认真做过的。router 的 GEMM、softmax、池化融合成一个 CuTe DSL kernel，fine branch 用 ThunderKittens 实现 block-sparse attention，22 万 token 下注意力比 FlashAttention-3 快 8.9 倍。 需要冷静看的地方： 人评的分辨率很粗。分数是（更好 − 更差）/ 149，每 0.67% 就是一条 prompt。720p 那一行"运动 +6.71%、指令跟随 −2.01%"，换算过来是净多赢 10 条、净少 3 条，多数格子都在统计噪声范围内（详见第 09 段）； "计算量减半"只算了 fine branch。把 router 自身的开销算进去，720p 下相对 VSA 的 top128，实际省下的注意力时间大约是三分之一（我按论文给的 router 耗时占比粗算，见第 10 段）； 没有外部 baseline。没有和 SLA、SLA2、VMoBA、Sparse VideoGen 在同一个模型上比，也没有 VBench 这类公开 benchmark，对比对象只有全注意力和 VSA/NSA 的设计变体； 模型、数据、代码都不公开。参数量、数据集、VAE 配置论文都没写，外部无法复现； 训练省了多少没给数。论文动机是降低预训练成本，但给出的加速全在推理侧，没有训练吞吐或 GPU 小时的对比； Hard-to-Easy 有代价。运动变好了，指令跟随和美学却下降（Exp 3 的文生视频指令跟随净输 15.4%），需要再做一轮更高 top-K 的 RL 才能拉回来； 30 秒长视频只有抽帧展示，没有全注意力对照，也没有量化指标； 扩展性有两个已知隐患：router 的相对开销固定在全注意力的 $1/R^2$ 左右，序列更长时会变成瓶颈；动态稀疏模式和 Ring-Attention 序列并行不好配合。这两点作者在附录里自己承认了。 03 视频稀疏注意力这条赛道现在什么样 先把 VSA2 放回坐标系里。视频 DiT 的稀疏注意力大致分三拨。 第一拨：免训练，只管推理。 拿一个用全注意力训好的模型，推理时找出不重要的注意力块跳过。代表是 Sparse VideoGen（在线判断每个头是"空间头"还是"时间头"，在 CogVideoX-v1.5 和 HunyuanVideo 上端到端最高 2.28 倍和 2.33 倍），以及 SpargeAttn、XAttention、Radial Attention 等。STA 算半只脚在这里：它用固定的 3D 滑动 tile 窗口，免训练时 HunyuanVideo 从 945 秒降到 685 秒，允许微调后降到 268 秒。 这一拨的共同问题是模型没见过稀疏，稀疏度一高就容易掉质量，而且预训练成本一分没省。 第二拨：微调之后稀疏。 在已有模型上用少量步数把稀疏注意力"训进去"。清华的 SLA 把注意力权重分成关键、边缘、可忽略三类，关键部分走稀疏注意力、边缘部分走线性注意力，在 Wan2.1-1.3B 上注意力计算省 95%，端到端 2.2 倍；后续的 SLA2 加上可学习 router 和量化感知训练，把稀疏度推到 97%。VSA 也做过类似的改造：把 Wan-2.1 换成稀疏注意力后，注意力提速 6 倍，端到端从 31 秒降到 18 秒。 第三拨：预训练就稀疏。 DSV、VSA 都尝试过从预训练阶段就用稀疏注意力。VSA 当时从 6000 万参数一路做到 14 亿参数的 scaling 实验，找到一个训练 FLOPs 降 2.53 倍、diffusion loss 不掉的点。但正如 VSA2 自己指出的，这些实验规模偏小，评价主要看 loss，没有人评和视觉对比。 LLM 那边的两条线也是 VSA2 的直接参照： DeepSeek 的 NSA：压缩、选择、滑窗三路注意力，同一 GQA 组内的 query 头共享稀疏模式，选块分数借用压缩分支； Moonshot 的 MoBA：对 key 块做均值池化当门控，不带可训练参数。 VSA2 的不少消融实验，就是在回答"LLM 这套设计搬到视频上还成不成立"。 所以 VSA2 的位置很清楚：沿着 VSA 的 coarse-to-fine 框架，把"预训练就稀疏"推进到完整的视频 DiT 训练流程里，并重新设计了 router。 04 旧 router 卡在哪：两个结构性天花板 先把 coarse-to-fine 框架讲清楚，VSA2 的改动都在它上面动刀。 以 VSA 为例，一层稀疏注意力分两步： coarse branch（粗粒度支路）：把相邻的 B 个 token（在视频里是一个 $B_t\times B_h\times B_w$ 的小立方体，下面叫 cube）的 Q、K、V 各求平均，得到长度为 $L/B$ 的短序列，在上面做一次全注意力。这一步既产出一份粗粒度的注意力输出，又得到一张 cube 与 cube 之间的亲和度分数图； 选块 + fine branch（细粒度支路）：每个 query cube 在分数图里挑 TopK 个最相关的 key cube，然后只在这些 cube 对里做逐 token 的 block-sparse attention。 为了让 GPU 算得快，block-sparse attention 的块大小 B 通常取 64 或 128，这是硬件决定的。问题在于，以往的 router 顺手把池化步长也设成了 B——一个 cube 的 128 个 token 被压成一个向量去算分数。 作者认为这带来两个结构性天花板。 天花板一：池化太粗，看不清关键 token。 128 个 token 的平均值会把 $\mathbf{QK}^\top$ 里的细节抹平。长视频、高分辨率下，这种"混叠"要么让真正关键的 token 漏选、质量下降，要么逼着你多选块、稀疏度上不去。 天花板二：每个 query 分到的预算一样多。 标准的 per-token TopK 要求每个 query 看同样数量的 KV。简单的 query 浪费算力，难的 query 又吃不饱。稀疏度一往上推，最先饿着的恰恰是最需要上下文的那些 query。 从公式上看更清楚。假如算力无限，最理想的选块分数应该是先算完整的 token 级注意力 $\mathbf{A}$，再按块求平均： $$\mathbf{A}=\mathrm{Softmax}\big(\mathbf{Q}\mathbf{K}^\top/\sqrt{D}\big)$$ $$\mathbf{P}_{oracle}=\mathrm{MeanPool}_{B\times B}(\mathbf{A})$$ VSA 的 coarse branch 则是把池化挪到了 softmax 前面，先按整个 cube 池化出 $\mathbf{Q}_c=\mathrm{MeanPool}_B(\mathbf{Q})$、$\mathbf{K}_c=\mathrm{MeanPool}_B(\mathbf{K})$，再算注意力： $$\mathbf{P}_c=\mathrm{Softmax}\big(\mathbf{Q}_c\mathbf{K}_c^\top/\sqrt{D}\big)$$ 如果注意力是线性的，两者相等；但 softmax 是非线性的，所以这只是近似，精度取决于"cube 内部的 token 足够相似"这个局部性假设。cube 越大，这个假设越站不住。 VSA2 的解法，一句话就是：只在 router 里把 cube 切得更细。下图左边是以往的 router，右边是 VSA2 的细粒度 router，细节放到第 07 段讲。 （图片来源：论文 Figure 1。左：VSA 等方法使用的常规 router，Q、K 都按整个 cube 池化，softmax 之后直接 TopK；右：VSA2 的细粒度 router，先按小得多的尺寸 R 池化 Q、K，softmax 之后再按 G×G 做分数池化，最后 TopK） 05 router 要不要学？作者先做了一组拆解实验 （05～07 三段偏技术，只想看结果的可以直接跳到 08。） 改 router 之前，作者先回答了一个更根本的问题：router 的选块能力到底从哪来？ 这件事在 MoE 里很明确：router 的打分会乘到专家输出上，梯度能流回来，router 是学出来的。但在稀疏注意力里，TopK 选出的是一张布尔 mask，fine branch 的梯度流不回 router。VSA 的 coarse branch 虽然有梯度（来自它自己的输出 $\mathbf{O}_c$），但这份梯度并不来自选块结果。 于是有两种假说： 局部性启发：相邻 token 本来就相似，均值池化出来的 cube 特征已经够用，router 根本不需要参数和梯度。MoBA、Quest 是这个思路； 辅助监督：router 和 coarse branch 共享参数，coarse branch 的梯度虽然不直接针对选块，但顺带把 router 也练好了。NSA 属于这种。 作者设计了几组参数量对齐的消融： （图片来源：论文 Figure 7。(a) 全注意力设置下 GQA（4 组）与 MHA 的训练 loss；(b) "按头分组 + 按邻域分组"的混合方案与纯"按邻域分组"对比；(c) router 的 QKV 绑定 coarse branch 还是 fine branch；(d) MoE 式可反传 router 与 VSA 对比；(e) 有无细粒度 router、top64 与 top128 对比；(f) per-token 与 per-sequence TopK 对比。除 (f) 从 256p 视频 checkpoint 初始化外，其余都从头训练；(b)(e)(f) 的放大插图是训练末段） 先看 router 相关的两组： (c) router 绑谁：把 coarse branch 和 fine branch 的 QKV 投影拆开，让 router 跟 coarse branch 共用 QKV（能收到 $\mathbf{O}_c$ 的梯度），或者跟 fine branch 共用（相当于 MoBA 式的无梯度 router）。结果后者 loss 更低； (d) 直接给 router 梯度：仿照 FFN 里的 MoE，coarse、router、fine 各用一套独立的 QKV，fine branch 的输出再乘上 router 的打分，让 router 直接拿到梯度。结果这种 MoE 式反传并不比原版 VSA 好。 结论是：在视频扩散模型里，复杂的可学习 router 没必要，无梯度 router 就够了，效果还更好。 既然 router 不学，能改进的就只剩"无梯度 router 本身的精度"，这就引出了细粒度 router。 同一张图里还有两组是针对 NSA 设计的： (a) GQA vs MHA：全注意力下，MHA 的训练 loss 明显低于 4 组的 GQA。LLM 用 GQA 主要是为了解码时省 KV cache，视频 DiT 是双向、整段去噪，没有这个约束； (b) 按头分组 vs 按邻域分组：NSA 让同一 GQA 组内的 query 头共享稀疏模式（group head）；VSA2 让时空上相邻的 query token 共享（group neighbour）。有效组大小相同时，纯 group neighbour 更好。 我的看法：这组实验的结论很干脆，但有两点要留个心眼。一是 (a)～(d) 和 (f) 都只训了 1 万步，(e) 也只有 3 万步，全是单次运行，没给多随机种子的方差；二是 (e)(f) 两组的差距要靠放大插图才分得清，曲线大部分时候是重叠的。结论的方向我倾向于相信，但"显著更低"的说法要打个折。 另一个有意思的对照是 SLA2。SLA2 的核心卖点恰恰是可学习 router，VSA2 却说 router 不用学，两篇结论看似相反。不过场景不同：SLA2 是在训好的 Wan2.1 上做短程微调，router 要在很少的步数里适配一个现成的全注意力模型；VSA2 是数万步的预训练，网络的其他部分有足够时间去适应一个固定的 router。我的理解是，在预训练尺度上，与其让 router 学会挑块，不如让模型学会适应 router。 06 VSA2 的整体结构：两条支路、一个 router、一扇门 （图片来源：论文 Figure 2。左侧 coarse branch 把 Q、K、V 按 cube 池化后做 cube 级全注意力，再 Repeat 回原分辨率，乘上由 Gate 投影经 Tanh 得到的门控值；右侧细粒度 router 产出块级 mask M，交给 BlockSparseAttn 计算 fine branch；两路输出相加得到最终结果） 按数据流走一遍。 第 0 步：重排。 把 token 从逐行扫描的顺序重排成逐 cube 的顺序，让同一个 cube 里的 token 在内存里挨着。注意力是整个 Transformer 里唯一依赖 token 顺序的算子，所以这个重排只需在网络开头做一次，RoPE 位置编码跟着一起重排即可。 coarse branch：和 VSA 一样。 按 cube 做均值池化，在 $L/B$ 长度的序列上做全注意力，再把输出复制回每个 token。作者也试过 NSA 式的池化和基于注意力的池化，都没比简单的均值池化更好。 fine branch：只算选中的块。 用 router 给出的 mask 做 block-sparse attention。文本条件部分照 MMDiT 的做法处理：视频到文本、文本到视频的注意力保持完整，不做稀疏。 门控合并： $$\mathbf{O}=\tanh(\mathbf{X}\mathbf{W}_g)\odot\mathbf{O}_c+\mathbf{O}_f$$ $\mathbf{X}$ 是这一层的隐状态，$\mathbf{W}_g$ 是一个单通道投影，每个 token、每个头算出一个门控值，用来调节 coarse branch 的贡献；fine branch 的输出直接加上去。 这扇门的初始化很关键，第 08 段会讲到：$\mathbf{W}_g$ 是 VSA2 唯一新增的参数，初始化为零。 router 是 VSA2 相对 VSA 真正动刀的地方，单独拿出来讲。 07 细粒度 router：先小池化，softmax 之后再合并 VSA2 把 router 从 coarse branch 里拆了出来，单独用一个小得多的池化尺寸 R（见第 04 段的 Figure 1 右图）。记 $\mathbf{Q}_r=\mathrm{MeanPool}_R(\mathbf{Q})$、$\mathbf{K}_r=\mathrm{MeanPool}_R(\mathbf{K})$，router 的块级分数是： $$\hat{\mathbf{P}}=\mathrm{Softmax}\big(\mathbf{Q}_r\mathbf{K}_r^\top/\sqrt{D}\big)$$ $$\mathbf{P}_r=\mathrm{MeanPool}_{G\times G}(\hat{\mathbf{P}})$$ 拆开是三步，作者叫它 pool-softmax-pool： 小池化：每 R 个相邻 token 求平均（R 远小于 B），序列长度从 L 缩到 L/R； softmax：在这个"半粗粒度"的序列上算注意力分数； 再池化：把一对 cube 之间的 G×G 个分数求平均（G = B/R），得到 N×N 的块级分数。 它夹在两个极端之间：比 oracle 便宜得多（序列只有 L/R 长），又比 VSA 的 coarse branch 保留了更多 cube 内部的差异。换个说法，池化有一部分挪到了 softmax 之后，非线性造成的失真就小一部分。 论文没给具体的 B 和 R，但可以反推。 附录给了稀疏度的估算公式： $$\text{Sparsity}\approx 1-\Big(\frac{1}{R^2}+\frac{KB}{L}\Big)$$ 其中 $1/R^2$ 是 router 的开销（相对全注意力），$KB/L$ 是 fine branch 的开销（平均每个 query block 看 K 个 KV block），coarse branch 的 $1/B^2$ 小到可以忽略。 把 Table 2 的三组数代进去：480p（约 9.9 万 token）top64 时稀疏度 0.90、top128 时 0.82，720p（约 22 万 token）top64 时 0.95。两个 480p 的数一减，$64B/99\text{K}\approx0.08$，B 应该是 128；再代回去，R 取 8 时三个数都能对上（算出来是 0.902、0.819、0.947），取 4 或 16 都对不上。所以我推断 VSA2 用的是 B = 128、R = 8、G = 16——这是我的推算，论文正文没有写。 这组参数能说明几件事： router 的开销恒定在全注意力的 1/64，约 1.6%，跟序列长度无关； 720p 下约有 1719 个块，每个 query block 平均只看其中 64 个，也就是 3.7%； fine branch 的相对开销随序列变长而下降，所以同样的 top64，分辨率越高稀疏度越高。这正是作者强调的"从 480p 到 720p 不需要调大 top-K"。 per-sequence TopK：预算按整条序列分。 传统做法是每个 query block 各挑 K 个；VSA2 把 N×N 的分数矩阵拉平，在整条序列上一次挑出 N×K 个块对，各个头的预算相同。总计算量不变，但每个 query block 分到的 KV 块数可以差很多。Figure 7(f) 显示这样做的 loss 比 per-token 低一点；作者也试过按累计概率截断的 top-p 类方法，没有正向结果。 下面是按论文公式写的示意代码，方便对照理解（不是官方实现，真实 kernel 不会物化中间的注意力矩阵）： import torch @torch.no_grad() # router 不接收梯度 def fine_grained_router(q, k, R, topk): # q, k: [H, N, B, D]，已按 cube-major 重排； # 假设每个 block 内按 G 个大小为 R 的子立方体连续存放 H, N, B, D = q.shape G = B // R # MeanPool_R -> [H, L/R, D] qr = q.reshape(H, N * G, R, D).mean(dim=2) kr = k.reshape(H, N * G, R, D).mean(dim=2) # softmax -> [H, L/R, L/R] scores = qr @ kr.transpose(-1, -2) / D ** 0.5 p_hat = scores.softmax(dim=-1) # MeanPool_{GxG} -> [H, N, N] p = p_hat.reshape(H, N, G, N, G).mean(dim=(2, 4)) # per-sequence TopK：整条序列一起挑 N * topk 个块对 idx = p.reshape(H, N * N).topk(N * topk, dim=-1).indices mask = torch.zeros(H, N * N, dtype=torch.bool, device=q.device) mask.scatter_(1, idx, True) # 每行（query block）选中的块数可以不同 return mask.reshape(H, N, N) 融合 kernel：中间矩阵不能写出来。 上面代码里的 p_hat 是 (L/R)×(L/R) 大小。按我反推的 R = 8，22 万 token 时每个头约有 7.6 亿个元素，BF16 下约 1.5 GB，20 个头就是约 30 GB，物化出来显存和带宽都扛不住。 所以作者用 CuTe DSL 写了一个融合 kernel，把 GEMM、softmax 和 G×G 池化合在一起： （图片来源：论文 Figure 5。Q、K 先按 R 池化成 Qr、Kr；第一遍在 SRAM 上逐块计算 softmax 之前的注意力分数并累积 log-sum-exp；第二遍重新计算注意力块、做 softmax，并直接在 SRAM 上完成 G×G 池化，只把 L/B × L/B 的块级分数写回 HBM） $\mathbf{Q}_r\mathbf{K}_r^\top$ 要算两遍，多了一次计算，但换来 I/O 大幅减少。作者称比不融合的版本明显更快，但没给具体倍数。这是典型的用计算换访存，和 FlashAttention 的思路一脉相承。 08 训练配方：Sparse Rebasing 与 Hard-to-Easy 结构讲完，再看怎么训。对想在自家训练流程里用的人来说，这部分可能比结构本身更有参考价值。 先交代训练设置。 模型结构大体沿用 MMDiT，目标是 flow matching（预测速度），文生视频和图生视频联合训练；时间步采样用 logit-normal 分布，并按分辨率做偏移；工程上用了 FSDP、序列并行、激活重计算和 torch.compile。训练分三段：480p 预训练、720p 预训练，以及从 480p checkpoint 出发的 RL。所有阶段的训练片段都是 5～12 秒、多种长宽比。参数量、数据集、VAE 配置，论文都没有写。 Sparse Rebasing：只在最贵的阶段切换。 现在的视频 DiT 普遍走渐进式训练：先图像，再低分辨率短视频，最后高分辨率长视频。VSA2 从一个用全注意力训到 256p 的视频 checkpoint 出发，到 480p、720p 预训练和 RL 阶段才换成 VSA2。 切换之所以平滑，靠的是那扇门：$\mathbf{W}_g$ 零初始化，刚切换时 $\mathbf{O}=\mathbf{O}_f$，输出只来自 fine branch，也就是用同一套 Q、K、V 做的稀疏注意力，对原模型的扰动最小。coarse branch 的贡献之后再慢慢学出来。 这个思路和 MoE 从稠密模型 upcycling 很像（这是我的类比）。好处有两个：一是可以直接复用全注意力训好的文生图、低分辨率视频 checkpoint；二是低分辨率阶段序列本来就短，稀疏注意力省不了多少，没必要在那里折腾。 Hard-to-Easy Curriculum：训得难，测得松。 训练时用更激进的稀疏度（top-K 小），推理时放宽（top-K 大）。Table 2 的 Exp 1～4 对比了 top32/top64 训练与 top64/top128 推理的几种组合，规律很一致：推理时的 top-K 比训练时大，运动质量就更好。 最突出的是 Exp 2（top64 训、top128 推），文生视频运动质量人评净胜 22.1%。 但代价也很一致：指令跟随和美学变差。 Exp 3（top32 训、top128 推）的文生视频指令跟随净输 15.4%。 作者对这两个现象的解释是： 运动变好，是类似结构化 dropout 的正则效果； 指令跟随变差，是训练与推理不一致造成的。MMDiT 里视频和文本 token 共用一个注意力空间，推理时多看了视频 token，分给文本 token 的注意力就被稀释了。 对应的补救办法是：拿 top64 预训练好的 checkpoint，在 RL 阶段改用 top128 再训一轮（Exp 6）。结果文生视频的指令跟随和美学基本拉回持平（−2.01%、0.00%），运动质量仍然保持优势（文生 +7.38%、图生 +8.05%）。 RL 用的是 reward feedback learning，不是 GRPO 或 DPO。 模型直接预测干净视频 $x_0$，由一个基于 VLM 的奖励模型和一个基于 CLIP 的奖励模型打分，梯度直接穿过奖励模型回传给 DiT。一个值得肯定的细节：奖励权重是在全注意力 checkpoint 上调的，VSA2 直接沿用、不做任何调整。这对 VSA2 来说是偏保守的比较方式。 （图片来源：论文 Figure 4。(a) 480p 预训练和 (b) 720p 预训练的训练 loss，VSA2（蓝）整体略低于全注意力（绿），放大插图里才看得清差距；(c) 480p RL 阶段的美学 reward 与运动 reward，两种注意力的曲线基本重合） 90%～95% 稀疏度下 loss 反而略低于全注意力，这一点值得多想一下。我的一个猜测是：VSA2 并不是全注意力的"子集"，coarse branch 额外提供了一条带门控的全局汇总通路，相当于多了一点结构上的归纳偏置。论文没有做去掉 coarse branch 的消融，这个问题目前没有答案。 09 人评表怎么读：每 0.67% 就是一条 prompt VSA2 的质量评估主要靠两样：训练 loss（作者引用 Movie Gen 的结论，认为它和人类偏好相关性好），以及 149 条人工挑选的高难度 prompt 上的成对人评。 人评规则是：同一条 prompt 下 VSA2 和全注意力各生成一个 10 秒视频，评分员判"更好、一样、更差"，最后报告（更好 − 更差）/ 149。评测分辨率是 480×864（约 9.9 万 token）和 720×1280（约 22 万 token），用的是 EMA checkpoint。 这意味着表里的每个百分比都能换算回"净多赢了几条"：1/149 ≈ 0.67%。先看七组实验的配置： Exp 阶段 训练 / 推理 top-K 注意力稀疏度 端到端加速 1 480p 64 / 64 0.90 2.09× 2 480p 64 / 128 0.82 1.92× 3 480p 32 / 128 0.82 1.92× 4 480p 32 / 64 0.90 2.09× 5 480p RL 64 / 64 0.90 2.09× 6 480p RL 64+128 / 128 0.82 1.92× 7 720p 64 / 64 0.95 4.62× 再看人评结果，括号里是我按 ×149 换算的净条数： Exp 文生·运动 文生·指令跟随 文生·美学 图生·运动 图生·指令跟随 1 −1.34%（−2） +1.34%（+2） −0.67%（−1） +8.72%（+13） +1.34%（+2） 2 +22.1%（+33） −3.36%（−5） −4.7%（−7） +6.71%（+10） −8.72%（−13） 3 +7.38%（+11） −15.4%（−23） −4.7%（−7） +11.4%（+17） −9.4%（−14） 4 +12.1%（+18） −10.1%（−15） −7.38%（−11） +4.03%（+6） −4.03%（−6） 5 −4.03%（−6） +1.34%（+2） −2.01%（−3） +8.05%（+12） −4.7%（−7） 6 +7.38%（+11） −2.01%（−3） 0.00%（0） +8.05%（+12） −2.69%（−4） 7 +6.71%（+10） −2.01%（−3） +1.34%（+2） +0.67%（+1） −1.34%（−2） （数据来源：论文 Table 2，正数表示 VSA2 优于同阶段的全注意力模型；括号内的净条数是我的换算） 几个读法： 第一，720p 那一行才是标题数字对应的质量。 95% 稀疏、端到端 4.62 倍的情况下，五项指标里净差最大的是文生视频运动 +10 条，其余都在 3 条以内。说"与全注意力基本持平"是站得住的。 第二，多数格子在噪声范围内。 论文没报告平票比例。我粗算了一下：假如 VSA2 和全注意力其实一样好，且有一半是平票，那么净胜条数的标准差约为 8.6 条，也就是 ±5.8%。按这把尺子量，超出两个标准差的只有 Exp 2 的文生运动（+22.1%）和 Exp 3 的文生指令跟随（−15.4%），Exp 4 的文生运动（+12.1%）刚好擦线。也就是说，Hard-to-Easy 对运动的提升和对指令跟随的损害是可信的信号，其余的正负差别大多分辨不出来。 第三，正文有一处表述不严谨。 论文说 Exp 2 中"评分员认为 22.1% 的 VSA2 文生视频样本运动更好"，但按它自己的计分规则，22.1% 是净胜率（更好减更差），不是"更好"的比例。实际被判为更好的比例只会更高。 第四，图生视频的运动几乎全线为正。 7 组实验里只有 Exp 7 接近 0，其余都在 +4%～+11.4%。单看每格都不算显著，但方向一致，值得后续验证。 作者还做了一个挺有说服力的分析：把 Exp 1 里两个分别训练的 checkpoint（一个 VSA2、一个全注意力）的注意力图并排对比，训练 6 万步之后两者的注意力模式仍然高度相似（论文 Figure 6）。以往的分析一般是拿全注意力模型推理时的注意力图做 profiling，这里是两个独立训练的模型直接对比，更能说明稀疏训练没有把模型带偏。 10 速度到底从哪来 （图片来源：论文 Figure 8。单张 H800、batch 1、20 个头、head dim 128、top64；统计的是 Figure 2 中除 QKV 投影之外所有算子的总耗时。橙线是 FlashAttention-3，蓝线是 VSA2，虚线是 VSA2 的 router、fine branch、coarse branch 分项耗时） 算子层面：22 万 token（对应 720p、10 秒）时，VSA2 的注意力比 FlashAttention-3 快 8.9 倍。序列越长差距越大，图里 43.6 万 token 处 FA3 已经超过 3000 毫秒，VSA2 仍在几百毫秒以内。 router 的开销不小：22 万 token 时占注意力总耗时的 22%，43.6 万 token 时升到 30%。 理想与实测之间还有空间。 95% 稀疏意味着计算量只剩约 5%，按 FLOPs 算理想加速接近 20 倍，实测是 8.9 倍。差出来的部分，一块是 router 自己（22%），另一块我推测来自 block-sparse 的访存开销，以及每个 query block 选中块数不等带来的负载不均。论文没有给 fine branch 单独的 MFU，没法细拆。 端到端层面：720p 端到端 4.62 倍，比注意力的 8.9 倍低一截，因为 DiT 里还有线性层、归一化，以及文本编码、VAE 解码等开销。论文没有说明端到端计时具体包含哪些环节、用了几张卡、多少步。 用 Amdahl 定律倒推一下（我的粗算，假设 8.9 倍对端到端里的所有注意力都成立）：全注意力时，注意力约占 720p 端到端时间的 88%；换成 VSA2 之后，注意力只剩端到端时间的 46% 左右，非注意力部分反而占了一半以上。 这有一个直接推论：在 720p 这个量级，继续压注意力的边际收益已经在变小，下一步的大头在步数蒸馏、特征缓存、量化这些手段上。论文也提到，稀疏注意力和这些方法基本正交。 "计算量减半"要打个折。 摘要说 VSA2 比 VSA "注意力计算减半、loss 还更低"，依据是 Figure 7(e)：细粒度 router 配 top64 优于粗粒度 router 配 top128，fine branch 的计算量确实减半。但 router 本身不是免费的。 按论文给的 22% router 耗时占比粗算：VSA2 的注意力耗时里，fine branch（连同很小的 coarse branch）约占 78%；换成 VSA 的 top128，这部分翻倍，总耗时约为 VSA2 的 1.56 倍。也就是说，VSA2 相对 VSA 实际省下的注意力时间约 36%，大约三分之一。如果改按附录的 FLOPs 公式和我反推的参数算，720p 省 29%、480p 省 41%。数字依然可观，但不是一半。 router 的开销会越来越显眼。 按稀疏度公式，router 的相对开销固定在 $1/R^2$，fine branch 的相对开销 $KB/L$ 随序列变长而下降。按我反推的 B = 128、R = 8、K = 64，两者在 $L=KBR^2\approx52$ 万 token 时持平。作为参照，1080p、10 秒视频按 720p 的 22 万 token 等比例换算约 49.5 万 token，已经贴着这个拐点，而 1080p 正是作者在附录里写的下一步。到那时，要么把 R 调大（router 更便宜，但也更粗），要么就得换一种分层的 router。 11 30 秒长视频：是个信号，还不是结论 （图片来源：论文 Figure 11，附录。样本来自 Exp 6 的 checkpoint，四组 30 秒视频的抽帧：雪山滑雪、水中追球的小狗、乡间土路上开旧卡车的男人、客厅里弹钢琴的男人） 论文附录展示了一组 30 秒视频：训练数据最长只有 12 秒，模型直接生成了 30 秒，作者称"没有明显退化"，并把它当作 VSA2 能往分钟级视频扩展的早期证据。 这组结果值得看，但证据力度有限： 没有全注意力对照。30 秒这组只有 VSA2 自己的样本，分不清长度泛化能力来自稀疏注意力还是模型本身； 没有量化指标，也没说明生成分辨率和 token 数； 抽帧看不出时序问题。比如第二行最后一帧，小狗和水花已经糊成一团，是剧烈运动的正常模糊还是长时退化，单凭抽帧判断不了。作者提到补充材料里附了视频文件。 不过有一点是确定的：30 秒视频的 token 数是 10 秒的三倍左右，全注意力的计算量就是九倍。越是这种长度，稀疏注意力的收益越大。 作者在附录里写了两个后续方向：一是做 1080p，二是和 Self-Forcing 这类自回归视频生成方法结合。后者逐块生成视频，天然需要高效的长上下文注意力。 12 想自己用要注意什么 现状：截至发稿，VSA2 的代码和权重都没有公开。前代 VSA、STA 的 kernel 在 FastVideo 仓库里开源，VSA2 的 fine branch 和 VSA 一样用 ThunderKittens 实现 block-sparse attention，复现有现成的起点；需要自己补的是细粒度 router 的融合 kernel，以及支持每个 query block 选中块数不等的调度。 如果想照着复现，关键配置是这些（B、R 为我的反推）： 块大小 B = 128（cube 的三维切法论文没给），router 池化尺寸 R = 8，G = B/R = 16； 平均每个 query block 选 64 个 KV block，用 per-sequence TopK，各个头预算相同； router 不接收梯度，Q、K 直接用 fine branch 的投影结果； 门控 $\mathbf{W}_g$ 零初始化，coarse branch 的输出乘 tanh 门控后与 fine branch 相加； 与文本相关的注意力保持完整。 训练配方上的建议： 不要从头训。低分辨率阶段保留全注意力，到 480p 以上再切换； 如果想用 Hard-to-Easy 换运动质量，最后记得用推理时的 top-K 再做一轮 RL 或微调，否则指令跟随会掉； 序列并行优先用 Ulysses（按头切分）。VSA2 每个头的计算量相同，Ulysses 下负载天然均衡；Ring-Attention 按序列切分，而 per-sequence TopK 选中的 KV 块可能集中在少数分片上，GPU 之间会负载不均。这是作者在附录里承认的限制。 如果你手上是开源模型、只想加速推理：VSA2 需要训练，不是即插即用的方案。在 Wan2.1 这类开源模型上，SLA、VSA 这类微调方案，或者 Sparse VideoGen 这类免训练方案，代码都已经开源，现在就能用。 硬件：测速只在 H800 上做过，kernel 依赖 ThunderKittens 和 CuTe DSL，换到其他架构的卡上需要重新评估。 13 需要留意的限制 前面零散提过，这里集中说。 1. 人评样本少、粒度粗。 149 条 prompt，每格的分辨率是 0.67%。论文没报告评分员人数、是否盲评、平票比例和评分一致性。除了 Hard-to-Easy 带来的运动提升和指令跟随下降，其余多数差异都在统计噪声以内。"与全注意力持平"的结论站得住，"部分场景超过全注意力"需要更大的评测集来确认。 2. 没有外部 baseline，没有公开 benchmark。 对比对象只有同条件训练的全注意力，以及 VSA/NSA 的设计变体。没有在同一个模型上比 SLA、SLA2、VMoBA、Sparse VideoGen，也没有 VBench 之类的公开指标。 3. 无法复现。 模型参数量、数据集、VAE、训练算力都没公开，代码和权重也没放出，外部读者只能相信内部实验。 4. 训练加速没有量化。 论文的出发点是预训练成本，但所有加速数字都来自推理。Sparse Rebasing 到底省了多少 GPU 小时、训练吞吐提升多少，没有给。 5. "计算量减半"没算 router。 算上 router，720p 下相对 VSA 实际省下约三分之一（见第 10 段）。 6. 消融的统计强度一般。 Figure 7 的消融是 1 万到 3 万步的单次运行，(e)(f) 的差距要靠放大插图才看得见，没有多随机种子。 7. Hard-to-Easy 的代价要靠额外训练来补。 运动质量的提升伴随着指令跟随和美学的下降，要再做一轮更高 top-K 的 RL 才能恢复。工程上意味着训练和推理要维护两套 top-K 配置。 8. 扩展性隐患。 router 的相对开销固定在 $1/R^2$，按反推参数在约 52 万 token（接近 1080p、10 秒）时会追平 fine branch；动态稀疏和 Ring-Attention 不好配合。这两点作者都在附录里承认了。 9. 长视频证据薄弱。 30 秒生成只有抽帧展示，没有全注意力对照和量化指标。 10. 端到端测速条件不透明。 端到端加速用的硬件、GPU 数、采样步数、是否包含文本编码与 VAE 解码，论文都没交代。 14 横向对比表格 下面这张表是我按各论文公开信息整理的，不是论文原表。各方法的模型、硬件、分辨率、baseline 都不同，加速倍率跨行不能直接比较。 方案 何时引入稀疏 怎么选块 选块器是否学习 报告的稀疏度 论文报告的加速 VSA2（2026.09） 预训练中途接入，覆盖 RL 与推理 细粒度 pool-softmax-pool，per-sequence TopK 否，无梯度 90%～95% 注意力 8.9×（H800，对比 FA3）；720p 端到端 4.62× VSA（2025.05，NeurIPS 2025） 从头预训练，或改造已有模型 cube 级 coarse attention 的分数，逐 query block TopK 与 coarse branch 共享参数 — 训练 FLOPs 降 2.53×；Wan-2.1 注意力 6×，端到端 31 秒→18 秒 SLA（2025.09） 微调 按注意力权重分关键、边缘、可忽略，边缘部分走线性注意力 启发式划分 注意力计算省 95% 注意力 13.7×；Wan2.1-1.3B 端到端 2.2× SLA2（2026.02） 微调 + 量化感知训练 可学习 router 决定走稀疏还是线性 是 97% 注意力约 18.6×；Wan2.1-14B-720P 端到端 4.35×（RTX 5090，排除 CPU offload 开销） STA（2025.02，ICML 2025） 免训练或微调 固定的 3D 滑动 tile 窗口 无选块器 — HunyuanVideo 端到端 945 秒→685 秒（免训练）、268 秒（微调） Sparse VideoGen（2025.02） 仅推理 在线 profiling，把头分成空间头和时间头 不需要训练 — 端到端最高 2.28×（CogVideoX-v1.5）、2.33×（HunyuanVideo） NSA / MoBA（2025.02，LLM） 预训练 NSA：压缩分支打分，GQA 组内共享；MoBA：key 块均值池化做门控 NSA 借道压缩分支获得梯度；MoBA 无参数 — 语言模型，不直接可比 几点解读： VSA2 真正的差异化不在倍率，而在"何时引入稀疏"那一列。 表里其他视频方法要么只管推理，要么在现成模型上微调，VSA2 是唯一在完整的视频 DiT 训练流程里（预训练 + RL + 推理）端到端验证过的； "router 要不要学"，各家答案不同。 SLA2 押注可学习 router，VSA2 的消融说不用学。两者一个是微调、一个是预训练，场景不同，目前还谈不上谁对谁错； 单看倍率，SLA2 在 Wan2.1-14B-720P 上的 4.35 倍和 VSA2 的 4.62 倍量级相当，但模型、硬件、测速条件都不同，不能据此排高下。更实际的差别是门槛：SLA2 可以拿开源模型直接微调，VSA2 得从预训练阶段就改，对大多数团队来说前者容易得多。 15 总结感受 我觉得这篇论文最大的价值，是把"可训练稀疏注意力"从一个小规模、只看 loss 的研究结论，变成了一个在完整视频 DiT 训练流程里走通的工程方案。预训练、RL、推理都换成 90%～95% 稀疏的注意力，人评还能和全注意力打平，这件事本身就是一个很强的信号。 具体的技术结论里，有三条我认为会被后续工作反复引用： router 不需要学，但需要比硬件块更细的粒度。 选块能力来自数据本身的局部性，而不是梯度；真正限制精度的，是把 128 个 token 压成一个向量的那一步； 稀疏预算应该按序列分，而不是按 query 均分。 固定总预算、让难的 query 多拿，是一种简单有效的自适应计算； 稀疏注意力可以在训练中途接入。 "要不要用稀疏注意力"从一个预训练开始前就得拍板的架构决策，变成了一个可以到高分辨率阶段再做的工程决策，采用门槛低了很多。 但也要清醒地看到，这篇论文的证据几乎全是内部的：内部模型、内部数据、149 条 prompt 的人评、没有外部 baseline，也没有代码。它更像一份高质量的工业实践报告，而不是一篇可以被独立验证的方法论文。 给不同读者的建议： 如果你在训练自己的视频 DiT：这篇是目前最值得参考的稀疏注意力训练配方。Sparse Rebasing 和"高分辨率阶段才切换"的思路可以直接借鉴；Hard-to-Easy 能换来运动质量，但要为指令跟随留一轮 RL。 如果你做推理部署、用的是开源模型：VSA2 暂时用不上，SLA、VSA 改造版或 Sparse VideoGen 这些有代码的方案更现实。另外记住，在 720p 量级上注意力被砍掉之后，非注意力部分就成了大头，步数蒸馏和缓存可能比继续压注意力更划算。 如果你是研究者：有几个问题这篇论文没有回答。稀疏训练为什么能让 loss 低于全注意力，是 coarse branch 带来的额外通路，还是正则效应？router 在 1080p 以上怎么扩展？每个 query 选中的块数不等时，序列并行的负载怎么均衡？ VSA2 把视频稀疏注意力的讨论，从"推理时怎么少算"推进到了"训练时就不算"。它能不能撑到 1080p 和分钟级视频，取决于 router 开销和序列并行这两个问题怎么解决，这也是这条路线接下来最值得期待的地方。 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-30|港科大先写谱再唱，YuE2 逼近 Suno 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与推理加速 4 篇 · 蒸馏与一步生成 3 篇 · 统一模型与自我反思 1 篇 · 音乐与音频生成 1 篇 · 数据集与评测 1 篇 重点论文标题列表 YuE2（港科大）：先写谱再唱出来，49.3%胜 WorldAttention（阿里巴巴达摩院）：单卡22帧，内核快14倍 PDMD（加州大学圣迭戈分校）：一行代码，VBench 涨 1.03 GeoShrink（香港科技大学（广州））：两行代码换五倍，PSNR+3.10 MGFlow（清华大学）：一步打赢四步，FDr 1.45 今日论文速览 1. YuE2：先写谱再唱出来，49.3%胜 YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality | 香港科技大学；M-A-P；HKGAI；Tokenwave.AI；纽约大学；斯坦福大学；MBZUAI；Noiz；ACE Studio | arXiv:2609.33757 关键词：音乐生成, 符号音乐, 音频生成, 可控创作, 多模态 前序问题：符号音乐模型把旋律、和声、节奏、曲式写得很清楚，但通常停在「谱」这一步，出不了成品录音；音频模型能吐出完整歌曲，作曲过程却完全隐式，用户没法改。真正可用的创作工具要的是「先看懂谱、再决定怎么唱」。更麻烦的是训练数据：现成录音没有对齐的乐谱，符号监督和语义监督双双缺失。 本文贡献：用一个 AR-NAR 混合的 Mixture-of-Transformers 把两件事接成一条链：先写出可读的乐谱（指定旋律与和声），展开成 25 Hz 语义音乐 token，最后落成 25 Hz 连续声学 latent，由 48 kHz 立体声 VAE 解码成整首歌。为从「没有对齐乐谱的录音」里学会这套流程，配套提出 MERT2 提供语义监督、SheetSage2 提供符号监督。由于中间产物是人类可读的乐谱，同一 checkpoint 能跟着谱面编辑改动并保住未改动部分，还能零样本翻唱，外部大模型也可把反馈译成谱面修订，实现 agentic 改曲。 Composing in symbols, performing in audio. 实验效果：同一 checkpoint 下，专家对「带符号规划」的整体偏好为 49.3%，不规划只有 34.6%。WildSongBench 上 SongBench Global Avg 得 6.73，超过所有受评公开基线；best-of-8 取 6.96，是全部受评系统中的最高均值。专家听测中 best-of-8 优于 Suno v4.5，对 v5 接近持平。MERT2 在 MARBLE 的 15 项指标中 14 项刷新最佳；SheetSage2 在 lead-sheet 转录对比的 15 组指标对中 12 组领先。 Expert preferences for YuE2 versus six proprietary song generators across all six criteria. 批判点评：49.3% 对 34.6% 看着是压倒性优势，其实只是同一套系统的两种采样策略互相比，净增益不到 15 个百分点。真正硬的对标是 Suno v6：论文自己给的专家偏好里对 v6 的 overall 胜率只有 31.6%、败率 59.3%，是明显劣势——「frontier quality」只在 v4.5 / v5 这一档站得住。另外 best-of-8 的 6.96 需要 8 倍采样成本，56 页技术报告也没有同行评审背书。 2. WorldAttention：单卡22帧，内核快14倍 WorldAttention: An Efficient Attention Architecture for Interactive Video World Models | 阿里巴巴达摩院；浙江大学；香港科技大学；湖畔实验室；阿里巴巴 TRE | arXiv:2609.34606 关键词：视频世界模型, 稀疏注意力, KV 缓存, 推理加速, 长视频生成 前序问题：交互式视频世界模型要按文本指令持续生成长时间、时间连贯的视频。滑动窗口能把计算量封住，代价是历史上下文被直接砍掉，长程交互能力塌掉；而保留全历史 KV 缓存在计算和显存上都不可行——注意力的二次复杂度让开销爆掉，KV 缓存的线性增长迟早把显存吃满。两条路都不通，问题落在「既要长历史，又要低延迟」上。 本文贡献：提出系统级协同设计的注意力架构，两手一起改：一是 Hybrid Sparse Attention（HSA），把线性全局注意力和头自适应稀疏注意力并在双分支里，按注意力头动态决定稀疏度；二是 Hierarchical KV Cache（HKV），把历史 KV 组织成跨多层存储的语义索引页，先做 prompt 级检索再做 page 级检索，粗到细地把需要的页取回并控制 GPU 驻留量。两项设计都配了定制 kernel，把理论上的效率真正落到硬件上。 Overall architecture of WorldAttention. 实验效果：定制 kernel 相对 FlashAttention-3 带来 14.02 倍 kernel 级加速，叠加 HKV 后端到端加速 2.21 倍；单张 NVIDIA H100 上维持 22.0 FPS。VBench-Long 上质量得分 86.55 且吞吐最快，主体一致性 0.9472；InterVBench 上主体一致性 0.9668。B200 上跨模型规模与分辨率的端到端加速为 2.06 到 2.46 倍。 Attention kernel speedup. 批判点评：14.02 倍是 attention kernel 这一层的数字，端到端只剩 2.21 倍，落差本身就是论文的自我交代：HSA 单次执行 633 微秒里，稀疏 block 注意力 kernel 只占 11.78 微秒（1.86%），大头是 KV 连续拷贝（31.00%）和线性分支（39.78%）。也就是说 kernel 做得再快，杠杆也被内存搬运和线性分支吃掉。另外质量侧的「超越此前 SOTA」只给了主体一致性等少数几项，没有给出相对最强基线的完整指标表。 3. PDMD：一行代码，VBench 涨 1.03 PDMD: Projected Distribution Matching Distillation for Video Diffusion Models | 加州大学圣迭戈分校；字节跳动 | arXiv:2609.35768 关键词：视频生成, 扩散蒸馏, 分布匹配, 少步生成, 批评者误差 前序问题：视频扩散模型动辄要几十次去噪评估，DMD 能把 NFE 压到个位数，但蒸馏出来的样本会在训练过程中逐步退化：画面越来越过饱和、纹理出现不自然的伪影。作者把根因定位到 critic 误差——它混进学生更新之后会随训练步数累积，而 DMD 本身没有任何机制把这个误差拦下来。 本文贡献：提出 PDMD：把 DMD 更新中「与学生-critic 端点残差平行」的那个分量投影掉。作者证明，在固定噪声查询点上，这个残差正是 critic 端点误差的无偏估计；在高维假设下，投影能移除恒定比例的 critic 误差，同时只丢掉可忽略比例的 ideal DMD 信号。整个改动对 DMD 只动一行代码，不引入额外损失、额外网络、额外数据、额外模型前向，也不需要多阶段训练。 2D comparison of projection directions (20-point moving average). 实验效果：Wan2.1 上 4 NFE 取得 VBench 总分 83.73，比对齐设置的 DMD 高 1.03 分。MiniMax-H3 音视频联合生成上，VideoGen-Eval 视觉总分 83.17，比最强蒸馏基线高 0.41 分，且在受评的 4-NFE 模型中 6 项音频指标全部拿到最好成绩。定性对比与用户研究在视觉质量、运动、音频质量上都偏向 PDMD。 Quality, semantic, and total scores on the 387 VideoGen-Eval prompts. 批判点评：1.03 和 0.41 都是小数点后两位的量级提升，放在 VBench 总分 80 多的量级上更像「修退化」而不是「提上限」——它的价值本来就在于 DMD 已经开始崩的那段区间，基线越健康收益越小。MiniMax-H3 的 0.41 分是相对「最强蒸馏基线」而非 teacher，论文没给与未蒸馏模型的差距。另外投影只保证移除「恒定比例」误差，这个结论建立在高维假设之上，实际有限维下的常数有多大并未量化。 4. GeoShrink：两行代码换五倍，PSNR+3.10 GeoShrink: Accelerating Diffusion Transformers with Two Lines of Code | 香港科技大学（广州）；格里菲斯大学；CSIRO Data61；JITRI 深度感知研究所 | arXiv:2609.33723 关键词：推理加速, 扩散Transformer, 免训练, 采样求解器, 特征预测 前序问题：扩散 Transformer 的推理成本几乎全部来自沿采样轨迹反复调用模型。已有的免训练加速多走特征缓存路线，在不同去噪步之间复用或预测中间表示；但这类方法动的是模型内部结构，接入成本高，而且缓存什么、什么时候更新都要重新调。能不能完全不碰模型，只在求解器接口上做文章。 本文贡献：提出 GeoShrink：保留原始求解器网格，只在预先规定的一组锚点上真正调用模型。被跳过的阶段，它把「最近一次观测到的增量」按几何保留比例加回最近的精确输出，作为求解器要的那个场。这个规则从弦切线传输和往返线投影推出来，并给出一条几何锚间距原则：在固定覆盖率和首段跨度下，让相邻最大间隔的扩张最小。误差分析刻画了预测误差的几何闭合与传播，全程不假设能拿到未来模型输出。改动只需两行代码。 Overview of GeoShrink. 实验效果：在约 5 倍加速下，FLUX 的 PSNR 比所列最强基线高 3.10 dB。HunyuanVideo 上报告 4.99 倍加速，ChronoMagic-Bench-150 的 PSNR 比最强保真基线高 5.44 dB。在固定评估预算下对比，运动、音频、音乐、3D 生成上也都有明显增益，实验覆盖图像、视频、动作、音频以及适配后的 3D 后端。 Speed-quality trade-off: GeoShrink yields a better Pareto frontier on SD3.5 Medium. 批判点评：全文主打指标是 PSNR，这是保真度指标而不是感知质量指标——5.44 dB 的 PSNR 增益可以对应肉眼几乎无差别的画面，也可以对应明显更糊的结果，论文没有补 FID 或人类偏好。另外「比所列最强基线高」里的基线集合是作者自选的，到底是跟哪些缓存类方法比、有没有包含最新的同类工作，从摘要看不出来。锚间距原则也只在给定覆盖率和首段跨度这组约束下最优。 5. MGFlow：一步打赢四步，FDr 1.45 Unifying Distributional Training for One-Step Visual Generation | 清华大学；复旦大学；西安交通大学；北京大学；浙江大学；DeepSeek；字节跳动 Seed；加州大学伯克利分校；智源研究院 | arXiv:2609.35763 关键词：一步生成, 分布匹配, 高斯混合, Wasserstein梯度流, 文生图 前序问题：一步生成器的分布训练有很多条彼此看起来不相干的路线：FD-Loss 用高斯矩匹配，Drifting 用核密度做 KL 匹配，各自都能work，但没人说清楚它们之间的关系是什么，也说不清「分布建模」和「匹配差异」这两件事哪一件在起作用。缺少统一视角的直接后果是，新方法只能靠试，无法判断某一处改动到底改的是哪一环。 本文贡献：给出一个统一的理论框架：把「分布建模」与「匹配差异度」拆开，再用 Wasserstein 梯度流把全局目标和逐点特征更新连起来。在这个框架下，FD-Loss 和 Gaussian-kernel Drifting 分别被还原为高斯最优传输和基于核密度的 KL 匹配两个特例。框架进一步催生 MGFlow：用高斯混合来建模特征分布，粒度可调，介于全局矩和逐样本表示之间；它同时支持最优传输和基于分数的匹配，并用带质量约束的样本分配配成对分量更新，专门解决「混合模型表达力提升」本身解决不了的 mode collapse。 A unified view of distributional training. 实验效果：ImageNet 256×256 上大幅超过 FD-Loss 基线，pMF-H 取得 FDr⁶ 1.45、JiT-H 取得 1.64，均为当前最佳。文生图方面，把 FLUX.2 [klein] 4B 后训练成一步生成器，在 GenEval 和 PickScore 两个指标上都超过了原始的四步模型。 One-step text-to-image samples from FLUX.2 [klein] 4B post-trained with MGFlow. 批判点评：FDr⁶ 是论文自报指标，对比表里的基线也是作者自己跑的，跨论文可比性存疑；ImageNet-256 是类条件生成的老基准，没有在更大规模或更高分辨率上验证。文生图部分只报了 GenEval 和 PickScore 两个自动指标，没给人类偏好，而「一步超过四步」这种反直觉结论恰恰最需要人工评测背书。另外九家机构联合署名，真正的方法贡献集中在统一框架和高斯混合这两点上，工程验证面其实偏窄。 6. REPI：16万步追平700万步 Scaffold Then Internalize: Representation Injection for Diffusion Transformers | 中山大学；Video Rebirth；香港理工大学 | arXiv:2609.35292 关键词：扩散Transformer, 表示对齐, 训练加速, 表示注入, 图像生成 前序问题：REPA 类方法靠「把扩散 Transformer 的隐状态投影到预训练视觉编码器空间」来加速训练，方向是单向的：扩散模型被迫去迎合编码器。反过来那条路没人走过——让编码器表示直接参与去噪过程。问题在于直接注入会破坏扩散模型自身的表示结构，注入之后模型到底学到了什么、推理时还要不要带着编码器，都没人回答。 本文贡献：提出 REPI（REPresentation Injection），走 scaffold-then-internalize 两段式：第一阶段「搭脚手架」，用投影后的编码器 K/V 临时替换扩散 Transformer 原生的 K/V，只保留它自己的 Query，让外部表示先替模型把去噪这件事撑起来；第二阶段「内化」，模型恢复到使用自己的 K/V，同时用一个内化目标把自身 K/V 对齐到投影后的编码器表示。推理时编码器和投影层全部丢掉，不留下任何额外开销。 Overview of REPI. (a) Scaffold. (b) Internalization. 实验效果：在 SiT-B、SiT-L、SiT-XL 等多种骨干上一致优于 REPA，且两者高度互补——叠加后收益远超任一单独使用。SiT-XL 上，REPI + REPA 训练 200K 步就已经超过 REPA 训练 400K 步的结果。最亮眼的是：仅用 160K 步，REPI + REPA 就能匹配 vanilla SiT 训练 7M 步的效果，相当于 43.5 倍以上的提速。 REPI accelerates diffusion transformer training across model scales. 批判点评：43.5 倍的对照物是「什么都不加的 vanilla SiT」，这个基线本身不含任何加速手段，比值因此被放大；更有信息量的是和 REPA 的等步数对比，那部分增益要小得多。另外从 FID-步数曲线看，REPI 做的是把曲线「提前」，并没有把收敛上限抬高——训练足够久之后差距会收窄。论文也明确指出最大收益来自与 REPA 叠加，单独用 REPI 的绝对提升要看主表才清楚。代码目前标注为即将开源。 7. UMM-Reflection：自己改自己图，GenEval+12 Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning | 南洋理工大学；上海交通大学；东京大学 | arXiv:2609.35767 关键词：统一多模态模型, 强化学习, 自我反思, 图像编辑, 文生图 前序问题：统一多模态模型既能看图又能画图，理论上应该能自己修自己的输出：先诊断这张图错在哪，再改，看着改完的结果继续诊断。但「这次修改到底有没有用」只有渲染出来才知道，所以反思文本和图像生成必须沿着整条回路联合学习。SFT 冷启动能学会走流程却找不到高成功率的修复路径；而只优化渲染器或只优化某一个头的朴素 RL，又把大部分收益留在桌上。 本文贡献：提出 UMM-Reflection，在同一个统一模型内部对完整反思轨迹做 RL。关键设计是 sibling trajectories 共享同一张初始图像，这样 group-relative advantage 比较的就是不同「反思策略」而不是不同起点；再用一个轨迹级 advantage 同时更新反思 token 和基于 flow 的修订，避免逐轮信用分配带来的组合爆炸。信用跨轮次流动、同时流向同一模型的两种角色，推理时不需要任何 verifier。 UMM-Reflection RL. 实验效果：在 BAGEL 上相对 SFT 把 GenEval 提升 12.05 分，且增益能迁移到训练中完全没用过的 WISE（+10.97）、OneIG-Bench（+3.48）、T2I-CompBench++（+4.63）。 Learning dynamics of the 1,000-update RL run. 批判点评：+12.05 分是相对 SFT 冷启动版本，不是相对原始 BAGEL 或当前 SOTA 生成模型，绝对值要在主表里才看得清。整套实验只在一个统一模型（BAGEL）上做，换骨干是否成立未知。训练侧每条轨迹最多三轮反思、每组 16 条 rollout，为了拿到稳定的 group-relative advantage 开销不小；而三轮上限本身就意味着更长链条的迭代修复能力没有被验证——尽管推理免 verifier 是实打实的优势。 8. Elastic Forcing：扔掉两个打分模型，84.64 From Scores to Samples: Elastic Forcing for Autoregressive Video Generation | 清华大学人工智能学院；西安交通大学 IAIR；复旦大学相辉研究院；北京大学 | arXiv:2609.35491 关键词：视频生成, 自回归生成, 蒸馏, MMD, 后训练 前序问题：少步自回归视频生成基本都挂在 DMD 上，而 DMD 需要两样重资产：一个双向扩散 teacher，和一个在线更新的 fake-score 模型。前者限制了「能学什么」——必须有一个现成的目标分布 teacher；后者让后训练的内存和计算开销居高不下，模型一大就跑不动。两者的存在使得「直接向参考视频学」这条路一直没走通。 本文贡献：提出 Elastic Forcing：不学 teacher 给出的真假分数，而是直接从参考视频学 rollout 分布，后训练阶段两个 score model 全部去掉。做法是在冻结的自监督视频表示空间里最小化 MMD（最大均值差异），并用 Nyström–Monte Carlo 混合估计器在近似偏差与采样方差之间取平衡；再配合省内存的 replay 和梯度子采样让这个目标变得可训练。移除辅助 score model 之后，14B 后训练可以放进 8 张 H200。 Demonstration of Elastic Forcing. 实验效果：在与 Self-Forcing 完全相同的架构和初始化下，1.3B 模型把 VBench 总分从 83.80 提到 84.64，同时保持 17 FPS。去掉辅助 score model 使 14B 规模的后训练在 8 张 H200 GPU 上成为可能。除了蒸馏，直接从参考视频学习还能在没有目标专用扩散 teacher 的情况下习得新的视觉风格、语义概念和空间先验。 Additional demonstrations of our 14B model. 批判点评：83.80 到 84.64 只有 0.84 分，而且这个对照是与 Self-Forcing 同架构同初始化的自体基线，不是与当前最强少步方法比。14B 那部分论文只说「使后训练成为可能」，没有给出 14B 的量化评测结果，也没有和带 score model 的同等规模方案做效率对比——省下来的显存到底换来多少质量，读者看不到。MMD 估计器本身还需要在 Nyström 近似偏差和 Monte Carlo 方差之间调参，这个权衡的敏感度没在摘要里交代。 9. GEAR：几何只当地址，12项全第一 Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation | 浙江大学 CAD&CG 国家重点实验室；香港科技大学（广州）；LIGHTSPEED | arXiv:2609.34722 关键词：视频生成, 相机控制, 长程记忆, 几何先验, 记忆检索 前序问题：长程相机可控视频生成要从不断膨胀的视觉历史里把之前看过的内容取回来。现有做法要么在历史上下文里隐式检索，要么把历史重建成持久的 3D 记忆：前者检索低效、token 越堆越多，后者会因为全局融合不断累积几何误差，跑几十秒之后画面就漂了。矛盾在于几何信息到底该被用来「解释场景」还是只用来「定位」。 本文贡献：核心洞察是：几何不需要解释场景，它只需要决定「视觉记忆该从哪里读」，而「该恢复什么」交给注意力去判断。GEAR 据此把几何当作视觉记忆的显式 token 级地址——不把历史观测融进一个持久的全局 3D 表示，而是保留为逐帧 latent，只用逐帧几何与目标视角建立 token 级对应关系，从而避开全局融合的误差累积。由这些对应关系引导，Geometric Correspondence Attention（GCA）在去噪时把几何匹配上的历史特征选择性注入到噪声目标 patch。另外用 Invisible Octree 累积可见性证据，把几何上合理但实际被遮挡的对应关系剔掉。 System overview. 实验效果：在 DL3DV 与 WorldScore 的全部 12 项指标上取得最佳：SSIM 0.3645、LPIPS 0.4459、FVD 837.59、TransErr 0.0116、RotErr 0.1228、ATE 0.0436、Content Alignment 0.7423、Photo Consistency 0.9732、Style Consistency 0.8700、主观分 0.5018、Revisit SSIM 0.6489、Revisit LPIPS 0.2019。支持沿高难度轨迹生成分钟级视频。 Out-of-domain qualitative comparison for minute-long generation. 批判点评：主观分只有 0.5018，刚过一半，说明「12 项全第一」里最贴近人的那一项优势最薄。FVD 837.59 的绝对值也谈不上低。对比集合是「带 memory 机制的近期方法」，没有与不带记忆的强基线在同等时长下对照，因此无法判断这套地址机制相对「干脆不记忆」的净收益。此外整套方法依赖每帧几何（位姿与深度）可用，相机轨迹是外部给定的，几何估计本身的误差如何传导到地址精度只做了定性讨论。 10. ORAV：380题9种角色，人机86% ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts | 清华大学人工智能学院；腾讯混元 | arXiv:2609.34843 关键词：音视频生成, 多模态参考, 基准评测, 组合式生成, 评测协议 前序问题：用异构多模态参考（图、视频、音频混着给）去生成音视频成了一个新课题，它同时要求两件事：对生成结果有组合式控制，对多模态上下文有 grounded 理解。但现有基准基本只覆盖单参考或同构参考，评测协议也沿用通用视频质量指标，无法判断「模型有没有照着指令把指定参考里的指定内容取出来并正确组合」。没有基准，就没法追踪这一方向的进展。 本文贡献：提出 ORAV Bench，包含 380 个任务实例，每个实例带 2 到 10 个参考，覆盖 9 种语义角色和 30 种角色组合；指令负责说明各参考之间的关系，媒体本身提供要被落实的身份、动态和音频特征。评测上设计了一套参考感知的成对比较协议：先分别准备视觉和听觉证据，再逐个比较每个参考「本应贡献什么」，最后在两种呈现顺序下核对总体裁决，以消解顺序偏差。 Omni-reference audio-video generation requires selectively composing information from heterogeneous references. 实验效果：在留出实例上，该协议与人类判断的有效一致率达到 86.08%。对 5 个前沿系统的评测显示，总体排名掩盖了各系统在不同参考组合上的能力差异；暴露出的一个反复出现的失败模式是：模型生成了与某个参考高度相似、但并非指令所要求的内容。可复现的逐点诊断在质量、参考亲和度、语音三个维度上揭示出彼此独立的行为差异。 Performance across composition signatures. 批判点评：86.08% 是「有效一致率」，已经剔除了不可用判断和顺序冲突的样本，分母比全部配对要小，实际一致性更接近的下界没有给出。5 个受评系统在摘要里被匿名处理为 frontier systems，读者无法核对评测对象；380 个实例摊到 30 种角色组合后每种只剩十几个，论文也承认只有共享实例数不少于 8 个的 14 个 signature 才重拟合了胜率。作为纯基准工作，它不提供任何模型或训练方案，落地价值取决于社区是否跟进。 趋势观察 加速的战场从算法层下移到系统层 今天十篇里有三篇在跟计算成本较劲，但下手的层级完全不同：WorldAttention 直接写定制 kernel 并重排 KV 的内存层级，GeoShrink 干脆绕开模型、只在求解器接口上抠掉五分之四的调用，Elastic Forcing 则是把两个 score model 整个删掉换来 14B 后训练的可行性。共同点是单纯改注意力数学已经不够，谁把内存搬运和调用次数一起管起来谁才拿到真实收益。 「先搭脚手架再拆掉」成了训练范式的共识动作 REPI 用编码器 K/V 临时替换扩散 Transformer 的原生 K/V，等模型内化之后在推理时把编码器整体丢弃；PDMD 只对 DMD 动一行代码、不加任何额外网络或损失；UMM-Reflection 在训练时用冻结 verifier 打分、推理时一个 verifier 都不需要。三篇方向毫不相干，却都在做同一件事：把复杂度全部留在训练期，交付一个结构不变、开销不增的推理模型。 人工智能炼丹君 整理 | 2026-09-30 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-18|高通揪出长视频KV错配-Recency Forcing 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与长时程一致性 2 篇 · 生成模型评测与审计 2 篇 · 推理与采样加速 2 篇 · 语音与音乐生成 2 篇 · 视频修复与图像应用 2 篇 重点论文标题列表 Recency Forcing（Qualcomm AI Research）：按距离衰减注意力救长视频 MiniMax-H3-Reason（National University of Singapore；Fudan University；Tencent）：全模态模型物理推理仅四成 ⚡ Diagonal Sparsity（KAIST；Agency for Defense Development；Seoul National University）：对角稀疏把吞吐拉到3.1倍 VibeAvatar（Peking University）：口型与美感分阶段各管各的 AVR（New York University；University of Technology Sydney）：能抄就抄抄不到才让扩散补 今日论文速览 1. Recency Forcing：按距离衰减注意力救长视频 Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation | Qualcomm AI Research | arXiv:2609.19729 关键词：自回归视频生成,长时程一致性,KV cache,注意力偏置 ⚠️ 前序问题：自回归视频生成一拉长就退化。论文把根因定位到一处被忽视的训练-推理不一致：训练时短片段的全部上下文帧都在 KV cache 里，推理时显存约束却会把远处帧逐出 cache，等于抽走了模型当初赖以生成的上下文。作者称之为 KV 淘汰错配（KV eviction mismatch）。 本文贡献：思路不是用截断上下文去模拟淘汰——那会连模型仍需要的时间信息一起丢掉、破坏运动连贯——而是保留上下文，同时让远处帧的影响逐步衰减，等它们真被淘汰时影响已可忽略。论文先用扰动式敏感度指标 positional response R(Δ, t_denoise) 量出上下文影响随时间距离陡峭衰减、且在不同去噪步上系统性变化；据此提出 Temporal Response Bias（TRB），把一个非正的、随时间步变化的偏置直接加在 softmax 之前的注意力 logits 上。配套的 Biased Attention Reparameterization（BAR）是个等价改写，把偏置移到 softmax 之外，使 TRB 退化成一次标准 FlashAttention 调用。 实验效果：在 VBench 与 VBench-Long 上取得长时程生成的 state-of-the-art 质量，且不增加推理成本。60 秒视频的定性对比里，Self-Forcing 出现色彩漂移，LongLive 产生场景重复，DeepForcing 引入模糊，Recency Forcing 则保持了画面稳定与运动连贯。方法不改动上下文长度与训练目标，免训练与训练两种模式都能用，BAR 的等价改写让偏置的额外开销为零。 批判点评：把长视频退化归到 KV cache 淘汰这个具体的工程约束上，而不是笼统归因于「误差累积」，定位比多数同类工作清晰，BAR 让它零开销落地也务实。但摘要只给 state-of-the-art 的结论、未披露具体分数，免训练与训练两种模式的增益差距、TRB 偏置形状换骨干后是否还成立，都要看正文；VBench 系列本身偏重视觉质量，长时程的叙事与物体持久性未必能被它完全反映。 2. MiniMax-H3-Reason：全模态模型物理推理仅四成 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model | National University of Singapore；Fudan University；Tencent | arXiv:2609.18323 关键词：全模态生成模型,物理世界推理,跨模态整合,评测基准 ⚠️ 前序问题：全模态生成模型把文本、图像、视频、音频统一建模，MiniMax-H3 正是在共享潜空间里同时做多模态理解与音视频联合生成的代表。但多模态对齐到底有没有提升模型的世界推理能力？现有面向视频生成与世界模型的评测大多受限于单一输入模态，且提示词与目标视频内容高度重合，回答不了这个问题。 本文贡献：论文构建了围绕物理世界推理四个互补维度的评测框架，专门为全模态输入设计任务：隐式提示搭配多帧、音频-图像、前缀视频、音频-视频四类场景。关键设计是每一路模态只提供事件的部分证据，模型必须跨模态整合互补线索，才能推断出潜在的事件状态与未来动态。 实验效果：517 个评测实例上，MiniMax-H3 总体成功率 41.97%。分维度看，基于视频的决策推理最高、为 56.00%，基于音频的消歧推理最弱、只有 27.40%。作者据此认为要真正吃到多模态输入的红利，关键仍在有效的跨模态整合。 批判点评：用「每种模态只给部分证据」的设定逼出跨模态整合能力，比提示词与目标高度重合的常规评测更有区分度，音频维度 27.40% 也确实点出了当前全模态模型的短板。但全文只评了 MiniMax-H3 一个模型，没有同代横向对比，41.97% 这个绝对值究竟是模型不行还是任务过难无从判断；517 个实例摊到四个维度上，每个维度的样本量也偏薄。 3. Diagonal Sparsity：对角稀疏把吞吐拉到3.1倍 Understanding and Exploiting Diagonal Attention Sparsity in Autoregressive Image Generation | KAIST；Agency for Defense Development；Seoul National University | arXiv:2609.19702 关键词：自回归图像生成,稀疏注意力,KV cache,推理加速 ⚠️ 前序问题：自回归图像生成因为能直接复用基于 transformer 的 LLM 服务设施而成为多模态系统的一种范式，但每次请求要吐出上千个视觉 token，解码越来越被注意力计算中的 KV cache 访问卡住。稀疏注意力在文本 LLM 推理上已被充分研究，可它的稀疏性假设能不能迁移到自回归图像生成，此前没人说得清。 本文贡献：论文首次系统刻画了自回归图像生成中的注意力稀疏性，覆盖多种负载与代表性开源模型，发现三个和文本场景不一样的性质：prefill 与 decode 阶段存在明显不对称、注意力强烈集中在 prompt token 与局部 token 上、以及视觉 token 的空间局部性带来一种独特的对角稀疏模式。据此提出对角感知稀疏注意力，在最近窗口内沿对角方向选择性跳过 KV 条目。 实验效果：基于 FlexGen、FlashAttention-2 与自定义 kernel 实现在 GPU 服务系统上，相比稠密推理最高取得 3.1 倍吞吐与 1.19 倍延迟改善，质量损失低于 2%。 批判点评：把稀疏模式追到「视觉 token 的空间局部性」这一来源、而不是照搬文本 LLM 的稀疏假设，是这篇最扎实的地方，3.1 倍吞吐也有工程说服力。但「质量损失低于 2%」用的是哪个指标、在哪些负载上成立，摘要没交代；对角模式依赖光栅扫描式的 token 排布，换扫描顺序或改分辨率后是否还成立同样存疑。 4. VibeAvatar：口型与美感分阶段各管各的 VibeAvatar: Aligning Phonetic Kinematics and Human Aesthetics for High-Fidelity Talking Avatar Synthesis | Peking University | arXiv:2609.18632 关键词：说话人视频合成,语音驱动,GRPO,流匹配 ⚠️ 前序问题：多模态说话人视频合成要从一张参考肖像加一段语音生成逼真视频。扩散类方法进步很快，却始终难以同时拿到准确的唇部发音、符合人类偏好的运动美感和高效推理这三样。 本文贡献：论文的判断是：发音准确性和运动美感来自根本不同的源头，应该在互补的阶段分别处理，而不是塞给单个生成器隐式地一起学。VibeAvatar 因此把两个目标解耦——条件阶段用 Phonetic Kinematics Adapter（PKA）把面向识别的语音特征转成发音-运动条件；后训练阶段用 Aesthetic Motion Policy（AMP），以 GRPO 优化一个流一致的随机采样策略。运动生成器本身是轻量流模型，工作在紧凑的一维 warp 潜空间里。 实验效果：客观指标与用户研究上，发音、美感、效率三项均达到 state-of-the-art；生成 10 秒 512px 视频耗时不到 10 秒，显存占用约 3GB。 批判点评：「发音归条件阶段、美感归后训练」是个干净的分工，把 GRPO 用在采样策略而不是生成器权重上也省掉了重训成本，约 3GB 显存意味着消费级显卡能跑。但美感由 GRPO 所对齐的偏好定义，口味会不会过拟合到特定标注群体值得警惕；摘要只给了效率数字，发音与美感的具体分数、以及更长时长下的身份漂移都得看正文。 5. AVR：能抄就抄抄不到才让扩散补 Copy What Is Seen, Generate What Is Not: Training-Free Anomaly-Aware Video Restoration | New York University；University of Technology Sydney | arXiv:2609.18836 关键词：视频修复,异常检测,免训练方法,扩散修补 ⚠️ 前序问题：监控系统检测到异常后往往还得把画面修好，但这两件事一直被分开研究：免训练的异常检测止步于一个分数或标签，免训练的视频编辑则只听用户提示词、不听检测器。 本文贡献：AVR 只用冻结的预训练模型就把两端接上，而且只在画面确实没有证据可抄的地方才生成内容。先由运动证据把开放词表提案收敛成时空掩码；再用片段自身算出的背景先验，填掉异常曾经遮挡过的每一个像素，只把「任何一帧都没出现过」的部分交给扩散合成；最后一个冻结的验证器逐片段决定该信任经典修复、先验锚定修复还是背景条件修复。 实验效果：三个监控数据集上、覆盖全参考异常注入与真实异常两种设定：oracle 掩码下 AVR 的全帧保真度领先，在编辑区域内与三个训练过的视频 inpainting 方法持平，用自己产出的掩码时优于「先检测再生成」的流水线，同时压住了残留异常与自由扩散带来的闪烁。 批判点评：「能抄就抄、抄不到才生成」的取舍很贴监控取证的需求——少生成一分就少一分臆造风险，全程冻结模型也免了训练成本。但它靠运动证据圈定异常，静止或缓慢的异常可能整个漏掉；oracle 掩码下的领先说明上限不错，自产掩码下的成绩才是实际水平，三个监控数据集的场景多样性也仍有限。 6. CPR：作曲演奏精修三段渲染钢琴 CPR: Combining global composing, local performing and full-sequence refining in piano rendering with continuous autoregressive modelling | The Chinese University of Hong Kong, Shenzhen | arXiv:2609.18216 关键词：钢琴渲染,连续自回归,流匹配,音乐生成 ⚠️ 前序问题：提示词条件下的钢琴 MIDI-to-Music 渲染，要在忠实还原目标音符的同时复现参考录音的音色。现有方法分两条路：离散 codec 的自回归模型有因果时序建模能力，但量化会丢掉声学细节；流匹配更能保住声学结构，代价是全序列注意力开销大、语义结构反而更差。 本文贡献：连续自回归模型直接在连续表示上工作，既兼有自回归的条件跟随能力与流匹配的分布建模能力，又绕开量化瓶颈、计算成本更低。CPR 据此拆成三段：Composer 自回归预测连续隐状态，Performer 经局部流匹配生成 24kHz 声学潜变量，Refiner 再把波形上采样到 48kHz。论文另引入 Bottlenecked Representation Alignment（BREPA）与 Modality-Time RoPE（MT-RoPE），分别强化 Composer 隐状态里的音乐语义结构和跨模态时间对齐。 实验效果：P-MUSE-eval 上，CPR 只用 4 步（NFE=4）就输出 48kHz 音频，onset F1 78.4 与 FAD_clap 0.129 均为最佳；音色相似度 89.3 略低于需要 25 步的 P-MUSE（90.6），但明显优于 MIDI-VALLE 的 83.4。另有 13 位听众对 14 个样本的 MOS 主观评测。 批判点评：三段分工把「写什么音」「怎么弹出来」「采样率补齐」拆开，绕过离散量化这个老瓶颈，4 步出 48kHz 相对 P-MUSE 的 25 步是实打实的效率优势。但音色相似度并未超过 P-MUSE，说明连续表示在音色保真上还没占到便宜；MOS 只有 13 位听众评 14 个样本，样本量偏小，评测也集中在钢琴单一乐器上。 7. Self-Distilled TTS：模型自己教自己念生词 Self-Distilled Pronunciation and Accent Control for Neural Text-to-Speech | Independent Researcher；KOWRO Inc. | arXiv:2609.17234 关键词：语音合成,自蒸馏,发音控制,口音标注 ⚠️ 前序问题：直接读原始文本的 TTS 没有词典，碰上生僻词只能靠猜。已有的补救要么拿录音训练一条专门的发音与口音通道，要么从示例里一个词一个词地改。 本文贡献：这篇两样都不做。让冻结的骨干去读一个含有它本来就念得对的常见词的句子，再把它自己的输出当作同一句话的教师——只是把那个词替换成带标注的、指定口音的读法。这一对训练样本就是方法的全部。 实验效果：Sarashina2.2-TTS 上，经筛选的评测者（Fleiss' kappa = 0.85）在 0.89 的未见词上听出了指定口音，而无法表达口音的假名方案只有 0.57、没有赢下任何一组对比，自然度没有可测量的损害。未经调整迁移到自回归、扩散和编码器-解码器骨干后，319 个词上的读法正确率比不做编辑高出 0.25 到 0.47；CosyVoice 2 上三个词里有两个能带上口音，但在 Irodori 上不行，论文分析了原因。 批判点评：用模型自己的输出当教师、只换一个词构成训练对，简洁到几乎没有额外数据成本，跨骨干迁移也说明思路不绑架构。但它天然受限于「骨干本来就念得对的常见词」这个起点，词表外的音素组合未必覆盖得到；Irodori 上失效说明迁移并非无条件成立，日语音高重音之外的语言是否同样奏效也还没有证据。 8. JewelTry：免掩码珠宝试戴还管尺寸 JewelTry: Mask-Free Scale Aware Jewelry Virtual Try-On | Amazon | arXiv:2609.16626 关键词：虚拟试戴,免掩码扩散,尺寸感知,评测基准 ⚠️ 前序问题：虚拟试穿让顾客看到上身效果，已是网购的重要技术。服装类进展很大，珠宝却因为体积小、结构刚性、对细节高度敏感而一直是难啃的品类：既要忠实迁移外观，还得相对佩戴者有正确的尺寸和位置。现有珠宝试戴多依赖掩码引导，而免掩码方法又缺乏建模产品尺寸的显式引导。 本文贡献：论文先建了 JVTO-Bench，提供带真实产品尺寸标注的「参考-源-目标」三元组，覆盖四大珠宝品类。在此之上提出免掩码扩散框架 JewelTry：尺寸适配器把产品实际尺寸编码成一个 scale token，让模型在上下文中学到珠宝与人体解剖结构之间的尺寸关系；再用单向条件注意力与注意力精修损失，同时保住参考珠宝的粗粒度几何与细粒度结构细节。 实验效果：实验显示 JewelTry 在视觉保真度、背景保持、物体一致性与尺寸准确性之间取得平衡，为免掩码、尺寸感知的珠宝虚拟试戴立了一个较强基线。 批判点评：把「尺寸对不对」变成可编码的条件而不是靠掩码兜底，抓住了珠宝区别于服装的真正难点，配套放出带真实尺寸标注的 benchmark 也补上了这一方向的评测空白。但摘要通篇没给量化指标，「取得平衡」这类表述无法判断相对现有方法的实际差距；四个品类对珠宝这种长尾品类而言覆盖面也偏窄。 9. MSR：多张参考图各占一个 slot MSR: Multiple Subject Reference for Video Generation | Licon Studio | arXiv:2609.18393 关键词：多主体视频生成,参考图条件,LoRA,流匹配 ⚠️ 前序问题：让视频生成器同时吃多张参考图时，既要保住每个主体的外观，又要把每张图和它该扮演的角色对上，否则属性就会串到别的对象身上。 本文贡献：MSR 是面向 LTX 视频生成的 slot 感知条件方案：每张参考图被独立编码成一段静态片段、对应一组单独的潜 token；一个紧凑的傅里叶特征 MLP 给它加上数值化的 slot 嵌入，再用随 slot 变化的时间偏移改写这组 token 的旋转位置坐标。这些参考组被前置到带噪的目标 token 之前，在仅针对目标的流匹配训练中充当干净上下文。整套方案用 LoRA 实现，权重与推理工作流已开源。 实验效果：论文给的是定性结果：示例展示了包含不同角色与参考环境的写实及风格化场景组合；开发过程中的观察显示，相对更早的连续参考基线，参考混淆有所减少，但相似服装、复杂衣物和视角变化仍然困难。另有一个补充实验在冻结视觉参数的前提下加入了语音参考条件。 批判点评：用独立 token 组加 slot 嵌入来绑定「哪张图对应哪个角色」，思路直接，靠 LoRA 就能低成本落地，开源权重与工作流对想复现的人友好。但这更像一份技术报告而非完整论文：全文没有定量实验，「参考混淆减少」只是开发观察而非受控对比，缺少与基线的可比指标；作者自己也承认相似服装与视角变化仍未解决。 10. Newer Is Not Fairer：新版文生图并没有更公平 Newer Is Not Fairer: Gender Stereotyping in Text-to-Image AI Across Model Generations | Northeastern University | arXiv:2609.18007 关键词：文生图,性别偏见,模型审计,公平性评测 ⚠️ 前序问题：文生图模型已经在专业与创意场景里广泛使用，但它们如何呈现不同职业的性别、以及更新的模型是不是更公平，跨代际地看仍缺乏系统证据。 本文贡献：论文评测了 20 个职业、5 种提示词模板、4 代 Stable Diffusion（SD 1.5、SD 2.1、SDXL、SD 3 Medium），每个「职业×模型」单元生成 100 张、共 8000 张图，全部用 DeepFace 判定性别，并与美国劳工统计局（BLS）的真实劳动力数据对照，所有显著性检验都做了 Benjamini-Hochberg 多重校正。 实验效果：8000 张开源模型图像中 76.4% 为男性（95% CI [75.1%, 78.7%]）；更扎眼的是历史上女性主导的职业里仍有 57.6% 生成男性。相对 BLS 数据，模型平均低估女性 20–46 个百分点，本就接近性别均衡的职业偏差最大——科学家 BLS 女性占 48%、模型输出 82–99% 为男性，清洁工 BLS 女性占 46%、模型输出 80–92% 为男性。代际并非稳步改善：偏差从 SD 1.5 一路恶化到 SDXL，到 SD 3 Medium 才部分回落。与 GPT-image-1 在五个职业上的初步对比显示商业模型偏差更低，但实际效应很小（Cramér's V = 0.080）且属探索性。没有任何一个模型达到性别均衡。 批判点评：8000 张图、多重检验校正、对照 BLS 真实就业数据，这套设计让结论比常见的偏见讨论扎实得多，「更新不等于更公平」的代际发现尤其有价值。但性别判定依赖 DeepFace 的二元分类，本身有误差且无法涵盖非二元表达；20 个职业、5 个模板的提示词空间偏窄，与 GPT-image-1 的对比作者也标注为探索性，撑不起开源与商业模型孰优孰劣的强结论。 趋势观察 长上下文的瓶颈，从「记不记得住」变成「cache 放不放得下」 Recency Forcing 把长视频退化追到 KV cache 淘汰这一工程约束，Diagonal Sparsity 直接冲着自回归图像生成的 KV 访问瓶颈去。两篇都不再泛泛谈误差累积，而是把注意力的显存与访存代价当成一等问题来解。 生成质量的定义权，正在交给后训练与采样策略 VibeAvatar 把运动美感交给 GRPO 在后训练阶段对齐，而不是让生成器隐式地学；CPR 用连续自回归绕开量化，再分三段把语义结构、局部声学与采样率分工。共同前提是承认单个生成器学不好多个互相冲突的目标。 评测开始审问模型「到底懂不懂」，而不只是「像不像」 MiniMax-H3 的评测让每种模态只给部分证据，逼模型跨模态整合才能答对；Newer Is Not Fairer 用 8000 张图对照真实就业数据，把「新版是否更公平」变成可证伪的问题。两者都不满足于保真度分数。 免训练与轻量适配，正在成为落地的默认路径 AVR 全程冻结预训练模型、只在没有证据可抄的地方才生成；MSR 用 LoRA 给现成视频模型加多主体条件；Self-Distilled TTS 让模型自己的输出当教师。共同动机都是避开重训成本。 人工智能炼丹君 整理 | 2026-09-18 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-16|22帧视频377毫秒-LynnReal-Omni 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与交互 2 篇 · 视频算子与少步蒸馏 2 篇 · 图像生成、编辑与超分 3 篇 · 视频重建评测与动作建模 2 篇 · 语音合成与文本对齐 1 篇 重点论文标题列表 LynnReal-Omni（LynnReal AI）：22帧视频377毫秒生成 VC-Attention（Nunchux AI、MIT、NVIDIA）：低位注意力提速视频生成 Logit Refiner（CompVis @ LMU Munich · ECCV 2026）：补回同尺度token依赖 BVB（罗切斯特大学、Sony、卡内基梅隆大学、华盛顿大学）：让智能体用Blender复刻视频 CrossDistill（北京大学、清华大学、阿里巴巴集团）：分段蒸馏兼顾画质与多样性 今日论文速览 1. LynnReal-Omni：22帧视频377毫秒生成 LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows | LynnReal AI | arXiv:2609.15863 关键词：多模态视频生成,可控视频,实时渲染,智能体创作 前序问题：扩散视频采样具有随机性，人物外观和长场景连续性难以精确控制；代理提供3D场景、游戏录像等明确约束，但单靠这些结构化输入又不足以保证真实感。 本文贡献：LynnReal-Omni 用32B共享多模态扩散Transformer统一文生视频、参考图驱动、结构控制、编辑与长视频；另训练27B Flash版本，接收3D渲染和游戏录像等异构条件，并以轻量VAE加速解码。 Agent workflows. Image-based scene reconstruction and agent-written low-poly games produce distinct visual-control streams. Prompt refinement, image generation, and first-frame editing provide appearance controls. The video model receives these controls through its native reference interface. 实验效果：论文报告在单张H100上，预热状态下生成并解码22帧540p视频，标准版需843毫秒，Flash版需377毫秒；这是特定帧数、分辨率和硬件条件的延迟，不代表任意长视频都可实时生成。 An example of generated-video artifact repair with LynnReal-Omni. Top: corrupted candle video. Bottom: independently repaired frames at identical timestamps, including both endpoints. Full frames are displayed at the same scale. Each source-frame edit uses four denoiser evaluations, for 480 evaluations across this 120-frame example. The accompanying demo plays both complete videos synchronously. 批判点评：统一的控制接口便于代理组合素材，但32B/27B模型的训练与部署成本很高；公开的22帧预热延迟也不能直接推出长片段的端到端吞吐或多轮主体一致性。 2. VC-Attention：低位注意力提速视频生成 VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention | Nunchux AI、MIT、NVIDIA | arXiv:2609.15810 关键词：视频生成,低比特注意力,FP8,算子优化 前序问题：视频DiT的时空token序列很长，低比特乘法虽快，V值离群点使量化误差扩大，softmax的高精度指数计算又成了新的延迟瓶颈。 本文贡献：VC-Attention 无需重新训练模型：V-Smooth先在线聚类并重排V token，减去块均值后量化残差；ExpCast-FP8把对数域分数直接编码为E4M3概率，替代FP32指数与格式转换。 VC-Attention writes the byte the conventional path writes. (a) Both paths take the same log-domain score $z$. The standard path evaluates an FP32 exponential and casts the result to E4M3; VC-Attention replaces both steps with one fused multiply-add, because an E4M3 byte is an affine function of the log of the value it stores. Reading the result as E4M3 costs no instruction: those bits already are the byte the $PV$ matrix multiply consumes. (b) The byte each path writes, and the relative error of the probability it decodes to. The two write the same byte on most of the interval and are one code apart on the rest. Every unit interval of $z$ looks the same, so one is enough. 实验效果：在所测B200/B300/H200上，注意力核相对BF16 FlashAttention-4快1.46–1.59倍，工作站卡快2.3–3.6倍；所测视频模型端到端加速为1.13–1.19倍或1.36–1.70倍，核加速不能当作整段视频加速。 Video diffusion leaves two bottlenecks that QK-centric low-bit attention does not touch. (a) Output error on Wan2.2. A Hadamard rotation of $QK$ shrinks the probability term, but leaves the larger value term exactly where it was: the value quantizer, not the $QK$ quantizer, is what bounds fidelity. (b) Even once both matrix products are low-bit, softmax's FP32 exponentiation and its cast still sit on the critical path between them. 批判点评：需要专门融合算子和在线token分组，不同GPU、序列长度及模型分布会影响收益；重排与量化误差应在具体视频模型上逐一核验。 3. Logit Refiner：补回同尺度token依赖 Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling | CompVis @ LMU Munich · ECCV 2026 | arXiv:2609.11804 关键词：视觉自回归,图像生成,同尺度依赖,解码优化 前序问题：视觉自回归模型在每个尺度内并行采样token，忽略它们彼此的空间依赖；即便增大主干参数，也可能产生局部不连贯的图像。 本文贡献：Logit Refiner 冻结预训练VAR主干，增加轻量自回归模块，依次采样同尺度token并利用主干特征恢复局部联合依赖；接到已有checkpoint时无需重训主干。 Logit Refiner Overview. (a) The VAR backbone processes all previous scales and produces hidden states for the current scale in a single parallel forward pass, finally sampling from pointwise posteriors in parallel. As sampling is done independently within each scale, this can lead to mismatched tokens, affecting generation quality. (b) Our logit refiner takes these hidden states and samples tokens autoregressively within the scale, conditioning each prediction on previously sampled tokens. The refiner is a lightweight causal transformer, incurring only a small overhead during generation, while significantly improving sample quality. 实验效果：论文称新增参数约为主干的10%，训练计算不足主干的5%；在ImageNet 256×256类别条件实验中，1.1B参数的加装模型质量超过约两倍规模的对照主干，且在文生图设置中仍有提升。 VAR Failure Cases vs. Refiner. Our Logit Refiner can address a range of typical failures of VAR. Each column shows a paired sample (same class, same seed). Top: samples covering various failure modes from VAR-d30. Bottom: with refiner. 批判点评：顺序采样补回依赖也可能增加推理时的串行开销；论文中的参数和质量比较限定于所测VAR主干与任务，不能直接外推到所有生成架构。 4. BVB：让智能体用Blender复刻视频 BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender | 罗切斯特大学、Sony、卡内基梅隆大学、华盛顿大学 | arXiv:2609.15478 关键词：视频理解,Blender,程序化重建,智能体评测 前序问题：现有视频理解基准多靠问答；模型即使答对部分问题，也不一定能生成同时保留动作、镜头和对象关系的可执行场景。 本文贡献：BVB要求智能体在统一沙箱与成本上限内编写Blender动画，渲染后分别用Dual VQA评价时空事实保留率、用Latent Similarity评价视觉相似度，并以平方根均值综合评分。 Controlled reconstruction and evaluation. A model alternates between viewing source frames and running Python code in a Docker sandbox under a cost limit, then saves an animated Blend scene. Dual VQA measures how well the rendered video retains answers the judge gets right on the source, and Latent Similarity compares layout and motion using frozen V-JEPA features. 实验效果：论文测试10个模型家族的51种配置；最优配置的潜空间相似度达到88.6，但仅保留源视频中53.7%的正确时空问答，说明看起来像与事实还原之间仍有差距。 BVB reveals shared task difficulty and model-specific variation. The left panel shows retention across eleven representative configurations. The right panel shows the full range, interquartile range, and mean over all 51 configurations for each task. Purple boxes mark the best shown value in each task. 批判点评：程序化重建比问答更能暴露空间和时间推理缺陷，但Blender建模、工具调用预算及渲染质量也会影响分数；不能把结果简单当作通用视频理解能力排名。 5. CrossDistill：分段蒸馏兼顾画质与多样性 CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation | 北京大学、清华大学、阿里巴巴集团 | arXiv:2609.14725 关键词：扩散蒸馏,少步采样,视频生成,多样性 前序问题：扩散模型少步蒸馏常在画质与多样性之间取舍：轨迹蒸馏保留模式覆盖，分布匹配提升细节却可能让不同随机种子收敛到相似画面。 本文贡献：CrossDistill 沿噪声轴设置交叉点：高噪声阶段保持教师轨迹以保留全局分支，低噪声阶段做分布匹配以锐化局部细节，再用交叉状态耦合两段目标。 2D toy manifold distillation setting. From left to right: original teacher, trajectory-based distillation (TD), distribution matching (DM), loss-level mixture of TD and DM, and trajectory-level hybrid distillation (CrossDistill; ours). All models are trained on the same gray data manifold, and each student is trained to convergence. Colored curves denote denoising trajectories of 12 seeds, and black dots denote final generated samples. 实验效果：文生视频实验与图生视频定性展示显示，方法在少步设置下保留种子级差异，同时获得有竞争力的视觉质量；摘要没有给出可跨基准引用的统一加速倍数。 Diversity--quality trade-off. For each of three prompts (rows) we sample four independent initial noise seeds (columns) and show the same frame per generated video. AnyFlow and DMD show reduced seed-level variation, while rCM is diverse but lower in visual quality. In these examples, CrossDistill improves the trade-off, maintaining competitive diversity and visual quality. 批判点评：交叉点选择与两类目标的平衡需要按模型、任务调整；目前的图生视频证据以定性结果为主，读者应区分画质展示与可复现的综合指标。 6. DiVA：锚点续接让数字角色多轮互动 DiVA: Enabling Interactive Digital Life Simulation via Video Models | 蚂蚁集团、南洋理工大学、A*STAR | arXiv:2609.13830 关键词：交互视频,数字人,视频续接,多轮生成 前序问题：数字角色连续互动时，等待、动作与下一轮切换容易造成姿态跳变、镜头抖动和身份漂移；只拼接长视频难以稳定维持可交互状态。 本文贡献：DiVA 用多模态语言模型路由动作和语音响应，再把等待视频、动作视频和两者过渡拆成耦合模块；Anchored Video Continuation根据前一动作返回稳定锚点状态，支持语音与空间点击输入。 Given a text prompt defining the character's role, an MLLM acts as a router, processing user inputs (e.g. clicks and dialogue) and translating them into character responses and behavioral prompts for the audio-text conditional action model. Our video generation component starts with a waiting video, followed by iterative action videos based on the MLLM output. Finally, the anchored video continuation (AVC) module, conditioned on the prior action, targets preset, high-quality anchor frames that represent distinct character states (e.g. sitting or leaning back). Guided by the MLLM state assessment, AVC transitions to the appropriate anchor state. This mechanism smoothly restores the sequence to a stable, high-quality condition and enables expressive transitions between states, significantly expanding the character's motion range. 实验效果：论文对长视频、续接和插帧替代方案做比较，并报告多轮视觉质量与真实感的改善；摘要未给出统一的绝对延迟或显著性数字，因此不宜宣称“无限无衰减”。 Qualitative comparison on long-term digital life simulation. Our method successfully generates high-quality, expressive, and drift-free results, accurately performing state transitions (e.g. the 3rd to 4th transition in both examples). In contrast, all baselines suffer from severe drift and fail to execute precise state transitions; for instance, InfiniteTalk's subject only partially stands up in the second example. Notably, all baselines exhibit severe drift in fewer than 10 interaction rounds (marked in the bottom-right of each image), whereas our method remains stable indefinitely. Best viewed zoomed in. 批判点评：锚点策略对角色常见姿态有效，但复杂、非周期动作可能难找合适状态；实时交互还依赖生成延迟、音视频同步和对用户点击的空间理解。 7. Open-UniMo：64K动作token接入语言模型 Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World | 清华大学、香港中文大学（深圳）、南洋理工大学 | arXiv:2609.14615 关键词：动作生成,动作理解,具身智能,统一token 前序问题：动作语言模型往往把动作当作文本的辅助输入，跨模态互动不足；长动作序列逐token生成还容易积累误差。 本文贡献：Open-UniMo 在约150K文本token之外增加64K动作token，用一致的动作思维链连接语言语义与动作动态；先监督微调建立双向映射，再用GRPO提高语义对齐。 Overview of the Open-UniMo framework. Open-UniMo is trained in two stages with CoT reasoning. In the SFT stage, the model learns CoT-guided bidirectional motion-language mappings for both T2M and M2T tasks. In the GRPO stage, reinforcement learning further refines format compliance and motion-language alignment through multiple reward signals. 实验效果：论文在传统指标和自建Open-MoBench上报告领先结果，并通过消融指出动作到文本理解的瓶颈不主要在词表大小；没有单一数字可以概括所有动作任务。 Qualitative comparison on Open-MoBench for the T2M task. Compared with existing representative approaches, Open-UniMo generates motions that better capture semantic details and natural dynamics. 批判点评：64K动作词表与大规模开放数据意味着训练和部署成本；自建基准依赖VLM评判，实际机器人动作与物理环境中的泛化还需独立测试。 8. IABEdit：语义梯度教编辑器只改该改处 Semantically Aligned Gradient-Driven Context-Preserving Image Editing | 印度理工学院焦特布尔分校 | arXiv:2609.12691 关键词：图像编辑,语义对齐,视觉语言模型,局部保持 前序问题：指令式图像编辑的训练通常只看重建和文字条件，没有显式检查生成结果是否完成指令，因此容易漏改目标或波及无关区域。 本文贡献：IABEdit 用冻结的视觉语言模型提取目标编辑图的空间语义描述，再由可训练对齐器从生成图重建描述，利用残差梯度教生成器同时判断改什么、改哪里；推理时无需VLM。 IABEdit enables instruction-based image editing through a semantic-supervised distillation mechanism. A frozen Descriptive Anchor extracts rich guidance from the instruction and ground-truth edit, while an Instruction Aligner learns to align the generated image with this guidance. The alignment is enforced via backpropagation, guiding the diffusion model toward faithful and controllable edits. 实验效果：在MagicBrush上，DINO-I相对最佳扩散基线提高3.49、相对最佳总体基线提高1.26；在遮挡较重的D-LORD设置中，DINO-P比论文比较的Gemini代理高5.13。 Qualitative results on RealEdit dataset showing comparisons across various editing methods. The instruction adherence can be visualized at the fine-grained level. The non-targeted regions remain preserved, showcasing precise instruction-aligned editing generations. 批判点评：指标提升反映所测数据集的结构和语义保持，不等于所有编辑指令都能被精准执行；训练额外依赖VLM表征，需警惕其偏差与评测模型重合。 9. DNF-SR：双输入保住一步超分细节 DNF-SR: Dual-Input and Negative-Aware Feature Fine-Tuning for Real-World Image Super-Resolution | 南开大学 · CVPR 2026 | arXiv:2609.15120 关键词：真实图像超分,一步扩散,双输入,负样本微调 前序问题：低清图直接送入一步扩散模型会与其训练输入分布错位；只给低清图加噪虽能缩小分布差异，却可能抹掉原始内容。 本文贡献：DNF-SR 把原始低清图与加噪低清图一起送入Flux-Kontext编辑主干：噪声提供生成先验，原图维持内容条件；随后把多次生成结果分为正负样本，在图像和特征空间做负样本感知微调。 Overview of the DNF-SR framework. (a) The model structure adopts a dual-input design: noisy LR latents ($z_{mix}$) and original LR latents ($z_{LR}$) are concatenated with text tokens (encoded from image captions) and fed into fine-tuned DiT blocks of the Flux-Kontext pretrained model. We employed multiple loss functions to ensure the performance of the model. (b) The post-training process of Negative-aware Feature Fine-Tuning: multiple restored results are generated with different input noises, evaluated by combined full-reference (FR) and no-reference (NR) IQA metrics to obtain reward scores, and divided into positive and negative subsets. By constructing positive and negative optimization directions within both the image and the feature spaces, the quality of the restored images is improved. 实验效果：论文报告在真实图像超分实验中优于所比方法，并强调一步推理；arXiv摘要没有统一的绝对速度或画质数字，具体收益取决于论文内各数据集和指标。 Visual comparisons of different Real-ISR methods. Please zoom in for a better view. 批判点评：一次前向降低采样步数，但双输入增加token和内存；负样本分组依赖奖励模型，细节“更好看”时也可能偏离真实纹理。 10. AlignDPO：严重语音幻觉率降至0.6% AlignDPO: Preference-Gated Alignment for Reducing Hallucination in Decoder-Only TTS | ConnexAI · IEEE SLT 2026 | arXiv:2609.12855 关键词：语音合成,文本语音对齐,DPO,内容幻觉 前序问题：纯解码器语音合成在自回归输出时可能漏词、重复或编造内容；注意力对齐过弱不行，但一味把对齐压得很尖也会降低鲁棒性。 本文贡献：AlignDPO 在DPO偏好优化中只对被选中的语音样本加入轻量CTC对齐项，引导少数承担文本语音对齐的注意力头到适度锐化区间，推理时无需改模型结构。 Per-head $L_{CTC}$ distribution (log scale, teacher-forced over 100 utterances) for the four systems, sharing the x-axis. Colored dots are the identified AEAMs ($L_{CTC} < 2$); gray dots are the remaining heads. 实验效果：在Seed-TTS-Eval英语集上，论文报告严重内容幻觉率由4.4%降到约0.6%；正文还给出相对强DPO基线的幻觉率15.0%降至11.3%，两种统计口径不能混为一个数字。 ACI's effect is non-monotone (U-shaped) in attention sharpness, on both an in-domain and a hard out-of-domain set: hallucination vs. free-running entropy $C_E$ for five models. Left to right (soft to sharp): Base ($C_E{=}1.01$), DPO ($0.84$), DPO+M ($0.48$), Base+M ($0.08$), and DPO+M from Base+M ($0.07$). Seed-TTS reports HAL ($n{=}706$); Hard-500 reports SEV-HAL. 批判点评：结果基于特定英语语音数据和纯声学单码本主干；多语言、长句及噪声输入能否维持相同收益仍需独立验证，CTC权重过大会过度锐化。 趋势观察 视频模型走向可组合控制 LynnReal-Omni统一参考图、3D渲染和游戏录像等条件，DiVA把角色等待、动作与过渡拆开管理。可控生成的重点正从单段采样转到素材接口和跨轮状态保持。 加速要拆解真实瓶颈 VC-Attention同时处理V值离群点和softmax成本，LynnReal-Omni-Flash以独立模型和轻量解码器压缩短片段延迟；核提速、模型延迟和长片段吞吐需分别衡量。 生成质量不只是增加参数 Logit Refiner补回同尺度token依赖，CrossDistill按噪声阶段分别保多样性与细节，DNF-SR用原图条件减少一步超分的内容漂移；三者都调整了生成过程中的信息流。 评测从单一画质走向任务事实 BVB用程序化重建拆分视觉相似和时空事实，IABEdit显式检查编辑语义与局部保持，Open-UniMo同时评估动作生成和理解；分项指标比一个综合分更容易定位失败。 人工智能炼丹君 整理 | 2026-09-16 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 基本功|序列并行与 Ring Attention-SP 序列并行与 Ring Attention 所属方向：分布式训练 ｜ 难度：高阶 ｜ 前置知识：张量并行与流水线并行、注意力显存账本、FlashAttention 关键词：序列并行、Ring Attention、长序列、通信与计算重叠、Ulysses 01. 为什么需要它 一个视频或长文被编码成 131072 个 token，hidden size 为 8192，仅一个 BF16 的 $[L,d]$ 张量就占 2 GiB。Transformer 每层不只保存一个这样的张量，还要保存归一化输入、Q/K/V、MLP 中间量、dropout 状态等；标准 attention 若显式保存 $[L,L]$ 分数矩阵，单头 BF16 就是 32 GiB，根本无法进入反向。 数据并行沿 batch 切，每个 rank 仍要处理完整序列；张量并行沿 hidden/head 切，序列长度 $L$ 仍完整复制；流水线并行沿层切，某一层的长序列峰值仍在。长上下文把瓶颈推到第四个维度：必须沿 sequence 切 token。 但“每卡拿一段 token”并不自动成立。MLP 和 LayerNorm 对每个 token 独立，本地就能算；self-attention 中，每个 query 必须看到所有 key/value。若 rank 0 只拿前 1/8 的 K/V，它算出的就成了局部 attention，数学结果已经改变。序列并行的核心问题，是怎样在不复制全部长序列、不近似 attention 的前提下交换必要信息。 目前最常见的两类答案是 Ulysses 与 Ring Attention。Ulysses 先按 sequence 分片，再用 all-to-all 把布局变成按 attention head 分片，让每个 rank 在少量 head 上看到完整 sequence；算完后再 all-to-all 变回来。Ring Attention 则让每个 rank 保留本地 query，K/V block 沿环传递，经过 $P$ 轮后本地 query 恰好见过全序列。 即使尚未阅读FlashAttention 文章，因此先补最小背景：FlashAttention 并不近似 softmax，它把 Q/K/V 分块，并用在线 softmax 的最大值、分母和加权和递推，避免把完整 $L\times L$ 注意力矩阵写回 HBM。Ring Attention 把同一个分块思想扩展到多设备：块不只从显存搬到片上 SRAM，也沿网络搬到下一个 rank。 本文预算脚本给出：$L=131072,d=8192,P=8$ 时，一个 BF16 序列张量从每卡 2 GiB 降到 0.25 GiB，理想降低 8 倍；每层每 rank 绕环接收 K/V 的单向数据约 3.5 GiB。显存不是白省的，它被换成了通信与 $P$ 轮依赖。 02. 最小可用理解 三句话建立框架： 序列并行把 $[B,L,d]$ 沿 $L$ 切成 $P$ 份，使 LayerNorm、dropout、MLP 等序列形激活每卡近似降为 $1/P$。 Ulysses 用 all-to-all 在 sequence shard 与 head shard 间转置；Ring Attention 让 K/V block 绕环流动，本地 Q 用在线 softmax逐块累积精确结果。 两者没有把全注意力的 $O(L^2d)$ 算术复杂度变成线性，只是把计算与内存分散到多卡，并用通信重叠争取接近线性扩展。 如果只记一个区别：Megatron 风格的 sequence parallel 主要切 LayerNorm/dropout 等非 TP 区域的激活；Ulysses/Ring Attention 属于长上下文的 attention 并行，真正处理完整 sequence 上的全局注意力。很多系统把后者称为 context parallel，以免名称混淆。 03. 数学推导 3.1 标准 attention 的账本 令 $Q,K,V\in\mathbb{R}^{L\times d}$，为简洁省略 batch 与 head 维。scaled dot-product attention： $$O=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt d}\right)V$$ 分数矩阵 $S=QK^\top/\sqrt d$ 有 $L^2$ 个元素，算力约为 $O(L^2d)$。若将序列均分到 $P$ 个 rank，每卡持有 $Q_r,K_r,V_r\in\mathbb{R}^{L/P\times d}$。逐 token 的 MLP 可以直接本地算，但 attention 的本地输出需要： $$O_r=\operatorname{softmax}\left(\frac{Q_r[K_0;K_1;\ldots;K_{P-1}]^\top}{\sqrt d}\right)[V_0;V_1;\ldots;V_{P-1}]$$ 也就是说，本地 query 仍必须与所有 rank 的 K/V 相遇。区别只在“把所有 K/V 一次聚齐”还是“逐块流过”。 3.2 在线 softmax：Ring 的数学底座 对一行 query，把 key/value 分成若干块。处理前 $t$ 个块后，保存行最大值 $m_t$、指数和 $\ell_t$ 与未归一化加权和 $u_t$。新块分数为 $s$，块内最大值为 $m_b=\max(s)$，更新全局最大值： $$m_{t+1}=\max(m_t,m_b)$$ 为了把旧累计量换到新的指数基准，定义 $\alpha=\exp(m_t-m_{t+1})$，则： $$\ell_{t+1}=\alpha\ell_t+\sum_j\exp(s_j-m_{t+1})$$ $$u_{t+1}=\alpha u_t+\sum_j\exp(s_j-m_{t+1})v_j$$ 处理完所有块后： $$o=\frac{u_T}{\ell_T}$$ 每次最大值变大时，旧分母与旧分子同时乘 $\alpha$，所以比值语义不变。算法只需保存 $m,\ell,u$ 和当前 score tile，不需保存全矩阵。它与减最大值的稳定 softmax 完全等价，而不是近似。 3.3 Ring Attention 的 $P$ 轮 第 $r$ 个 rank 固定本地 $Q_r$，初始持有 $K_r,V_r$。第 0 轮计算本地块，第 1 轮把 K/V 发给下一个 rank并接收上一个 rank 的块，如此循环。第 $t$ 轮 rank $r$ 处理来源 $(r-t)\bmod P$ 的 K/V；$P$ 轮后每个 $Q_r$ 看过所有块。 本地计算量近似： $$C_{\mathrm{rank}}=O\left(\frac{L}{P}\cdot L\cdot d\right)=O\left(\frac{L^2d}{P}\right)$$ 每 rank 需要接收 $P-1$ 次大小约 $2(L/P)d\,b$ 的 K/V，其中 $b$ 是每元素字节数： $$V_{\mathrm{ring}}=2\frac{P-1}{P}Ldb$$ 当 $L$ 与 $P$ 同比例增长、每卡本地 token 数保持不变时，单轮的 Q/KV block 大小、计算量和传输量近似不变，增长的是轮数和每卡总计算量。是否能覆盖通信取决于单轮 block 是否足够大、有效算力与链路带宽；弱扩展本身不会自动改善单轮的重叠条件。若本地 block 太小、网络慢或 kernel 没有异步双缓冲，通信会裸露出来。 训练反向不能只把前向环倒放那么简单：每个 rank 还要计算对本地 Q、流动 K/V 的梯度，并把属于原拥有者的 dK/dV 沿环累积或归还。checkpoint 与重计算还能减少保存量，但增加计算。 3.4 因果 mask 如何穿过环 自回归 attention 要求 query 位置 $i$ 只能看 key 位置 $j\le i$。分块后，根据全局位置判断： K/V block 完全位于 Q block 未来：整块跳过； 完全位于过去：无需 mask； 与 Q block 重叠：块内施加三角 mask。 跳过未来块可省计算，但不同 rank 的有效工作量会不均。某些实现使用 zigzag 或重新排列 token，使每卡同时持有前后位置，平衡 causal attention 工作量。若只看非因果公式估算吞吐，部署到 causal LLM 时可能偏差很大。 3.5 Ulysses 的 all-to-all 转置 设输入布局是 sequence-sharded： $$[B,L/P,H,D_h]$$ $H$ 是 head 数，$D_h$ 是每头维度。Ulysses all-to-all 把它转成： $$[B,L,H/P,D_h]$$ 每卡序列完整、head 只剩 $H/P$，于是能在本地执行普通 attention；输出再 all-to-all 回 sequence shard。它通常要求 $H$ 能被 $P$ 整除，若 GQA 只有很少 KV heads，约束会更紧。Ring 不要求按 head 数切，但要经历 $P$ 个顺序环步骤。 Ulysses 的 collective 容易利用成熟 all-to-all，但跨节点 all-to-all 对网络争用敏感；Ring 只与邻居点对点通信，更贴合环形拓扑，也更容易细粒度重叠。没有一种方法在所有硬件和 head 配置上恒优。 3.6 Megatron Sequence Parallel 不等于长上下文 attention 传统 TP 的 column/row parallel 边界往往让某些激活在 TP rank 上复制。Megatron sequence parallel 把 LayerNorm、dropout 等逐 token 操作沿 sequence 切分，并用 reduce-scatter 与 all-gather 衔接 TP 区域，使这些激活内存近似降为 $1/P$。它与 TP process group 绑定，主要减少非 TP 区域的重复激活。 但 attention 若仍按 head 做 TP，每个 head 仍可能看到完整 sequence。因此配置项 sequence_parallel=true 并不等于已经支持百万 token。需要进一步的 context parallel、Ulysses 或 Ring Attention 才能沿 attention 的上下文维扩展。 一个序列张量的每卡存储随 P 下降，而完整前向绕环接收的 K/V 字节增加并趋于上限。右图是接收量，不重复计发送量，尚未包含反向通信。 04. 代码实现 ring_attention_sim.py 只用标准库，实现完整 softmax attention 与分块在线递推。Q/K/V 均为 $[4,2]$，每个 K/V block 两行，相当于两轮 ring： Q=K=V shape=(4, 2), kv_block=2, ring_steps=2 full[0]=[1.713718770, 1.717687378] ring[0]=[1.713718770, 1.717687378] max_abs_diff=0.000e+00 本组小样本在打印精度内相同；算法等价性来自第 3.2 节的不变式，浮点实现一般仍存在求和顺序引起的舍入差异。脚本没有真正启动多进程；它把 K/V block 依次喂给同一递推器，模拟每个 rank 收到环上块后的本地数学。生产实现还要异步 send/recv、双缓冲、causal mask 与 backward。 sp_budget.py 对 $L=131072,d=8192,H=64,P=8$ 输出： L=131072, d=8192, heads=64, sp=8, dtype_bytes=2 one [L,d] tensor: replicated=2.00 GiB, sequence-sharded/rank=0.25 GiB ideal memory reduction for sequence-shaped activations=8.0x Ulysses head-divisible=True (64//8=8 heads/rank) Ring Attention rounds=8, local query tokens=16384 Ring K/V traffic per rank per layer (one direction, ideal)=3.50 GiB 2 GiB 只是一个张量，不是整层总显存；0.25 GiB 是理想静态 shard，也没算当前通信块、输出、梯度与工作区。3.5 GiB 对应 $2(P-1)Ldb/P$，是每层、每 rank、单方向的 K/V 接收量。实际网络还包含反向与协议开销。 05. 工业级实现对照 以 2026-09 为准，DeepSpeed 的 deepspeed/sequence/layer.py 中 DistributedAttention 用自定义 all-to-all 在 scatter 轴与 gather 轴间转换 Q/K/V，调用 local_attention 后再变回去。源码明确检查总 head 数必须能被 sequence parallel size 整除，并提供 stream 与 overlap handle 管理通信重叠。 这个工业实现比最小公式多处理 batch 维位置、不同 Q/K/V 布局、rotary position embedding、异步 stream、autograd 的反向 all-to-all 与进程组。布局索引错一位可能 shape 仍合法但语义错误，所以系统必须统一采用明确的张量维约定。 Megatron-LM 的模型并行配置中 sequence_parallel 用于并行 LayerNorm 与 dropout；context_parallel_size 则面向上下文切分。当前 Megatron Core 还支持多种 context parallel 通信方式。读配置时不要只看“SP”缩写，要追到具体张量在哪个轴分片以及 attention 内部采取哪种交换。 Ring Attention 的工业 kernel 通常建立两个 K/V buffer：当前块参与计算时，下一个块在独立通信 stream 接收；计算结束交换 buffer。要真正隐藏通信，必须满足： $$T_{\mathrm{attention\ block}}\ge T_{\mathrm{send/recv}}$$ 此外还要确保计算与 NCCL 没争抢同一资源到互相拖慢。仅在代码里使用 async op 不代表 timeline 上已经重叠，必须用 profiler 验证。 FlashAttention 提供单卡块级 IO 优化，Ring/Ulysses 提供多卡数据布局。两者不是竞争关系：每个 rank 的 local attention 往往正由 FlashAttention kernel 完成。前者减少 HBM 读写，后者减少单卡需要常驻的全局序列。 checkpoint 也必须保存并行元数据。若训练时改变 SP/CP 度，参数本身或许未沿 sequence 切，但 optimizer、随机数状态和位置相关缓存可能变化。恢复前应由框架的 distributed checkpoint 层重新映射，而不是直接让每个 rank 读取旧编号文件。 06. 代价与边界 序列并行省的是序列形激活，不一定省参数和优化器状态；它通常要与 ZeRO/FSDP、TP、PP 组合。完整世界规模可能写成 $W=d_p t_p p_p c_p$，其中 $c_p$ 是 context parallel 度。每多一根轴，都新增 process group、拓扑映射与整除约束。 Ring Attention 保留全注意力的二次计算量。卡数增加能把每卡计算降到 $1/P$，但集群总 FLOPs 仍为 $O(L^2d)$；当上下文翻倍、卡数不变时，总计算约四倍。它突破的是单卡内存和 wall-clock 可扩展性，不是算法复杂度。 通信也不是“免费”。Ring 的每 rank 字节量随 $L$ 线性增长且有 $P$ 轮延迟链；Ulysses 有前后 all-to-all，容易受跨节点网络与并发任务干扰。若 $L$ 尚短，通信与布局转换可能比 attention 本身更贵，普通 TP 更合适。 常见边界包括： Ulysses 的 head 或 KV head 不能被 SP 度整除，GQA/MQA 尤其容易受限； causal mask 造成各 block 计算不均，需要 load-balanced ring； position encoding 必须使用全局位置，不能把每 rank 的局部 token 从 0 重新编号； dropout 的随机数要在切分前后保持统计与重算一致，否则并行度改变会造成难解释的差异； variable-length packed sequence 需要携带边界，不能让不同样本互相 attention； 视频 token 在时间、空间上的排列会影响 causal 或局部结构，切块策略不能只按连续内存方便决定。 在低带宽以太网集群上，增加 context parallel 度可能只是把 OOM 变成通信瓶颈。应先用 activation checkpoint、FlashAttention、减小 microbatch 等单机方法，确认仍由单卡序列容量限制，再引入跨设备 SP。 6.1 从单张量扩展到整层激活账本 一个 $[L,d]$ BF16 张量占 $2Ld$ 字节，但训练层内可能同时存在 residual、norm 输入、Q/K/V、attention output 与 MLP 中间值。设所有与序列线性相关且必须保存到反向的张量合计为 $cLd$ 个元素，序列分片后的理想每卡保存： $$M_{\mathrm{linear/rank}}\approx\frac{cLdb}{P}$$ $c$ 由架构、融合 kernel 与 checkpoint 策略决定，不能用固定常数套所有模型。SwiGLU 会产生门控与 value 两个支路；视频 DiT 还可能有条件分支、cross-attention 与调制参数。最可靠方法是从 profiler 的 allocation timeline 识别跨 backward 存活的张量。 attention tile 与通信 buffer 是额外峰值。Ring 双缓冲至少需要当前和下一份 K/V block；FlashAttention kernel 还需要 score tile、softmax statistic 和 workspace。于是： $$M_{\mathrm{peak/rank}}=M_{\mathrm{linear/rank}}+M_{\mathrm{local\ attention}}+M_{\mathrm{double\ buffer}}+M_{\mathrm{runtime}}$$ 当 $P$ 继续增加时，第一项下降，但 buffer、runtime 和最小 kernel workspace 不会等比下降，显存收益逐渐偏离 $1/P$。用总 allocated 除卡数预测极限会过于乐观。 6.2 反向为何比前向更难 前向中，本地 Q 只需依次看过所有 K/V block。反向要得到 $dQ_r$、$dK_j$ 与 $dV_j$。当来源 $j$ 的 K/V 到达 rank $r$ 时，本地可计算它对 $dQ_r$ 的贡献，也会产生属于来源 rank $j$ 的 $dK_j,dV_j$ 部分。后两者必须跨所有 query shard 求和并归还拥有者。 因此每个块需要身份信息，环中既可能传 K/V，也可能传对应梯度累计。为了减少前向保存，backward 常重算局部 score 与概率，依赖前向保存的行最大值和归一化分母。若随机 dropout 参与 attention，重算还必须恢复相同随机 mask。 理论通信量必须同时列前向与反向。只用 $2(P-1)Ldb/P$ 报告 K/V 前向流量会低估训练网络负担；真实实现还包括 dK/dV、可能的 dQ 归约、控制同步和其他模块的 collective。性能分析应以 profiler 中每层总通信字节与裸露时间为准。 6.3 通信重叠需要满足哪些条件 把一个本地 query block 与一个 K/V block 的 attention 计算时间记为 $T_c$，邻居传输一个 K/V block 的时间记为 $T_n=\alpha+S/\beta$，其中 $\alpha$ 是链路延迟，$\beta$ 是有效带宽，$S$ 是消息字节。双缓冲后的理想每轮时间： $$T_{\mathrm{round}}\approx\max(T_c,T_n)$$ 只有 $T_c\ge T_n$，网络才大部分隐藏。减小 block 能降低临时显存，却增加轮数和延迟占比；增大 block 提高 GEMM 效率，却增大 buffer。block size 是计算、带宽、延迟与显存的共同旋钮。 实现还需避免隐式同步。例如在循环中把 GPU 标量取回 CPU、过早 wait 通信 handle、复用尚未完成接收的 buffer，都会把异步流水串行化。正确做法是独立 stream、event 依赖与 ping-pong buffer，并在 GPU timeline 上确认 send/recv 与 attention kernel 真正重叠。 环的物理顺序同样重要。逻辑 rank 相邻却跨交换机，会让每轮走慢链路；合理 ring 应优先沿 NVLink 域，再通过少量跨节点边连接。多维集群还可以分层：节点内用 Ulysses all-to-all，节点间用 Ring，或反过来根据硬件选择，这正是统一序列并行方法的动机。 6.4 长度、head 与并行轴的联合约束 设 context parallel 度为 $c_p$、tensor parallel 度为 $t_p$。若 TP 已把 head 切为 $H/t_p$，Ulysses 再沿 head 分 $c_p$，就需要本地可见 head 数继续可分： $$H\ \bmod\ (t_pc_p)=0$$ 具体约束取决于框架是在同一 head 轴叠加还是采用不同布局。GQA 中应将 $H_{KV}$ 单独代入；只有 8 个 KV head 的模型很难做大 head-parallel。某些系统复制 K/V 以放松整除，但通信和显存模型随之改变。 sequence length 通常也要求能被 $c_p$ 与 block size 整除。不整除时可以 padding 或不等长 shard。padding 实现简单但会浪费二次 attention 计算；不等长 shard 又使通信消息与计算不均。对长度差异大的数据，先按 token 数分桶往往比依赖动态不等长 ring 更稳定。 TP 与 CP 同时使用还会出现多种 collective。attention 投影可能在 TP 组 all-reduce，context attention 在 CP 组 send/recv，层外梯度还在 DP 组 reduce-scatter。若各组在不同 rank 上以不一致顺序发起 collective，可能死锁。框架必须给跨组通信建立确定顺序或独立 stream 依赖。 6.5 视频与多模态序列的特殊问题 视频 token 常按时间、空间高、空间宽展平。连续切 sequence 可能让每个 rank 持有若干完整帧，也可能持有同一帧的空间条带；两种布局对位置编码、局部 attention、数据增强和负载平衡影响不同。若模型有 temporal attention 与 spatial attention 分解结构，最优切分轴也可能随层变化。 全局位置必须从原始坐标生成。RoPE 若把每个 rank 的局部索引重新从 0 开始，不会报 shape 错，却让不同块位置混叠。二维或三维 RoPE 更要携带时间与空间坐标，而不是只传一个线性 offset。跨模态序列还要保持文本、图像、视频 segment 的 mask 与边界。 视频长度和分辨率经常动态变化。同一 global batch 内若 token 数差异大，padding 使最长样本决定所有 rank 工作量；packed sequence 可减少浪费，却要求 block 不跨样本做 attention。调度系统最好按总 token 数而非样本数组 batch，并把实际有效 token 纳入 loss normalization。 因果结构也不总是标准下三角。视频生成可能使用双向视觉 attention、文本到视频 cross-attention 或分块因果时间 mask。Ring 优化中“未来块可跳过”的判断必须来自真实 mask 结构，不能硬编码 LLM 假设。 6.6 正确性验收与故障定位 第一层验收是 shape：每个边界记录 global shape、local shape、分片轴、global offset、padding 与拥有者。第二层是数学：小尺寸 FP64 单卡作为 oracle，逐项比较 forward 和 dQ/dK/dV。第三层是随机性：开启 dropout 与 checkpoint 后，在固定 seed 下比较统计和可复现范围。 输出不一致时，可按轮 dump 每个 rank 处理的 K/V 来源编号。若少一个或重复一个，是 ring 调度；若所有来源齐全但数值错，检查在线 softmax 的旧累计重标定；若仅 causal 错，检查全局位置与块分类；若 forward 对而 backward 错，检查 dK/dV 归还与跨 query shard 求和。 OOM 时不要只减 block。先区分 persistent activation、通信双 buffer、kernel workspace 与碎片。若 activation 占主导，提高 CP 或 checkpoint 有效；若 buffer 占主导，减 block 才有效；若碎片主导，可调分配器或稳定 shape。错误手段可能降低吞吐却完全不改变峰值来源。 性能验收同时做 strong scaling 与 weak scaling。strong scaling 固定全局 $L$，增加卡数，观察端到端时间能否下降；容量弱扩展固定每卡 local token，令 $L\propto P$：精确全注意力的每卡计算 $L^2/P$ 此时随 $P$ 线性增长，不能期望每卡时间不变；应比较实测时间与这一增长基线，以及通信隐藏率。Ring Attention 可随设备数扩展可处理上下文，但总计算也随之增加。 最后把精度也纳入验收。在线 softmax 很稳定，但不同 block 顺序改变浮点加法；BF16、FP8 attention 更明显。应比较最终任务指标、loss 轨迹和梯度，而不是要求多卡输出 bitwise 等同。若误差远超单纯归约顺序，再排查 scale、mask 与布局。 6.7 Ulysses、Ring 与混合方案如何选 先看 head 约束。若本地 Q head 与 KV head 都能被目标 SP 度整除，且集群 all-to-all 带宽高，Ulysses 路径直接，local attention 可复用成熟 kernel。若 KV head 很少、SP 度很大，Ring 不沿 head 切，通常更容易扩展。再看拓扑：全连接高速交换更适合 all-to-all；邻接带宽强、跨组带宽弱时，环形点对点更自然。 再看本地块计算。长序列、大 head dimension 使每轮计算足以隐藏 K/V 传输，Ring 受益；较短序列或大量小 head 时，$P$ 轮延迟可能突出。Ulysses collective 次数少，但消息全局交换可能造成拥塞。决策依据应是每轮计算时间、有效链路带宽和 collective 实测，不是理论总字节一项。 混合方案把设备组织成二维网格。例如节点内 8 卡做 Ulysses，节点间若干组做 Ring；这样 head 整除只限制节点内度数，跨节点使用邻接通信。代价是布局更复杂、process group 更多，Q/K/V 需要在两个维度间保持一致顺序。只有单一方案确实受限时才值得引入。 还要把 TP 纳入考虑。如果 TP 已经切 head，Ulysses 可用 head 更少；有时降低 TP、提高 CP 更适合长序列，有时模型单层容量又要求 TP 不能降。最优并行度会随训练长度变化，短序列预训练与长序列继续训练未必使用同一布局。 6.8 推理场景与训练不同 prefill 处理整段 prompt，计算形态接近训练前向，序列并行能分摊长 prompt attention。decode 每步只有少量新 query，却要读取不断增长的 KV cache；此时瓶颈常是 KV 带宽与跨卡延迟，而非大块 GEMM。训练中优秀的 Ring block，在逐 token decode 里可能太细、同步轮数太多。 推理还涉及请求级并发。可以把不同请求分给数据并行副本，也可把一个超长请求沿 context 分片。前者吞吐高、单请求受单卡长度限制；后者支持超长上下文、占用多个设备。调度器应根据请求长度动态选择，而不是所有请求固定占一个 CP 组。 KV cache 的拥有关系必须稳定。若每 rank 保存一段 sequence，新增 token 的 K/V 放在哪一段、何时重平衡、beam search 如何复制，都要定义。Paged KV cache 与 context parallel 叠加时，逻辑页、物理 GPU 与全局位置形成三层映射，错误可能表现为偶发内容质量下降而非崩溃。 因此本文通信公式主要用于训练或 prefill，不能直接拿来预测 decode tokens/s。推理基准要分别报告 time-to-first-token、inter-token latency、并发吞吐、KV cache 容量和长短请求混合表现。 6.9 上线前检查清单 上线前确认：sequence、head、KV head 与 block 的整除或 padding 规则明确；每个 shard 保存全局位置；causal/packed mask 按全局索引生成；每轮 K/V 来源不重不漏；在线 softmax 保存并正确重标定最大值、分母与分子；backward 的 dK/dV 回到原拥有者；dropout 重算保持随机一致。 系统侧确认 ring 物理顺序符合拓扑，通信与计算 timeline 真重叠，buffer 生命周期无覆盖，所有 rank collective 顺序一致，checkpoint 记录分片元数据，变更 CP 度可以恢复。性能侧同时做 strong/weak scaling，并在真实长度分布而非单一最大长度上测试。 最后保留小尺寸 oracle。每次升级 attention kernel、通信库、RoPE 或 mask 实现，都自动生成随机 Q/K/V，与 FP64 单卡结果比较 forward 和全部梯度；再跑包含因果、变长、GQA、极端分数和非整除长度的边界集。长序列错误代价很高，小 oracle 是最便宜的保险。 6.10 最后的边界：更长不等于更有用 系统能够处理百万 token，只说明容量与运行时间可接受，不保证模型会利用远距离信息。长上下文实验还要检查位置外推、训练长度分布、检索准确率与有效注意范围。并行系统解决“算得出来”，数据与模型设计决定“学得会不会”。 因此扩展长度时同时保留短上下文质量基线，按距离分桶评估信息召回，并报告有效 token 而非 padding 后长度。否则可能用大量 GPU 计算模型并未使用的上下文。 07. 经典论文脉络 FlashAttention（arXiv:2205.14135）：用 IO-aware tiling 与在线 softmax 实现精确 attention，避免物化完整分数矩阵，是多卡分块 attention 的本地 kernel 基础。 Reducing Activation Recomputation in Large Transformer Models（arXiv:2205.05198）：提出 Megatron sequence parallel 与选择性重计算，减少 TP 区域之外的重复激活。 DeepSpeed Ulysses（arXiv:2309.14509）：用 all-to-all 在 sequence 与 head 布局间转换，使超长序列 attention 可扩展。 Ring Attention with Blockwise Transformers（arXiv:2310.01889）：让 K/V 块沿环流动并与分块计算重叠，把可处理上下文随设备数扩展。 USP（arXiv:2405.07719）：统一 Ulysses 与 Ring 两类序列并行，针对模型结构与网络拓扑组合两者。 这条演进线从“单卡不保存 $L^2$ 矩阵”，走到“多卡不复制 $L$ 激活”，再走到按 head 结构和网络拓扑组合通信方式。算法、kernel 与系统三层缺一不可。 08. 常见误解 误解一：序列并行把 attention 复杂度从二次降成线性。 精确全注意力的集群总计算仍为 $O(L^2d)$；它只把工作分摊，并让内存近似随本地 token 数增长。 误解二：每卡切一段 token 后直接做本地 attention。 那只允许 token 看同一分片，会改变模型。必须让 query 见到全局 K/V，或明确接受局部/稀疏近似。 误解三：Ring Attention 是近似注意力。 在线 softmax 递推在精确算术下与完整 softmax 等价；差别来自浮点归约顺序，不是丢弃连接。 误解四：开启 Megatron sequence_parallel 就解决长上下文。 它主要减少 LayerNorm、dropout 等激活复制；长上下文 attention 通常还需 context parallel。 误解五：异步 send/recv 就等于通信被隐藏。 只有计算时间覆盖传输、stream 真能并发且无资源争抢，timeline 上才会重叠。 误解六：Ulysses 的 SP 度只受 GPU 数限制。 head 数、KV head 数与 tensor layout 必须可切；GQA 模型常比标准 MHA 更早碰到上限。 09. 动手验证 先运行 ring_attention_sim.py，把 block_size 改成 1、2、4。预期 max_abs_diff 始终接近机器精度；再把 score 全部加 1000，稳定递推仍有限，而直接 exp(score) 会溢出。这同时验证精确性与减最大值的重要性。 为脚本加入 causal mask，使用 query/key 的全局索引屏蔽 $j>i$。预期分块结果与完整下三角 attention 一致。然后故意用局部索引 mask，会发现后续 rank 错误允许关注未来或错误屏蔽过去，这是真实分布式实现中很隐蔽的 bug。 运行 sp_budget.py，固定每卡 token 为 16384，让 $L$ 与 ranks 同比例从 1、2、4、8 增长。每卡序列张量保持 0.25 GiB，而 ring K/V 流量与全局 $L$ 增长。这个弱扩展实验说明“可放下更长序列”并不等于“通信不增长”，只是计算增长可能覆盖通信。 在真实集群比较 FlashAttention 单卡、Ulysses、Ring/context parallel：固定模型与 global sequence，记录峰值显存、attention kernel 时间、collective/点对点时间、重叠率与 MFU。分别在节点内和跨节点运行；预期最佳方法随 NVLink、InfiniBand、head 数和 local block 大小变化。 最后做数值验收：关闭 dropout，用同一 Q/K/V 比较单卡与多卡输出及 dQ/dK/dV。BF16 下用合理容差，同时单独检查每个 rank 拼接后的全局顺序。输出对而梯度错，通常说明 backward 中流动 K/V 梯度没有正确归还拥有者。 10. 延伸阅读 读懂本文的完整前置路径是： 数据并行与 ZeRO 显存切分：先区分状态分片与计算分片（已发布）。 张量并行与流水线并行：理解 process group、collective、microbatch 与拓扑（已发布）。 自注意力机制的计算与显存账本：理解 $L^2$ 分数矩阵从哪里来。 FlashAttention 为什么不需要存下注意力矩阵：深入单卡在线 softmax 与 IO 复杂度。 DDPM 训练目标与采样流程和 DiT：用 Transformer 替掉 UNet：理解视频 DiT 的时空 token 为何迅速推高注意力成本。 选 Ulysses 还是 Ring，不应从名字出发。先列出 $L,H,H_{KV},d$、网络拓扑、每卡内存与 causal 结构；再计算 local shape、通信字节、轮数和可重叠窗口；最后用 profiler 验证。长上下文系统真正的能力，是让数学等价、内存边界和物理网络三者同时对齐。 附录：完整代码 09 节用到的脚本全文如下（ring_attention_sim.py、sp_budget.py、make_figures.py）。复制到本地存成同名文件，按各脚本开头的依赖说明准备环境后即可运行。 ring_attention_sim.py #!/usr/bin/env python3 """Exact blockwise attention recurrence used by ring-style attention; stdlib only.""" import math def dot(a, b): return sum(x * y for x, y in zip(a, b)) def full_attention(q, k, v): outputs = [] scale = math.sqrt(len(q[0])) for query in q: scores = [dot(query, key) / scale for key in k] peak = max(scores) weights = [math.exp(score - peak) for score in scores] denom = sum(weights) outputs.append([sum(w * value[j] for w, value in zip(weights, v)) / denom for j in range(len(v[0]))]) return outputs def blockwise_attention(q, k, v, block_size): scale = math.sqrt(len(q[0])) peak = [-math.inf] * len(q) denom = [0.0] * len(q) numer = [[0.0] * len(v[0]) for _ in q] for start in range(0, len(k), block_size): kb, vb = k[start:start + block_size], v[start:start + block_size] for row, query in enumerate(q): scores = [dot(query, key) / scale for key in kb] new_peak = max(peak[row], max(scores)) correction = math.exp(peak[row] - new_peak) if peak[row] != -math.inf else 0.0 weights = [math.exp(score - new_peak) for score in scores] denom[row] = correction * denom[row] + sum(weights) numer[row] = [correction * old + sum(w * value[j] for w, value in zip(weights, vb)) for j, old in enumerate(numer[row])] peak[row] = new_peak return [[x / denom[row] for x in numer[row]] for row in range(len(q))] q = [[1.0, 0.0], [0.0, 1.0], [1.0, 1.0], [-1.0, 1.0]] k = [[1.0, 0.0], [0.0, 1.0], [1.0, 1.0], [1.0, -1.0]] v = [[1.0, 2.0], [2.0, 0.0], [0.0, 3.0], [4.0, 1.0]] full = full_attention(q, k, v) streamed = blockwise_attention(q, k, v, block_size=2) max_diff = max(abs(a - b) for ra, rb in zip(full, streamed) for a, b in zip(ra, rb)) print("Q=K=V shape=(4, 2), kv_block=2, ring_steps=2") print("full[0]=[" + ", ".join(f"{x:.9f}" for x in full[0]) + "]") print("ring[0]=[" + ", ".join(f"{x:.9f}" for x in streamed[0]) + "]") print(f"max_abs_diff={max_diff:.3e}") sp_budget.py #!/usr/bin/env python3 """Compare idealized per-rank sequence-memory and method constraints.""" import argparse parser = argparse.ArgumentParser() parser.add_argument("--tokens", type=int, default=131072) parser.add_argument("--hidden", type=int, default=8192) parser.add_argument("--heads", type=int, default=64) parser.add_argument("--ranks", type=int, default=8) args = parser.parse_args() if args.tokens % args.ranks: parser.error("tokens must be divisible by ranks") tensor_gib = args.tokens * args.hidden * 2 / 1024**3 local_gib = tensor_gib / args.ranks print(f"L={args.tokens}, d={args.hidden}, heads={args.heads}, sp={args.ranks}, dtype_bytes=2") print(f"one [L,d] tensor: replicated={tensor_gib:.2f} GiB, sequence-sharded/rank={local_gib:.2f} GiB") print(f"ideal memory reduction for sequence-shaped activations={args.ranks:.1f}x") print(f"Ulysses head-divisible={args.heads % args.ranks == 0} ({args.heads}//{args.ranks}={args.heads // args.ranks} heads/rank)") print(f"Ring Attention rounds={args.ranks}, local query tokens={args.tokens // args.ranks}") print(f"Ring K/V traffic per rank per layer (one direction, ideal)={2*tensor_gib*(args.ranks-1)/args.ranks:.2f} GiB") make_figures.py """Regenerate this article's deterministic teaching figure (numpy + matplotlib).""" from pathlib import Path import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt import numpy as np OUT=Path(__file__).resolve().parents[1]/"figures" OUT.mkdir(exist_ok=True) plt.rcParams.update({"font.sans-serif":["PingFang SC","Arial Unicode MS","DejaVu Sans"],"axes.unicode_minus":False}) p=np.array([1,2,4,8,16,32]); L=131072;d=8192;b=2;g=1024**3 fig,axes=plt.subplots(1,2,figsize=(10,4.4)) axes[0].plot(p,np.full(p.shape,L*d*b/g),"--",label="Replicated") axes[0].plot(p,L*d*b/p/g,"o-",label="Sequence shard") axes[0].set(xscale="log",xlabel="Ranks P",ylabel="One tensor per rank (GiB)");axes[0].legend() axes[1].plot(p,2*(p-1)/p*L*d*b/g,"o-") axes[1].set(xscale="log",xlabel="Ranks P",ylabel="Forward K/V received per rank (GiB)") for ax in axes:ax.grid(alpha=.25) fig.suptitle("Ring attention budget: L=131072, d=8192, BF16");fig.tight_layout() fig.savefig(OUT/'ring_budget.png',dpi=170) plt.close(fig) print(OUT/'ring_budget.png') 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 基本功|张量并行与流水线并行-TP-PP 张量并行与流水线并行 所属方向：分布式训练 ｜ 难度：高阶 ｜ 前置知识：数据并行与 ZeRO 显存切分 关键词：张量并行、流水线并行、Megatron-LM、GPipe、通信开销、并行策略 01. 为什么需要它 ZeRO-3 能把参数、梯度和优化器状态切到数据并行 rank 上，但每一层计算时仍要聚合这一层的参数。若单个 Transformer 层、词表投影或大矩阵乘本身就放不进一张卡，单纯增加数据并行度解决不了问题；若层能放下，但整网常驻状态或激活放不下，也可考虑沿网络深度切开；能否仅靠 ZeRO-3 和重计算解决，需要先算峰值。 这对应两把不同的刀。张量并行（Tensor Parallelism，TP）在一层内部切矩阵，让多张卡共同完成同一个 GEMM；流水线并行（Pipeline Parallelism，PP）沿层切模型，让不同设备各自保存连续或交错的一段层。前者解决“这一层太宽”，后者解决“模型太深”。数据并行沿 batch 复制模型，三者切的是三个不同维度。 先看一个浪费现场：4 个 pipeline stage 处理 1 个 microbatch。第 0 段前向时其余三段都空闲；数据流到第 3 段后，前几段又空闲。若把一个 global batch 切成 8 个 microbatch，让不同样本在各 stage 重叠，理想 forward sweep 从 $4\times8=32$ 个串行 stage-slot 压到 11 个时间槽，但仍有填充和排空的“气泡”。本文脚本算出 4 段、8 个 microbatch 的理想利用率只有 72.73%，气泡占 27.27%。 再看 TP：若一个 MLP 的第一层权重为 $[d,4d]$，可沿输出维切成 $p$ 份，每卡算 $[d,4d/p]$；第二层 $[4d,d]$ 再沿输入维与中间激活匹配切分。这样两次 GEMM 都不需要在中间把完整 $4d$ 激活拼回每张卡，只在必要边界做集合通信。这正是 Megatron-LM 的 column-parallel 与 row-parallel 配对。 难点不在“切成几份”，而在切后保持数学等价，并让通信落在高带宽拓扑上。TP 频繁同步，通常限制在 NVLink/NVSwitch 节点内；PP 在相邻 stage 前向传激活、反向传对应梯度，更适合跨节点。若反过来布置，同一套卡数会被网络延迟拖垮。 02. 最小可用理解 三句话建立框架： TP 切一层的隐藏维、输出通道或 attention head，每层都会通信，换来单层权重、激活和计算分摊。 PP 把层分给不同 stage，再把 batch 切成 microbatch 以重叠各段计算；microbatch 越多，气泡越小，但调度和激活管理更复杂。 生产系统通常组成 DP×TP×PP 的三维网格：TP 放在最快链路内，PP 穿过较慢边界，剩余设备做 DP 与 ZeRO/FSDP。 如果只记一句：TP 是“同一个样本的一层由多卡一起算”，PP 是“同一个样本依次经过多卡上的不同层”。它们都属于模型并行，但通信模式完全不同。 设世界规模 $W$，数据并行度为 $d_p$、张量并行度为 $t_p$、流水线段数为 $p_p$，若没有其他并行轴： $$W=d_p\,t_p\,p_p$$ 这不是越均匀越好。TP 度受矩阵维度、head 数、KV head 数和高速互联限制；PP 度受层数、切分均衡与 microbatch 数限制；最后再用 DP 提升全局吞吐。 03. 数学推导 3.1 Column Parallel：沿输出维切 线性层输入 $X\in\mathbb{R}^{n\times d_{\mathrm{in}}}$，权重 $A\in\mathbb{R}^{d_{\mathrm{in}}\times d_{\mathrm{out}}}$，输出为： $$Y=XA$$ 把 $A$ 沿列切为 $p$ 份： $$A=[A_0,A_1,\ldots,A_{p-1}],\qquad A_i\in\mathbb{R}^{d_{\mathrm{in}}\times d_{\mathrm{out}}/p}$$ 第 $i$ 个 rank 计算： $$Y_i=XA_i$$ 完整结果只是拼接： $$Y=[Y_0,Y_1,\ldots,Y_{p-1}]$$ 前向不必通信，只要输入 $X$ 在 TP 组内复制。若下一层能直接消费分片 $Y_i$，连 all-gather 都可省。反向时，每个 rank 产生一份输入梯度贡献 $dX_i=dY_iA_i^\top$，完整 $dX$ 要求和： $$dX=\sum_{i=0}^{p-1}dX_i$$ 因此 column-parallel 的关键通信落在反向输入梯度 all-reduce。 3.2 Row Parallel：沿输入维切 把输入和权重的匹配维切开： $$X=[X_0,X_1,\ldots,X_{p-1}],\qquad A=\begin{bmatrix}A_0\\A_1\\ \vdots\\A_{p-1}\end{bmatrix}$$ 每卡先算局部部分和 $Z_i=X_iA_i$，完整输出是： $$Y=XA=\sum_{i=0}^{p-1}X_iA_i=\sum_{i=0}^{p-1}Z_i$$ 所以 row-parallel 前向需要 reduce 或 all-reduce，反向则能从复制的 $dY$ 本地得到 $dX_i=dYA_i^\top$。Megatron 把 MLP 的第一层做 column parallel，激活函数逐元素地作用在本地 shard；第二层做 row parallel，最后只求和一次。attention 的 QKV 投影与输出投影也能形成类似配对。 这种设计的精髓不是“每个 Linear 都随便切”，而是让相邻层的分片布局衔接，从而避免在每个算子后都 all-gather。若一个自定义层偷偷需要完整 hidden，通信会突然增加。 3.3 TP 的通信账本 设传输张量有 $N$ 个元素、每元素 $b$ 字节，ring all-reduce 在理想带宽模型中每 rank 通信： $$V_{\mathrm{AR}}=2\frac{p-1}{p}Nb$$ $p$ 是 TP 组大小。Megatron 风格的一个 Transformer 层在前向与反向关键边界各发生集合通信；真实实现可用 reduce-scatter、all-gather 与 sequence parallel 改写，但总成本仍与 token 数、hidden size 和 TP 频率有关。TP 每层同步，所以延迟不能忽略：小矩阵、多层和大 TP 度会让消息切得太碎，算力利用率反而下降。 TP 对参数显存理想降为 $1/p$，但并非所有东西都跟着切。LayerNorm 参数很小，可能复制；embedding 与 LM head 有词表切分规则；激活是否分片取决于 sequence-parallel 配置；通信临时 buffer 还会增加峰值。因此应从真实 module state 和 profiler 测量，不可把全显存直接除以 TP 度。 3.4 PP 气泡从哪里来 设有 $p$ 个等耗时 stage，global batch 切成 $m$ 个 microbatch，每个 stage 处理一个 microbatch 的单向计算耗时为一格。第一个 microbatch 需要 $p$ 格到达尾部，之后每格完成一个。完成一个 forward sweep 共： $$T_{\mathrm{sweep}}=m+p-1$$ 其中每个 stage 真正工作 $m$ 格，所以理想效率与气泡比例： $$\eta_{\mathrm{pipe}}=\frac{m}{m+p-1},\qquad f_{\mathrm{bubble}}=\frac{p-1}{m+p-1}$$ 当 $p=4,m=8$，效率 $8/11=72.73\%$。要到 90% 以上，需要 $m\ge9(p-1)$。这也解释了为什么 stage 很多却只有几个 microbatch 时 PP 很差。 公式假设各段等耗时、通信完全隐藏、无数据依赖停顿。真实训练的气泡还包括 stage 不均衡、点对点传输、参数同步、数据加载与尾 batch。最后一段若有巨大词表投影，前面切得再平均也会被它卡住。 3.5 GPipe、1F1B 与交错调度 GPipe 先把所有 microbatch 前向跑完，再统一反向，调度简单但要保存更多未反向的激活。1F1B 在 warmup 后交替执行一次 forward 和一次 backward，使稳态内存更接近少量 microbatch；同步更新语义仍要求一个 global batch 的梯度累积完再 step。 交错 1F1B 让每个物理设备承载多个 virtual stage，把一个大气泡拆细。它可改善负载与气泡，却增加更多通信边界、依赖和调度复杂度。Pipeline 并行的优化对象不只是公式里的 bubble，还包括峰值激活、通信重叠和 kernel 连续性。 均衡同步流水线的理想利用率，按 m/(m+p−1) 计算。增加 microbatch 能摊薄填充与排空气泡；图中不含通信、stage 失衡与小 GEMM 效率变化。 04. 代码实现 tp_linear_sim.py 只用标准库，构造 $X:[2,4]$、$W_1:[4,6]$、$W_2:[6,3]$。先完整计算，再把第一层按列、第二层按行切到两个虚拟 rank： X shape=(2, 4), W1 shape=(4, 6), W2 shape=(6, 3), tp=2 column shards: W1=(4, 3) each, hidden=(2, 3) each row shards: W2=(3, 3) each, partial output=(2, 3) each full output=[[52, 42, 72], [132, 114, 180]] max hidden diff=0, max output diff=0 输出差为 0，验证“按列拼接、按行求和”与完整矩阵乘严格等价。真实浮点并行的归约顺序不同，通常会出现末位误差，不能要求 bitwise 一致，而应设置与 dtype 相称的容差。 pipeline_bubble.py 默认模拟 4 段、8 个 microbatch： stages=4, microbatches=8, ideal_slots_per_sweep=11 pipeline_efficiency=72.73%, bubble_fraction=27.27% forward schedule (slot -> active stage:microbatch) 00: S0:M0 01: S0:M1 S1:M0 02: S0:M2 S1:M1 S2:M0 03: S0:M3 S1:M2 S2:M1 S3:M0 04: S0:M4 S1:M3 S2:M2 S3:M1 05: S0:M5 S1:M4 S2:M3 S3:M2 06: S0:M6 S1:M5 S2:M4 S3:M3 07: S0:M7 S1:M6 S2:M5 S3:M4 08: S1:M7 S2:M6 S3:M5 09: S2:M7 S3:M6 10: S3:M7 最前面三格在填充，最后三格在排空，中间四个 stage 才全部忙碌。用参数改变 stages 与 microbatches，就能看到增加 microbatch 如何摊薄固定气泡。 05. 工业级实现对照 以 2026-09 为准，NVIDIA Megatron-LM 的 tensor_parallel/layers.py 仍提供 ColumnParallelLinear 与 RowParallelLinear。工业实现除切权重外，还管理参数初始化、bias、是否 gather 输出、异步梯度 all-reduce、梯度累积融合、sequence parallel、专家并行组和通信 buffer。最小脚本只证明线性代数，没有模拟 autograd 与 NCCL。 ColumnParallelLinear 的 gather_output 决定输出是否立刻汇总；RowParallelLinear 的 input_is_parallel 表示输入是否已经按最后一维切好。错误组合往往不是数值报错，而是多做一次 gather 或得到错位 shard。审计并行模型时，应给每个边界标清 global shape、local shape、分片轴、复制轴和预期 collective。 PP 代码位于 Megatron Core 的 pipeline_parallel 调度模块。配置中的 pipeline_model_parallel_size 切物理 stage，virtual_pipeline_model_parallel_size 启用交错。系统必须传递前向激活和反向梯度，处理 tied embedding、首尾 stage 特殊 loss、不同张量 shape、激活释放与通信重叠。 Megatron 2021 展示了 TP、PP 与 DP 的组合，并提出交错流水调度。工程上的常见布局是：同一节点内组成 TP 组，邻接节点组成 PP 链，跨副本组成 DP 组。原因是 TP 每层通信而 PP 只在 stage 边界传输；把频繁 collective 放在更快互联上更划算。 生产配置还要做 layer partition。按层数平均只在每层耗时相同才合理；MoE 层、cross-attention、视觉模块、embedding 与词表 head 的成本差异很大。应先 profile 单层前后向时间和激活尺寸，再按时间而不是按层数切 stage。 06. 代价与边界 TP 的主要代价是高频 collective。TP 度增加后，每卡 GEMM 变小，计算效率下降，通信延迟占比上升；跨节点 TP 尤其敏感。维度还必须能合理整除：attention head、KV head、MLP intermediate size、词表分片与低精度 tile 对齐都会形成约束。 PP 的主要代价是气泡、激活驻留与调度复杂度。microbatch 增多能降气泡，却让每次 GEMM 的 batch 更小，可能降低算力利用率；还会增加调度次数。梯度累积数也受 global batch、DP 度与 microbatch size 约束： $$B_{\mathrm{global}}=B_{\mathrm{micro}}\,m\,d_p$$ 为了把 $m$ 调大而偷偷改变 global batch，会连学习率与收敛语义一起改变。更稳妥的做法是减小 microbatch size、保持 global batch，再检查小 GEMM 是否仍高效。 PP stage 之间有顺序依赖，单个慢 stage 会拖住全链。设备故障、动态 shape、条件分支和 MoE 路由也比普通 DP 难处理。推理时 batch 与请求长度动态变化，训练得到的均衡切分未必仍均衡。 TP 与 ZeRO/FSDP 并非天然可任意叠加。两者可能切同一参数的不同轴，process group、参数初始化、checkpoint layout 和 optimizer state 都需协调。首先建立二维或三维 rank 映射，再启用框架明确支持的组合，避免自行套两层 wrapper。 什么时候不该用？模型单卡能放下且吞吐受数据不足或 CPU 限制时，TP/PP 只会增加同步；单层很小而层很多时，优先 PP 或 FSDP；单层巨大而层数不多时，TP 更直接；超长序列导致激活爆炸时，还要引入下一篇的序列/上下文并行。 6.1 从模型形状反推 TP 度 假设 decoder hidden size 为 $d$，MLP expansion 为 $4d$，attention head 数为 $H$，每头维度为 $d_h=d/H$。采用 $t_p$ 路 TP 时，至少希望 $H/t_p$ 与 $4d/t_p$ 为整数，且本地矩阵维度满足 Tensor Core tile 对齐。GQA 还要检查 KV head 数 $H_{KV}$；若 Q head 可整除而 KV head 不可整除，框架可能复制 K/V 或根本拒绝配置。 参数容量只是下界。以 MLP 两个权重为例，忽略 bias： $$P_{\mathrm{MLP}}=d(4d)+(4d)d=8d^2$$ 理想 TP 后每卡为 $8d^2/t_p$ 个参数。然而输入 $X$、残差、LayerNorm 与某些输出仍可能复制。是否启用 sequence parallel，会决定 $[B,L,d]$ 激活是每 TP rank 一份还是沿 token 切开。评估 TP 度时要分别列参数、可分片激活、复制激活和通信 buffer，不能只用总显存除 $t_p$。 性能上，本地 GEMM 的算术强度会随 $t_p$ 增大而下降。若 $d/t_p$ 太小，矩阵乘无法占满 SM，即使通信为零也会变慢。实际选型一般从“能放下的最小 TP 度”起步，再尝试少数相邻值；不是卡越多 TP 越大。 6.2 三维 rank 映射为什么决定速度 有 2 个节点、每节点 8 卡，总计 16 卡。假设 TP=8、PP=2、DP=1，合理映射是每个节点内部构成一个 TP 组，两个节点作为相邻 PP stage。这样每层 TP collective 走 NVLink/NVSwitch，只有 stage 边界激活跨节点。 若 rank 编号错误，使每个 TP 组横跨两节点，那么每个 Transformer 层的 all-reduce 都经过网络；PP 反而在节点内。数学结果完全正确，吞吐却可能大幅下降。这类问题从配置数字看不出来，必须导出每个 process group 的物理 GPU、主机名、PCIe/NVLink 路径和 NIC 亲和性。 当 DP>1 时，DP 组应从相同 TP/PP 坐标上取不同副本。例如把 rank 写成坐标 $(r_d,r_p,r_t)$，模型同一 shard 的梯度只在 $r_d$ 维同步；层内 tensor collective 只改变 $r_t$；pipeline 点对点只沿 $r_p$ 邻接。把坐标语义明确下来，checkpoint 分片和故障定位才不会依赖偶然 rank 编号。 多 NIC 节点还要关注通信并发。TP all-reduce、PP send/recv、DP reduce-scatter 可能同时争同一链路。单独 benchmark 每个 collective 很快，不代表组合后仍快；应在真实 schedule 上看每条 stream 和 NIC 的时间线。 6.3 Pipeline 内存不是简单除以段数 PP 将参数按层分段，参数内存近似降为 $1/p_p$，但激活取决于 schedule。GPipe 前向完所有 $m$ 个 microbatch 才反向，每 stage 可能保留 $O(m)$ 份边界与层内激活。1F1B warmup 后尽早反向，可显著减少同时存活的 microbatch 数；不同 stage 的 warmup 长度又不同，峰值不完全一致。 activation checkpoint 将层内保存换成反向重算，但 stage 边界张量通常仍要保留或重新通信。若 PP 与 ZeRO-3 叠加，重算还可能再次触发参数 all-gather；如果 prefetch 与 release 时机不匹配，理论显存节省会被临时完整参数覆盖。 一个更实用的峰值模型是： $$M_s=M_{\mathrm{params},s}+n_{\mathrm{live},s}M_{\mathrm{act/micro},s}+M_{\mathrm{comm},s}+M_{\mathrm{workspace},s}$$ $s$ 是 stage，$n_{\mathrm{live},s}$ 是该调度下同时存活的 microbatch 数。选切分点的目标应是最小化 $\max_s M_s$ 并平衡每段时间，而不是让每段层数相同。首段 embedding、尾段 vocab projection 和 loss 往往需要单独计量。 6.4 Schedule 的一致性与权重版本 同步 GPipe 或 1F1B 中，一个 global batch 的所有 microbatch 应使用同一版参数，梯度累积后再统一 optimizer step。因此它与非流水同步训练在数学上等价，只改变操作顺序。随机 dropout 若要严格比较，还需保证不同 schedule 消耗一致的随机数流。 异步 pipeline 为减少 flush 可能允许某些 microbatch 使用旧权重，产生 weight staleness。PipeDream 的权重暂存与调度就是为管理这个问题。吞吐更高不等于优化轨迹相同；对需要可复现或大规模预训练的任务，同步 schedule 通常更容易验收。 梯度累积的 loss normalization 也常出错。若每个 microbatch loss 已取 mean，再把 $m$ 份梯度直接相加，最终梯度比全局 mean 大 $m$ 倍；框架可能在 loss、backward 或 optimizer wrapper 某处除 $m$。迁移实现时必须确认缩放发生在哪里，特别是最后一个不完整 microbatch。 6.5 如何系统调优而不是枚举所有组合 第一步做容量约束：根据参数、优化器、激活和临时 buffer，排除会 OOM 的 TP/PP。第二步做整除约束：检查层数、head、KV head、MLP width、词表与 microbatch。第三步按拓扑放组：TP 留在最快域，PP 穿过节点，DP 使用余下副本。第四步才短跑候选方案。 短跑至少记录每个 stage 的 forward/backward 时间、TP collective、PP send/recv、DP collective、bubble、MFU 和峰值显存。若 stage 时间方差大，先重切层；若 collective 裸露，检查异步与 bucket；若 GEMM 利用率低，减少 TP 或增大 microbatch；若 bubble 大，增加 microbatch 或 virtual stage。 还要避免只优化稳态。训练中 checkpoint、评估、数据切换、动态 loss scale 与长短样本混合会改变节拍。视频模型的序列长度可能随分辨率和帧数变化，固定层切分在不同 batch 上会失衡。可以按长度分桶、限制每批 token 数，或使用能处理动态 shape 的 schedule，但都要重新验证 global batch 语义。 6.6 Checkpoint 与并行度变更 TP checkpoint 的一个权重可能沿行或列分片，PP checkpoint 又只在拥有该层的 stage 上出现。保存时应记录全局 shape、分片轴、offset、replica group 与 tied-weight 关系。仅按 rank 存文件却没有布局元数据，会显著增加从 TP=8 改成 TP=4 的恢复难度；若完整掌握原切分约定仍可转换，但必须验证。 成熟 distributed checkpoint 会把逻辑参数名与物理 shard 解耦，加载时重新规划切片。验证转换不能只看“文件读完”，应抽样 all-gather 后与原始全参数比较，并跑一个确定性 forward。optimizer state 也必须按相同参数布局重分片，特别是 Adam 的 m、v 与 FP32 主权重。 PP 的 tied embedding 是典型边界：输入 embedding 在首段，输出投影在尾段，但两者可能共享参数。系统要么在两个 stage 间同步梯度，要么采用明确的复制与更新协议。忽略它会让模型能跑、loss 也下降，却不再是原架构。 最后为每个组合保留机器可读配置：world size、各轴度数、rank 坐标映射、global/micro batch、累积数、schedule、virtual stage、precision 与 checkpoint schema。没有这份清单，性能回归时很难判断是代码变化还是并行布局变化。 6.7 一个具体的 64 卡选型例子 假设 8 个节点、每节点 8 卡，模型单层在 4 卡上能放下，96 层在单节点放不下，目标 global batch 又允许 4 个数据副本。可先试 TP=4、PP=4、DP=4，乘积正好 64。每个节点容纳两个 TP 组，相邻两个节点组成一条四段 pipeline；相同 TP/PP 坐标跨四个副本形成 DP 组。 为什么不直接 TP=8、PP=2、DP=4？它减少 PP 气泡，但本地 GEMM 变小、每层 collective 参与卡数翻倍。为什么不 TP=2、PP=8、DP=4？单层可能放不下，而且 PP 段更多，要求更多 microbatch 才能摊薄气泡。三个方案都满足乘积约束，只有容量、profile 和拓扑能决定赢家。 设 PP=4、microbatch 数 $m=16$，理想气泡为 $3/19=15.79\%$；若为配合 DP=4，global batch 满足 $B_{\mathrm{global}}=B_{\mathrm{micro}}\times16\times4$。当目标 global batch 固定时，microbatch size 可能被压得太小。此时交错 PP 可在不继续增加 $m$ 的情况下缩小气泡，但要多传 stage 边界。 选定后再检查每卡峰值。若尾段词表 head 使 stage 3 明显更慢，可把少量 Transformer 层从尾段移到前段；若 stage 0 embedding 占显存而计算很少，切分目标应同时满足容量与时间，而不是追求参数量绝对相等。 6.8 故障现象与定位路径 若所有 GPU 利用率呈周期性锯齿且空白集中在迭代首尾，优先看 PP bubble；若每层 GEMM 后都有长 NCCL 条带，优先看 TP 通信或 rank 跨节点；若只有某一个 stage 长期满载、其他 stage 等待，是层切分失衡；若迭代末尾集中等待，是 DP 梯度同步没有充分 overlap。 出现 hang 时，先核对各 rank collective 调用序列。条件分支导致某些 rank 少调用一次 all-reduce，或 PP 两端 send/recv shape 不一致，都会永久等待。为通信操作记录 group、sequence number、peer、shape 与 dtype，比只看 Python stack 更有用。设置超时只能让错误更快暴露，不能修复顺序。 数值不一致时，从一个微型模型开始，关闭 dropout 和 fused kernel，分别测试 TP、PP，再测试组合。TP 常见错误是切分轴、bias 重复相加、输出误 gather；PP 常见错误是 loss 缩放、跨段激活 requires-grad、共享参数同步。一次只启用一根并行轴，能把搜索空间从三维降为一维。 OOM 若只发生在第一步，往往是 optimizer state 首次建立或通信 bucket 惰性分配；若在若干步后发生，可能是 graph retention、动态 shape 缓存或碎片；若只在某个 PP stage，先看该段真实 activation 与临时 buffer。不要看到 OOM 就统一减 microbatch，这可能掩盖泄漏却降低所有卡效率。 6.9 上线验收清单 发布配置前确认：世界规模等于各并行轴乘积；每个 rank 坐标唯一；TP group 位于预期高速域；head、KV head、MLP 与词表可整除；各 stage 时间和峰值接近；global batch 算术正确；loss normalization 不依赖 microbatch 数；tied weight 有同步协议；checkpoint 能跨目标并行度恢复。 性能门禁同时保存 tokens/s、MFU、bubble、每类 collective 的裸露时间、峰值显存和最慢 stage。只保存总迭代时间无法解释回归。集群拓扑或通信库升级后，即使模型代码未变，也要重跑基准，因为并行策略本质上是对物理系统的映射。 最后预留降级方案：某节点高速链路异常时能否减少 TP、增加 PP；某个 checkpoint 是否可重分片；global batch 是否仍保持；恢复后数值是否连续。真正稳健的并行配置，不只是峰值最快，也要能在硬件变化和断点恢复时保持语义清楚。 6.10 理论通信量为什么不等于训练时间 同样传 1 GiB，一个大 all-reduce 与数百个小 collective 的耗时不同。常用模型 $T=\alpha n+\beta V$ 中，$n$ 是消息次数，$V$ 是字节量，$\alpha$ 表示每次启动延迟，$\beta$ 表示每字节时间。TP 在每层频繁通信，尤其受 $\alpha$ 影响；PP 消息次数少，但单次边界激活可能很大。 通信是否裸露还取决于依赖。梯度 all-reduce 可与更早层 backward 重叠，PP send 可与下一份本地计算重叠；位于关键路径上的 collective 即使字节少也会直接延长 step。性能报告应区分总 NCCL 时间与 exposed communication time。 bucket 太小会增加消息次数，太大又推迟通信启动，减少 overlap。最优 bucket 与层大小、网络延迟和反向节奏有关。框架默认值是通用折中，不一定适合视频 DiT 的大激活或 MoE 的不均匀参数。 最后还要观察尾延迟。一个 rank 因热降频、ECC、数据抖动或网络拥塞变慢，collective 会让整个组等待。平均 GPU 时间看似健康，最慢 rank 才决定训练。按 rank 记录分位数，并把异常节点与拓扑关联，是大规模并行调优的基本动作。 理论模型最终要由 trace 校准。为每次实验保存并行配置、网络拓扑、逐 stage 时间线与通信矩阵，下一次才能定位回归。若只留一行 tokens/s，既无法判断瓶颈是 GEMM、气泡还是慢 rank，也无法安全迁移到另一代 GPU。并行策略不是模型的附属启动参数，而是计算图和硬件共同组成的一部分，理应像模型结构一样接受版本管理和回归测试。 07. 经典论文脉络 GPipe（arXiv:1811.06965）：用 microbatch 流水化跨加速器的模型分段，并以同步 mini-batch 语义训练巨型网络。 PipeDream（arXiv:1806.03377）：探索 1F1B 与异步流水，揭示吞吐、权重版本和一致性之间的权衡。 Megatron-LM（arXiv:1909.08053）：提出 Transformer 内高效的 tensor model parallel 切法，用少量 collective 支撑数十亿参数。 Efficient Large-Scale Language Model Training（arXiv:2104.04473）：系统组合 TP、PP、DP，并以交错流水减少气泡，扩展到千卡与万亿参数。 论文演进说明：单一并行轴只能解决一种容量瓶颈，规模继续增长后，真正的问题变成如何把多个轴映射到硬件拓扑并共同调度。 08. 常见误解 误解一：TP 就是把每层平均切开。 切分轴决定通信。Megatron 的 column-row 配对是为了让中间分片直接衔接，不是机械地切一半权重。 误解二：PP 段数越多，显存越省且速度越快。 参数容量会下降，但固定气泡随 $p-1$ 增长；若 microbatch 不够，更多 stage 反而更闲。 误解三：microbatch 越多越好。 它降低理想气泡，却减小 GEMM、增加调度，并可能扩大激活队列。要联动测 MFU 与显存。 误解四：1F1B 是异步优化。 常用同步 1F1B 只是改变前后向顺序，仍在一个 global batch 梯度完成后统一更新；PipeDream 式异步才涉及权重陈旧。 误解五：TP 能把所有显存除以 TP 度。 小参数、复制激活、通信 buffer 与 runtime 不会理想均分。必须看逐项账本。 误解六：三维并行度乘起来等于卡数就配置正确。 整除只是必要条件。拓扑、矩阵 tile、head 数、stage 均衡、global batch 都可能让配置不可用。 09. 动手验证 先运行 tp_linear_sim.py，把 TP 从 2 改成能整除维度的 3，重新切 $W_1$ 的输出与 $W_2$ 的输入。预期完整输出仍一致。然后故意让第二层 shard 顺序交换，结果会静默错误；这说明 distributed tensor layout 必须携带明确语义。 运行 pipeline_bubble.py，固定 stages=8，分别取 microbatches=1、8、32、72。理论效率依次为 $1/8$、$8/15$、$32/39$、$72/79$。脚本当前只实现均衡 stage 的闭式公式；扩展成事件调度模拟后，再给每个 stage 设置不同时间，以最慢 stage 为节拍比较，观察均分层数为何不等于均分时间。 在真实集群做 TP=1/2/4/8 对照，固定 global batch 和模型，记录每层 GEMM 时间、collective 时间、MFU、峰值显存。预期早期 TP 能解除容量或提高总吞吐，超过某点后小 GEMM 和通信使收益反转。用拓扑工具确认 TP rank 是否真的落在 NVLink 域内。 对 PP 做相同实验：固定 PP 度，逐步增加 microbatch 数；再固定 microbatch，增加 virtual stage。记录 bubble、激活峰值与端到端 tokens/s。不要只看 framework 打印的理论 bubble，GPU timeline 中的空白才是真实气泡。 最后做一次等价性验收：单卡、TP、PP、TP+PP 使用相同初始化和样本，关闭 dropout，比较一个 step 的 loss 和若干参数梯度。低精度与归约顺序会造成小差异，但若误差随层爆炸，优先检查 shard 顺序、bias、loss 归一化与 tied weight。 10. 延伸阅读 读完这篇可以继续看： 数据并行与 ZeRO 显存切分：DP 沿 batch 复制计算、ZeRO 沿 DP 组切状态，是三维并行的第一根轴（已发布）。 序列并行与 Ring Attention：当瓶颈从模型宽度转向超长 token，沿 sequence 切激活与 attention（本文系列下一篇）。 混合精度与数值稳定性：低精度改变 TP/PP 通信字节与归约误差，配置并行前要先明确累加精度（本文系列上一篇）。 选型时先问容量瓶颈在哪里：单层太宽选 TP，层总数太深选 PP，副本吞吐选 DP，超长激活选 SP。随后才是把这些轴映射到实际互联。公式给出上限，profile 决定最终配置。 附录：完整代码 09 节用到的脚本全文如下（tp_linear_sim.py、pipeline_bubble.py、make_figures.py）。复制到本地存成同名文件，按各脚本开头的依赖说明准备环境后即可运行。 tp_linear_sim.py #!/usr/bin/env python3 """Verify column- and row-parallel linear algebra without any framework.""" def matmul(a, b): return [[sum(x * y for x, y in zip(row, col)) for col in zip(*b)] for row in a] def split_columns(a, parts): width = len(a[0]) // parts return [[row[i * width:(i + 1) * width] for row in a] for i in range(parts)] def split_rows(a, parts): height = len(a) // parts return [a[i * height:(i + 1) * height] for i in range(parts)] def add(a, b): return [[x + y for x, y in zip(ra, rb)] for ra, rb in zip(a, b)] x = [[1, 2, 3, 4], [5, 6, 7, 8]] # [tokens=2, hidden=4] w1 = [[1, 0, 2, 0, 3, 0], [0, 1, 0, 2, 0, 3], [1, 1, 1, 1, 1, 1], [2, 1, 0, 1, 2, 1]] # [4, 6] w2 = [[1, 0, 1], [0, 1, 1], [1, 1, 0], [2, 0, 1], [0, 2, 1], [1, 0, 2]] # [6, 3] full_hidden = matmul(x, w1) full_output = matmul(full_hidden, w2) # Column parallel W1: every rank computes a slice of output features. w1_shards = split_columns(w1, 2) hidden_shards = [matmul(x, shard) for shard in w1_shards] column_joined = [left + right for left, right in zip(*hidden_shards)] # Row parallel W2: input features and W2 rows use matching shards, then sum. w2_shards = split_rows(w2, 2) partials = [matmul(h, w) for h, w in zip(hidden_shards, w2_shards)] row_reduced = add(partials[0], partials[1]) max_hidden_diff = max(abs(a - b) for ra, rb in zip(full_hidden, column_joined) for a, b in zip(ra, rb)) max_output_diff = max(abs(a - b) for ra, rb in zip(full_output, row_reduced) for a, b in zip(ra, rb)) print("X shape=(2, 4), W1 shape=(4, 6), W2 shape=(6, 3), tp=2") print("column shards: W1=(4, 3) each, hidden=(2, 3) each") print("row shards: W2=(3, 3) each, partial output=(2, 3) each") print(f"full output={full_output}") print(f"max hidden diff={max_hidden_diff}, max output diff={max_output_diff}") pipeline_bubble.py #!/usr/bin/env python3 """Idealized GPipe bubble calculator; stdlib only.""" import argparse parser = argparse.ArgumentParser() parser.add_argument("--stages", type=int, default=4) parser.add_argument("--microbatches", type=int, default=8) args = parser.parse_args() if args.stages < 1 or args.microbatches < 1: parser.error("stages and microbatches must be positive") p, m = args.stages, args.microbatches slots = m + p - 1 efficiency = m / slots print(f"stages={p}, microbatches={m}, ideal_slots_per_sweep={slots}") print(f"pipeline_efficiency={efficiency:.2%}, bubble_fraction={1-efficiency:.2%}") print("forward schedule (slot -> active stage:microbatch)") for t in range(slots): active = [f"S{s}:M{t-s}" for s in range(p) if 0 <= t - s < m] print(f"{t:02d}: " + " ".join(active)) make_figures.py """Regenerate this article's deterministic teaching figure (numpy + matplotlib).""" from pathlib import Path import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt import numpy as np OUT=Path(__file__).resolve().parents[1]/"figures" OUT.mkdir(exist_ok=True) plt.rcParams.update({"font.sans-serif":["PingFang SC","Arial Unicode MS","DejaVu Sans"],"axes.unicode_minus":False}) m=np.arange(1,129) fig,ax=plt.subplots(figsize=(8,4.8)) for p in [2,4,8,16]:ax.plot(m,m/(m+p-1),label=f"{p} stages") ax.set(xlabel="Microbatches per global batch",ylabel="Ideal utilization",ylim=(0,1.02),title="Balanced synchronous pipeline: m / (m + p - 1)") ax.legend();ax.grid(alpha=.25);fig.tight_layout() fig.savefig(OUT/'pipeline_utilization.png',dpi=170) plt.close(fig) print(OUT/'pipeline_utilization.png') 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-02|阿里7B原生音视频生成硬刚33B大模型-DreamX 今日 AIGC 论文速览 今日共 10 篇 · 原生音视频联合生成与 2K 高清化 1 篇 · 交互式世界模型的记忆与几何一致性 2 篇 · 推理期物理与质量增强，不改权重 3 篇 · 扩散推理加速：token 压缩与区域复用 2 篇 · 像素空间生成范式与端到端隐空间 2 篇 · 工业级细节保真与 RL 后训练 1 篇 重点论文标题列表 DreamX-Creator（阿里巴巴 DreamX Team）：7B原生音视频联合生成打到2K Matrix-Game 3.5（昆仑万维 Skywork）：把世界记忆细到patch级3D云 OMR（越南 Fulbright 大学 + 加州大学洛杉矶分校（BMVC 2026））：用冻结V-JEPA梯度纠物理违背 ShellGame（首尔国立大学 + Roblox）：视频世界模型追不住隐藏状态 GEARS（北京大学 + 阿里巴巴（ACM TOG / SIGGRAPH Asia 2026））：把丢掉的候选诊断修复再利用 今日论文速览 1. DreamX-Creator：7B原生音视频联合生成打到2K DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution | 阿里巴巴 DreamX Team | arXiv:2608.31106 关键词：原生音视频联合生成,门控跨模态注意力(Gated Cross-Modal Attention),2K自回归精修,音视频强化学习,阿里巴巴,DreamX-Creator 前序问题：现在的视频生成器对声音的处理基本是两种姿势：要么干脆不生成音频，要么先把视频做完、再拿另一个模型去配音。这两条路都切断了视觉动态与声学事件之间的互相建模——画面里杯子落地的那一帧和「啪」这一声本该是同一个物理事件的两个投影，级联管线却只能让后者去追前者，声音沦为画面的附属品，而不能反过来约束画面。真正的原生联合生成又有另一重现实障碍：可用的开源方案要么规模很大（33B 量级），要么不开放权重，导致这个方向的研究门槛被模型尺寸和可得性顶住了。于是问题变成一个很具体的工程判断：能不能在 7B 这种「一张卡装得下」的尺度上，把音频与视频真正放在同一个去噪过程里联合建模，同时还要覆盖 2K 这种实用分辨率？难点在于两个模态的表示、时间尺度和信息密度差异都很大，一上来就全程共享参数容易互相拖累，而完全独立又回到了级联的老问题。 本文贡献：DreamX-Creator 1.0 的核心判断是：耦合不必从第一层开始，但必须细到 token 与 head。它以一个 7B 生成器为中心，条件是首帧加文本提示，然后让模态专用的音频流与视频流联合去噪——网络前一半两条流完全独立处理（此处没有跨模态残差），后一半才通过 Gated Cross-Modal Attention 双向耦合：A2V 与 V2A 两个方向各有一路门控交叉注意力，门作用在每个激活的跨模态注意力头的输出上，且是 token 级与 head 级的，等于让模型自己学「这一帧、这个头到底要不要听对面模态」，两条流之间还共享文本编码器与时间坐标系。数据侧配了统一的 Audio-Video Data System，负责构造并过滤时间上连贯的片段、产出结构化多模态标注，并把片段按能力维度组织成数据池。训练走渐进式联合训练：两个音视频预训练阶段之后接高质量微调。再往后是 Audio-Video Reinforcement Learning，用 Modality-Aware Multimodal Feedback 把视频侧、音频侧和跨模态的反馈分别路由回对应的流。高分辨率不靠原生 2K 训练，而是一条自回归 1 步 2K 精修管线。 auto 实验效果：论文用盲测的双人对比给出了最有说服力的结果：面对参数量远大于自己的开源与闭源系统，7B 的 DreamX-Creator 在视频质量上对 Wan2.7 拿到 45.5% 胜 / 13.1% 平 / 41.3% 负，对 KLing v3 是 48.8% 胜 / 10.6% 平 / 40.7% 负，对 33B 的 MiniMax-H3 是 39.5% 胜 / 18.7% 平 / 41.8% 负——也就是说在纯视觉观感上它已经和这些系统在同一量级上互有胜负。但短板同样被论文自己摆了出来：音频质量对 MiniMax-H3 只有 23.7% 胜而 45.5% 负，对 Wan2.7 是 29.3% 胜 / 43.4% 负；文本-视频对齐（TV-Align）对 MiniMax-H3 仅 15.2% 胜、53.0% 平、31.7% 负。相对 LTX-2.3 与 MiniMax-H3 的自动指标里，它在部分维度落后但在 PQ（6.7169 vs 6.4094）与 IB（0.3081 vs 0.2677）上占优。 auto 批判点评：这篇最扎实的贡献是把「原生联合」从一个规模问题重新框成了架构问题：前一半独立、后一半门控耦合，本质上承认了音频和视频在低层特征上没什么可共享的，真正需要交互的是语义与事件层面，而 token 级 + head 级门控又把「什么时候交互」交给数据决定而不是人手设计。这个设计让 7B 有机会在视觉质量上和 33B 掰手腕，是有说服力的。1 步 2K 精修的分工也务实——把分辨率从训练成本里剥离出去。但要注意几个真实的边界。第一，音频侧的差距不是小瑕疵而是结构性的：对 MiniMax-H3 的音频质量只有 23.7% 胜率，几乎是一半场次输掉，这说明「让音频流分走一半参数」在 7B 尺度上给音频留的容量确实不够，门控耦合能改善同步但补不了音质本身。第二，TV-Align 上 53% 的高平局率值得警惕，这往往意味着评测者难以分辨差异，此时胜率的含义会被稀释，用它论证提示遵循能力偏弱说服力有限。第三，2K 是精修出来的而不是生成出来的，那么 2K 尺度上的细节是模型「知道」的还是精修器「补」的，论文没有拆开——如果是后者，2K 的语义正确性并没有得到额外保证。第四，机构与贡献者名单在源码里写着「将随公开版本最终确定」，也就是说这仍是一份技术报告状态的工作，权重是否真开放、开放到什么程度，决定了标题里 Democratizing 这个词能兑现多少。 2. Matrix-Game 3.5：把世界记忆细到patch级3D云 Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory | 昆仑万维 Skywork | arXiv:2608.29910 关键词：交互式世界模型,patch memory,tiled PRoPE,静态动态解耦,渐进式长程蒸馏,单卡720p实时20FPS,昆仑万维 前序问题：交互式世界模型要做的事情比视频生成难一个量级：它必须以闭环自回归的方式生成未来观测，同时响应相机运动、用户动作和高层提示。麻烦在于自回归会把自己的预测当成后续的上下文，视觉与几何误差因此持续累积，场景逐渐漂移、身份不再一致、可控性退化。有限的上下文窗口又意味着模型无法直接访问远处的观测，所以「回到之前去过的地方」这件事越往后越难；大幅视角变化时，模型不仅要检索到相关的历史信息，还得判断这些信息在当前相机下的正确几何对应位置。更棘手的是持久性与演化的张力：静态环境应当长期保持不变，动态实体却要随用户交互和提示而变化——一刀切地「全部记住」或「全部重新生成」都不对。既有方案的分歧其实在于历史观测以什么单位存储：压缩成 latent token 或 transformer memory 的路线高效但只是隐式表示；按整帧存储再用相机几何检索（Context as Memory、WorldMem、Matrix-Game 3.0）能靠显式空间线索改善场景重访，但一帧是不可分割的记忆单元，只能整体取出、且只能从它原本的视角取出；显式重建成点云或 splat 则几何约束强但难以合成未观测或新出现的内容。 本文贡献：Matrix-Game 3.5 的核心想法是把历史观测组织成显式的、几何感知的持久记忆，粒度落在图像 patch 而不是整帧或压缩 latent。统一的几何感知记忆框架由两部分组成，且 patch-memory 与 tiled-PRoPE 都不引入任何额外可学习参数：patch memory 把历史图像 patch 用度量深度加相机内外参反投影到一个共同的 3D 空间形成 patch 云，目标相机视锥去查询这个云，并在目标视角下用 z-buffer 为每个 latent 位置只保留离相机最近的表面、丢弃被遮挡的候选，最后把选中的 patch 散射进一张对齐目标视角的记忆画布；tiled PRoPE 是作者对 PRoPE 的视频化改造，在检索到的记忆与目标视角注意力之间建立显式几何对应，与原生 RoPE 在同一个注意力核里协同——温和到直线行走时注意力图相对纯时序核的最大变化仅约 1.3%。动态建模上，用运动感知的物体过滤把静态场景观测与动态主体分开，静态区域融进 patch memory，动态主体用轻量的多视角参考 token 表示，配合上下文遮罩与辅助训练损失抑制鬼影和身份漂移。最后是渐进式长程蒸馏：先用教师强制的 Perceptual Flow Matching 得到高质量少步因果初始化模型，再用 self-rollout DMD 直接优化推理时的自回归过程，按课程逐步蒸馏无分类器引导、相机控制与记忆条件化生成。 auto 实验效果：训练数据来自 Unreal 仿真环境、开放世界游戏与互联网视频三类来源，论文报告模型在长程场景回忆、几何一致的相机控制、主体一致性生成、提示驱动的世界演化，以及稳定的开放世界实时交互上都取得了不错的表现，实测能力是单张 GPU 上 720p 分辨率最高 20 FPS 的实时生成。定性结果里最能说明问题的是参考 token 的消融：在其他条件完全固定、只切换有无参考 token 前缀的匹配 rollout 中，取第 300–400 帧来看，加入参考条件后相机运动下的身份与外观漂移明显减少——而且论文特别说明参考帧只取自因果可得的初始化与历史，真值帧仅作视觉比对用、从不喂给模型。tiled PRoPE 的分析图则显示它在保留时序带状结构的同时奖励位姿相似性，两种机制在一个注意力核里并存而非互相干扰。 auto 批判点评：这篇的判断力体现在选对了「记忆单元」这个变量。整帧检索的问题不在于存得少，而在于一帧是原子的——你只能把它整体搬过来，且只能沿它原来的视角看，视角一变这份记忆就半废。降到 patch 粒度之后，记忆天然变成可按可见性筛选、可按几何重排的东西，z-buffer 那一步等于把遮挡推理直接做进了检索里，这比让注意力自己去学遮挡关系要可靠得多。更值得称道的是 patch-memory 与 tiled-PRoPE 都不加可学习参数，这让它有机会作为一个通用组件接到别的骨干上，而不是又一个只能整体接受的架构。静态动态解耦也切中了实际痛点：长程 rollout 里最难看的失败恰恰是本该不动的墙在漂、本该保持身份的角色在变脸。但局限也很清楚。第一，整套机制吃深度和位姿：patch 要靠度量深度反投影、要靠相机内外参对齐，那么深度估计误差和位姿噪声会直接变成记忆里的几何错位，论文没有给出这条链路的敏感性分析——在真实互联网视频这类位姿本就不准的数据上，这个风险不小。第二，persistent 3D patch 云是会一直长的，论文强调了组件不加参数，但没说清内存与检索代价如何随交互时长增长、有没有淘汰策略，而这恰恰是「长程」的成本核心。第三，静态与动态的二分依赖运动感知过滤器，那些介于两者之间的东西（缓慢变化的光照、被推动后停下的物体）落在哪一侧并不明确，分错的代价是鬼影或不该有的持久化。第四，作为技术报告，缺少与同类记忆方案的统一定量对比，20 FPS 也只是单一配置下的数字，读者难以判断这套机制相对整帧检索的净收益到底有多大。 3. OMR：用冻结V-JEPA梯度纠物理违背 Off-Manifold Refinement: Guiding Video Generators with a Frozen World Model | 越南 Fulbright 大学 + 加州大学洛杉矶分校（BMVC 2026） | arXiv:2608.29904 关键词：推理期物理修正,V-JEPA 2.1意外度能量,单轨迹梯度注入,训练无关,Wan2.2,Physics-IQ,BMVC 2026 前序问题：现在的视频生成器在物理动力学上会犯很低级的错：物体悬在空中、轨迹违反重力、接触关系凭空消失。根子在于目标函数——标准的去噪与流匹配目标拟合的是视觉数据分布，它并不显式惩罚这类物理违背，画面只要看着像训练数据里的样子就够了。既有的补救办法都能改善物理一致性，但代价通常不小。候选选择类方法要生成多个视频再逐个打分，算力开销随候选数线性上涨；基于梯度的世界模型引导需要反复解码再重新编码中间估计，每一步都过一遍 VAE；生成器内部的精修方案要加扰动再重新去噪的循环；而后训练路线则要准备精选数据并额外做一轮优化，成本最高也最不灵活。于是留下一个很实际的缺口：能不能在完全不动模型权重、不生成多个候选、也不反复解码的前提下，把「这个片段物理上不合理」这个信号送进采样过程？ 本文贡献：作者提出 Off-Manifold Refinement（OMR），一种推理期方法，把世界模型的反馈直接注入单条采样轨迹，而不是在多条轨迹之间做选择。具体做法是在计划好的中段 ODE 步上，给生成器的速度场加上一项梯度——来自 adapter 空间里 V-JEPA 2.1 的「意外度能量」（surprise energy）。V-JEPA 有一个编码器和一个从可见上下文预测被遮挡未来嵌入的预测器，它在真实视频上训练出的这套目标提供了一个关于「合理时间延续」的学习先验：物体应当持续存在、运动应当平滑、接触关系应当成立。作者从每段 81 帧视频里取 48 帧窗口来算这个能量。这项外部修正会把 latent 推离未修正的采样轨迹，推向被冻结预测器判定为物理上更合理的区域，然后生成器从修正后的状态继续渲染。中间有一个跨表示的桥梁问题：Wan 的 latent 与 V-JEPA 的目标在同一段视频上编码的是不同目标下的表示，一个为合成保留内容与运动、一个为预测保留结构，所以作者训练了一个 adapter 做任务特定的变换，且这个 adapter 是在真实 OpenVid-1M 片段编码出的 latent 上训练、却用在生成过程中从带噪采样状态推出的临时干净预测上。 auto 实验效果：论文的定性结果最直观：同一个 Wan2.2 生成器下，基线在后空翻落地时出现腿部运动时序不一致和身体姿态的突变，而 OMR 给出了连贯的腿-身协同、垫子形变、符合重力的衣物运动和惯性驱动的下落。四组帧条对比把 Wan2.2、P&P 与 OMR 并排放在一起，强调的是时间上的因果：撞击应当与材料响应同时发生、工具应当与被它形变的物体保持耦合、身体运动应当在帧间保持支撑与动量——在第一组里 Wan2.2 在明确撞击之前就出现了破洞、P&P 有损伤但缺少同步的接触，OMR 的撞击与响应对齐得最好。定量侧作者在 Physics-IQ 上以固定 50 条提示做了 Wan2.2-I2V 的试点，比较引导、BoN-4 及两者组合三种设定；混合现象的「其他物理原理」一行从 46.6% 提升到 47.6% 的联合分数，其中 PC≥4 的比例从 56.6% 升到 58.7%。稳定性诊断显示中段轨迹的预测干净 latent 与对应的完成 latent 在 cosine/ρ/τ 上分别为 0.762/0.617/0.446 与 0.769/0.624/0.451，两行相当接近，支持了 adapter 用在 OMR 实际工作分布上的合理性。 auto 批判点评：这篇的巧劲在于找到了一个便宜的干预点。既有方案要么在多条轨迹之间选（贵在候选数），要么反复解码回像素域再编码（贵在 VAE），OMR 直接在 latent 空间借 V-JEPA 的预测误差当能量、只在中段几步加一次梯度，本质上是把「物理合理性」当成一个可微的正则项挂在采样轨迹上。选 V-JEPA 也选得对——它的训练目标天然就是「从可见推未见」，这正是物理直觉的操作化定义，比拿一个判别式打分器要更贴近因果。那个 adapter 的诊断实验也做得诚实，用中段预测 latent 与完成 latent 的相关性接近来论证分布匹配，是个恰当的稳定性检查。但要清楚它证明了什么、没证明什么。第一，定量证据很薄：Physics-IQ 上 46.6%→47.6% 是约 1 个百分点的提升，而且是 50 条提示的试点规模，作者自己也只把它当作「聚合分数没崩」的对照——把这篇当成「解决了视频物理问题」来读会过度解释，它更像一个可行性演示。第二，adapter 存在明确的分布错配：训练在真实视频 latent 上，使用在从带噪状态推出的临时干净预测上，论文用相关性接近来辩护，但相关系数 0.76 的 cosine 并不算高，在物理更极端的片段上这个 gap 可能被放大。第三，方法的上限被 V-JEPA 顶住——它能判「这看起来不像真实视频的延续」，但不能判「这违反了动量守恒」，所以对训练分布内常见的物理它有效，对罕见但严格的物理约束未必。第四，只在中段 ODE 步注入是个超参选择，注入的时机与强度如何影响画面质量与物理性的权衡，论文没有给出充分的敏感性分析。 4. ShellGame：视频世界模型追不住隐藏状态 Can Video World Models Track Unobserved World States? | 首尔国立大学 + Roblox | arXiv:2608.30692 关键词：隐藏状态追踪,视频版猜球游戏(Shell Game),S5状态追踪,线性注意力负特征值,LaCT快速权重,Transformer KV缓存局限,Roblox 前序问题：视频世界模型越来越多地被当作模拟器来用，但一个尖锐的问题被视觉保真度掩盖了：画面生成得像，并不能证明模型维护了世界的隐藏状态。世界里大量重要的东西是当前不可见的——被盖住的球、关上门后房间里的陈设、背包里的物品。如果模型只是把「看起来合理的下一帧」渲染出来，它可以在完全不知道球在哪个杯子下的情况下，依然画出一个像样的揭晓画面。这就使得现有的评测方式存在系统性盲区：几乎所有指标都在衡量渲染质量、时间一致性或提示遵循，没有一个在直接考察「不可见的状态有没有被正确携带」。作者要回答的正是这个被绕开的问题——把视觉渲染与隐藏状态的合成解耦开，单独测后者。 本文贡献：作者设计了一个动作条件化的视频版 Shell Game 作为探针，它是 $S_5$ 状态追踪问题的视觉类比：先揭晓球在哪个杯子下，然后把杯子盖上，经过一串交换动作，最后再揭晓——整个交换序列里球始终不可见，模型必须在架构内部携带并更新这个状态。他们在这个任务上系统比较了双向与自回归 Transformer、Mamba，以及转移特征值被限制在非负区间的线性注意力。诊断的关键洞察是：像素扩散目标从来没有监督过那个看不见的隐藏状态，所以生成的帧本身不可能承载它，状态只能活在架构里而不是 token 里。对 Transformer 来说，那个架构状态只是一个只增不减（append-only）的 KV 缓存，因此模型必须在每个 chunk 都从整段历史里重新推导出隐藏的排列，而不是维护它。作者进一步找到两个确实能外推的机制，共同点是都跨 chunk 携带一个状态并原地修改它：一是线性注意力——一旦允许转移特征值取负就能成功；二是 LaCT，其外推能力随快速权重头数 H 增加而提升。他们还在纯文本的 $S_3$/$S_5$ 词问题上做了对照，测量各架构解决长度 N 问题所需的最少层数与长度外推行为。 auto 实验效果：结论相当刺眼：双向和自回归 Transformer、Mamba、以及转移特征值限制在 $[0,1]$ 的线性注意力，全都只能拟合训练时的 5 次交换，交换链一长就朝随机水平掉下去，但同时仍在生成看起来合理的视频，而且增加去噪步数完全没有帮助。机制侧的量化很清楚：把转移特征值范围从 $[0,1]$ 放宽到 $[-1,1]$ 后，多个线性注意力变体（GDN、GDN2、GDP₃、KDA）的状态准确率在整条曲线上都提升，GDN2 在 N=30 时仍有约 0.8；LaCT 的外推随快速权重头数变好，H=16 在 N=30 时约 0.87、H=1/H=2 则贴在随机线上；scratchpad token 数量 M 的影响则弱得多，M 从 1 加到 1024 在 N=20 之后都掉向随机，而作为自然随机水平对照的裸 SWA1 骨干（M=0）连训练内长度 N=5 都做不到。定性 rollout 里，在训练长度两倍（N=10）的 Shell Game 上，GDN-neg 与 LaCT8 最终落在与真值相同的杯子上，而因果 DiT 与普通 GDN 没有；在纹理化 3D Block World 的局部动作条件化任务上（80 帧干净前缀 + 240 帧延续），LaCT8 能把方块和球保持在接近真值的位置，其他骨干渲染出的房间看着连贯但里面的东西已经漂走了。 auto 批判点评：这是今天最有方法论价值的一篇，因为它把一个大家隐约感觉到但说不清的问题变成了可测量的：视觉保真度和状态追踪是两件事，而现有评测只测前者。Shell Game 这个探针设计得很干净——球被盖住之后画面里再没有任何关于它的信息，模型要么在架构里带着这个状态，要么只能猜，没有中间地带；而「增加去噪步数毫无帮助」这个观察尤其致命，它排除了「算力不够」这种廉价解释，把矛头精确指向表示能力。对 Transformer 的诊断也说到了本质：append-only 的 KV 缓存不是一个可以原地更新的状态寄存器，模型每个 chunk 都得从整段历史里重新推导排列，这在长序列上必然崩。找到的两个正面机制（负特征值、快速权重）共享「跨 chunk 带状态且原地改」这一性质，这个统一解释很有力。但要注意它的适用边界。第一，这是合成探针，$S_5$ 状态追踪是一个刻意构造的、纯组合性的困难任务，真实世界的隐藏状态往往有大量视觉与常识线索可借（东西通常不会凭空移动、遮挡物有形状约束），所以「在 Shell Game 上失败」不等于「在真实场景里同样糟」，这个外推需要谨慎。第二，反过来说负面结果也可能被低估——真实场景的状态空间比 5 个杯子大得多，若连这个都做不到，实际情况恐怕更差；论文没有在两个方向上都给出校准。第三，正面机制目前只在这些探针上被验证，负特征值线性注意力和 LaCT 在真实视频生成质量上要付什么代价（画质、训练稳定性、吞吐）文中没有交代，而这恰恰决定它们能不能真的替换现有骨干。第四，作者把「状态必须活在架构里」这一点讲得很好，但没有讨论第三条路——把状态显式外置成可读写的结构（今天另一条线的做法），这在方法空间上留了一块空白。 5. GEARS：把丢掉的候选诊断修复再利用 Test-Time Scaling for Video Diffusion Models via Diagnosis-Guided Candidate Recycling | 北京大学 + 阿里巴巴（ACM TOG / SIGGRAPH Asia 2026） | arXiv:2608.29322 关键词：test-time scaling,候选回收,诊断式latent编辑,分阶段调度,Wan2.1-T2V-1.3B,SIGGRAPH Asia 2026,北京大学 前序问题：视频扩散模型的生成质量已经很高，但高保真结果在很大程度上仍依赖闭源系统或昂贵的大规模基础设施。Test-time scaling（TTS）提供了一条免训练的路子：靠推理阶段多花算力来提升轻量生成器。问题是现有方法基本都困在「噪声搜索」这一个范式里——采样、选择、扰动去噪轨迹，然后把低分候选在昂贵的生成完成之后直接丢掉。这个「生成再丢弃」的流程浪费的不只是算力，更是那些可回收样本里已经编码好的部分运动、布局或外观结构：一个候选可能整体评分低，但它的镜头构图是对的、主体运动方向是对的，只是某个局部崩了。把它整条丢掉，等于把对的部分和错的部分一起扔。于是问题变成：能不能把低分候选当成可编辑的先验，而不是垃圾？这需要回答三个子问题——此刻该修什么、什么时候修、哪些候选值得修。 本文贡献：作者提出 GEARS（Guided Editing for Adaptive Recycling Search），一个免训练框架，把诊断引导的候选回收引入视频 TTS，通过「生成-评估-编辑」的循环把候选变成可编辑先验。它沿着从纯噪声到干净 latent 的去噪轨迹插入多个「生成转编辑」检查点 $s_0, s_1, \ldots, s_k$，并明确区分高噪区间（偏重运动）与低噪区间（偏重视觉）。框架由两个协作组件构成。Stage-Aware Scheduler 决定修什么、何时修、以及哪些候选该被保留、回收或丢弃：它先确定当前阶段的关注点（高噪阶段用运动质量 MQ、低噪阶段用视觉质量 VQ 作为排序依据），再做排序与路由——语义门控在低文本对齐时直接丢弃、把「弱但有希望」的一批送去回收器、其余有效候选作为精英保留。Candidate Recycler 则负责诊断与修复：由一个 MLLM 根据当前阶段的运动/视觉关注点与关键帧，把候选的提示改写成更好的版本，再配合流形感知的 SDE 去噪把修复落地。关键的一个设计细节是：在每个检查点，候选是先被完整去噪、解码、当作干净视频来评估的，带噪 latent 从不被直接打分——这避免了在噪声态上做不可靠的质量判断。奖励模型是运动质量、视觉质量与文本对齐三项之和。 auto 实验效果：论文的机制展示很直观：一个排名靠后但语义上有效的候选，在传统「生成即选择」的 TTS 里会被丢掉，而 GEARS 先在高噪检查点修掉它的运动缺陷、再在低噪检查点增强视觉细节，修复后的候选回到最终候选池并被选为最佳视频。分阶段修复的案例里，第一阶段（高噪）候选没有充分实现要求的行走动作，回收器在保留兔子主体与奇幻场景的同时恢复了连贯的主体运动，右侧插图用共享尺度的背景补偿光流显示残余运动的大小与方向；第二阶段（低噪）则在保持结构的前提下精修外观与纹理。分布层面的证据是 VQ–MQ 空间里的联合与边缘分布对比：GEARS 把可回收候选整体推向更高的联合质量区域，而不只是把最好的那个挑出来。scaling 行为在 Wan2.1-T2V-1.3B 与 Wan2.1-VACE-1.3B 两个骨干上都做了验证。 auto 批判点评：这篇的洞察其实很朴素但少有人认真对待：TTS 的浪费不在采样，而在丢弃。既有方法从 Video-T1 的独立轨迹选优、到 DLBS 的逐步保留 K 个精英做束搜索、再到 EvoSearch 在精英附近做中段变异，路线越来越精细，但共同前提都是「低分即无用」。GEARS 把这个前提拆了——低分候选是一个有部分正确结构的初值，值得诊断而不是抛弃。两个设计决策尤其站得住：一是候选必须先完整去噪解码成干净视频再评估，绝不给带噪 latent 打分，这一条避免了整个领域常见的「用噪声态代理指标做决策」的可靠性问题；二是把高噪修运动、低噪修细节这个分工写进调度器，与扩散过程本身的信息层级对齐，而不是在所有阶段用同一个标准。用 MLLM 做诊断并改写提示，也比用一个不可解释的打分器更容易调试。但有几处需要保留判断。第一，成本核算不透明：每个检查点都要把候选完整去噪、解码、评估，再对被回收者做编辑与重新去噪，这些开销相对「直接多采几条轨迹」是否真的更划算，需要在同等算力预算下比较，而这类等价预算对照是 TTS 类工作最容易含糊的地方。第二，整条链路依赖奖励模型（MQ+VQ+TA 之和）的可靠性，而运动质量的自动评估本身是公认的难题，如果 MQ 有系统偏差，调度器的「该修什么」判断会跟着偏，且这种偏差会被回收循环放大而非抵消。第三，MLLM 改写提示引入了一个不易复现的环节——同一个候选在不同 MLLM 或不同温度下会得到不同的修复方向，论文对这部分的方差没有交代。第四，验证骨干集中在 1.3B 规模，在更大的生成器上，「候选本身已经不错、可回收空间变小」这一效应会不会吃掉大部分收益，仍是开放问题。 6. RTI：希尔伯特曲线切出内容形状token Elastic Token Compression for Pixel-Space Diffusion Transformers | 德国维尔茨堡大学 + Google | arXiv:2608.29281 关键词：像素空间扩散,弹性token压缩,希尔伯特曲线排序,区域token接口(RTI),单checkpoint多预算,GenEval,维尔茨堡大学 前序问题：自然图像把细节集中在画面很小的一部分，但扩散模型对每个 patch、在每一层、每个时间步都花一个完整的 token。这种浪费在像素空间模型里最严重，因为它没有 autoencoder 先把低层冗余吸收掉。作者探测一个预训练的像素文生图 transformer，发现它中间块的 token 在图像平坦处是冗余的，而且这种冗余占据的是连通的、随内容成形的区域——这就带来一个表示上的要求：要利用这种冗余，就需要几何形状与之匹配的 token，而不是规则网格块。既有的降维方案各自丢掉了这个性质的一部分：相似度合并会把同一组的成员散落在画面各处，不再是连通区域；隐空间瓶颈把位置信息丢了；直接跳过则是把本该被总结的内容删掉。于是核心难题是：怎样得到「形状随内容变化、又能高效实现」的 token 分组——二维空间上的任意连通区域划分在实现上是很昂贵的。 本文贡献：解法的巧劲在于降维：沿希尔伯特曲线给 patch 排序。这条空间填充曲线的性质是相邻位置在图像上永远是邻居，因此任意一段连续区间都对应一个连通区域，且这个区域的大小与形状会随内容自然变化——于是「在二维上做分组」这个难题变成了「在一维上做切割」。作者在模型特征变化最大的位置切开，把每一段池化成一个 region token。为了让模型适应这种新 token，他们提出 Region Token Interface（RTI）做适配；训练时 region 数量是随机抽取的，所以同一个 checkpoint 能服务所有压缩预算，这就是标题里 elastic 的含义——不必为每个算力预算各训一版。作者在 MiniT2I 系列的两个模型规模上验证，并与相似度合并（Feat Sim）、隐空间数组（Latent Array）、token 跳过（Token Skip）等做了机制层面的对照，还做了排序方式的消融（希尔伯特 vs 光栅）以检验「连通性是否真的重要」。 auto 实验效果：机制对照图把四种方案的分组结构与生成结果并排放在一起：RTI 的分组呈现出与图像内容贴合的连通色块、生成结果保住了主体（背着风笛的犰狳）的完整结构与纹理；Feat Sim 的分组碎裂成散点、生成结果虽然还成形但细节退化；Latent Array 完全丢掉了空间结构、生成结果崩成一团抽象形体；Token Skip 大面积留白、结果只剩轮廓。排序消融给出了「连通性必要性」的直接证据：在 MiniT2I-B/16 上比较希尔伯特与光栅两种排序，在较宽松的预算（$R_{cells}=128$）下两者接近，但预算压到 $R_{cells}=64$ 时希尔伯特保住了人脸、翅膀与网格结构，光栅则把它们抹开、人物形体也散掉。效率-质量曲线上，RTI 在 $R_{cells}=256$ 时以 1.79 秒/图达到 GenEval 82.7%、ImageReward 0.953，而基线 MiniT2I-L/16 要花到 4.62 秒才达到 86.4% / 0.950——也就是说在 ImageReward 这个指标上 RTI 用约 2.6 倍更短的时间达到了同等水平；把预算放到 5.58 秒时 RTI 达到 86.2% / 1.155，ImageReward 超过基线 5.77 秒的 1.039。 auto 批判点评：这篇最漂亮的地方是把一个几何难题化成了排序问题。「需要形状随内容变化的 token」这个需求听起来必须做复杂的二维分割，但希尔伯特曲线的局部性保证让一维上的任意连续段自动成为二维上的连通区域，于是分组变成切割，实现代价陡降。更值得肯定的是它对既有方案的批评是结构性而非性能性的——指出相似度合并散落分组、隐空间瓶颈丢位置、跳过删内容，各自丢掉了「连通、有位置、被总结」这三个性质中的一个，这种分析比单纯比分数有说服力得多，而排序消融（希尔伯特 vs 光栅）恰好把「连通性」单独隔离出来做了验证，是很干净的对照设计。训练时随机抽 region 数从而一个 checkpoint 覆盖所有预算，也是很实用的工程决策。但要注意几个边界。第一，作者自己承认速度有天花板：prelude、coda 与文本流不参与压缩，所以再怎么压 region 数，端到端加速也会饱和——这意味着该方法适合中等压缩率区间，指望它带来数量级提速是不现实的。第二，GenEval 上并没有全面胜出：长预算下 86.2% 对基线 87.0%，是略低的；真正的优势集中在短预算区间和 ImageReward 上，而 ImageReward 是偏好类指标，与 GenEval 这种组合性正确率指标的结论不一致时，应当分开陈述而不是合并成「更好」。第三，方法针对的是像素空间扩散这个相对小众的设定——论文自己说浪费在像素空间最大，那么在主流的 latent 扩散上，autoencoder 已经吸收了大部分低层冗余，这套机制还剩多少收益空间是未验证的。第四，切割位置由「特征变化最大处」决定，这个判据依赖被探测模型的中间层表示，换骨干后是否仍然稳定、需不需要重新校准，文中没有交代。 7. RegionCache：多轮编辑只重算改动区域 RegionCache: Semantic-Aware Region Reuse for Efficient Multi-Turn Image Generation | 东北大学计算机科学与工程学院（IJCAI 2026） | arXiv:2608.29809 关键词：多轮图像编辑,语义感知区域复用,cross-attention定位,自适应复用调度,PixArt-alpha,1.43-2.55倍加速,IJCAI 2026 前序问题：真实世界的图像生成往往是多轮编辑：用户一轮一轮地改小块区域，而大部分画面内容保持不变。但现有基于 DiT 的编辑管线在每一轮都把整张图重算一遍，产生大量冗余计算——用户只是把「一只猫在星空下」改成「一只狗在星空下」，星空那部分的去噪过程却要从头再跑一次。现有的 DiT 加速方法又都忽略了跨提示的语义对应关系，于是落入两种错误：要么保守地不复用、造成不必要的重算，要么激进地复用了实际已经改变的区域、损害编辑质量。问题的难点在于要同时回答两件事——哪些区域在这一轮语义上确实没变（这需要跨提示的语义比对，而不只是像素比对），以及对这些区域可以复用到什么程度（完全跳过整个去噪过程，还是只在部分时间步复用）。 本文贡献：作者提出 RegionCache，一个面向多轮图像编辑的语义感知复用框架，选择性地复用未改变区域的扩散状态。它由两部分构成。Prompt-aligned Region Caching 负责识别与缓存：通过连续提示之间的语义重叠（Semantic Overlap Identification）确定哪些语义单元延续了下来，再用 cross-attention 定位把每个语义单元对应到图像上的具体区域，把该区域的 mask 与隐状态存进 cache pool——比如「cat」与「starlite」各自被独立缓存。Semantic-aware Region Reusing 负责决定复用策略：它把区域分成改变区域与未改变区域，在区域级稀疏注意力下，语义未变的部分（如 starlite）可以在全部时间步复用，而语义已变的部分（cat→dog）只在早期步复用；复用的时间表是自适应的，依据提示相似度与上下文一致性来定，而不是固定阈值。作者还测量了自注意力与其他计算在不同推理步数和分辨率下的延迟占比，用以定位加速空间到底在哪里。 auto 实验效果：在 PixArt-alpha 上，RegionCache 实现了 1.43 倍到 2.55 倍的端到端加速，同时保持可比的图像质量。框架图给出的机制示例很直白：从「A cat under the starlite」到「A dog under the starlite」，starlite 被判为语义未变从而全步复用，cat→dog 这一改变区域只在早期步复用、后续正常重算，因此改动准确落在主体上而背景星空的观感保持一致。案例研究把 RegionCache 与既有多轮编辑框架并排比较了多轮编辑的结果质量。延迟拆解则显示自注意力在不同推理步与分辨率下的占比，是复用设计的依据。 auto 批判点评：这篇选的问题很贴近真实使用：多轮编辑是图像生成产品里最常见的交互形态，而每轮全量重算确实是明显的浪费。它的关键判断是把复用的依据从像素相似度提升到语义重叠——用提示之间的语义比对加 cross-attention 定位来决定复用区域，这比在 latent 上做相似度阈值要可靠，因为「猫变成狗」在像素上可能相似度不低，但语义上必须重算。区分「全步复用」与「仅早期步复用」也是有见地的：扩散的早期步决定布局与低频结构，改变区域在这个阶段与原图共享的信息其实不少，一刀切地全部重算同样是浪费。用延迟拆解来定位加速空间，说明作者是先量了再设计，而不是凭直觉。但这篇的分量比较轻，几处需要注意。第一，1.43–2.55 倍这个区间很宽，说明收益强烈依赖每轮改动占画面的比例——改一个小配饰接近上界、重构主体接近下界，论文用一个区间概括，读者难以判断在自己的使用分布下能拿到多少。第二，只在 PixArt-alpha 上验证，而 PixArt-alpha 相对当前主流的编辑骨干已经偏旧，这套机制在更强的编辑模型（其注意力模式与语义定位质量都不同）上是否同样有效并未回答。第三，质量结论停留在「comparable」这个定性表述与案例图，而复用本质上是一种近似，最该被量化的恰恰是「复用带来的质量损失」在多轮累积后会不会漂移——第 5 轮、第 10 轮之后误差是否累积，论文没有给出多轮深度上的退化曲线。第四，整条链路依赖语义重叠判断的准确性，一旦把实际改变的区域误判为未变，错误会被缓存下来并影响后续所有轮次，这个失效模式的代价比一般加速方法要重，但文中没有讨论回退机制。 8. PixelIR：保真与感知拆成两条流 PixelIR: Fidelity-Perception Decoupling via Pixel-Space Image-Residual Flow Matching for Efficient One-Step Real-World Super-Resolution | 上海交通大学（实习期间完成） | arXiv:2608.30782 关键词：真实图像超分,保真-感知解耦,像素空间残差流匹配,一步蒸馏,双粒度像素transformer,上海交通大学 前序问题：真实世界图像超分（Real-ISR）要同时做两件互相拉扯的事：既要保住退化观测所支持的结构（保真），又要重建出感知上真实的细节（感知）。现有方法基本都在一个共享网络里同时优化这两个目标，于是两者在整个训练过程中持续互相干扰，它们之间的平衡也很难控制——你想多要一点细节，结构就开始漂；想守住结构，画面就发糊。近期的一步方法虽然把采样步数降下来了，但往往同时继承了两个包袱：耦合的优化行为，以及来自多步前身的昂贵高分辨率骨干。作者的判断是：高效的 Real-ISR 不只需要更短的采样轨迹，还需要对「忠实重建」和「感知细节合成」这两件事分别建模——把它们塞在一个网络里用一组权重去权衡，从设计上就是错的。 本文贡献：PixelIR 提出建立在像素空间图像-残差流匹配之上的保真-感知解耦框架，把一次超分拆成两条流。第一阶段（Fidelity Preservation）学一个图像流，用 4 步把上采样后的低质输入映射到一个忠实的基础重建 $\hat{x}_b$。第二阶段（Perception Refinement）学一个残差流，在冻结的基础重建条件下、用另外 4 步从噪声里合成缺失的感知细节 $\hat{r}$，再通过残差合成得到教师输出 $\hat{x}_t$——关键在于残差流不需要反复重新学习或覆写已经完成的整体复原解，它只负责补差值。两个阶段都使用双粒度像素 transformer：语义层面的 DiT 块加像素层面的 PiT 块，配 AdaLN-Zero 调制。为了部署，作者把教师蒸馏成一个五阶段逐步收窄的学生：从 16×16 patch 经 8×8、4×4、2×2 到 1×1 patchify，前两级用 DiT 块处理语义 token、后三级用 PiT 块处理像素 token，配合金字塔 patchify 与双锚点流蒸馏（对齐 $\hat{x}_s$ 到教师输出 $\hat{x}_t$ 以及到真值 GT 两个方向），最终得到一步推理的学生模型。 auto 实验效果：论文在 DIV2K 上给出六指标的组件剖面雷达图（每个指标方向对齐并按最优值归一化，越远越好）来展示解耦消融的效果，并在 LSDIR 与 RealSR 的困难样例上做了定性对比。方法层面最实质的效率结论是：教师用 4+4 步、学生蒸馏为一步，且骨干通过五阶段金字塔逐步收窄——这直接针对「一步方法仍继承昂贵高分辨率骨干」这一痛点，即把计算按 patch 粒度分层，语义处理放在粗粒度、像素处理放在细粒度，而不是全程在高分辨率上跑完整 transformer。 auto 批判点评：这篇的架构判断是对的：保真与感知的冲突不是调参问题而是表示问题，让一个网络用一组权重同时承载「不要偏离观测」和「大胆编细节」两个相反的诉求，本身就在制造干扰。拆成基础重建 + 残差合成之后，残差流只需要建模「差什么」，不必反复重学已经解好的整体结构，这个分解在信息论上也更经济。双粒度设计（DiT 管语义、PiT 管像素）与五阶段金字塔蒸馏配合得很自然——把昂贵的注意力放在粗粒度、把逐像素处理放在细粒度，正面回应了「一步方法仍背着高分辨率骨干」这个真实成本问题。双锚点蒸馏同时对齐教师与真值，也比只蒸馏教师更稳。但有几处需要留意。第一，训练与部署链路相当长：4 步图像流 + 4 步残差流的教师，再蒸馏成五阶段一步学生，中间每一环都有超参与对齐损失，复现成本和调试难度都不低，而论文对这条链路的稳定性（比如残差流在基础重建质量波动时是否鲁棒）交代不多。第二，残差流以冻结的基础重建为条件，这意味着基础重建的错误会被完整继承——如果第一阶段把结构判断错了，第二阶段只会把错误结构渲染得更「真实」，这类失效在超分里恰恰是最有害的（把噪点补成清晰的伪细节），论文没有专门分析。第三，评测证据以雷达图与定性对比为主，六个指标归一化后画在一张雷达图上很好看，但归一化会掩盖绝对差距的大小，读者无法判断某个维度上的领先是显著还是微弱。第四，署名信息显示工作在实习期间完成、机构标注较为简略，作为一篇方法论文其可复现材料（代码、权重）是否释出会明显影响这套多阶段管线的实际影响力。 9. GenFirst：先练生成再练重建防塌缩 GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling | 中国科学技术大学 + 字节跳动 Seed | arXiv:2608.29335 关键词：端到端隐空间训练,隐空间塌缩,KL熵项,生成-重建冲突,非对称学习动态,REPA-E,字节跳动Seed 前序问题：隐空间生成模型的标准做法是两阶段：先训一个 VAE 做重建，再在冻结的隐空间上训生成模型。但为重建优化出来的隐空间不一定适合生成——重建只要求信息可恢复，生成还要求分布可采样，两者的最优解未必重合。于是联合训练看起来很有吸引力，可直接端到端训练一直很难做：一是容易发生隐空间塌缩，二是面临生成-重建冲突。已有的折中方案 REPA-E 通过截断生成梯度、并用一个外部的表示对齐损失（DINOv2）来重塑隐空间以避免塌缩，但这么做的代价是生成目标不再直接塑造隐空间——绕开了塌缩，也绕开了「让隐空间为生成服务」这个初衷。作者要回答的是：能不能让生成损失真的作用在编码器上，同时不塌缩？ 本文贡献：作者重新分析了不同目标如何塑造隐空间，得到两个关键洞察。第一，KL 散度目标里的熵项是防止塌缩的关键：重建与先验拟合都倾向于收缩后验，而熵项保留了非退化的隐空间不确定性——换句话说，塌缩不是生成梯度本身的错，而是缺了一个撑开后验的力。第二，重建与生成呈现非对称的学习动态：重建快且监督强，在很少的训练步内就能达到不错的图像保真度；生成慢且更难优化，需要长得多的过程才能学出一个可采样的隐分布。基于这两点，他们实现了首次不发生隐空间塌缩的直接端到端训练，并提出 GenFirst——一个简单的「生成先于重建」策略：让生成目标先塑造隐空间，之后再refine重建。论文的对比图把四种范式并置：(a) 传统两阶段用固定的重建优化隐空间，对生成次优；(b) 朴素端到端让生成损失更新编码器但导致塌缩；(c) REPA-E 靠 stop-grad 加外部 REPA 损失避免塌缩，但生成损失不直接塑造隐空间；(d) 本文方法用先验损失塑造隐空间、熵项防止塌缩。作者还做了扩展实验：隐空间级 SigLIP 监督以学习生成与表示共享的隐空间、基于 caption 的 VLM-NLL 监督施加在中间视觉特征上、以及用块因果扩散 transformer 做统一文本-图像建模（连续文本与图像 latent 联合优化，支持双向的文生图与图生文）。 auto 实验效果：收敛加速是最直接的证据：在类条件 ImageNet 生成上报告不带 CFG 的 FID-50K 曲线，在文生图上报告 EiT Version A/B 与 SiT+REPA 基线的 GenEval 与 DPG 分数——两个 EiT 变体都在 80K 步就超过了基线 200K 步的表现，也就是约 2.5 倍的步数效率。非对称动态的可视化清楚显示重建在远少的步数内达到良好图像保真度，而生成需要更长的优化过程才学到可采样的隐分布，这正是「先生成后重建」这个次序的依据。定性上，三种隐空间设定用同一个 MMDiT 与采样配置对比：DPG-Bench 上的文生图与 COCO Karpathy 测试集上的图生文都显示端到端训练的隐空间提升了提示保真度与描述连贯性，其中文本-图像联合隐空间训练的定性结果最强。消融给出了 gFID 与 rFID 的权衡曲线：没有任何固定的先验损失权重能同时兼顾生成与重建，而在重建精修阶段用一个中等先验权重能得到最好的权衡。 auto 批判点评：这篇的分析质量高于它的方法复杂度，而这恰恰是优点。「塌缩的原因是缺了熵项撑开后验」这个诊断把问题从「生成梯度有毒、必须截断」纠正成「少了一个平衡力」，直接否定了 REPA-E 那条绕行路线的必要性——后者为避免塌缩付出的代价是生成损失不再塑造隐空间，等于放弃了端到端的意义。第二个洞察「重建快、生成慢」看起来朴素，但它把训练次序变成一个有依据的设计变量而非试错结果：既然慢的那个更需要主导隐空间的形状，就让它先来。方法本身简单到几乎不增加实现负担，却拿到约 2.5 倍的步数效率，这种「分析驱动的简单解」比堆结构更有价值。消融里「没有任何固定先验权重能兼顾生成与重建」这个结论也很诚实，它说明这不是调参能解决的问题，从而反过来支持了分阶段的必要性。但要注意几点。第一，主要收益是收敛速度而非质量上限：80K 步超过基线 200K 步说的是效率，论文没有强调最终收敛质量拉开了多大差距，把这篇读成「生成质量大幅提升」会误读。第二，FID 曲线是不带 CFG 的，而实际部署几乎都开 CFG，无 CFG 下的 FID 优势能否在开 CFG 后保持，是这类工作常见的落差点。第三，扩展实验（SigLIP 监督、VLM-NLL、块因果统一建模）铺得很开，每一项都只给了「稳定训练」的定性结论，广度换走了深度——尤其统一文本-图像建模是个大命题，用一张扩展图交代略显单薄。第四，实验规模集中在 ImageNet 类条件与中等规模文生图，端到端联合训练在更大数据与更大模型上是否仍然稳定（熵项的权重是否需要随规模重新校准）没有回答，而这决定它能否进入真实的大规模训练流程。 10. RAGDiffusion++：RL救回SFT抹平的高频纹理 RAGDiffusion++: From Macro-Retrieval to Micro-Fidelity Alignment for Garment Generation | 上海交通大学 + 阿里巴巴 | arXiv:2608.29280 关键词：服装资产生成,高频轨迹塌缩,AR-GRPO,Garment-RM奖励模型,artifact hacking,双图像流DiT,上海交通大学 前序问题：标准服装资产生成——把各种真实场景里的衣服还原成正面平铺图——商业价值很大，但同时要求宏观拓扑准确与微观物理保真。作者前作 RAGDiffusion 已经用检索增强的宏观约束消除了大尺度结构幻觉，可工业级的微观纹理真实感仍是未解的瓶颈。他们把这个限制正式命名为 High-Frequency Trajectory Collapse（高频轨迹塌缩）：监督微调（SFT）收敛到训练分布的条件均值，而这个分布由平滑的低频纹理主导，于是高频图案（织物纹理、复杂 logo）变得几乎不可采样——不是模型学不会，是它被拉向了均值。而天真地加上强化学习后训练又会引发另一个问题 Artifact Hacking：模型利用通用奖励模型里的语义偏差，生成具有欺骗性的棋盘格噪声来骗高分，看着「细节丰富」实际是伪影。所以真正的难题是双重的：既要让 RL 把采样分布往高频模式上重塑，又要防止它塌向奖励可被利用的伪影解。 本文贡献：作者的核心洞察是 RL 能从根本上重塑流模型的采样分布——在准确的奖励引导下提升高保真轨迹的概率——同时用对抗正则化来约束这个过程不跑偏。方法上提出 AR-GRPO，并配套一个领域专用奖励模型 Garment-RM 来提供细粒度、属性感知的信号，替代通用大模型作为奖励来源。架构侧是 Dual-Image-Stream DiT：通过复制部分去噪图像流及其预训练权重，引入一条专门的条件图像流，让条件信息在与去噪信息同构的通道里流动而不是被挤进 cross-attention。针对 reward hacking，他们对比了 Adv-GRPO 的做法（用对抗损失激进地更新所有奖励模型，导致奖励模型丧失分类能力），改为让判别器先加速早期奖励上升、再把 $R_{GRM}$ 与 $R_{LPIPS}$ 稳定在一个无伪影的均衡点上。 auto 实验效果：最有说服力的是打破 SFT 瓶颈这条曲线：SFT 阶段模型达到性能平台期，延长训练时长或扩大数据都只有递减回报，而引入 AR-GRPO 后 FID 出现急剧下降，瓶颈被突破；配套的视觉对比展示了 SFT 在捕捉高频物理细节（复杂织物纹理、精细图案）上的局限以及 RL 优化带来的显著改善。频域分析给出了机制层面的证据：相比基础 SFT 模型，RL 结果与真实图像之间的频谱差异更小、方向性偏差更弱，径向平均的频谱误差曲线显示 RL 模型在中高频的宽区间上误差更低。奖励模型侧，Garment-RM 在细粒度属性感知上全面超过 GPT-4o 与 Qwen3-VL 这些通用大模型，从而为 RL 阶段提供可靠的属性感知信号；作者还用 Garment-RM 嵌入的 t-SNE 图与人类偏好选择实验验证其有效性。防 hacking 的对照很直接：标准 GRPO 与 Adv-GRPO 都塌缩成棋盘格伪影，而 AR-GRPO 保持输出干净。 auto 批判点评：这篇的诊断做得比方法更好。「High-Frequency Trajectory Collapse」是个准确的命名：SFT 回归条件均值这件事在理论上早就清楚，但把它与「高频纹理变得不可采样」直接挂钩、再用频域误差曲线量化出来，把一个模糊的「SFT 生成发糊」变成了可测量的现象，这比笼统地说「RL 效果更好」有价值得多。更值得肯定的是它没有停在「用 RL 就好了」——而是同时指认了 RL 的失效模式 Artifact Hacking，并且给出了机制解释：通用奖励模型有语义偏差，模型会生成棋盘格噪声去利用它。这种「问题-解法-解法的新问题」的递进是扎实工作的标志。用领域专用的 Garment-RM 替代通用 VLM 做奖励，也是个正确判断：细粒度属性感知上 GPT-4o 这类通用模型确实不可靠，而奖励模型的偏差在 RL 里会被放大而非平均掉。但边界也清楚。第一，这是一个高度垂直的任务——正面平铺服装图有强先验（构图固定、拓扑已知），所以「用检索约束宏观、用 RL 攻微观」这套组合能奏效，它对通用文生图的可迁移性存疑，因为通用场景既没有可检索的模板也没有 Garment-RM 这样能训出来的窄域奖励。第二，Garment-RM 本身成为新的单点依赖：整个 RL 的方向由它决定，而论文验证它的方式是与通用模型比较加 t-SNE 加人类偏好，这证明了它比通用模型好，但没有刻画它自己的盲区在哪——一个有系统偏差的窄域奖励模型，其偏差会被 RL 忠实地放大。第三，对抗正则化引入了判别器与两个奖励项（$R_{GRM}$、$R_{LPIPS}$）的三方平衡，论文说它稳定在无伪影均衡点，但这类平衡对超参往往敏感，训练稳定性的证据主要是奖励轨迹图，缺少多次运行的方差。第四，作为前作的延续版本，宏观检索部分的贡献不属于本文，读者需要注意本文的净增量集中在 RL 后训练与奖励设计上。 趋势观察 原生音视频联合生成开始用「先分开、后门控耦合」压小模型尺寸 — 今天最值得读的一篇是阿里 DreamX 团队的 DreamX-Creator 1.0，它给出了一个很务实的判断：音视频联合生成不需要一上来就把两个模态揉在一起。它的 7B 生成器让音频流和视频流在网络前一半完全独立去噪，只在后一半通过 Gated Cross-Modal Attention 耦合，而且门控是 token 级与 head 级的，等于让模型自己决定「哪一帧、哪个注意力头需要听对面模态」。这个设计的意义在于用结构换参数量——在与 33B 的 MiniMax-H3、以及 Wan2.7 / KLing v3 的盲测对比里，7B 的它在视频质量上对 Wan2.7 拿到 45.5% 胜率、对 KLing v3 拿到 48.8%，虽然音频质量仍明显落后（对 MiniMax-H3 只有 23.7% 胜、45.5% 负），但这已经说明「原生联合」不必等大模型。它还配了一条自回归 1 步 2K 精修管线，把高分辨率从训练问题变成后处理问题。同一天的 VIBE 从另一侧呼应：视频配乐不能只靠重建损失，得把 tempo、调性这类可验证约束和「好听」这类主观质量分开做奖励。两条路线的共同判断是，多模态生成的下一步是把模态间的耦合点和奖励信号都设计得更细。 交互世界模型的持久性之争，从「存多少帧」转向「以什么粒度存」 — Matrix-Game 3.5 和 ShellGame 这两篇是今天最像一对的论文，都在追问世界模型能否真的记住世界，但一个给方案、一个下判决。昆仑万维 Skywork 的 Matrix-Game 3.5 把历史记忆的粒度从「整帧」降到「patch」：它把历史 latent patch 按深度和相机位姿反投影进一个持久 3D 空间，目标相机的视锥去查询这个 patch 云，再用 z-buffer 只保留每个位置最靠前的表面，最后散射成一张对齐当前视角的 memory canvas。关键是 patch-memory 与 tiled-PRoPE 两个组件都不引入任何新的可学习参数，所以能直接接在骨干上，单卡 720p 做到 20 FPS 实时。它还把静态场景和动态主体拆开，前者进 patch memory、后者用轻量参考 token，专门治长程 rollout 里的鬼影和身份漂移。而 ShellGame（首尔国立大学 + Roblox）则用一个精心设计的反例给整个方向降温：他们把 $S_5$ 状态追踪问题包装成视频版「猜球在哪个杯子下」，球被盖住后经过 N 次交换再揭晓。结论相当刺眼——双向和自回归 Transformer、Mamba、以及特征值被限制在非负区间的线性注意力，全都只能拟合训练时的 5 次交换，交换链一长就掉到随机水平，但画面依然生成得很像样，加更多去噪步数毫无帮助。根因在于像素扩散目标从来没有监督过那个看不见的隐藏状态，所以状态只能活在架构里而非 token 里。他们找到两个真能外推的机制，共同点是都跨 chunk 携带状态并原地修改：线性注意力一旦允许转移特征值取负就成功，LaCT 则随快速权重头数增加而变好。两篇合起来的信号是：视觉保真度完全不能作为世界模型「懂世界」的证据，得单独设计状态追踪的诊断任务。 推理期干预成为提升生成质量的主战场：不改权重、不重训 — 今天有三篇不约而同地把算力花在推理阶段而非训练阶段，而且都刻意避开了「重训一版」这条路。Off-Manifold Refinement（越南 Fulbright 大学 + UCLA，BMVC 2026）针对视频生成的物理违背问题：物体悬空、轨迹违反重力、接触消失。它的做法是在采样轨迹中段的若干 ODE 步，把冻结的 V-JEPA 2.1 「意外度能量」的梯度加到生成器速度场上，把 latent 推离原轨迹、推向被预测器判为更物理合理的区域，然后让生成器继续渲染。相比要生成并打分多个候选、或反复解码再编码的既有方案，它只在单条轨迹上做一次外部纠正。GEARS（北大 + 阿里，ACM TOG / SIGGRAPH Asia 2026）攻的是 test-time scaling 的浪费：现有方法采样一堆轨迹然后把低分候选直接丢掉，而那些候选里已经编码了可用的运动、布局或外观结构。它在去噪轨迹上插入多个检查点，由 Stage-Aware Scheduler 决定此刻该修什么、哪些候选该留该回收该丢，再由 Candidate Recycler 通过诊断式 latent 编辑把「弱但有希望」的候选修回来，高噪阶段修运动、低噪阶段修细节。NoisEasier（ECCV 2026）则用可微奖励引导优化整条随机轨迹而非只优化初始 latent，在 VBench 与 T2V-CompBench 的属性绑定、物体交互、计数这些难维度上平均提升超过 10%。三篇的共同判断是：与其冒 reward hacking 的风险去微调权重，不如把冻结模型当成可被引导的对象。 扩散加速的新抓手是「内容形状」和「语义复用」，不再是均匀砍 token — RTI（维尔茨堡大学 + Google）和 RegionCache（东北大学，IJCAI 2026）代表了扩散加速的两个新角度，都放弃了「均匀降采样」这个默认动作。RTI 处理的是像素空间扩散的结构性浪费：自然图像的细节只集中在画面一小部分，但模型在每一层、每个时间步都给每个 patch 分配一个完整 token，而像素空间模型没有 autoencoder 先吸收低层冗余，浪费最大。它探测到中间块的 token 在图像平坦处冗余，且冗余占据的是连通的、随内容成形的区域——于是需要形状同样随内容变化的 token。解法很巧：沿 Hilbert 曲线给 patch 排序，因为相邻位置在图像上永远是邻居，任意连续段就是一个连通区域，二维分组变成一维切割。切在特征变化最大处，每段池化成一个 region token，微调时随机抽取 region 数量，所以一个 checkpoint 服务所有预算。相比之下相似度合并会打散分组、隐空间瓶颈丢掉位置、直接跳过则是把该总结的东西删掉。RegionCache 针对的是多轮编辑场景：用户往往只改一小块，但 DiT 管线每轮都重算整张图。它用连续 prompt 之间的语义重叠加 cross-attention 定位找出可复用区域，按 prompt 相似度自适应决定复用力度，在 PixArt-alpha 上端到端加速 1.43–2.55 倍。两篇都在说同一件事：加速的抓手应该来自内容和语义的结构，而不是对 token 一刀切。 人工智能炼丹君 整理 | 2026-09-02 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-01|西湖大学让写代码的智能体当世界大脑CWM 今日 AIGC 论文速览 今日共 10 篇 · 世界模型与可执行状态 2 篇 · 长视频生成的记忆与一致性 2 篇 · 注意力与推理加速 1 篇 · 视频生成模型作为几何/物理先验 2 篇 · 生成式模型的规模律 1 篇 · 可控生成与工业落地 2 篇 重点论文标题列表 Code World Model（西湖大学 AGI Lab + 南洋理工大学）：让写代码的智能体当世界大脑 LayerRecall（浙江大学 + 香港大学）：只往记忆敏感层注入历史K/V SWA vs Linear Attention（Microsoft Applied Sciences Group）：免训练滑窗高线性注意力2-10倍 DensityKV（Manifold AI + 清华大学）：免训练把120秒历史压到3.28GiB CLAP（普林斯顿大学）：人类视频也能训机器人世界模型 今日论文速览 1. Code World Model：让写代码的智能体当世界大脑 Code World Model: Coding Agent as World Brain | 西湖大学 AGI Lab + 南洋理工大学 | arXiv:2608.25927 关键词：世界模型,coding agent,可执行世界状态,proxy 视频,MiniMax-H3,时空约束,西湖大学,南洋理工 前序问题：现在的视频世界模型基本都是从视觉观测里学动力学，这条路有个结构性的短板：视频只呈现「发生了什么结果」，并不承载「为什么会这样、规则是什么」。于是模型学到的是像素层面的统计关联，而不是支配世界演化的知识与机制。后果很具体——持久性守不住。玩家砸碎的花瓶在几十帧之后可能自己复原，捡走的道具会重新出现在原地，因为「这个物体已经不存在了」这件事从来没有被显式记录，只是被寄望于模型的隐式记忆能扛住。开放式演化更是无从谈起：一个只会预测下一帧的模型没有可查询、可修改的世界状态，你无法问它「现在背包里有几把剑」，也无法让它在规则层面上一致地长期跑下去。真正缺的东西是一个显式、持久、可按规则更新的状态表示，而这恰好是视频模型这种表示形式最不擅长承载的。 本文贡献：Code World Model 的做法是把「世界如何演化」和「世界长什么样」彻底分开。前者交给语言模型的推理与编码能力：一个 coding agent 充当 world brain，接收交互意图，推理事件及其后果，然后写出可执行代码去更新一份持久的世界状态，从而保证演化是符合规则的、后果是留得住的。后者交给视频模型的生成先验。两者之间的桥梁是作者提出的 proxy representation——把世界状态编译成一段编码了逐帧时空约束的 proxy 视频（画面里是分割色块与骨架这类粗糙几何），再用它去条件化视频模型渲染出高保真观测。为此作者还建了数据管线，从游戏录像和真实视频里构造对齐的 proxy–observation 配对数据。实验用 MiniMax-H3 作为视频骨干在配对的 gameplay 数据上微调，结果它能跟随 coding agent 搭出的简单交互世界所给定的 proxy 时空规格，同时保留丰富的视觉细节与动态。 auto 实验效果：作者展示的核心结果是这套「代码管状态、视频管画面」的组合确实能跑通：微调后的 MiniMax-H3 遵循 proxy 指定的时空结构，把粗糙的色块骨架渲染成细节丰富的画面。视觉质量部分最值得注意的是数据效率——仅用五小时 GTA V 游戏录像做微调，模型就在角色、环境、运动方式和相机轨迹都不同的场景上表现出泛化能力，论文的 case 图里既有真人角色也有二次元角色（美少女战士造型），说明外观由文本与视频先验控制、运动由 proxy 控制这个分工是成立的。此外作者也在真实视频上构造了 proxy–observation 配对，说明这套表示不只适用于游戏。整体上论文的定位是可行性验证与范式提出，而不是刷榜。 auto 批判点评：这篇最有价值的地方是把「持久性」这个问题从模型能力问题重新定义成了系统架构问题。既然规则和状态本来就适合用代码表达，那硬要视频模型在隐空间里隐式维护它，本身就是拿错了工具；让 coding agent 写代码维护状态、视频模型只做渲染，是一个分工干净且可验证的设计——世界状态可以被打印、被断言、被单元测试，这在纯生成式世界模型里是做不到的。proxy 视频作为界面也选得务实：它同时携带几何与时序约束，又足够粗糙以至于生成模型有充分自由度补细节。但局限相当明显。第一，整套系统的天花板被 coding agent 顶住了——世界的规则得先被语言模型正确地推理并写成代码，稍微复杂的物理（流体、形变、多体接触）根本不是几行代码能覆盖的，论文验证的也确实是「simple interactive worlds」。第二，proxy 到观测这一步是有信息瓶颈的：proxy 只编码了粗粒度时空约束，那些不在 proxy 里的物理细节（材质变化、光影随事件的响应）就只能由视频模型自由发挥，未必与代码里的状态一致，这等于在系统中留了一道「状态与画面可能对不上」的缝。第三，实验缺少对照——没有和强视频世界模型在同一任务上比长程一致性，也没有量化「持久性」这个自己主打的卖点，比如「事件发生 N 秒后后果是否仍被正确渲染」这样的指标，读者只能从 case 里目测。 2. LayerRecall：只往记忆敏感层注入历史K/V LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation | 浙江大学 + 香港大学 | arXiv:2608.28460 关键词：长视频生成,记忆路由,分层注意力,K/V 检索,多镜头一致性,MemoBench,浙江大学,香港大学 前序问题：自回归视频扩散靠一个有界的近期上下文逐块生成，这让长视频在算力上变得可行，但也埋了一个必然的漏洞：基于时间邻近的缓存策略会把「暂时用不到」的历史逐出，而一旦某个主体、物体、场景或属性在几十秒后重新出现，需要的线索恰恰是刚被逐出的那部分。已有的记忆机制思路是给模型开一个通往非局部历史的通道，但作者指出一个关键区别——「能访问」不等于「会用」。他们的分析发现 video DiT 的各层对当前块、近期上下文与远期历史的偏好差异明显，也就是说层与层之间在记忆这件事上分工不同。这意味着长程记忆其实是两个耦合的决策：检索什么，以及在哪里用它。把历史无差别地灌进所有层，既浪费又可能干扰那些本该专注局部连续性的层。另一个现实约束是数据：高质量的长时程视频稀缺，显式的「记忆分配」标注更是根本不存在。 本文贡献：LayerRecall 是一个以当前状态为条件、按层选择的记忆路由器。它维护按层索引的记忆库存放有限的历史 K/V 候选，用当前块的隐状态算出一个查询（图中给出的形式是全局查询加上一个由 gate 与 MLP 调制的层相关增量 Δq），再用余弦相似度对各历史片段打分，决定检索哪些。关键的第二步是注入位置：检索到的状态只被送进事先剖析出的「记忆敏感层」，其余层完整保留原有的 sink、滑动窗口与当前块注意力上下文，因此局部连续性不受影响，额外开销也很小。为了摆脱对稀缺长视频和记忆分配标注的依赖，作者提出 Cross-Horizon Prediction Matching（CHPM），用短时程可得的监督信号来训练这个在预测空间工作的有界记忆路由器，绕开了显式标注。 auto 实验效果：在 100 条多镜头评测提示上，LayerRecall 在 MemoBench 与 MovieBench 上取得最好的整体结果，同时在 VBench-Long 上与其骨干持平——这个组合是它主张的核心证据：增强了长程恢复能力，但没有牺牲局部连续性。定性分析里作者展示了一个叫「记忆引导的自我纠正」的现象：三镜头序列中主体在第一镜头穿纯蓝内搭，第二镜头离场，第三镜头重新出现时最初带了错误的花纹，随后 LayerRecall 把早先的纯蓝外观召回，同时保住了人物身份、灰色开衫、正在进行的动作与场景结构，也就是说属性恢复是局部发生的，没有触发整体画面的重置。作者另外给了跨骨干可移植性与推理开销可忽略的分析，但明确把这一点表述为「在所测模型上的可移植性」而非普适的零样本适用性。 auto 批判点评：「层各有偏好，所以记忆要选层注入」是个漂亮且可验证的观察，也是这篇比一般「加个记忆库」工作高明的地方——它把注入位置当成与检索内容同等重要的决策变量，而选择性注入自然带来了低开销和不破坏局部注意力这两个副产品，工程上很讨喜。CHPM 用跨时程预测匹配替代不存在的记忆分配标注，也是务实的解法。需要保留的疑问有几点。首先，记忆敏感层是「剖析」出来的，这就引入了一个骨干相关的先验步骤，论文也诚实地把跨骨干结论限定在所测模型内；那么换一个架构差异较大的骨干时，这套剖析要重做多少、成本多高，是决定它能否成为通用组件的关键，文中讨论不足。其次，VBench-Long 只是持平，说明当前收益集中在「重现一致性」这个特定维度，对整体视频质量并无提升，这个边界读者应当清楚。第三，自我纠正那个案例虽然很有说服力，但它同时暴露一个隐忧：模型是在出错之后才召回正确属性的，也就是说错误已经被生成出来并停留了若干帧，路由器扮演的是事后修正而非事前预防；对需要严格连续性的应用，这种「先错后改」的行为模式本身就是一种瑕疵，论文没有量化它出现的频率与持续时长。 3. SWA vs Linear Attention：免训练滑窗高线性注意力2-10倍 Sliding-window beats linear attention | Microsoft Applied Sciences Group | arXiv:2608.28444 关键词：线性注意力,滑动窗口注意力,attention sink,KV cache,长上下文,推理加速,基线对比,微软 前序问题：二次复杂度注意力让大模型在内存和能耗上都不可持续：每个新 token 的代价都比前一个大，因为它的 key 和 value 必须被无限期地存在显存里。为了解决这个问题，一条备受关注的路线是把已经训好的模型改造成线性注意力（retrofitting），承诺以很低的成本换来常数级的状态开销和接近原始水平的性能，相关工作这几年数量可观。作者的批评切中要害：这条线一直没有和足够简单的基线做过认真对比。滑动窗口注意力（SWA）就是那个被跳过的对照组——它同样把每步的注意力开销限死在窗口大小内，同样让 KV 占用与序列长度解耦，但它不需要任何改造训练，是一行配置就能开启的方案。当一个研究方向连年在自己的评测里进步，却从未被最朴素的替代方案挑战过，那么这些进步究竟来自方法本身还是来自评测协议的选择，就成了一个必须回答的问题。 本文贡献：这篇不提新方法，而是补上那场缺失的对照实验：把带 attention sink 的 SWA 与经过 post-training 的线性注意力模型，在多个不同的 LLM 与多类下游任务上做系统比较。论文用一张注意力掩码对照图把三种方案的机制差异讲清楚：完整注意力是满的下三角；LoLCATs / Liger-GLA 这类混合方案在近处用 softmax、远处叠加线性注意力，覆盖整个下三角；带 sink 的 SWA 则只保留最左侧的 sink 列与主对角线附近的窗口带，其余位置直接留空。除了任务效果，作者还量化了解码吞吐与状态内存随上下文长度（128 到 256K）的变化曲线，把「快多少、省多少」和「准多少」放在同一张桌子上比较。最后给出的是一条明确的部署建议，而不是一个新架构。 auto 实验效果：结论是带 sink 的 SWA 在多个 LLM、多类下游任务上表现与 post-trained 线性注意力持平或更好；而在长上下文推理任务上差距被拉开——Needle-in-a-Haystack 与 BABILong 上 SWA 的表现是线性注意力的 2 到 10 倍。效率侧的曲线同样一边倒：完整注意力的解码吞吐从 128 上下文起就随长度持续下滑，到 256K 时降了一个多数量级，KV 占用则近乎线性地涨到 10³ MiB 量级；SWA（窗口 64 与 512）与线性方案的吞吐则在全区间基本是平的，内存占用保持在个位数 MiB 的常数水平，其中 SWA=64 的吞吐是所有方案中最高的。作者据此给出的建议相当直白：要降低推理内存成本，应该直接切到 SWA，而不是去 post-train 线性模型；线性注意力若要追上 SWA，恐怕得从头训练或投入远更大规模的 post-training。 auto 批判点评：这篇的价值不在技术新意而在方法论卫生：它用一个被长期忽略的朴素基线，检验了一个热门方向的实际收益，并且检验方式是公平的——同时报吞吐、内存与任务效果，而不是只挑有利维度。长上下文推理上 2 到 10 倍的差距尤其值得警惕，因为它指向一个具体的机制解释：线性注意力把历史压成固定大小的状态，本质上是有损压缩，需要精确回忆某个远处细节的任务（大海捞针正是如此）最容易暴露这种损失；而 SWA 虽然看不到远处，但它对窗口内的信息是无损的，配上 sink 又能保住那个对稳定性至关重要的锚点。不过这个结论的适用边界必须说清楚。首先它比较的对象是「post-trained」线性模型，作者自己也承认从头训练的线性注意力可能是另一回事，因此不能被读成「线性注意力这条路错了」。其次，SWA 的强项恰好是它的弱点的另一面：它在窗口外真的什么都看不到，那些需要跨越超长距离做全局聚合（而非精确检索）的任务，理论上应该更利于线性注意力，论文若能补上这类任务的反例会更完整。第三，attention sink 这个关键组件的贡献没有被单独拆开——SWA 好在哪里，有多少来自窗口本身、多少来自 sink，读者无法从现有结果中分离。 4. DensityKV：免训练把120秒历史压到3.28GiB DensityKV: Density-Guided KV Cache Compression for Long Video Generation | Manifold AI + 清华大学 | arXiv:2608.27922 关键词：长视频生成,KV cache 压缩,免训练,Soft-Riesz 密度,post-RoPE key,滑动窗口注意力,Manifold AI,清华大学 前序问题：自回归视频扩散用滑动窗口注意力实现流式生成，但每个新块都以之前生成的内容为条件，于是外观和运动上的误差会沿着 rollout 递归地传播放大。保留历史 K/V 记忆可以留住早先的主体与场景状态，对长时程一致性有实质帮助，但直接全存下来会带来两个问题。一是存储随 rollout 无限增长——生成得越久，这份历史档案就越大，没有上界；二是这些状态之间存在大量冗余：视频里的循环性内容（同一个人反复出现、同一片背景反复入画）会让相似的 key 一遍又一遍地被写进记忆，重复覆盖同一片区域，占了空间却没有带来新信息。已有的检索式方案（如 LongLive-RAG）保留全部被逐出的历史再按需检索，一致性是换来了，但存储代价随时长线性上升，这在实际部署里很快就不可接受。 本文贡献：DensityKV 是一个免训练的历史 K/V 库管理策略，核心思想是用「局部冗余度」来决定一个新状态该不该被收进记忆。它为每个注意力头维护独立的 token 级 K/V 库，并且只在 post-RoPE 的 key 上度量冗余——理由很具体：直接参与注意力路由计算的正是这些 post-RoPE key，冗余应当在真正影响路由的那个空间里衡量。度量方式是 Soft-Riesz 密度：候选 key 落在已有 key 的高密度邻域里就说明信息重复，予以拒收；落在稀疏区域则接纳。通过约束状态进入库之后的邻域密度增长，DensityKV 限制了历史的重复累积，同时保留那些真正携带不同状态的片段，且每个 value 与其 key 严格配对。在生成时，这个有界的压缩历史与本地滑动窗口一起被当前帧注意，不需要任何训练或改结构。 auto 实验效果：存储侧的对比最直观：随生成长度增加，检索式的 LongLive-RAG 的持久时序状态是线性增长的，30 秒 32.1 GiB、60 秒 64.3 GiB、120 秒 128.5 GiB；而 DensityKV 与 Deep Forcing 保持有界，120 秒时分别只有 3.28 GiB 和 3.76 GiB——DensityKV 是三者中最低的，且与 rollout 长度无关。质量侧，作者在三个自回归视频生成骨干与多个生成长度上做了评估，结论是在相同的历史 KV 容量上限下，DensityKV 提升了长时程一致性与生成稳定性，同时持久历史存储不随 rollout 增长。作者还在与 LongLive-RAG 对齐的评测协议下报告了 30/60/120 秒的单指标胜率统计，以及 120 秒长度上两组骨干–提示配对的定性对比。 auto 批判点评：把冗余度量放在 post-RoPE key 上是这篇最见功力的一个细节——很多 KV 压缩工作在 pre-RoPE 表示或 value 空间上做相似度判断，但真正决定「这个历史 token 会不会被注意到」的是加了位置编码之后的 key，度量空间和作用空间对齐了，判据才有意义。免训练、每头独立建库这两点也让它作为即插即用组件的门槛很低。可质疑之处主要在评估口径。第一，主要卖点是「有界存储 + 一致性更好」，但 Deep Forcing 同样有界（3.76 vs 3.28 GiB），两者差距其实很小，所以真正的胜负要看质量维度，而质量对比是在「相同容量上限」这个受控前提下给出的相对改善，加上以单指标胜率的形式汇报，读者很难判断绝对差距有多大——胜率高不代表差距显著。第二，密度判据本身是个启发式：Soft-Riesz 密度衡量的是表示空间里的几何拥挤程度，而「表示相近」并不严格等价于「语义冗余」，一个在视觉上关键但恰好落在密集区的状态会被误拒，论文没有分析这种误拒的代价。第三，方法针对的是「循环性内容造成的重复覆盖」，那么在场景持续大幅变化、几乎没有重复的视频上，密度筛选可用的压缩空间理应很小，此时它退化成什么行为、还有多少收益，文中缺少这类不利场景的讨论。 5. CLAP：人类视频也能训机器人世界模型 CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators | 普林斯顿大学 | arXiv:2608.27406 关键词：跨本体,动作条件视频生成,世界模型,latent action,末端执行器位姿,零样本部署,DROID,普林斯顿 前序问题：当前最好的动作条件视频模型基本都被绑在单一机器人本体上，这让它们无法利用互联网上海量的异构视频——那些视频里其实包含了学习可泛化物理规律所需的丰富信号，只是拍摄主体从某型机械臂换成了人手或别的机器人。跨本体学习之所以难，症结在动作表示：不同机器人平台的动作空间差异极大（自由度不同、坐标系不同、抓取方式不同），而人类视频里根本就没有动作标注这回事。于是研究者面临一个两难，要么放弃海量人类视频只用带标注的机器人数据，要么用一个高度抽象的统一表示但丢掉精度。作者的出发点是一个物理上的判断：支配时空动力学的普适物理规律并不关心执行者是谁，所以跨本体的数据本应是可以共用的，缺的只是把异构动作对齐起来的机制。 本文贡献：CLAP 是一个跨本体动作条件视频生成框架，能在人类与机器人混合的互联网规模视频上训练。它先用三种表示来调和不同的动作空间：末端执行器位姿（精度高但需要标注与统一坐标系）、语言指令（对基础模型而言域间差异最小但精度差）、以及 latent action（可从无标注视频里自监督学到）。为了绕开每种表示各自的短板，作者设计了基于课程的跨本体学习配方：第一阶段用 latent action 在大量无标注视频上学基础物理先验，第二阶段再把这些先验落地到末端执行器动作空间，从而支持零样本部署到真实任务。作者把 latent action、课程版、末端执行器版分别做成了模型变体，并开源了全部代码与模型。 auto 实验效果：在 DROID 这类有挑战性的环境里，CLAP 接近或超过了当前最好的单本体视频模型；在 Bridge 这类较简单的域上只有轻微的保真度下降。在混合了多种本体的 OXE-Mix 数据上，latent action 版与课程版取得最高的预测精度，末端执行器版紧随其后。作者强调这些优势会通过少样本适配进一步复合放大——用 CLAP 作骨干微调后，在 G1 人形机器人上实现了高精度的动力学预测；论文也展示了对双臂 YAM 机器人的少样本适配。最终交付的是作者称为迄今最全面的一套动作条件视频世界模型，覆盖三种动作条件空间（末端执行器、语言、latent）与多种机器人形态，包括跨本体、DROID、Bridge、双臂 YAM 与 G1 人形。作者在附录中还主动澄清了几点：CLAP 并非普遍优于单本体模型，偶尔会不如为单一本体定制的模型；也没有哪一种动作表示能普遍胜出。 auto 批判点评：把跨本体的核心难点定位为「动作表示对齐」而不是「模型容量不够」，并且用三种表示各取所长、再用课程把它们串起来，这个设计是有物理直觉支撑的：先在无标注数据上用 latent action 学通用动力学，再用末端执行器位姿把抽象先验锚定到可执行的动作空间，顺序符合「先学规律后学接口」的逻辑。附录里主动写明「不普遍优于单本体模型」「没有单一最优表示」这类结论，在当下的论文风气里是值得肯定的诚实。但仍有值得追问的地方。第一，末端执行器位姿虽然比关节角通用，仍然是个偏「机械臂中心」的表示，用它去描述人手的复杂操作（多指协同、手内调整）必然是降维的，那么第二阶段的落地过程中，第一阶段从人类视频学到的精细动力学有多少能真正被继承下来，论文没有拆解。第二，主要指标是视频预测精度，而世界模型的最终价值在于能否支撑决策——预测得像不代表推演得对，如果没有下游策略学习或规划任务上的对照，「zero-shot physical simulator」这个说法是超出证据范围的。第三，Bridge 上的保真度下降虽然被描述为轻微，但它暴露的是跨本体学习的固有代价：容量被分摊到多个域，简单域上不如专用模型，这个 trade-off 在什么规模下会翻转，值得给出定量的规模分析。 6. Manifold4D：几何信息注入初始噪声而非条件 Manifold4D: Denoising on Point Cloud Rendered Manifolds for Video Re-shooting | 浙江大学 + Manifold Tech + 上海科技大学 + 剑桥大学 | arXiv:2608.28174 关键词：视频重拍,相机轨迹控制,flow matching,噪声流形,点云渲染,4D 重建,浙江大学,剑桥大学 前序问题：视频重拍要做的事是：给一段单目视频和一条用户指定的相机轨迹，把这段动态场景沿新轨迹重新渲染出来。主流做法是把目标几何显式地喂给网络——用逐帧深度把源视频抬升成 4D 点云，再沿目标轨迹光栅化成一张点云渲染图。问题出在这张渲染图和源视频被同时当作视觉条件送进网络：它们在每一个去噪步骤上互相竞争，模型被迫面对一个「信任困境」——该信渲染图几分？渲染图携带正确的目标视角几何但通常稀疏、有空洞、动态主体容易糊；源视频有完整的外观与运动但视角是错的。训练分布内还能靠数据学出一个折中，一旦遇到分布外的数据，这个折中就会失衡，表现为要么轨迹控制不准（太信源视频），要么画质崩坏（太信渲染图）。 本文贡献：作者的主张很干脆：一张已经与目标视角像素对齐的渲染图，压根不需要作为显式的条件流被送进网络。Manifold4D 把渲染图直接注入 flow matching 的初始噪声——生成不再从标准高斯噪声出发，而是从一个携带几何信息的新噪声流形出发，源视频因此成为唯一的视觉条件。这样一来渲染图恰好被使用一次，网络也从来不需要学习「怎么读懂这张渲染图」；在后续的每个去噪步骤里，模型可以专心处理源视频。具体流程是：由单目视频重建 4D 点云并沿目标轨迹渲染，渲染结果的 VAE latent 被注入噪声并 patchify 成 token，源视频同样编码成 token，两者在帧维度拼接后连同编码后的相机轨迹一起送入 DiT 去噪。作者还构建了 DAVIS-Traj 基准用于评测。 auto 实验效果：在自建的 DAVIS-Traj 基准和 Vista4D 评测集上，Manifold4D 在所有相机控制指标上都取得最好成绩：旋转误差分别降低 25% 和 27%，平移误差最多降低 32%，同时在视频保真度上与最强基线持平，并在真实场景的新视角光度质量上领先。用户研究显示它在轨迹跟随与动态一致性上有明显优势。两个补充实验支撑了它的核心主张：一是当偏航幅度超出训练范围时，它与基线的差距进一步拉大，说明这种几何注入方式的外推性更好；二是当刻意破坏渲染图（去掉运动掩码，让所有帧的动态点堆叠在一起把主体糊掉）时，模型仍能从源视频里恢复出正确的运动——这证明几何先验起的是引导作用，而不是压制生成。 auto 批判点评：这篇的核心洞察相当漂亮，而且是那种一旦说出来就显得理所当然的洞察：条件流的作用是给网络提供「需要被理解和转换」的信息，而一张已经和目标视角像素对齐的渲染图不需要被理解，它需要的只是被作为起点。把它挪到初始噪声里，等于把一个「网络得学着去信任多少」的软决策，换成了一个「先天就在那里」的硬约束，信任困境就此消失。两个验证实验也设计得很到位——外推区间差距拉大证明了几何先验的泛化性，故意破坏渲染图仍能恢复运动则证明了它没有过度依赖先验，一正一反把「引导而非覆盖」这个说法钉住了。需要注意的边界是：整套方法建立在「渲染图与目标视角像素对齐」这个前提上，而这个对齐完全依赖前置的深度估计与 4D 重建质量；深度出系统性错误时，错误会被直接编码进初始噪声，而此时网络甚至没有一个条件通道可以用来纠偏——鲁棒性实验破坏的是动态主体的清晰度（糊），并没有测试深度尺度或结构性错误这类更致命的失效。其次，视频保真度只是与最强基线持平，收益集中在相机控制精度上，读者不应把它理解为画质也更好。第三，DAVIS-Traj 是作者自建的基准，虽然同时在 Vista4D 上做了验证，但主基准自建这件事在轨迹幅度分布的选择上天然存在有利于自己方法的空间。 7. GeoNeXt：深度法向重写成下一帧预测 Video Generative Models as Geometry Learner | 萨里大学 + 帝国理工学院 | arXiv:2608.28549 关键词：单目深度估计,表面法向,视频扩散,几何先验,数据高效,零样本,ECCV,萨里大学 前序问题：用生成模型做几何估计现在有两条常见路径，各有各的浪费。第一条是拿现成的图像扩散模型分别为深度和法向训练任务专属模型，每个几何目标一个模型，这样做丢掉了一件本该利用的事——深度和法向在几何上是强相关的（法向可以由深度的梯度导出），分开训练等于放弃了联合建模的机会。第二条是改造图像扩散骨干（比如动自注意力结构）做联合微调，这条路能共享表示，但代价是通常需要大量标注数据，而带真值几何标注的数据本身就贵。作者认为这两条路的共同局限来自骨干选错了：图像扩散模型的先验是单帧的，而几何估计本质上需要跨视角、跨帧的结构化理解，这恰好是视频生成模型在预训练中天然获得的东西。 本文贡献：GeoNeXt 把预训练视频生成模型重新用作几何估计的统一且数据高效的框架，关键在于把任务创新性地表述成「下一帧预测」：图像和几何目标被放在同一个时间序列的不同槽位上，于是「从图像推几何」和「从几何推图像」都变成视频模型最擅长的那件事——预测序列的下一段。具体实现上，从预训练的 Stable Video Diffusion 出发，用冻结的 Stable Diffusion VAE 把 RGB 图像、深度、表面法向分别编码进隐空间；加噪时把图像 latent 复制到深度与法向这两个几何槽位，并通过拼接几何 latent 做进一步条件化；只微调 GeoNeXt U-Net（跳过 cross-attention），训练目标是图像、深度、法向三项重建损失之和。这样模型既继承了视频模型天然结构化的知识与更丰富的先验，又能联合建模图像与几何两个方向。 auto 实验效果：在多个数据集上的零样本单目深度与表面法向估计实验中，GeoNeXt 同时超过了此前的任务专属生成方法和统一生成方法，而且用的训练数据显著更少。更值得注意的是它与判别式方法的对比：论文称其性能可与那些多用了 100 倍以上数据训练的判别式 SOTA 方法相媲美，在若干基准上甚至更为突出。定性结果方面，作者展示的跨数据集深度对比显示 GeoNeXt 对精细结构的重建更好，法向对比则显示它产生的法向更准确、细节更多，能有效捕捉细小几何结构与表面朝向。整体上论文的卖点是数据效率——同等或更好的效果，训练数据少一到两个数量级。 auto 批判点评：「几何估计其实是个序列预测问题」这个重构是这篇的核心贡献，也是它数据效率高的原因所在——它没有让模型从头学几何，而是把几何塞进了模型已经很擅长的那个任务形式里，于是预训练里积累的时空结构先验可以直接复用。把图像 latent 复制到几何槽位这个细节也很聪明：它给了模型一个「几何应当与图像空间对齐」的强初始化，而不是让它从噪声里猜。真正的局限在于代价与定位。第一，视频扩散骨干比图像扩散骨干重得多，推理成本必然更高，而深度估计在实际应用里往往是实时或近实时的需求，论文若不给出与判别式方法的推理开销对比，「相媲美」这个结论在部署视角下是不完整的——用 100 倍少的数据换 N 倍的推理时间，是否划算取决于场景。第二，与判别式 SOTA 的关系被表述为「rivals」并在部分基准领先，这意味着并未全面超越，读者应把这篇的价值定位在数据效率而非绝对精度。第三，深度与法向的联合建模被当作卖点，但论文（从摘要层面）没有量化这种联合到底贡献了多少——如果单独训练两个 GeoNeXt 也能达到接近的效果，那「利用几何目标内在相关性」这个动机就削弱了，一个联合 vs 分离的消融是必要的。 8. ATA：单张参考图学出可加减属性向量 Attribute Token Arithmetic: Disentangled and Continuous Semantic Control for Visual Autoregressive Models | 莫纳什大学 | arXiv:2608.28082 关键词：视觉自回归,属性解耦,连续语义控制,向量算术,VAR,单图学习,免重训,莫纳什大学 前序问题：自回归文生图最近进展很快，用一个统一的生成框架就能做出高保真图像，但细粒度语义控制一直不好做，原因有两个：属性之间是纠缠的，以及文本表示和细粒度视觉表示之间存在错位。具体表现是你想让猫「胖一点」，改了提示词之后猫可能连品种和身份都变了；你想控制「胖」的程度，语言又给不出连续的刻度——「a fat cat」和「a very fat cat」之间没有可靠的插值。已有的自回归编辑方法要么需要重训模型或大规模监督，要么只能做离散的、整体性的替换，不能做「把这一个属性沿一条轴连续推一点」这种操作，更做不到把多个属性各自独立地叠加上去。 本文贡献：ATA 的灵感来自词嵌入里那个经典的向量算术性质：既然语义在嵌入空间里可以加减，那视觉属性也许可以。方法在预训练自回归模型的隐空间里直接找出对应视觉属性（论文举的例子是变老、变胖、情绪）的语义方向，而且这些方向只需从单张参考图学得，不需要重训模型也不需要大规模监督。做法上，给定一张参考图和一对语义只差一个属性的提示词（比如「A fat cat on the ground」与「A cat on the ground」），ATA 学出两个语义方向，并通过一个 Delta-Mod 模块把学到的方向加到 cross-attention 里对应的 VAR 对齐文本 token 上——关键是加到属性 token（「fat」）而不是身份 token（「cat」）上。生成时属性就可以通过与其他属性 token 的简单算术运算被连续调节与组合式叠加。 auto 实验效果：实验显示 ATA 实现了保持身份的、细粒度的、多属性同时调节的编辑效果，在可控性、通用性和计算效率三方面都优于已有的自回归编辑基线。作者展示的能力包括：连续调节单个属性强度并可将两个属性依次增强；跨类别的属性迁移——把「苹果形状」这个属性施加到「蛋糕」上时，ATA 是让蛋糕逐渐变成苹果形状的蛋糕，而基线方法直接把蛋糕变成了苹果，把原本定义在斯芬克斯猫上的「Sphynx」属性迁移到羊身上也能得到渐变的无毛效果；身份与属性的组合性——从三张参考图提取身份方向后与眼镜、帽子、项链、雾等属性方向自由重组，身份保持不变。消融实验支撑了「加到属性 token」这个设计：把方向优化到身份 token「cat」上会改变主体身份，加到与属性无关的 token「ground」上则完全不产生变胖效果。 auto 批判点评：这篇最有说服力的部分是那个消融：把方向加到「cat」会改身份、加到「ground」什么也不发生、只有加到「fat」才既变胖又保身份——这三条对照直接证明了语义方向的作用位置是可定位、可解释的，而不是碰巧调出来的效果。跨类别迁移那组结果也很能说明解耦的质量：基线把蛋糕变成苹果，ATA 变成苹果形状的蛋糕，前者是把属性当成了类别替换，后者才是真正把「形状」这一维从「是什么东西」里剥离出来。单张参考图、免重训这两点也让实用门槛很低。局限主要在适用范围。第一，方法绑定在视觉自回归（VAR）这一类模型的「VAR 对齐文本 token + cross-attention」结构上，是否能迁移到扩散类主流模型并不显然，而当前工业界的图像编辑主力仍是扩散模型，这限制了影响面。第二，整套机制依赖「提示词对里的差异恰好对应一个可分离的视觉属性」，那些语言上难以用单个 token 差异表达的属性（复杂光照、特定构图、多物体空间关系）恐怕找不到干净的方向，论文自己也保留了一张 limitations 图。第三，对比对象限定在自回归编辑基线，没有与更强的扩散类编辑方法同台，「优于已有方法」的适用范围应当按这个口径理解。 9. VATIX：9B驾驶视频模型的规模律实测 How Far Can 5,500 Hours of Driving Take You? A Scaling Law Analysis of Video Diffusion Models | valeo.ai + 索邦大学 | arXiv:2608.28404 关键词：规模律,视频扩散,自动驾驶,固定数据集,训练预算分配,nuScenes,开源SOTA,valeo.ai 前序问题：自动驾驶的视频生成走不通网络规模那条路：驾驶数据采集昂贵、受隐私法规约束、也不能随便抓取，所以模型必须在一个固定语料上把价值榨干。这就使得「算力该怎么花」变成一个真问题而不是学术趣味——同样的预算，是拿去把模型做大，还是拿去训得更久？还需不需要再采数据？在网络规模数据的语境下这些问题往往被「加数据就好」掩盖过去，但在固定语料的约束下必须正面回答。此前领域内缺少针对驾驶视频扩散模型、从零训练、覆盖足够宽参数区间的系统规模律研究，从业者只能凭直觉分配预算。 本文贡献：作者做了一次系统的规模律研究：从零训练一族参数量从 1M 到 9B 的视频扩散模型，在最多 5,500 小时的驾驶数据上按不同曝光量训练，观察验证损失如何随模型规模与训练曝光变化。模型架构是标准的 flow matching 视频 DiT：视频 latent 由 Wan encoder 编码后加噪，经 N 个 transformer 块处理，每块含空间注意力、时间注意力与 MLP，全部由 AdaLN 调制；时间步 t 与自车轨迹的 25 个 BEV waypoint 分别用正弦特征嵌入并各过一个 MLP，相加后切成 scale 与 shift 两份用于调制，输出是速度（v-prediction）。也就是说轨迹条件是通过调制通路而非 cross-attention 注入的。作者开源了代码与预训练模型，底层驾驶数据由 NATIX 分阶段单独发布。 auto 实验效果：验证损失在模型规模与训练曝光两个维度上都呈现一致的幂律。最实用的一条结论是两者的敏感度不对称：损失随训练曝光下降得远比随模型规模下降得快，因此在算力受限时，把预算投给更长的训练是提升一个固定模型最有效的方式；但更大的模型仍然能达到更低的渐近损失，所以当算力足够时，计算最优的扩展方向依然是把模型做大。基于这套分析作者训了一个 9B 参数模型，据其所知是在驾驶数据上从零训练的最大视频扩散模型，并在 nuScenes 上刷出了驾驶视频生成的开源新 SOTA。定性方面，5 秒生成的对比显示：20M 以下的小模型能抓住整体场景布局但很快跨帧丢失物体一致性；135M 的基础模型对场景理解更好（比如能正确预测车辆正在左转），但在更长时程上难以维持连贯动态；1.1B 模型进一步改善画质与场景结构，却仍有时间不一致并在约 2.5 秒后开始崩坏。 auto 批判点评：这类工作的价值不在方法新意而在把从业者的直觉换成可查的曲线，而且它选的约束条件——固定语料、不能靠抓数据解围——正是自动驾驶、医疗影像这些受限领域的真实处境，因此结论的可迁移性比在网络规模数据上做的规模律更强。「曝光的边际收益大于参数量、但大模型渐近更低」这个不对称结论也很有操作价值：它把「小算力延长训练、大算力放大模型」这条分界线画了出来。诚实之处在于定性结果没有粉饰，直接写明 1.1B 模型在约 2.5 秒后就开始崩坏。需要保留的疑问有三点。第一，所有规模律结论都建立在验证损失上，而扩散模型的验证损失与人类感知质量、下游可用性之间的相关性并不牢固——损失继续下降不一定换来更长的时间一致性，这恰好是驾驶视频最关键的属性，论文若能给出「损失 vs 崩坏时长」的对应关系会有力得多。第二，5,500 小时这个上界本身就是结论的边界：所有关于「还需不需要更多数据」的判断都是在这个尺度内的外推，超出后曲线是否仍成立无从检验。第三，架构是固定的单一族系（Wan encoder + AdaLN 调制的时空注意力块），而规模律对架构选择是敏感的，把轨迹通过 AdaLN 调制注入而非 cross-attention 也是一个具体选择，换一种条件注入方式时这些幂律的系数能否保持，文中未作讨论。 10. CommerceVibe：电商创意生成HTML而非像素 CommerceVibe: Learning to Design E-Commerce Creatives as Executable Visual Code via Dual-Feedback Reinforcement Learning | 同济大学 + 阿里巴巴 | arXiv:2608.27893 关键词：电商创意生成,可执行视觉代码,HTML/CSS 合成,双反馈强化学习,GRPO,VLM 评判,阿里巴巴,同济大学 前序问题：高质量电商创意图是展示商品和传达营销信息的关键。扩散模型让创意生成变得可规模化，也能产出视觉上很好看的图，但落到实际投放前总要返工，原因很实在：文字会畸变、商品细节不一致。更麻烦的是产物形态——扩散模型输出的是一张压平的位图，没有显式结构，因此难以编辑与复用，改一个价格数字都得重新生成整张图。还有第三个障碍在训练侧：电商创意的设计要求往往是复合的、带硬约束的（文字必须清晰可读、商品必须可见不被遮挡、版式必须合法），这类要求很难被编码成可验证的训练信号，而没有可验证信号就没法做有效的强化学习。 本文贡献：CommerceVibe 换掉了产物形态：把创意表示为可执行的视觉代码，生成任务因此被表述成条件化的 HTML/CSS 程序合成。给定商品图、设计要求和商品信息，它产出可渲染、可编辑、可复用的创意。为了让复合设计要求变成训练信号，作者提出双反馈强化学习：一路是基于规则的反馈，对渲染后的程序检查文字可读性、商品可见性和版式合法性——这些都是渲染完就能机械判定的硬指标；另一路是来自视觉语言模型的视觉反馈，从六个感知与商业维度评判渲染出的创意是否符合输入规格。两路信号互补，前者管约束满足，后者管依赖感知的质量。训练流程是先用超过 28,000 条电商样本对 Qwen3.5-9B 做监督微调建立基础创意能力，再用双反馈奖励通过 GRPO 做强化学习优化策略，最终一次推理直出创意。 auto 实验效果：在 1,300 例的基准上，优化后的 CommerceVibe 拿到 94.0/100 的加权分，而只做监督微调的版本是 87.3，也就是说双反馈强化学习贡献了约 6.7 分的提升，同时优于若干强外部模型。作者还请了五位电商设计专家做盲评，结果进一步验证了这些改进——这一点比自动指标更关键，因为规则分和 VLM 打分都可能被针对性优化，而人类专家的盲评是相对独立的检验。细粒度结果按 1,140 例单图与 160 例多图两类分别报告了检测器级别的规则子分和 VLM 评判各维度的评分。定性对比里作者用不同颜色的轮廓标出了文字、商品、版式、VLM 四类代表性问题的位置，未被识别出问题的类别则打绿勾。 auto 批判点评：把创意从位图改成 HTML/CSS 是一次典型的「换表示解决一类问题」：文字畸变消失了，因为文字是真的文字而不是画出来的像素；可编辑性有了，因为产物本来就是结构化代码；更妙的是它顺手解决了强化学习最缺的那件东西——可验证的奖励。渲染完的程序可以用检测器机械地判定文字是否可读、商品是否被遮挡、版式是否越界，这些硬约束在像素空间里很难可靠判定，在代码+渲染的组合里却是现成的。双反馈的分工也合理：规则管能判定的，VLM 管只能感知的。可质疑的地方集中在评估与边界。第一，奖励里有 VLM 打分，而基准的加权分很可能也包含 VLM 判定维度，这就存在训练信号与评测指标同源的隐患——94.0 这个分数有多少来自真实质量提升、多少来自对评判器偏好的拟合，需要更强的隔离设计，专家盲评是好的补充但只有五人。第二，HTML/CSS 表示的表达力有天花板：它擅长版式、文字与图层合成，但那些需要像素级生成的创意元素（商品与背景的自然融合、光影一致、艺术化质感）不是 CSS 能表达的，因此这套方案更准确的定位是「可编程版式合成」而非通用创意生成，与扩散模型是互补关系而非替代。第三，1,300 例基准与 28,000 条训练样本都来自同一电商生态，品类分布、审美规范高度同质，跨平台或跨文化的泛化能力没有证据支撑。 趋势观察 世界模型开始把「状态」从像素里拆出来，交给代码托管 — 今天最值得读的一篇工作提出了一个有点反直觉的分工：世界的演化规则不要让视频模型去学，交给会写代码的语言模型；视频模型只负责把状态渲染成好看的画面。Code World Model 让 coding agent 充当「世界大脑」，把事件与后果推理成可执行代码，代码维护一份持久化的世界状态，状态再被编译成一段粗糙的 proxy 视频去条件化视频模型。这个拆法直指纯视频世界模型的老毛病——视频只呈现「结果」，不承载「规则」，所以模型很难保证「我刚才砸碎的花瓶下一帧还是碎的」。把状态搬进代码后，持久性由程序保证而不是靠模型记性。同一天的 CLAP 从另一侧呼应：它用末端执行器位姿、语言指令、latent action 三种表示把人类视频和多种机器人本体统一到一个动作空间，让世界模型能吃下互联网规模的异构视频。两条路线的共同判断是：世界模型要往前走，得先把「动作/状态的表示」这件脏活干干净。 长视频一致性的战场已经从「窗口多大」转向「记什么、记在哪一层」 — LayerRecall 和 DensityKV 是今天最像一对的两篇，都在攻自回归视频扩散的历史记忆，但切入点完全不同。LayerRecall 的观察是：video DiT 的不同层对「当前/近期/远期」上下文的偏好并不一样，所以长程记忆是个双重决策——检索哪些历史 K/V，以及注入到哪几层。它只往少数「记忆敏感层」注入，其余层保留原来的 sink + 滑窗注意力，因此几乎零推理开销还能跨骨干迁移。DensityKV 则完全免训练，用 post-RoPE key 的 Soft-Riesz 局部密度判断新状态是否冗余：密度高就拒收，从而把持久历史存储限死在与 rollout 长度无关的常数上——120 秒生成时 LongLive-RAG 要 128.5 GiB，DensityKV 只用 3.28 GiB。两篇加在一起说明一件事：「无限长视频」这个目标的瓶颈已经不是注意力算得多快，而是历史怎么以有界代价被有选择地保留。 效率研究出现一波「回头验旧基线」的反思，结论不太体面 — 微软那篇《Sliding-window beats linear attention》标题就把结论说完了：带 sink 的滑动窗口注意力在多个 LLM、多个下游任务上打平或打赢经过 post-training 的线性注意力模型；在 Needle-in-a-Haystack 和 BABILong 这类长上下文推理上，SWA 高出 2 到 10 倍，而且它压根不需要 post-training。作者的批评相当直接——线性注意力这条线一直没有和足够简单的基线做过公平对比。这类工作在今天的效率研究里越来越重要：当一个方向在自己的评测里连年进步，却从未被最朴素的对照组挑战过，进步就可能是评测协议的产物。同一天 DensityKV 也是免训练路线，两篇一起构成一个信号：先把最便宜的方案做到位，再谈复杂改造。 视频生成模型正被反过来当作几何与物理的通用先验 — GeoNeXt 把单目深度与法向估计重写成「next-frames prediction」，直接复用预训练视频生成模型，理由是视频模型天然携带结构化的时空先验，比图像扩散模型更适合联合建模「图像↔几何」，实测能用远少的数据打赢那些多训 100 倍数据的判别式方法。Manifold4D 的思路更巧：视频重拍任务里点云渲染图和原视频作为两路条件会互相打架，模型不知道该信谁多少，于是它干脆不把渲染图当条件，而是注入到 flow matching 的初始噪声里——生成从一个「带几何信息的噪声流形」出发，渲染图只被用一次，网络也不必学会怎么读它，旋转误差因此降了 25% 与 27%。这两篇的共性是把视频生成模型当成基础设施而不是终点产品：它提供先验，任务只是换个输出头或换个注入位置。 人工智能炼丹君 整理 | 2026-09-01 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-08-31|复旦GameWAM同时生成画面和键鼠动作 今日 AIGC 论文速览 今日共 10 篇 · 世界模型与动作生成 2 篇 · 生成模型推理加速 2 篇 · 3D 资产生成与程序化建模 1 篇 · 视频与图像编辑一致性 2 篇 · 语音与实时交互 2 篇 · 世界模型评测 1 篇 重点论文标题列表 GameWAM（复旦大学 + LIGHTSPEED + 清华大学深圳国际研究生院）：首个能闭环玩游戏的世界动作模型 WALL-SS（自变量机器人 (X Square Robot)）：有界显存跑出分钟级流式推演 ClusterAttention（独立研究者）：无结构输入单次前向也能免训练加速 Procedura（南京大学）：把物体写成带装配约束的程序 MMLVE-Agent（南开大学 VCIP + 腾讯在线视频 BU）：全局记忆卡守住跨镜头编辑一致 今日论文速览 1. GameWAM：首个能闭环玩游戏的世界动作模型 GameWAM: A World Action Model for Video Games | 复旦大学 + LIGHTSPEED + 清华大学深圳国际研究生院 | arXiv:2608.26200 关键词：世界动作模型,游戏智能体,flow matching,块因果条件,键鼠控制生成,LASI,复旦,LIGHTSPEED 前序问题：游戏这个场景把两条原本分开的技术路线逼到了同一张桌子上。一边是游戏智能体：它们把画面和任务描述直接映射成动作，能玩但没有对世界如何演化的显式建模，一旦遇到需要预判后果的操作就只能靠模仿数据里的条件反射。另一边是交互式游戏世界模型：给定动作它能预测出相当逼真的未来画面，但它本身不是策略——没人告诉它该按哪个键，它就只是个渲染器。World-Action Model（WAM）的想法是把两者合成一个模型，让它同时输出「会发生什么」和「该做什么」。但游戏对 WAM 特别不友好：第一人称视角意味着画面变化极快，世界状态又要长期保持（挖到的矿、合成的物品不能凭空消失），更麻烦的是控制方式异构——游戏内是连续的鼠标视角移动，切到 GUI 界面又变成离散的点击拖拽，两套动作分布混在一条轨迹里。 本文贡献：GameWAM 是作者所称的首个面向原生闭环游戏与 GUI 控制的 WAM。核心是让视觉与动作两条生成流并行跑：Causal Video DiT 与 Causal Action DiT 通过 joint attention 耦合，在块因果（block-causal）条件下用 flow matching 同时生成未来观测和可执行的键鼠轨迹，两者共享同一段干净的因果前缀，而同时被加噪的未来视觉与动作 token 互不作为条件，避免用噪声去预测噪声。针对异构控制，模型在每个动作步先预测一个 gameplay/GUI 模式标签，再用模式专属的预测分布生成动作，并对连续动作做归一化，从而让一套模型同时驾驭「连续视角移动」和「离散界面点击」。长时程交互靠 block-cycle 控制：每轮预测超出实际执行范围的动作块，但只执行开头一小段前缀，然后从新观测重新规划；轮内用细粒度上下文、跨轮用分层历史压缩来维持时间连续性。训练数据是作者自建的画面与动作严格同步的 gameplay + GUI 轨迹集。 auto 实验效果：在 ViZDoom 与 Minecraft 类任务上，GameWAM 达到与对比智能体相当的任务成功率，但执行的原生动作数量更少——这说明它的动作更「有目的」，而不是靠高频试错凑出结果。作者展示的闭环 rollout 里有一个值得注意的行为：在「用工作台合成发射器」任务中模型中途放错了材料，观察到 GUI 状态变化后又调整了合成格配置并最终完成目标，即从画面反馈中做出了错误恢复，而这正是「有世界模型」相比纯反射式策略应该带来的能力。论文另一个反向贡献是揭示了 Low-Frequency Action Source Imprinting（LASI）：在条件固定不变时，采样动作所用噪声源的低频分量会系统性地带偏生成出的粗粒度镜头运动，也就是说「按了什么键」部分取决于随机种子长什么样。 auto 批判点评：把视觉与动作放进同一个生成过程、并用块因果掩码严格区分「可作为条件的干净前缀」和「同时被加噪的未来」，是这篇方法上最干净的部分，模式标签 + 模式专属分布也是处理异构控制的务实解法。真正让这篇论文有分量的反而是 LASI 这个负面发现：它把「生成式控制」的一个结构性隐患摆到了台面上——当动作本身来自采样，噪声的低频成分就变成了一个隐藏的控制信号，这意味着同一套条件在不同种子下会输出系统性偏向不同的镜头运动，对需要可复现性的评测和部署都是麻烦事。局限也需要点明：一是任务集集中在 ViZDoom 与 Minecraft 这类视觉相对简单、动作空间有限的环境，现代 3A 游戏的画面复杂度与状态持久性远超此范畴，声称的「原生闭环」还需要更硬的场景检验；二是「更少动作数」是个双刃指标，既可能意味着规划更好，也可能意味着模型倾向保守、放弃了需要密集操作的路径，论文没有拆开这两种解释；三是 block-cycle 只执行短前缀就重新规划，本质是用高频重规划掩盖长时程预测的漂移，代价是每轮都要重跑生成，实时性与算力开销在文中讨论不足。 2. WALL-SS：有界显存跑出分钟级流式推演 WALL-SS: Scaling Long-horizon World Models via Next-Scale Autoregression | 自变量机器人 (X Square Robot) | arXiv:2608.26239 关键词：世界模型,下一尺度自回归,长时程流式生成,尺度压缩记忆,on-policy对齐,机器人仿真,自变量机器人 前序问题：生成式世界模型对机器人的价值在于「不用真机就能试」——仿真、规划、策略评估都指望它。但要真正可用，它必须同时满足几个彼此矛盾的要求：动作与后果要对得上（给一段抓取轨迹，画面里的夹爪就得真的跟着走）；时长要可变且能持续接下去（不能只会生成固定 5 秒片段）；还要能被奖励直接优化（否则无法用强化学习闭环）。当前主流的视频扩散路线在这三点上都别扭：它以 clip 为单位迭代去噪，天然是「一段一段」的，续接时要么重新条件化、要么显存随长度线性膨胀；动作通常作为一个全局条件塞进 cross-attention，与具体时刻的状态转移关系松散；而扩散的似然不可直接计算，奖励优化只能绕道。长时程还有个更隐蔽的问题：模型训练时看的是真实历史，推理时看的是自己生成的历史，这种分布偏移会让误差沿时间累积成漂移。 本文贡献：WALL-SS 把具身轨迹表示成「观测与动作时间交错」的因果序列，让动作依赖的状态转移显式化，同时天然支持变长生成、通过复用因果状态做流式续接、以及借序列概率直接做优化。每一帧未来观测采用由粗到细的 next-scale 自回归生成（而非全帧去噪），并在这个尺度层级上搭了三个互补组件：一是动作条件的下一尺度预测，把与尺度对齐的动作表征注入各级，既建模成功行为也建模失败行为；二是尺度压缩的长时程记忆，近期交互保留在细尺度、远期观测与动作被压缩到粗尺度，配合 scale-wise dream forcing 提升对自生成上下文的鲁棒性；三是 on-policy 对齐，用「动作跟随」与「长期一致性」两个奖励优化自回归视觉动力学，同时以参考 KL 与 AR replay 约束住预训练视觉分布不被 PPO/GRPO 带崩。训练数据涵盖异构机器人与 UMI 手持采集示范。 auto 实验效果：在动作跟随与轨迹精度上 WALL-SS 优于所比较基线，并能在有界显存下跑出连贯的分钟级流式 rollout。作者给出的定量证据里最有说服力的是长时程流式跟随实验：在包含接触密集的倒水阶段的单次连续 rollout 中，逐帧的轨迹跟随误差全程保持在画面对角线长度的 0.5% 以内。与 Wan2.1-1.3B、Wan2.2-14B、Infinity-8B 的定性对比取 5s/30s/60s 三个时刻：三个基线在 30 秒后陆续出现任务目标丢失或物体消失（图中红框标出），WALL-SS 在 60 秒时仍保持分拣与倒水任务的物体与容器关系正确（绿框）。此外闭环校准实验显示，生成 rollout 与真机 rollout 的任务成功率呈线性相关，说明它可以当作策略评估的代理。 auto 批判点评：把「动作—观测交错的因果序列」作为一等表征，是这篇论文最值得借鉴的设计决策：它一次性解决了变长、流式、可优化三件事，而扩散路线要靠三套补丁分别应付。尺度压缩记忆也比「均匀降采样历史」更符合直觉——远处只需要知道大概布局，近处才需要细节。不过要冷静看几点：一是 60 秒、有界显存这类数字来自作者自建设定，基线选的是通用视频生成模型（Wan、Infinity）而非专门的机器人世界模型，比较口径对自己有利；二是 on-policy 对齐用的奖励（动作跟随、长期一致性）本质是自监督代理指标，优化它未必等于提升下游策略的真实成功率，论文的闭环校准只给了相关性、没有给出「用 WALL-SS 评估选出的 checkpoint 在真机上确实更好」的因果链条；三是团队署名为「X Square Robot Team」，贡献者列表在附录，机构信息公开度较低，复现与代码可用性需实际验证；四是分钟级 rollout 的显存有界是靠远期压缩换来的，被压掉的信息一旦在后续需要精确复现（例如回到之前的桌面重新抓取同一物体），一致性能否维持是未验证的。 3. ClusterAttention：无结构输入单次前向也能免训练加速 ClusterAttention: A training-free speedup of bidirectional attention | 独立研究者 | arXiv:2608.26965 关键词：稀疏注意力,免训练加速,递归聚类,块稀疏,质心补偿,TabPFN,Wan2.1视频生成 前序问题：稀疏注意力要做到免训练可用，现有方法几乎都要借某种外部结构：语言模型借 token 的顺序性（近处更相关），图像与视频借空间邻近（相邻 patch 更相关）。一旦输入本身没有这类结构——比如表格数据里行与行之间没有顺序、没有邻近关系——这些先验就全部失效。另一条路是先聚类再稀疏，但聚类本身很慢，只有在多次前向之间摊销才划算；对单次前向的场景（一次推理就结束）这个开销无法回本。于是「无结构输入 + 单次前向」这一格长期空着。还有一个被普遍忽略的问题：稀疏注意力的误差究竟由什么决定，业界大多靠经验调阈值，缺少可以指导设计的解析结论。 本文贡献：ClusterAttention 用一个随每个注意力头的 key/query 几何自适应的快速递归聚类替代慢速聚类，并做了一个工程上很聪明的取舍：让所有簇的尺寸固定为 2 的幂次。这样块稀疏注意力在 GPU 上每次 query-key 交互的延迟与稠密注意力持平，省下的算力才能真正兑现为端到端加速（否则不规则块会被 kernel 效率吃掉）。理论侧作者推导了稀疏注意力输出误差的表达式，用它解释了一个反直觉的实验现象——紧致的簇有时误差反而比随机簇更大；接着推导了当被排除的簇通过其质心做补偿后的误差，证明这个误差随簇越紧而越小，于是把质心补偿（striped compensation）并入方法，让「聚类做得越好、精度越高」这个本该成立的关系真正成立。 auto 实验效果：在大规模表格数据上，ClusterAttention 把 TabPFN-3 加速 2 到 6 倍，同时保留至少 99% 的稠密精度；作者称这是首个能在「无结构输入 + 单次前向」设定下成功应用的免训练方法。在视频生成上，用 Wan 2.1-14B T2V 做测试，相比专门为该领域开发的 SVOO，ClusterAttention 既取得更接近稠密注意力的输出、又拿到更大的加速比（1.8 倍对 1.4 倍），且两者都在无离线校准的条件下运行。延迟-失真的帕累托前沿图显示，在余弦相似度 0.99 这条线上，ClusterAttention 与 SVOO 的耗时差出接近一个数量级，且在 2072/3500/5306 三种分辨率下趋势一致。 auto 批判点评：这篇的方法论姿态比它的绝对数字更值得注意：先把误差写成解析式，再用它解释反直觉现象、进而设计补偿项，这条链条比大多数「调出一个好阈值」的稀疏注意力工作扎实得多，而「簇尺寸固定为 2 的幂次以对齐 GPU kernel」也是把理论加速真正落成墙钟时间的关键工程细节。需要保留判断的地方不少：一是作者为独立研究者、无机构背书，论文中的 TabPFN-3 与 Wan 2.1 实验规模有限（视频侧仅 5 个 prompt），结论的稳健性有待更大规模复现；二是视频生成的评价主要用与稠密输出的余弦相似度和延迟，而非 VBench 这类感知质量基准，「更接近稠密」不完全等于「人看着更好」；三是方法只针对双向注意力，对因果注意力（自回归 LLM/视频）不适用，而后者恰是当下最耗算力的场景；四是全文没有框架图，机制描述依赖文字与曲线，读者要理解递归聚类的具体形态需回到公式，这在工程复现时会增加成本。 4. Procedura：把物体写成带装配约束的程序 Procedura: Agentic 3D Modeling with Procedural Control | 南京大学 | arXiv:2608.26238 关键词：3D生成,程序化建模,LLM智能体,装配图,机器可校验配合,URDF articulation,南京大学 前序问题：原生 3D 生成器现在从一张图就能恢复相当不错的网格几何，但产物拿到实际生产流程里几乎立刻卡住，原因有三：本该锐利的机加工边缘在密集网格里是软的；网格是一整坨、没有部件分解，想单独换个轮子都做不到；更根本的是它没有暴露任何用户可以修改的参数——用户能做的只有重新生成，而不是编辑。这对工业设计、游戏资产、机器人仿真都是硬伤，因为这些场景要的不是「一个好看的形状」，而是「一个结构清晰、可改、可仿真的资产」。已有的 3D-代码路线尝试用程序表示形状，但多数是直接生成脚本或把文本翻译成一串构造命令，部件语义靠事后打标签补，装配关系并没有被当作一等对象。 本文贡献：Procedura 走的是「3D 形状即代码」的路线，并把关键约束前移到了装配层。给定文本提示，智能体先合成一张参考视图，然后跑三个阶段：Planning 阶段把物体分解成一张装配图，图上的节点是命名部件、边是带类型且机器可校验的配合（mate）；Procedural Modeling 阶段逐个部件写 3D 程序，每个部件的位置不是「猜」出来的，而是从配合坐标系解算出来的，并且只有在编译检查、配合检查、连通性检查三项都通过后才被接受进装配体；随后一个解耦的视觉 critic 每次只针对一个诊断出的问题做修复，避免多处同时改动引入新错误。生成时的动态上下文把三样东西打包进一条生成消息：装配参考（参考图 + 提示 + 该部件的配合）、已构建历史（完整且已能编译的部分）、以及 3D 反馈。同一张装配图还承载逐部件材质与经仿真器校验的关节运动（articulation），可导出为 OpenUSD 与 URDF。 auto 实验效果：在 P3D-Bench（用其装配判定器评分）以及作者自建的硬表面基准 MechBench-36 上，Procedura 在判定质量上超过当前主流原生 3D 生成器与此前所有 3D-代码智能体，产出的边缘锐度在所有对比方法中最高，并且是唯一输出「可编辑、部件结构化的程序」的方法。作者展示的 gallery 直观支撑了这一点：整车被自动分解为上百个带独立配色的命名部件（车架、轮胎、座椅、机枪、悬挂等各自成模块），这种分解是程序结构的天然产物，不需要事后做分割。articulation 验证部分把六个物体导出为 OpenUSD 与 URDF 并在 Isaac Sim 里做无头验证，每张图由该物体自身的仿真片段合成（扫过的中间位姿做半透明重影、终态实心），证明关节运动确实可跑。 auto 批判点评：这篇最有价值的判断是把「装配关系」而不是「几何」作为生成的一等对象——因为部件结构化、可编辑、可仿真这三个属性其实是同一件事的推论，一旦物体是由带类型配合连接的命名部件组成的程序，分解与关节就免费得到了，不需要事后分割。三重检查（编译/配合/连通）加解耦 critic 的逐次单点修复，也比让 LLM 一次性重写整个脚本要可控得多。风险同样明确：一是这条路线的能力上限被程序化表示卡死——它擅长机加工感的硬表面物体（buggy、挖掘机、机械臂），对有机形态（人物、动物、布料、植物）几乎无从下手，MechBench-36 的选题本身就说明了适用边界；二是整个流程重度依赖 LLM 的编码能力与多轮工具调用，单个物体的 token 与时间成本论文未充分披露，与「一次前向出网格」的原生生成器不在同一量级；三是评测用的是装配判定器（judge）而非几何指标或人类偏好，判定器与被评方法共享「装配」这一价值观，对不走装配路线的基线可能天然不利；四是自建基准 MechBench-36 仅 36 个物体，规模偏小。 5. MMLVE-Agent：全局记忆卡守住跨镜头编辑一致 Thinking on Shots: Consistent Multi-Shot Video Editing with Agentic Reasoning | 南开大学 VCIP + 腾讯在线视频 BU | arXiv:2608.26809 关键词：多镜头视频编辑,长视频编辑,LLM智能体,VLM,全局记忆卡,镜头分割,南开,腾讯 前序问题：视频编辑的生成能力已经不弱，但绝大多数方法的适用范围停在单镜头或短片段。真实素材是多镜头长视频，而用户给的往往是一串针对不同时间点、不同对象的指令（「1 秒处骷髅模型加圣诞帽、28 秒处屏幕里的白色动捕模型换成绿色外星人、38 秒处男子的深蓝夹克改成红黑格衬衫」）。直觉做法是按固定时长切块逐段编辑，但这会引发三类连锁失败：同一实体被切到不同块里、各块独立编辑后长相不一致（实体碎片化）；一条指令落到不该落的镜头上，或多条指令互相污染（编辑幻觉）；以及为了执行编辑而破坏了原本的镜头切换、运镜与时序结构。 本文贡献：作者先把任务形式化为 MMLVE（多指令多镜头长视频编辑），并明确三个目标：跨镜头编辑一致性（CSEC）、多指令解耦（MID）、对时空结构零破坏（ZDSS）。方法上是一个 LLM 与 VLM 协同的智能体框架，分三个模块：Instruction & Video Analysis 用 PyDetect 把长视频按物理镜头切开（而非按固定时长），再由 LLM 智能体解析并解耦复杂指令、VLM 智能体抽取关键帧与条件；Global Memory Card Making 是这套方法的关键——为每个被编辑实体建立一张全局记忆卡，卡上存「编辑前参考实体图」与「编辑后参考实体图」这一对图像，并用 P-NEF（正负例反馈循环，VLM QA 智能体给正负提示、实体特征抽取器迭代）把这张卡打磨准确；Multi-Shot Video Editing 阶段把记忆卡作为图像条件与文本指令一起拼进编辑提示，要求目标实体的编辑前状态匹配卡左侧、编辑后状态精确对应卡右侧，同时保持原背景、运镜与时序完全不变。配套发布了 MMLVE-Bench 基准。 auto 实验效果：在 MMLVE-Bench 上，MMLVE-Agent 取得最高平均分 81.84。定性对比更能说明问题：在骷髅/动捕屏幕/夹克三指令的案例里，Seedance 2.0 把整个人物换成了另一个男子、Kling o3 在第 2 镜头里凭空生成两块显示器、HappyHorse 1.0 把场景改得面目全非，而 MMLVE-Agent 只精确改动了目标实体（骷髅头上出现红帽、屏幕里模型变绿、夹克变格衬衫），七个镜头的背景与运镜保持原样。第二个陶艺案例同样：基线普遍把「黄色圆海绵换成方形蓝海绵」执行成了多余的物体替换或位置漂移，本方法在七个镜头间维持了目标物体一致。作者论证只有 MMLVE-Agent 同时满足 CSEC、MID、ZDSS 三个约束。 auto 批判点评：「全局记忆卡存编辑前后的实体图像对」这个设计相当讨巧：它把「跨镜头一致」这个抽象约束落成了一个具体、可被图像条件直接消费的产物，比让模型自己在长上下文里维持身份要可靠得多，也天然支持多条指令各自持有独立的卡从而解耦。按物理镜头而非固定时长切分也是对症的。需要打折扣的地方：一是这是一套编排框架而非新的生成模型，最终画面质量完全受限于底层编辑器，框架本身不解决「编辑器画不出来」的情况；二是链条很长（镜头分割 → LLM 指令解耦 → VLM 关键帧 → 记忆卡 P-NEF 迭代 → 逐镜头编辑），任一环节出错都会传导到最终结果，论文未给出各环节的失败率拆解，也未披露端到端耗时与调用成本；三是基准与评分都由作者自建，81.84 这个数缺少外部可比性，而对照的 Seedance/Kling/HappyHorse 都不是为多指令长视频编辑设计的，比较略有不对等；四是 ZDSS（零破坏）是个很强的宣称，但文中主要靠视觉对照支撑，没有对运镜轨迹或时序结构做定量的保真度度量。 6. LeVJEPA：单编码器一个超参告别EMA与停梯度 LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics | 德国癌症研究中心 + 歌德大学 + Mila + 蒙特利尔大学 + 布朗大学 + 纽约大学 Courant + AMI Labs | arXiv:2608.27395 关键词：视频自监督预训练,JEPA,SIGReg,表征坍缩,token随机丢弃,单编码器,LeCun 前序问题：视频天然携带物理世界的时间结构，是自监督表征学习最诱人的数据源，但代价一直很高。主流方法防止表征坍缩靠两条路：一是架构上的不对称——同时用 EMA 目标编码器、停梯度、以及一个刻意限制容量的预测器，三件套缺一不可，且各自带一堆需要调的超参；二是干脆绕开，回到像素空间重建被遮挡内容（VideoMAE 路线），但重建像素让模型花大量容量去拟合与语义无关的细节。这两条路的共同问题是：坍缩是被启发式手段「压住」的，没有理论保证，调参经验很难跨数据集迁移，而视频预训练本身又极其烧算力，试错成本高得离谱。 本文贡献：LeVJEPA 是首个在 LeJEPA 的免坍缩目标下训练的视频编码器，把 EMA、停梯度、限容预测器全部丢掉。它只用一个编码器：对同一段视频的全局视图与局部视图算不变性损失（在 [CLS] 上做 MSE），再由 SIGReg（Sketched Isotropic Gaussian Regularizer，沿随机一维投影做正态性检验）提供可证明排除坍缩的正则。架构因此简化为「编码器 + 投影器」，目标函数只剩一个超参。这个形式带来两个性质：一是预训练开销由编码器实际看到的 token 数决定，因此均匀随机丢弃 token 既能显著减少 token 数、又同时提升下游精度（丢弃在这里不是纯粹的省钱妥协，而是有正则作用）；二是在同等 epoch、同等数据下，它能匹配以启发式三件套堆出来的方法。 auto 实验效果：在同一份 K710 的 20% 子采样上以 240 epoch 训练 ViT-S/B/L，用 ImageNet-1K attentive probing 评估：LeVJEPA 的精度-算力曲线整体位于 V-JEPA 2 与 VideoMAEv2 的右上方，即在更低的总预训练 ExaFLOPs 下拿到更高精度——例如约 25 ExaFLOPs 处达到 57.5% 左右，而 V-JEPA 2 要花约 100 ExaFLOPs 才到 55.5%，横轴为对数且向右表示更省算力。表征质量的定性证据是 patch token 的前三个主成分可视化：LeVJEPA 给出的分解能把动物与周围家具、背景干净地分开，与 V-JEPA 2.1 相当，说明去掉不对称架构后并没有牺牲稠密结构。 auto 批判点评：这篇的价值主要在「减法」：把 EMA 目标编码器、停梯度、限容预测器三件套一次性拿掉，还把目标函数收到单个超参，对做视频预训练的团队意味着搜索空间大幅缩小，而 SIGReg 提供的免坍缩保证也比经验性技巧更让人放心。「token 随机丢弃同时省算力和提精度」这个观察尤其实用。但要注意几点：一是评测口径偏窄——主结果用 ImageNet-1K attentive probing，这是一个图像级线性可分性指标，对视频编码器真正关心的时序理解（动作识别、时序定位、追踪）覆盖不足，论文标题谈的是 video pretraining，评价却主要落在图像域；二是实验规模为 K710 的 20% 子集、最大 ViT-L，与 V-JEPA 2 原始的全量大规模训练不在同一量级，「匹配」结论是在缩放后的受控设定下成立，能否外推到全量仍未知；三是随机丢弃 token 提升精度的机制解释偏经验（视作正则），缺少与 SIGReg 相互作用的分析；四是作者列表横跨七个机构、含 LeCun 等，署名权重容易让读者高估结论的普适性，仍应按受控实验的边界来读。 7. PAWBench：同一初态重复推演测分布对齐 PAWBench: How Far Are We from Probabilistically Aligned World Modeling? | 上海交通大学 + 上海AI Lab + Krea AI + HuggingFace + 通义实验室 + 香港大学 | arXiv:2608.27345 关键词：世界模型评测,概率对齐,分布级判据,视频生成基准,因果干预,PAWEval,上海AI Lab 前序问题：把视频生成模型称为「世界模型」已经成了行业惯例，但现有评测几乎全在问「这条视频看起来物理上合理吗」。这个问题本身有个漏洞：很多物理过程的合理结局不止一个。抛一次硬币、球落进高尔顿板、纸牌翻面——同一初始观测加同一动作，真实世界会给出一个分布，而不是一条确定轨迹。如果模型十次 rollout 里九次都是正面朝上，每一条单独看都完全合理，但它显然没学到这个过程的随机性，只是记住了一个高概率模式。作者把这个被忽略的要求命名为概率对齐（probabilistic alignment）：世界模型不仅要能生成一个可信的未来，还要在重复采样下复现出正确的可能性分布。现有基准都不测这一点。 本文贡献：PAWBench 把概率对齐形式化为世界模型的分布级判据，并配套 PAWEval 这个结果级评估协议。做法是固定初始观测与动作，对同一设定重复 rollout，用基于评分细则（rubric）的判官把每条可读、符合模式的 rollout 映射为一个离散结果标签（如 Head / Tail），聚合成经验结果分布，再与参考概率比较——注意比较的是分布，而不是逐条视频匹配。基准分两部分：PAW-Calibration 收录参考分布可解析给出的校准型场景（覆盖八个机制组），PAW-Coverage 收录复杂随机交互、用有效支撑集覆盖率来评。作者还设计了因果/非因果干预的对照实验：改变真正影响物理转移的量（铅笔倾角）与改变不影响物理的量（高尔顿板旁边写一行「总是落在右边」的文字），看模型分布如何响应。 auto 实验效果：在 HappyHorse、Veo 3.1 Fast、Kling 3 Std、Seedance 2、Wan2.7、Wan2.2、LTX-2.3、Cosmos 3 Super I2V 等模型上，测出的整体结论是当前视频生成器离概率对齐还很远：输出往往集中在有效随机支撑的一个狭窄子集上。干预实验给出的信号最尖锐——面对因果干预（铅笔倾角改变），各模型的结果分布相比真值变化不足，即欠反应；面对非因果的文字提示，分布却被明显带偏，即过反应。换句话说，模型更像在读提示词而不是在模拟物理。失效解剖图进一步按机制组拆出八个模型各自的失败构成占比，显示不同模型的短板类型并不相同。 auto 批判点评：这篇提出的问题比它的具体分数更重要：把评价从「单条像不像」抬到「分布对不对」，是对「视频生成即世界模型」这一叙事的一次必要校正，而「对因果干预欠反应、对非因果文字过反应」这组对照几乎是最经济的反证设计——它用一行无关文字就暴露了模型在依赖语言先验而非物理推演。这个思路对做世界模型的团队有直接的诊断价值。同时要看清它的边界：一是整套协议建立在 rubric 判官能可靠把 rollout 归类为离散结果之上，判官误判会直接污染分布估计，论文虽做了可读性/合模式筛选，但判官一致性本身需要更强的验证；二是参考分布只在少数可解析场景（硬币、高尔顿板等）成立，这类场景与真实应用中关心的物理（接触、形变、流体）差距较大，PAW-Coverage 用支撑集覆盖率替代分布距离也是无奈的降级；三是被测对象多为闭源商用模型，采样参数（温度、guidance）不可控且随版本漂移，结论的可复现性有限；四是「重复 rollout 估分布」的算力成本很高，作者的 rollout 预算诊断说明样本量本身就在影响结论稳定性。 8. EmoTra-TTS：一句话内让情绪连续流动 EmoTra-TTS: Smooth Intra-Utterance Emotion Transitions for Speech Synthesis | LIGHTSPEED + 新加坡国立大学 + 南洋理工大学 | arXiv:2608.23791 关键词：情感语音合成,句内情绪过渡,VAD情感维度,流匹配解码器,合成过渡数据,EMNLP2026 前序问题：心理学早已确认人的情绪是连续演变的过程——几秒之内就会起伏、衰减、转换。但当前情感 TTS 系统的条件化方式与这个事实是错位的：一条语音只给一个离散情感标签或一个静态嵌入，也就是说整句话的情绪被假定为恒定。想合成「说着说着从平静转为愤怒」这种自然表达，现有系统做不到精确控制。基于 LLM 的 TTS 虽然可能通过对文本的理解隐式地变化韵律，但这种变化既不可显式控制、也不够精准，无法定向指定「在句子的哪个位置、往哪个方向、转多少」。更现实的障碍是数据：自然录音里句内情绪过渡的样本极其稀少，没法直接监督学习。 本文贡献：EmoTra-TTS 针对三个问题各出一招。数据侧提出多趟流混合（multi-pass flow blending）流水线来合成帧对齐的过渡音频，绕开自然过渡样本稀缺的问题。条件化侧采用双阶段的 VAD（Valence-Arousal-Dominance，效价-唤醒-支配）条件化：把情绪表示为连续三维向量而非离散标签，在 LLM 阶段用 VAD token（初始情绪 v_init、过渡情绪序列 v_tra、结果情绪 v_res）引导韵律规划，在流匹配解码器侧用帧级 VAD 嵌入落实声学实现，从而让情绪控制贯穿「先规划再实现」两级。注入方式上提出方向-幅度解耦注入（direction-magnitude decoupled injection）：把情绪嵌入对说话人嵌入的作用拆成「往哪个方向偏」与「偏多少」两部分，避免情绪强度变化时连带扰动音色身份。整体骨干是文本-语音语言模型 + 冻结的流匹配解码器 + HiFiGAN 声码器。 auto 实验效果：论文已被 EMNLP 2026 主会接收。主观评测采用盲测配对偏好，评测者在系统身份隐藏、顺序随机的条件下打分。在表格 (d)(e) 两类过渡场景下，EmoTra-TTS 对四个基线的胜率分别是：对 MOSS-TTS 79.5%（95% CI [73.7, 84.2]）、对 CosyVoice2 76.8%（[71.0, 81.7]）、对 WeSCon 75.2%（[69.4, 80.3]）、对 Qwen3-TTS 67.5%（[61.2, 73.2]），评测者一致率在 63.5%~71.6% 之间。三项 MOS 指标分别覆盖自然度与音质（MOS-Qua）、情绪准确性（MOS-Emo）与情绪过渡自然度（MOS-Tra），均为 1-5 分李克特量表。 auto 批判点评：把情绪从离散标签换成连续 VAD 轨迹、并把控制拆到「LLM 规划韵律 + 流匹配落实声学」两级，是对症的建模选择；方向-幅度解耦注入更是个细致的工程洞察——情绪强度和说话人身份共用一个嵌入空间时最容易互相污染，把方向与幅度分开正好切在痛点上。用合成流水线造过渡数据也是面对数据稀缺的务实解法。需要保留的地方：一是训练监督主要来自合成的过渡音频，模型学到的「过渡该长什么样」本质由这条流水线的先验决定，与真人自然过渡的分布差异未被量化，存在自证循环的风险；二是评测重心在主观偏好，客观指标（说话人相似度、WER、情绪分类准确率）在摘要层面披露不足，而 63.5%~71.6% 的评测者一致率提示这类判断噪声较大，胜率的置信区间虽给出但样本构成不透明；三是仅在表 (d)(e) 两类场景上报胜率，其余类别表现如何未在此层面说明，选择性汇报的可能不能排除；四是 VAD 三维虽比离散标签细，但它仍是对情绪的强降维，复杂情绪（讽刺、无奈、苦笑）能否被三个标量刻画是开放问题。 9. Sidecar：把首句人物描述注回后续提示 Sidecar: Training-Free Semantic Reuse for Character-Consistent Free-form Visual Storytelling | 美国乔治城大学 | arXiv:2608.27280 关键词：视觉叙事,角色一致性,免训练即插即用,文本编码器隐状态,语义复用,SDXL,FLUX 前序问题：视觉叙事要求连续生成的画面既跟着剧情推进、又保持人物身份不变。真实的叙事文本有个特点：角色只在第一次出场时被完整描述（「一只高挑的精灵，银发闪耀，身着精致的翠绿长袍」），之后就用类别词或代词指代（「他停下脚步」「那只松鼠开始挖洞」）。这种自由形式（free-form）的写法更接近人类叙事习惯，但对生成模型很不友好——后续提示里已经不含身份相关的语义，模型只能靠自己「记住」，结果就是身份漂移。作者的动机实验很直接：用当前最好的自由形式叙事方法 FreeStory，在其他设置完全不变的情况下，仅把完整描述替换成类别词或代词，人物就明显走形。这说明问题的根源在文本条件端的语义缺失，而不只是生成端缺一致性机制。 本文贡献：Sidecar 是一个即插即用的语义增强模块，不训练、也不改基础扩散模型的架构。它分两步：第一步语义抽取——用第一句提示过文本编码器，在每一层把对应「完整角色描述」那段 token 的隐状态取出来，存成逐层的语义表示（Sidecar Semantic Bank）；第二步语义注入——编码后续提示时，在每一层把对应的语义表示临时插入到 [BOS] 之后，让缺失的身份语义参与该层的自注意力计算，算完之后再把这些 sidecar token 移除，因此不改变提示的实际长度、也不影响后续模块的接口。增强后的文本条件送进图像生成模型（SDXL / FLUX 系列均可），得到一致的故事帧。整个机制作用在文本编码器的隐空间，与生成器解耦，所以能直接叠在多种现有方法之上。 auto 实验效果：在 FreeStoryBench 上，Sidecar 叠加到多个 SDXL 与 FLUX 基线上都稳定改善了提示-图像对齐与角色一致性，且计算开销可忽略。定性对比展示了三组故事：精灵组中 ConsiStory 原版在第 2 帧把角色画成了完全不同的黑发男子、第 6 帧又变成矮壮的中年人，加上 Sidecar 后六帧都维持银发翠袍的同一形象；松鼠组中 StoryDiffusion 原版在第 3、5 帧把主角替换成了人手与男孩，加 Sidecar 后六帧都是同一只红松鼠；闹钟组中 FreeStory 原版的黄铜闹钟在后续帧里样式与破损细节不断变化，加 Sidecar 后双铃造型与裂纹表盘保持稳定。 auto 批判点评：这篇的定位很清楚，也很讨喜：不训练、不改架构、开销可忽略，却把自由形式叙事里「后续提示丢了身份语义」这个具体缺口补上了；把注入做在文本编码器的每一层隐状态、且算完即移除 sidecar token，是个干净的实现——不改变提示长度就意味着下游一切模块无需适配，这是它能叠在 SDXL 与 FLUX 多种基线上的原因。诚实度也值得肯定，作者自己写明「原生 T2I 模型没有显式跨帧一致性机制，Sidecar 能改善身份保持但不保证完全视觉一致」。局限同样明显：一是它只补文本端的语义，画面端的一致性（构图、光照、服装细节的连贯）仍完全依赖底座，因此改善幅度受基线天花板约束；二是评测只在 FreeStoryBench 一个基准上进行，两位作者来自单一机构、无更大规模验证，泛化性待观察；三是方法假定「角色的完整描述出现在第一句」，若描述分散在多句、或故事中途角色外观本应改变（换装、受伤、成长），逐层复用首句语义反而会阻碍必要的变化，论文未讨论这种冲突；四是多角色场景下如何为每个角色分别建库、注入时如何避免语义互相干扰，也未见充分说明。 10. VoiceMem：信息与情感双脑并行流式记忆 VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction | 南洋理工大学 + 新加坡国立大学 + 香港中文大学 | arXiv:2608.26005 关键词：语音语言模型,流式记忆,双脑架构,情感归因,人格建模,实时交互,NTU,NUS 前序问题：全双工语音语言模型（SLM）在延迟和自然度上已经进步很快，但缺一个像样的记忆系统。这里的难点不只是「记住事实」：语音交互是流式的，用户还在说话时系统就该开始处理，等一句话说完再做记忆检索必然引入可感知的延迟；同时语音承载的信息比文本多一层——同一句「我没事」，语气不同含义完全相反，纯文本记忆系统（Mem0、Zep 这类把记忆当可扩展事实库的方案）天然丢掉了这部分。结果是当前语音助手要么记不住上周聊过什么，要么记住了事实却听不出用户此刻的真实状态，长程交互中的人格与共情无从积累。 本文贡献：VoiceMem 提出一个双脑记忆架构：并行的「信息左脑」与「情感右脑」，加上流式的记忆读写机制。左脑走 schema-实体组织与涌现（自然演化式更新、一跳记忆索引，把记忆按 schema/实体/说话人分槽存放）；右脑做内节点与跨节点的情感建模、以及长短程情感归因（短期做单轮情绪检查、长期做趋势分析与记忆编辑），并用双节点人格建模来刻画用户画像。关键的工程设计是两个脑都在用户说完之前就开始处理：流式预处理阶段并行抽取说话人身份、ASR、实体、schema、情绪与嵌入（其中声纹与嵌入抽取为非流式）。作者还给了完整配套：记忆感知的 SLM 训练、长程评测、以及可换记忆后端的解耦部署，检索侧用四阶段流式流程压低延迟。 auto 实验效果：作者报告三方面结果。检索精度上，左脑在 top-5 检索设定下比 Mem0 在 top-200 设定下还高出接近 30 个点——即用远小的检索预算取得更高准确率。情感与个性化上，右脑在三个人格基准上达到当时最好水平，综合分比此前最佳系统提升 4.29 分。实时性上给出了真实部署验证。案例研究展示了四类记忆缺失时会出现的失败：用户说「我没事」但语气低落时，GPT-live 回「很高兴听到这个」，VoiceMem 回「你听起来不太好，发生什么了」；用户提到方案被否，VoiceMem 能指出「最难受的也许不是方案被拒」；用户说今天很累，VoiceMem 能回想起一周前提过的面试；用户问昨天在咖啡馆听到的歌，VoiceMem 能调出当时录下的音频片段。 auto 批判点评：把记忆拆成「信息」与「情感」两条并行通路，是这篇最有辨识度的判断，也确实抓住了语音相对文本的增量——纯事实库永远处理不了「语气与字面矛盾」这类信号。让两个脑在用户说完之前就开始处理，是对流式场景的正确工程取向，四阶段检索压延迟也务实。但几个数字要小心解读：一是「top-5 胜过 Mem0 的 top-200 近 30 点」是跨检索预算的比较，读起来极为亮眼，但严格的同口径对比（同 top-k）没在摘要层面给出，这种呈现方式对自己有利；二是人格基准上的 4.29 分提升缺少方差与显著性说明，人格类评测本身主观性强；三是「情感归因」在方法上依赖对情绪的自动识别与长期趋势总结，若上游情绪识别出错，错误会被写进长期记忆并持续影响后续回应，这个错误累积风险论文未讨论；四是隐私问题相当突出——系统会持久化说话人声纹、情绪轨迹、人格画像甚至原始音频片段（案例四直接回放了昨天咖啡馆的录音），文中未见相应的数据治理与用户可控性讨论，这对要落地的产品是必须回答的问题。 趋势观察 世界模型开始「同时输出画面和动作」，不再只做视频预测器 — 今天最重的两篇工作指向同一个转折：世界模型的产物从「未来画面」升级为「未来画面 + 可执行动作」。GameWAM 用并行的视觉与动作两条生成流，在同一次 flow matching 里既画出下一帧游戏画面、又吐出键鼠轨迹，成为首个能闭环玩原生游戏的 World-Action Model；WALL-SS 把机器人轨迹写成「观测与动作时间交错」的因果序列，动作依赖的状态转移被显式建模。这个转变的意义在于：过去「世界模型」和「策略」是两个分开训练、靠接口拼起来的模块，画面好看但不保证动作可执行；现在两者共享同一个生成骨干，动作与后果在训练时就被绑在一起。副作用也随之出现——GameWAM 发现的 LASI（低频动作源印记）表明当动作也由采样噪声生成时，噪声的低频分量会系统性地带偏镜头运动，这是纯策略网络不会有的新失效模式。 长时程不再靠「窗口拉宽」，而是靠分层记忆与尺度压缩 — WALL-SS 与 MMLVE-Agent 从两个完全不同的场景收敛到同一策略：把远处的历史压缩、把近处的历史保真。WALL-SS 的 scale-compressed memory 让近期交互留在细尺度、远期观测被压到粗尺度，从而在有界显存下跑出分钟级连续 rollout；MMLVE-Agent 面对多镜头长视频编辑，做法是把跨镜头身份写进一张「全局记忆卡」（编辑前后的参考实体图像对），后续镜头都拿这张卡对齐。这与前几周长视频记忆一致性专题里的判断一致：一致性问题的瓶颈在「记什么、怎么检索」，不在注意力能看多远。 免训练加速的战场从「有结构输入」转向「无结构输入」 — ClusterAttention 补上了稀疏注意力长期缺失的一块：以往免训练方法要么吃语言的顺序、图像的空间邻近这类先验，要么依赖跨多次前向摊销的慢速聚类，所以在「无结构输入 + 单次前向」这一格里一直是空的。它用一个随注意力头几何自适应的快速递归聚类，把簇尺寸固定为 2 的幂次，从而让块稀疏注意力在 GPU 上达到与稠密注意力相同的单次交互延迟。更有意思的是它推导出的误差表达式解释了一个反直觉现象——紧致的簇有时误差反而更大，而一旦对被剔除簇做质心补偿，误差就随簇越紧而越小。这类「先把误差写成公式再据此设计补偿」的做法，比纯经验调阈值更有迁移价值。 生成质量的评价标准从「单条像不像」转向「分布对不对」 — PAWBench 提出了一个容易被忽略但相当锋利的问题：一次 rollout 看起来物理合理，不等于模型学对了物理。抛硬币在同一初始状态下应该有大约一半正面一半反面，若模型十次里九次都是正面，它只是记住了一条「看起来对」的轨迹，而非世界的随机性。该工作把「概率对齐」形式化为分布级判据，并发现当前主流视频模型对真正改变物理的干预（铅笔倾角）反应不足，反而对不改变物理的干预（高尔顿板旁边的一行文字）过度反应——这几乎是「模型在读提示词而不是模拟世界」的直接证据。当行业普遍把视频生成叫作世界模型时，这个基准提供了一把必要的尺子。 人工智能炼丹君 整理 | 2026-08-31 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

深度解读|NVIDIA Sol-Engine|Agent自动调栈视频推理快2.77倍 Sol-Engine 深度解读：NVIDIA 让 Agent 自己调出视频推理加速栈，端到端 2.27~2.77 倍 论文：Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation 机构：NVIDIA Research（Efficient AI Team & Singapore Lab）· 港大 · MIT 人类作者：Yitong Li、Junsong Chen、Haopeng Li、Haozhe Liu、Jincheng Yu、Ligeng Zhu、Ping Luo、Song Han、Enze Xie 论文首页署名：NVIDIA SANA Team*、Codex*、GPT-Image2（* 同等贡献） 日期：2026-06（arXiv 2606.23743） 代码：论文给出 GitHub Code 与 Project Page 链接入口，截至发稿未见公开可跑的完整仓库 论文类型：技术报告 / 系统工程论文（非新算法论文） 01 先说说这东西是干嘛用的 先说一个容易被忽略的细节：这篇论文的署名里，Codex 和 GPT-Image2 是和 NVIDIA SANA Team 并列的"同等贡献作者"。arXiv 页面还专门单独列了一栏 "Human authors"，把 9 位人类作者和 AI 分开标注。 这不是行为艺术。论文的主张就是"让 agent 来干加速工程这件活"，所以把干活的 agent 署名进去，逻辑上是自洽的。 回到技术本身。Sol Video Inference Engine（下面简称 Sol-Engine）解决的问题很具体： 视频扩散模型的推理加速，没有通用配方。 现在业界已经攒了一大堆免训练加速手段——跨步缓存、稀疏注意力、token 剪枝、低比特量化、算子融合。每一个单独看都有效。但真到部署时会发现一件很烦的事： 在 Cosmos3-Super 上调好的缓存策略，搬到 LTX-2.3 上就崩，因为后者用的是 res_2s 二阶采样器，不是 Euler； 在 544×960 分辨率下管用的稀疏模式，换到 1088×1920 就掉质量； 在 B200 上收益明显的 NVFP4 量化，换张不支持 FP4 的卡就基本白干。 于是每换一个「模型 × 硬件 × 推理配置」组合，就得重新调一遍。而这三个维度一乘起来是个组合爆炸。NVIDIA 的做法是：别让人一个个调了，把这五类技术做成"技能"暴露给 agent，让 agent 自己搜。 具体产出是三个真实部署的加速栈： 模型 参数量 SGLang 基线 Sol-Engine 加速 Cosmos3-Super 64B（4 卡 SP） 99.6 s 43.9 s 2.27× LTX-2.3 22B 97.8 s 41.0 s 2.38× SANA-Video 2B 29.4 s 10.6 s 2.77× VBench 平均分变化在 ±0.54% 以内。全程免训练，不动模型权重。 （图片来源：论文 Figure 1。左侧是传统模式：kernel 组、算法组、推理服务组各管一段，最后人工集成调试，迭代周期长、沟通成本高、易出错；右侧是 Sol-Engine 模式：五类加速技能暴露给 agent，agent 做局部搜索和栈集成，人只负责验收和迭代） 02 主要亮点，以及需要冷静看的地方 值得关注的地方： 把"加速"这件事重新定义为逐实例调优问题，而不是"发明一个更好的方法"。这个问题重构本身比具体数字更有价值； 三个模型跨越 2B 到 64B，架构差异极大（MoT 混合专家、两阶段推理、线性注意力），同一套流程都拿到了 2× 以上，说明不是过拟合到单一 backbone； 用并行技能 agent + 集成 agent两层结构规避了单 agent 搜全局空间的成本问题，工程上是合理设计； 明确指出 PSNR 这类相似度指标和人类感知不对齐，并给出了反例图（详见第 07 段）——这个观察对整个视频加速评测圈都有价值； 附录 A 的超参配置写得非常细，细到 TeaCache 阈值 1.15、起始第 10 步、LTX 跳过的具体 call 索引 [13,14,16,...,27]。这部分是全文最能直接抄走用的资产； 量化不是一刀切，而是按去噪步选择性施加：Cosmos3-Super 的前 3 步和后 3 步保持高精度，只在中间步走 NVFP4。这个经验规则很实用。 需要冷静看的地方： "agent 比人快"这个核心主张没有对照实验。论文说"with little human effort"，但没给 agent 用的是什么模型、搜了多少轮、花了多少 GPU 小时或 token 成本，也没有"人工调优需要 N 人周 vs agent 需要 M 小时"的量化对比； 没有消融证明 agent 搜索优于随机搜索或网格搜索。这是最大的方法论空白——如果把同样的搜索预算给随机搜索也能找到差不多的配置，那"agentic"就更多是包装而不是贡献； 人工验收仍在环里，所以这不是全自动流程。而"人觉得可以接受"本身是主观且不可复现的判断标准； 只在 B200 / B300 上做了实测，而这两张卡正好是 NVFP4 的主场。论文 Figure 3 把 H200 和 RTX 5090 画进了"硬件空间"，但没有给这两张卡的任何实测数字； VBench 平均分几乎不变，但单维度有明显退化被平均分抹平了：成像质量在 Cosmos3-Super 上掉 1.35%、在 SANA-Video 上掉 1.64%，LTX-2.3 的美学质量掉 2.09%； 只报单请求延迟，没有吞吐量和显存峰值数据。生产部署更关心并发下的 QPS； Cosmos3-Super 是 NVIDIA 自家模型，有"自家模型自家调"的信息优势； 没有和 TeaCache、Sparse VideoGen2 等单点方法做同环境端到端对比——这些方法在论文里是"技能库的候选项"，不是"被击败的基线"。 03 视频加速这条赛道现在什么样 在看 Sol-Engine 怎么组合之前，先把它调用的这些"技能"各自的来路说清楚。视频扩散加速大致分三层打： 算法层：缓存。 相邻去噪步算出来的东西很像，那就别重复算。代表工作是 TeaCache（用 timestep 嵌入预测输出变化量，变化小就复用缓存残差）、TaylorSeer（ICCV 2025，用泰勒展开预测未来特征，而不只是复用旧特征）、EasyCache（运行时自适应调整复用策略）。 模型层：稀疏注意力 + token 剪枝。 视频的时空 token 序列很长，注意力矩阵里大量连接贡献很小。稀疏注意力方向有 PISA（分块稀疏 + 一阶泰勒补偿）、Sparse VideoGen 1/2、SpargeAttention、Radial Attention、VSA。token 剪枝方向有 ToMe-SD、Astraea、TAPE、CoReDiT。 Kernel 层：量化 + 算子融合。 量化有 PTQ4DiT、Q-DiT、SVDQuant、SageAttention 1/2/3。融合有 CUTLASS epilogue、ByteTransformer、CODA（把 transformer block 重写成 GEMM + epilogue 程序）。 另一条相关线索是"agent 做系统优化"：CUDA-LLM 和 CudaForge 已经证明 agent 配上编译检查、正确性验证、profiling 反馈，可以自动生成或优化 CUDA kernel。The AI Scientist 则证明 agent 能跑完整的科研闭环。 Sol-Engine 站的位置很清楚：它不发明上面任何一层的新方法，它做的是"怎么把这些方法组合起来并调对参数"的自动化。 这个定位决定了它的价值和局限——价值在于把学术界攒的一堆单点技术真正落到部署；局限在于它本身没有新的算法贡献。 04 为什么"通用加速配方"这件事不成立 这是全文论证最扎实的一段，也是理解 Sol-Engine 为什么要用 agent 的关键。 论文先把冗余拆成三层，然后给了一个很有说服力的数据。 （图片来源：论文 Figure 2。左：未加速推理路径中算法级、模型级、kernel 级三层冗余的分布，30 步去噪中 GEMM 约占 40%、Softmax 约 20%，剩下是 RoPE、norm 等碎片算子；右：同一个 LTX-2.3、同一张卡，仅改变分辨率后的时间分布对比） 看右边那两条： LTX-2.3 在 544×960、token 长度 15,810 时：GEMM 38.8% / Softmax 19.9% / 逐元素+norm 41.3% 同一个模型在 1088×1920、token 长度 63,240 时：GEMM 24.8% / Softmax 47.6% / 逐元素+norm 27.6% 分辨率翻一倍，Softmax 占比从 19.9% 直接涨到 47.6%，GEMM 从 38.8% 掉到 24.8%。 瓶颈换了个位置。 低分辨率下你该去优化碎片算子和 GEMM，高分辨率下你该去优化注意力。同一个模型、同一张卡，只改了分辨率，最优的优化方向就完全不同了。 这就是"instance-specific"的实证。再把模型架构和硬件两个维度乘进来： （图片来源：论文 Figure 3。模型维度：Cosmos3-Super 64B 混合 Transformer、LTX-2.3 22B 两阶段推理、SANA-Video 2B 线性注意力；硬件维度：B200 192GB/FP4·8·16/约 9000 TFLOPS、H200 141GB/FP8·16·BF16/约 1979 TFLOPS、RTX 5090 32GB/FP4·8·16/约 3352 TOPS；配置维度：480p~1080p 分辨率、5~30 秒时长、16~48 fps 帧率） 论文的具体论证是： 模型决定数值敏感性：不同 backbone 对量化的鲁棒性、注意力冗余度、缓存跨步稳定性、token 剪枝容忍度都不一样； 硬件决定瓶颈暴露在哪：在 B200 这种高算力卡上，大 GEMM 快到一定程度后，小算子的启动开销和访存受限的 epilogue 就占了更大比例；换到算力弱的卡上，密集计算仍然主导，那些启动开销反而看不见； 配置决定 token 数和运行时平衡：注意力随 token 数平方增长，FFN 大致线性增长，所以分辨率一变，注意力和 FFN 的时间占比就会大幅移动。 结论是两句话：部署实例太多，穷举人工调优不可扩展；但每个实例内部的优化问题结构是清晰的——目标（延迟）和约束（质量不掉）都明确，这恰好适合交给 agent 自动化。 05 五个加速技能，每一个在干什么 （这段偏技术，只想看结果的可以直接跳到 08。） Sol-Engine 的技能库里有五样东西。每一样都不是新发明，但 agent 需要为每一样决定"用哪个方案 + 怎么调参"。 1. 跨步缓存（Cross-Step Cache） 高质量生成通常要 30~50 步去噪。相邻步之间模型反复执行结构相似的计算，隐状态变化缓慢。缓存就是跳过一些步的计算，用之前的结果补上。 Agent 要决定的事：选哪个缓存策略（TeaCache / EasyCache / TaylorSeer）、跳步时间表、缓存什么（特征还是残差）、补偿规则、warmup 多少步、最多允许连续跳几步。 2. 稀疏注意力（Sparse Attention） 视频 token 在时间上跨帧冗余、空间上帧内冗余，很多注意力边对最终输出贡献极小。稀疏注意力砍掉这些边，把平方复杂度压下来。 Agent 要决定的事：用哪个稀疏后端（PISA / SpargeAttention / SVG2）、哪些层可以安全稀疏化、哪些层必须保持 dense、稀疏模式、补偿策略。 3. Token 剪枝（Token Pruning） 不是砍注意力边，而是直接砍序列本身——跳过、合并或重建冗余的 latent token。序列短了，后面的注意力和 FFN 都跟着省。 Agent 要决定的事：剪枝准则、剪枝比例、层调度、时间步调度、重建规则。论文特别强调这里的验证重点是时序连贯性和后期步的细节保真——剪枝最容易破坏的就是运动的稳定性。 4. 量化（Quantization） 论文对量化的判断很清醒：量化能带来多少实际加速，取决于隐藏层维度、token 数和硬件特性；而模型对量化噪声的敏感度，取决于它自己的训练参数分布。所以加速潜力和质量代价都会随部署实例剧烈变化。 Agent 要决定的事：profiling 各层敏感度和张量形状，然后调逐层精度分配、权重/激活位宽、随时间步变化的缩放。 5. 算子融合（Kernel Fusion） Transformer 推理会在 GEMM 周围反复启动一堆算术强度很低的算子：bias 加法、残差更新、归一化、激活函数、缩放、layout 转换。融合就是趁中间结果还在寄存器或共享内存里就把后续算子做完，而不是写回 HBM 再启一个 kernel。 Agent 要决定的事：融合哪些算子序列、用手写 kernel 还是编译器生成、怎么匹配当前的张量形状和精度格式。典型候选是 GEMM + GELU、GEMM + residual、RoPE + norm。 论文把融合定位成后期任务——要等前面几层加速做完、瓶颈重新暴露之后再来做，因为融合的收益完全取决于"此刻什么在拖后腿"。 06 Agent 工作流怎么转起来 （图片来源：论文 Figure 5。① 加速技能库：缓存/token 剪枝/稀疏注意力/算子融合/量化；② 并行适用性执行器：每个技能一个 agent 独立判断是否适用并给出最优实现，图中示例显示 token 剪枝被判定为"不适用，会造成不可忽略的损失"；③ 集成 agent：组合已选技能、全局参数调优、端到端质量检查、生成栈补丁；④ 人工验收：效率面板看延迟/吞吐/显存，质量面板看一致性/视觉保真/对齐，最后决定接受还是修订策略。论文脚注注明各方法的适用性在不同模型上会变，图中实现仅作示意） 整个流程分三段： 第一段：并行技能 agent 做局部搜索。 不让单个 agent 去搜整个全局空间——技能太多，联合搜索空间太大，成本和耗时都不划算。改成每个技能族一个独立 agent，各自在自己的小空间里并行搜。 比如缓存 agent 去搜跳步时间表和补偿规则，算子融合 agent 去 profile 每个 kernel 的耗时然后试 GEMM + GELU、RoPE + norm 这些组合。 有意思的是图里显示 agent 会主动报告"不适用"——token 剪枝在那个模型上被判定为损失不可忽略，直接出局。这比强行把五个技能都堆上去要合理。 第二段：集成 agent 做全局组合。 这一段是真正的难点。论文说得很直白： 这些方法不是独立的，最终端到端加速不等于各自局部收益的直接乘积。而且很多技术是有损的，直接把局部最优选择堆起来会累积近似误差，产出不可接受的结果。 所以集成器不是简单汇总第一阶段的结果，而是要重新做全局优化。它要解决的具体问题包括：缓存和稀疏注意力这两个有损方法叠加之后还能不能接受？量化和算子融合在同一个部署目标下有没有兼容的实现？ 第三段：人工验收给质量反馈。 用固定的验证集看每个集成候选，判断视觉质量是否可接受。这个反馈决定下一轮 agent 是可以往更激进的加速推，还是要收敛回保守一点。 07 为什么人还必须留在环里 这一段是我认为全文最有洞察的部分，而且它的价值超出这篇论文本身。 问题是：既然要自动化，为什么不把质量判断也自动化？用 PSNR 做约束不就闭环了吗？ 论文给了反例。 （图片来源：论文 Figure 6。上排为经过人工验收的结果——PSNR 更差但视觉质量更好；下排为未经人工验收的结果——PSNR 更好但视觉质量更差。左侧瀑布场景中，下排的水流细节糊成一片；右侧机器人场景中，下排的面部和城市结构出现明显退化） 看左边那组瀑布：上排（人工验收通过的）PSNR 分数更差，但水流的岩石细节清晰；下排（PSNR 分数更好的）水流糊成一团。右边机器人那组同理，下排的脸部和背景建筑明显退化。 原因是 PSNR 这类逐像素相似度指标有个结构性缺陷： 当加速后的输出只是改变了一些无害的视觉细节（比如水花的具体形状变了，但一样清晰合理），PSNR 会判定距离很大——虽然人看着完全能接受； 反过来，当输出出现模糊、时序抖动、运动不连贯这类真正致命的退化时，它在数值上反而可能离基线更近——因为模糊本身就是向均值收敛。 所以如果拿 PSNR 当优化目标，agent 会被引导向"生成模糊但数值安全"的方向。这正好是最不该要的结果。 论文的处理是老实承认这一点，把人留在环里做最终把关，并把"建立更强的端到端视觉质量评估器"列为未来工作——具体设想包括学习式视频偏好模型、伪影检测器、物理一致性检查、VLM 端到端质量判断。 这个观察对做视频生成评测的人来说值得单独拿出来看：只要自动指标和人类感知的错位没有解决，任何"全自动加速搜索"都会朝着指标漏洞的方向优化。 08 加速数字逐级拆解 这是全文最硬的一张图，把每一层技术各自贡献了多少秒都标出来了。 （图片来源：论文 Figure 4。绿色为去噪/DiT 阶段，灰色为 VAE 解码阶段，每一行代表叠加一层加速技术后的耗时构成，红色箭头标注累积加速倍率） 先看总表（NVIDIA B200，三种部署延迟与两套加速倍率）： 模型 官方 pipeline SGLang 基线 Sol-Engine vs SGLang vs 官方 Cosmos3-Super 64B（4 卡 SP） 108.3 s 99.6 s 43.9 s 2.27× 2.47× LTX-2.3 22B 118.1 s 97.8 s 41.0 s 2.38× 2.88× SANA-Video 2B 34.2 s 29.4 s 10.6 s 2.77× 3.23× 论文主表用 SGLang 归一化，同时也给出了官方 pipeline 的延迟供参考，这点算诚实——毕竟 SGLang 本身已经比官方实现快了一截（比如 LTX 从 118.1 s 降到 97.8 s），拿官方版当基线会让倍率凭空好看一截。 Cosmos3-Super（64B，4 卡序列并行） 拆解路径：99.6 s（去噪 94.5 + VAE 4.8）→ 缓存后 52.4 s（去噪 47.3，1.90×）→ 加 kernel 融合与量化后 43.9 s（去噪 39.1，2.27×） 这个模型的加速几乎全靠缓存吃下来了——单缓存一项就 1.90×。原因是 64B 的 MoT 架构里 transformer block 极大，跳过一次去噪步省下的绝对时间非常可观。 缓存 agent 选的是 TeaCache 风格策略。量化则是按去噪步选择性施加，这是很值得抄的经验： 前 3 步和后 3 步保持高精度——早期步决定全局结构，晚期步细化高频细节，这两头用低精度分别会导致结构偏移和高频伪影； 中间那些"比较规整"的步走 NVFP4，作用在算术密度高的 GEMM 层：FFN 的 gate-up 和 down 投影、注意力的 QKV 和输出投影。 LTX-2.3（22B，两阶段） 拆解路径：97.8 s → 缓存后 70.3 s（1.39×）→ 加 token 剪枝和稀疏注意力后 58.5 s（增量 1.20×，累积 1.67×）→ 加算子融合和量化后 41.0 s（2.38×） 分阶段看更清楚（第一阶段 / 第二阶段 / VAE）： 配置 一阶段 二阶段 VAE 总计 SGLang 基线 60.8 s 28.2 s 8.8 s 97.8 s + 缓存 33.3 s 28.2 s 8.8 s 70.3 s + token 剪枝 & 稀疏注意力 33.3 s 16.4 s 8.8 s 58.5 s + 算子融合 & 量化 24.6 s 11.0 s 5.4 s 41.0 s 这张表把"分工"说得很明白：缓存只砍了一阶段，稀疏注意力和 token 剪枝只砍了二阶段。 原因是 LTX-2.3 的流水线本身是两段式的——一阶段用 res_2s 二阶采样器跑 15 步生成 544×960 的 latent，二阶段上采样到 1088×1920 再精修 3 步，最后 VAE 解码 241 帧。二阶段的 token 数是一阶段的 4 倍，注意力成本占大头，所以稀疏化和剪枝的收益都在这里。 值得注意的是缓存在这个模型上只拿到 1.39×，明显低于 Cosmos3-Super 的 1.90×。论文解释了原因：res_2s 是二阶采样器，而市面上大部分缓存启发式规则是按 Euler 类调度假设设计的，直接套不上。Agent 最后是靠固定步跳过策略而不是在线阈值判断绕过了这个问题。 SANA-Video（2B，线性注意力） 拆解路径：29.4 s（去噪 28.2 + VAE 1.2）→ 缓存后 19.8 s（去噪 18.6，1.48×）→ 加 kernel 优化后 10.6 s（去噪 9.4，2.77×） 这个模型的情况反过来了：因为 SANA-Video 本身就是效率导向设计的（用线性注意力替掉平方复杂度的标准注意力），模型层已经没什么可榨的了，所以完全不用稀疏注意力和 token 剪枝，收益全来自算法层缓存和 kernel 层优化。 缓存 agent 选的是 EasyCache，50 步里跳掉约 16 步。kernel 层的三个改动都很朴素但有效（详见第 10 段）。 一个需要提醒的点：2.77× 是三个模型里最高的倍率，但它的绝对基数最小（29.4 s → 10.6 s）。小模型的 kernel 启动开销占比高，torch.compile 这类图优化的相对收益天然更大。别把 2.77× 直接理解成"这套栈在大模型上也能到 2.77×"。 09 质量到底掉没掉 论文用 VBench 做质量把关。先看结论表： 配置 平均分 主体一致性 背景一致性 时序闪烁 运动平滑 美学质量 成像质量 整体一致性 Cosmos3-Super 64B 基线 0.7759 0.9687 0.9301 0.9859 0.9923 0.6134 0.7276 0.2133 Sol-Engine 0.7775 0.9723 0.9382 0.9877 0.9935 0.6197 0.7178 0.2133 Δ +0.21% +0.37% +0.87% +0.18% +0.12% +1.03% -1.35% +0.00% LTX-2.3 22B 基线 0.7646 0.9010 0.9245 0.9675 0.9871 0.6234 0.7012 0.2474 Sol-Engine 0.7605 0.9006 0.9137 0.9704 0.9840 0.6104 0.7013 0.2429 Δ -0.54% -0.04% -1.17% +0.30% -0.31% -2.09% +0.01% -1.82% SANA-Video 2B 基线 0.7864 0.9730 0.9648 0.9626 0.9843 0.6650 0.6892 0.2660 Sol-Engine 0.7847 0.9750 0.9654 0.9646 0.9842 0.6624 0.6779 0.2637 Δ -0.21% +0.21% +0.06% +0.21% -0.01% -0.39% -1.64% -0.86% 平均分变化确实很小：+0.21% / -0.54% / -0.21%。论文的说法是"加速来自消除冗余和低效操作，而不是牺牲感知上关键的计算"，从平均分看站得住。 但平均分掩盖了两个细节： 第一，成像质量（imaging quality）这一维在 Cosmos3-Super 上掉了 1.35%，在 SANA-Video 上掉了 1.64%，是这两个模型各自跌幅最大的维度（LTX-2.3 是唯一例外，这一维基本没动，+0.01%）。成像质量衡量的正是单帧的清晰度和伪影水平，也就是有损加速最容易伤到的地方。平均分之所以没动，是因为主体一致性、背景一致性、时序闪烁这些维度绝对值都在 0.9 以上且波动极小，把跌幅稀释掉了。 第二，LTX-2.3 的美学质量掉了 2.09%，是全表最大的单项跌幅，同时整体一致性掉 1.82%。这个模型是三个里唯一叠满了缓存+稀疏注意力+token 剪枝+量化四层的，有损方法堆得最多，代价也最明显。 还有一点值得说：VBench 的"整体一致性"（overall consistency，衡量文本-视频对齐）绝对值只有 0.21~0.27，本身分辨力就有限，在这个区间讨论 ±1.8% 的变化意义不大。 定性对比图看着确实还行： （图片来源：论文 Figure 7。每组上排为未加速的 SGLang 结果，下排为 Sol-Engine 加速结果，标注了各自的加速倍率。Cosmos3-Super 是机械臂刷盘子，LTX-2.3 是老人织渔网，SANA-Video 是热气球飞越麦田。场景布局、主体排布和运动结构基本保持） 论文自己的表述是"加速后的输出在精细视觉细节上可能有轻微差异，但整体视觉质量、运动质量和物理保真度仍然很强"。这个说法和数据是一致的——要的是"部署可接受"，不是"逐像素一致"。 10 三个模型的具体配置（最能直接抄的部分） （这段是纯工程细节，不打算自己动手的可以跳到 13。） 附录 A 的信息密度非常高。如果你手上正好有这几个模型要部署，这些参数可以直接当起点用。 共性原则（论文明确说三个模型只在实现范围和超参上不同，方法层面原则一致）： 缓存始终作为免训练的去噪步复用策略，但具体时间表按模型走； 稀疏注意力只在注意力图有足够结构性时才引入，否则不动； token 剪枝只在中间 token 冗余到"丢一部分不会有可见伪影"时才用； 量化选择性施加，数值脆弱的阶段留高精度，稳定的 GEMM 密集区域降精度； kernel 优化包括 epilogue 融合、QKV 路径融合、归一化路径融合、编译器图融合，只在对目标工作负载稳定时才启用。 Cosmos3-Super 缓存：TeaCache 风格残差重放，阈值 1.15，起始第 10 步，最多 3 次连续命中。判据是测量生成隐状态跨去噪步的相对 L1 变化并累积，累积值低于阈值就跳过生成路径的 transformer block，否则重算并刷新缓存残差； 量化：前 3 步 + 后 3 步走 dense/高精度路径，中间步用 NVFP4，作用于 FFN gate-up / down 投影和注意力 QKV / 输出投影。 LTX-2.3 两阶段结构：一阶段 res_2s 采样器 15 步 @544×960，二阶段上采样精修 3 步 @1088×1920，VAE 解码 241 帧； 缓存：用固定步跳过而非在线 TeaCache 阈值。预设名 8of15_last_29calls——一阶段共 29 次 denoiser 调用，在调用索引 [13, 14, 16, 17, 18, 19, 20, 21, 22, 24, 25, 26, 27] 复用上次计算结果（reuse_mode=last、max_skip_steps=30）。也就是 29 次里跳掉 13 次，约 45%； 稀疏注意力：PISA 只用于二阶段的高分辨率精修 transformer。稀疏度 0.9（密度 0.1），block size 64，只替换 video self-attention，一阶段稀疏调度关闭；二阶段 layer 0~1 保持 dense，之后的层用分块稀疏 + 近似余项 + 打分路由 + FlashAttention dense 兜底； token 剪枝：也只在二阶段。精修调用中按 feat_norm 显著性保留 50% video token，只在 refinement call 1 和 2 上做； 量化：NVFP4 只用于 video FFN 的输入/输出投影，NVFP4 融合的 proj_in+GELU 与 proj_out+bias+gate 路径关闭； 无损融合开关（这一串很长，照抄）：block-0 self-attention 共享、guidance-prefix 共享、QK+RoPE 融合、RMS-AdaLN 融合、AdaLN 融合、QKNorm+RoPE 融合、双调制融合、cross-attention 双调制融合、Ada values 融合、残差门融合、FFN proj_in+GELU 融合、gate-to-output 编译、audio QKVG 融合、全局 QKNorm+RoPE 融合、tiled VAE 解码编译； 蒸馏 LoRA 强度：一阶段 0.25、二阶段 0.5；二阶段 sigmas 为 [0.909375, 0.725, 0.421875, 0.0]。 SANA-Video 测试配置：81 帧、50 步、480p（832×480）； 不用稀疏注意力、token 剪枝、NVFP4 FFN 量化； 缓存：EasyCache，阈值 0.1，warmup 3 步，空间下采样步长 8。判据是从下采样隐状态估计在线的输入-输出变换率，累积估计的相对输出变化，低于阈值就跳过整个 transformer block 栈。缓存残差在未 batch 的 CFG 分支间共享，避免注入过期的 guidance；50 步里约跳 16 步； 三个 kernel 级改动：① 线性注意力的 K/V 聚合保持 BF16 tensor-core 执行，不提升到 FP32；② Q/K/V 投影权重加载后拼接，合并成一个 GEMM；③ DiT block 栈用 torch.compile 编译，max-autotune 模式用 max-autotune-no-cudagraphs + 子进程 autotuning + 持久化 TorchInductor 缓存； 低比特线性注意力 kernel 额外贡献约 1.2× kernel 级加速，重建损失很小（PSNR 高于 30 dB）。 从这三份配置里能提炼出的通用直觉： 模型越大，缓存的相对收益越高（64B 拿到 1.90×，2B 只有 1.48×）； 本身已经做过效率优化的架构（线性注意力），模型层加速基本没戏，要往算法层和 kernel 层找； 多阶段流水线要分阶段施策，高分辨率阶段才值得上稀疏注意力和剪枝； 量化不要一刀切，首尾去噪步和数值脆弱模块留高精度； 非标准采样器（二阶、多阶）会让主流缓存启发式失效，退化成固定步跳过反而更稳。 11 换硬件会怎样 论文额外做了单卡 Cosmos3-Super 在 B200 和 B300 上的对比： 配置 延迟 加速 B200 × SGLang 353.5 s 1.00× B200 × Sol-Engine 143.8 s 2.46× B300 × SGLang 351.9 s 1.00× B300 × Sol-Engine 137.6 s 2.56× B300 相对 B200 的 BF16 算力差不多，但 NVFP4 算力更高。结果符合预期： Cosmos3-Super 依赖 NVFP4 执行较多，所以在 B300 上拿到更明显的端到端收益（2.46× → 2.56×）； LTX-2.3 和 SANA-Video 对 NVFP4 依赖较轻，单卡场景下换到 B300 端到端几乎没变化。 这个实验本意是展示框架的硬件适应性，但反过来读出的信息更重要：这套栈的收益里有相当一部分绑定在 FP4 硬件支持上。 如果部署环境是 H100/H200 这类只有 FP8 的卡，或者更老的 A100，量化这一层的贡献会大幅缩水，2× 这个数字就不能直接搬。 论文 Figure 3 把 H200 和 RTX 5090 都画进了硬件空间图，但正文和附录都没有给这两张卡的任何实测数据。这是一个明显的缺口——一个号称"解决硬件异构性"的框架，只在同代同架构的两张卡上验证了硬件维度。 顺便注意单卡 Cosmos3-Super 的绝对延迟：353.5 s 基线，加速后 143.8 s。而 4 卡序列并行版本是 99.6 s → 43.9 s。64B 模型单卡出一段视频要两分半，这个量级离交互式使用还很远。 12 想自己复现要注意什么 能不能直接跑起来？ 论文在摘要末尾给了 "Github Code" 和 "Project Page" 的链接入口，但截至发稿我没有找到公开可跑的完整仓库。所以现实的用法是：把附录 A 当配置说明书，在自己的推理栈上手动复刻。 好消息是所有依赖的技术都有公开实现： 缓存：TeaCache、EasyCache、TaylorSeer 都有开源仓库； 稀疏注意力：PISA、SpargeAttention、Sparse VideoGen 2 都开源； 量化：SVDQuant、SageAttention 系列开源； 融合：CUTLASS epilogue 是官方文档，torch.compile 是现成的。 运行时基座是 SGLang。 论文明确说部署接口组织成"dense 基线路径"和"组合后的 fullopt 路径"两条，所以测出来的对比是端到端服务栈，不是孤立的 kernel 微基准。这个做法值得学——很多加速论文只报 kernel 级数字，端到端一测就缩水。 硬件门槛不低：主实验在 B200 上，Cosmos3-Super 用了 4 卡序列并行。如果只有单卡，参考第 11 段的单卡数字。 如果要复刻 agent 部分：论文没有公开 agent 的实现细节——用什么模型、prompt 怎么写、搜索循环怎么组织、每个技能 agent 的工具接口长什么样，全都没有。想复现这一层，参考 CudaForge 和 CUDA-LLM 这两篇会更实际。 一个务实的建议：如果你的目标只是把某个视频模型的推理跑快一倍，没必要先搭 agent 框架。直接照抄第 10 段的经验规则（缓存优先、首尾步留高精度、高分辨率阶段才上稀疏、torch.compile 兜底），手工调两三轮大概就能吃到大部分收益。Agent 的价值在于你要同时维护很多个部署实例，而不在于单个实例能调得更好。 13 需要留意的限制 前面零散提过一些，这里集中说。 1. 核心主张缺对照实验。 论文反复强调"with little human effort"、"in a fraction of the usual human effort"，但通篇没有任何量化：agent 用的什么模型？搜了多少轮？消耗多少 GPU 小时和 token？人工调优同样的目标要多久？没有这组对比，"agent 省人力"就只是一个断言。 2. 没有搜索策略的消融。 这是我认为最要紧的空白。Agent 相比随机搜索、网格搜索、贝叶斯优化的优势在哪？论文没做这个对比。考虑到每个技能的搜索空间其实不大（缓存阈值、稀疏度、剪枝比例这些都是低维连续或离散参数），传统超参搜索方法完全可能达到同样效果。如果是这样，"agentic" 的贡献就主要在"自动化编排和写补丁代码"，而不在"搜得更好"。 3. 不是全自动。 人工验收在环，且论文自己承认这是当前的主要限制。而"人觉得可接受"是主观标准——换一批验收人，加速激进程度的上限就会变。这也意味着结果不完全可复现。 4. 硬件验证面太窄。 只有 B200 和 B300，同代同架构。Figure 3 承诺的 H200、RTX 5090 都没有实测。而 NVFP4 量化的收益强烈依赖 FP4 硬件，这一层在非 Blackwell 卡上会显著缩水。 5. 质量评测的选择性。 VBench 平均分变化在 ±0.54% 内，但成像质量维度三个模型有两个跌超过 1.3%，LTX-2.3 的美学质量跌 2.09%。论文正文只讨论平均分"基本持平"，没有专门解释这些单维退化。另外定性对比图是作者挑的，Figure 7 加附录 B 的 18 组对比里没有失败案例。 6. 没有吞吐和显存数据。 全文只有单请求端到端延迟。生产部署要看的是并发下的吞吐、显存峰值、以及加速后能否提高 batch size。稀疏注意力和 token 剪枝理论上能省显存，但论文没量化。 7. 缺少与单点方法的端到端对比。 TeaCache、SVG2、SVDQuant 这些在论文里是"技能库候选"，没有"单独用某一个方法能到多少倍"的完整对照。Figure 4 的分层拆解某种程度上补上了这个信息（比如 Cosmos3 单缓存 1.90×），但那是在 Sol-Engine 自己调参下的结果，不是各方法原始实现的公平对比。 8. 自家模型的信息优势。 Cosmos3-Super 是 NVIDIA 自己的模型，团队对它的架构、数值特性、训练分布都有外部研究者拿不到的信息。这不影响结果的真实性，但会影响"这套流程对任意第三方模型都同样有效"这个推论的强度。 9. 论文类型的定位。 署名（把 Codex 和 GPT-Image2 列为作者）、结构（大量篇幅在描述工程配置）、缺少方法论消融——这些都指向它更像一份高质量工程实践报告，而不是一篇方法论文。按技术报告的标准看，它的信息密度很高；按方法论文的标准看，它的验证是不完整的。 14 横向对比表格 下面这张表是我按公开信息整理的，不是论文原表。需要特别说明：Sol-Engine 没有和这些方法做同环境的端到端对比，所以加速倍率跨行不可直接比较（模型、硬件、分辨率、基线都不同）。 方案 覆盖层级 自动化程度 免训练 论文报告的加速 质量代价 硬件绑定 Sol-Engine 算法 + 模型 + kernel 全栈 Agent 并行搜索 + 集成 + 人工验收 是 端到端 2.27~2.77×（B200） VBench 平均 ±0.54% 较强（NVFP4 依赖 Blackwell） TeaCache 算法（缓存） 手工调阈值 是 本文实测单项 1.39~1.90× 中等，跳步越多越明显 无 EasyCache 算法（运行时自适应缓存） 在线自适应 是 本文实测单项 1.48× 中等 无 PISA 模型（分块稀疏注意力） 手工选层与稀疏度 是 本文中作为二阶段组件 小（有泰勒补偿） 无 Sparse VideoGen 2 模型（语义感知稀疏） 在线 profiling 是 注意力级为主 小 需定制 kernel SVDQuant kernel（4bit 量化） 手工 是（PTQ） 显存与访存收益为主 小 需低比特支持 SLA2 模型（稀疏 + 线性混合） 可学习 Router 否，需 QAT 微调 端到端 2.30~4.35×（RTX 5090） 需微调，作者称可超 full attention 无 CudaForge kernel（CUDA kernel 生成） Agent + 硬件反馈 是 单 kernel 级 无（要求数值正确） 无 几点解读： Sol-Engine 的差异化不在"加速比更高"，而在"覆盖层级最全 + 调参过程自动化"。单看倍率，SLA2 在 Wan2.1-14B-720P 上报出 4.35×，比 Sol-Engine 的任何一个数字都高——但那需要 QAT 微调，不是免训练，且模型和硬件都不同； 免训练这一栏很关键。Sol-Engine 全程不动权重，这让它可以直接套到任何已发布的模型上，工程摩擦远小于需要微调的方案； 硬件绑定这一栏是 Sol-Engine 相对吃亏的地方。它的 kernel 层收益有相当部分来自 NVFP4，换卡就要重新评估。 15 总结感受 我觉得这篇论文真正的价值不在那几个 2× 的数字，而在它把问题重新框了一遍。 过去两年视频加速方向的论文，主流叙事是"我提出了一个新的缓存/稀疏/量化方法，比前人快 X 倍"。这类工作攒到今天已经足够多了，多到出现了一个新的瓶颈：没人知道该怎么把它们组合起来用在自己的部署上。 Sol-Engine 承认了这个现实，并给出一个务实的回答：这是个组合优化和调参问题，人工做不划算，交给 agent。Figure 2 那组数据（同一个模型同一张卡，分辨率翻倍后 Softmax 占比从 19.9% 涨到 47.6%）是全文最有说服力的论证——它证明"通用最优配方"这个东西压根不存在。 但作为一篇方法论文，它的验证是不完整的。 缺 agent vs 传统超参搜索的对照，缺人力成本的量化，硬件维度只验证了同代两张卡。这些不是小瑕疵，而是直接关系到"agentic 到底贡献了什么"这个核心问题。以现在的证据，我倾向于认为 agent 在这里的主要价值是自动化了编排和代码补丁生成，而不是搜到了人搜不到的解。 所以我给不同人的建议不一样： 如果你是工程师，正要部署这几个模型——直接去看附录 A，第 10 段我已经整理好了。那些经验规则（缓存优先、首尾步留高精度、多阶段流水线分阶段施策、非标准采样器退化成固定步跳过）比 agent 框架有用得多，手工调两三轮就能吃到大部分收益。 如果你是研究者——最值得跟进的不是 agent 框架本身，而是它暴露的那个空洞：缺一个和人类感知对齐的自动视频质量评估器。 论文的人工验收环节之所以拆不掉，根子就在这。谁把这个问题解决了，"全自动加速搜索"才真的能闭环，而且这个能力的价值远超加速这一个场景。 如果你在做技术决策——记住 2× 是在 B200 上、免训练、单请求延迟的数字。换硬件要重新评估（尤其没有 FP4 支持的卡），关心吞吐的话论文没给数据，而且你自己的模型需要重新跑一遍搜索流程。 最后说回开头那个细节。把 Codex 和 GPT-Image2 署名成作者，arXiv 用 "Human authors" 单独一栏来区分——这件事本身可能比论文的技术内容更值得记一笔。 它标记了一个开始：AI 参与科研产出的程度已经到了需要在署名规范上做制度性区分的地步。至于这算进步还是隐忧，各人判断不同，但趋势看起来是不可逆的。 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-08-10|阿里Wan-Animate-2角色动画冲进实时24FPS 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与人物编辑 4 篇 · 图像生成与扩散训练范式 1 篇 · 世界模型与 3D 生成 3 篇 · 评测基准与音频编解码 2 篇 重点论文标题列表 Wan-Animate-2（阿里巴巴通义实验室）：14B角色动画实时到24FPS Vorch-IR（美团 Vorch Team·复旦大学）：双人换脸拉到分钟级 UniVVT（清华大学·天津智能创新研究院）：扔掉掩码姿态快38倍 EG-FM（京东·中科院自动化所）：让终点自己动收敛快2.7倍 EffectLearner（清华大学深圳国际研究生院）：擦人连影子涟漪一起擦掉 今日论文速览 1. Wan-Animate-2：14B角色动画实时到24FPS Wan-Animate-2: Pushing the Application Boundaries of Character Animation | 阿里巴巴通义实验室 | arXiv:2608.06009 关键词：角色动画,实时流式生成,Self-Forcing蒸馏,视角控制,阿里通义 前序问题：角色图像动画目前有三条路线，每条都有硬伤：基于显式运动表征（骨架、关键点、SMPL）的方法受制于提取误差，一旦姿态估计出错就带着身份一起漂移；基于隐式运动特征的方法把驱动信号压缩成低维向量，手指、微表情这类细粒度动态在压缩里被抹平；上下文学习（in-context learning）路线干脆不要中间表征，直接把驱动视频喂进注意力，质量最好但算力开销高到无法接受。更要命的是，现有系统全部是离线合成，数字人主播、直播换装这类交互场景要求边算边出，而当前方法连准实时都做不到。 本文贡献：端到端重构 DiT，让模型直接消费驱动视频，彻底删掉中间运动提取器。四个部件撑起 Base 版：双分支 DiT 共享 QKV 投影，参考分支锚定在扩散时间步 t=0 提供无噪运动先验，只训共享投影层、主干权重冻结；Time-Align RoPE 把参考视频 token 逐帧前置拼接，用H_t×W_t 的空间偏移避免位置索引撞车；Sparse-Ref Attention 让每个 latent query 只看时间上对应的参考 K/V，把跨分支注意力从 O((N_r+N_l)²) 压到 O(N_l)；Viewpoint LoRA 只注入 cross-attention 投影矩阵，用「right 60-degree view」这类自然语言而非旋转矩阵来控视角，把输出机位和驱动视频解耦。Lite 版靠三段式训练做到实时：教师强制预训练把全局去噪模型改造成chunk-wise 因果生成器；Error Buffer 把单步预测与真值latent 的残差以滑动估计维护，训练时加回 clean context 来对冲 exposure bias，不用跑完整自回归 rollout；Self-Forcing 蒸馏为 14B 规模设计分块反向传播，rollout 阶段无梯度算完整序列分数，梯度阶段逐 chunk 累积并 detach，峰值显存从与全序列成正比降到与单 chunk 成正比。 实验效果：Lite 版在 4 张 H100 上以流水线并行（1 卡 VAE 编码、2 卡序列并行跑 3 步 DiT 去噪、1 卡 VAE 解码）达到 400×720 分辨率 24 FPS，推理 chunk 为 8 帧，跨过实时阈值；得益于 error buffer，长时间自回归里观察不到误差累积或质量退化。视角空间离散为 12 个方位角×4 个俯仰角共 48 档，大幅换机位时周围环境仍保持高度一致。盲测用户研究覆盖视觉质量、动态自然度、身份保持、动作准确度、面部表情五维加总体质量：对开源 Wan-Animate 全指标领先，总体质量在超过 70% 的成对比较中被偏好；对闭源商业产品 Dreamina 多数比较中胜出，对可灵 Kling-MotionControl 打成平手——而后两者建立在更大的闭源视频基座上，Wan-Animate-2 完全基于开源基座。训练数据用 Wan-Animate 自动合成配对视频，参考图由 Qwen-Image-Edit / Qwen-Image / Z-Image 生成，覆盖全身/半身/特写；多视角数据由 Unreal Engine 渲染，仅用于训Viewpoint LoRA。团队承诺开源 Base 权重。 批判点评：这篇最扎实的地方不是又一个动画框架，而是把「实时」这件事真正做进了 14B 视频 DiT：Error Buffer 用一次前向的残差近似替代完整 rollout，Self-Forcing 的chunk-wise 反传把显存与序列长度解绑，这两招是可以直接搬去做其他流式视频生成的通用工程手艺。Viewpoint LoRA 用自然语言而非相机参数控视角，也切中了普通用户拿不到标定内参的实际痛点。但要冷静看几处：全文没有一张定量指标表，FVD/FID/身份相似度一个都没报，评估只有定性图和盲测胜率，而用户研究连参与人数、样本量、分维度百分比都没披露，「超过 70% 偏好」这种数字缺乏可复核性；对比只挑了 Wan-Animate、Dreamina、Kling 三家，AnimateAnyone/Champ/UniAnimate 等经典基线全部只在引言里被引用而未实测。所谓 24 FPS 是 4 卡 H100 加 400×720 的成绩，折算成单卡或 1080p 就不再是实时，「开放部署新场景」的说法离消费级还有距离。另外 Lite 是蒸馏产物、Base 才开源，最能落地直播的那一版权重反而没承诺放出。 2. Vorch-IR：双人换脸拉到分钟级 Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation | 美团 Vorch Team·复旦大学 | arXiv:2608.05648 关键词：视频身份替换,长视频生成,时间重叠推理,LTX2,美团 前序问题：视频身份替换要把一到多个主体的身份换掉，同时保住驱动视频的动作、表情和时序结构。现有方法几乎只做单人，而且普遍依赖任务专属的结构控制——掩码、姿态图之类，这让它们很难塞进一个通用的多模态编辑系统里。多人替换更是被配对训练数据的稀缺卡死：你很难找到「同一段舞蹈、同样的动作、但换了两个人」的真实配对素材。另一个长期痛点是长度，短片段模型要拉长通常靠自回归续写，误差会一路累积成身份漂移。 本文贡献：一个模型同时支持单人替换、双人替换，以及可选的背景替换，四种设置共享同一套参数，没有任务专属分支或输出头。基于 LTX2 的 48 层 DiT，联合条件化于驱动视频、有序参考图集合和一句文本编辑指令；参考图不需要和驱动视频的姿态、布局、空间构型对齐，谁替换谁完全由指令文本说明（比如「参考1换左边的人，参考2换右边的人，参考3换背景」）。密集视觉条件走自注意力融合——驱动视频与目标视频用同时间原点、同帧率的独立 RoPE 网格，每张参考图分配独立位置网格，从而不对参考图与目标施加坐标级对应；语义对应关系则通过 Gemma 视觉语言编码器的 cross-attention 建立，参考-目标的绑定被学成语义关系而非显式定位模块。条件 token 始终保持 clean 并赋时间步 0，只有目标 token 加噪与监督。配套一条全自动数据构建流水线：先编辑首帧身份（合成参考涵盖真人、动漫角色、其他类人形象），可选再编辑背景，由 LLM 生成替换指令，再用运动引导动画模型沿源运动轨迹传播，最后由 VLM 过滤肢体畸形、主体缺失、身份不匹配等失败样本。长视频靠时间重叠推理：8 秒窗口、2 秒重叠、线性 cross-fade 融合，所有窗口读同一份 latent、融合后对整段施加单次 Euler 步，全视频保持单一去噪轨迹，因此不需要自回归续写。 实验效果：训练只用了 15,571 个clip、总时长约 13 小时（91% 的clip 在 2-4 秒），32 张 H20Z、有效 batch 96、2000 次优化步的checkpoint。在自建 benchmark 上主体一致性 0.9096 与背景一致性 0.9332 双项第一，DINOv2 主体相似度 0.5613 第一（次优 SCAIL-2 为 0.5470），CLIP-I 0.7767 第二仅差 0.0068；跨数据集 XDance 上运动平滑度 1.4286 第一，DINOv2 0.6040、CLIP-I 0.7953 均为第二。GSB 人工成对评测覆盖 4 个对手×4 个维度共 16 组，Vorch-IR 在全部 16 组中 Good 占比都高于 Bad：对 Wan-Animate 身份一致性 77.0% Good 对 11.5% Bad，对 MoCha 运动一致性 50.0% Good 对 0.0% Bad、身份一致性 69.2% 对 3.9%，对 HunyuanCustom 身份一致性 65.4% 对 23.1%。推理用 8 步蒸馏采样器单阶段完成，完整驱动视频只编码一次，短片段训练的模型直接扩展到分钟级。 批判点评：这是Vorch 系列本周的第四篇（8 月 7 日那期已推过 Omni、Streamer、Director），从「一套权重覆盖 30 多种音视频配置」走到「一套权重覆盖单人/双人/背景四种替换设置」，路线是连贯的：把任务差异从架构里赶出去，全部推给指令文本和 token 角色分配。最实用的一招是时间重叠推理——用完整驱动视频本身作为稠密逐帧条件，所有窗口共享同一份 latent 再做单次全局 Euler 步，绕开了自回归续写的误差累积，这个思路对任何「有完整条件序列」的长视频任务都能复用。但要看清代价：训练数据只有 13 小时、15,571 个clip，而且监督信号全部由「图像编辑首帧 + 运动传播」合成，本质是在蒸馏现成编辑器与动画模型的能力，天花板受限于那两个工具；论文也没报 FVD，视频级分布距离缺一个公认口径。更关键的是定量对比只在「单人替换」这一共同设置下做——双人和背景替换恰恰是它宣称的核心增量，却只有项目页的定性结果，无法核验。时序闪烁 0.9680 低于 HunyuanCustom 的 0.9781，DWPose 误差 0.0976 也不及 Wan-Animate 的 0.0614，说明身份保真的提升是拿姿态精度和时序平滑换来的。最后，这类换脸能力的滥用风险是实打实的，论文对此几乎没有讨论。 3. UniVVT：扔掉掩码姿态快38倍 UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on | 清华大学·天津智能创新研究院 | arXiv:2608.05745 关键词：视频虚拟试穿,端到端生成,MLLM语义条件,预处理加速,清华 前序问题：视频虚拟试穿要合成一段「这个人穿上这件目标服装」的视频，同时保住身份、动作和场景动态。主流做法把它当成掩码条件下的视频修补，于是必须挂一串独立模块：人体解析、姿态估计、服装变形。这套多阶段设计不只部署麻烦，更要命的是显式几何先验一旦出错，误差会不可逆地传进生成结果——掩码估计歪了，衣服就换不干净。而且这些预处理开销随视频长度近线性增长，90 帧就要一百多秒。 本文贡献：把视频试穿从「掩码条件视频修补」重新定义为「语义条件视频生成」，推理时彻底不需要掩码、姿态和变形场。核心判断是：「换什么」和「换到哪、怎么换」可以由多模态语义隐式编码，不必显式规定。三个组件：场景-任务感知器用 Qwen3-VL-2B-Instruct 把源视频、目标服装图、文本指令联合编码，前置 512 个可学习 task query 通过自注意力聚合任务信息，取的是 MLLM 的 hidden states 而非解码出的文本，因此同时捕获服装属性、场景上下文、人体-服装对应关系与时序编辑意图；语义桥是个轻量 MLP，只做维度与分布的适配，不学新的生成先验；视频生成模块基于 Wan2.1-Fun-Control 的 DiT，源视频 latent 与噪声沿通道维拼接以保留身份动作背景，服装 latent 沿序列维追加作为静态外观参考，每个 block 通过 cross-attention 注入任务语义与冻结CLIP 的服装外观特征。训练走三阶段渐进：先冻结生成器只对齐语义，再联合端到端适配，最后在256p-1024p 随机分辨率上精调。掩码与 DensePose 只出现在离线数据构建阶段（从真实的服装-视频对反向合成源输入），训练和推理都不吃这些输入。 实验效果：最有说服力的是效率：显式几何预处理在 30 帧要 36.36 秒、90 帧要 111.39 秒且近线性增长，UniVVT 的隐式任务编码分别只要 2.06 秒和 2.92 秒，加速 17.7 到 38.1 倍，90 帧场景直接省掉 108.47 秒。质量上也没让步——ViViD-S 视频基准 paired VFID_I 8.3623、VFID_R 0.1934、LPIPS 0.0456、unpaired VFID_I 12.3640、VFID_R 0.1876 五项里四项最优（SSIM 0.8922 次于 MagicTryOn 的 0.9011），unpaired VFID_R 相比次优 DreamVVT 的 0.4285 几乎腰斩。图像基准同样领先：DressCode paired FID 2.734、KID 0.4154、LPIPS 0.0349、unpaired FID 4.900、KID 0.960全为最优；VITON-HD paired FID 5.348、KID 0.3667 也是第一，并明显优于 Qwen-Image-Edit（14.269）与 FLUX.2-klein（11.503）这类通用图像编辑模型。消融很干净：去掉场景-任务感知器后 unpaired VFID_R 从 0.1876 恶化到 0.4424翻倍以上，定性上会把短裙错误地贴到上半身；语义桥若用 12 层 Transformer（1260M 参数、571G FLOPs）反而不如 41.96M 的 MLP，说明这一层只需做紧凑的分布变换。8 张 A100、LoRA rank 32、每阶段 30k 步。 批判点评：这篇给「能不能把一堆预处理模块直接删掉」提供了一个相当有力的答案，而且删的理由讲得通：掩码和姿态本质是在告诉模型「改哪里」，但一个足够强的 MLLM 看完视频和指令后本来就知道该改哪里，交叉注意力可视化也确实显示注意力集中在上半身并沿手臂持续跟随、人脸和背景响应明显更弱。17.7-38.1 倍的预处理加速对电商这种要批量跑的场景是硬收益，比多零点几个 SSIM 实在得多。轻量 MLP 打败重型 Transformer 那组消融也很有价值——提醒大家适配层不该无脑堆容量。但几处需要打折：训练三元组的「源视频」全部是用 inpainting 模型合成出来的，真实数据只提供服装图与目标视频，也就是说模型学的是「从合成劣化态恢复到真实态」，真实用户上传的视频未必落在这个分布里；in-the-wild 只在 TikTok 舞蹈上做了定性展示，没有数值。评测统一在 512×384 这个偏低的分辨率下进行，而试穿最挑剔的恰恰是布料纹理与 logo 这类高频细节，Stage 3 在 832p上 LPIPS 反而退到 0.0586 也暗示高分辨率并非无痛。论文既没有 FVD 也没有用户主观评测，视频级的时序观感缺少直接证据。SSIM 输给 MagicTryOn 也说明「端到端」在结构保真上还有欠账。 4. EG-FM：让终点自己动收敛快2.7倍 Energy-Guided Flow Matching | 京东·中科院自动化所 | arXiv:2608.05811 关键词：像素空间扩散,Flow Matching,频谱调度,收敛加速,京东 前序问题：像素空间生成模型绕开了 VAE 的有损压缩，代价是要在极高维空间里同时学全局结构和细粒度纹理。标准 flow matching 把噪声笔直插值到一个固定的干净图像终点，从低频轮廓到高频细节的整条频谱演化只能由网络隐式摸索，没有任何机制告诉模型「先把大形状定下来，再补纹理」。结果就是收敛慢、epoch 烧得多，像素扩散一直被认为训不动。 本文贡献：把固定终点换成会动的终点。用热核频率响应 R(h,ρ)=exp(−aħρ²) 对干净图做低通滤波，得到随时间平滑演化的终点 y_t(x)：h=1 时最强低通只剩轮廓，h=0 时恢复全频谱等于原图，边界条件与标准 FM 完全一致。关键是高频释放节奏不写死，而是按每张图自己的频谱能量自适应：用 Parseval 定理算出总缺失能量与已恢复能量，令所有样本在同一时刻 t 完成相同比例的频谱能量恢复（release clock q(t) 用五次smootherstep），再用 16 次二分求出该图的热时间 h。速度目标因此多出一项终点自身运动项 t·∂_t y_t，通过隐式微分求导，无需对求根器反传。默认 σ₀=3.5，所有频谱运算在 FP32 下执行，t 与 1−t 接近 0 时解析赋值保证端点稳定。不改backbone、不改训练数据、不改采样器。 实验效果：ImageNet 256×256 类条件生成上做成收敛加速器：HyperDiT-H 只训 220 epoch 就拿到 FID 1.51，优于基线 600 epoch 的 1.56，约 2.7 倍加速；DeCo-XL/16 440 epoch 达 1.63 优于基线 600 epoch 的 1.69；PixelDiT-XL 200 epoch 的 1.55 已经超过基线 320 epoch 的 1.61，600 epoch拉到 1.45 优于基线 800 epoch 的 1.54（torch-fidelity 协议下为 1.39）。512×512 上从256 检查点仅微调 40 epoch，240 epoch 得 FID 1.68，而标准 PixelDiT 多训 530 epoch 才 1.81。迁到文生图，1.3B 的 EG-FM-T2I 把 PixelDiT-T2I 的 GenEval 从 0.78 提到 0.85、DPG 83.7→83.9（DPG 为全表最佳），GenEval 分项里Position 0.53→0.72、Color attribute 0.65→0.77 提升最猛。开销几乎为零：额外 FLOPs 最多 +0.026%/样本，每步墙钟时间增幅除 PixelDiT-B/16 的 4.81% 外均在 1% 以内，推理阶段完全零开销（不需 FFT、不需求根，与标准 FM 同 solver 同 NFE）。消融证明「逐样本自适应」是关键：共享线性释放 FID 2.48、数据集级 2.11、类级 2.03、逐样本 1.99。 批判点评：在一堆「加个新模块涨点」的论文里，这种改训练目标而不动网络、推理零开销的路子性价比极高，尤其「同一时刻所有样本释放相同比例频谱能量」这个归一化视角很干净——它把粗到细这件一直靠 noise schedule 玄学调的事，变成了可解析求解的能量约束。消融也做得诚实：取消量化、换释放时钟、改热时间粒度都摆了数字，还坦白 x-prediction 扩展在 JiT 上只从 2.37 到 2.33几乎无效，并解释了原因（早期 solver 的 x̃ 频谱不可靠）。不足同样清楚：σ₀ 呈 U 形曲线且最优值 3.5 是搜出来的，换数据分布或分辨率是否还成立没有验证，σ₀=1000 时 FID 崩到 66.08 说明这条路径对超参并不宽容；全部结果限于像素空间 backbone（DeCo/HyperDiT/PixelDiT），latent 空间主流模型上有没有增益完全空白，而作者也承认没在 Flux、Qwen-Image 量级基座上测过；GenEval 0.85 虽亮眼，但 DeCo-XXL/16 用 1.1B 参数拿了 0.86，说明这套增益并非在所有对手面前都成立。视频与跨模态更是明确列为未来工作。 5. EffectLearner：擦人连影子涟漪一起擦掉 EffectLearner: World-Aware Object-Effect Reasoning for Real-World Video Object Removal | 清华大学深圳国际研究生院 | arXiv:2608.05565 关键词：视频物体移除,效果推理,VLM引导,DiT擦除,清华 前序问题：视频物体移除不只要抹掉目标本身，还要连带清掉它引起的影子、反光、涟漪、尾迹、扬尘这些次生效果，同时保证补出来的背景高保真且时序连贯。现有方法把物体-效果对应关系隐式地从预定义效果类别和固定数据分布里学，一旦遇到真实场景里的组合效果（影子叠反射）、空间上与物体分离或弱相关的效果（远处水面的涟漪）、长尾物理现象、以及随时间演化的动态交互，就统统失效——把人擦了，地上的影子还在。 本文贡献：把语义推理塞进擦除管线：VLM 物体-效果推理器（Qwen2.5-VL-3B-Instruct）接收「目标高亮视频」（红色叠加α=0.15、黄色描边）与结构化效果分析提示，通过可学习效果查询做跨模态推理，聚合目标身份与运动、诱发效果及其时序演化、期望的移除后状态、需保留的场景内容，投影成紧凑的 effect-aware context tokens，直接替换 DiT 交叉注意力里原有的文本条件；DiT 视频擦除器基于 Wan2.2-TI2V-5B（从 Kiwi-Edit 初始化）在通道维拼接源视频 latent 与下采样掩码。两个运动感知机制补最后一公里：时间维掩码并集防止 causal 3D VAE 的时间压缩把快速运动目标的短时位置丢掉，运动一致性损失匹配运动补偿后的潜变量时序残差来压闪烁。配套自建 EffectWorld：Unreal Engine 5 渲染，每个目标 20 条随机化序列、每场景 3 条时空对齐序列（source/target/mask），共 11,092 组有效三元组，加 ROSE 的 16,663 组共 27,711 训练样本，配三阶段渐进课程（基础擦除→提高组合/动态/分离样本比例→长尾物理与快速运动精修）。 实验效果：EffectWorld-Eval 上 5 项指标全线最优：PSNR 29.521（次优 ROSE 25.955，领先 3.57 dB）、SSIM 0.934、LPIPS 0.044（次优 0.111，降 60%）、MAE 6.839、FVD 69.184（次优 EffectErase 238.521，降 71%）。ROSE-Bench 上拿到最佳 LPIPS 0.054 与最佳 FVD 81.866——注意 ROSE 虽然 PSNR 30.468领先，但 FVD 高达 803.722，几乎是本文的 10 倍，说明它的像素分领先建立在视频级不连贯之上。EffectWorld-Wild（70 组无配对真值）的 VBench 指标里背景一致性 0.958 与动态程度 0.400 双项最优。GPT-5.4 作评委的四维打分（1–4）总分 3.389 领先 EffectErase 的 3.270，20 人人工评测总分 3.675 对 3.213，其中效果移除 3.900 对 3.000、背景保持 3.950 对 3.000；人工与 LLM 评测的总分 Pearson r=0.9837。消融显示运动一致性损失最关键：去掉后 PSNR掉 4.818、LPIPS 恶化 3.25 倍、FVD 恶化 4.26 倍。 批判点评：这篇的价值在于把「效果」从枚举类别变成了可推理的语义变量——ROSE 那套预定义五类副作用（阴影/光源/反射/镜面/半透明）在真实视频里根本不够用，而让 VLM 先看一遍再告诉 DiT「哪些像素是这个物体造成的」是很自然的解法，评测设计也难得地把 ROSE 的高 PSNR 低 FVD 矛盾摆出来，说明作者清楚像素指标会骗人。人工与 LLM 评测 r=0.9837 也为 LLM-as-a-Judge 在这个任务上提供了一次有说服力的校验。但几处要打折：训练数据 11,092 组全部来自 Unreal Engine 渲染，虽然规避了肖像权问题，合成到真实的域差距只靠 ROSE 那 16,663 组真数据和课程学习来弥合，EffectWorld-Wild 上的优势主要体现在无参考指标和主观分而非硬指标；评测集规模偏小（Eval 仅 33 对、Wild 70 组、ROSE-Bench 60 组），单个难例就能明显搅动均值；人工评测只有 20 名志愿者且分数密集落在 3.9这种接近满分的区间，区分度有限。作者自己列的失败案例也很实在：大面积遮挡加高纹理背景会补得过度平滑，复杂运动下甚至把本该保留的细杆结构误删——这两类恰好是电商与影视后期最常遇到的。 6. HelloWorld：按一下键角色回头打招呼 HelloWorld: Enabling Socially Interactive Characters in Video World Models | 东京大学·Alaya Lab | arXiv:2608.05070 关键词：视频世界模型,社交交互,自蒸馏,时序注意力掩码,东京大学 前序问题：视频世界模型这两年进步很快，但里面的角色始终是「背景板」——你只能看，不能和它们互动。用户按个键让屏幕里的角色转过来朝你挥手、点头、说句问候，这件事目前没有任何世界模型支持。难点有两层：一是要让交互看起来自然，二是要控制交互发生的时机，而不是角色在整段视频里随机做动作。 本文贡献：在 LTX-2.3 基础上做了一个能社交互动的视频世界模型：按一下 F 键，屏幕里的角色就会朝镜头做出回应。关键是不采集任何外部数据、不做人工标注，而是用自蒸馏——先用精心设计的 prompt 让冻结的基座模型自己生成「同时含社交交互和相机运动」的片段，再用 Pi3X 从这些自产片段里恢复首帧点云与逐帧相机轨迹，按轨迹把点云重投影渲染成 warp video作为历史条件。warp video 天然带空洞（遮挡区和视野外），正好只提供几何引导、缺失部分交给模型补全，训练时用 visible-token selection 丢掉无有效源观测的 token，并刻意把相机文本从损失条件里排除，确保相机跟随完全由 warp video 而非文本控制。时机控制则是一个完全免训练的技巧：推理时给 cross-attention 加时序掩码，让交互窗口之外的帧无法 attend 到交互文本token，于是角色只在按键窗口内响应观众、窗口外表现为环境行为，开销可忽略。同时配套 HelloWorldBench，用 120 张图扩成 400 个评测样本、覆盖 264 个角色实例与 101 种交互类型，并设计ActAcc/TimeAcc/GazeDev 三个指标分别回答「做的是不是指定动作、有没有在指定时刻发生、是不是朝着观众」。 实验效果：训练成本低到有点惊人：156 条自生成视频、2000 步、LoRA rank 32、单张 H200。时机控制是最大增益——TimeAcc 81.7%，而所有基线在 30.9 到 41.2 之间，多数贴近 33.3% 的随机猜测水平，相比最强基线 WorldPlay 的 41.2 提升 40.5 个百分点；消融显示仅加视频流掩码就把 TimeAcc从 36.7拉到 80.9，再加音频流掩码让语音落在窗口内的比例从 52.5% 升到 69.1%。相机可控性 82.9 为全表最优，比次优 SANA-WM 的 70.0 高 12.9、比基座 LTX-2.3 的 31.4 高 51.5，同时背景一致性 96.9 与美学分 5.27 也都是最高，说明自蒸馏没有损伤基座画质。自蒸馏数据的价值也被量化了：相比用真实视频（不含社交交互）训练，ActAcc 从 36.4 升到 41.4、视线偏差从 51.3 度改善到 40.2 度——因为无交互的真实视频只教会模型填warp video 的空洞，角色会做动作但不朝向观众。30 人用户研究覆盖 4 个对手×3 个问题共12 组，偏好率71.7% 到 91.2%，所有置信区间下界都高于 66%。开销为基座的 +20% 时间、+36% FLOPs，10 秒 1280×704 片段耗时 60.2 秒、每帧 0.26 秒。 批判点评：这篇的巧劲在于两处都绕开了「需要更多数据」这个惯性答案：交互能力靠让基座模型自己生成训练数据来激活（156 条视频、2000 步就够），时机控制干脆完全免训练、只加一个 cross-attention 掩码。TimeAcc 从接近随机的 36.7 跳到 80.9 这组数字尤其说明问题——大家一直以为「控制时机」要靠时序建模，实际上只是没人去屏蔽窗口外的文本注意力。三个指标拆成「做什么/何时做/是否朝向观众」也比笼统的偏好分更有诊断力。但最需要说清的是标题里那个「interactive」目前名不副实：论文明确承认尚不支持实时交互，世界生成由预先指定的相机轨迹与交互脚本驱动，也就是说你并不能真的按一下键就看到反应，60.2 秒才出10 秒视频，离交互式体验差着一个数量级，作者把自回归架构列为未来工作。ActAcc 41.4 还输给 LingBot-World 的 50.5，且绝对值只有四成——意味着六成情况下角色做的并不是你指定的那个动作，这个基础准确率撑不起产品化。自蒸馏也有天花板：能被激活的只是基座里本来就有的社交先验，基座不会的动作蒸馏不出来。评测的 VLM 裁判与真人研究都指向同一个模型家族的偏好，跨基座泛化性未验证。 7. WorldClaw：一句话生成可编辑开放世界 WorldClaw: Agentic 3D Open-World Generation at Scale | 腾讯混元 Hunyuan3D | arXiv:2608.05248 关键词：3D世界生成,Agentic流水线,程序化地形,Hunyuan3D,腾讯 前序问题：从一句开放文本生成能自由漫游的大规模 3D 世界，难点是三件事必须同时成立：全局空间连贯（山脉、河流、聚落的相对关系不能乱）、局部内容丰富（走近了要有细节而不是一块糊墙）、以及产出显式可编辑可复用的资产（下游要能改材质、换模型、接进引擎）。现有路线各缺一角：分块潜变量方法长程组织弱、区域过渡突兀且不暴露独立资产；单视图高保真方法相机一走远就露出离散高斯基元和畸变几何；城市导向方法偏重实例排布而缺大尺度地貌。 本文贡献：全agentic 的粗到细三阶段流水线。规划阶段两个 agent 分工：意图分析 agent 只抽取并归一化 prompt 里显式表达的约束、绝不擅自补内容，场景规划 agent 才按schema 补齐下游必需的缺失字段，输出区域、地形、物体三类结构化规格。全局地形阶段先由地形规划 agent（可调搜索工具、必要时生成概念图）产出布局、资产、材质与世界尺度等参数，再用 GPT-Image-2 生成语义布局图和资产原型图、经 Hunyuan3D 的图生3D 转成可复用原型；核心是区域感知高度场H(x)=Σ_r m̃_r(x)·[h_r+Σk w{r,k}N_{r,k}(x)+Σj α{r,j}G_{r,j}(x)]，用区域软权重混合基准高程、多频噪声与山峰/沙丘/阶地/侵蚀四类地貌算子，同一套权重复用于材质分配；地形资产按区域亲和性与目标密度在布局掩码内采样，再用局部高程、坡度、法线过滤，减少悬浮与穿模。区域物体阶段三个可复用 skill：Region Composition 渲染已有地形并生成合成图作为 2D 布局先验，Object Generation 用文本引导 SAM3 分割（全图加重叠滑窗提召回）后 SAM3D 重建网格并做非对称容差的图像空间尺度校准，Object Placement 用双射线对应恢复 3D 放置、以底部体素与地形的接触率为终止条件联合搜索锚点深度与等比尺度。两处渲染驱动精修循环经 BlenderMCP 连回引擎，维护「诊断渲染图+状态报告」任务队列，修区域突变、纹理比例失配、悬浮穿模，并做物体-地形协同变形（修改严格限制在支撑区内以保全全局地貌）。 实验效果：在 4 张 H20 上用 Blender 5.1.1跑通，agent 底座为 Opus 4.8，基础模型套件为 GPT-Image-2 + SAM3 + SAM3D + Hunyuan3D，大物体 PBR 纹理 2048×2048、小物体 1024×1024。正文 4 个加附录 7 个共展示 11 个完整世界，主题跨热带海盗岛、河谷部落聚落、沙漠战场、雪山未来设施、中世纪村庄、日式小镇岛屿、火山巢穴、宝石矿场等，每个都给出全局视图、区域视图、漫游视图，并附实例/深度/法线三种渲染。与 SynCity、Marble、MajutsuCity、WorldGen、GPT-5.6 Sol 五个基线在同一「中世纪村庄」主题下做定性对比：SynCity 长程组织弱且不暴露可控资产，Marble 远移后远处几何不完整并露出离散高斯基元，MajutsuCity 保留可控资产但被规则城市布局强约束，WorldGen 输出显式带纹理网格但展示视图地形平坦均质（作者称其为下游可用性上最接近的基线），GPT-5.6 Sol 能搭出完整布局但地形用简单几何形体、呈 blockout 外观。本文同时给出显式全局地形与独立重建放置的物体网格，兼顾大尺度地貌、局部填充与实例级可编辑性。 批判点评：这篇最有参考价值的不是某个模型，而是它证明了一件事：3D 开放世界生成可以不做成一个端到端大模型，而是拆成「LLM 写程序化地形参数 + 图像模型出布局图 + 分割重建做实例 + 渲染 agent 反复自查」的解耦流水线，且产物天然是引擎可用的显式网格与可编辑实例——这比一坨不可编辑的高斯点云对游戏和影视工业实用得多。区域感知高度场把地貌做成可解析的加权叠加，也让「换个世界尺度重跑」成为改参数而非重训。但必须说清它的实证水准：全文没有任何定量指标，没有 FID、CLIP-Score、几何误差，没有消融，也没有用户研究，全部结论建立在作者挑选的定性图上，这个证据强度撑不起「at Scale」的标题——连场景到底多少平方公里、放了多少资产都没披露。作者自陈的三条局限相当致命：整条链强依赖 Opus 4.8、GPT-Image-2 这类闭源强模型，换开源 LLM 常常生成不可执行的地形程序、换开源图像模型出不了可用布局图；LLM 写 Blender 节点图容易在尺度估计和节点连接上出错，需要多轮渲染-检查-修复；逐物体生成加多轮 agentic 精修导致延迟和成本随物体数与迭代次数增长，简单场景下甚至不如整体式方法。 8. MASS：1024人同屏世界只算一次 MASS: Multiplayer World Models with Authoritative Shared State | Alaya Lab·北京大学·东京科学大学 | arXiv:2608.06257 关键词：多人世界模型,类型化状态,权威服务器,可扩展渲染,北大 前序问题：当前视频世界模型在多人场景里必然失效，因为它们把世界状态和依赖视角的视觉潜变量纠缠在一起：同一份共享内容要为每个观看视角独立编码一遍，算力冗余；各视角的循环历史各自漂移，导致跨视图矛盾（同一个位置一个玩家看到食物、另一个看到空地）；最要命的是模拟成本被绑死在「有多少人在看」上，视角数一涨算力线性爆炸，根本无法扩展。 本文贡献：把多人在线游戏的权威服务器架构搬进学习式世界模型：世界只模拟一次，与观看人数无关。Game Schema 声明式定义实体种类、字段与实例数，状态是有序 typed record 集合并做规范化序列化（字段固定位置区间、类型标签互斥 token 区间、可选字段显式 present/absent、有界列表带长度与canonical padding、空间桶排序去重）。Logic Engine 是唯一推进共享状态的学习组件，仅 5.66M 参数的 decoder-only Transformer（宽 256、6 层、8 头），自注意力严格限制在单条 record 内部、record 之间无注意力，因此可自由批处理并支撑千实体世界；物体交互靠预测前从共享状态算出的邻域上下文窗口传入；schema 派生 mask 只约束输出位置的合法词表，移动、碰撞、生长、拾取、死亡、奖励全部是学出来的而非写死的规则。Rendering Engine 按需渲染：把相机局部投影成 16 通道张量（可见占据、语义角色、玩家身份、深度、相机几何），经几何感知残差 U-Net 输出 RGB，只读投影后的 typed state 与相机、不读 RGB 历史，因此相机可在rollout 中随意增删移动、分辨率材质光照可变而无需重训动力学。服务端每tick 开销 T_server=T_logic(N)+C·t_sync(S)：学习式转移只跑一次，分发对接收方线性，渲染在客户端本地。网络卡顿时客户端用同一个 Logic Engine 从最新权威版本本地推进，新版本到达后直接替换 typed state，不需要单独的纠正网络或隐藏 RGB latent。 实验效果：matched 多人 Snake（48×48、最多 8 人）上 128 tick、2 路同步相机评测，7 项指标里 6 项领先：LPIPS 0.098（次优 B-UN 0.123、MultiWorld 0.277）、状态恢复 0.764（最强视频基线 B-PV 仅 0.128，约 5.9 倍）、实体计数 0.234、位置 0.355、事件 F1 0.552，而跨视图不一致率为 0.000——所有视图从同一份预测 typed state 解码，一致性是构造性保证，对照 MultiWorld 的 0.984 与 B-PV/B-SL 的 1.000。注意 B-UN 是绝佳反例：LPIPS 有竞争力0.123 但状态恢复归零、事件 F1 仅 0.007，证明像素级好看不等于世界状态可恢复。直接状态预测层面对比更悬殊：所有密集预测器（独立头 CNN、Joint U-Net、RSSM）一步语义准确率都超过 91%，但位置准确率没有一个超过 2.7%、且每个预测 tick 都结构矛盾（100%）；typed 载体位置准确率 99.1%、矛盾率 0%，H=32 时位置仍有 90.2%。可扩展性实测 1,024 个玩家 record + 4,096 个食物桶 record 共 5,121 record/tick，推进 10,000 个循环 tick；单张 H100 上渲染请求从 1 个视图 189.6 ms 到 1,024 个视图 842.4 ms，仅 4.4 倍而视图数增加了 1024 倍，世界转移成本完全不变。客户端预测实验中oracle 联合输入下缺失 1–8 次服务器更新的视内一致性恒为 1.000、本地角色位移恒为 0 格，即约 400 ms 窗口内学习式转移不引入任何视内偏差。八个游戏的渲染重建PSNR 五个超过 32 dB（Frogger 40.24），SSIM 全部超过 0.97。 批判点评：这篇的洞察很值钱：多人世界模型真正的瓶颈不是画质而是「循环载体选错了」。密集预测器语义准确率 91% 却位置准确率不到 2.7%、100% 结构矛盾这组对照数据极具说服力——网格表示无法跨 tick 保持实体身份，同一格子在不同步必须编码不同实体，U-Net 没有任何显式追踪机制，所以看起来对但状态全错。把权威状态、状态复制、客户端呈现三者分离，让模拟负载与观众数脱钩，这个架构迁移几乎是把二十年的netcode 经验直接兑换成了世界模型的可扩展性，1024 视图仅 4.4 倍渲染开销的数字很硬。但要注意评测场域的局限：主实验是 48×48 网格的 Snake，附带 Breakout 与 Tile Merger，全部是 2D 离散网格游戏，作者也承认扩展到 3D 环境与更丰富实体交互属未来工作——真实的多人 3D 世界里typed schema 该怎么声明连续几何和物理接触，是完全没碰的难题。延迟上typed-token Transformer 需 45.55 ms，明显高于密集基线的 3–4 ms，虽然刚好卡在 20 Hz tick 预算内但余量很小。Tile Merger 这类随机网格游戏 full-state exact 全程为 0，SRSC 显示 Crate Pusher 的 Logic 分数在 H=100 后跌到 10–17 区间，说明长时程可靠性远未解决。还有一点：MultiWorld 用 5.60B 可训练参数被 5.66M 的MASS 击败，这个对比虽然亮眼，但两者的能力边界本就不同——MASS 需要一份人工声明的 schema，视频世界模型不需要。 9. VideoArgus：给每条输入现场出评分细则 VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing | 罗切斯特大学 | arXiv:2608.05485 关键词：视频生成评测,动态评分细则,Agentic评估,VideoArgus-Bench,罗切斯特 前序问题：评测生成视频有三个老毛病：评测内容是固定的（一套 prompt 打天下，模型很容易过拟合到榜单）、覆盖面是残缺的（要么只测文生视频、要么只测编辑，五种设置没人统一）、给出的分数是不可追溯的（一个数字下来，你不知道它为什么扣分、也没有证据链）。结果是榜单排名和人类观感经常脱节，尤其文生视频这一档，源基准评测器与人工判断的实例内 Spearman 只有 0.162，图生视频那档甚至是 −0.060，等于负相关。 本文贡献：把「固定指标」换成「现场生成的评分细则」。对每条输入实例，先在完全不看任何模型输出的前提下（output-blind）生成一次 sample-specific rubric，然后冻结、复用于该输入的全部候选视频——这样既是样本自适应的，又保证了跨模型的公平。rubric 从统一的 22 个维度池实例化，每条准则包含具体要求、hard/soft 约束类型、三档重要性权重、0–10 整数评分规则、预期失败模式、可选的 hard cap，以及一份evidence plan（目标实体/事件、参考源、有序工具序列）。评估阶段由 evidence plan 驱动工具调用：vlm_qa 做通用语义问答，专用工具负责目标定位跟踪、参考引导裁剪、DINOv3 视觉相似度、OCR、深度与空间关系、时间闪烁检测、感知质量评估，plan-normalization 层会检查工具参数与依赖、把不可用操作映射为替代方案，专用工具失败时回退到 criterion-specific vlm_qa 并把回退决策记进报告。最终分 S=(1−α)B+α·min(B,κ)，α=0.5，B 为重要性加权基础分、κ 为最严格 hard cap，且重要性、失败阈值、hard cap 对打分模型隐藏，只在聚合时生效。覆盖 T2V/TI2V/TS2V/TV2V/TSV2V 五种设置。 实验效果：VideoArgus-Bench 含 1,026 条输入实例（653 张图、416 条视频，素材来自 Pixabay 并经质量过滤），指令平均约 26 词，平均 11.9 条准则/实例（范围 6–17），全部 rubric 预生成、冻结并开源，评测了 55 个 model–task 对。在独立的 210 实例、1,260 视频（每输入 6 个模型输出、15 名标注者 0–10 打分）人类对齐集上，实例内 Spearman 与 Kendall 在全部五个任务上都超过源基准评测器：T2V 从 0.162 提到 0.496（+0.334），TI2V 从 −0.060 提到 0.605（+0.665），TS2V 0.524→0.631，TV2V 0.548→0.608，TSV2V 0.686→0.749。骨干鲁棒性上，固定评估 VLM 换 rubric 生成器（Claude Opus 4.8 / GPT 5.6 Sol / Gemini 3.1 Pro）平均排名一致性 0.909，固定 rubric 换评估 VLM（Qwen3.6-27B / Gemma4-31B）平均 0.931。生成 rubric 的准则数是人工标注的 2.33倍（11.68 对 4.98）而 hard 准则数相当（2.09 对 2.27），说明是覆盖更广而非一味更严。成本上 rubric 生成一次性平均 $0.231/case，评估全程本地推理约 0.033 H100 GPU 小时/视频、无按次API 费用。附带榜单里Seedance 2.0 五项任务全冠，可灵 Kling v3 Omni 在四项任务排第二，开源最优分别是 HunyuanVideo-1.5（T2V/TI2V）、OmniWeaving（TS2V）、Kiwi-Edit（TV2V）、Aurora（TSV2V）。 批判点评：这套设计击中了视频评测最尴尬的现实：固定 prompt 集正在被刷榜，而单一维度分数无法解释扣分原因。「output-blind 先出细则、冻结后复用」是很聪明的一步——它同时解决了样本自适应与跨模型公平这对矛盾，而把重要性权重和 hard cap 对打分模型隐藏也有效防止了 judge 顺着权重自我合理化。TI2V 上从负相关 −0.060 翻到 0.605 这个数字尤其说明现有基准的失效程度之深。但要清楚它换来了什么代价：整套流水线依赖闭源 Claude Opus 4.8 生成 rubric、Qwen3.6-27B 做评估，评测本身变成了一个需要 GPU 集群和 API 预算的系统工程，$0.231/case 加0.033 H100 小时/视频，规模化打分并不便宜，而「用大模型评大模型」的循环偏见也没有被真正消解。人类对齐集只有 210 实例且 TSV2V 一档仅 10 条，这一档 0.749 的领先统计意义有限。工具消融显示 Full 相对纯 VLM 在实例内相关性上 5/5 胜出，但 pooled Spearman 在 T2V、TV2V、TSV2V 三项上反而不如纯 VLM 或源基准，说明专用工具的收益并不一致。附带榜单虽然吸引眼球，却只能读作「按VideoArgus 口径」的排名。 10. LILAC：解码再编码token一位不改 LILAC: An Idempotent Neural Speech Codec | 首尔国立大学 | arXiv:2608.05727 关键词：神经语音编解码,幂等性,可逆变换,低码率,首尔国立大学 前序问题：神经音频编解码器已经是语音生成与编辑的标准 token 接口，但它们全都不幂等：把token 解码成音频、再重新编码回 token，token 会变。论文实测的十二个基线配置，单次 decode–re-encode 平均至少重写 15% 的 token，最差的 FocalCodec 重写 89.1%、DualCodec 80.2%。这在任何会发生「重编码解码输出」的管线里都是灾难——级联编辑、迭代生成、多轮处理都会让 token 流不断漂移，100 轮循环后 FocalCodec 与 Mimi 的 token 一致率已趋近于 0，dWER 从 0.07 涨到 1.34。 本文贡献：不靠训练、靠架构把幂等性证出来。设可逆分析变换 A 把输入分成保留坐标 z 与丢弃坐标 f，编码为 E(x)=q(Π_z A(x))、解码为 D(z_q)=A⁻¹(z_q, φ(z_q))，则对任意 z_q 与任意 fill 网络 φ 恒有 E(D(z_q))=z_q，与权重、收敛程度、重建质量完全无关——证明只需三步：可逆性保证投影后取回z_q，FSQ 由 clamp+round 组成故幂等，两者复合即得。工程上用两类可逆基本块：源自 Glow 的可逆 1×1 卷积（正交参数化，逆即转置核）与源自 NICE 的加性耦合块（逆只需减法，对应小波 lifting steps，名字由此而来），f/g 用 ConvNext1D 堆叠、按时间维奇偶索引切分、合并时按通道拼接实现「时间减半通道加倍」。整条路径无任何除法，避免浮点溢出，整体保体积；唯一例外是可逆 1×1 卷积强制全精度执行以保证 round-trip 精确。通道演进为 reshape 到 5 通道 → stem 缓解多相伪影 → 四次 squeeze-and-mix 到 80 通道 → 五次projection 逐步切掉丢弃坐标，最终 20 通道。推论很有意思：证明对 φ 无任何约束，因此可以构造随机解码器 φ(z_q,ω)在保持幂等的同时输出多样结果。 实验效果：24 kHz 全带宽、帧率 9.375 Hz、每通道 4 bit×20 通道 = 80 bits/frame，码率 0.75 kbit/s，总参数 58.5M（分析变换 43.1M 共享 + fill 网络 15.4M）。解码并重编码 LibriSpeech 与 LibriTTS-R 全部 7,457 个测试样本，每一个都重编码为完全相同的 token 流；100 轮循环token 一致率恒为 1.0000，dWER 恒为定值，说话人 EER 恒为 4.00%——而同期DAC 的 EER 从 0.00涨到 46.00、FocalCodec 从 3.00 涨到 41.00。质量上 UTMOS 在 LibriSpeech test-clean 达 4.141、LibriTTS-R 达 4.238，均高于真值音频的 4.072 与 4.194；sub-1 kbit/s 组内 PESQ 2.60、STOI 0.935/0.944、SI-SNR +2.2/+6.0 dB 三项全部第一，且是唯一未在评测集上训练的编解码器（训练用 HiFiTTS-2 并按 reader-ID 排除全部 146 个 LibriSpeech/LibriTTS 说话人）。消融很实在：仅加 anti-imaging stem 会恶化 LibriTTS-R（dWER 0.121→0.252），必须配合带宽衰减增广；解开编解码共享权重、加宽隐层、加深卷积堆叠都无有意义提升；改用连续潜变量（取消量化）每个指标都变差；40 通道×1 bit 的 BSQ 变体 UTMOS 略升但 dWER 崩到 0.46–0.48。 批判点评：这是一篇少见的「先证明、后调参」的 codec 论文：幂等性不是训出来的性质而是构造出来的定理，与权重无关这一点意味着它不会因为换数据、换训练轮次而失效，这种保证在工程上比多零点几个 UTMOS 值钱得多。作者的坦诚也值得记一笔——明确写了「It does not push the pareto frontier」，把单程下游迁移面板里 LILAC dWER 9.90% 在五个学习型 codec 中垫底的数据也照实登出来，MUSHRA 主观分 51.4 落后DualCodec 的 74.8 且相对最接近的 FocalCodec 领先 2.9 分并不显著（p=0.077），这些都没被藏进附录。局限同样明确：dWER 与 SCOREQ 处于中游，纯卷积却因大量小通道卷积导致 GPU 上 RTF 反而落后于其他 codec，「不更好也不更快，只是永不漂移」。最关键的一条作者自己点出来了——幂等性的下游收益（用其 token 训练的生成模型更稳定）目前仍是理论推断，没有任何训练好的下游模型来实证，也就是说这篇提供的是一个有严格保证的接口，但它到底能给TTS 或语音编辑带来多少实际增益，还是空的。另外比特分配消融显示只有真正提高码率才能无副作用地改善性能，说明 0.75 kbit/s 这档已经被榨干。 趋势观察 人物视频生成的战场全面转向「实时 + 长时+ 多主体」 — 阿里通义的 Wan-Animate-2 用教师强制预训练、Error Buffer 与 chunk-wise 反传的 Self-Forcing 蒸馏，把 14B 角色动画在 4 卡 H100 上推到 400×720 分辨率 24 FPS，长时程自回归无可观测误差累积；美团 Vorch-IR 用 8 秒窗口、2 秒重叠的时间重叠推理，让短片段训练的模型直接扩展到分钟级，且一套权重同时吃单人、双人与背景替换。两者的共同判断是：画质早已不是瓶颈，延迟与时长才是数字人、直播换装这类场景真正的门槛。 「把预处理模块删掉」正在成为一条明确的降本路线 — UniVVT 把视频试穿从掩码条件修补改写为语义条件生成，推理时不要掩码、不要姿态、不要变形场——显式几何预处理在 90 帧要 111.39 秒且近线性增长，它的隐式任务编码只要 2.92 秒，加速 17.7 到 38.1 倍，同时 ViViD-S 上五项指标拿下四项最优。Vorch-IR 同样宣称推理不需要空间对齐的参考图、不需要 mask 或 pose。共同逻辑是：掩码和姿态本质在告诉模型「改哪里」，而一个足够强的 MLLM看完视频和指令后本来就知道。 训练目标与推理策略，比换个更大的骨干更划算 — EG-FM 不改 backbone、不改数据、不改采样器，只把 flow matching 那个固定终点换成按每张图频谱能量自适应演化的热核滤波终点，HyperDiT-H 就用 220 epoch 达到 FID 1.51、优于基线 600 epoch 的 1.56，额外 FLOPs 最多 +0.026%、推理零开销。HelloWorld 更极端：时机控制完全免训练，只给cross-attention 加一个时序掩码，就把 TimeAcc 从接近随机的 36.7拉到 80.9。不是每个提升都需要重训一个大模型。 世界模型开始承认「循环载体选错了，画质再好也白搭」 — MASS 的对照数据最刺眼——密集预测器（CNN、U-Net、RSSM）一步语义准确率都超 91%，位置准确率却没一个过 2.7%，且每个 tick 都结构矛盾；换成类型化状态后位置 99.1%、跨视图不一致率降到 0.000，1024 个视图的渲染开销只有单视图的 4.4 倍。HelloWorld 则用 warp video 把相机控制从文本里剥离出来，相机可控性 82.9 对基座 31.4。WorldClaw 干脆放弃端到端大模型，用 agentic 流水线产出引擎可用的显式网格与可编辑实例。三者都在说：让状态显式、可评估、与下游对齐，比在像素上继续堆生成能力更有效。 评测与接口的可信度，正在被当作一等问题对待 — VideoArgus 对每条输入 output-blind 生成一次评分细则再冻结复用，把文生视频与人类判断的实例内Spearman 从 0.162 拉到 0.496、图生视频从负相关 −0.060 拉到 0.605——现有基准的失效程度比想象中深。LILAC 则从架构上证明编解码幂等：对任意权重恒有 E(D(z))=z，7457 个测试样本重编码 token 一位不差，100 轮循环说话人 EER 恒为 4.00%，而同期 DAC 从 0.00 涨到 46.00。一个修评测、一个修接口，指向同一件事：能不能被信任地接进管线，正在成为比榜单名次更硬的约束。 人工智能炼丹君 整理 | 2026-08-10 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注