AIGC 每日速读|2026-10-05|NeurIPS省七成token保孔洞SILSA 今日 AIGC 论文速览 今日共 10 篇 · 3D生成 1 篇 · 持久世界建模 2 篇 · 视频表征与3D控制 3 篇 · 个性化图像生成 1 篇 · 音频生成 2 篇 · 视频生成评测 1 篇 重点论文标题列表 SILSA（伊利诺伊大学）：省七成token保住孔洞 Oneira（莫纳什大学）：新物体能互动且留下后果 World Observer（KAIST）：镜头外的物体也继续演化 SemanTok（Stability AI）：小模型先学会视频语义 Tacit-TTS（杜比实验室）：免转写克隆语音快十倍 今日论文速览 1. SILSA：省七成token保住孔洞 SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation | 伊利诺伊大学厄巴纳—香槟分校 | arXiv:2610.02201 关键词：图像生成3D, 切片潜空间, Rectified Flow, 拓扑约束 前序问题：高分辨率 3D 生成常先预测活跃体素，再补局部几何；连续曲面被拆成大量局部 token，细杆、孔洞和远距离连接容易断裂。增加体素数能补细节，却同时推高序列长度与训练显存。问题不只是模型画得像不像，还包括生成的网格是否保留原有结构。 本文贡献：SILSA 沿 x、y、z 三轴使用重叠的滑动窗口切片，每个 token 概括一段局部深度窗口。Slice VAE 将带朝向的表面采样编码成切片潜变量，再通过稀疏体积解码器重建网格；Volumetric Anchor Lattice 给三组切片共享的 3D 工作空间。切片级持久同调与相邻切片 Betti 转变损失约束连通分量和孔洞，图像条件 Rectified Flow 则一次生成整组潜变量。 论文 Figure 2：SILSA 总览。沿 x、y、z 轴以重叠切片 latent 表示形状。拓扑感知 SliceVAE 将表面编码为固定的多轴切片 latent，再通过稀疏体积上采样解码为高分辨率网格。图像条件 Rectified Flow Transformer 生成 latent，并以 Volumetric Anchor Lattice 作为共享 3D 记忆协调不同轴。VAE 训练中的切片级持久同调与 Betti 转变损失监督连通分量、孔洞和拓扑一致性。 实验效果：表 3 中固定 384 个 token，对比最紧凑基线 Dora 的 1280 个减少 70.0%；batch size 4、单张 A100 下训练显存 8.7GB，对比 Dora 的 14.6GB 减少 40.4%，端到端推理 0.34 秒/形状，对比 0.82 秒减少约 58.5%。表 1 的 PSNR 为 32.74，SparseFlex 为 30.12；表 2 的 Betti-Err 为 1.582，对比 1.743。arXiv comments 明确标注 Accepted at NeurIPS 2026。 论文 Figure 3：自然场景输入图像的 image-to-3D 生成结果。图中展示 SILSA 从不同输入得到的 3D 形状；这是定性展示，不能仅凭样例推出分布外形状可靠性。 批判点评：这些数字来自不同对照：70% token、显存和延迟以 Dora 为参照，PSNR 与 Betti-Err 的强基线是 SparseFlex，不能拼成对同一模型的全面领先。切片拓扑监督改善结构，并不提供任意形状的拓扑保证；作者也承认分布外结构及信息不足的输入视角会降低保真。值得关注的是表示方式，而不是把单物体结果直接外推到完整场景。 2. Oneira：新物体能互动且留下后果 Oneira: From Open-Ended Generation to Open-World Interaction in Video World Models | 莫纳什大学；大连理工大学；香港中文大学（深圳）；牛津大学；布里斯托大学 | arXiv:2610.01614 关键词：交互式视频生成, 显式世界状态, 状态持久性, 条件视频 前序问题：能生成新房间，不代表能持续与新房间里的东西互动。镜头发现一个新苹果，模型要把它变成可操作对象；把苹果拿走之后，再回头也应看到空桌面。纯视频续写往往把交互当作局部视觉效果，缺少记录事件后果并供后续片段查询的状态载体。 本文贡献：Oneira 用显式世界状态表把视频生成与交互闭环连接。coding agent 读取当前观察和目标，定位实体、规划动作并把结果写回表；探索中发现的新物体也会注册。渲染引擎沿相机轨迹把更新后的表转成粗条件视频，视频生成器结合首帧、可选记忆帧和分块 caption 补齐外观与动作；末帧和更新后的状态进入下一段。它的贡献落在生成可互动且状态连续的视频环境。 论文 Figure 2：Oneira 单片段流程。给定输入图像与目标，coding agent A 读取世界状态表并规划动作 P_k。引擎 E 将每个动作写入表，把更新结果 T_k 沿相机路径 C_k 渲染成粗条件视频 V_k（第 3.2 节）。交互表现为物体框的删除或重新着色；被移动物体的框暂时移除，静止后从生成帧重新注册，新露出的物体也如此。视频模型 G 结合首帧、可选记忆帧、V_k 与分块 caption c_k 生成片段（第 3.3 节），末帧与更新后的表启动下一段。球体仅为示意，条件与生成帧来自同一个 Oneira 片段。 实验效果：表 1 的 InteractionBench 包含 100 个交互案例和 50 条记忆链。Oneira 的交互成功率为 0.78、目标正确率 0.82，LingBot-World-V2 分别为 0.49、0.39；记忆部分 State 通过率 0.80，MiniMax-H3 Ref2VA 为 0.68。图 3 展示三个片段组成的 30 秒链，比较执行交互后转回原处的状态。 论文 Figure 3：三个片段组成的 30 秒链的定性比较。各列上方标出当时的动作，橙色单元格表示 caption 携带交互的 chunk，插图显示 Oneira 的条件视频。红色标签标注 baseline 帧中的失败。Oneira 在指定 chunk 控制两次交互，并在相机转回时维持改变后的状态。 批判点评：状态表使“后果被记住”更明确，却没有让底层视频模型成为物理仿真器。作者列出的动作空间仍是离散的，连续控制和精细接触并未解决；长时域视觉一致性仍受生成器能力限制。100 个交互案例与 50 条记忆链是作者的专用评测，不能等同于开放世界任意操作均可靠。 3. World Observer：镜头外的物体也继续演化 World Observer: Joint Actor-Observer Generation for Persistent World Modeling | 韩国科学技术院（KAIST）人工智能学院 | arXiv:2610.02162 关键词：视频世界模型, 全景观察者, 多视角生成, 镜头外动态 前序问题：视频世界模型通常只生成行动者当前看见的画面。汽车驶出视野之后，没有可见证据约束它继续前进；再次入镜时可能丢失、停住或变成别的车。仅保存旧图像能帮助记住外观，却不一定能维护镜头外持续发生的动态。 本文贡献：World Observer 把“行动”和“观察”拆成两个同步生成流：透视 actor 负责当前视角，全景 observer 持续观察选定区域，二者由共享 DiT 联合生成。共同全景源的 warping 建立几何对应；Observer Sink 从高分辨率初始全景取四个透视参考，帮助物体重返视野时恢复细节。观察者还能放在不同位置，或接收单独条件来控制画面外的事件。 论文 Figure 4：模型总览。（a）World Observer 使用共享 DiT 联合生成 actor 与全景 observer 两条流。（b）Observer Sink 将高分辨率初始全景转换为四个透视参考，以保留精细外观信息。 实验效果：表 1 的真实/合成 OOV 测试中，单观察者 2B 模型的 FVD 为 291.7/196.2，LingBot-World 为 420.0/333.3；OOV-D_gt 为 0.426/0.531，对方为 0.337/0.340。多观察者仅在合成集测试，FVD 为 147.0，但 OOV-D_gt 为 0.528，略低于单观察者 0.531。因此视角增加改善部分指标，并非所有动态指标同步上涨。 论文 Figure 7：与其他模型的定性比较。红框标出目标离开视野前与重新进入视野后的物体。已有模型常丢失物体、冻结其状态或不一致地重建它；World Observer 在视野外间隔后更好地保持物体身份与状态演化。 批判点评：方法目前需要全景条件，作者将从普通透视图补全全景列为后续方向；真实世界多观察者条件稀缺，多观察者优势只在合成集有证据。有限的观察者预算也无法覆盖整个世界。它更像把算力分配到感兴趣区域，而不是获得无限范围的世界记忆。 4. SemanTok：小模型先学会视频语义 SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation | Stability AI；卡尔斯鲁厄理工学院 | arXiv:2610.00686 关键词：视频tokenizer, 自回归生成, DINO语义监督, 可变长度token 前序问题：自回归视频生成需要先确定场景是什么，再补纹理细节。可变长度 tokenizer 虽能从粗到细输出，已有 decoder-REPA 对齐却可能利用带噪输入满足损失，未必迫使短 token 前缀本身承载语义；小 AR 模型因此仍可能生成类别不对或随时间漂移的画面。 本文贡献：SemanTok 保留 VideoFlexTok 的可变长度训练和 nested dropout，在编码端加入冻结 DINO 特征，并用轻量 Dense DINO 与 Class DINO 读出头，要求每个保留下来的 token 前缀单独预测教师语义。冻结 tokenizer 后，AR 模型按时间优先、由粗到细的顺序预测 token，再由扩散 decoder 还原视频。语义监督直接落在短前缀，而不只落在 decoder 的中间状态。 论文 Figure 2：方法总览。（1）tokenizer 训练：encoder、FSQ 与扩散 decoder 联合训练，nested dropout 使 decoder 能从任意 token 前缀重建视频。SemanTok 保留 VideoFlexTok 的训练方案（橙色），再加入冻结教师的语义监督：教师特征输入 encoder，每个保留的前缀都学习预测这些特征（紫色；细节见图 3）。（2）AR 训练与生成：冻结 tokenizer，AR 模型按时间优先、粗到细的顺序预测 token，步骤（1）的 decoder 将任意生成前缀渲染为视频。 实验效果：摘要与实验分析报告：201M 的 SemanTok AR 模型可匹配或超过约 3.4 倍规模的 VideoFlexTok AR 模型；附录表 4 中相应规模阶梯为 201M 和 679M。正文还报告在相同 AR 模型下，k=16 时每 token 预测约少用 32% 的 bits。图 7 比较同一 Kinetics-600 弹吉他类别的 rollout，201M 的 SemanTok 随时间退化更慢。 论文 Figure 7：SemanTok 在两种 AR 模型规模下保持优势。图中是同一 Kinetics-600 弹吉他类别的 class-to-video rollout。在 201M 模型下，SemanTok 随时间缓慢退化，而 VideoFlexTok 只在 t=1 时清晰。项目页提供视频。 批判点评：“小模型追上大模型”限定在作者的数据、token 预算与指标配置；参数量减少不等于端到端生成耗时同比减少。正文专门指出每帧仅 1 个 token 时不能兼顾全部目标，附录重建表也显示部分 PSNR/SSIM 逊于基线。语义更准和逐像素重建更准是两种目标，部署时仍需按预算权衡。 5. Tacit-TTS：免转写克隆语音快十倍 Tacit-TTS: From Autoregressive Decoding to Masked Prediction for Efficient Transcript-Free Voice Cloning | 杜比实验室 | arXiv:2609.38658 关键词：语音克隆, Masked LM, 非自回归生成, ReFlow蒸馏 前序问题：自回归 TTS 逐个预测语义 token，零样本音色克隆效果好但延迟高。非自回归系统更快，却常要求参考音频的转写；参考是陌生语言、婴儿咿呀或无意义发音时，ASR 生成的错误文本反而污染条件。目标是在不要求参考转写的同时降低生成耗时。 本文贡献：Tacit-TTS 从 IndexTTS2 蒸馏，将 text-to-semantic 阶段替换为 masked 非自回归生成，同时保留预训练的说话人和情绪条件。免训练长度估计结合参考音频语速与目标文本音节数，确定输出长度；连续潜表示和 ReFlow 蒸馏则加速下游 semantic-to-mel 的 flow-matching 渲染器，最后由 vocoder 合成波形。 论文 Figure 2：Tacit-TTS 流程总览。输入为参考音频与目标文本，encoder 提取条件表征；text-to-semantic 模型通过 masked-LM 生成语义 token，semantic-to-mel 模型将其转成 mel 频谱，最后由 vocoder 合成波形。 实验效果：单张 NVIDIA A100 上，作者对超过 5 秒的语音报告相对 IndexTTS2 超过 10 倍加速。图 3 的端到端测试包含参考条件计算：4 秒输出约 9.0 倍、31 秒附近最高约 14.9 倍、125 秒为 11.8 倍。表 1 中 LibriSpeech speaker similarity 为 0.875，教师为 0.870；但 WER 为 5.54，教师为 3.115。参考语言另测试了 8 种语言及非词汇声音。 论文 Figure 3：IndexTTS2 与 Tacit-TTS 的端到端生成时间（包含参考条件计算）随输出时长的变化。使用同一参考片段，以固定段落重复延长输出。虚线表示实时速度；Tacit-TTS 曲线上方数字是相对教师的加速比，插图放大 Tacit-TTS 曲线。4 秒、31 秒附近和 125 秒的示例加速比约为 9.0、14.9 和 11.8 倍，不能当作全数据平均。 批判点评：更快没有消除质量损失：普通中文测试上的音色相似度和内容准确度仍落后于教师。图 3 使用固定段落重复拉长输出，最高 14.9 倍不能写成所有语音平均加速；长序列的全注意力成本也开始侵蚀收益。四个常规数据集的其他基线质量数字来自教师论文，而跨语言与非词汇测试由作者重跑，比较范围应分开理解。 6. 4Director：完整网格让物体转身不丢脸 4Director: Controlling Video World Models with Rigid 3D Geometry | Stability AI；伊利诺伊大学厄巴纳—香槟分校 | arXiv:2610.02160 关键词：可控视频生成, 4D场景, 刚体网格, Motion Adapter 前序问题：2D 框只能指定物体在屏幕上的位置，不能完整表达深度和转向；3D 点或 blob 也缺少完整表面。镜头与物体同时移动时，模型容易每帧重新猜未观测几何，导致物体转了一半、遮挡出错或身份变化。专业创作需要把相机和物体轨迹放进统一的 3D 坐标系。 本文贡献：4Director 从输入图为每个物体一次重建 canonical mesh，每帧只施加一个指定刚体变换。网格、背景点云与相机共享坐标系，用户编排轨迹后渲染成深度视频；可训练 Motion Adapter 将几何条件注入预训练视频模型，后者补充外观、光照与非刚体动态。团队构建含 20,774 个片段的 RealCOD-Rigid，并以身份判断门控 mask IoU，形成 IG-IoU 指标。 论文 Figure 3：4Director 总览。左侧：每个物体只重建一次为完整 canonical mesh，每帧用一次刚体变换移动；网格、背景点云与相机共享坐标系，用户在该坐标系指定物体与相机轨迹，并将场景渲染成深度视频（第 3.1 节）。右侧：可训练的 Motion Adapter 分支将刚体渲染注入预训练视频生成器，由后者补充外观、光照与非刚体动态（第 3.2 节）；训练使用 RealCOD-Rigid（第 4 节）。 实验效果：表 1 中 4Director 的 FVD 为 370.4，SymphoMotion 为 405.4、VerseCrafter 为 484.7；IG-IoU 为 60.4，对应 52.9 和 54.8，camera RotErr 为 3.65°。图 5 对比共同相机与物体控制，显示其更完整地跟随指定转向；图 6 另展示物体离开视野后重返的定性案例。 论文 Figure 5：相机与物体共同控制的定性比较。每个片段顶行展示输入图像和规定的轨迹，其下为四个 baseline、4Director 以及源视频按时间对齐的帧。箭头表示物体朝向，源视频中为绿色、生成视频中为红色。该组案例里只有 4Director 完成源视频的转向；baseline 保留原朝向、只转了一部分、模糊或丢失主体。 批判点评：完整网格减少逐帧几何猜测，却会把错误重建固定进控制条件。论文失败案例中，倒立舞者被当作一个刚体平移，生成结果一直保持初始姿态而没有跳舞，说明刚体轮廓可能压制应有的非刚体动作。IG-IoU 还依赖视觉语言裁判判断身份；作者的 VBench 优势多数在 2 个点以内，应避免把图中单例写成稳定保证。 7. GenCine：相机与物体在3D里一起编排 Generative Cinematographer: Composing Camera and Object Motion in 3D | 约翰斯霍普金斯大学 | arXiv:2610.02180 关键词：视频运动控制, 3D运动handle, XYZ引导图, LoRA 前序问题：同一条 2D 拖拽轨迹可能对应完全不同的 3D 运动；相机和物体一起动时，屏幕坐标更难区分“物体真的转身”和“镜头绕过去”。另一方面，整物体刚体控制过硬，人体、动物或机械臂的不同部分需要分别编排，而不必为每类对象建立物理模型。 本文贡献：GenCine 把单张图提升为可编辑的 3D 场景 scaffold，艺术家在共同世界坐标系里设置相机路径，并以局部 3D handle 控制前景不同部分。背景 XYZ、前景 XYZ 和恒定前景身份颜色图分别表达静态位置、动态位置和跨帧对应；有效性 mask 标记缺失条件。轻量 guidance branch 与 Wan 模型的 LoRA 学习这些控制，从真实视频恢复轨迹并结合合成数据训练。 论文 Figure 3：GenCine 的 3D 控制流程。首先从 RGB 图估计深度与动态 mask，再提升为供动作编排的 3D 场景。艺术家通过 Blender 等 3D 界面，在共同世界坐标系指定相机和物体运动。控制转为背景 XYZ、前景 XYZ 和前景身份图，分别指示静态场景位置、移动 handle 的位置及身份。有效性 mask 区分可用条件与缺失值，动态 mask 标出初始前景。冻结的 Wan VAE 将图编码给视频模型；训练配对从视频运动恢复的条件，推理时同样的图表达艺术家编排的控制。 实验效果：表 1 的 Camera Shooting 上，GenCine 的 TransErr 为 1.00，Wan-Move 为 1.02；受控前景 R-LPIPS 为 0.18，对方为 0.19。Object Interactions 上整体 LPIPS 为 0.35，Wan-Move 为 0.37，但整体 PSNR 为 16.54，略低于 Go-w-Track 的 16.59。图 5 给出艺术家编排运动的定性对比，体现 3D 意图与 2D 投影控制的区别。 论文 Figure 5：艺术家编排运动的定性比较。自上而下为 Living room、Bus 和 Robotic arm；每组按行展示 Wan-Move、VerseCrafter、Go-with-the-Track 和 GenCine。第一列为 3D 控制（GenCine）或共享的 2D 投影（baseline），随后四帧采样各控制区间。实线与虚线分别表示已执行和剩余目标路径，圆点表示当前目标，半透明 mask 表示投影目标区域。 批判点评：主要价值是可表达的控制接口，数值优势相当局部，不支持“全指标碾压”的结论。多个 handle 只是分段刚体近似，不能可靠表示复杂形变；单图深度估计出错、遮挡和超出归一化范围的运动都会影响控制。它与 4Director 各有取舍：局部操作更灵活，但没有完整网格带来的全表面约束。 8. PEARL：从用户历史推理个性化画面 Personalized Image Generation with Reasoning and Reflection | 范德堡大学；Adobe；马里兰大学帕克分校；佐治亚大学 | arXiv:2610.00737 关键词：个性化图像生成, 用户历史, 推理反思, DPO 前序问题：个性化图像生成通常依赖挑选好的参考图片，而真实用户偏好分散在评论、帖子、图片和 metadata 中。把某件商品放到什么环境、某个主题应采用什么风格，需要综合历史线索；检索一张最像的图片并不能完整表达生活方式与审美。 本文贡献：PEARL 将多模态 planner、reflector 与冻结图像生成器串成 reason-reflect 循环：先从历史形成场景计划并渲染，再根据实际图像与历史的不匹配修订计划。训练先蒸馏 silver personalization trajectory，再采用交替策略 DPO，用与用户历史相关的检索奖励优化两种策略。配套 benchmark 区分电商商品的 Personalized Scene Generation 和社交媒体的 Personalized Creative Generation。 论文 Figure 2：Pearl 的训练流程。先用 Silver Personalization Trajectory 做 warm start，再通过 Render-in-the-Loop 优化两种策略。图左的教师产生推理与计划供 planner 和 reflector 蒸馏；图右把两种策略与冻结渲染器串接，按奖励给候选排序、构建偏好对并做交替 DPO 更新。 实验效果：表 1 的 Amazon 场景生成中，H@5 为 0.2297，PMG 为 0.2143；MLLM Overall 为 3.92，对方为 3.48。表 2 的 Instagram 创作生成中，跨类别 R@1 为 0.876，Pigeon 为 0.748，MLLM Overall 为 3.541，对方为 3.334。图 4 将两种任务的指标归一化后汇总，比较完整 PEARL 与移除 reflection 的版本。 论文 Figure 4：消融：Pearl 与 Pearl -Reflection 的比较。该可视化对两种任务的指标进行归一化和汇总，展示保留 reflection 前后的差异；坐标是汇总后的相对值，不是原始 benchmark 分数。 批判点评：用户“喜欢”不等于模型能识别出用户：检索与 MLLM 分数只是偏好对齐的代理指标。作者明确指出电商场景没有每个用户—商品组合的自然真实目标图，只能间接评估；策略训练也只做了一轮交替 DPO。Instagram 的 LPIPS 和 MS-SSIM 并非最优，因此不能把摘要中的平均个性化提升写成所有画质指标普遍提升。 9. PLACE：让双耳声像跟随多模态条件 PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation | 杜比实验室；佐治亚理工学院 | arXiv:2610.00630 关键词：双耳音频生成, 空间条件, 低秩latent适配, ILD与ITD 前序问题：音频与画面语义一致，还不一定听得出声音来自左边还是右边。现有空间声音生成器的条件接口常较固定，难以同时接收文本、视频和可选音频。想让耳机中的声像随场景变化，需要条件中的空间信息真正改变生成 latent，而不是只描述声源类别。 本文贡献：PLACE 基于 AudioX，增加 Perception Encoder Core 视频特征，将文本与视频表征对齐以提取空间线索，再用依赖条件的低秩变换调整生成 latent。适配器通过解码音频上的耳间声级差 ILD 和时间差 ITD 损失训练；五个预训练 encoder 与 SAO decoder 冻结，AudioX 通过 LoRA 微调。系统支持不同模态条件组合，而非只处理视频输入。 论文 Figure 1：PLACE 框架总览，蓝色突出视频特征路径，橙色突出文本路径。（a）AudioX 生成 latent，空间条件在冻结 SAO decoder 之前驱动其变换；五个预训练 encoder 与 decoder 全部冻结，AudioX 用 LoRA 微调。（b）投影后的 PE Core 特征在 MAF 模块之前补充 CLIP 与 Synchformer 特征。（c）文本—视频 cross-attention 与联合 self-attention 产生空间特征 H_c-sp。 实验效果：表 1 的 FAIR-Play split 1 上，ITD 误差 0.1077ms、ILD 误差 2.0495dB，ViSAGe 分别为 0.1136ms、2.1306dB；split 2 的 ITD 却较差。表 3 的分布外 T2A 听测平均分为 55.5，SpatialSonic 为 44.8；域内 V2A 为 65.3，对方 ViSAGe 为 44.9。原文只写 Submitted to ICASSP 2027，不能称为会议接收。 论文 Table 3：主观听测表。评分范围为 1–100，越高越好；SC 为语义一致性，SI 为空间感，SP 为空间一致性，Sy 为同步性（T2A 不评此项），AR 为音频真实感，Avg 为所评维度的均值。GT 是真实音频参考，不参与最佳模型加粗；粗体表示每种条件各列最优模型。表中区分域内与分布外 T2A、域内与 Gemini 视频条件 V2A；n 统计评分数。PLACE 在域内 T2A 均分 40.5，分布外 T2A 为 55.5，域内 V2A 为 65.3，Gemini V2A 为 58.4。 批判点评：收益取决于模态与分布。域内 T2A 听测均分仅 40.5，低于 SpatialSonic 的 44.4 和 AudioX 的 41.1；BEWO-1M SS-set 上 FSAD、ITD、ILD 也逊于 SpatialSonic，优势集中在原文定义的 SpatialCLAP 差值指标。听测表中的 n 是评分数，不能当作独立听众人数。空间一致性进步不等于全面音质领先。 10. VTR-Bench：视频逼真了字却还常写错 VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation | 香港城市大学；香港科技大学（广州）；香港科技大学；西湖大学；电子科技大学 | arXiv:2610.01499 关键词：视频生成评测, 视觉文字渲染, WER, 关键帧引导 前序问题：广告、科学演示和界面视频里的文字常承担核心信息。模型能把灯光与动作做得漂亮，招牌仍可能拼错、缺字或小字不可读；只评审美与物理合理性无法发现这些问题。需要把文本正确性与画面任务完成度分开衡量。 本文贡献：VTR-Bench 用 300 个 prompt 覆盖五类场景，对具体文字载体分别转写并计算 WER，同时用每条 prompt 的 20 问 checklist 检查场景与运动要求。作者另外提出关键帧引导生成流程，由 Director agent 根据视觉反馈反复调整图像、首帧及运动计划，再生成视频。主贡献是生成模型评测与改进，符合 AIGC 范围，而不是通用视频理解。 论文 Figure 2：VTR-Bench 总览。左侧：专家设计五种场景类别，引导场景 seed 生成与人工过滤；保留的 seed 用于构造 prompt，再通过参考图生成和 VLM 审查迭代完善，最后人工复核。右侧：生成视频在两个维度分别评估，Video Score 以 20 问 checklist 衡量场景与视频要求完成度，WER 比较针对具体文字载体的 VLM 转写与参考文字，衡量视觉文字保真。 实验效果：主表 1 比较 11 个视频模型，Wan3.0 的整体 WER 最低，为 0.250，Video Score 为 0.849；MiniMax H3 为 0.447/0.756，Seedance2.5 为 0.641/0.791。表 2 中 Qwen3.8-27B 对文字块 WER 的 Pearson 为 0.9541，视频级为 0.9842，支持其与人工转写的相关性。官方代码：VTR-Bench。 论文 Figure 1：即使视频视觉上可信，现有视频模型仍难正确渲染文字。上方是 Seedance2.5 生成的视频；Video Score 是 20 问 checklist 中满足要求的比例，WER 是相对参考文字的词错误率。左下展示视频中的四种文字渲染问题，右下展示 11 个模型在 VTR-Bench 上的整体 WER。 批判点评：WER 是词级编辑距离，0.250 不等于“25% 的视频失败”，也不能推出每个视频都错四分之一。不同模型的分辨率与生成管线不同，排行榜还受评审模型影响；相关性高不意味着每条转写都正确。关键帧 agent 的迭代成本也应单独核算，不能把更高预算的改进当作单次生成能力。 趋势观察 从像素记忆走向状态载体 Oneira 显式记录交互后果，World Observer 持续生成选定区域的视角；两条路线都让镜头外状态获得约束，但尚未证明无限时域或全面物理可靠性。 控制接口先解决几何歧义 4Director 用完整刚体网格，GenCine 用局部运动 handle；它们共同把相机和物体放进世界坐标系，分别在完整几何与形变灵活性之间取舍。 短序列必须携带可用信息 SILSA 的切片潜变量与 SemanTok 的短语义前缀都减少局部 token 负担；这是不同任务中的表示设计趋势，不能把各论文加速数字横向相乘。 评测拆开能力与代价 视频里的字、音频的空间感、用户历史匹配和端到端耗时都需要独立指标。各论文测试集、评分口径和硬件不同，本期不做跨论文统一排行榜。 今日讨论 SILSA 用切片拓扑监督改善单物体孔洞与连通性；面对输入视角不充分或分布外形状，你会优先增加多视角条件，还是设计可验证的拓扑约束？ 人工智能炼丹君 整理 | 2026-10-05

AIGC 每日速读|2026-10-04|商汤小模型绕圈反超6.5倍大模型，Looped-DiT 今日 AIGC 论文速览 今日共 10 篇 · 高效文生图架构 3 篇 · 统一多模态 1 篇 · 长视频与音视频生成 2 篇 · 生成推理加速 2 篇 · 视频强化学习与图像评测 2 篇 重点论文标题列表 Looped-DiT（商汤）：260M循环4圈赢6.5倍大模型 Multimodal Flow（华科）：图文全连续流建模，仅用150B词元 NEPA-DiT（密歇根大学）：预测嵌入当条件，FID 1.32 MosaiChunk（康奈尔大学）：只训13.6M路由，长视频回访不失忆 Soundwich（西蒙弗雷泽大学）：冻结LTX-2.5免训练拆分音轨 今日论文速览 1. Looped-DiT：260M循环4圈赢6.5倍大模型 Looped Diffusion Transformer | 商汤科技；清华大学；南洋理工大学 | arXiv:2609.40305 关键词：文生图, 循环计算, 参数共享, 深度监督, 潜在推理 前序问题：文生图模型提质通常只有两条路：加参数或加去噪步数。语言模型里已验证的「循环复用同一组层」能在不增参数的前提下加深计算，但直接搬进 MMDiT 并不稳定：推理圈数超过训练值后性能先涨后跌，中间表示里可线性解码的空间位置信息逐圈流失。 本文贡献：Looped-DiT 把网络切成前段 6 块、循环段 5 块、后段 6 块，每个去噪步内让循环段共享权重重复 N 次（训练取 4 圈）。两项稳定手段：深度监督，每圈输出都经共享后段解码并计入 flow loss；自调制注意力，用门控或无参的 Exclusive Self-Attention 抑制注意力对局部信息的过度改写。 实验效果：260M 的 B/16 在 GenEval、DPG、PRISM、CoRe、Spatial、TIIF 六项均值 71.5，六项全部高于 1.7B 的 InternVL-U（均值 69.0），也高于 6.6B 的 Uni-CoT（66.8），单图推理算力约为 InternVL-U 的 1/4.9。参数对齐对照里，B/32 均值从 55.2 提到 59.1；同等推理预算下，加圈比加去噪步更划算。 批判点评：「参数不变」不等于「算力不变」：循环版每步推理 267 GFLOPs，是同参数基线的 1.83 倍，训练 1246 GFLOPs 更是 2.83 倍。按推理算力对齐时，加宽版 MiniT2I 已到 58.6，与 Looped-DiT 的 59.1 只差 0.5。分项看，循环擅长约束求解，需要常识推断的 CoRe/Generalization 只 +7.5，远不如文本 CoT 的 +22.2。 2. Multimodal Flow：图文全连续流建模，仅用150B词元 Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces | 华中科技大学；北京交通大学；地平线 | arXiv:2609.40362 关键词：统一多模态, 连续流匹配, 文生图, 视觉理解, 多模态预训练 前序问题：统一理解生成模型多走两条路：文本和图像都离散化，图像要过量化瓶颈；或文本离散、图像连续，两种目标与采样流程各写一套。全连续建模能让两种模态共用一个生成过程，但在多模态预训练规模上很少被系统验证。 本文贡献：MF-1 用冻结的 T5-small 与 SigLIP2 把文本块（每 8 个词元一块）和图像编码成连续表示，按顺序组织成 hyperchunk，交给一个 chunk-causal 的 flow 主干学习单一速度场；注意力投影共享、FFN 按模态分开。训练时并行预测多个目标块，推理时逐块生成，再由预训练图像解码器与单独训练的文本解码器还原。 实验效果：1.6B 版本只用 150B 预训练词元，GenEval 0.82、DPG 83.44，理解侧 POPE 86.1、MMBench 67.2。数据、优化与参数完全对齐时，全连续版 GenEval 0.713、MMBench 46.7，高于 Transfusion 式混合（0.669 / 33.7）与 Chameleon 式全离散（0.374 / 38.4）。 批判点评：生成强、理解弱：MMBench 67.2 落后同量级的 Janus-Pro（75.5）与 JanusFlow（74.9），VQAv2 72.6 也低于 JanusFlow 的 79.8（对方有预训练 LLM 初始化）；DPG 83.44 还没追上纯生成的 SD3 Medium（84.08）。scaling 曲线上 1.6B 预训练阶段 GenEval 只到约 0.32，表中 0.82 是再经 5B 词元微调后的结果；「全连续」也依赖冻结编码器与外部解码器，图像输入仅 224 分辨率。 3. NEPA-DiT：预测嵌入当条件，FID 1.32 Embedding Prediction Helps Image Generation | 密歇根大学；卡内基梅隆大学 | arXiv:2610.02203 关键词：类别条件生成, 嵌入预测, 扩散 Transformer, 表征对齐, ImageNet 前序问题：DiT 里类别或文本只嵌入一次，每个去噪步复用同一个条件，「这个条件对眼前这张噪声图意味着什么」全留给生成器自己推断。NEPA（下一嵌入预测自回归）已能在连续嵌入上做自回归预测，作者想知道：能否用预测出的干净图嵌入替代固定条件。 本文贡献：把生成写成「条件 → 噪声图 → 干净图」的嵌入序列，干净图的 patch 嵌入正是条件与噪声图之后的「下一组嵌入」。作者训练 NEPA 模型用多嵌入预测（MEP）一次性预测全部干净嵌入；生成时 DiT 以这些预测为条件，并在每个去噪步按当前噪声状态重新计算，条件随采样进程自适应。 实验效果：ImageNet 256×256 上，NEPA-DiT-XL 结合 REPA，SDE-250 采样 FID 1.32、IS 311.0，ODE-96 采样 FID 1.57；训练为 NEPA 240 + 生成器 80 epoch，约为 REPA（800 epoch）训练算力的三分之一。九组规模交叉实验中，生成器或 NEPA 模型变大，FID 都单调下降。 批判点评：训练省了，推理贵了：多挂一个 711M 的 NEPA 网络，总参数约 1.39B，是 SiT-XL/2+REPA（675M）的两倍；同为 SDE-250，单图 160 TFLOPs，比对方的 91 TFLOPs 多 76%。换成更省的 ODE-96，FID 1.57 反而不如 REPA 原版的 1.42。若放开 tokenizer，表中 SFD、RAEv2 已做到 1.06。 4. MosaiChunk：只训13.6M路由，长视频回访不失忆 MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation | 康奈尔大学；加州大学伯克利分校；哈佛大学；Impossible Inc. | arXiv:2610.02153 关键词：自回归视频生成, 长时记忆, KV 缓存, 记忆路由, 场景回访 前序问题：自回归长视频受限于上下文窗口：物体或场景移出窗口后细节丢失，镜头转回来时往往「重新编」一个。整块检索历史 chunk 能补记忆，但固定显存预算下塞不了几块；滑动窗口则干脆遗忘。 本文贡献：作者先验证冻结的视频生成器能直接消费非连续拼接的历史 KV 并还原对应内容。MosaiChunk 据此把每个历史 chunk 聚成若干 section 并编码描述子，由轻量路由器全局挑出 top-N，在固定活跃显存预算内拼成一块跨时空的 KV 马赛克；生成器全程冻结，只自蒸馏训练路由器。同时发布 RememBench 回访基准，含 T2V 与 I2V 两个子集。 实验效果：在 MiniMax-H3 改造的自回归版 H3-AR（T2V）上，两块远程记忆预算下回访 CLIP 从滑窗基线 0.751 升到 0.936，LPIPS 从 0.652 降到 0.500，优于整块检索 MoC（0.841）；LingBot-World-Infinity（I2V）180° 旋转回访 CLIP 0.793→0.863。路由器只有 13.65M 参数。 批判点评：自建基准涨幅大，公开基准涨幅小：WBench 的 Subject 一致性仅 88.10→88.38，两块预算下 Segment 一致性反从 97.47 掉到 94.94；T2V 的 Drift 也略升（0.050→0.055）。论文还写明评测用的是早期 checkpoint：T2V 计划训 4000 步、实取第 416 步，I2V 计划 4768 步、实取第 500 步，未解释为何不用训完的权重。 5. Soundwich：冻结LTX-2.5免训练拆分音轨 Soundwich: Video Generation with Layered and Controllable Audio | 西蒙弗雷泽大学；塞浦路斯大学；CYENS 卓越中心；特拉维夫大学 | arXiv:2610.00691 关键词：音视频联合生成, 音轨分离, 免训练, 时间控制, 可编辑音频 前序问题：联合音视频模型已能生成带同步声音的视频，但音频是一条混好的总轨：谁在何时说话、配乐和环境声都没法单独改。实际制作中，对白、音乐、音效、环境声都是分轨编辑的。 本文贡献：Soundwich 不做训练，直接改造冻结的 LTX-2.5：先把音频轨迹扩成 N 条可编辑分轨加一条内部场景轨，用缓存的「出声 / 静音」特征（timing carrier）在指定时间窗内回放或压制；再用 gather–broadcast 注意力让各分轨共享全局声学语境，并用实体掩码把每条分轨的跨模态注意力路由到画面中对应的发声者。 实验效果：15 个多声源场景上，时间窗成功率 93.1%、窗外误发声 1.7%、声源归属 90.0%，窗内 WER 0.060；同场景原版 LTX-2.5 窗成功率仅 20.4%，MiniMax H3 为 27.0%，Gemini Omni 为 85.0%。去掉 timing carrier，窗成功率从 93.3% 跌到 15.6%。 批判点评：评测规模很小：主表只有 15 个场景、每场景 3 个固定种子，场景广播模块的人评只收回 15 份问卷。真正接近的对手是闭源 Gemini Omni，WER 0.072 对 0.060、窗成功率 85.0% 对 93.1%，且它只有 14 个场景可计 WER。声源归属 90.0% 比朴素批量扩展的 82.2% 只高 7.8 个点。 6. DMAD：判别器替掉辅助分数网络，4步出片 DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation | 得州农工大学；字节跳动智能创作 | arXiv:2610.02188 关键词：少步蒸馏, 分布匹配, 对抗蒸馏, 视频生成, 音视频生成 前序问题：DMD 系列少步蒸馏要从「目标分数 − 学生分数」的差里取梯度，因此必须额外维护一个持续拟合学生分布的辅助扩散模型，显存与算力开销都大，在 14B、33B 级视频模型上尤其吃紧。 本文贡献：DMAD 把分布匹配改写成分类：共享主干上挂两个判别头，分别区分「真实数据 vs 学生」与「教师样本 vs 学生」，用 logit 直接学习对数密度比，学生只用作用在 logit 上的线性损失训练，无需拟合辅助分数。作者证明判别器最优时该损失恰好还原 DMD 的梯度，并用真实头在真实与教师样本间的 logit 差，自适应调节各噪声级上教师监督的权重。 实验效果：ImageNet-64 一步 FID 1.04（加投影判别器），SDXL 四步 COCO-10K FID 14.47，Wan2.1-14B 四步 VBench 85.15，均优于所比少步方法与多步教师。在 MiniMax-H3-33B 联合音视频生成上，四步学生人评总体偏好 79.1% 胜 DMD2、84.6% 胜 rCM；每次生成器更新耗时从 818.1s 降到 233.3s。 批判点评：人评高分主要来自画质与音质（对 DMD2 胜率 84.2% / 87.9%），提示词对齐只有 54.3% 对 45.7%，接近打平。AVGen-Bench 上音画同步 AV 分 49.1，低于 DMD2 的 56.7；唇形同步 30.6，离教师的 39.0 也远。SDXL 一步时 Patch FID 32.42，反而比 DMD2 的 26.98 差，细节保真不如整体 FID 好看。 7. FlashForward：复用在途KV，4卡流水线生成长视频 In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion | Meta；南洋理工大学 | arXiv:2609.32540 关键词：自回归视频扩散, KV 缓存, 流水线并行, 长视频生成, 推理加速 前序问题：少步自回归视频扩散按 chunk 逐段生成。为记住已生成内容，Self-Forcing、HiAR 等方法要额外跑「只更新缓存、不推进输出」的前向来重建干净或低噪 KV。可每次去噪前向本来就算出了当前 chunk 的 KV，这部分被白白浪费。 本文贡献：FlashForward 直接复用每个去噪阶段算出的「在途」KV：当前 chunk 完成一个阶段后，该阶段的缓存即可供下一个 chunk 使用，于是每张 GPU 负责一个去噪阶段，不同 chunk 在卡间流水并行。为弥补噪声历史带来的外观与运动漂移，再由 planner 预先生成稀疏的干净锚点 latent，从前后两侧约束 renderer 的轨迹。 实验效果：4 卡下，16 FPS、20 秒以上视频比 HiAR 快 1.16–1.69 倍、比 Self-Forcing 快 1.42–2.92 倍（1.3B 与 14B，480p / 720p）。1.3B 480p 生成 65 秒视频去噪耗时 21.3s（HiAR 24.7s、Self-Forcing 65.1s）；VBench 总分 0.838，65 秒 VBench-Long 0.8395，高于 Self-Forcing 的 0.7806。 批判点评：提速依赖多卡流水：单卡 480p 下它比 Self-Forcing 还慢（20 秒视频 17.77s 对 17.44s，65 秒 59.64s 对 57.89s）。生成 5 秒短片时 4 卡耗时 2.21s，慢于 HiAR 的 2.06s，更慢于双向模型的 1.13s。14B 720p 峰值显存 112.8 GiB/卡，比 Self-Forcing 多约 20 GiB；20 秒视频语义分 0.748 也略低于 HiAR 的 0.757。 8. TVRL：用VLM梯度给视频token分功劳 Token-Level Video Reinforcement Learning | 美国东北大学 | arXiv:2610.01973 关键词：视频生成, 强化学习, GRPO, 信用分配, VLM 奖励 前序问题：视频生成的 RL 后训练通常给整段视频一个标量奖励。可视频的缺陷是局部的：有的 token 已满足提示词，有的才需要修。标量奖励定位不了错误，优化时既会扰动本来正确的区域，又对真正出错的区域用力不足。 本文贡献：TVRL 让奖励自己给出 token 级功劳：冻结 VLM 对提示词拆出的若干是非题给出答案似然，平均后作为视频级奖励；同一 VLM 对视频输入的梯度幅值，则标出哪些生成 token 最影响该得分。在 GRPO 中，组相对优势决定更新方向与强度，经 3×3 平滑、按问题条件化的 credit 图在裁剪策略比内重加权各去噪步的转移对数概率。 实验效果：以 HunyuanVideo-1.5 为底座、Qwen3.5-9B 作奖励，VBench-2.0 Overall 从 54.09 升到 57.69（+3.60），同设置 GRPO 仅 54.54。换 SAGE、Flow、Dance 三种 SDE 采样器，比匹配 GRPO 高 2.68–3.15；换 VideoAlign 等四种奖励模型，高 1.33–3.15。 批判点评：增益并不均匀：常识维度上 TVRL 常不如 GRPO（Qwen3.5-9B 奖励下 64.31 对 64.88，VideoScore2 下 64.60 对 64.89），VideoScore2 下 Human 维度也从 91.52 降到 90.79。评论家规模很关键：换成 Qwen3.5-0.8B 时 Overall 仅 51.85，比未训练的底座 54.09 还低。所有结果都只训 100 步（64 张 A100），单步耗时比 GRPO 多 18%。 9. PixelDense：4个冻结老师分两路对齐像素扩散 PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion | 弗吉尼亚大学；密歇根州立大学；Adobe；Arcade AI | arXiv:2610.00483 关键词：像素扩散, 表征对齐, 稠密预测, 文生图, 几何先验 前序问题：REPA 通过对齐预训练编码器特征来加速 DiT 训练，但对齐目标几乎都是 DINOv2、CLIP 这类语义编码器。已有分析指出起作用的是空间结构而非全局语义，那么专门预测结构的稠密预测模型（分割、深度）为何没人拿来当对齐老师？ 本文贡献：在像素空间扩散上，作者先验证 SAM2、Depth Anything v2、Metric3D v2 单独加入都优于只用 DINOv2，但四个老师直接相加反而不如最好的单个几何老师，语义与几何梯度在同一投影上互相争抢。PixelDense 因此让 DINOv2+SAM2 走语义投影流、两个深度模型走几何投影流，再加权重空间正交惩罚让两流处在不相交子空间；老师全部冻结、推理时丢弃。 实验效果：在 PixelGen-XXL（512×512）上，GenEval Overall 0.7927→0.8093，DPG 78.7→78.9，HPS 0.280→0.282；同一配方不调参迁移到 DeCo，GenEval 0.8620→0.8690。部分加噪重建中，τ=0.5 时 COCO 全景 PQ 23.23→31.43；PIE-Bench 上 SDEdit 背景 PSNR 最多高 2.2 dB。论文已接收 NeurIPS 2026。 批判点评：几何探针涨得多，生成指标涨得少：GenEval 只 +0.017、DPG +0.2、HPS +0.002，DeCo 上 +0.007，计数项 58.75 仍低于 PixelGen 原版的 59。消融里单独的几何流（DA2+M3D）只有 0.7960，还不如 DINOv2+DA2 单老师的 0.8069。主实验只是在已发布权重上用 2 张 H200 微调 1 万步，从头训练仅给出「1.23 倍更快达到基线峰值」一项。 10. VIEScore2：16×16网格同时打分并圈出缺陷 VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations | 滑铁卢大学；NVIDIA；台湾大学（中国台湾）；南洋理工大学 | arXiv:2610.00994 关键词：图像评测, 缺陷定位, 生成与编辑, GRPO, VLM 评估器 前序问题：现有合成图评估器大多只给一个标量分数，不说明依据在图上哪里；能定位缺陷的模型又通常不打分、也不支持编辑任务的条件图输入。生成与编辑的评测和奖励信号，缺一个「既能打分也能指位置」的统一接口。 本文贡献：VIEScore2 把图像表示为 N×N（默认 16×16）文本网格，单次前向同时输出感知质量、语义一致性分数与缺陷格子位置，支持可选条件图，覆盖文生图、编辑、参考图生成等任务。它基于 Qwen3-VL-8B 在 38K 条混合监督上先 SFT，再以 Dice 重叠、分数准确度与格式奖励做 GRPO，最后用无参数解析器把网格结果转成可读解释。 实验效果：主测试集整体分数 SRCC 0.601，高于同输入下最强的零样本通用 VLM Gemini-3-Flash（0.491）与 GPT-5.6-sol（0.437）；联合评测网格 IoU 0.324，Qwen3-VL-8B 原版仅 0.070。缺陷定位在 6 个基准中 3 个第一、5 个进前三。 批判点评：整体领先主要来自训练同源数据：RichHF（0.692）与 EvalMuse（0.803）拉高均值，编辑类子集反被零样本 API 压过，TIE 0.429 对 Gemini-3-Flash 的 0.686，MRIE 0.417 对 GPT-5.6-sol 的 0.684。定位上，轻量的 SegFormer-b0 在主测试集 F1 拿到 0.493，与它的 0.506 相差无几；GRPO 之后 PQ 的 SRCC 还从 0.580 降到 0.558。 趋势观察 「加算力不加参数」成了今天的共同母题 Looped-DiT 让同一组块在每个去噪步里绕 4 圈，NEPA-DiT 每步重算一次预测嵌入当条件，两者都用额外推理算力换质量而不是加参数；但细看算力表，前者每步 1.83 倍 GFLOPs，后者单图多 76% TFLOPs，「小模型赢大模型」的账要连推理成本一起算。另一头，DMAD 与 FlashForward 继续在蒸馏和 KV 复用上压缩视频生成的步数与等待时间，TVRL 与 VIEScore2 则把奖励和评测从一个标量推进到 token 与网格级定位。 人工智能炼丹君 整理 | 2026-10-04 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-10-02|NVIDIA砍掉视觉编码器，PixelUMM图像视频同模 今日 AIGC 论文速览 今日共 10 篇 · 统一理解生成与三维细节 2 篇 · 推理式与可控视频生成 2 篇 · 音视频联合生成 1 篇 · 视频推理加速 4 篇 · 视频文字编辑评测 1 篇 重点论文标题列表 PixelUMM（NVIDIA）：像素直进图像视频同模型 BTC3D（香港城市大学（东莞））：分块条件补3D细节 ThinkV2V（港中大）：先推理再改视频 LIFT（加州大学圣迭戈分校）：只画终帧也能控未来 StereoBind（西电）：声源移动立体声跟着走 今日论文速览 1. PixelUMM：像素直进图像视频同模型 PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation | NVIDIA；滑铁卢大学 | arXiv:2609.38597 关键词：统一多模态, 像素空间, 图像生成, 视频生成, 视觉理解 前序问题：统一理解与生成模型通常给同一张图准备两套表示：ViT 特征服务理解，VAE latent 服务生成。这不只让视觉上下文变长，也把成熟的视觉语言预训练与生成接口绑在两条管线上。图像还能直接切 patch，视频却要同时兼容理解侧的采样帧与生成侧的连续时空块，统一接口更难。 本文贡献：PixelUMM 取消预训练视觉编码器和 VAE，把图像变成空间 patch、视频变成时空 tubelet，都只用一层线性投影接入 8B Mixture-of-Transformers。理解走自回归文本预测，生成在原始像素上做 flow matching；共享 attention 让干净条件与带噪目标直接交互。论文还系统比较 patch/tubelet 大小、线性头与卷积解码头，发现卷积头能压掉格子伪影。 实验效果：不使用视觉 encoder/tokenizer 时，PixelUMM 在图像理解 MMMU 得 41.67、视频理解 MVBench 得 70.53；图像生成 GenEval 原始 prompt 为 0.77，用 BAGEL-long 重写后为 0.83，DPG-Bench 为 85.74。视频生成 VBench 总分 83.24，处于统一模型可比区间，但不是各榜第一。 批判点评：“统一”仍有边界：理解与生成使用两套 Transformer expert，只共享 attention，并非一组参数同时做两件事。原始像素 token 让更小 patch 和 tubelet 虽然降低 loss，却直接抬高序列长度与训练成本。作者也提醒各模型训练数据不同，当前表格不能证明 encoder-free 架构本身更优；MMMU 41.67 与主流 8B VLM 仍有明显差距。 2. BTC3D：分块条件补3D细节 BTC3D: Blended Tile Conditioning for Detail-Enhancing Image-to-3D Generation | 香港城市大学（东莞）；SB Intuitions；巴塞罗那自治大学 | arXiv:2609.39709 关键词：图像生成3D, 免训练, 分块条件, 细节保真, 流匹配 前序问题：扩散式 image-to-3D 已经能出像样模型，可一旦输入图细节丰富，纹理就糊成一团。主流做法把整张图压成一个全局条件特征，空间信息在这一步被压掉，作者称之为 detail attenuation；而想补细节通常要重训或微调大模型，对 3D 管线代价过高。 本文贡献：BTC3D 是推理时即插即用的免训练框架。它先验证 image-to-3D 模型存在「图像特征可加性」：把局部图块的特征相加，仍能得到语义一致且保留局部细节的 3D 输出。据此把输入图切成若干 tile，各自提取局部条件并按前景权重聚合成 blended tile embedding；再配一个 dynamic conditioning 调度，在扩散后期低噪声阶段逐步加大 tile 条件的权重，早期仍交给全局条件主导结构。 实验效果：在 3D-Arena 与 Toys4K 上，把 BTC3D 接到 TRELLIS、TRELLIS.2、Hunyuan3D-v2.1 上都提升了纹理与视觉保真，且保持全局结构一致。20 名参与者、400 次两两偏好测试中，接入 BTC3D 的 TRELLIS.2 拿到 67.25% 选票（269 票），基线只有 32.75%（131 票），纹理密集的样本优势最明显。 批判点评：收益主要靠人眼偏好而非几何或纹理指标说话，67.25% 也是相对自家基线的增幅，缺少跨方法横评；论文同时承认纹理稀疏的样本上两者偏好接近持平，说明方法吃的是「有没有细节可补」。另外 tile 切分与融合系数 α、β 都是人工超参，动态调度只按扩散时间步推进，不看当前生成内容。 3. ThinkV2V：先推理再改视频 ThinkV2V: Unleashing the Reasoning Capability of MLLMs for Instruction-Guided Video Editing | 香港中文大学；字节跳动；浙江大学；俄亥俄州立大学 | arXiv:2609.38541 关键词：视频编辑, 多模态大模型, 显式推理, DiT, 指令跟随 前序问题：现有指令视频编辑器多把 MLLM 当语义编码器，直接把 prompt 压成条件。碰到“把会被雨淋湿的东西收起来”这类不直接点名目标的指令，模型必须先理解因果与对象关系，再决定改哪里；只抓关键词往往画面能改，却改错对象或违背真实意图。 本文贡献：ThinkV2V 让 MLLM 先显式分析源视频和指令，再通过 learnable-query connector 把推理结果送给多条件 DiT。训练采用从直接编辑到推理密集样本的 progressive curriculum；推理时生成多份候选编辑 prompt，迭代反思并选择最可靠的一份。团队同时整理 ThinkV2V-150K 与专门考隐式意图、因果编辑的 ThinkV2V-Bench。 实验效果：5B 编辑器在 ThinkV2V-Bench 上由 Seed-1.6-VL 评测的 Overall 为 2.72，高于 OpenVE-Edit 的 2.09 和 14B DITTO 的 2.02；Gemini-2.5-Pro 评测下为 2.61，也高于 ICVE 的 2.52。模型在 32 卡上分三阶段训练，最终 720p 推理，以小于多条 10B–14B 基线的规模拿到最佳综合分。 批判点评：核心结论依赖 Seed-1.6-VL 与 Gemini-2.5-Pro 充当裁判，复杂编辑的自动分数仍可能偏向更会“讲意图”的输出。Inference-Time Thinking Scaling 需要多候选生成、反思和筛选，论文没有把新增延迟与算力单独量化。150K 数据由既有模型与筛选流程构建，推理能力有多少来自 MLLM、多少来自数据课程，还缺更严格的因果拆分。 4. LIFT：只画终帧也能控未来 LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation | 加州大学圣迭戈分校；弗吉尼亚大学；Meta；Amazon；Lambda | arXiv:2609.38146 关键词：视频生成, 相机控制, 未来布局, on-policy self-distillation, 图生视频 前序问题：相机大幅移动时，首帧之外会露出全新区域。只给相机轨迹能控制“镜头往哪走”，却不能指定新区域里出现什么；逐帧框轨迹虽然能控布局，标注和交互成本又太高。真正实用的接口应允许用户只在未来关键帧画几个框，同时让中间过程自然长出来。 本文贡献：LIFT 把最后一帧的 bounding box 与局部 prompt 编成稀疏 layout latent，与首帧和噪声视频一起送入 DiT，相机 token 另行注入。训练时用拥有逐帧 dense layout 的冻结教师，在学生自己访问的 ODE 状态上做 on-policy self-distillation，把 dense 轨迹知识蒸馏给只看终帧布局的学生；同一个学生交替学习有布局与仅相机两种模式。 实验效果：LIFT 1.3B 在终帧布局控制上 mIoU 0.51，高于需要逐帧框的 MagicMotion 0.41；同时相机 RotErr 2.97、TransErr 0.59，视频 FVD 99.35。OPSD 只用 500×16=8000 次样本更新，直接或 dense-to-sparse SFT 都要 4000×32=12.8 万次，训练样本量缩到 1/16。 批判点评：布局接口仍只是 2D 框加局部文字，没有深度、朝向、遮挡和实例关系；相机一转，两个框在 3D 中究竟谁挡谁并未显式建模。所谓 1/16 训练量比较的是作者设定的更新预算，并不等于端到端数据与教师成本也缩到 1/16；OPSD 还依赖一个先用 dense layout 训练好的教师。 5. StereoBind：声源移动立体声跟着走 Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation | 西安电子科技大学；vivo 蓝图影像实验室 | arXiv:2609.38748 关键词：音视频联合生成, 立体声, 空间音频, 运动轨迹, 跨模态对应 前序问题：联合音视频模型已经能做到“画面里有什么就听到什么”和大致同步，却很少管声音来自哪里。AR/VR 中声源从左往右移动时，左右声道也应连续变化；只用文本或整段视频条件生成声音，往往知道是汽车声，却无法让声像跟随汽车轨迹。 本文贡献：StereoBind 把可见声源的 motion track 作为共同坐标系：Visual Motion Binding 绑定视觉运动与音频 token，Spatial Track Encoder 提供绝对位置，Residual Track RoPE 编码相对位移。团队用真实视频定位跟踪加合成立体声、再配合可控合成场景，构建 StereoWorld-29K，并用 StereoWorldBench 单独评测动态空间对应。 实验效果：在 StereoWorldBench 上，StereoBind 的 ILD-W 为 2.754、SELD-Acc 0.757、SMR-Err 14.86、AST-Ang 0.465、AST-Cal 0.314，五项空间指标都优于表中 Ovi、MiniMax-H3、LTX-2.5/2.3 及两条 video-to-spatial-audio 基线；视觉 Subject Consistency 0.955、Motion Smoothness 0.996，整体画面质量没有明显牺牲。 批判点评：当前条件是一条主要声源轨迹，训练和评测强调水平声像移动；多声源竞争、声源与听者同时运动、遮挡和完整 3D 声场仍被列为未来工作。空间指标全面领先不代表总体音质全面领先，Subject Consistency 0.955 低于 MiniMax-H3 的 0.968，Audio PQ 6.86 也只是略高于 6.81。 6. ReCaVSR：1080p单卡跑21.2FPS ReCaVSR: One-Step Streaming Diffusion Video Super-Resolution with Recycled Latents and Learned Cache Routing | 中国科学技术大学 | arXiv:2609.37831 关键词：视频超分辨率, 流式扩散, KV Cache, 一步生成, 实时推理 前序问题：扩散式视频超分画质好，却很难满足直播级延迟。现有流式方案要么多步去噪，要么每层都保留完整历史 KV；但视频超分当前帧已有低清观测，上一块超分 latent 也带着局部时序信息，继续为所有层保存同样长的历史既占显存又拖慢注意力。 本文贡献：ReCaVSR 基于 Wan2.2 做一步流式超分，把上一块生成的 SR latent 直接回收为下一块条件，再为每个 DiT 层学习不同的历史缓存范围，训练完导出固定路由。生成器用 sequential self-rollout 对齐真实因果推理；Multi-Scope Query 判别器同时看全局、空间窗口和时间 tube；LR-conditioned FlashDecoder 在解码时再次利用低清观测。 实验效果：单张 A100-80GB 输出 1080×1920 时达到 21.20 FPS、峰值显存 15.16GB，相对 FlashVSR Tiny 快 2.72 倍、少用 38.0% 显存，首个完整 RGB 输出的模型时间为 0.982 秒。LongVSR60 上 MUSIQ 57.89、CLIP-IQA 0.4932、DOVER 0.6075，后三项都高于列出的流式基线。 批判点评：它并非所有重建指标都第一：REDS30 的 PSNR 21.67 明显低于 RealViformer 23.32，说明生成式纹理仍会牺牲逐像素保真。缓存路由在训练后固定，遇到运动强度突变或硬切镜不能自适应；论文的长视频测试还是单段连续镜头，跨场景时旧 latent 和 KV 会不会污染新镜头尚未验证。 7. PARK：稀疏注意力快1.76倍 PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers | 华南理工大学 | arXiv:2609.38978 关键词：视频生成, 稀疏注意力, DiT, block retrieval, 免训练加速 前序问题：视频 DiT 的稀疏注意力通常先把 query 与 key 分块求均值，再按块检索。这个近似有两重错位：Softmax 前把多个 query 平均会抹掉各自偏好的 key；在原始 key 空间做欧氏聚类，也不保证同一簇的 key 在当前 query 下拥有相似 QK 分数。检索一旦选错块，要么掉画质，要么为了兜底算太多。 本文贡献：PARK 保留块内每一个原始 query，分别对 key block 做归一化后再平均分布，避免 query-centroid 代替整块偏好；key 侧则从当前 query 推导度量，先变换 key 再做 K-means，让欧氏距离对应 QK-score 误差。方法完全免训练，并把 PAMA 检索写成融合 GPU kernel，把准确率收益留住而不让检索开销反噬。 实验效果：在 Wan2.1-1.3B 上，PARK 将单次测试从 745 秒降到 423 秒，端到端 1.76 倍加速，同时 PSNR 27.52、SSIM 0.908、LPIPS 0.177，优于同表其他稀疏基线。跨 Wan2.2-14B、Wan2.1-14B、Wan2.1-1.3B 和 HunyuanVideo 四个模型，相对 dense 的加速范围为 1.53–1.76 倍。 批判点评：收益建立在四个视频扩散模型和固定检索配置上，作者明确没有验证 LLM 或其他多模态任务。主表中 Wan2.2 的 Aesthetic Quality 65.29% 仍低于 dense 的 65.56%，Wan2.1-1.3B 的 Background Consistency 96.87% 也低于 dense 的 96.99%；它更像高质量近似，而不是无损替换。 8. UnStep：免训练把视频推到50FPS UnStep: Training-Free Acceleration of Causal Video Diffusion with Fewer Steps Than Distillation | Meta 超级智能实验室 | arXiv:2609.32518 关键词：视频生成, 因果扩散, 免训练加速, KV Cache, 推理优化 前序问题：四步因果蒸馏已经比 50 步双向教师快，但 Self Forcing 在 H100 上仍只有 17 FPS。步数继续砍到一两步会掉质量，历史 KV 随视频变长继续膨胀；同时当 DiT 已经很少步，RoPE、cache 索引、attention 调度和 VAE 解码这些过去被遮住的系统开销反而成了瓶颈。 本文贡献：UnStep 是不改权重的推理 wrapper：后续块从四步减到两步，只保留 sink 加最近窗口；把已生成 latent 重新加到近干净噪声，再复用原有 clean-cache pass 做一次修正，并对 attention 的 V/O 投影做截断 SVD 抵消少步误差。系统侧再融合 RoPE、缓存系数、固定长度 attention，并把 VAE 改成 FP16 与 channels-last 卷积。 实验效果：同一 Self Forcing checkpoint 在 H100 上从 17.0 FPS 提到 49.8 FPS，VBench Total 反而从 84.31 到 84.56；相同 wrapper 套在 Causal Forcing 和 LongLive 1.0 上也都约 49.8 FPS。若推理时改成一步，H100 达 59.6 FPS；GB200 最快报告 77 FPS，全程没有重训。 批判点评：所有超参数只在 Self Forcing、5 秒 T2V、单张 H100 这一套设置上调过，迁移结果证明“能用”，不代表每个 checkpoint、GPU、任务和长度都最优。50 FPS 的成绩同时叠加算法减步与大量 H100 专用 kernel 优化，不能全部归功于新的生成算法；而训练自由的约束也限制了更激进稀疏或量化后的质量恢复。 9. DeCoPrune：剪85%缓存仍保上下文 DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency | 南洋理工大学；清华大学；普林斯顿大学 | arXiv:2609.39096 关键词：自回归视频, KV Cache, 训练自由剪枝, 长上下文, 一致性 前序问题：自回归视频扩散把每段历史都塞进 KV Cache，时间越长，显存和 attention 成本越大。固定滑窗只看远近，attention 权重或相似度剪枝又不直接回答“这个历史块是否提供了不可替代的信息”，所以容易把稍后 prompt 才会重新提到的物体细节一起删掉。 本文贡献：DeCoPrune 用同一条去噪轨迹里的中间 probe 与最终预测做差：没有历史支持时难以稳定去噪、step-to-final discrepancy 较大的 token 被判为更需要上下文，因此保留高差异 token，再物理压紧历史 KV。论文同时构建 CMBench，用一分钟上下文中的物体取放、场景恢复等续写任务专测“前文记没记住”，并提供按 attention head 类型分组的 HS 版本。 实验效果：主设置剪掉 85.43% 历史 KV，续写 FPS 从 FullKV 的 1.568 提到 6.489，快 4.14 倍；CMBench DINO 从 0.6803 只降到 0.6701。head-specialized 版本在 86.19% 剪枝率下 DINO 为 0.6783，几乎追平 FullKV，且 VBench 的图像质量项没有出现系统性崩塌。 批判点评：“剪掉 85%”并不等于显存有硬上限，作者明确承认剩余缓存仍随视频长度线性增长。Denoising consistency 是 future-agnostic 的：某个细节此刻很好去噪、因此被删掉，但未来指令恰好再次询问它时仍可能失忆。主干又集中在 LingBot World v2，其他开源模型的分钟级 FullKV 本身就不稳定，方法与 backbone 上限难完全拆开。 10. ViTeX-Bench：387段视频检验动态改字 ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing | 得州农工大学 | arXiv:2609.40356 关键词：视频编辑, 场景文字, 评测基准, 时序一致性, 编辑局部性 前序问题：视频里的招牌、球衣或屏幕改字，要同时满足字符串正确、跨帧不漂、背景不被改。通用视频编辑指标可能把“画面很稳但根本没改字”的结果评得很高，静态 OCR 又看不见闪烁与字符漂移，现有公开数据也缺少真实视频的成对编辑参考。 本文贡献：ViTeX-Bench 收集 387 段 720p、120 帧、24 FPS 真实视频，其中 230 段提供人工复核的成对训练编辑，157 段冻结测试。评测拆成文字正确性、视觉/时序质量、编辑局部性三轴共 13 个指标，并用 OCR 校准、人评相关性与 Pareto 前沿解释取舍；配套的 ViTeX-Edit-14B 用随运动对齐的 glyph-video 条件微调 VACE。 实验效果：八条基线中，ViTeX-Edit-14B 在 video-native 编辑器里 CharAcc 最高，为 0.688，text-crop Warp 1.53 也最低；相较 VideoPainter 的 CharAcc 0.619 提升 0.069。但逐帧 FLUX-Text 的 CharAcc 仍达 0.737，代价是 Warpc 13.01、字符跨帧严重漂。人评与 OCR 方法排名的 Spearman 相关系数为 0.95。 批判点评：这个基准把“漂亮、正确、稳定、局部”拆开是优点，也暴露了参考模型并非全面第一：ViTeX-Edit 的 SeqAcc 0.341 低于 FLUX-Text 0.528。数据以清晰、局部、拉丁文字为主；非拉丁切片里除 AnyText2 外其余编辑器 CharAcc 都低于 0.19，严重运动、曲面文字、密集排版的覆盖仍不足。 趋势观察 加速的战场从「少走几步」挪到了「每层只记该记的」 ReCaVSR 给每个 DiT 层学一个缓存跨度，PARK 修正稀疏注意力的块检索误差，UnStep 把两步采样、限窗 KV 与 kernel 优化叠进同一个免训练 wrapper，DeCoPrune 则用去噪一致性挑出真正依赖历史的 token，四篇都指向同一件事：视频模型已进入少步时代，下一轮效率竞争发生在缓存、检索与运行时细节。另一头，PixelUMM 去掉视觉编码器让像素直进统一模型，说明「统一」正在从拼模块转向砍模块。 人工智能炼丹君 整理 | 2026-10-02 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-10-01|一次蒸馏插遍54个模型，LongLive-Plug 今日 AIGC 论文速览 今日共 10 篇 · 视频与图像生成模型 5 篇 · 世界模型与音视频联合生成 1 篇 · 推理加速与模型压缩 2 篇 · 生成理解一体化与奖励模型 2 篇 重点论文标题列表 LongLive-Plug（NVIDIA）：蒸馏一次，插遍54个模型 SplitMoE（国科大）：专家拆两拨，人像涨9分 HelixWorld（港科大）：24帧实时出声的世界 LDM-is-AE（港理工）：不用分词器，FID 1.80 NesTok（华北电力大学）：变长 token，gFID 1.46 今日论文速览 1. LongLive-Plug：蒸馏一次，插遍54个模型 LongLive-Plug: Once-for-All Distillation for Video Generation | NVIDIA | arXiv:2609.38154 关键词：视频生成, 扩散蒸馏, LoRA 复用, 少步采样, 免训练部署 前序问题：视频扩散模型每做一次下游特化就要重跑一遍蒸馏：要么为少步采样，要么为长视频补误差修正。论文在 Wan2.2-TI2V-5B 上算了账——四个任务各自的专用蒸馏再花 83.9、150.0、86.8、56.1 H100 卡时，合计 376.8，加上一次性底座蒸馏约 80 卡时，总共 456.8 卡时。能力是通用的，钱被重复付了四遍。 本文贡献：把「单遍 CFG」「少步采样」「自回归长时误差修正」各蒸馏成一个 LoRA 挂在底座上，之后插到任何结构兼容的下游模型即可用，下游不再重训。CFG LoRA 只在 w=5 的固定引导强度下训练，推理时靠调 LoRA 权重换引导强度；与少步 LoRA 叠加，下游同时保住少步生成和 CFG 可控。作者称下游新增条件分支、扩展输出通道后适配器仍可复用。 Once-for-all distillation: reusable LoRAs plug into compatible downstream models. 实验效果：在 Wan2.1-14B、Wan2.2-TI2V-5B、MiniMax-H3 三个底座家族、八个任务类别共 54 个下游模型上验证免训练部署。世界模型 SCOPE 上把朴素四步的 FVD 从 805.5 拉回 478.7，优于专用蒸馏的 502.1；ControlNet 上六项全优于朴素四步，深度 si-RMSE 从 2.135 降到 1.641、DOVER 从 8.90 升到 10.11；原生 20–50 步调度降到 1/5–1/12.5。 Downstream distillation cost: task-specific distillation accumulates while LongLive-Plug stays flat. 批判点评：省的是专用蒸馏的钱，80 卡时的一次性底座蒸馏照付，且只对同一底座家族有效。更关键的取舍藏在正文一句「相对任务专用蒸馏存在按指标而异的取舍」——插拔版不是全面反超，而是用 80 卡时换一个接近 456.8 卡时的结果。CFG LoRA 的引导控制是推理权重外推出来的，训练只见过 w=5 这一个点。 2. SplitMoE：专家拆两拨，人像涨9分 Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE | 中国科学院大学；字节跳动；Canva Research；北京科技大学 | arXiv:2609.38140 关键词：视频生成, 混合专家, 稀疏路由, DiT 规模化, 负载均衡 前序问题：MoE 从 LLM 搬到视频生成上一直水土不服：token 级路由各自为政，再用负载均衡损失把使用率往均匀方向压，结果语义连贯的一块画面被拆到互不相关的专家里，作者称之为「均匀性陷阱」。视频数据时空冗余、语义长尾，本来就不该被均匀分配。 本文贡献：把专家池显式劈成两拨：语义专家抓高层语义抽象，通用专家兜住残差视觉信息和生成自由度。路由用原型引导，配合 pull-push 正则——pull 把原型锚在有意义的视觉语义上，push 防止原型塌缩冗余。两条 sigmoid 独立打分，一个 token 可以同时选中一个语义专家和一个通用专家，不必在所有专家间做全局 softmax 竞争。 Pipeline of SplitMoE: each Video MoE layer splits into Semantic and Generic branches with VAE-prototype induced semantic routing. 实验效果：在同等激活参数预算（A14B）下对比 Wan2.2 系列：Creativity 58.46%、Human Fidelity 84.47%、T2V-CompBench 属性一致性 84.63% 三项拿到全场第一，人像保真比 Wan2.2 的 75.33% 高出 9 个多点。对比同数据微调的密集 Wan2.2-FT 全维领先，且收敛更快——约 70% 训练步数就达到可比的验证扩散损失。 Qualitative comparison with baseline methods. 批判点评：「打破均匀性陷阱」的措辞比结果激进。它自己的表里 Physics 69.41% 输给 LTX-2 的 76.71%，Interaction 69.98% 输给 Wan2.2 的 73.29% 和 OmniWeaving 的 73.94%，Commonsense 64.89% 离 LongCat-Video 的 70.94% 差 6 个点。消融也显示去掉原型引导的 w/o PG 版本在 Commonsense 上 63.22% 与完整版 64.89% 差距很小，语义路由的主要收益其实集中在物理和人像两项。 3. HelixWorld：24帧实时出声的世界 HelixWorld: A Real-time Interactive Audio-Visual World Model | 香港科技大学；Noiz AI | arXiv:2609.38123 关键词：世界模型, 音视频生成, 实时交互, 空间音频, 因果蒸馏 前序问题：主流交互式世界模型全是哑巴：只管画面渲染和操控，声音这一维整个缺失。级联的视频转音频模型拿不到相机轨迹和用户动作，声场对不上自运动，串行延迟也谈不上实时；而把它们硬改成因果自回归，历史误差会迅速累积成灾难性多模态漂移。训练数据同样缺——现有世界模型数据集基本无声，视频语料里的音轨又常被后期配乐和旁白污染。 本文贡献：先用一个双向教师模型在自建的高保真空间音视频数据（真立体声 + 度量级相机位姿）上学 6-DoF 轨迹与动作条件，再用在线轨迹蒸馏把它压成少步因果学生，配合长程流式微调压掉曝光偏差。块内注意力保持双向以维持音视频交互，跨块注意力严格因果并配滑动 KV 缓存。同时提出 HelixBench，首次把空间声学一致性纳入世界模型评测。 Causal distillation pipeline: self-forcing rollout, online trajectory distillation, DMD, and long-horizon tuning. 实验效果：单张 NVIDIA H800 上稳态 RTF 0.77，768×512、24 FPS，含视频与音频解码。HelixBench 上因果学生 KL 1.3934、FAD 2.3872、IB 0.2987、Spatial 41.7583 全部第一；级联配音路线（HelixWorld+AudioX / ThinkSound / PrismAudio）的空间分甚至是负的，说明分离式生成根本抓不住声源位置。 Visual comparison under interactive control. 批判点评：WBench 导航榜上它平均 79.9 只排第 4，落后 Alaya-EVOKE-Turbo 82.0、EchoWM 81.0、Zing-0.5 81.0——「比肩 SOTA 无声世界模型」是有选择的比法。更反直觉的是音画同步：学生的 DeSync 0.5867 秒反而差于 LTX-2.3 base 的 0.4042 秒，CLAP 0.3016 也略低于级联的 HelixWorld+AudioX 0.3094，联合生成在语义对齐上没打赢「先出画面再配音」。 4. LDM-is-AE：不用分词器，FID 1.80 LDM-is-AE: Latent Diffusion Model is an Auto-Encoder for End-to-End Image Generation | 香港理工大学；OPPO 研究院 | arXiv:2609.37080 关键词：图像生成, 潜在扩散, 自编码器, 一阶段训练, 表示学习 前序问题：LDM 的两段式流程先训一个自编码器定住 latent 空间，再在里面训扩散。问题在于这个空间是为重建优化的，训练扩散时它是冻住的，天然与去噪动力学不匹配。而两阶段里最强的那批又几乎都挂着 DINOv2 这类外部视觉基础模型做监督，等于把表示学习的成本挪到表外。 本文贡献：核心观察是：LDM 骨干每一步去噪其实都在做 latent→feature→latent 的变换，这本身就是一次内部「解码—编码」。于是把 DiT 劈成互逆的两半 DiT-D 与 DiT-E，在中间特征上加一个轻量 MLP 头对齐到像素空间并施加图像域监督，把这条 latent→image→latent 路径显式化；零噪声时它自然等价于一次自编码。另配时间感知的辅助特征混合，避免对齐吃掉去噪容量。 Architecture and training design of LDM-is-AE: (a) network architecture and training pipeline; (b) time-aware auxiliary feature mixing. 实验效果：ImageNet 256×256 上 FID 1.80、IS 314，512×512 上 FID 1.90、IS 320——512 这一档超过了 JiT-H/32 的 1.94、REPA-SiT-XL/2 的 2.08。生成器训练 FLOPs 7.02，低于 JiT-H/16 的 14.0。自编码路径上 PSNR 27.57 高于 VAVAE 的 26.59 和 SDVAE 的 25.94。 Class-conditional ImageNet samples generated by LDM-is-AE at 256x256 resolution. 批判点评：FID 1.80 这个数得放在「不用 VFM 的一阶段方法」这个限定里看：两阶段挂 DINOv2 的 LightningDiT、REPA-SiT 仍然更好。更值得玩味的是它自己的重建口径——rFID 0.7879 明显差于 VAVAE 的 0.2650 和 REPA-E 的 0.4980，PSNR 最高却 rFID 最差，说明这个 latent 是奔着自然图像分布去的，压根不为「还原输入」负责，论文把这叫 diffusion-native，换个说法就是不忠于输入。 5. NesTok：变长 token，gFID 1.46 NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation | 华北电力大学；中国科学技术大学；斯坦福大学 | arXiv:2609.36756 关键词：图像生成, 视觉分词器, 变长 token, 自回归生成, 嵌套对齐 前序问题：变长 1D 分词器想用一个 tokenizer 覆盖不同算力预算，主流做法是嵌套 dropout——随机截断 latent 序列并保留前缀，逼着前面的 token 装下最重要的信息。但「长度灵活」不等于「token 用得好」：已有工作发现序列加长后下游 AR 生成质量收益递减甚至倒退，尾部 token 基本成了摆设。 本文贡献：提出嵌套自对齐：跨长度联合优化重建，同时用全长序列去指导短序列，让短前缀逼近全长的重建质量，而不是只让前缀独立地「更重要」。配套的动机实验很直白——嵌套 dropout 训出来的码本在靠后位置归一化熵很低，码本多样性塌了，gFID 只有 2.46。 Overview of the nested self-aligned training pipeline. 实验效果：ImageNet 上 rFID 0.98，下游 AR 生成 gFID 1.46（带引导）、IS 295.9，在变长自回归图像生成这一档里是当前最好，优于 ReTok 的 2.27、One-D-Piece 的 2.35、DetailFlow-32 的 2.75，也远好于嵌套 dropout 基线的 2.46。 gFID with and without classifier-free guidance across different methods, model sizes, and token lengths. 批判点评：1.46 这个 SOTA 是「变长自回归」这个小池子里的 SOTA：同一张表上扩散路线的 Lightning-DiT-XL 带引导 gFID 1.35、REPA-XL/2 1.42 都更好。而重建口径更尴尬——rFID 0.98 远差于 LightningDiT 用的 KL tokenizer 0.28 和 SD-VAE 的 0.62，等于用重建质量换了生成质量。另外它仍是 VQ 分词器，390M 参数不算轻。 6. PixelDiff-GAN：加判别器，FID 降到28.6 Adversarial Training for Pixel Diffusion | Adobe Research；加州大学圣地亚哥分校；加州大学默塞德分校 | arXiv:2609.38170 关键词：图像生成, 像素扩散, 对抗训练, 后训练, 频谱分析 前序问题：像素扩散直接在 RGB 上出图，绕开了自编码器这个瓶颈，但产出的图像在细尺度自然图像统计上系统性偏低——说白了就是高频细节不够。这是个老问题，却一直没人系统性地验证对抗训练能不能补。 本文贡献：保留预训练模型原来的扩散/流匹配目标不动，只在非高噪声时间步上对预测输出额外加一个对抗损失，架构和采样流程一行不改。作者还做了归因：频带与幂律分析显示原模型系统性地欠产高频，对抗后训练正好把这部分谱功率补回来。 Noise-gate rationale: structure settles early, detail settles late. 实验效果：两个像素骨干上同时改善分布保真、覆盖率、提示对齐和感知质量。DeCo 上 FID 从 33.27 降到 28.59、pFID 27.9→24.4、CMMD 0.836→0.736、recall 0.361→0.406、DPG 81.6→83.3、TOPIQ 0.71→0.77、MANIQA 0.64→0.71；PixelGen 上 DPG 从 78.4 提到 80.8。1065 组配对样本的胜率也明显高于 latent 扩散的同类做法。 Pixel radial-profile band share over 30,000 images per model; gray = no-GAN, green = +GAN. 批判点评：FID 28.59 的绝对值放在今天并不好看，它赢的是「相对自己」这一档。真正有价值的是边界实验：同样的流程搬到 latent 扩散（PixArt / SANA）上没有可比增益，也几乎没加回解码后的高频功率——作者据此认为「能否直接触达被修正的图像统计」才是对抗后训练成不成立的关键。另外论文自己提到真实照片在 TOPIQ 上只拿 0.57，比生成的还低，等于承认无参考指标不足以单独作证。 7. DIET：砍半专家，57GB 变 30GB DIET: Deletion-response Expert Trimming for Video Diffusion Transformers | 西安交通大学；上海交通大学；阿里巴巴 Token Hub；阿里云 | arXiv:2609.37829 关键词：视频生成, MoE 剪枝, 专家裁剪, 免微调压缩, 推理加速 前序问题：MoE 的稀疏激活只省算力不省显存——所有专家的参数一个不少地躺在 checkpoint 里。整块删掉专家是最直接的瘦身办法，但现有一次性剪枝判据靠静态激活或路由频率打分，看不见「删掉某个专家、token 重新路由之后」这一层到底发生什么。而在这个规模上穷举多种删除组合，代价根本付不起。 本文贡献：用一次 all-expert 标定把条件/无条件 token 下所有专家输出和 router 状态全部录下来，之后重放任何单专家删除及其成组重路由，退化成对缓存状态的张量运算，零额外前向。在此基础上把「保留哪些专家」写成整体多样性损失：每个被删专家匹配到最近的保留专家，求和最近邻余弦距离作集合级覆盖损失。求解分两层——层内贪心+单交换+模拟退火，层间用回归指导的预算分配。 DIET overview: grouped MoE capture, replay-to-signature, intra-layer ODL, and inter-layer budget search. 实验效果：在 LingBot-Video 30B-A3B 上免微调剪掉 50% 专家（6144→3072），checkpoint 从 57GB 降到 30GB，48GB 单卡可部署；284 条固定用例上 VBench Total 反而从 0.7941 升到 0.8115。层间非均匀预算分配比均匀分配多拿 1.2 个点。所有保留预算下都优于从 LLM 移植过来的剪枝基线。 Primary evaluation and routing dynamics across candidate retention budgets. 批判点评：VBench 从 0.7941 涨到 0.8115 是这条工作最抓眼的数字，但幅度只有 1.7 个百分点，且出自自家固定的 284 条协议，更像「没掉点」而不是「变好了」。省下的是 27GB 存储，激活算力并没少——稀疏激活本来就只算一部分。另外这套标定缓存的前提是条件/无条件 token 可配对，CFG 之外的采样路径能否同样成立没有验证。 8. SoL-Refiner：一步上 4K，快 8.91 倍 SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video | NVIDIA | arXiv:2609.37969 关键词：视频生成, 超分辨率精修, 一步蒸馏, 强化学习后训练, 推理加速 前序问题：高分辨率视频生成的代价随时空 token 数暴涨。实用做法是先在低分辨率出片再用 refiner 精修，但常规 refiner 本身要跑好几个目标分辨率的去噪步，等于引入第二个采样瓶颈。而且多数 refiner 只针对自家基模型开发，换一个生成器还灵不灵几乎没人测。 本文贡献：从 LTX-2.3 出发走三步：高分辨率续训学精修映射、帧级奖励模型做 RL 后训练提升感知质量、最后一步蒸馏压成单步。推理侧配 TAE 小自编码器降低编解码开销，用 latent 上采样初始化，再由 Sol Video Inference Engine 执行单次 NFE。同时建了 Refiner-Bench——150 条对齐视频、统一输入协议，专门横向比 refiner。 Training and inference pipeline of SoL-Refiner. 实验效果：一步版在 Refiner-Bench 上 VBench 均值 0.81048、UniPercept 均值 60.4150，超过同为一档步数的 SEEDVR2 和三步的 LTX-2.3 Refiner。4K 上相对三步 LTX-2.3 Refiner，VBench 与 UniPercept 均值分别提升 3.86% 和 22.79%。叠满加速栈后 2K 延迟档精修提速 8.91 倍；配四步 MiniMax H3 基模型，整条两级流水线比直接全分辨率生成快 27 倍。 Performance across output resolutions: three-step LTX-2.3 Refiner vs one-step SoL-Refiner. 批判点评：一步版输给自家多步版——0.81048 对 23 步的 0.81691，主体一致性 0.92191、动态度 0.71333 都被多步版和 LTX-2.0 Refiner 压过。8.91 倍是「精修阶段」的加速，不是端到端；27 倍那个数则是把基模型也换成低分辨率四步 H3 之后的联合结果。另外 Refiner-Bench 是自建集，起点又是 LTX-2.3，公平性靠 shared-input 协议兜着。 9. OmniTaskonomy：19个生成任务换25项能力 OmniTaskonomy: When Does Visual Generation Improve Visual Understanding? | 加州大学伯克利分校；杜克大学；卡内基梅隆大学；华盛顿大学；Elorian；Impossible Research | arXiv:2609.38079 关键词：统一多模态, 生成理解一体化, 任务迁移, 梯度对齐, 训练课程 前序问题：生成能给理解带来多少好处，一直是笔糊涂账：已有工作普遍认为理解反哺生成容易，反过来收益微弱。但这在直觉上说不通——生成提供的是像素级稠密监督，覆盖外观、空间关系、几何，而这些恰恰也是识别、计数、空间推理、3D 感知需要的。 本文贡献：用「同一个底层视觉问题、两种输出模态」的受控配对来做因果分离：I2I 生成任务和 I2T 理解任务表达同一个问题，只换监督形式。再搭一个覆盖 19 个 I2I 生成任务与 25 项 I2T 理解能力的统一分类法 OmniTaskonomy（按识别、重建、重组三个基础问题组织），画出完整的迁移图谱。机制上用梯度对齐解释：生成与理解在理解分支 pre-attention RMSNorm 参数上的梯度对齐越强，迁移增益越大。 OmniTaskonomy: a unified taxonomy of I2I tasks and understanding capabilities under the three Rs. 实验效果：先做 I2I 再做 I2T 的课程能稳定提升理解表现，且增益随 I2I 数据量单调增长；混合训练则没有一致的规模收益。I2I 训练还能减少达到同一理解水平所需的 I2T 监督量，在 I2T 数据稀缺时收益最大。迁移图谱里既有直觉对应的组合（深度预测→度量 3D 推理、物体指向→计数、拼图重建→2D 排序），也有反直觉的（2.5D 分割→类别识别、Z-depth 预测→定位）。 Generation-to-understanding transfer across visual capabilities. 批判点评：结论的成立高度依赖课程顺序——先 I2I 后 I2T 才有效，混合训练就没有一致的规模收益，这更像是「课程设计」而非「生成天然有益」。迁移图谱是选择性的：作者自己也说收益 task-dependent，图里有多少格子是负增益论文没有全列。梯度对齐目前只是相关性分析，拿它做任务选择的先验还缺因果验证。 10. ThinkRM：先定评分表，9B 超 GPT-4.1 Think Before You Score: Thinking Reward Model for Visual Generation | 杭州电子科技大学；中国科学院自动化研究所；北京大学；商汤科技；复旦大学；西北工业大学；南洋理工大学；清华大学 | arXiv:2609.37372 关键词：奖励模型, 视觉生成评测, 评分细则, 偏好优化, 强化学习 前序问题：视觉奖励模型通常把任务条件和候选输出直接映射成一个标量分数，至于「这个 case 到底该评什么」完全隐在黑箱里。图像生成和图像编辑的评判标准差异极大，用一套固定标准硬套，细粒度区分能力必然上不去。 本文贡献：提出「先想清楚再打分」：为每个 case 先自适应地生成评分细则（rubric），再按细则做逐条评估，最后产出细粒度 pointwise 分数。训练上先做结构化 SFT 冷启动，再用成对偏好优化；作者发现常规成对偏好优化会引起分数极化，于是提出 Pairwise Dual-Group Relative Policy Optimization，在保留细粒度打分能力的同时提升判别力。 Thinking Reward Model (TRM) follows the Think-Before-You-Score paradigm, with RM and RL performance. 实验效果：9B 模型在 GenAI-T2I 上从基线的 58.9% 提到 71.2%、MMRB2-T2I 从 59.4% 提到 67.9%，两个榜上都超过 GPT-4.1；编辑侧 EditScore-ERB 0.750/0.639/0.743、EditReward-ERB 67.8%、MMRB2 从 53.0% 提到 58.2%。用它做奖励去优化 BAGEL、FLUX.1-dev、SD3.5-M 等多个生成模型，跨架构跨规模一致有提升。 Qualitative comparison of SenseNova-U1.5 before and after RL fine-tuning with TRM. 批判点评：「超过 GPT-4.1」是在特定榜单和特定打分协议下的结果，且作者明说 pointwise 模型只统计非平局预测的准确率，平局样本另算——这个口径会显著抬高数字。冷启动 SFT 已经把 58.9% 拉到 70.1%，后面的成对优化只再加 1.1 个点，说明真正吃重的是 rubric 监督数据本身。另外 8 家单位联合、训练只用约 4000 条偏好对，规模偏小。 趋势观察 蒸馏的计价单位从「每个模型」变成「每个底座家族」 LongLive-Plug 把少步采样、单遍 CFG、长时误差修正各做成一只 LoRA，一次 80 卡时的底座蒸馏换掉四个任务 376.8 卡时的专用蒸馏；SoL-Refiner 把多步精修压成一步再叠 TAE 与推理引擎拿到 8.91 倍；DIET 直接免微调砍掉一半专家把 57GB 压到 30GB。三篇下手的地方完全不同——一只 LoRA、一次 NFE、一半专家——但都在问同一个问题：这份能力到底要不要为每个落点重付一遍钱。 生成与理解之间的账开始被逐项结算 OmniTaskonomy 用 19 个生成任务对 25 项理解能力画出迁移图谱，结论是收益 selective 且强依赖「先 I2I 后 I2T」的课程；Think Before You Score 则反过来问评估侧——给每个 case 先拟一份评分细则再打分，9B 模型在两个榜上压过 GPT-4.1。前者说明「生成有益理解」不能当口号用，后者说明奖励模型缺的不是参数量而是「该评什么」这一步显式化。 人工智能炼丹君 整理 | 2026-10-01 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

深度解读|字节Seed×UCSD VSA2|砍掉95%注意力计算 720p端到端快4.62倍 VSA2 深度解读：字节 Seed 与 UCSD 把视频稀疏注意力推到 95%，720p 端到端快 4.62 倍 论文：Improving Video Sparse Attention with Fine-grained Router and Sparse Rebasing 机构：UC San Diego · 字节跳动 Seed · UC Berkeley · Georgia Tech 作者：Peiyuan Zhang、Guoqiang Wei、Yilong Zhao、Zixiang Zhang、Wei Zhou、Will Lin、Heng Zhang、Xiaonan Nie、Yan Zeng、Hao Zhang（Peiyuan Zhang 与 Yilong Zhao 的工作完成于字节 Seed 实习期间） 日期：2026-09-26（arXiv 2609.32882） 代码：截至发稿未见 VSA2 的代码与权重；前代 VSA、STA 的 kernel 在 FastVideo 仓库（hao-ai-lab/FastVideo）开源 论文状态：arXiv 预印本，comment 字段为空，暂无接收信息 01 先说说这东西是干嘛用的 视频 DiT 越做越长、越做越清晰，最先扛不住的是注意力。 论文开头给了一个量级：一段 5 秒的高清视频，展开成 token 就超过 10 万个。3D 全注意力的计算量随序列长度平方增长，训练和推理的大头都落在注意力上。作者后面测速用的 720p、10 秒视频，是 22 万 token。 UCSD 这个组在更早的 STA 论文里给过一个更直观的数：HunyuanVideo 生成一段 5 秒 720P 视频总共要 945 秒，其中注意力就占了 800 秒。 大家早就知道注意力矩阵里大部分元素贡献很小，于是有了一大批稀疏注意力方法。但这里有一道分水岭： 只在推理时稀疏（Sparse VideoGen、SpargeAttn 这一类）：模型还是用全注意力训出来的，最贵的预训练阶段一点没省； 训练时就稀疏（VSA、SLA、SLA2 这一类）：理论上预训练也能省。但按作者的说法，这类方法在 post-training 阶段大约能稀疏掉 80%，再往上就碰到天花板；真正拿去做预训练的工作规模都偏小，评价主要只看 loss。 VSA2 想做的是后一类的"完整版"：一个能从预训练中途接入、一路用到 RL 和推理的可训练稀疏注意力。它在前代 VSA 的基础上改了两处结构，外加一套训练配方： 细粒度 router：选块时的池化粒度不再和 GPU 友好的块大小绑定，而是先用小得多的池化算注意力分数，softmax 之后再合并成块级分数； per-sequence TopK：总计算预算固定，但不再要求每个 query 分到一样多的 KV 块，难的 query 可以多拿； Sparse Rebasing：低分辨率阶段照旧用全注意力 checkpoint，到 480p/720p 这种最烧算力的阶段才切换成 VSA2；配合 Hard-to-Easy Curriculum，训练时稀疏度高、推理时放宽。 结果是这样的（论文 Table 2 与 Figure 8）： 设置 注意力稀疏度 加速 质量 480p 预训练，训练/推理都用 top64 90% 端到端 2.09× 人评与全注意力互有胜负 720p 预训练，训练/推理都用 top64 95% 端到端 4.62× 人评与全注意力基本持平 注意力算子，22 万 token（单卡 H800，对比 FlashAttention-3） top64 注意力 8.9× — 作者团队也值得一提。UCSD 这边是 Hao Zhang 组，STA、VSA 和 FastVideo 都出自这里，一作 Peiyuan Zhang 同时是 STA 和 VSA 的一作；另一半作者来自字节 Seed。所以这篇可以看成 VSA 这条路线第一次在完整的视频 DiT 训练流程里走通——从预训练、RL 到推理。 （图片来源：论文 Figure 3。样本来自 Table 2 中 Exp 6 的 checkpoint，每组上行是全注意力、下行是 VSA2；第一组和第三组是图生视频，中间一组是文生视频） 02 主要亮点，以及需要冷静看的地方 值得关注的地方： 全流程验证。480p 预训练、720p 预训练、RL、推理四个环节都换成了稀疏注意力，并且和同数据、同超参、同步数训出来的全注意力模型逐项对比。按作者的说法，这是第一个在视频 DiT 开发各阶段都端到端验证过的可训练稀疏注意力； "router 不需要学"有实验支撑。几组对照实验显示，让 router 接收梯度（不管是 NSA 式借道 coarse branch，还是 MoE 式直接反传），都不如完全不给梯度（Figure 7(c)(d)），结构因此更简单； 选块粒度和硬件块大小解耦。细粒度 router 配 top64，loss 比粗粒度 router 配 top128 还低（Figure 7(e)），fine branch 的计算量直接砍半； 稀疏预算按整条序列分配。per-sequence TopK 让每个 query block 拿到的 KV 块数可变，loss 比传统的 per-token TopK 低（Figure 7(f)）； 不用从头训。Sparse Rebasing 只在高分辨率阶段切换，新增参数只有一个零初始化的门控投影； "训难测易"换来更好的运动。用 top64 训、top128 推，文生视频运动质量的人评净胜率达到 22.1%（Table 2 Exp 2）； kernel 是认真做过的。router 的 GEMM、softmax、池化融合成一个 CuTe DSL kernel，fine branch 用 ThunderKittens 实现 block-sparse attention，22 万 token 下注意力比 FlashAttention-3 快 8.9 倍。 需要冷静看的地方： 人评的分辨率很粗。分数是（更好 − 更差）/ 149，每 0.67% 就是一条 prompt。720p 那一行"运动 +6.71%、指令跟随 −2.01%"，换算过来是净多赢 10 条、净少 3 条，多数格子都在统计噪声范围内（详见第 09 段）； "计算量减半"只算了 fine branch。把 router 自身的开销算进去，720p 下相对 VSA 的 top128，实际省下的注意力时间大约是三分之一（我按论文给的 router 耗时占比粗算，见第 10 段）； 没有外部 baseline。没有和 SLA、SLA2、VMoBA、Sparse VideoGen 在同一个模型上比，也没有 VBench 这类公开 benchmark，对比对象只有全注意力和 VSA/NSA 的设计变体； 模型、数据、代码都不公开。参数量、数据集、VAE 配置论文都没写，外部无法复现； 训练省了多少没给数。论文动机是降低预训练成本，但给出的加速全在推理侧，没有训练吞吐或 GPU 小时的对比； Hard-to-Easy 有代价。运动变好了，指令跟随和美学却下降（Exp 3 的文生视频指令跟随净输 15.4%），需要再做一轮更高 top-K 的 RL 才能拉回来； 30 秒长视频只有抽帧展示，没有全注意力对照，也没有量化指标； 扩展性有两个已知隐患：router 的相对开销固定在全注意力的 $1/R^2$ 左右，序列更长时会变成瓶颈；动态稀疏模式和 Ring-Attention 序列并行不好配合。这两点作者在附录里自己承认了。 03 视频稀疏注意力这条赛道现在什么样 先把 VSA2 放回坐标系里。视频 DiT 的稀疏注意力大致分三拨。 第一拨：免训练，只管推理。 拿一个用全注意力训好的模型，推理时找出不重要的注意力块跳过。代表是 Sparse VideoGen（在线判断每个头是"空间头"还是"时间头"，在 CogVideoX-v1.5 和 HunyuanVideo 上端到端最高 2.28 倍和 2.33 倍），以及 SpargeAttn、XAttention、Radial Attention 等。STA 算半只脚在这里：它用固定的 3D 滑动 tile 窗口，免训练时 HunyuanVideo 从 945 秒降到 685 秒，允许微调后降到 268 秒。 这一拨的共同问题是模型没见过稀疏，稀疏度一高就容易掉质量，而且预训练成本一分没省。 第二拨：微调之后稀疏。 在已有模型上用少量步数把稀疏注意力"训进去"。清华的 SLA 把注意力权重分成关键、边缘、可忽略三类，关键部分走稀疏注意力、边缘部分走线性注意力，在 Wan2.1-1.3B 上注意力计算省 95%，端到端 2.2 倍；后续的 SLA2 加上可学习 router 和量化感知训练，把稀疏度推到 97%。VSA 也做过类似的改造：把 Wan-2.1 换成稀疏注意力后，注意力提速 6 倍，端到端从 31 秒降到 18 秒。 第三拨：预训练就稀疏。 DSV、VSA 都尝试过从预训练阶段就用稀疏注意力。VSA 当时从 6000 万参数一路做到 14 亿参数的 scaling 实验，找到一个训练 FLOPs 降 2.53 倍、diffusion loss 不掉的点。但正如 VSA2 自己指出的，这些实验规模偏小，评价主要看 loss，没有人评和视觉对比。 LLM 那边的两条线也是 VSA2 的直接参照： DeepSeek 的 NSA：压缩、选择、滑窗三路注意力，同一 GQA 组内的 query 头共享稀疏模式，选块分数借用压缩分支； Moonshot 的 MoBA：对 key 块做均值池化当门控，不带可训练参数。 VSA2 的不少消融实验，就是在回答"LLM 这套设计搬到视频上还成不成立"。 所以 VSA2 的位置很清楚：沿着 VSA 的 coarse-to-fine 框架，把"预训练就稀疏"推进到完整的视频 DiT 训练流程里，并重新设计了 router。 04 旧 router 卡在哪：两个结构性天花板 先把 coarse-to-fine 框架讲清楚，VSA2 的改动都在它上面动刀。 以 VSA 为例，一层稀疏注意力分两步： coarse branch（粗粒度支路）：把相邻的 B 个 token（在视频里是一个 $B_t\times B_h\times B_w$ 的小立方体，下面叫 cube）的 Q、K、V 各求平均，得到长度为 $L/B$ 的短序列，在上面做一次全注意力。这一步既产出一份粗粒度的注意力输出，又得到一张 cube 与 cube 之间的亲和度分数图； 选块 + fine branch（细粒度支路）：每个 query cube 在分数图里挑 TopK 个最相关的 key cube，然后只在这些 cube 对里做逐 token 的 block-sparse attention。 为了让 GPU 算得快，block-sparse attention 的块大小 B 通常取 64 或 128，这是硬件决定的。问题在于，以往的 router 顺手把池化步长也设成了 B——一个 cube 的 128 个 token 被压成一个向量去算分数。 作者认为这带来两个结构性天花板。 天花板一：池化太粗，看不清关键 token。 128 个 token 的平均值会把 $\mathbf{QK}^\top$ 里的细节抹平。长视频、高分辨率下，这种"混叠"要么让真正关键的 token 漏选、质量下降，要么逼着你多选块、稀疏度上不去。 天花板二：每个 query 分到的预算一样多。 标准的 per-token TopK 要求每个 query 看同样数量的 KV。简单的 query 浪费算力，难的 query 又吃不饱。稀疏度一往上推，最先饿着的恰恰是最需要上下文的那些 query。 从公式上看更清楚。假如算力无限，最理想的选块分数应该是先算完整的 token 级注意力 $\mathbf{A}$，再按块求平均： $$\mathbf{A}=\mathrm{Softmax}\big(\mathbf{Q}\mathbf{K}^\top/\sqrt{D}\big)$$ $$\mathbf{P}_{oracle}=\mathrm{MeanPool}_{B\times B}(\mathbf{A})$$ VSA 的 coarse branch 则是把池化挪到了 softmax 前面，先按整个 cube 池化出 $\mathbf{Q}_c=\mathrm{MeanPool}_B(\mathbf{Q})$、$\mathbf{K}_c=\mathrm{MeanPool}_B(\mathbf{K})$，再算注意力： $$\mathbf{P}_c=\mathrm{Softmax}\big(\mathbf{Q}_c\mathbf{K}_c^\top/\sqrt{D}\big)$$ 如果注意力是线性的，两者相等；但 softmax 是非线性的，所以这只是近似，精度取决于"cube 内部的 token 足够相似"这个局部性假设。cube 越大，这个假设越站不住。 VSA2 的解法，一句话就是：只在 router 里把 cube 切得更细。下图左边是以往的 router，右边是 VSA2 的细粒度 router，细节放到第 07 段讲。 （图片来源：论文 Figure 1。左：VSA 等方法使用的常规 router，Q、K 都按整个 cube 池化，softmax 之后直接 TopK；右：VSA2 的细粒度 router，先按小得多的尺寸 R 池化 Q、K，softmax 之后再按 G×G 做分数池化，最后 TopK） 05 router 要不要学？作者先做了一组拆解实验 （05～07 三段偏技术，只想看结果的可以直接跳到 08。） 改 router 之前，作者先回答了一个更根本的问题：router 的选块能力到底从哪来？ 这件事在 MoE 里很明确：router 的打分会乘到专家输出上，梯度能流回来，router 是学出来的。但在稀疏注意力里，TopK 选出的是一张布尔 mask，fine branch 的梯度流不回 router。VSA 的 coarse branch 虽然有梯度（来自它自己的输出 $\mathbf{O}_c$），但这份梯度并不来自选块结果。 于是有两种假说： 局部性启发：相邻 token 本来就相似，均值池化出来的 cube 特征已经够用，router 根本不需要参数和梯度。MoBA、Quest 是这个思路； 辅助监督：router 和 coarse branch 共享参数，coarse branch 的梯度虽然不直接针对选块，但顺带把 router 也练好了。NSA 属于这种。 作者设计了几组参数量对齐的消融： （图片来源：论文 Figure 7。(a) 全注意力设置下 GQA（4 组）与 MHA 的训练 loss；(b) "按头分组 + 按邻域分组"的混合方案与纯"按邻域分组"对比；(c) router 的 QKV 绑定 coarse branch 还是 fine branch；(d) MoE 式可反传 router 与 VSA 对比；(e) 有无细粒度 router、top64 与 top128 对比；(f) per-token 与 per-sequence TopK 对比。除 (f) 从 256p 视频 checkpoint 初始化外，其余都从头训练；(b)(e)(f) 的放大插图是训练末段） 先看 router 相关的两组： (c) router 绑谁：把 coarse branch 和 fine branch 的 QKV 投影拆开，让 router 跟 coarse branch 共用 QKV（能收到 $\mathbf{O}_c$ 的梯度），或者跟 fine branch 共用（相当于 MoBA 式的无梯度 router）。结果后者 loss 更低； (d) 直接给 router 梯度：仿照 FFN 里的 MoE，coarse、router、fine 各用一套独立的 QKV，fine branch 的输出再乘上 router 的打分，让 router 直接拿到梯度。结果这种 MoE 式反传并不比原版 VSA 好。 结论是：在视频扩散模型里，复杂的可学习 router 没必要，无梯度 router 就够了，效果还更好。 既然 router 不学，能改进的就只剩"无梯度 router 本身的精度"，这就引出了细粒度 router。 同一张图里还有两组是针对 NSA 设计的： (a) GQA vs MHA：全注意力下，MHA 的训练 loss 明显低于 4 组的 GQA。LLM 用 GQA 主要是为了解码时省 KV cache，视频 DiT 是双向、整段去噪，没有这个约束； (b) 按头分组 vs 按邻域分组：NSA 让同一 GQA 组内的 query 头共享稀疏模式（group head）；VSA2 让时空上相邻的 query token 共享（group neighbour）。有效组大小相同时，纯 group neighbour 更好。 我的看法：这组实验的结论很干脆，但有两点要留个心眼。一是 (a)～(d) 和 (f) 都只训了 1 万步，(e) 也只有 3 万步，全是单次运行，没给多随机种子的方差；二是 (e)(f) 两组的差距要靠放大插图才分得清，曲线大部分时候是重叠的。结论的方向我倾向于相信，但"显著更低"的说法要打个折。 另一个有意思的对照是 SLA2。SLA2 的核心卖点恰恰是可学习 router，VSA2 却说 router 不用学，两篇结论看似相反。不过场景不同：SLA2 是在训好的 Wan2.1 上做短程微调，router 要在很少的步数里适配一个现成的全注意力模型；VSA2 是数万步的预训练，网络的其他部分有足够时间去适应一个固定的 router。我的理解是，在预训练尺度上，与其让 router 学会挑块，不如让模型学会适应 router。 06 VSA2 的整体结构：两条支路、一个 router、一扇门 （图片来源：论文 Figure 2。左侧 coarse branch 把 Q、K、V 按 cube 池化后做 cube 级全注意力，再 Repeat 回原分辨率，乘上由 Gate 投影经 Tanh 得到的门控值；右侧细粒度 router 产出块级 mask M，交给 BlockSparseAttn 计算 fine branch；两路输出相加得到最终结果） 按数据流走一遍。 第 0 步：重排。 把 token 从逐行扫描的顺序重排成逐 cube 的顺序，让同一个 cube 里的 token 在内存里挨着。注意力是整个 Transformer 里唯一依赖 token 顺序的算子，所以这个重排只需在网络开头做一次，RoPE 位置编码跟着一起重排即可。 coarse branch：和 VSA 一样。 按 cube 做均值池化，在 $L/B$ 长度的序列上做全注意力，再把输出复制回每个 token。作者也试过 NSA 式的池化和基于注意力的池化，都没比简单的均值池化更好。 fine branch：只算选中的块。 用 router 给出的 mask 做 block-sparse attention。文本条件部分照 MMDiT 的做法处理：视频到文本、文本到视频的注意力保持完整，不做稀疏。 门控合并： $$\mathbf{O}=\tanh(\mathbf{X}\mathbf{W}_g)\odot\mathbf{O}_c+\mathbf{O}_f$$ $\mathbf{X}$ 是这一层的隐状态，$\mathbf{W}_g$ 是一个单通道投影，每个 token、每个头算出一个门控值，用来调节 coarse branch 的贡献；fine branch 的输出直接加上去。 这扇门的初始化很关键，第 08 段会讲到：$\mathbf{W}_g$ 是 VSA2 唯一新增的参数，初始化为零。 router 是 VSA2 相对 VSA 真正动刀的地方，单独拿出来讲。 07 细粒度 router：先小池化，softmax 之后再合并 VSA2 把 router 从 coarse branch 里拆了出来，单独用一个小得多的池化尺寸 R（见第 04 段的 Figure 1 右图）。记 $\mathbf{Q}_r=\mathrm{MeanPool}_R(\mathbf{Q})$、$\mathbf{K}_r=\mathrm{MeanPool}_R(\mathbf{K})$，router 的块级分数是： $$\hat{\mathbf{P}}=\mathrm{Softmax}\big(\mathbf{Q}_r\mathbf{K}_r^\top/\sqrt{D}\big)$$ $$\mathbf{P}_r=\mathrm{MeanPool}_{G\times G}(\hat{\mathbf{P}})$$ 拆开是三步，作者叫它 pool-softmax-pool： 小池化：每 R 个相邻 token 求平均（R 远小于 B），序列长度从 L 缩到 L/R； softmax：在这个"半粗粒度"的序列上算注意力分数； 再池化：把一对 cube 之间的 G×G 个分数求平均（G = B/R），得到 N×N 的块级分数。 它夹在两个极端之间：比 oracle 便宜得多（序列只有 L/R 长），又比 VSA 的 coarse branch 保留了更多 cube 内部的差异。换个说法，池化有一部分挪到了 softmax 之后，非线性造成的失真就小一部分。 论文没给具体的 B 和 R，但可以反推。 附录给了稀疏度的估算公式： $$\text{Sparsity}\approx 1-\Big(\frac{1}{R^2}+\frac{KB}{L}\Big)$$ 其中 $1/R^2$ 是 router 的开销（相对全注意力），$KB/L$ 是 fine branch 的开销（平均每个 query block 看 K 个 KV block），coarse branch 的 $1/B^2$ 小到可以忽略。 把 Table 2 的三组数代进去：480p（约 9.9 万 token）top64 时稀疏度 0.90、top128 时 0.82，720p（约 22 万 token）top64 时 0.95。两个 480p 的数一减，$64B/99\text{K}\approx0.08$，B 应该是 128；再代回去，R 取 8 时三个数都能对上（算出来是 0.902、0.819、0.947），取 4 或 16 都对不上。所以我推断 VSA2 用的是 B = 128、R = 8、G = 16——这是我的推算，论文正文没有写。 这组参数能说明几件事： router 的开销恒定在全注意力的 1/64，约 1.6%，跟序列长度无关； 720p 下约有 1719 个块，每个 query block 平均只看其中 64 个，也就是 3.7%； fine branch 的相对开销随序列变长而下降，所以同样的 top64，分辨率越高稀疏度越高。这正是作者强调的"从 480p 到 720p 不需要调大 top-K"。 per-sequence TopK：预算按整条序列分。 传统做法是每个 query block 各挑 K 个；VSA2 把 N×N 的分数矩阵拉平，在整条序列上一次挑出 N×K 个块对，各个头的预算相同。总计算量不变，但每个 query block 分到的 KV 块数可以差很多。Figure 7(f) 显示这样做的 loss 比 per-token 低一点；作者也试过按累计概率截断的 top-p 类方法，没有正向结果。 下面是按论文公式写的示意代码，方便对照理解（不是官方实现，真实 kernel 不会物化中间的注意力矩阵）： import torch @torch.no_grad() # router 不接收梯度 def fine_grained_router(q, k, R, topk): # q, k: [H, N, B, D]，已按 cube-major 重排； # 假设每个 block 内按 G 个大小为 R 的子立方体连续存放 H, N, B, D = q.shape G = B // R # MeanPool_R -> [H, L/R, D] qr = q.reshape(H, N * G, R, D).mean(dim=2) kr = k.reshape(H, N * G, R, D).mean(dim=2) # softmax -> [H, L/R, L/R] scores = qr @ kr.transpose(-1, -2) / D ** 0.5 p_hat = scores.softmax(dim=-1) # MeanPool_{GxG} -> [H, N, N] p = p_hat.reshape(H, N, G, N, G).mean(dim=(2, 4)) # per-sequence TopK：整条序列一起挑 N * topk 个块对 idx = p.reshape(H, N * N).topk(N * topk, dim=-1).indices mask = torch.zeros(H, N * N, dtype=torch.bool, device=q.device) mask.scatter_(1, idx, True) # 每行（query block）选中的块数可以不同 return mask.reshape(H, N, N) 融合 kernel：中间矩阵不能写出来。 上面代码里的 p_hat 是 (L/R)×(L/R) 大小。按我反推的 R = 8，22 万 token 时每个头约有 7.6 亿个元素，BF16 下约 1.5 GB，20 个头就是约 30 GB，物化出来显存和带宽都扛不住。 所以作者用 CuTe DSL 写了一个融合 kernel，把 GEMM、softmax 和 G×G 池化合在一起： （图片来源：论文 Figure 5。Q、K 先按 R 池化成 Qr、Kr；第一遍在 SRAM 上逐块计算 softmax 之前的注意力分数并累积 log-sum-exp；第二遍重新计算注意力块、做 softmax，并直接在 SRAM 上完成 G×G 池化，只把 L/B × L/B 的块级分数写回 HBM） $\mathbf{Q}_r\mathbf{K}_r^\top$ 要算两遍，多了一次计算，但换来 I/O 大幅减少。作者称比不融合的版本明显更快，但没给具体倍数。这是典型的用计算换访存，和 FlashAttention 的思路一脉相承。 08 训练配方：Sparse Rebasing 与 Hard-to-Easy 结构讲完，再看怎么训。对想在自家训练流程里用的人来说，这部分可能比结构本身更有参考价值。 先交代训练设置。 模型结构大体沿用 MMDiT，目标是 flow matching（预测速度），文生视频和图生视频联合训练；时间步采样用 logit-normal 分布，并按分辨率做偏移；工程上用了 FSDP、序列并行、激活重计算和 torch.compile。训练分三段：480p 预训练、720p 预训练，以及从 480p checkpoint 出发的 RL。所有阶段的训练片段都是 5～12 秒、多种长宽比。参数量、数据集、VAE 配置，论文都没有写。 Sparse Rebasing：只在最贵的阶段切换。 现在的视频 DiT 普遍走渐进式训练：先图像，再低分辨率短视频，最后高分辨率长视频。VSA2 从一个用全注意力训到 256p 的视频 checkpoint 出发，到 480p、720p 预训练和 RL 阶段才换成 VSA2。 切换之所以平滑，靠的是那扇门：$\mathbf{W}_g$ 零初始化，刚切换时 $\mathbf{O}=\mathbf{O}_f$，输出只来自 fine branch，也就是用同一套 Q、K、V 做的稀疏注意力，对原模型的扰动最小。coarse branch 的贡献之后再慢慢学出来。 这个思路和 MoE 从稠密模型 upcycling 很像（这是我的类比）。好处有两个：一是可以直接复用全注意力训好的文生图、低分辨率视频 checkpoint；二是低分辨率阶段序列本来就短，稀疏注意力省不了多少，没必要在那里折腾。 Hard-to-Easy Curriculum：训得难，测得松。 训练时用更激进的稀疏度（top-K 小），推理时放宽（top-K 大）。Table 2 的 Exp 1～4 对比了 top32/top64 训练与 top64/top128 推理的几种组合，规律很一致：推理时的 top-K 比训练时大，运动质量就更好。 最突出的是 Exp 2（top64 训、top128 推），文生视频运动质量人评净胜 22.1%。 但代价也很一致：指令跟随和美学变差。 Exp 3（top32 训、top128 推）的文生视频指令跟随净输 15.4%。 作者对这两个现象的解释是： 运动变好，是类似结构化 dropout 的正则效果； 指令跟随变差，是训练与推理不一致造成的。MMDiT 里视频和文本 token 共用一个注意力空间，推理时多看了视频 token，分给文本 token 的注意力就被稀释了。 对应的补救办法是：拿 top64 预训练好的 checkpoint，在 RL 阶段改用 top128 再训一轮（Exp 6）。结果文生视频的指令跟随和美学基本拉回持平（−2.01%、0.00%），运动质量仍然保持优势（文生 +7.38%、图生 +8.05%）。 RL 用的是 reward feedback learning，不是 GRPO 或 DPO。 模型直接预测干净视频 $x_0$，由一个基于 VLM 的奖励模型和一个基于 CLIP 的奖励模型打分，梯度直接穿过奖励模型回传给 DiT。一个值得肯定的细节：奖励权重是在全注意力 checkpoint 上调的，VSA2 直接沿用、不做任何调整。这对 VSA2 来说是偏保守的比较方式。 （图片来源：论文 Figure 4。(a) 480p 预训练和 (b) 720p 预训练的训练 loss，VSA2（蓝）整体略低于全注意力（绿），放大插图里才看得清差距；(c) 480p RL 阶段的美学 reward 与运动 reward，两种注意力的曲线基本重合） 90%～95% 稀疏度下 loss 反而略低于全注意力，这一点值得多想一下。我的一个猜测是：VSA2 并不是全注意力的"子集"，coarse branch 额外提供了一条带门控的全局汇总通路，相当于多了一点结构上的归纳偏置。论文没有做去掉 coarse branch 的消融，这个问题目前没有答案。 09 人评表怎么读：每 0.67% 就是一条 prompt VSA2 的质量评估主要靠两样：训练 loss（作者引用 Movie Gen 的结论，认为它和人类偏好相关性好），以及 149 条人工挑选的高难度 prompt 上的成对人评。 人评规则是：同一条 prompt 下 VSA2 和全注意力各生成一个 10 秒视频，评分员判"更好、一样、更差"，最后报告（更好 − 更差）/ 149。评测分辨率是 480×864（约 9.9 万 token）和 720×1280（约 22 万 token），用的是 EMA checkpoint。 这意味着表里的每个百分比都能换算回"净多赢了几条"：1/149 ≈ 0.67%。先看七组实验的配置： Exp 阶段 训练 / 推理 top-K 注意力稀疏度 端到端加速 1 480p 64 / 64 0.90 2.09× 2 480p 64 / 128 0.82 1.92× 3 480p 32 / 128 0.82 1.92× 4 480p 32 / 64 0.90 2.09× 5 480p RL 64 / 64 0.90 2.09× 6 480p RL 64+128 / 128 0.82 1.92× 7 720p 64 / 64 0.95 4.62× 再看人评结果，括号里是我按 ×149 换算的净条数： Exp 文生·运动 文生·指令跟随 文生·美学 图生·运动 图生·指令跟随 1 −1.34%（−2） +1.34%（+2） −0.67%（−1） +8.72%（+13） +1.34%（+2） 2 +22.1%（+33） −3.36%（−5） −4.7%（−7） +6.71%（+10） −8.72%（−13） 3 +7.38%（+11） −15.4%（−23） −4.7%（−7） +11.4%（+17） −9.4%（−14） 4 +12.1%（+18） −10.1%（−15） −7.38%（−11） +4.03%（+6） −4.03%（−6） 5 −4.03%（−6） +1.34%（+2） −2.01%（−3） +8.05%（+12） −4.7%（−7） 6 +7.38%（+11） −2.01%（−3） 0.00%（0） +8.05%（+12） −2.69%（−4） 7 +6.71%（+10） −2.01%（−3） +1.34%（+2） +0.67%（+1） −1.34%（−2） （数据来源：论文 Table 2，正数表示 VSA2 优于同阶段的全注意力模型；括号内的净条数是我的换算） 几个读法： 第一，720p 那一行才是标题数字对应的质量。 95% 稀疏、端到端 4.62 倍的情况下，五项指标里净差最大的是文生视频运动 +10 条，其余都在 3 条以内。说"与全注意力基本持平"是站得住的。 第二，多数格子在噪声范围内。 论文没报告平票比例。我粗算了一下：假如 VSA2 和全注意力其实一样好，且有一半是平票，那么净胜条数的标准差约为 8.6 条，也就是 ±5.8%。按这把尺子量，超出两个标准差的只有 Exp 2 的文生运动（+22.1%）和 Exp 3 的文生指令跟随（−15.4%），Exp 4 的文生运动（+12.1%）刚好擦线。也就是说，Hard-to-Easy 对运动的提升和对指令跟随的损害是可信的信号，其余的正负差别大多分辨不出来。 第三，正文有一处表述不严谨。 论文说 Exp 2 中"评分员认为 22.1% 的 VSA2 文生视频样本运动更好"，但按它自己的计分规则，22.1% 是净胜率（更好减更差），不是"更好"的比例。实际被判为更好的比例只会更高。 第四，图生视频的运动几乎全线为正。 7 组实验里只有 Exp 7 接近 0，其余都在 +4%～+11.4%。单看每格都不算显著，但方向一致，值得后续验证。 作者还做了一个挺有说服力的分析：把 Exp 1 里两个分别训练的 checkpoint（一个 VSA2、一个全注意力）的注意力图并排对比，训练 6 万步之后两者的注意力模式仍然高度相似（论文 Figure 6）。以往的分析一般是拿全注意力模型推理时的注意力图做 profiling，这里是两个独立训练的模型直接对比，更能说明稀疏训练没有把模型带偏。 10 速度到底从哪来 （图片来源：论文 Figure 8。单张 H800、batch 1、20 个头、head dim 128、top64；统计的是 Figure 2 中除 QKV 投影之外所有算子的总耗时。橙线是 FlashAttention-3，蓝线是 VSA2，虚线是 VSA2 的 router、fine branch、coarse branch 分项耗时） 算子层面：22 万 token（对应 720p、10 秒）时，VSA2 的注意力比 FlashAttention-3 快 8.9 倍。序列越长差距越大，图里 43.6 万 token 处 FA3 已经超过 3000 毫秒，VSA2 仍在几百毫秒以内。 router 的开销不小：22 万 token 时占注意力总耗时的 22%，43.6 万 token 时升到 30%。 理想与实测之间还有空间。 95% 稀疏意味着计算量只剩约 5%，按 FLOPs 算理想加速接近 20 倍，实测是 8.9 倍。差出来的部分，一块是 router 自己（22%），另一块我推测来自 block-sparse 的访存开销，以及每个 query block 选中块数不等带来的负载不均。论文没有给 fine branch 单独的 MFU，没法细拆。 端到端层面：720p 端到端 4.62 倍，比注意力的 8.9 倍低一截，因为 DiT 里还有线性层、归一化，以及文本编码、VAE 解码等开销。论文没有说明端到端计时具体包含哪些环节、用了几张卡、多少步。 用 Amdahl 定律倒推一下（我的粗算，假设 8.9 倍对端到端里的所有注意力都成立）：全注意力时，注意力约占 720p 端到端时间的 88%；换成 VSA2 之后，注意力只剩端到端时间的 46% 左右，非注意力部分反而占了一半以上。 这有一个直接推论：在 720p 这个量级，继续压注意力的边际收益已经在变小，下一步的大头在步数蒸馏、特征缓存、量化这些手段上。论文也提到，稀疏注意力和这些方法基本正交。 "计算量减半"要打个折。 摘要说 VSA2 比 VSA "注意力计算减半、loss 还更低"，依据是 Figure 7(e)：细粒度 router 配 top64 优于粗粒度 router 配 top128，fine branch 的计算量确实减半。但 router 本身不是免费的。 按论文给的 22% router 耗时占比粗算：VSA2 的注意力耗时里，fine branch（连同很小的 coarse branch）约占 78%；换成 VSA 的 top128，这部分翻倍，总耗时约为 VSA2 的 1.56 倍。也就是说，VSA2 相对 VSA 实际省下的注意力时间约 36%，大约三分之一。如果改按附录的 FLOPs 公式和我反推的参数算，720p 省 29%、480p 省 41%。数字依然可观，但不是一半。 router 的开销会越来越显眼。 按稀疏度公式，router 的相对开销固定在 $1/R^2$，fine branch 的相对开销 $KB/L$ 随序列变长而下降。按我反推的 B = 128、R = 8、K = 64，两者在 $L=KBR^2\approx52$ 万 token 时持平。作为参照，1080p、10 秒视频按 720p 的 22 万 token 等比例换算约 49.5 万 token，已经贴着这个拐点，而 1080p 正是作者在附录里写的下一步。到那时，要么把 R 调大（router 更便宜，但也更粗），要么就得换一种分层的 router。 11 30 秒长视频：是个信号，还不是结论 （图片来源：论文 Figure 11，附录。样本来自 Exp 6 的 checkpoint，四组 30 秒视频的抽帧：雪山滑雪、水中追球的小狗、乡间土路上开旧卡车的男人、客厅里弹钢琴的男人） 论文附录展示了一组 30 秒视频：训练数据最长只有 12 秒，模型直接生成了 30 秒，作者称"没有明显退化"，并把它当作 VSA2 能往分钟级视频扩展的早期证据。 这组结果值得看，但证据力度有限： 没有全注意力对照。30 秒这组只有 VSA2 自己的样本，分不清长度泛化能力来自稀疏注意力还是模型本身； 没有量化指标，也没说明生成分辨率和 token 数； 抽帧看不出时序问题。比如第二行最后一帧，小狗和水花已经糊成一团，是剧烈运动的正常模糊还是长时退化，单凭抽帧判断不了。作者提到补充材料里附了视频文件。 不过有一点是确定的：30 秒视频的 token 数是 10 秒的三倍左右，全注意力的计算量就是九倍。越是这种长度，稀疏注意力的收益越大。 作者在附录里写了两个后续方向：一是做 1080p，二是和 Self-Forcing 这类自回归视频生成方法结合。后者逐块生成视频，天然需要高效的长上下文注意力。 12 想自己用要注意什么 现状：截至发稿，VSA2 的代码和权重都没有公开。前代 VSA、STA 的 kernel 在 FastVideo 仓库里开源，VSA2 的 fine branch 和 VSA 一样用 ThunderKittens 实现 block-sparse attention，复现有现成的起点；需要自己补的是细粒度 router 的融合 kernel，以及支持每个 query block 选中块数不等的调度。 如果想照着复现，关键配置是这些（B、R 为我的反推）： 块大小 B = 128（cube 的三维切法论文没给），router 池化尺寸 R = 8，G = B/R = 16； 平均每个 query block 选 64 个 KV block，用 per-sequence TopK，各个头预算相同； router 不接收梯度，Q、K 直接用 fine branch 的投影结果； 门控 $\mathbf{W}_g$ 零初始化，coarse branch 的输出乘 tanh 门控后与 fine branch 相加； 与文本相关的注意力保持完整。 训练配方上的建议： 不要从头训。低分辨率阶段保留全注意力，到 480p 以上再切换； 如果想用 Hard-to-Easy 换运动质量，最后记得用推理时的 top-K 再做一轮 RL 或微调，否则指令跟随会掉； 序列并行优先用 Ulysses（按头切分）。VSA2 每个头的计算量相同，Ulysses 下负载天然均衡；Ring-Attention 按序列切分，而 per-sequence TopK 选中的 KV 块可能集中在少数分片上，GPU 之间会负载不均。这是作者在附录里承认的限制。 如果你手上是开源模型、只想加速推理：VSA2 需要训练，不是即插即用的方案。在 Wan2.1 这类开源模型上，SLA、VSA 这类微调方案，或者 Sparse VideoGen 这类免训练方案，代码都已经开源，现在就能用。 硬件：测速只在 H800 上做过，kernel 依赖 ThunderKittens 和 CuTe DSL，换到其他架构的卡上需要重新评估。 13 需要留意的限制 前面零散提过，这里集中说。 1. 人评样本少、粒度粗。 149 条 prompt，每格的分辨率是 0.67%。论文没报告评分员人数、是否盲评、平票比例和评分一致性。除了 Hard-to-Easy 带来的运动提升和指令跟随下降，其余多数差异都在统计噪声以内。"与全注意力持平"的结论站得住，"部分场景超过全注意力"需要更大的评测集来确认。 2. 没有外部 baseline，没有公开 benchmark。 对比对象只有同条件训练的全注意力，以及 VSA/NSA 的设计变体。没有在同一个模型上比 SLA、SLA2、VMoBA、Sparse VideoGen，也没有 VBench 之类的公开指标。 3. 无法复现。 模型参数量、数据集、VAE、训练算力都没公开，代码和权重也没放出，外部读者只能相信内部实验。 4. 训练加速没有量化。 论文的出发点是预训练成本，但所有加速数字都来自推理。Sparse Rebasing 到底省了多少 GPU 小时、训练吞吐提升多少，没有给。 5. "计算量减半"没算 router。 算上 router，720p 下相对 VSA 实际省下约三分之一（见第 10 段）。 6. 消融的统计强度一般。 Figure 7 的消融是 1 万到 3 万步的单次运行，(e)(f) 的差距要靠放大插图才看得见，没有多随机种子。 7. Hard-to-Easy 的代价要靠额外训练来补。 运动质量的提升伴随着指令跟随和美学的下降，要再做一轮更高 top-K 的 RL 才能恢复。工程上意味着训练和推理要维护两套 top-K 配置。 8. 扩展性隐患。 router 的相对开销固定在 $1/R^2$，按反推参数在约 52 万 token（接近 1080p、10 秒）时会追平 fine branch；动态稀疏和 Ring-Attention 不好配合。这两点作者都在附录里承认了。 9. 长视频证据薄弱。 30 秒生成只有抽帧展示，没有全注意力对照和量化指标。 10. 端到端测速条件不透明。 端到端加速用的硬件、GPU 数、采样步数、是否包含文本编码与 VAE 解码，论文都没交代。 14 横向对比表格 下面这张表是我按各论文公开信息整理的，不是论文原表。各方法的模型、硬件、分辨率、baseline 都不同，加速倍率跨行不能直接比较。 方案 何时引入稀疏 怎么选块 选块器是否学习 报告的稀疏度 论文报告的加速 VSA2（2026.09） 预训练中途接入，覆盖 RL 与推理 细粒度 pool-softmax-pool，per-sequence TopK 否，无梯度 90%～95% 注意力 8.9×（H800，对比 FA3）；720p 端到端 4.62× VSA（2025.05，NeurIPS 2025） 从头预训练，或改造已有模型 cube 级 coarse attention 的分数，逐 query block TopK 与 coarse branch 共享参数 — 训练 FLOPs 降 2.53×；Wan-2.1 注意力 6×，端到端 31 秒→18 秒 SLA（2025.09） 微调 按注意力权重分关键、边缘、可忽略，边缘部分走线性注意力 启发式划分 注意力计算省 95% 注意力 13.7×；Wan2.1-1.3B 端到端 2.2× SLA2（2026.02） 微调 + 量化感知训练 可学习 router 决定走稀疏还是线性 是 97% 注意力约 18.6×；Wan2.1-14B-720P 端到端 4.35×（RTX 5090，排除 CPU offload 开销） STA（2025.02，ICML 2025） 免训练或微调 固定的 3D 滑动 tile 窗口 无选块器 — HunyuanVideo 端到端 945 秒→685 秒（免训练）、268 秒（微调） Sparse VideoGen（2025.02） 仅推理 在线 profiling，把头分成空间头和时间头 不需要训练 — 端到端最高 2.28×（CogVideoX-v1.5）、2.33×（HunyuanVideo） NSA / MoBA（2025.02，LLM） 预训练 NSA：压缩分支打分，GQA 组内共享；MoBA：key 块均值池化做门控 NSA 借道压缩分支获得梯度；MoBA 无参数 — 语言模型，不直接可比 几点解读： VSA2 真正的差异化不在倍率，而在"何时引入稀疏"那一列。 表里其他视频方法要么只管推理，要么在现成模型上微调，VSA2 是唯一在完整的视频 DiT 训练流程里（预训练 + RL + 推理）端到端验证过的； "router 要不要学"，各家答案不同。 SLA2 押注可学习 router，VSA2 的消融说不用学。两者一个是微调、一个是预训练，场景不同，目前还谈不上谁对谁错； 单看倍率，SLA2 在 Wan2.1-14B-720P 上的 4.35 倍和 VSA2 的 4.62 倍量级相当，但模型、硬件、测速条件都不同，不能据此排高下。更实际的差别是门槛：SLA2 可以拿开源模型直接微调，VSA2 得从预训练阶段就改，对大多数团队来说前者容易得多。 15 总结感受 我觉得这篇论文最大的价值，是把"可训练稀疏注意力"从一个小规模、只看 loss 的研究结论，变成了一个在完整视频 DiT 训练流程里走通的工程方案。预训练、RL、推理都换成 90%～95% 稀疏的注意力，人评还能和全注意力打平，这件事本身就是一个很强的信号。 具体的技术结论里，有三条我认为会被后续工作反复引用： router 不需要学，但需要比硬件块更细的粒度。 选块能力来自数据本身的局部性，而不是梯度；真正限制精度的，是把 128 个 token 压成一个向量的那一步； 稀疏预算应该按序列分，而不是按 query 均分。 固定总预算、让难的 query 多拿，是一种简单有效的自适应计算； 稀疏注意力可以在训练中途接入。 "要不要用稀疏注意力"从一个预训练开始前就得拍板的架构决策，变成了一个可以到高分辨率阶段再做的工程决策，采用门槛低了很多。 但也要清醒地看到，这篇论文的证据几乎全是内部的：内部模型、内部数据、149 条 prompt 的人评、没有外部 baseline，也没有代码。它更像一份高质量的工业实践报告，而不是一篇可以被独立验证的方法论文。 给不同读者的建议： 如果你在训练自己的视频 DiT：这篇是目前最值得参考的稀疏注意力训练配方。Sparse Rebasing 和"高分辨率阶段才切换"的思路可以直接借鉴；Hard-to-Easy 能换来运动质量，但要为指令跟随留一轮 RL。 如果你做推理部署、用的是开源模型：VSA2 暂时用不上，SLA、VSA 改造版或 Sparse VideoGen 这些有代码的方案更现实。另外记住，在 720p 量级上注意力被砍掉之后，非注意力部分就成了大头，步数蒸馏和缓存可能比继续压注意力更划算。 如果你是研究者：有几个问题这篇论文没有回答。稀疏训练为什么能让 loss 低于全注意力，是 coarse branch 带来的额外通路，还是正则效应？router 在 1080p 以上怎么扩展？每个 query 选中的块数不等时，序列并行的负载怎么均衡？ VSA2 把视频稀疏注意力的讨论，从"推理时怎么少算"推进到了"训练时就不算"。它能不能撑到 1080p 和分钟级视频，取决于 router 开销和序列并行这两个问题怎么解决，这也是这条路线接下来最值得期待的地方。 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-30|港科大先写谱再唱，YuE2 逼近 Suno 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与推理加速 4 篇 · 蒸馏与一步生成 3 篇 · 统一模型与自我反思 1 篇 · 音乐与音频生成 1 篇 · 数据集与评测 1 篇 重点论文标题列表 YuE2（港科大）：先写谱再唱出来，49.3%胜 WorldAttention（阿里巴巴达摩院）：单卡22帧，内核快14倍 PDMD（加州大学圣迭戈分校）：一行代码，VBench 涨 1.03 GeoShrink（香港科技大学（广州））：两行代码换五倍，PSNR+3.10 MGFlow（清华大学）：一步打赢四步，FDr 1.45 今日论文速览 1. YuE2：先写谱再唱出来，49.3%胜 YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality | 香港科技大学；M-A-P；HKGAI；Tokenwave.AI；纽约大学；斯坦福大学；MBZUAI；Noiz；ACE Studio | arXiv:2609.33757 关键词：音乐生成, 符号音乐, 音频生成, 可控创作, 多模态 前序问题：符号音乐模型把旋律、和声、节奏、曲式写得很清楚，但通常停在「谱」这一步，出不了成品录音；音频模型能吐出完整歌曲，作曲过程却完全隐式，用户没法改。真正可用的创作工具要的是「先看懂谱、再决定怎么唱」。更麻烦的是训练数据：现成录音没有对齐的乐谱，符号监督和语义监督双双缺失。 本文贡献：用一个 AR-NAR 混合的 Mixture-of-Transformers 把两件事接成一条链：先写出可读的乐谱（指定旋律与和声），展开成 25 Hz 语义音乐 token，最后落成 25 Hz 连续声学 latent，由 48 kHz 立体声 VAE 解码成整首歌。为从「没有对齐乐谱的录音」里学会这套流程，配套提出 MERT2 提供语义监督、SheetSage2 提供符号监督。由于中间产物是人类可读的乐谱，同一 checkpoint 能跟着谱面编辑改动并保住未改动部分，还能零样本翻唱，外部大模型也可把反馈译成谱面修订，实现 agentic 改曲。 Composing in symbols, performing in audio. 实验效果：同一 checkpoint 下，专家对「带符号规划」的整体偏好为 49.3%，不规划只有 34.6%。WildSongBench 上 SongBench Global Avg 得 6.73，超过所有受评公开基线；best-of-8 取 6.96，是全部受评系统中的最高均值。专家听测中 best-of-8 优于 Suno v4.5，对 v5 接近持平。MERT2 在 MARBLE 的 15 项指标中 14 项刷新最佳；SheetSage2 在 lead-sheet 转录对比的 15 组指标对中 12 组领先。 Expert preferences for YuE2 versus six proprietary song generators across all six criteria. 批判点评：49.3% 对 34.6% 看着是压倒性优势，其实只是同一套系统的两种采样策略互相比，净增益不到 15 个百分点。真正硬的对标是 Suno v6：论文自己给的专家偏好里对 v6 的 overall 胜率只有 31.6%、败率 59.3%，是明显劣势——「frontier quality」只在 v4.5 / v5 这一档站得住。另外 best-of-8 的 6.96 需要 8 倍采样成本，56 页技术报告也没有同行评审背书。 2. WorldAttention：单卡22帧，内核快14倍 WorldAttention: An Efficient Attention Architecture for Interactive Video World Models | 阿里巴巴达摩院；浙江大学；香港科技大学；湖畔实验室；阿里巴巴 TRE | arXiv:2609.34606 关键词：视频世界模型, 稀疏注意力, KV 缓存, 推理加速, 长视频生成 前序问题：交互式视频世界模型要按文本指令持续生成长时间、时间连贯的视频。滑动窗口能把计算量封住，代价是历史上下文被直接砍掉，长程交互能力塌掉；而保留全历史 KV 缓存在计算和显存上都不可行——注意力的二次复杂度让开销爆掉，KV 缓存的线性增长迟早把显存吃满。两条路都不通，问题落在「既要长历史，又要低延迟」上。 本文贡献：提出系统级协同设计的注意力架构，两手一起改：一是 Hybrid Sparse Attention（HSA），把线性全局注意力和头自适应稀疏注意力并在双分支里，按注意力头动态决定稀疏度；二是 Hierarchical KV Cache（HKV），把历史 KV 组织成跨多层存储的语义索引页，先做 prompt 级检索再做 page 级检索，粗到细地把需要的页取回并控制 GPU 驻留量。两项设计都配了定制 kernel，把理论上的效率真正落到硬件上。 Overall architecture of WorldAttention. 实验效果：定制 kernel 相对 FlashAttention-3 带来 14.02 倍 kernel 级加速，叠加 HKV 后端到端加速 2.21 倍；单张 NVIDIA H100 上维持 22.0 FPS。VBench-Long 上质量得分 86.55 且吞吐最快，主体一致性 0.9472；InterVBench 上主体一致性 0.9668。B200 上跨模型规模与分辨率的端到端加速为 2.06 到 2.46 倍。 Attention kernel speedup. 批判点评：14.02 倍是 attention kernel 这一层的数字，端到端只剩 2.21 倍，落差本身就是论文的自我交代：HSA 单次执行 633 微秒里，稀疏 block 注意力 kernel 只占 11.78 微秒（1.86%），大头是 KV 连续拷贝（31.00%）和线性分支（39.78%）。也就是说 kernel 做得再快，杠杆也被内存搬运和线性分支吃掉。另外质量侧的「超越此前 SOTA」只给了主体一致性等少数几项，没有给出相对最强基线的完整指标表。 3. PDMD：一行代码，VBench 涨 1.03 PDMD: Projected Distribution Matching Distillation for Video Diffusion Models | 加州大学圣迭戈分校；字节跳动 | arXiv:2609.35768 关键词：视频生成, 扩散蒸馏, 分布匹配, 少步生成, 批评者误差 前序问题：视频扩散模型动辄要几十次去噪评估，DMD 能把 NFE 压到个位数，但蒸馏出来的样本会在训练过程中逐步退化：画面越来越过饱和、纹理出现不自然的伪影。作者把根因定位到 critic 误差——它混进学生更新之后会随训练步数累积，而 DMD 本身没有任何机制把这个误差拦下来。 本文贡献：提出 PDMD：把 DMD 更新中「与学生-critic 端点残差平行」的那个分量投影掉。作者证明，在固定噪声查询点上，这个残差正是 critic 端点误差的无偏估计；在高维假设下，投影能移除恒定比例的 critic 误差，同时只丢掉可忽略比例的 ideal DMD 信号。整个改动对 DMD 只动一行代码，不引入额外损失、额外网络、额外数据、额外模型前向，也不需要多阶段训练。 2D comparison of projection directions (20-point moving average). 实验效果：Wan2.1 上 4 NFE 取得 VBench 总分 83.73，比对齐设置的 DMD 高 1.03 分。MiniMax-H3 音视频联合生成上，VideoGen-Eval 视觉总分 83.17，比最强蒸馏基线高 0.41 分，且在受评的 4-NFE 模型中 6 项音频指标全部拿到最好成绩。定性对比与用户研究在视觉质量、运动、音频质量上都偏向 PDMD。 Quality, semantic, and total scores on the 387 VideoGen-Eval prompts. 批判点评：1.03 和 0.41 都是小数点后两位的量级提升，放在 VBench 总分 80 多的量级上更像「修退化」而不是「提上限」——它的价值本来就在于 DMD 已经开始崩的那段区间，基线越健康收益越小。MiniMax-H3 的 0.41 分是相对「最强蒸馏基线」而非 teacher，论文没给与未蒸馏模型的差距。另外投影只保证移除「恒定比例」误差，这个结论建立在高维假设之上，实际有限维下的常数有多大并未量化。 4. GeoShrink：两行代码换五倍，PSNR+3.10 GeoShrink: Accelerating Diffusion Transformers with Two Lines of Code | 香港科技大学（广州）；格里菲斯大学；CSIRO Data61；JITRI 深度感知研究所 | arXiv:2609.33723 关键词：推理加速, 扩散Transformer, 免训练, 采样求解器, 特征预测 前序问题：扩散 Transformer 的推理成本几乎全部来自沿采样轨迹反复调用模型。已有的免训练加速多走特征缓存路线，在不同去噪步之间复用或预测中间表示；但这类方法动的是模型内部结构，接入成本高，而且缓存什么、什么时候更新都要重新调。能不能完全不碰模型，只在求解器接口上做文章。 本文贡献：提出 GeoShrink：保留原始求解器网格，只在预先规定的一组锚点上真正调用模型。被跳过的阶段，它把「最近一次观测到的增量」按几何保留比例加回最近的精确输出，作为求解器要的那个场。这个规则从弦切线传输和往返线投影推出来，并给出一条几何锚间距原则：在固定覆盖率和首段跨度下，让相邻最大间隔的扩张最小。误差分析刻画了预测误差的几何闭合与传播，全程不假设能拿到未来模型输出。改动只需两行代码。 Overview of GeoShrink. 实验效果：在约 5 倍加速下，FLUX 的 PSNR 比所列最强基线高 3.10 dB。HunyuanVideo 上报告 4.99 倍加速，ChronoMagic-Bench-150 的 PSNR 比最强保真基线高 5.44 dB。在固定评估预算下对比，运动、音频、音乐、3D 生成上也都有明显增益，实验覆盖图像、视频、动作、音频以及适配后的 3D 后端。 Speed-quality trade-off: GeoShrink yields a better Pareto frontier on SD3.5 Medium. 批判点评：全文主打指标是 PSNR，这是保真度指标而不是感知质量指标——5.44 dB 的 PSNR 增益可以对应肉眼几乎无差别的画面，也可以对应明显更糊的结果，论文没有补 FID 或人类偏好。另外「比所列最强基线高」里的基线集合是作者自选的，到底是跟哪些缓存类方法比、有没有包含最新的同类工作，从摘要看不出来。锚间距原则也只在给定覆盖率和首段跨度这组约束下最优。 5. MGFlow：一步打赢四步，FDr 1.45 Unifying Distributional Training for One-Step Visual Generation | 清华大学；复旦大学；西安交通大学；北京大学；浙江大学；DeepSeek；字节跳动 Seed；加州大学伯克利分校；智源研究院 | arXiv:2609.35763 关键词：一步生成, 分布匹配, 高斯混合, Wasserstein梯度流, 文生图 前序问题：一步生成器的分布训练有很多条彼此看起来不相干的路线：FD-Loss 用高斯矩匹配，Drifting 用核密度做 KL 匹配，各自都能work，但没人说清楚它们之间的关系是什么，也说不清「分布建模」和「匹配差异」这两件事哪一件在起作用。缺少统一视角的直接后果是，新方法只能靠试，无法判断某一处改动到底改的是哪一环。 本文贡献：给出一个统一的理论框架：把「分布建模」与「匹配差异度」拆开，再用 Wasserstein 梯度流把全局目标和逐点特征更新连起来。在这个框架下，FD-Loss 和 Gaussian-kernel Drifting 分别被还原为高斯最优传输和基于核密度的 KL 匹配两个特例。框架进一步催生 MGFlow：用高斯混合来建模特征分布，粒度可调，介于全局矩和逐样本表示之间；它同时支持最优传输和基于分数的匹配，并用带质量约束的样本分配配成对分量更新，专门解决「混合模型表达力提升」本身解决不了的 mode collapse。 A unified view of distributional training. 实验效果：ImageNet 256×256 上大幅超过 FD-Loss 基线，pMF-H 取得 FDr⁶ 1.45、JiT-H 取得 1.64，均为当前最佳。文生图方面，把 FLUX.2 [klein] 4B 后训练成一步生成器，在 GenEval 和 PickScore 两个指标上都超过了原始的四步模型。 One-step text-to-image samples from FLUX.2 [klein] 4B post-trained with MGFlow. 批判点评：FDr⁶ 是论文自报指标，对比表里的基线也是作者自己跑的，跨论文可比性存疑；ImageNet-256 是类条件生成的老基准，没有在更大规模或更高分辨率上验证。文生图部分只报了 GenEval 和 PickScore 两个自动指标，没给人类偏好，而「一步超过四步」这种反直觉结论恰恰最需要人工评测背书。另外九家机构联合署名，真正的方法贡献集中在统一框架和高斯混合这两点上，工程验证面其实偏窄。 6. REPI：16万步追平700万步 Scaffold Then Internalize: Representation Injection for Diffusion Transformers | 中山大学；Video Rebirth；香港理工大学 | arXiv:2609.35292 关键词：扩散Transformer, 表示对齐, 训练加速, 表示注入, 图像生成 前序问题：REPA 类方法靠「把扩散 Transformer 的隐状态投影到预训练视觉编码器空间」来加速训练，方向是单向的：扩散模型被迫去迎合编码器。反过来那条路没人走过——让编码器表示直接参与去噪过程。问题在于直接注入会破坏扩散模型自身的表示结构，注入之后模型到底学到了什么、推理时还要不要带着编码器，都没人回答。 本文贡献：提出 REPI（REPresentation Injection），走 scaffold-then-internalize 两段式：第一阶段「搭脚手架」，用投影后的编码器 K/V 临时替换扩散 Transformer 原生的 K/V，只保留它自己的 Query，让外部表示先替模型把去噪这件事撑起来；第二阶段「内化」，模型恢复到使用自己的 K/V，同时用一个内化目标把自身 K/V 对齐到投影后的编码器表示。推理时编码器和投影层全部丢掉，不留下任何额外开销。 Overview of REPI. (a) Scaffold. (b) Internalization. 实验效果：在 SiT-B、SiT-L、SiT-XL 等多种骨干上一致优于 REPA，且两者高度互补——叠加后收益远超任一单独使用。SiT-XL 上，REPI + REPA 训练 200K 步就已经超过 REPA 训练 400K 步的结果。最亮眼的是：仅用 160K 步，REPI + REPA 就能匹配 vanilla SiT 训练 7M 步的效果，相当于 43.5 倍以上的提速。 REPI accelerates diffusion transformer training across model scales. 批判点评：43.5 倍的对照物是「什么都不加的 vanilla SiT」，这个基线本身不含任何加速手段，比值因此被放大；更有信息量的是和 REPA 的等步数对比，那部分增益要小得多。另外从 FID-步数曲线看，REPI 做的是把曲线「提前」，并没有把收敛上限抬高——训练足够久之后差距会收窄。论文也明确指出最大收益来自与 REPA 叠加，单独用 REPI 的绝对提升要看主表才清楚。代码目前标注为即将开源。 7. UMM-Reflection：自己改自己图，GenEval+12 Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning | 南洋理工大学；上海交通大学；东京大学 | arXiv:2609.35767 关键词：统一多模态模型, 强化学习, 自我反思, 图像编辑, 文生图 前序问题：统一多模态模型既能看图又能画图，理论上应该能自己修自己的输出：先诊断这张图错在哪，再改，看着改完的结果继续诊断。但「这次修改到底有没有用」只有渲染出来才知道，所以反思文本和图像生成必须沿着整条回路联合学习。SFT 冷启动能学会走流程却找不到高成功率的修复路径；而只优化渲染器或只优化某一个头的朴素 RL，又把大部分收益留在桌上。 本文贡献：提出 UMM-Reflection，在同一个统一模型内部对完整反思轨迹做 RL。关键设计是 sibling trajectories 共享同一张初始图像，这样 group-relative advantage 比较的就是不同「反思策略」而不是不同起点；再用一个轨迹级 advantage 同时更新反思 token 和基于 flow 的修订，避免逐轮信用分配带来的组合爆炸。信用跨轮次流动、同时流向同一模型的两种角色，推理时不需要任何 verifier。 UMM-Reflection RL. 实验效果：在 BAGEL 上相对 SFT 把 GenEval 提升 12.05 分，且增益能迁移到训练中完全没用过的 WISE（+10.97）、OneIG-Bench（+3.48）、T2I-CompBench++（+4.63）。 Learning dynamics of the 1,000-update RL run. 批判点评：+12.05 分是相对 SFT 冷启动版本，不是相对原始 BAGEL 或当前 SOTA 生成模型，绝对值要在主表里才看得清。整套实验只在一个统一模型（BAGEL）上做，换骨干是否成立未知。训练侧每条轨迹最多三轮反思、每组 16 条 rollout，为了拿到稳定的 group-relative advantage 开销不小；而三轮上限本身就意味着更长链条的迭代修复能力没有被验证——尽管推理免 verifier 是实打实的优势。 8. Elastic Forcing：扔掉两个打分模型，84.64 From Scores to Samples: Elastic Forcing for Autoregressive Video Generation | 清华大学人工智能学院；西安交通大学 IAIR；复旦大学相辉研究院；北京大学 | arXiv:2609.35491 关键词：视频生成, 自回归生成, 蒸馏, MMD, 后训练 前序问题：少步自回归视频生成基本都挂在 DMD 上，而 DMD 需要两样重资产：一个双向扩散 teacher，和一个在线更新的 fake-score 模型。前者限制了「能学什么」——必须有一个现成的目标分布 teacher；后者让后训练的内存和计算开销居高不下，模型一大就跑不动。两者的存在使得「直接向参考视频学」这条路一直没走通。 本文贡献：提出 Elastic Forcing：不学 teacher 给出的真假分数，而是直接从参考视频学 rollout 分布，后训练阶段两个 score model 全部去掉。做法是在冻结的自监督视频表示空间里最小化 MMD（最大均值差异），并用 Nyström–Monte Carlo 混合估计器在近似偏差与采样方差之间取平衡；再配合省内存的 replay 和梯度子采样让这个目标变得可训练。移除辅助 score model 之后，14B 后训练可以放进 8 张 H200。 Demonstration of Elastic Forcing. 实验效果：在与 Self-Forcing 完全相同的架构和初始化下，1.3B 模型把 VBench 总分从 83.80 提到 84.64，同时保持 17 FPS。去掉辅助 score model 使 14B 规模的后训练在 8 张 H200 GPU 上成为可能。除了蒸馏，直接从参考视频学习还能在没有目标专用扩散 teacher 的情况下习得新的视觉风格、语义概念和空间先验。 Additional demonstrations of our 14B model. 批判点评：83.80 到 84.64 只有 0.84 分，而且这个对照是与 Self-Forcing 同架构同初始化的自体基线，不是与当前最强少步方法比。14B 那部分论文只说「使后训练成为可能」，没有给出 14B 的量化评测结果，也没有和带 score model 的同等规模方案做效率对比——省下来的显存到底换来多少质量，读者看不到。MMD 估计器本身还需要在 Nyström 近似偏差和 Monte Carlo 方差之间调参，这个权衡的敏感度没在摘要里交代。 9. GEAR：几何只当地址，12项全第一 Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation | 浙江大学 CAD&CG 国家重点实验室；香港科技大学（广州）；LIGHTSPEED | arXiv:2609.34722 关键词：视频生成, 相机控制, 长程记忆, 几何先验, 记忆检索 前序问题：长程相机可控视频生成要从不断膨胀的视觉历史里把之前看过的内容取回来。现有做法要么在历史上下文里隐式检索，要么把历史重建成持久的 3D 记忆：前者检索低效、token 越堆越多，后者会因为全局融合不断累积几何误差，跑几十秒之后画面就漂了。矛盾在于几何信息到底该被用来「解释场景」还是只用来「定位」。 本文贡献：核心洞察是：几何不需要解释场景，它只需要决定「视觉记忆该从哪里读」，而「该恢复什么」交给注意力去判断。GEAR 据此把几何当作视觉记忆的显式 token 级地址——不把历史观测融进一个持久的全局 3D 表示，而是保留为逐帧 latent，只用逐帧几何与目标视角建立 token 级对应关系，从而避开全局融合的误差累积。由这些对应关系引导，Geometric Correspondence Attention（GCA）在去噪时把几何匹配上的历史特征选择性注入到噪声目标 patch。另外用 Invisible Octree 累积可见性证据，把几何上合理但实际被遮挡的对应关系剔掉。 System overview. 实验效果：在 DL3DV 与 WorldScore 的全部 12 项指标上取得最佳：SSIM 0.3645、LPIPS 0.4459、FVD 837.59、TransErr 0.0116、RotErr 0.1228、ATE 0.0436、Content Alignment 0.7423、Photo Consistency 0.9732、Style Consistency 0.8700、主观分 0.5018、Revisit SSIM 0.6489、Revisit LPIPS 0.2019。支持沿高难度轨迹生成分钟级视频。 Out-of-domain qualitative comparison for minute-long generation. 批判点评：主观分只有 0.5018，刚过一半，说明「12 项全第一」里最贴近人的那一项优势最薄。FVD 837.59 的绝对值也谈不上低。对比集合是「带 memory 机制的近期方法」，没有与不带记忆的强基线在同等时长下对照，因此无法判断这套地址机制相对「干脆不记忆」的净收益。此外整套方法依赖每帧几何（位姿与深度）可用，相机轨迹是外部给定的，几何估计本身的误差如何传导到地址精度只做了定性讨论。 10. ORAV：380题9种角色，人机86% ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts | 清华大学人工智能学院；腾讯混元 | arXiv:2609.34843 关键词：音视频生成, 多模态参考, 基准评测, 组合式生成, 评测协议 前序问题：用异构多模态参考（图、视频、音频混着给）去生成音视频成了一个新课题，它同时要求两件事：对生成结果有组合式控制，对多模态上下文有 grounded 理解。但现有基准基本只覆盖单参考或同构参考，评测协议也沿用通用视频质量指标，无法判断「模型有没有照着指令把指定参考里的指定内容取出来并正确组合」。没有基准，就没法追踪这一方向的进展。 本文贡献：提出 ORAV Bench，包含 380 个任务实例，每个实例带 2 到 10 个参考，覆盖 9 种语义角色和 30 种角色组合；指令负责说明各参考之间的关系，媒体本身提供要被落实的身份、动态和音频特征。评测上设计了一套参考感知的成对比较协议：先分别准备视觉和听觉证据，再逐个比较每个参考「本应贡献什么」，最后在两种呈现顺序下核对总体裁决，以消解顺序偏差。 Omni-reference audio-video generation requires selectively composing information from heterogeneous references. 实验效果：在留出实例上，该协议与人类判断的有效一致率达到 86.08%。对 5 个前沿系统的评测显示，总体排名掩盖了各系统在不同参考组合上的能力差异；暴露出的一个反复出现的失败模式是：模型生成了与某个参考高度相似、但并非指令所要求的内容。可复现的逐点诊断在质量、参考亲和度、语音三个维度上揭示出彼此独立的行为差异。 Performance across composition signatures. 批判点评：86.08% 是「有效一致率」，已经剔除了不可用判断和顺序冲突的样本，分母比全部配对要小，实际一致性更接近的下界没有给出。5 个受评系统在摘要里被匿名处理为 frontier systems，读者无法核对评测对象；380 个实例摊到 30 种角色组合后每种只剩十几个，论文也承认只有共享实例数不少于 8 个的 14 个 signature 才重拟合了胜率。作为纯基准工作，它不提供任何模型或训练方案，落地价值取决于社区是否跟进。 趋势观察 加速的战场从算法层下移到系统层 今天十篇里有三篇在跟计算成本较劲，但下手的层级完全不同：WorldAttention 直接写定制 kernel 并重排 KV 的内存层级，GeoShrink 干脆绕开模型、只在求解器接口上抠掉五分之四的调用，Elastic Forcing 则是把两个 score model 整个删掉换来 14B 后训练的可行性。共同点是单纯改注意力数学已经不够，谁把内存搬运和调用次数一起管起来谁才拿到真实收益。 「先搭脚手架再拆掉」成了训练范式的共识动作 REPI 用编码器 K/V 临时替换扩散 Transformer 的原生 K/V，等模型内化之后在推理时把编码器整体丢弃；PDMD 只对 DMD 动一行代码、不加任何额外网络或损失；UMM-Reflection 在训练时用冻结 verifier 打分、推理时一个 verifier 都不需要。三篇方向毫不相干，却都在做同一件事：把复杂度全部留在训练期，交付一个结构不变、开销不增的推理模型。 人工智能炼丹君 整理 | 2026-09-30 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-29|阿里双Agent语音涨10.4分，Qwen-Audio 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与推理加速 4 篇 · 图像生成与编辑 3 篇 · 语音与动作生成 2 篇 · 数据集与评测 1 篇 重点论文标题列表 Qwen-Audio-Agent（阿里巴巴 Token Foundry）：双Agent并行，座舱91.04% DyMD（北航）：14B 压成 1.3B 四步 HetA-DiT（高通 AI 研究院）：两成 token 走全注意力 Routed Forcing（清华大学）：动力学+45%，嘴部不动 RWTD（字节跳动 Seed）：一步模型 GenEval 0.80 今日论文速览 1. Qwen-Audio-Agent：双Agent并行，座舱91.04% Qwen-Audio-Agent Technical Report | 阿里巴巴 Token Foundry | arXiv:2609.25195 关键词：全双工语音, 智能体架构, 任务委派, 语音助手, 异步执行 前序问题：全双工语音助手要一边聊天一边干活，但一段对话里既混着「马上能答」的即时操作，也混着「要跑好几步」的长任务。现有做法要么让前台模型自己把工具全调完（长任务把对话卡死），要么整段委托给后台（用户干等，中途插一句还会把任务一起取消）。语音打断与任务取消、执行完成与结果回传被绑成一根绳，是这套系统要解决的核心矛盾。 本文贡献：提出前后台双 Agent 架构：Frontend Agent 只负责对话，并判断这一步是直接调工具还是委派出去；Backend Agent 在独立上下文里跑被委派的任务；Orchestration Runtime 负责维护任务状态、协调向用户要授权，并把结果排回对话。关键设计是把「语音打断」和「任务取消」解耦，把「执行完成」和「结果投递」解耦，所以后台在跑的时候对话还能继续往下聊。独立适配器让前台模型、后台 Agent、客户端可以分别替换，已在桌面助手、智能座舱、语音客服三类场景落地。 Foreground-background architecture of Qwen-Audio-Agent. 实验效果：内部座舱基准 134 个用例上，混合执行的任务成功率 91.04%，直接执行 72.39%、全部委派 80.60%。另在「三种配置都成功」的同一批轮次上做延迟评测，混合执行的平均任务执行延迟比这两个基线分别低 26.73% 和 30.91%。 Illustrative timeline of a delegated task. 批判点评：两个数字其实来自两个不同的评测集合：成功率是 134 个座舱用例，延迟只统计三种配置都跑成功的轮次——也就是说最难的那批（只有混合执行成功、基线直接失败）根本没进延迟统计，26.73% 的降幅是在对自己有利的子集上算出来的。另外 91.04% 比的是同一套系统的两种退化配置，没有跟任何外部语音智能体对照，报告也没给后台任务的绝对耗时。 2. DyMD：14B 压成 1.3B 四步 DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models | 北京航空航天大学；京东未来学院 | arXiv:2609.31349 关键词：视频世界模型, 分布匹配蒸馏, 少步生成, 具身智能, 交互动力学 前序问题：大视频扩散模型是很强的具身预测先验，但多步采样对交互式下游太贵。DMD 能把采样压到几步，代价却是机器人与物体之间的交互运动被抹掉：画面看着没问题，机械臂却基本不动，生成出来的世界对规划毫无用处。 本文贡献：从 teacher 信号和 fake-score 信号两头定位问题：弱重加噪让 teacher 后验一直集中在「没动作」的 rollout 附近，而动作更强的 rollout 又带来更大的 fake-score 拟合误差，反过来拖住生成器学动力学。DyMD 给两个自适应机制——temporal affinity 条件下的重加噪采样，按每条 rollout 当前交互保真度混合基础时间步表与 teacher 先验；dynamics-guided fake-score tracking，用噪声条件预测器估计每条 rollout 的拟合难度并上调其 critic 权重。14B teacher 蒸成 4 步 1.3B 学生，推理时不加任何辅助模块。 Overview of DyMD. 实验效果：具身视频基准上，相对 Base DMD 把 R-Bench 任务遵循度提 9.6 个百分点、PAI-Bench-G 的 Domain 分提 5.1 分，视觉质量基本持平。作为下游动作规划骨干，在两个 WorldArena 任务上平均成功率 34%，Base DMD 为 16%。 Visual comparison of interaction dynamics between Base DMD and DyMD at four NFE. 批判点评：34% 对 16% 看着翻倍，但绝对值仍只有三分之一，而且只在两个任务上测；全文反复验证的其实是主表那两个更朴素的数（9.6 / 5.1）。另外整套收益建立在「先用 V-JEPA 类特征算 temporal affinity」之上，这个额外前向的开销并没有计进推理成本。 3. HetA-DiT：两成 token 走全注意力 Where Compute Matters: Heterogeneous Attention for Efficient Video Diffusion | 高通 AI 研究院；波恩大学 | arXiv:2609.31050 关键词：视频扩散, 稀疏注意力, 推理加速, token 路由, DMD 前序问题：视频扩散的自注意力在长时空 token 序列上是二次开销。现有高效注意力基本对所有 token 一视同仁，但去噪难度在不同视频区域、不同时间步上差异极大，均匀省算力必然在最难的地方翻车。 本文贡献：提出 HetA-DiT：一个轻量不确定度分支预测每个 token 的去噪难度，据此把不确定的 token 送进稠密全局注意力、把更可信的 token 交给便宜的局部注意力。路由同时随内容和时间步自适应，并保留全局上下文，还留了一个参数控制质量-效率权衡。关键工程点是推理时不新增 Transformer 前向——不确定度估计直接复用上一个去噪步的结果，也因此能和少步 DMD 蒸馏兼容。 HetA-DiT. Heterogeneous self-attention computation assigned to tokens with different denoising complexities. 实验效果：在 DMD 蒸馏后的 Wan2.2-5B 与 Wan2.1-1.3B 上评测，VBench、VBench-2.0 和人工偏好上质量与基线可比，但只有约 20% 的 token 走稠密注意力。 Qualitative comparison of HetA-DiT to baseline DMD. 批判点评：摘要只说「维持可比质量」，没给 VBench 总分的具体差值；而「约 20% 走稠密」是路由比例、不是端到端加速比，局部注意力在真实硬件上能兑现多少要看实现，论文里也没有 wall-clock 延迟表。此外不确定度复用上一步估计，意味着第一个去噪步的路由其实是盲的。 4. Routed Forcing：动力学+45%，嘴部不动 Where and When to Force: Routed Forcing for Streaming Avatars | 清华大学；京东未来学院；东南大学 | arXiv:2609.30963 关键词：流式数字人, 蒸馏, DMD, 多样性塌缩, 区域路由 前序问题：Self Forcing 用 DMD 把双向视频扩散模型蒸成因果、少步的流式生成器，但 DMD 最小化的是 reverse KL，本质是 mode-seeking：学生会丢掉高动态模态、塌到静止输出上，把生成视频的动态和多样性一起压扁。 本文贡献：先把这种塌缩量化成一张区域异质图：人物区域（姿态、手势）多样性损失最大，音频驱动的嘴部损失很小，背景几乎不变。据此提出两维路由——Where：人物区域改用 Data-Forcing Distillation（拿真实视频当监督），嘴部与背景保留 DMD 以保口型和场景稳定；When：高噪声阶段开 DFD 注入真实动态，低噪声阶段切回 DMD 修细节，避免真实视频与学生 rollout 的空间差异带来模糊与伪影。 Routed Forcing routes distillation by semantic region and noise stage. 实验效果：相对 Self Forcing，动态最高提升 45%，多样性提升 7–25%，视频质量与口型同步基本保持。 Qualitative comparison of different training strategies. 批判点评：45% 是「最高」值，7–25% 的多样性区间跨了不同指标，主表里并不是每项都赢。更重要的是整套方法依赖先用分割模型对学生 rollout 抽人物 mask、用面部关键点抽嘴部 mask，这些前处理在流式实时场景里的开销没有被计入收益。 5. RWTD：一步模型 GenEval 0.80 Aligning One-Step Generative Models with Reward-Weighted Transport Distillation | 字节跳动 Seed；加州大学伯克利分校 | arXiv:2609.30840 关键词：一步生成, 奖励对齐, 最优传输, 蒸馏, 后训练 前序问题：一步生成器推理便宜，但后训练极难：通用隐式生成器既没有可算的似然，也没有去噪轨迹可借，而 GenEval、HPSv2 这类奖励往往根本不可导，梯度类方法又容易把图改得过度风格化。 本文贡献：提出 Reward-Weighted Transport Distillation，只要采样和标量奖励分数。它没有直接对齐常规的 reward-tilted 参考分布，而是构造自适应目标：把「当前分布」与「参考分布」分别倾斜后再混合——当前项吸收训练中已发现的改进，参考项把目标锚回预训练生成器。实现上用特征空间最优传输加不动点回归完成对齐。理论分析表明其不动点分布在 off-policy 倾斜参考与 on-policy 倾斜当前模型之间插值，给出了「适应奖励」与「保留先验」的权衡解释。 SANA Sprint 1.6B comparisons. RWTD improves alignment on difficult position prompts. 实验效果：把一步模型 SANA Sprint 1.6B 的 GenEval 从 0.73 提到 0.80；单独的偏好对齐实验显示跨奖励泛化良好，HPSv2 后训练在涨分的同时基本保住了组合能力与真实感。 Effect of mixed reward tilting on GenEval and held-out PickScore / diversity. 批判点评：0.73→0.80 是 GenEval 单项，摘要没说明其他指标是否同步变好。论文自己指出梯度类基线 FAV、DRaFT 在 HPSv2 上出现明显风格化、属于奖励过优化，而 RWTD 只是「大体保留真实感」——这说明 RWTD 同样在往奖励方向偏，只是偏得慢。另外最优传输做在特征空间，编码器选谁会直接影响结论。 6. SAP-DMD：两步采样救回高频细节 Spectral Amplitude Purification in Distribution Matching for Diffusion Distillation | 浙江大学；加州大学伯克利分校 | arXiv:2609.29116 关键词：扩散蒸馏, DMD, 频域分析, 一步生成, 细节恢复 前序问题：DMD 能让扩散模型几步出图，但优化动态长期被低频信号主导：方向误差的幅度谱高度集中在低频，弱的中高频信号被压住，细结构和纹理迟迟回不来。 本文贡献：提出 SAP-DMD，一个即插即用模块：自适应地调制 DMD 方向场的幅度谱，压掉幅度谱的支配性长尾，削弱低频主导，让中高频结构更快恢复。改动只在方向场上做，不替换骨干、不加参数。 2-step performance evolution during training on SD3.5 Medium. 实验效果：在 PixArt-α、SD3、SD3.5 上，2 步与 4 步采样下都更快收敛、生成质量更好。 Qualitative comparison of 4-step (top) and 2-step (bottom) generation. 批判点评：摘要通篇是定性表述——「更快收敛」「质量更好」，没有给任何一个具体数字，FID/CLIP 的实际对比全在正文表里。所谓「即插即用」也只在这三个文生图模型上验过，视频与编辑类任务没测。另外压低频本身是经验操作，压到什么程度靠阈值超参，论文没有给出选参依据。 7. FuseReg：换解码器 gFID 降 27% FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders | 布朗大学；南加州大学；莱斯大学；阿伯丁大学；圣母大学；马里兰大学；宾夕法尼亚大学 | arXiv:2609.31620 关键词：表征自编码器, 层融合, 正则化, 图像生成, 重建生成鸿沟 前序问题：表征自编码器（RAE）直接把预训练视觉编码器的特征当重建与扩散潜变量用。但要选哪些编码器层组成这个共享潜空间是个两难：浅层保像素细节更好，深层生成指标更好。固定启发式的层融合把两个本该分开优化的目标硬绑在了一起。 本文贡献：提出 FuseReg：不挑层，改为在随机采样的编码器层子集上训练。理论分析给出机制解释——子集采样显式惩罚了对跨层不一致的敏感性。结果是同一个解码器可以不重训地同时处理完整、稀疏、单层三种融合方式。 Cosine-similarity maps of decoder intermediate-block features under different layer fusions. 实验效果：ImageNet-256 + DINOv3-L 上，单个 FuseReg 解码器在三种融合下的 PSNR 都高于为固定融合专门训的解码器；只换解码器、生成器完全不动，RAEv2 DiT-XL 的无引导 gFID 降 27%；生成与扩散两阶段一起正则化，DiT-Base 的 gFID 降 29%。 One FuseReg decoder supports both sparse and single-layer fusions. 批判点评：27% 和 29% 都是相对自身基线的相对降幅，不是 gFID 绝对值，也没跟非 RAE 路线（如 SD-VAE）的潜空间横向比。另外随机子集训练要求训练时多跑几种融合，成本靠「一次训练多处可用」摊平——这个账只在论文自己的设定下成立。 8. Timo：40K 动作片段六维评测 Timo: $\textbf{T}$aming Mult$\textbf{i}$modal Diffusion Transformer for Human $\textbf{Mo}$tion Generation | 逐际动力 | arXiv:2609.30761 关键词：人体动作生成, MMDiT, flow matching, 运动学监督, 评测基准 前序问题：现有人体动作生成大多用 cross-attention 注入文本语义，忽略了动作与文本 token 之间的双向建模。直接把视觉生成里好用的 MMDiT 搬过来也不行：关节运动时间上连贯、跨关节相关性却很弱，MMDiT 配 flow matching 直接上会产出不协调、抖动严重的动作。 本文贡献：提出 kinematics-aware 的 MMDiT 框架 Timo：用全共享的多模态注意力做文本-动作双向建模，配合 flow matching、几何与旋转运动学监督（直接比较真实旋转及其随时间的变化），以及从「广泛动作学习」到「细节字幕对齐」的两阶段课程。同时构建了 6 个公开数据集、40,025 条留出片段的基准，在同一评测器与评分协议下测六个互补维度。 Kinematics-aware multimodal generation with a shared 24-block stack. 实验效果：定量与定性均明显超过现有方法，在六个维度中的五个上超过 Kimodo，基准平均分相对提升 40.8%。并在 LimX Luna、LimX Oli 两台实体人形机器人上完成重定向与跟踪执行。 Qualitative comparison across models and prompts. 批判点评：40.8% 是「基准平均分」的相对提升，而这个基准的作者就是本论文自己：六个维度、统一评测器都是他们定的，被比较的四个系统是「重新评测而非引用原文数字」，训练数据与表示各不相同，文中也承认自家数据含内部采集。机器人演示只做到重定向跟踪，没有闭环控制指标。 9. HyperErase：超网络一次前向出 LoRA HyperErase: Scale-Calibrated Hypernetwork for Multi-Concept Erasure in Text-to-Image Models | 哈尔滨工业大学（深圳）；清华大学深圳国际研究生院；吉林大学；鹏城实验室；华南理工大学 | arXiv:2609.31154 关键词：概念擦除, 超网络, LoRA, 文生图, 模型安全 前序问题：概念擦除的主流做法是静态权重：训一个冻结的 adapter，遇到不同 prompt 变体就不好使，多概念叠加时还会发生参数互相干扰。 本文贡献：把概念擦除重构成「prompt 条件的参数摊销」：训一个超网络，把文本描述直接映射为该 prompt 专属的 LoRA 更新，不需要逐 prompt 做梯度优化，也免去手工合并 LoRA。为了让合成出的 adapter 稳且准，又提出 decoupled rectification——把 LoRA token 拆成 pattern 与 scale 两个子空间，对 scale 用平方根变换抑制乘性过缩放，并在推理时用教师给出的规范先验做校正。 Overview of HyperErase: hypernetwork-driven prompt-conditioned parameter synthesis. 实验效果：在主要概念类别上，擦除有效性、图像质量、语义对齐三者的权衡全面改善，性能接近「金标准」的单概念基线；一次前向就能为每个 prompt 变体产出专属 LoRA，推理期无需梯度更新。 Visual results of artist style erasure. 批判点评：摘要里「接近金标准单概念基线」是自我定位，实际是在 I2P / NudeNet 这类检测指标上逼近，而 FID、CLIP 的对比分散在不同概念类别的表里，没有一张表把三个维度同时摆在一起。另外超网络本身要先跑完 gold baseline 的擦除流程、收集 checkpoint-prompt 对，这个前置成本并没有被算进「免优化」的收益里。 10. TrafficImag：31K 样本的反事实路口 TrafficImag: A Benchmark for Counterfactual Roadside Traffic Video Generation | 德克萨斯大学奥斯汀分校；杜克大学 | arXiv:2609.30722 关键词：反事实生成, 路侧交通, 视频生成, 评测基准, 世界模型 前序问题：现成路侧交通数据集支持感知、预测和视觉问答，但不评「反事实视频生成」：改掉某一个交通参与者的行为之后，生成的未来既要符合道路拓扑，又不能扰动其余交通参与者。 本文贡献：TrafficImag 把大规模路侧数据（9,022 张标注图、7,043 段去重视频、31,145 条以参与者为中心的历史-未来样本）和一套可执行协议绑在一起，覆盖行为推理、干预感知的图像编辑、条件视频生成三类任务。每次干预都用「参与者级程序」来描述：目标参与者、意图行为、合法路线、交互顺序、时间约束，从而给异构基础模型提供统一评测接口。评测四个互补的有效性维度，端到端反事实只有四项全过才算成功。 Overview of the TrafficImag benchmark. 实验效果：在多个 SOTA 基础模型上，最强推理器的 macro F1 为 80.4%；完整条件接口把最好生成器的端到端成功率从 23.3% 拉到 55.0%。Oracle 研究显示条件视频执行仍是剩余的主要瓶颈。 Matched 8-second rollouts for a programmed left-turn counterfactual. 批判点评：55.0% 已经是最好的数，意味着接口给全后仍有近一半反事实做不成；而 20 个场景 × 3 次重复对百分比类指标来说置信区间很宽。论文自己也承认瓶颈在视频执行，也就是说这个基准当下更多是在给生成器记分，还没真正定位到路侧场景的语义难题。 趋势观察 少步蒸馏开始为「丢掉的东西」买单 今天十篇里有四篇在修蒸馏的副作用：DyMD 修的是机器人不再和物体交互，Routed Forcing 修的是数字人塌成静态，SAP-DMD 修的是低频把高频细节吃掉，RWTD 则换了个方向——先承认一步生成器的后训练很难做，再用最优传输把奖励塞进去。共同点是 NFE 已经不是瓶颈，蒸馏完之后「还剩什么」才是。 「对所有东西一视同仁」正在被放弃 HetA-DiT 只让约两成 token 走稠密注意力，Routed Forcing 按人物、嘴部、背景分区域换监督信号，FuseReg 干脆不挑层而是在随机层子集上训练。三篇方法毫不相干，但都在拒绝均匀处理——按 token、按区域、按层做差异化分配，成了这一批论文共享的默认动作。 人工智能炼丹君 整理 | 2026-09-29 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-28|阿里 397B 只改提示词就涨 50 分，WanPE 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与编辑 5 篇 · 音视频与语音生成 2 篇 · 图像与 3D 生成 2 篇 · 多模态理解与评测 1 篇 重点论文标题列表 WanPE（南大）：397B 分镜规划提示词 AV-GRPO（上海人工智能实验室）：音视频联合生成的模态解耦 RL ⚡ TRACK（NVIDIA）：免训练大小模型按步换班 ViRDM（美国东北大学）：砍掉教师与批评家做因果后训练 EditVoice（厦门大学）：变长非自回归零样本语音编辑 今日论文速览 1. WanPE：397B 分镜规划提示词 WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation | 南京大学；Wan 团队（阿里巴巴集团）；中国科学技术大学；复旦大学；清华大学 | arXiv:2609.30221 关键词：文生视频, 提示词增强, GRPO, 电影分镜, 评测基准 ⚠️ 前序问题：现代视频生成器已能生成 30 秒、并忠实遵循复杂条件，文本提示几乎直接决定多镜头序列里动作、机位轨迹、光效和声音如何展开。但现有的提示增强大多还停留在「可选扩写」层面，面对导演级的镜头级规划（分镜如何组织、跨镜头语义如何不漂）能力明显不足。 本文贡献：提出 WanPE——397B 参数的提示增强模型，在 105 万条真实视频上训练。核心有两块：一是 video-grounded 逆向构建（reverse SFT），从真实视频反推出镜头级电影分镜规划，让模型学到的是「怎么组织分镜」而不是「怎么把句子写长」；二是 Semantic-Consistency GRPO（SC-GRPO），用语义一致性奖励把用户意图在跨镜头、跨时间维度上保住。配套还建了 WanPEval：249 条人工标注请求，覆盖 5–30 秒时长与不同意图粒度，约 1.1 万次盲评 pairwise 比较。 WanPE training pipeline. Video-grounded reverse SFT and semantic-consistency GRPO. 实验效果：驱动 Wan3.0 生成器时，相对原始用户提示，5–15 秒人类偏好提升 10.66–18.84 分，30 秒竞技场提升 50.86 分。5–15 秒子集上专家偏好 S / Bradley–Terry 分数为 50.61 / 61.85，超过 Seedance 2.0（43.42 / 54.70）、MiniMax-H3（36.40 / 49.27）、Kling 3.0（20.80 / 37.40）与 HappyHorse 1.1（24.89 / 40.46）。消融显示逆向构建明显优于正向改写，SC-GRPO 在各模型规模上都能稳住语义保真。 Fine-grained expert evaluation on the 5-15 seconds subset of WanPEval. Left: Preference scores across generation durations and request-granularity levels. Right: Preference scores S across seven content categories. 批判点评：397B 这个体量本身就是最大的成本项，而表里的规模曲线并不支持它：4B 是 43.60 / 56.21，9B 是 46.00 / 58.01，397B 才 50.61 / 61.85——为了最后 5 分，参数量涨了两个数量级。更值得注意的是 30 秒子集：+WanPE-397B 的 Overall 60.24 只是险胜 Seedance 2.5 的 59.76，而且拆开看，动作类 50.00 被 Seedance 2.5 的 68.18 甩开一大截，知识类、演讲类也不占优。换句话说，WanPE 真正补齐的是「镜头语言」，动作生成本身的短板它一个字都没碰。 2. AV-GRPO：音视频联合生成的模态解耦 RL AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation | 上海人工智能实验室；香港理工大学；新加坡国立大学；南洋理工大学；浙江大学 | arXiv:2609.29816 关键词：音视频联合生成, 强化学习后训练, GRPO, 跨模态同步, 扩散模型 ⚠️ 前序问题：音视频联合生成里，异质多模态奖励互相纠缠导致信用分配困难，两个模态塔动力学差异大、联合优化极贵，而同步性评测又依赖成对样本、奖励没法公平比较——直接把 RL 后训练搬过来几乎处处碰壁。 本文贡献：提出 AV-GRPO 这一模态锚定的在线扩散 RL 框架，三个模块：模态锚定 rollout 解耦学习信号并稳定难度；轨迹锁定的冻结塔优化降低成本、重新分配信用；针对模态各自动力学的自适应目标与扰动强度。由此把耦合的多模态偏好学习拆成单模态子问题，实现精确奖励归因。同时构建了 5DAV 数据集，在五个维度上解耦样本、难度可控。基于 LTX-2.3 22B，8 卡 A800 上跑 LoRA 与全参两档。 Overview of the AV-GRPO training pipeline. 实验效果：JavisBench 上 AV-IB 从 0.224 提到 0.247，JavisScore 0.202 → 0.222，DeSync 0.708 → 0.607；VABench 上 Lip Sync 1.439 → 1.646、DeSync 0.726 → 0.542。在生成质量、语义对齐与跨模态同步三项上均超过 LTX-2.3，LoRA 与全参微调两档都成立。 Left: Radar chart comparing performance on the 5DAV and VGGSound datasets. Middle: Metrics are reported as relative percentage changes with respect to the baseline. Right: Comparison of model performance with different alternating step intervals. 批判点评：表里藏着一个不太好看的反差：LTX-2.3+AV-GRPO(lora) 在 Alignment（4.512 对 4.510）、Expressiveness（4.450 对 4.434）、Visual Realism（4.402 对 4.395）三项主观指标上，全都高于全参版。花了全参训练的成本，主观质量却没赢过 LoRA，说明这套「冻结塔 + 分塔信用分配」的收益主要落在同步类客观指标上，主观提升更接近采样噪声。而且这三项差距都在小数点后第三位，论文也没给方差或多次运行，显著性无从判断。 3. TRACK：免训练大小模型按步换班 Accelerating Video Diffusion via Training-Free Trajectory Routing | NVIDIA | arXiv:2609.30096 关键词：视频扩散加速, 免训练, 模型路由, 步级调度, 能耗优化 ⚠️ 前序问题：视频扩散推理昂贵：要把大模型跑很多个去噪步。即便做了步数蒸馏，剩下每一个蒸馏步依然要付一次完整的大模型前向，推理成本还是下不来。 本文贡献：TRACK（TRajectory-Aware Capacity routing via top-K selection）是一种异构去噪策略：离线校准阶段先跑一遍全大模型的参考轨迹，每一步同时收集小模型的预测，与大模型预测比较得到相对分歧分数（两边共享同一 latent、timestep、条件与 guidance），再把该信号跨校准集聚合成分步分歧分数图，据此决定切换策略——质量敏感步留给大模型（如 Wan 2.1 14B），低分歧步路由给小模型（1.3B）。推理时每步只执行被选中的那一个模型，不重训练、不改架构与调度器、也不需要在线双模型评估。 Training-Free Trajectory-Aware Capacity routing. Top: Offline calibration rolls out the all-large-model reference trajectory and, at every step, evaluates the large and small checkpoints using the same latent, timestep, conditioning, and guidance inputs. Bottom: Online inference applies that policy while preserving the shared latent representation and scheduler update. 实验效果：在 Wan 2.1、Cosmos 3、TurboDiffusion、FastVideo 四条管线上分别取得 1.95×、2.04×–2.73×、2.69×、2.17× 加速，聚合质量相当、DreamSim 多样性保留 >95%。在 A100 上用 NVML 实测，去噪能耗降低约 45%–60%：Wan 2.1 每视频省 194.57 kJ，折合每千条视频省 54.05 kWh（降 49.3%）；Cosmos 3（Super/Edge）能耗降近 60%。 Speed--quality tradeoffs across video pipelines. Each panel compares the all-large model (baseline) and TRACK (ours) switching policy. All models retain comparable aggregate quality at the selected operating points in most quality dimensions. 批判点评：「质量相当」这个结论要挑一下口径：它取的是 VBench 的时间闪烁、运动平滑、主体一致性、背景一致性四个维度的均值——恰好是「换小模型不太容易崩」的那四个。真正的代价作者写在 Limitations 里：部署时必须同时驻留大小两个模型，显存占用反而高于单模型管线。另外对已经把步数压到 3–4 步的蒸馏管线（FastVideo 只有 2.17×），可换的步数本就只剩个位数，收益上限天然受限。 4. ViRDM：砍掉教师与批评家做因果后训练 ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation | 美国东北大学；Adobe Research | arXiv:2609.28923 关键词：因果视频生成, 分布匹配, 后训练, 显存优化, VBench ⚠️ 前序问题：少步自回归视频扩散能实现低延迟流式生成，但现有后训练方法几乎都依赖 DMD：需要一个庞大的预训练教师和一个在线 critic，靠 diffusion score 估计分布差异。三套网络同时在线，资源开销成了主要门槛。 本文贡献：ViRDM 把教师与 critic 整个去掉，只让生成器对齐一份离线预计算的目标表征分布。三个障碍逐个击破：用一致性式采样 + 随机截断 clean-exit 监督（S 从 U{1..K} 采样，选中的那次评估才吃梯度）把梯度路径变得可行；用轻量 VAE 解码器压显存；用分阶段 vector–Jacobian product 拆解反传。此外还给出了视频 RDM 的生成种群规模与初始化策略（因果 ODE 初始化最优），并加了 flow 动力学正则来补表征分布对时间变化约束不足的问题。 Consistency-style sampling with stochastic exits for few-step video RDM. 实验效果：同样 8 卡 A100 的设置下，峰值显存从 77.1 GB/卡降到 48.3 GB/卡，后训练时间从 22 小时压到 2 小时，VBench Total 从 84.51 提到 84.87。只需 20 次生成器更新、16 A100 GPU-小时，比此前最佳少步因果基线高 0.36 分。用户研究中文本-视频对齐 40.4%、视觉质量 43.0% 均为四步因果方法里最高（Self Forcing 两项均为 32.6%）。 Replacing the resource-intensive teacher-critic stack with direct representation distribution matching for few-step causal video post-training. In the same 8-A100 parallelized training setting, this reduces peak memory from 77.1 to 48.3 GB per GPU and post-training time from 22 to 2 hours, while improving the VBench Total from 84.51 to 84.87. 批判点评：84.87 对 84.51 只涨了 0.36 分，而论文自己的消融表把原因说得很直白：要把 Dynamic Degree 维度单独剔掉再比，ViRDM 才更好看——说明动力学恰恰是 RDM 的软肋（表征分布对时间演化约束不足），得额外加 flow 正则才勉强补回来，等于承认「省掉教师 critic」的代价是引入了新的手工正则。另外 84.87 是在 Wan2.1-1.3B 这个 1.3B 小骨架上拿的，跟动辄 14B 的双向模型不在一个量级，跨量级横向对比要打折扣。 5. EditVoice：变长非自回归零样本语音编辑 EditVoice: Variable-Length Non-Autoregressive Zero-Shot TTS and Speech Editing with Edit Flows | 厦门大学 | arXiv:2609.29889 关键词：零样本 TTS, 语音编辑, 非自回归生成, Edit Flows, 变长序列建模 ⚠️ 前序问题：现有非自回归零样本 TTS 虽然能并行生成，但几乎都要在生成前先指定目标序列长度——长度得靠另一个模块预估，一旦估错就直接影响韵律与内容。 本文贡献：EditVoice 是首个变长 NAR 零样本 TTS：用 Edit Flows 通过插入、删除、替换三类编辑操作同时更新语音内容和序列长度。训练上采用 speech-infilling，把零样本 TTS 与文本驱动语音编辑统一到同一目标下，推理时前缀提示和后缀提示两种摆位都能用；提出 Complementary Prompt Sampling（CPS），按每类操作取两种摆位里速率更大的那个，利用互补的 Edit Flow 预测。还发现模型能编辑训练来源之外的语音（包括它自己生成的），据此做端到端编辑与免训练的后生成精炼。 Overview of the EditVoice zero-shot TTS inference pipeline. Stage one generates semantic speech tokens using CPS, and stage two applies post-generation refinement to the generated sequence before speech detokenization. 实验效果：在 10K 小时 GigaSpeech 上训练 Edit Flow 模型，在 Seed-TTS Eval EN、LibriSpeech-PC 上零样本 TTS 表现具竞争力，在 RealEdit 上语音编辑表现具竞争力。后生成精炼把 WER 从 2.66% 降到 1.55%，且 8 步生成 + 2 步精炼已经超过不做精炼的 16 步生成。 Post-generation refinement on Seed-TTS Eval EN. Starting from the same 8-step CPS output, WER and edits to generated tokens are measured over 8 refinement steps. The dashed line denotes 16-step CPS generation without refinement. 批判点评：全文只有 5 页 3 张图，实验规模偏薄：10K 小时训练的对比对象里有 CosyVoice 2 这类数据量级高一个档的系统，「competitive」具体竞争到什么程度得回表里逐项看。后精炼这个卖点本质是拿推理时算力换质量——8+2 步打败 16 步听起来漂亮，但总步数只少了 6 步，换成真实延迟并不划算。另外「能编辑非训练来源的语音」是意外发现而不是设计，作者没给系统的泛化边界评估，这条能力在多说话人、跨语种上会不会退化是未知数。 6. OREO：用 2D 编辑反馈对齐 3D 保真 OREO: Fidelity Alignment in 3D Generation via On-the-fly Rendering-Editing Optimization | 香港理工大学；腾讯 ARC Lab | arXiv:2609.29788 关键词：3D 生成, 保真对齐, 2D 扩散先验, 强化编辑, ECCV 2026 ⚠️ 前序问题：3D 生成模型进步很快，但产出的资产视觉保真度往往不够——几何、布局对得上，质感与细节就是差一口气，和 2D 扩散模型能达到的写实程度有明显落差。 本文贡献：OREO 是一个对齐框架，核心是不依赖静态数据集，而是建立动态优化闭环：把 3D 输出渲染出的视图交给 2D 模型做 Reinforced Editing，在保持几何、视角和内容不变的前提下提升视觉保真；这些被实时编辑过的渲染图反过来作为高质量 2D 伪目标，监督 3D 生成器从自己的样本里学习、逐步提升画质。 Overview of OREO. 实验效果：以 Trellis 为底座，对参考图 $x^{ref}$ 的 CLIP / DINO 相似度在 Conceptual Design 上从 0.7613 / 0.7916 提到 0.7834 / 0.8065，在 GSO 上从 0.7722 / 0.7022 提到 0.7764 / 0.7069；对比 Photo3D（0.7380 / 0.7837、0.7512 / 0.7034）同样领先。论文已被 ECCV 2026 接收。 Qualitative comparison of 2D feedback sources (Reinforced Editing / NanoBanana Pro / Qwen-Image-Edit). 批判点评：消融表里最刺眼的一行：去掉 Source Branch 后 ΔCLIP / ΔDINO 从 +0.0379 / +0.0298 直接翻成 −0.0523 / −0.0497——比不做对齐还差。整套方法对「保留源分支」这一条设计极其敏感，稳健性存疑。变体对比里把分布匹配换成 DMD，分数掉到 0.5393 / 0.5486，说明这条路和当前主流的 3D 蒸馏范式并不兼容。另外绝对增益全部停在小数点后第二位，而「视觉保真」这件事到头来还是用 CLIP / DINO 相似度做 proxy，离人眼判断有多远没人说得清。 7. ComplexSync：复杂场景 70FPS 实时唇形同步 ComplexSync: High-Fidelity and Real-Time Lip Sync in Complex Scenarios | 广州趣丸网络科技 | arXiv:2609.29225 关键词：唇形同步, 扩散蒸馏, 实时推理, 视觉基础模型, 基准评测 ⚠️ 前序问题：唇形同步要让口型动态与语音精确对齐。扩散模型生成质量高，但在遮挡、侧脸、复杂光照等复杂场景下容易失稳，而且推理延迟高到没法实际部署。 本文贡献：ComplexSync 是一套统一的扩散框架，三块设计：一是双流联合训练策略，抑制参考帧的信息泄漏同时保留自然动态；二是基于蒸馏的单步去噪加速方案，做到 70+ FPS 吞吐；三是关系对齐损失，借助视觉基础模型（VFM）的结构先验提升复杂场景因素下的同步精度与鲁棒性。此外还给出首个专门面向复杂唇形同步的 benchmark，含 200+ 条挑战视频序列与专门指标。 Overview of ComplexSync. (a) Dual-stream joint training strategy designed to suppress spatial information leakage and ensure high-fidelity synthesis. (b) Distillation-based acceleration scheme that facilitates single-step denoising for real-time inference. (c) Relational alignment loss leveraging VFMs to enhance synchronization precision and robustness under unconstrained conditions. 实验效果：在标准场景与复杂场景上均达到 SOTA，同时支持实时推理，吞吐超过 70 FPS。训练分三阶段：第一阶段 8 卡 A100 训 200K 步，第二阶段 4 卡 A100 训 50K 步，第三阶段再训 10K 步，分辨率 512×512。 Qualitative comparison with existing methods. Given that static images cannot fully capture critical temporal attributes such as synchronization, naturalness, and stability, we provide comprehensive video comparisons in the supplementary materials. 批判点评：三阶段累计 260K 步、起步就是 8 张 A100，这个训练预算对一家业务公司来说更像工程投入而非可复现的研究。全文只在 512×512 分辨率验证，而真实配音、数字人场景常见的是 1080p 以上——放大后的口型稳定性没有数据。定性对比仍然用静态帧，同步、自然度、稳定性这些纯时间属性都推给了补充视频，而这恰是唇形同步最容易「单帧好看、连起来崩」的地方。 8. AdaPilot：一套策略零样本迁移各生成器 AdaPilot: Towards Scene-Adaptive Policy Learning for Cross-Generator Text-to-Image Quality Optimization | 南洋理工大学；同花顺研究院 | arXiv:2609.29517 关键词：文生图, 强化学习, 跨生成器迁移, 多轮视觉反馈, 奖励设计 ⚠️ 前序问题：提升文生图质量的路线已经从生成器微调、提示优化走到了带多轮视觉反馈的强化学习，但现有策略都与特定生成器、特定任务深度耦合，学到的能力很难泛化成一套通用的质量优化策略——换个生成器就得重训。 本文贡献：AdaPilot 把多轮图像生成建模成马尔可夫决策过程，用端到端 RL 学一个场景自适应、可跨生成器迁移的质量优化策略。三点关键：策略与生成器内部解耦（只通过 prompt 和编码后的视觉观测交互，不碰梯度与内部状态），因此能跨生成器复用；场景感知奖励（AdaReward）把质量评估维度与任务语义自适应对齐；过程级奖励建模图像质量在多轮里的演化轨迹。实现上用 Qwen2.5-VL-7B-Instruct 作 agent，Qwen-Image-2512 作冻结生成器。 An illustration of the proposed AdaPilot. 实验效果：在 7 个指标（CLIP-T、HPS、GDino、Aesthetic、OCR 用于奖励，Realism、Physics 为留出维度）上超过 Flow-GRPO、T2I-R1、T2I-Copilot 等基线。跨生成器评测中，单一策略零样本迁移到未见过生成器（Qwen-Image、GPT-Image-1、Gemini-3-pro-Image-Preview 等）时，在所有被评生成器上仍保持正平均增益，OOD 数据集上每个维度都领先。 Averages over applicable evaluation metrics for four unseen image generators on four out-of-distribution datasets and overall, comparing results with and without AdaPilot to evaluate zero-shot cross-generator transfer. 批判点评：论文自己给的失败案例很说明问题：一张要求对比八位利物浦前锋的密集信息图，多轮迭代确实把版面理清了，但文字仍基本不可读、球员身份与属性不一致、图表数值不可验证，agent 明知有残缺陷还是终止了。这暴露了「策略只改 prompt」的天花板——当缺陷出在生成器自身的文字渲染与数值编码能力时，再聪明的提示改写也救不回来。另外训练时要同时部署 CLIP ViT-L/14、HPS v2.1、Grounding DINO、GLM-OCR 和 Qwen2.5-VL-72B 五个评估器算奖励，这套推理栈的成本并没有被算进收益里。 9. ZoomDiff：双摄平滑变焦的高保真插值 ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming | 哈尔滨工业大学；淘宝（阿里巴巴集团） | arXiv:2609.28083 关键词：双摄变焦, 帧插值, 扩散模型, 高频重建, 时间一致性 ⚠️ 前序问题：双摄像头之间的数字变焦切换，几何结构和色彩一致性上会出现肉眼可见的跳变。现有双摄平滑变焦（DCSZ）方法多在帧插值模型上微调，扛不住大视差与复杂几何变换；直接套扩散式帧插值模型，又因为条件引导不足、VAE 编码丢高频、时间一致性不够，保真度还是上不去。 本文贡献：ZoomDiff 在潜空间与像素空间同时吃透双摄输入：一是多步去噪过程中强化双图条件引导，提升几何一致性；二是把 VAE 编码器的 flow 对齐多尺度特征注回解码器（ref injector），把 VAE 编码时丢掉的高频细节补回来；三是引入 flow 引导的时间一致性监督（$\mathcal{L}_{ftc}$）让转场更顺。并给出把步数从 25 压到 8 / 4 的适配方案。 The dual-camera images ($\mathbf{X}_0$ and $\mathbf{X}_F$) are fed into the VAE encoder and the semantic encoder. 实验效果：合成与真实数据集上全面领先：PSNR 23.80、SSIM 0.761、LPIPS 0.253、PSNR-div 23.01、FVD 131.332，真实集 MUSIQ 73.634、LIQE 4.874、DBCNN 0.692、DOVER 0.665，均为最优。步数压缩上，25 步 45.89s（FLOPs 743T）可压到 8 步 21.28s（2.16×）与 4 步 15.71s（2.92×）。 Visual comparisons on the synthetic dataset and the real-world dataset. Our method still produces more consistent results. 批判点评：两个反差值得记。其一，扩散类基线整体拉胯：Wan2.1 只有 17.71 PSNR、TRF 14.15、Framer 的 DOVER 只有 0.335，全都输给光流法（UPRNet 22.58、RIFE LPIPS 0.261）——说明「生成式先验」在这个任务上并非天然优势，ZoomDiff 的赢面来自双图条件引导与高频注入这两个工程补丁，而非换 backbone。其二，步数压缩后质量反而上升：8 步版 PSNR 24.08 高于 25 步版的 23.80，而去掉步数适配的 8 步版只有 22.32。也就是说 25 步其实是过采样，指标对步数并不单调，任何「步数越少越差」的外推在这里都不成立。 10. ODU-Bench：14 个全模态模型的需求理解评测 Omni Demand Understanding: A Benchmark for Contextual User-Intent Inference in Multimodal Interaction | 上海交通大学；上海创智学院；阿里巴巴；香港中文大学；清华大学；香港理工大学；南开大学；约翰斯·霍普金斯大学 | arXiv:2609.21392 关键词：多模态交互, 需求理解, 评测基准, 误触发, MLLM ⚠️ 前序问题：音视频自然交互正成为 AI 助手的重要入口，但现有交互能力基准主要评「回复质量」，漏掉了更基础的一问：模型能不能从复杂的多模态交互里正确推断用户的真实需求？现实中的需求在口语里往往是欠规格的，得靠视觉线索、声学线索和对话历史补；含糊表达、噪声环境进一步加剧难度。反过来，听起来像请求的 utterance 也可能根本不是给助手的需求，导致误触发。 本文贡献：把 Omni Demand Understanding（ODU）定义成一个独立的多模态上下文推断问题：给定交互流，模型必须判断是否存在需求，并从多模态与对话上下文推断意图，评测覆盖五个维度（M1 需求存在性、M2 关键点命中率、M3 时间跨度 IoU、M4 转录、M5 用户画像），同时覆盖单轮与多轮。ODU-Bench 用挑战驱动的 taxonomy、taxonomy 引导的 agentic 视频生成加真人录制交互来构建，标注从互补媒体证据重建并经人工校验。 Overview of the ODU-Bench construction pipeline. Challenge-driven targets are expanded into coarse-to-fine scripts, screened for plausibility and challenge validity, and realized as synthesized or human-recorded interactions. 实验效果：评测 14 个原生 MLLM：最强者 Gemini 3.1 Pro 也只能恢复 44.7% 必须从视觉、声学或对话上下文推断的关键信息；14 个模型里有 11 个在非需求场景上的误触发率（FTR）超过 50%。 Qualitative error analysis on English generated audio-visual scenes. (a)--(b) Demand-present cases; M2 reports covered/reference key points. (c)--(d) No-demand cases. 批判点评：44.7% 和「11/14 误触发率 >50%」这两个数字，真正打脸的是当前「先响应、后理解」的范式——模型宁可硬猜一个需求，也不愿意说「这不是需求」。可惜基准本身大量依赖 agentic 生成的交互与 LLM judge，虽然论文做了 judge 稳定性检验和真人录制对照（Δ = Rec − Syn），合成数据与真人数据之间的分布差仍是这套结论最大的外推风险：如果 agentic 生成场景的「挑战性」分布和真实用户偏得比较多，44.7% 这个数就未必能平移到线上。 趋势观察 生成的瓶颈正在往「输入端」和「调度端」挪 今天这十篇里有三篇在动生成流程的两端而不是中间：WanPE 用 397B 模型重写提示词，把导演级分镜规划搬到文本空间完成；TRACK 不改模型、不重训练，只决定每一步该派大模型还是小模型上场；AdaPilot 则干脆只通过 prompt 和视觉观测跟生成器打交道。共同点是：底座模型被当成黑箱，可优化的空间被挪到了它前面和外面——这对没算力训底座的团队是好事，对卖底座的团队不是。 「砍掉教师与 critic」成为后训练的新共识 ViRDM 把 DMD 的教师+critic+生成器三件套砍成只训生成器，8 卡 A100 下显存 77.1→48.3 GB、时间 22h→2h，VBench 还涨了 0.36；OREO 同样放弃静态数据与蒸馏范式，改用 2D 编辑实时产出伪目标做自我监督；AV-GRPO 冻结一塔训另一塔来降低 RL 成本。三条独立工作指向同一判断：昂贵的在线监督预算正在被更便宜的离线/自产目标替换，代价往往是引入新的手工正则（ViRDM 的 flow 正则就是这么来的）。 评测基准开始盯「理解」而不是「生成」 ODU-Bench 评测 14 个原生 MLLM 后发现，最强的 Gemini 3.1 Pro 也只能恢复 44.7% 必须靠上下文推断的关键信息，而且 11/14 的模型在非需求场景上误触发率超过 50%。这个数字比任何生成质量榜单都更能说明当前语音/视觉助手的实际状态：问题不在答得好不好，而在该不该答都还没判断对。ComplexSync 也顺手补了首个复杂场景唇形同步 benchmark，200+ 条挑战序列把遮挡、侧脸这些长期被平均掉的case单独拎出来。 人工智能炼丹君 整理 | 2026-09-28 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-25|快手开源修图登顶，GEdit仍输GPT 今日 AIGC 论文速览 今日共 10 篇 · 图像编辑与生成安全 2 篇 · 统一预训练与视频运动 2 篇 · 多模态联合生成 2 篇 · 音频生成与后训练 2 篇 · 推理加速与视频评测 2 篇 重点论文标题列表 KwaiMind（快手）：180万对数据炼电商修图 UVU（清华大学）：视觉监督前移，RefCOCO涨7.7 ⚡ Unite-Audio（东京科学大学）：117M音频生成，CLAP登顶 MotionSpec（卡迪夫大学）：频谱轨迹约束视频运动 RecCAR（巴伊兰大学）：反向注意力补齐，音画更同步 今日论文速览 1. KwaiMind：180万对数据炼电商修图 KwaiMind Technical Report | 快手 | arXiv:2609.26375 关键词：图像编辑,电商,CTR奖励,Ecom-Bench,在线强化学习 ⚠️ 前序问题：电商修图不是通用编辑：商品主体要一模一样、促销文字要渲染准确、图还得有点击欲。通用编辑模型在这三件事上都没专门优化，而电商数据的采集清洗又贵又杂，缺一套能稳定产出高质量配对数据的流水线。 本文贡献：快手发布 KwaiMind：多模态 DiT 底座，Agent 数据引擎维护约 180 万高质量编辑对；继续预训练加 SFT 后走偏好优化与在线 RL，用 VLM 通用裁判加 CTR、文字渲染、商品一致性三类专用奖励训练专精策略，再经 on-policy 蒸馏合并成单一模型；配套发布覆盖 11 类商业编辑任务的 Ecom-Bench。 Overview of the end-to-end data pipeline. Coordinator Agent routes samples through filtering, generation, captioning, and post-filtering with bounded feedback loops and human review. 实验效果：开源编辑器里综合最强：ImgEdit 4.15、GEdit 5.79、REDEdit 英/中 3.75/3.73，Ecom-Bench 视觉质量第一；CTR 引导优化把生成图预测 CTR 超过原图的比例从 12.16% 提到 37.41%，线上 A/B 实际 CTR 相对提升约 2.44%。 Overall comparison on general image editing benchmarks: ImgEdit, GEdit, and the English and Chinese splits of REDEdit. Hatched bars denote closed-source models. 批判点评：最强的限定词是开源：图上闭源模型全面更高——ImgEdit 被 Seedream 4.0 的 4.27 和 GPT-Image-2 的 4.20 压着，GEdit 上 Nano Banana 2 拿 7.02、GPT-Image-2 拿 7.10，比 KwaiMind 的 5.79 高出一大截，REDEdit 两个语种同样如此。真正立住的卖点其实是 CTR 这条商业指标，而不是编辑质量本身。 2. UVU：视觉监督前移，RefCOCO涨7.7 UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm | 清华大学；腾讯优图实验室；南京大学；格拉斯哥大学 | arXiv:2609.27915 关键词：统一自回归,像素级codebook,连续视觉编码,视觉监督,预训练 ⚠️ 前序问题：多模态大模型的细粒度视觉理解长期靠稀疏文本监督撑着，已有的视觉监督大多加在后训练阶段，那时视觉表征已基本定型，监督信号只能当辅助约束。要重塑感知骨干，得把视觉监督搬进预训练。 本文贡献：提出 UVU 视觉语言统一自回归范式：不用向量量化，SigLIP-2 连续视觉特征直接进 LM 解码器做下一 token 预测；设计大规模迭代层次聚类算法构建 20 万词表的像素级视觉 codebook，让图像 patch 与文本 token 在预训练期共享统一监督，模型由此内化视觉重建能力。 Overview of the UVU vision-language unified autoregressive framework. Continuous visual features from SigLIP-2 are projected and integrated with textual embeddings for autoregressive next-token prediction in an LM decoder, generating pixel-level image tokens. 实验效果：同为 3B/Qwen2.5 底座，RefCOCO 从 84.1 涨到 91.8、LISA 57.4→71.7、CVBench-3D 71.9→76.6、BLINK 46.9→52.8；相对去掉视觉监督的自版 UVU*，RefCOCO +6.2、LISA +12.1。注意力热图显示 UVU 更聚焦目标区域。 Comparison of visual attention heatmaps under three paradigms: from left to right, without visual supervision, AR + VQ, and UVU (Ours). 批判点评：对手没输干净：SEEDB 74.1 仍低于 LLaVA-OV 的 75.4，MMStar 55.0 输给 56.7，ScienceQA 91.3 远低于 GLM-4v 的 96.7；MME 2201.9 对 LLaVA-OV 2146.3 的领先也只有 2.6%。统一目前只覆盖理解侧，生成侧数据还没进训练，作者自己也在文中承认。 3. Unite-Audio：117M音频生成，CLAP登顶 UNITE-AUDIO: Joint Learning of Continuous Tokenization and Latent Flow Matching for Text-to-Audio Generation | 东京科学大学；清华大学；武汉大学；东京大学；蚂蚁集团 | arXiv:2609.28206 关键词：文本生成音频,联合训练,flow matching,Flow-GRPO,连续表征 ⚠️ 前序问题：文本生成音频的主流做法是两阶段：先训重建导向的音频 tokenizer 再冻结，然后在固定隐空间训生成模型。但为重建优化的表征未必适合生成，生成目标无法反过来塑造隐空间。 本文贡献：首个把连续音频表征学习和隐空间 flow matching 联合训练的 TTA 系统：掩码波形过在线编码器，EMA 编码器提供停止梯度的目标特征，重建与自监督生成预测耦合，让生成目标直接塑造隐空间；再用 Flow-GRPO 后训练强化文本条件对齐。 Overview of the proposed framework: (a) the reconstruction path and (b) the generation path. Blue denotes regions with gradient propagation, while gray denotes regions without gradient propagation. 实验效果：117M 隐空间生成模型（不含编解码器）在 AudioCaps-886 上 CLAP 0.534 全表最高（EzAudio 0.496、TangoFlux-RL 0.480），KL 1.057 最低，RTF 0.062；NFE 压到 4 时 RTF 仅 0.009 仍保 CLAP 0.512。 Comparison between conventional separate tokenizer-generator training and our joint single-stage training. 批判点评：分布指标难看：FD_OpenL3 84.76 是 EzAudio 38.26 的两倍多，FD_16k 43.25 也落后 GenAU 的 31.94，IS 11.34 不及 TangoFlux-RL 的 12.20——语义对齐赢了，音频分布保真还差得远；首个联合训练的含金量取决于你更看重 CLAP 还是 FD。 4. MotionSpec：频谱轨迹约束视频运动 MotionSpec: Spectral Trajectory Supervision for Motion-Consistent Video Generation | 卡迪夫大学；中国科大；华东师范大学 | arXiv:2609.28095 关键词：视频生成,运动一致性,傅里叶谱,光流,微调目标 ⚠️ 前序问题：文生视频单帧越来越真，运动却常失真：动作推进不一致、复杂动作下结构崩坏。标准生成目标对运动本身几乎没有专门约束，运动演化处于欠约束状态。 本文贡献：提出 MotionSpec 运动监督：谱轨迹一致性 STC 构造锚点相对的稠密运动轨迹，经时间傅里叶变换成运动谱体积，对齐幅度与相位同时约束运动强度和时序组织；辅以局部光流一致性 LFC 稳定相邻帧过渡，两者随时间步加权加进微调目标。 Overview of the pipeline. At each training step, the video generative model takes the prompt, timestep, noise level, and real data as inputs. 实验效果：在 Wan2.1 上微调，VMBench 均分 61.57→65.07，其中物体完整性 OIS 48.34→56.53、时序一致性 TCS 97.09→98.82；VideoJAM-Bench 运动分 85.3→93.61。定性对比里 Wan2.1 的骑车段后半程自行车几乎消失，MotionSpec 保留完整。 Qualitative Results. On the left are the results of Wan2.1, and on the right are the results of ours. 批判点评：外观分几乎没动：App 仅 81.95→82.20（+0.25）；PAS 上单独用 LFC（24.27）反而高于完整版（23.74），说明两个目标存在拉扯。评测全部在 Wan2.1 一个底座上做，换模型的泛化性未知。 5. RecCAR：反向注意力补齐，音画更同步 All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation | 巴伊兰大学；NVIDIA | arXiv:2609.27901 关键词：联合视频生成,跨模态注意力,KL正则,音画同步,人体解剖 ⚠️ 前序问题：联合视频-动作/视频-音频生成的扩散 Transformer 里存在不对称：伴随模态到视频的对应很强，但反过来约束视频生成的对应路始终弱——视频听动作指令的能力远弱于动作看视频的能力，人体解剖崩坏、音画不同步由此而来。 本文贡献：把两个方向的跨模态对应表示成视频 token 上的分布，定义反向对应差距；提出 RecCAR，KL 正则把弱方向对齐到以视频到模态对应为固定参考的强方向，即插即用地微调 EchoMotion 这类联合生成模型。 Illustration of asymmetric reciprocal cross-modal correspondence. For a motion token corresponding to the head, the VM correspondence correctly localizes the head region in the video, while the reciprocal MV correspondence is dispersed. 实验效果：视频-动作联合生成 Human Anatomy 0.69→0.75，VMBench 多数指标超 EchoMotion、CoMoVi、FlowMo；视频-音频生成音画失同步从 0.804 降到 0.752。散点图上每个 prompt 的反向差距在微调后一致下降。 Qualitative comparison of RecCAR against EchoMotion, CoMoVi, and FlowMo across three representative scenes. 批判点评：增益以自家基线为参照：0.75 的解剖分意味着仍有约四分之一样本不达标，音频侧 0.752 的失同步也谈不上小；teaser 里对比的 LTX-2 只做了定性展示，未给出与闭源模型在同一协议下的量化差距。 6. GestureFAR：9.3毫秒每token的流式手势 GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression | 罗切斯特大学；东京大学；加州大学圣克鲁兹分校；加州大学洛杉矶分校；Meta | arXiv:2609.21576 关键词：手势生成,流式,flow自回归,蒸馏,实时交互 ⚠️ 前序问题：流式陪聊手势生成此前靠离散运动 token 自回归，把高维连续运动压进有限 codebook，真实感和多样性都受损；而连续方法又难以保证逐 token 因果，实时交互卡在延迟上。 本文贡献：提出流式手势生成框架 GestureFAR：因果 VAE 把全身动作编码成可流式的连续隐变量，Transformer 对音频-运动上下文自回归，每 token 配 flow-matching 头从连续分布采样下一潜变量；再冻结因果骨干，用一致性加分布匹配目标把多步 flow 头蒸馏成单步前向。 Overview of GestureFAR. GestureFAR generates co-speech gestures from streaming audio by autoregressing over continuous motion latents. 实验效果：BEAT2 流式组 FGD 3.08 全面最佳（LiveGesture 4.57、MIBURI 8.06），BC 0.741 接近离线最优；1 步蒸馏后每 token 9.3ms，是教师 8 步 24.4ms 的 2.6 倍速、MIBURI 62.9ms 的 6.8 倍速。 Qualitative comparison on BEAT2. We visualize generated full-body gestures from different methods under the same speech inputs, with the semantically salient words highlighted in red. 批判点评：BC 0.741 仍低于 MIBURI 的 0.790 和 LiveGesture 的 0.794，多样性 13.24 也略逊离线系；单步蒸馏换速度后 FGD 反而比教师还好（3.08 vs 3.17），这个反常更像评测协议的产物而非能力证明，文中未解释。 7. DeltaS：状态漂移选KV，六个基准+2.1 DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video | Maum AI；首尔大学；延世大学 | arXiv:2609.27470 关键词：KV缓存淘汰,流式视频,线性注意力,混合架构,训练无关 ⚠️ 前序问题：视频语言模型转向线性/全注意力混合架构后，线性注意力状态固定大小，但全注意力 KV 缓存仍随流式视频无限增长；流式场景下问题还没来就得决定淘汰谁，现有基于位置、注意力或 KV 本身的信号都拿不到这个先验。 本文贡献：提出训练无关的 DeltaS：读门控 delta 线性注意力的循环状态，用一块帧内状态的归一化变化量（状态漂移）衡量该块带来多少新信息，漂移大的块对应 KV 留存；信号计算只占前向的 1.9%，无需代理查询。 Overview of DeltaS. Each video chunk updates the recurrent linear-attention states, whose normalized changes yield a shared score for retaining the corresponding KV entries across full-attention layers. 实验效果：预算与留存策略对齐的受控比较里，状态漂移信号全面胜过位置/注意力/KV 三类基线；六个长视频基准平均超最强无查询基线 2.1 分，最长基准 LVBench 超 5.6 分。 Performance margin as a function of KV retention rate. DeltaS generally shows larger margins at lower retention rates. 批判点评：增益随留存率升高而收窄：留存 token 超过约四成后在 EgoS 上反而落后基线 0.7 分，高预算场景收益有限；hybrid 架构前提也把它限死在门控 delta 线性注意力这一类骨干上。 8. DriftAudio：一步生成后训练FAD降34% DriftAudio: Marginal Drifting for Distributional Post-Training of One-Step Text-to-Audio Generators | 悉尼科技大学 | arXiv:2609.27598 关键词：一步生成,分布后训练,文本生成音频,Drifting,FAD ⚠️ 前序问题：一步文本生成音频模型把推理成本打下来之后，生成分布仍欠火候；常规后训练依赖逐条件配对的真实样本，自由文本条件下一个 prompt 往往只有一两条真实参考，逐条件 Drifting 根本做不了。 本文贡献：提出 DriftAudio 边缘分布后训练：把 Drifting 从逐条件搬到边缘音频分布上做，在冻结的 PANNs 特征空间里用重采样真实样本、滚动生成的 FIFO 样本库和当前批次共同估计漂移场，得到 detached 训练目标只更新生成器，一步推理流程原样保留。 Overview of DriftAudio. The one-step generator remains text-conditioned, while Drifting is performed on the marginal audio distribution in feature space. 实验效果：从 MeanAudio 出发 FAD 降 33.9%、FD 降 17.6%，KL 与 CLAP 同步改善；从 FdAudio 出发 FAD 1.22→0.99，一步生成的分布质量明显抬升。 Mean and covariance components of FAD for the four evaluated models. Numbers above the bars denote total FAD. 批判点评：不是白捡的：从 FdAudio 出发时 IS 和 CLAP 出现回退，说明边缘分布对齐和条件保真之间存在交换；方法绑定冻结的 PANNs 特征空间，换更强的音频评价骨干是否还成立未验证。 9. InGuard：嵌入层安检，省一半去噪步 InGuard: Towards Generalized Inner Guardrail for Safe Text-to-Image Generation | 阿里巴巴 AAIG | arXiv:2609.27620 关键词：文生图安全,内嵌护栏,嵌入改写,潜空间检测,RevGen ⚠️ 前序问题：T2I 的安全护栏都装在外面：前置 prompt 分类器加后置图像分类器，两者不用模型自身表征——prompt 检查准头有限，图像检查要等全量去噪烧完才跑，而且违规 prompt 只能一刀切拒绝，本可改写成安全输出的也被扔掉。 本文贡献：提出 InGuard 内嵌护栏：文本编码器嵌入上直接做风险三级分类（不安全/风险/良性），SAGE 对风险 prompt 做嵌入空间软门控改写使其输出安全图而非拒答，去噪中途用一步干净潜变量估计做潜空间检测，发现风险即刻提前终止；配套 RevGen Safety 基准，1 万条 prompt 由真实图反生成并注入受控 IP 角色。 Overview of our InGuard framework. Three complementary components work in sequence: prompt embedding risk classification, SAGE embedding-space safety enhancement, and latent detection with early termination. 实验效果：五个开源 T2I 模型上安全率 97.9%-98.8%，追平或超过外置护栏；良性扰动少 57.5%-73.5%，参数少约 3.7 倍，50%-55.6% 的去噪步被跳过；潜空间检测在 44%-50% 计算量处就逼近图像级 F1。 Pretraining effects on Avg F1 across five LDMs; latent detection vs denoising-step fraction used as a compute proxy. 批判点评：SAGE 改写不是万能的：论文自己承认增强失败时只能靠潜空间检测兜底拦截，等于承认存在漏改样本；RevGen 由自家反生成流水线构造，跨基准的代表性有待第三方复检。 10. CineGuard：11种运镜的抄袭检测 Did You Steal My Shot? Pioneering Camera Motion Plagiarism Detection in Generative Videos | 河海大学 | arXiv:2609.22267 关键词：运镜抄袭,生成视频,涡度,基准,版权保护 ⚠️ 前序问题：运镜是影视级 IP，但生成视频用一句 prompt 就能复刻高价值运镜；现有相似度检测都盯着画面内容，训练数据把运镜和内容缠在一起，传统光流又表达不了复杂相机运动——运镜抄袭至今无人管。 本文贡献：构建首个运镜分析基准 CineFlow：11 种运镜风格的模拟数据集把运镜与内容解耦；提出 CineGuard 检测网络，在光流上叠加流体力学涡度作为平移不变线索，3D 卷积提 tubelet 嵌入后过 ViT 主干加全局相机适配器，对比学习聚拢同运镜视频。 Architecture of the motion plagiarism detection network. The input flow is first augmented with vorticity, then a 3D convolution extracts tubelet embeddings. 实验效果：抄袭检测超最强基线 3.02 倍；在 Veo 3.1 与即梦的商业生成视频上，余弦相似度 0.56-0.83，基线全部落在 0.35 以下，Precision@5 最高 0.73 对基线约 0.27。 Performance of plagiarism detection on generative videos. Left: cosine similarity between videos. Right: Precision@5 for retrieving videos with the same motion label. 批判点评：局限写在图里：FPV Drone 这类复合运镜相似度掉到 0.56，是全表最低，混合运镜仍是软肋；基准是简单几何场景模拟出来的，真实影视素材上的迁移只有商业视频小样本佐证。 趋势观察 编辑模型的主战场从通用能力挪向行业指标 KwaiMind 把 CTR 预测直接做成奖励信号训进编辑模型，线上 A/B 实测 +2.44%；InGuard 则把安全检查搬进生成管线内部，省下一半去噪步。两条线指向同一件事：图像生成的竞争正在从「生成质量」转向「商业约束下的生成质量」，奖励函数和护栏的构造方式开始比骨干网络更值钱。 视觉监督正在从后训练前移到预训练 UVU 用像素级 codebook 把视觉监督直接塞进预训练，RefCOCO 一项涨 7.7 分；MotionSpec 则在视频微调里用频谱约束补上运动监督的缺口。共同逻辑：等表征定型再补监督太晚了，感知质量的上限在预训练阶段就被决定。 一步生成与流式生成进入质量补课期 DriftAudio 给一步 TTA 做边缘分布后训练，FAD 降三分之一；GestureFAR 用单步蒸馏把手势生成压到每 token 9.3ms；Unite-Audio 把去噪步数压到 4 还能保住 CLAP。速度战的下一程是质量战——谁能在一步、几步的预算里把分布差距补回来，谁就拿到实时产品化的门票。 混合架构的两组记忆开始学会协作 DeltaS 证明线性注意力的循环状态可以反过来指挥全注意力 KV 缓存的淘汰，六个长视频基准平均 +2.1；Unite-Audio 则让生成目标直接塑造 tokenizer 隐空间，打破「先冻结表征再训生成」的铁律。两篇都在挑战模块化管线里各训各的默认假设。 人工智能炼丹君 整理 | 2026-09-25 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-24|阿里Qwen3.8-Omni发布，视频推理输Gemini 今日 AIGC 论文速览 今日共 10 篇 · 全模态基座与语音智能体 2 篇 · 视频编辑与生成智能体 2 篇 · 生成推理加速与量化 2 篇 · 视觉Tokenizer与音视频生成 2 篇 · 奖励模型与生成安全评测 2 篇 重点论文标题列表 Qwen3.8-Omni（Qwen Team, Alibaba Group）：原生全模态智能体，百万上下文 VideoX-Qwen（Nanjing University）：120万对指令视频编辑数据 QuantWM（Harbin Institute of Technology (Shenzhen)）：2比特KV量化压住时序闪烁 Flash-dLLM（VILA Lab, MBZUAI）：扩散LLM提速五倍且不伤精度 VideoGen-Agent（Princeton University）：RL教会智能体用工具做视频 今日论文速览 1. Qwen3.8-Omni：原生全模态智能体，百万上下文 Qwen3.8-Omni: Towards Native Omni-Modal Agents | Qwen Team, Alibaba Group | arXiv:2609.25611 关键词：全模态智能体,稀疏MoE,百万上下文,视频剪辑,插件框架 前序问题：全模态模型此前主要强调感知和交互，真正的长程智能体任务——调工具、跑多步、把一段素材剪辑成片——要靠外挂 harness 拼，而现有 agent harness 对音频和视频没有原生支持。缺一个在多模态上原生 co-training、又不丢文本能力的底座。 本文贡献：发布 Qwen3.8-Omni-Flash：Thinker 继承 Qwen3.8-Next 的稀疏 MoE 骨干（GDN 与交错注意力混合），上下文扩到 100 万 token；原生多模态 co-training 把文本侧的智能体能力迁移到音视频任务，再经多教师蒸馏合并领域专精策略；配套开源 Qwen-MM-Plugins 插件框架与 Qwen-Live-Harness 实时交互框架。 Qwen3.8-Omni-Flash is a unified end-to-end model capable of processing multiple modalities 实验效果：WildClawBench-MM 从上代 34.5 涨到 71.0（+36.5）、AgenticVBench 14.5→36.8、OmniGAIA 57.2→74.0；Video-MME-v2 47.9→65.0。开智能体模式后 LVOmniBench 63.3→73.6，OmniVideoBench 单次 query 消耗 token 从 14.6 万降到 7.9 万（约 -45.7%）。 The overview of Qwen3.8-Omni-Flash-Realtime and Qwen-Live-Harness 批判点评：摘要口气很大，但表格里对手没输干净：Gemini 3.8 Flash 在三个视频推理基准的静态设置上全面更高，开智能体后 OmniVideoBench（70.1 vs 67.8）和 Video-MME-v2 仍被压着；teaser 图的 OmniCap-IF 一栏 Flash 拿 20.2，落在上代 Plus 的 28.3 和 Muse Spark 1.2 的 26.8 之后。所谓「领先」主要立在自己参与的新评测上。 2. VideoX-Qwen：120万对指令视频编辑数据 VideoX-Qwen: Data-Centric Instruction-Based Video Editing | Nanjing University；Jiutian Research | arXiv:2609.26015 关键词：指令视频编辑,数据合成,Qwen3-VL,Wan,成对监督 前序问题：通用视频编辑缺的不是模型而是监督：编辑要在执行指令的同时保住无关主体、场景结构和时序连续性，而成对（源视频、指令、目标视频）数据的规模和任务覆盖都远远不够，指令视频编辑长期落后于图像编辑。 本文贡献：一条可扩产的数据流水线：Qwen3-VL-235B 做源视频筛选与目标解析，加/删走 SAM3 加 Minimax-Remover，替换/属性走 Qwen-Image-Edit 首帧编辑加 WanAnimate 传播，自动通过率 89%，产出 120 万条方向性编辑对（每组任务超 40 万条）。模型侧统一 Qwen-Wan 编辑器：多模态语义条件加稠密源视频 latent 引导，图像-视频三阶段渐进训练。 Paired-video construction pipeline 实验效果：100 例对比 UniVideo 和 Kling O1：11 项指标里 9 项均值最优，覆盖指令遵循、编辑质量、内容保持、结构与感知相似度和视频分布质量。 Qualitative comparisons on compound and attribute editing 批判点评：「9/11 最优」的另一面是 11 项里输了 2 项，且对比规模只有 100 例；加/删两条数据路线直接复用 Minimax-Remover 和 WanAnimate，编辑对质量上限被这些现成生成器封顶。论文把「逐条校验富化后的指令」画成 proposed extension（虚线框），等于承认 120 万对里指令与实际编辑的一致性还没有被逐一验证。 3. QuantWM：2比特KV量化压住时序闪烁 QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation | Harbin Institute of Technology (Shenzhen)；National University of Singapore | arXiv:2609.26425 关键词：KV cache量化,视频生成加速,世界模型,注意力补偿,训练无关 前序问题：视频生成和世界模型的 KV cache 是部署瓶颈，已有 2-bit 量化方法在 VBench 这类指标上「几乎无损」，但作者实测发现：指标没掉，画面却在闪——逐帧指标天生看不见时序问题。 本文贡献：训练无关、严格因果的 2-bit KV 量化框架。诊断先行：Key 的量化重建误差比 Value 小，输出退化却更大，因为小扰动就能改变 QK^T 注意力 logits、挪走 Query 选中的时序-空间 token。对症两招：QSAC 聚类联合历史 Query 敏感度与残差范围选 INT2 友好的 Key 质心；PSAC 用低秩投影沿 Query 主子空间补偿残余 Key 误差。 Overview of QuantWM's inference system 实验效果：Causal-Forcing、LingBot-World-v2、HY-World 1.5、Matrix-Game-2、Longcat-Video 五个底模上，KV cache 最高压缩 6.20×，图像与视频质量指标全面超过现有 2-bit 方法，额外开销有限，且保持严格因果可流式推理。 Visual comparison of BF16, K16V2, K2V16 and K2V2 on world models 批判点评：这篇最值钱的是诊断而不是方法：它解释了为什么「VBench 几乎无损」的结论靠不住——逐帧指标对时序闪烁盲。但时序改善的验收仍以看图为主，论文没给出时序稳定性的量化指标；6.20× 的压缩上限是在 93 帧生成这一档测的，更长序列的收益未报告。 4. Flash-dLLM：扩散LLM提速五倍且不伤精度 Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs | VILA Lab, MBZUAI | arXiv:2609.26796 关键词：扩散语言模型,KV cache,并行解码,Triton,推理加速 前序问题：扩散 LLM 靠并行去噪生成文本，但双向注意力让自回归那套 KV cache 直接失效；已有加速工作把 KV cache 和并行解码分开研究，两者合用时 GPU 显存 I/O 反而成了主要瓶颈。 本文贡献：训练无关两件套。Flash-Cache：把 QKV 投影、RoPE、cache 写入、注意力计算融进一个 I/O 感知的融合 Triton 核，砍掉冗余访存；Flash-Verify：让 dLLM 自己既当 drafter 又当 verifier 做草稿-验证式并行解码，不挂辅助模型。 Overview of Flash-dLLM 实验效果：LLaDA-1.5 上对此前最强的 Elastic-Cache 在 GSM8K/HumanEval 分别提速 5.1 倍和 11.0 倍；Flash-Cache 加 Flash-Verify 达到精度 83.02%、吞吐 210.6 tokens/s（Elastic-Cache 为 82.79%、41.7）；batch 16 显存约 26GB，对照 Fast-dLLM 的 50GB 降约 48%，后者在 batch 24 直接 OOM。 Throughput and peak memory versus batch size on GSM8K 批判点评：赢面都在 dLLM 阵营内部：可扩展性图里自回归的 Llama3 在 batch 32 的吞吐仍高于 Flash-dLLM，「扩散 LLM 加速后追平 AR」还没有发生。精度与吞吐是硬权衡（80.2% 到 83.2% 对应 278 降到 186 tokens/s），宣传里 81 倍是对无 cache 基线的倍数，直接引用容易被误读成对 SOTA 的提速。 5. VideoGen-Agent：RL教会智能体用工具做视频 VideoGen-Agent: Reinforcing Video Generation Agents | Princeton University；Stanford University；UC Davis；MMLab, CUHK；BenchFlow；GWU | arXiv:2609.24997 关键词：生成智能体,强化学习,工具调用,视频生成,VABench 前序问题：视频生成模型面对需要专业知识、特定身份、物理一致或时序事件的 prompt 经常直接翻车：太极招式做不对、指定角色画不像、物理参数乱来。单靠扩大底模收益有限，缺一个会检索、仿真、检测来补信息的生成智能体。 本文贡献：六类任务上训一个共享策略：先在教师轨迹上 SFT 建立工具使用习惯（检索文本/图像、仿真、目标检测、深度估计等），再用类别感知混合奖励（工具调用合法性、任务适配度、视频质量）做 RL。配套 VABench：600 条 held-out prompt，覆盖程序知识、单/多实体身份、物理一致、场景合成、多镜头时序。 Overview of VideoGen-Agent 实验效果：VABench 上从底模 56.5 提到 75.6（+19.1 分）；把生成工具换成更强的 Seedance 2.0 后，不重训智能体就到 86.1；人评 84.3% 偏好升级配置而非最强独立基线。 Qualitative comparison on Procedural Knowledge generation 批判点评：86.1 这档数字藏着归因问题：从 75.6 到 86.1 的增量完全来自换生成工具，智能体一行代码没动——agent 框架的收益上限被底模和工具质量强绑定，这一段「白捡的分」其实是底模的分。混合奖励里「视频质量」一项依赖 VLM 裁判打分，裁判偏差会直接写进策略，论文未讨论防 reward hacking 的机制。 6. Vorch-Human：一个模型统一说话人与歌声视频 Vorch-Human: Unified Multi-Task Human-Centric Generation via Long-Horizon Continuation | Vorch Team；Harbin Institute of Technology, Shenzhen；Tongji University | arXiv:2609.26117 关键词：音视频统一生成,数字人,扩散transformer,长视频,身份保持 前序问题：以人为核心的音视频生成被拆成好几个模型：语音驱动数字人、参考音色合成说话视频、外观加声音参考生成场景，各自训练各自维护。它们本质上是同一组模态、只是条件不同的任务。 本文贡献：双流音视频扩散 transformer，在传统 noisy 音频/视频接口之外增加 clean 条件 token 组，用 per-token 任务嵌入、时间位置类型、条件掩码和共享多模态 prompt 编码器，把驱动语音、音色样本、首帧、主体图统一进一个模型；两级数据管线做说话人聚类与跨片段身份串联；长视频靠冻结 latent 前缀递归、每段只生成新后缀。 Role-aware unified human-centric architecture 实验效果：5 分钟长生成保持身份一致与音画同步；GSB 人评对 LongCat-Video-Avatar-1.5：动作/姿态/表情净偏好 +46.9%，口型准确度 +47.5%，单人音视频驱动整体净偏好 +27.1%。 Raw GSB breakdown for LongCat-Video-Avatar-1.5 批判点评：同一张 GSB 图的另一半：视觉质量净偏好 -13.1%，多人场景再输 -9.2%——赢的两项全在「跟音频对齐」上，纯画质反而输给 LongCat，摘要里 strong identity preservation 的措辞没覆盖这个短板。署名主体写作「Vorch Team」，机构披露不完整，技术报告性质明显。 7. StableVQ：三招治住VQ码本训练崩溃 StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training | Huazhong University of Science and Technology；KlingAI Research；South China Normal University | arXiv:2609.26774 关键词：VQ tokenizer,码本利用率,训练稳定,自回归生成,ImageNet 前序问题：共享投影 codebook 把 VQ tokenizer 的利用率推上去之后，训练稳定性成了新瓶颈：码本利用长期趴在低位、出现永久死码、甚至在 26 万步附近突然崩到 0。现有方法各打各的补丁，缺少对根因的解释。 本文贡献：把根因归结为 Encoder-Decoder 与 Codebook 的「纠缠训练」：两个子系统各自都无法独立完成任务，只能靠碰巧合作维持。三个零参数改动：Dynamic STE 按量化距离压低不可靠梯度；Region VQ Loss 让激活码向邻近未激活码按比例传播目标；Decoupled Schedule 给两个子系统各配独立学习率调度。 Three characteristic failure modes of VQ training 实验效果：ImageNet 256 重建：262k 码本 120 epoch rFID 0.92（对照 FVQ 1.29、SimVQ 3.16），16k 码本 1.13；鲁棒性指标 UR-AUC 60.59，比 FVQ 的 8.08、SimVQ 的 2.17 高一个量级；只用单个线性投影层就追平需要 ViTBlock 投影器的 FVQ。 Qualitative reconstruction comparison with a 16k codebook 批判点评：主张是「治崩溃」，但主表里 FVQ 和 SimVQ 在各自标准配置下利用率本来就是 100%，差距全在故意制造码本-token 分布错配的鲁棒性测试里拉开——这三招买的更像「最坏情况的保险」，常态训练收益主要是 rFID 那 0.2 到 0.4。下游生成只给「competitive」，FID 全表在附录。 8. Qwen-Audio 3.1：全双工误答率从73%压到13% Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction | Alibaba Token Foundry, Alibaba Group | arXiv:2609.25176 关键词：全双工语音,语音智能体,GRPO,在线蒸馏,工具调用 前序问题：实时语音助手要同时干三件互相打架的事：理解还在演化的请求、执行动作、遵守对话规则（何时说、何时闭嘴、是否插话）。上一代在背景有人说话时 73% 的轮次会错误应答，全双工的「闭嘴」比「会说」更难。 本文贡献：Think/Act/Speak and Coordinate 三层：Core-Cocktail SFT 加 M2-OPD 多教师在线策略蒸馏迁移文本能力；自进化可执行环境加多粒度 rollout 的 GRPO 教工具调用与参数落地；全双工决策模型独立管「说不说」。另给 Voice Harness 前后台原型：对话在前台、任务在后台异步跑。 Qwen-Audio-3.1-Realtime model framework for continuous spoken interaction 实验效果：tau-Voice 半双工改编任务成功 78.4%→82.0%（Airline 64.0%→74.0%）；Full-Duplex-Bench v1.5 背景语音应答率 73.0%→13.0%、恢复率 0.26→0.87；FLEURS 宏平均 WER 9.01→3.98；WebSearch1K 检索调用从 4.37 次降到 1.05 次（-76%）。 Qwen-Audio-3.1-Realtime post-training pipeline 批判点评：两个回撤写在正文里：EVA-A 的 Mean 分从 70.50 掉到 66.26，WebSearch1K 的 F1 从 60.87% 降到 58.61%——少说话、少调用是把双刃剑；Daily Chat 和 persona 交互的 Spoken 分也在微跌。摘要只报提升项，回撤要翻到结果表才看得见，读技术报告别只读开头。 9. RULER：六项Rubric奖励治SVG生成 RULER: Instance-aware Rubric Rewards for SVG Generation | Ant Group；The Hong Kong University of Science and Technology (Guangzhou)；Independent Researcher；University of Oxford | arXiv:2609.25270 关键词：SVG生成,Rubric奖励,GRPO,reward hacking,视觉裁判 前序问题：自然语言生成 SVG 是没有绝对真值的开放任务：CLIP、Aesthetic 这些在自然图像上标定的标量指标迁到风格化矢量图上会误判，直接拿来当 RL 奖励还会触发 reward hacking——评测和优化同时失去可靠信号。 本文贡献：实例化 rubric 奖励：每条指令由前沿模型生成六项 rubric（语义、视觉、风格三轴），裁判 VLM 逐项给渲染 rollout 打分，加权满意度经 GRPO 优化。rubric 只从文本推导，不需要配对 SVG 真值、也不需要人类偏好标注。训练用 Qwen3-VL-8B 做裁判，与评测用的 GPT-5-mini 分开。 Qualitative comparison of scalable vector graphics generation between RULER and four baselines 实验效果：MMSVG-Illustration/Icon 上 rubric 分从 0.432/0.395 提到 0.693/0.683，超过专用 SVG 模型、追平大得多的 DeepSeek-V3；人评盲测对自家 Qwen3-8B 骨干胜率 89.7%、对 Qwen3-32B 66.1%；消融显示去掉语义轴掉 10.1%、换静态 rubric 掉 22.7%。 Ablation of rubric design on MMSVG-Illustration and MMSVG-Icon 批判点评：「追平 DeepSeek-V3」在可视化图里并非全赢：五个示例里同心圆靶一栏 DeepSeek-V3 的 0.94 高于 Ours 的 0.92；Ours 的 CLIP 分（0.28-0.35）与基线几乎无差，说明传统指标确实分不出好坏，但反过来也意味着 rubric 分数与人类直觉的对应完全押在裁判 VLM 上。人评规模只有 150 条 prompt。 10. Moderation Gap：三成有害视频骗过逐帧审核 The Temporal Moderation Gap: Text-to-Video Safety Filters Are Blind to Harm in Motion | National University of Singapore；University of New South Wales；Fuzhou University | arXiv:2609.26233 关键词：文生视频,安全审核,帧序,红队测试,评测方法 前序问题：T2V 服务的安全栈是从图像生成继承的：关键词过滤加随机抽 8 帧逐帧检查。这套栈对「伤害只存在于帧序」的视频天然失明——闯红灯、往转动的车床里伸手、误服药片，每一帧单看都无害。 本文贡献：理论上证明：任何忽略帧序的审核器只要放行某片段，就必然放行其良性重排。实测未修改的基准 prompt 就能让 32.7% 的 Sequential-Action 目标落入审核盲区，改写、拆场景、反馈式搜索都无显著改善（McNemar p≥0.12）——不需要任何 prompt 技巧就能触发。修复方向是读帧序：时序感知检测器 AUC 0.74，逐帧检查等于抛硬币。 The temporal moderation gap 实验效果：对 97 帧全部打分发现：约三分之一的交付片段只是把不安全帧藏起来，其余按帧序整体看仍有害，尽管每一帧都通过了审核；用户实验确认人能区分片段与其重排的安全性。 Three Sequential-Action gap clips 批判点评：论文顺带揭了一个测量陷阱：在搜索出的 prompt 上用它自己的渲染种子打分，会把 7.5% 的单次生成率虚标成 46.7%——这个坑对所有做安全评测的人都成立。但修复方案的 AUC 0.74 离可用尚远，且全部证据来自 Sequential-Action 一类动作伤害，跨帧累积的暗示性内容等其他类型未覆盖。 趋势观察 全模态模型开始从「能听会说」转向「能干活」 Qwen3.8-Omni 把上下文推到 100 万 token 并配好插件与实时 harness，Qwen-Audio-3.1-Realtime 则把「何时闭嘴」当成一等公民单独训练。两条线指向同一件事：多模态模型的竞争正在从感知指标挪向任务成功率，模型外面的 harness、插件和记忆管理层开始决定产品形态。 视频编辑与视频生成的瓶颈，先卡在数据而不是模型 VideoX-Qwen 用 120 万对合成编辑数据喂出一个统一编辑器，VideoGen-Agent 则用六类任务的教师轨迹加 RL 教模型调用工具。两者都在补同一个洞：指令视频任务缺少可靠的监督与反馈信号，谁的流水线能稳定产出高质量配对数据，谁就拿到上限。 加速这条线在「省显存」和「省访存」上分头推进，且都是训练无关 QuantWM 发现 2-bit KV 量化的真正受害者是时序稳定性而非单帧指标，用注意力补偿把闪烁压回去；Flash-dLLM 则把瓶颈定位到 GPU 显存 I/O，用融合核加自验证并行解码把吞吐推到 210.6 tokens/s。共同点是都不动训练，靠推理系统层的重新安排。 评测开始把「裁判本身」当成被审对象 RULER 证明静态标量指标在 SVG 上失灵，改用逐指令生成的 rubric 当奖励；Moderation Gap 则证明逐帧安全审核对帧序盲。两者都在说同一件事：在开放生成任务里，裁判的构造方式本身就是被评测对象，默认信任任何单一打分器都危险。 人工智能炼丹君 整理 | 2026-09-24 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-23|NVIDIA像素扩散FID 1.46，仍输latent 今日 AIGC 论文速览 今日共 10 篇 · 图像生成与像素扩散 2 篇 · 视频世界模型与 3D 一致 2 篇 · 视频生成加速与流式编辑 2 篇 · 动作与音频生成 2 篇 · 音视频因果与奖励评测 2 篇 重点论文标题列表 PixelDiT2（NVIDIA）：像素扩散 FID 压到 1.46 WorldCrafter（ARC Lab, Tencent IEG）：分钟级探索重访 PSNR 18.0 ⚡ GAE（HKUST）：相机轨迹误差砍半 FVD 降 23% SparkDiffusion（Peking University, Melon Group）：97% 稀疏下 265 倍单卡加速 MixiMotion（PTIT, Hanoi）：一步动作对齐 0.835 逼近教师 今日论文速览 1. PixelDiT2：像素扩散 FID 压到 1.46 PixelDiT2: Representation-Grounded Pixel Diffusion Transformers | NVIDIA；University of Rochester | arXiv:2609.24919 关键词：像素空间扩散,表征先验,表示对齐,DINOv3,ImageNet ⚠️ 前序问题：像素空间扩散不用自编码器、直接在 RGB 上去噪，省掉了 latent 重建瓶颈，代价是收敛慢、最终画质长期落后 latent 扩散。作者的判断是缺一个显式表征先验：latent 扩散天然在紧凑结构化的隐空间里去噪，像素扩散却要一边学「好去噪的表征」一边学「怎么生成像素」，两件事挤在同一次训练里互相拖累。 本文贡献：提出 representation grounding：用一个冻结的预训练视觉基座模型在整个去噪过程里持续提供 per-patch 表征监督。带噪图像走像素去噪通路，同时冻结编码器产出 per-patch 特征，一个时间步条件化的 DiT 块 P_g 把它映射成 scaffold，再通过空间 AdaLN 调制扩散 transformer；REPA 只作为训练期辅助目标。另提出延迟 grounding dropout：训练初期保留 grounding，到 epoch 160 再开启 dropout。 PixelDiT2 at ImageNet-512x512: samples, architecture, and convergence. 实验效果：ImageNet-256×256 上 H/16 模型 600 epoch 达 FID 1.46、IS 301.6；512×512 上 680 epoch 达 FID 1.48、IS 295.7，两档都是像素侧最好（同表其余像素方法 1.61–3.94 / 1.78–3.95）。论文强调 epoch 预算：512 档 epoch 200 就超过 PixelDiT 850 epoch 的 FID，预算低 4.25 倍。 PixelDiT2 reaches FID 1.78 at epoch 200 and 1.48 at epoch 680. 批判点评：「补上表征先验」在像素侧成立，但把两张表横着读是另一面：256 上 latent 侧 RAE-XL FID 1.13、REPA-XL 1.29 都优于 1.46，512 上 RAE-XL 1.13 同样压过 1.48，IS 也不及 REPA-XL 306.3 与 JiT-G 306.8。也就是说「追平」只在像素扩散内部成立，跨阵营仍差约 0.3 FID，摘要里 narrowed the gap 的措辞容易被读成已经追平。另外延迟 dropout 的开启时机是在 512 档上调出来的，256 档用的是从头独立 dropout，两档训练协议并不一致，跨分辨率可比性打了折扣。 2. WorldCrafter：分钟级探索重访 PSNR 18.0 WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory | ARC Lab, Tencent IEG；Peking University | arXiv:2609.24984 关键词：视频世界模型,隐式3D记忆,长程一致性,相机可控,流式生成 ⚠️ 前序问题：视频世界模型做交互式探索时，长程一致性一直是硬伤：走出一段距离再回头，场景常常「认不出」是刚才那个地方。难点在于历史观测越来越多，而视频生成器的 token 预算是固定的，怎么把历史压进有限 token、又不依赖显式深度对应，是个两难——显式 3D 重建重且脆，简单堆历史帧则 token 直接爆掉。 本文贡献：核心洞察是「让被请求的视角来决定历史怎么压缩」。一个与视频生成器联合训练的 memory encoder 把历史观测编成紧凑的 3D-aware 表示，再由 pose-conditioned readout 按当前目标相机位姿读出固定数量的、目标视角专属 token，在去噪前注入，全程不需要显式深度对应。配合 max-coverage 历史检索、最近时间上下文和 few-step 蒸馏，实现从单张图或文本出发的流式分钟级探索。 Overview of the WorldCrafter pipeline. 实验效果：VBench 自建输入模式 725 段视频上 Overall 81.910 为全表第一（Alaya-EVOKE 81.406、SANA-WM 80.841、Echo-WM 80.211），主体一致性 82.695、背景一致性 90.589、运动平滑 98.787、整体一致性 26.745 均为第一。长程重访一致性上 MEt3R 0.166、PSNR 18.016、SSIM 0.517，相对次优 Lyra 2.0（0.334 / 14.050 / 0.390）近乎翻倍。 Qualitative long-horizon revisit comparison in a static scene. 批判点评：重访那张表真正的第一不是 WorldCrafter 而是它的加速版 WorldCrafter-fast（MEt3R 0.129、PSNR 20.868、SSIM 0.616）——少步蒸馏的变体反而在一致性上更好，这暗示「更多步数」本身可能带来累积漂移，论文没有就这条给出解释。视觉质量上也不是全胜：美学质量 AQ 61.432 只排第四，不及 SANA-WM 63.467；动态程度 DD 96.893 是全表最低（其余 97.087–100），说明换来的一致性里有一部分是靠画面动得更少买到的。评测均在自建输入模式下完成，未与公开榜单协议对齐。 3. GAE：相机轨迹误差砍半 FVD 降 23% GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation | The Hong Kong University of Science and Technology；ARC Lab, Tencent IEG；The University of Hong Kong；The University of Texas at Austin | arXiv:2609.24981 关键词：几何原生隐空间,3D一致性,自编码器表征,相机轨迹,感知生成统一 ⚠️ 前序问题：视觉生成器能出逼真画面，却保不住一个前后一致的 3D 场景。作者认为这不只是建模问题，更是表征问题：生成器演化的是外观为中心的隐空间，感知模型恢复几何用的是语义丰富、编码跨视角结构的空间，两者不在同一坐标系上。常见补丁是「再输出一个几何头」，等于把几何当副产品，治标不治本。 本文贡献：不把几何当额外输出，而是直接把一个几何基座模型的特征重参数化成紧凑、可扩散的隐空间——几何原生自编码器 GAE，其 latent 同时可解码到外观、深度、相机和点图。训练分两阶段：先训 codec 把冻结的多层几何特征压进 latent，再用条件流只在「待生成视角」的 latent 上做流匹配，参考视角 latent、相机射线和文本作为控制，让感知与生成共用同一个隐空间接口。 Overview of Geometry-Native Autoencoder (GAE). 实验效果：在固定生成器与训练协议的控制对比下：重建侧 GAE-128 用比原始几何特征少 24 倍的通道，PSNR 28.76 / LPIPS 0.036 / rFID 5.4（RealEstate10K）反而略优于原始 L0 特征；生成侧 GAE-64 最优，RealEstate10K FVD 225.7、PSNR 20.02、SSIM 0.711，DL3DV FVD 287.0、PSNR 18.00，相对最好的非 GAE 受控 latent 分别降 FVD 12.7% 与 23.1%；ATE 在 RealEstate10K 降 52.8%、DL3DV 降 23.3%，MEt3R 取到受控组最佳 0.1208 / 0.1347。 Multi-frame RGB, geometry, and camera-pose comparison across RealEstate10K scenes. 批判点评：最有价值的是控制变量设计，但同一张表也留了口子：受控组之外还列了 Gen3R 与 GLD 两个参考方法，其中 Gen3R 在 RealEstate10K 的 MEt3R 是 0.1157，优于 GAE-64 的 0.1208——「最佳」限于受控 latent 这个口径。DL3DV 的重投影误差上 GAE 只有 0.0028–0.0029，反而不如 WAN2.1 VAE 的 0.0019，说明几何原生 latent 在像素级回投影精度上并不占优。另外通道数选择本身就不一致：128 在重建上最好、64 在生成上最好，论文没给选择依据，实际部署还得自己再权衡一次。 4. SparkDiffusion：97% 稀疏下 265 倍单卡加速 SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation | Peking University, Melon Group；Tsinghua University；Alibaba Group；University of Electronic Science and Technology of China；Harbin Institute of Technology | arXiv:2609.23153 关键词：稀疏注意力,推理加速,少步蒸馏,FP8量化,视频扩散 ⚠️ 前序问题：视频扩散 transformer 贵在注意力要处理超长时空 token 序列，做稀疏注意力是自然的加速思路。但作者发现一个「高稀疏陷阱」：稀疏度推到极致时，逐步训练损失还在稳步下降，最终生成质量却停滞甚至倒退。诊断指出这是监督问题——主要误差来自高噪声的结构生成阶段，逐步局部训练修不动它，只有对齐终态的训练才修得动。 本文贡献：由此给出一条分阶段原则：先把稀疏架构适配成粗粒度先验，再校正终态分布。SparkDiffusion 按此串起三件事——短程稀疏 warm-up、少步 trajectory-mixed 蒸馏、FP8 量化配融合 kernel，并把三者做成可乘的加速因子。覆盖 Wan2.1/Wan2.2 骨干、T2V/I2V 任务、480P/720P 分辨率，以及 H100 与 RTX 5090 两种 GPU。 Overview of the SparkDiffusion framework. 实验效果：3 步无 CFG 推理下，Wan2.1-T2V-14B-720P 在单张 RTX 5090 上端到端 265× 加速（H100 上 220×）；Wan2.1-T2V-1.3B-480P 端到端 1.3 秒出片。长序列 720P 上维持 97% 注意力稀疏，1.3B-480P 上 90%。VBench 总分从 dense 的 83.69 到 83.15，掉 0.54 分；同表延迟与显存项均为最好（18.0 / 8.0）。 End-to-end latency and speedup of SparkDiffusion over Full Attention on NVIDIA H100 and RTX 5090 GPUs. 批判点评：265× 是三个因子相乘的结果，其中大部分来自 3 步蒸馏而非稀疏本身，读标题很容易把功劳全记在稀疏上——论文在图表里做了分解，但正文强调的仍是合成后的倍数。质量代价是实打实的：83.15 低于 dense 83.69，且稀疏度从 90% 提到 97% 时分数从 83.42 掉到 83.15，说明高稀疏陷阱只是被缓解、没被消除。另外源码里仍能看到若干未清理的 TODO 占位注释（作者元数据、BF16 两列标注为占位），作为预印本部分数值还需等正式版复核。 5. MixiMotion：一步动作对齐 0.835 逼近教师 MixiMotion: One-Step Text-to-Motion Generation via Asymmetric Set Distillation | Posts and Telecommunications Institute of Technology, Hanoi, Vietnam | arXiv:2609.23010 关键词：文本到动作,一步生成,集合蒸馏,运动学监督,推理延迟 ⚠️ 前序问题：文本到动作生成质量上来了，但迭代采样要几十上百次网络评估，延迟高，交互式动画、游戏这类场景用不了。压缩成严格一步模型有两大障碍：一是文本条件下的动作天然多模态，同一提示对应多个合理动作，固定的教师-学生一一对应会把多种有效模式平均掉；二是只在归一化表征空间里对齐，解码后可能出现明显运动学瑕疵。 本文贡献：MixiMotion 用离线集合蒸馏：对每个提示让冻结的多步教师先生成 K=4 个动作存进离线教师库，学生训练与推理时都不再查教师；学生从独立噪声采样 M=8 个一步样本，用非对称双向集合匹配训练——教师到学生方向鼓励覆盖教师支持的多样动作，学生到教师方向抑制不被支持的生成，两侧权重 α=(1, 0.20) 故意不对称。再叠加解码空间的端点、轨迹与身体分组运动学监督。 MixiMotion: offline asymmetric set distillation for one-step text-to-motion generation. 实验效果：ViMoGen 上语义对齐 0.835，一步方法里第一（MotionLCM-1 0.825、naive 一步教师 0.711），逼近 50 步 HY-Motion-1.0-Lite 教师的 0.858；六个类别中有四类超过 MotionLCM-1。25 人盲评总体 4.33 对教师 4.50，同为一步/少步里最高（MotionHiFlow 4.20、MotionLCM-1 3.98）。单次网络评估延迟从 829.58 ms 降到 9.30 ms。 Qualitative comparisons between HY-Motion-1.0-Lite and MixiMotion. 批判点评：摘要里的 89.2× 是单次网络评估口径，正文自己给出的端到端加速是 6.75×——差了十几倍，文本编码与渲染等开销没算进去，读者很容易把 89.2× 当成真实提速。另外 0.835 其实仍略低于多步的 MLD 0.840（与 MDM 0.833 基本持平），「逼近教师」成立，但严格说还没超过最好的多步基线。消融里非对称权重只带来 0.829→0.835 的 0.006 增益，解码空间监督贡献 0.832→0.835，各组件边际收益都很小；学生从教师热启动、460M 参数与教师同量级，并没有变小。语义分数由 Qwen3-VL-30B 判 yes/no 问题自动给出，非人类标注。 6. SVEET：双向模型改流式 15 FPS Streaming Video Editing with Easy Adaptation | Shanghai Jiao Tong University | arXiv:2609.24788 关键词：流式视频编辑,双向转自回归,特征解耦,正交解耦训练,实时生成 ⚠️ 前序问题：预训练的双向视频扩散模型编辑质量好，但它需要看完整段视频，做不了逐帧自回归的流式编辑。直接改造会撞上两个矛盾：双向骨干的特征在时间上互相依赖，而流式推理要求条件帧彼此独立；可控性与因果性两个优化目标还会互相拉扯，联合训练通常顾此失彼。 本文贡献：先系统复盘已有 video-to-video 扩散方案，归纳出流式适配的两条原则：骨干特征解耦、条件帧独立。据此给预训练双向模型加一条辅助控制分支，用时间独立自注意力编码源视频，中间特征注入对应骨干块；为弥合双向与流式的特征空间差异，再提出解耦训练 ODT，显式约束「视频可控性」与「模型因果性」两个优化方向正交，使二者在推理时兼容，并实现跨异构骨干的零样本迁移。 Our proposed SVEET. 实验效果：视频风格迁移上 VLM 编辑准确率 7.4322 为全表第一（LiveEdit 5.8672、DayDream+CF 5.2321、SDV2 4.2297），CLIP 文本对齐 0.2287、主体一致性 0.9447、背景一致性 0.9298、运动平滑 0.9898、美学质量 0.5550 均为第一。消融中 ODT 把 2D 版从 7.1898 提到 7.4322、3D 版从 7.0653 提到 7.3315，推理期投影（6.4250）与两阶段 teacher forcing（7.0927）都不如它。单张 H100 上 15 FPS，未用任何额外加速手段。 Qualitative comparison results on stylization. 批判点评：唯一没拿第一的一列是整体一致性（0.1123 第二），而拿下这列的 Channel concat 编辑准确率只有 1.8902——几乎没在编辑，说明这个指标在这组对比里更接近「越不改越高分」，拿它当唯一失分项反而暴露了指标本身失效。实验只在风格迁移这一个任务上给了完整数字，其余编辑任务的优势主要靠定性图支撑。15 FPS 是在 H100 上测的，离真正的端侧实时还有距离，且论文没有给出不同分辨率或时长下的 FPS 曲线。 7. COT-TTS：听对话推断语气 MOS 4.15 COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning | The Hong Kong University of Science and Technology；Nanjing University；JIUTIAN Research, China Mobile；Peking University；China Mobile (Hong Kong) Innovation Research Institute | arXiv:2609.22697 关键词：上下文感知语音合成,链式推理,可编辑风格,级联对比,时长一致性 ⚠️ 前序问题：语音合成的说话方式现在基本靠用户显式下指令，但自然对话里该怎么说本应从上下文推断出来。现有系统要么让用户逐句指定，要么把 ASR、LLM、TTS 串成级联——参数动辄 30B 以上，而且级联转换会把原始语音里的副语言信息（非语言发声、节奏、情绪强度）丢掉。 本文贡献：把「上下文感知推理式 TTS」定义成新任务：给定历史对话音频、目标文本和参考语音，先理解上下文，再显式推理出一段中间 CoT，最后按指定音色合成目标语音，且这段 CoT 可被检查与编辑。配套建了大规模双语对话语音数据集（900 万训练样本，含 100 万高质量子集）和 800 条人工核验、源不重叠的评测基准，并给出 0.6B / 1.7B 端到端自回归模型，直接产出带情绪标注的转写、可编辑风格推理和语音 token。 Overview of the end-to-end CoT-guided autoregressive model. 实验效果：英文基准上 COT-TTS-0.6B 拿到 Human MOS 4.150 全表第一（级联 3.050–3.500），情绪一致性 0.954 第一，时长误差 1.155 秒远优于级联的 5.1–12.5 秒；中文基准上 0.6B Human MOS 4.200 同样第一。可编辑 CoT 变体在中文上拿到最高的 LLM 综合分 3.461 与历史理解 4.079。参数量只有级联系统（34–39B）的几十分之一。 Distributions of the normalized audio quality score, naturalness score, target-audio effective-speech ratio, and emotional expression intensity over 50K randomly sampled examples. 批判点评：「参数少几十倍、效果相当」要看是哪一列：UTMOSv2 2.943 低于 two-a3b-fish 的 3.138，DNSMOSPro 3.180 明显不及 two-qwen3omni-seedvc 的 4.240，WER 0.041 也高于 three-dia-a3b-fish 的 0.012；LLM 评测的 CoT 逻辑 4.558 不及 4.836，综合分 2.304 不及 3.601。真正领先的是人类整体评分、情绪一致性和时长误差三项。更值得注意的是两个反常：0.6B 的人类评分（4.150 / 4.200）高于 1.7B（4.050 / 4.150），规模变大反而变差；开启可编辑 CoT 后推理分数上去了，英文 Human MOS 却从 4.150 掉到 3.500——论文把这解释为改动把分布推离训练域，等于承认「可编辑」目前要付音质代价。 8. Common Cause：灰度视频让音频翻车 62% Common Cause, Not Cross-Attention: Blocking Visual Shortcuts in Audio-Video Generation | RIKEN iTHEMS；RIKEN AIP；South China University of Technology；Columbia University | arXiv:2609.22361 关键词：音视频生成,因果推断,反事实不变性,视觉捷径,共享表征失效 ⚠️ 前序问题：音视频联合生成器的训练数据里，「看起来是什么」和「听起来是什么」高度相关——某种材质、纹理或物体外观总与某种声音同时出现。这种相关往往是虚假的：模型可以只从外观预测声音，完全不碰「是什么事件」这个因果变量。一旦测试时外观与事件的关联被打破，模型就会直接合成错误事件的声音。 本文贡献：这是一篇受控的因果研究而非又一个模型。先建音视结构因果模型，让音频在构造上独立于视频的干扰外观，再系统检验流行解法——直接 cross-attention、共享 latent、bottleneck、无监督 shared/private 分解、忠实共享先验，证明这些「走公共因」的做法全都抓不住要害，因为共享 latent 不是干预，模型照样拿得到外观代理变量。真正堵住捷径需要对干扰变量做干预：在 SCM 与干预假设下，论文证明反事实不变性是识别因果预测器的充要条件。 The counterfactual intervention do(v:=v') made concrete (Colored-MNIST). 实验效果：在特征向量 SCM、程序化像素视频、真实图像配频谱音频、移动真实数字、条件生成器五个场景验证。反事实惩罚随因果线索变强从 263× 平滑坍缩到 2.7×，说明捷径只在因果线索难读时才被采用；Moving-MNIST 上直接模型 OOD 准确率 0.21 而本文方法 0.995。对真实预训练视频转音频模型 MMAudio 做输入干预：灰度化让 top-1 声音类别翻转 62%、色彩旋转 54%，最小编辑只翻 22%。 The failure, made audible. 批判点评：最尖锐的一段是「修不好」：作者用重着色一致性项把 MMAudio 的速度网络微调 1500 步，色彩旋转翻转率基本没动（62.5% → 63.9%），真正下降的是通用 OOD 敏感度（高斯噪声 83.3% → 70.8%）——这次微调买到的是整体更鲁棒，而不是论文想修的外观捷径，恰好反证诊断与修复之间还有距离。另外结论高度依赖 SCM 与干预假设成立，真实数据上的干预只能做「改写外观」这类近似；MMAudio 实验只有 24 条真实视频、其中 18 条用于微调，样本量偏小。 9. RewardVerse：先写准则再打分 PLCC 0.52 RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling | Institute of Automation, Chinese Academy of Sciences；University of Chinese Academy of Sciences；The Hong Kong University of Science and Technology；Tencent | arXiv:2609.22947 关键词：视频奖励模型,评分准则中介,标量漂移,RGPO,强化学习奖励 ⚠️ 前序问题：用强化学习优化视频生成模型时，奖励模型是地基，但现有视频奖励模型直接把复杂主观质量映射成一个标量，没有显式评分准则，于是出现标量漂移：分数尺度在不同提示之间坍缩或整体平移，RL 拿这种奖励训练并不稳。 本文贡献：借鉴人工标注工程，在「评测请求」和「打分器」之间插入一个动态评分准则 rubric 作为中间表示：先显式生成评测标准，再按准则打分，给标量一个语义锚点。为训练这条协作流水线提出两阶段 RGPO：阶段一用自演化的种子 rubric 预热打分器（偏好奖励 + 格式奖励 + 校准损失），阶段二联合优化 rubric 生成器、产出随请求自适应的准则，同时持续把打分器对齐人类评分。 Overview of RewardVerse and its two-stage RGPO training. 实验效果：16 维 EvalVerse 基准上 Joint(Ours) 在 14 个维度取得最高 PLCC，宏平均 PLCC 0.520、SRCC 0.493 均为第一（次优 Q-Scorer 0.467 / 0.354）；Logic 维度 PLCC 0.750 对次优 0.593，Action 0.566 对 0.390。漂移诊断上 RGPO 把均值偏差从 +0.610 降到 +0.164，PLCC/SRCC 从 0.240/0.222 提到 0.505/0.458，预测标准差从 0.457 扩到 1.332，被压缩的分数区间被重新拉开。换到闭源 Gemini-3.1-Pro 上，加 rubric 仍让 PLCC 从 0.490 提到 0.593。 Score distributions of six reward models on the shared 10-dimensional test subset. 批判点评：「14/16 维最高」是真的，但剩下两维恰好是最容易被低层画质解释的：Temporal 那列 Ours 0.538 不及 VideoScore2 的 0.697，SRCC 侧也有两列被 Q-Scorer 与 Raw-rubric 超过。也就是说在偏感知质量而非认知/时序的维度上，rubric 中介的优势会收窄——论文自己也点出 Q-Scorer 在光照、逻辑这类与低层画质相关的维度上仍有竞争力。Gemini 实验只对比了有/无 rubric 两个变体，且受限于 API 只能读自然语言浮点输出，无法与开源模型在同一训练协议下横比。此外 rubric 由模型自生成，其质量评估仍依赖同一套 VLM 裁判，存在自证循环的风险。 10. IMPLICIT-Bench：5493 条中性提示词测隐式偏见 IMPLICIT-Bench: Measuring Implicit Bias in Text-to-Image Models under Neutral Prompts | The University of Melbourne | arXiv:2609.24228 关键词：文生图偏见评测,隐式偏见,知识图谱三元组,中性提示,去偏见权衡 ⚠️ 前序问题：文生图模型的偏见评测大多用「一张 [职业] 的照片」这类槽位模板，只能孤立地探显性人口属性（性别、肤色）。它漏掉了更隐蔽的一类：在自然提示里，当与刻板印象相关的属性没有被指定时，模型仍然默认输出刻板结果——这种隐式偏见现有评测基本看不见。 本文贡献：用结构化知识图谱构造受控提示三元组：中性、刻板、反刻板三个变体只在单一偏见维度上不同，其余场景语义保持一致，从而能把偏见效应精确归因到模板类基准做不到的粒度。最终发布 5,493 条提示、覆盖 11 个偏见类别，并用多模型一致性、CLIP 验证和人工评测三重校验。基于它评测现有去偏见方法，揭示出偏见降低与语义保真之间的基本权衡。 Four-stage KG-grounded benchmark pipeline. 实验效果：过滤后保留的中性图显著偏向刻板端：VLM 均值从 1.75 升到 3.40（Qwen3-VL）、1.26 升到 2.65（Gemma-4），未参与筛选的 CLIP 验证器同向移动。最终基准上 CLIP 判定 67.7% 的 Δx 为正（Cohen's d = +0.39），Qwen3-VL 71.6%（d = +0.85），三个裁判在 Δx 层面正相关（Pearson r = 0.22–0.44）。12 名人工评审在 100 个样例上复现了同样排序：刻板 3.78 > 中性 3.17 > 反刻板 1.60，75.9% 的 KG 被认为确实反映社会刻板印象。 Cross-model qualitative comparison, set 1. 批判点评：三个裁判的一致性是这个方法最脆弱的一环：Gemma-4 的倾向比例只有 48.7%，几乎等于抛硬币，d 也只有 +0.29，与 CLIP 的 67.7%、Qwen3-VL 的 71.6% 不在一个量级；裁判间 Pearson r 仅 0.22–0.44，CLIP 与两个构建裁判的逐图相关性也只有 0.42 / 0.55。人工侧同样不完美：VLM 相对人类均值的 MAE 接近 0.97–0.99，且 12%–16% 的样例把刻板与反刻板的方向判反。样本分布也不均衡——physical-appearance 类只有 14 条，人工研究里 sexual-orientation 一行只落在单个样例上。作者自列的局限同样实在：KG schema 单轴、源数据带 WEIRD 偏斜、去偏见实验只在 Qwen-Image 上做过。 趋势观察 世界模型这一轮在比「记得住」，不是在比「画得好」 WorldCrafter 让目标相机位姿去决定历史怎么压成固定数量的 token，GAE 则干脆把几何基座的特征重参数化成生成用的隐空间。两者承认的是同一件事：分钟级的一致性不是把模型做大就能换来的，而是取决于历史和几何以什么形式存在。有意思的是 WorldCrafter 的加速版在重访一致性上反超了标准版，说明步数与一致性之间未必是正相关。 像素扩散与 latent 扩散的差距，正被「表征」而不是「架构」填平 PixelDiT2 不引入自编码器，而是让一个冻结的视觉编码器在整个去噪过程里持续提供 per-patch 表征，把表征学习和像素生成拆成两件事。不过两张主表横着读会发现，1.46 是像素侧最好、却仍不及 latent 侧 RAE-XL 的 1.13，IS 也不及 REPA-XL 的 306.3——差距在缩小，但没有消失。 加速方案的瓶颈已经从「算力」挪到了「监督」 SparkDiffusion 指出高稀疏下逐步损失在降、终态质量却不涨，根因是监督没有对齐终态；SVEET 则指出双向改流式的瓶颈不在算力而在两个优化方向互相干扰，于是显式约束它们正交。两者都不是靠新算子取胜，而是重新安排了训练时究竟该优化什么。 评测类工作开始把「裁判本身」当成被审对象 IMPLICIT-Bench 的三个裁判一致性只有 Pearson r = 0.22–0.44，其中一个几乎等于抛硬币；RewardVerse 则发现外部打分器在认知类维度上可以是负相关（VideoScore-v1.1 在 Logic 上 PLCC −0.245）。当奖励模型和偏见裁判都开始被自己的盲区反噬，评测可信度就成了需要单独论证的事，而不是默认前提。 人工智能炼丹君 整理 | 2026-09-23 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-22|阶跃星辰全双工98.9登顶，清华W4A4逼近FP16 今日 AIGC 论文速览 今日共 10 篇 · 语音与音频生成 2 篇 · 视频生成与物理一致 2 篇 · 图像编辑与三维生成 2 篇 · 生成理解一体化 2 篇 · 推理加速与评测 2 篇 重点论文标题列表 StepAudio 3（StepFun-Audio Team）：全双工语音模型98.9分登顶 OmniVChat（CUHK）：全模态对话视频2800题 ⚡ CompAdapt（HIT）：物理视频生成PIS 0.862 KaiNinja（Alaya Lab）：3D部件生成免分割器 4DGS-Fixer（Goertek Alpha Labs）：稀疏四视角重建4D高斯 今日论文速览 1. StepAudio 3：全双工语音模型98.9分登顶 StepAudio 3 Realtime Technical Report | StepFun-Audio Team | arXiv:2609.14005 关键词：实时语音交互,全双工对话,边想边说,音频语言模型,MTP解码 ⚠️ 前序问题：实时语音交互要同时满足三件互相拉扯的事：听懂语音里丰富的声学线索（意图、情绪、环境），在对方还没说完时就能自然接话（停顿、附和、打断），以及先做足够深的推理再开口。传统做法要么把推理挪到对话之外、延迟跟着涨，要么为了低延迟直接砍掉推理深度——「想得深」和「答得快」长期被当成一对不可兼得的取舍。 本文贡献：StepAudio 3 Realtime 把整套系统组织成一个连续的「听—对话—思考—行动」循环。三个关键部件：Deep Perception 从原始音频里抽取丰富的声学线索来理解意图；Seamless Duplex 对同步的用户/模型双路音频流建模，处理停顿、附和与打断；核心创新是 Think-While-Speaking——让私有推理与语音输出并行执行，并用 Medusa 式的 MTP 解码加速思考，从而把「想」这一步塞进「说」的同一段时间窗里。训练侧配了一个 Adaptive Thinking 路由，先判断当前这一轮是否需要显式推理，若不需要就走 direct route、留一个空的 think block，避免为简单对话付出推理成本。此外集成了Voice Agent，在对话流不中断的前提下异步执行工具调用，把工具返回结果再融回对话。 实验效果：按官方技术报告的自测：推理模式下 StepAudioChat 宏平均 73.0，达到专用推理模型的水平；MMSU 90.6；Artificial Analysis Full-Duplex Bench Overall 98.9；τ-Voice 宏任务成功率 56.0%。同表里 ASR 侧 StepAudio 3 ASR Max 在 LibriSpeech clean 1.18、WenetSpeech meeting 4.35、AISHELL-1 0.49，三项均为全表最低错误率；音频理解侧 MMAR 86.5、AudioMultiChallenge 49.3；通用能力侧 HMMT 86.8、GPQA Diamond 83.0、MultiChallenge 59.7。 批判点评：优势几乎全部集中在「实时语音交互」这一列：Full-Duplex Bench 98.9 领先 Doubao 2.0 Lite 的95.3 与同表 Gemini 系列的 95.1~98.4，ASR 三项也确实拿到最低错误率。但同一张表暴露了明确的短板——AudioMultiChallenge 49.3，比同表最好成绩 67.0 落后近 18 分；GPQA Diamond 83.0 低于同表最高的 90.3；MultiChallenge 59.7 也落后最好成绩 68.1。τ-Voice 上 56.0 与 Doubao 2.0 Lite 的 56.5 基本持平甚至略低，说明「边想边说」这套机制在需要长链条决策的智能体任务上还没转化成稳定优势。此外全部数字均为团队自评、无第三方复现，报告也没有给出 Think-While-Speaking 与串行思考在同等算力预算下的严格对照——增益里究竟有多少来自 MTP 解码加速、多少来自推理与发声的并行重叠，需要拆开才能判断架构本身的净贡献。 2. OmniVChat：全模态对话视频2800题 OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue | The Chinese University of Hong Kong；Alibaba Token Hub；Shanghai Jiao Tong University；Shanghai Innovation Institute；Zhejiang University | arXiv:2609.21465 关键词：音视频对话,全模态模型,合成数据,强化学习奖励,基准评测 ⚠️ 前序问题：让全模态模型像人一样「看着你、听你说话就直接回应」，而不是先把语音转成文字、把视频转成描述再喂给语言模型。直接吃音视频能省掉转写带来的外部延迟与算力，也保住了表情、环境、手边物品这类感知线索。但这条路有两个卡点：一是人们用自己设备录的真实对话数据极其稀缺；二是同一个意图有无数种说法，好的回答往往要结合用户所处的环境与表情，用关键词匹配根本判不出回答质量。 本文贡献：论文把这条路线正式命名为 OmniVChat，并配齐了数据、评测、训练三件套。数据侧 OmniVChat-Studio 是一个多智能体合成引擎，用智能体协作加视频生成造出单轮与多轮的音视频对话；评测侧 OmniVChat-Bench 覆盖 5 大能力类、17 个子类、22 个场景域共 2800 条合成实例，另有人工实录的 OmniVChat-Bench-Human（360 条）作为真实分布对照；训练侧 OmniVChat-RL 给出一套把回答正确性、效率与风格联合起来的 rubric 奖励设计，直接在合成对话上训练 Qwen3-Omni-Instruct，验证奖励设计能否迁移到真实录制的对话上。 实验效果：RL 训练满 1000 步（记录 51 个 checkpoint）后，OmniVChat-Bench 与人工录制的 OmniVChat-Bench-Human 命中率同步上涨，且合成集与实录集的曲线走势一致，论文还逐条给出了 16 个子类的学习曲线，说明在合成数据上得到的增益确实能迁移到真实对话。对比表里 Qwen3-Omni-Instruct 基线的综合命中率 0.186，训练后与 Qwen3.5-Omni-Plus 的 0.361、Doubao Seed 2.0 Lite 的 0.330 进入同一档。 批判点评：最值得警惕的是奖励设计里的「效率」项。训练曲线显示 Reply Efficiency（每千词的 rubric 命中数）从约 5 涨到 20 的同时，平均回复长度从接近 100 词一路掉到 35 词左右——效率提升有相当一部分来自「少说几句」而不是「说得更准」，在固定 rubric 打分下这几乎必然发生，机制上和同期的 reference-free 语音指标那篇讲的 reward hacking 完全一致。第二，OmniVChat-Bench 全部是合成实例，而实录集只有 360 条，并且只覆盖十二个单轮子类中的一部分，所以「迁移到真实对话」的证据强度受限于实录集规模——论文自己也在多个子类上标注 Bench Only，意味着这些能力在真实录制条件下根本没有对照数据。第三，用合成对话同时做训练和评测，存在评测集与训练分布同源的风险，跨数据集的零样本能力没有被检验。 3. CompAdapt：物理视频生成PIS 0.862 CompAdapt: Adaptable Composite Motion Modeling for Physics-Consistent Text-to-Video Generation | Harbin Institute of Technology；Alibaba Taobao | arXiv:2609.21455 关键词：文生视频,物理一致性,复合运动建模,神经动力学,一次性适配 ⚠️ 前序问题：扩散式文生视频能出画质、也能出时序连贯，但常常违反基本物理：物体不受重力、碰撞后穿模、运动类型中途乱切。已有的物理约束方法大多只会处理单一运动类型，还要人工指定物理参数，换一个没见过的物理环境就失灵。问题在于真实场景里的运动几乎都是复合的——耦合、多阶段转换、多物体碰撞，单一类型的动力学先验覆盖不了。 本文贡献：CompAdapt 把神经动力学建模从单一运动类型扩展到复合物理行为。架构上有两个关键模块：Motion Type Composite（MTC）在潜空间里把多个运动类型按时间关系做算子级复合，Multi-Object Interaction（MOT）在检测到物体接触时切到显式的交互动力学。自然语言提示被解析成结构化的物理语义——运动类型、时序关系、初始物理参数——实现端到端指定，不再需要人工调参。跨新物理环境靠 dynamics-aware prior matching 做一次性适配，不必重训核心动力学模块；另有 physics-aware 潜特征融合模块负责高速与复杂运动下的画面保真。 实验效果：消融实验：去掉 MTC 后 PIS 掉到 0.615，去掉时序建模掉到 0.589，去掉双 LLM 语义解析掉到 0.724，完整版 0.862；FID 15.0 / FVD 91.4 / PSNR 17.2 / SSIM 0.61，相比 Wan-Move（16.3 / 93.5 / 16.5 / 0.58）与 Go-with-the-Flow（17.5 / 96.7 / 14.9 / 0.56）在四项上均有改善，生成开销 2.9 与 Wan-Move 持平。定性部分把 NewtonGen、PhysT2V、Wan2.2、CogVideoX-5B、Veo3、Sora 全部拉到同一组提示下逐帧对照，覆盖抛体旋转、阻尼振荡、均匀加速、形变碰撞等组合运动。 批判点评：三处需要打折。第一，主指标 PIS（物理一致性分数）由论文自行定义，没有第三方榜单或社区复现支撑，而它在消融中的跨度（0.589 → 0.862）恰恰是全文最大的增益来源，指标自证的风险较高。第二，所谓「复合运动」实际只覆盖 9 类情形，其中真正涉及物体接触的弹性碰撞仅 2 类，多物体场景仍是最薄的一环，所谓 multi-object collisions 的证据量偏小。第三，「一次性适配」并不等于「免数据」——流程本身仍需要目标环境的一段观测视频（one-shot reference）才能完成 prior matching，因此把它当作通用物理先验来用还有前置成本。论文 comments 自注为 NeurIPS 2026 投稿（23 页、4 图），尚未经同行评审。 4. KaiNinja：3D部件生成免分割器 KaiNinja: Extending Native 3D Generators to the Part Level | Alaya Lab；The University of Tokyo；UC Merced；Institute of Science Tokyo | arXiv:2609.15659 关键词：三维生成,部件级建模,双体积表示,稀疏体素,免分割 ⚠️ 前序问题：TRELLIS.2 这类原生 3D 生成器能把一张图变成高保真、带材质、非水密的网格，但输出是一个融合好的整体；而下游的编辑、绑定骨骼、物理仿真全都按部件操作。最直接的办法是在融合网格上再跑一个 3D 分割网络，可这样既慢、又被分割精度卡死。真正的技术障碍更基础：O-Voxel 网格每个体素只存一片表面，所以单个 volume 在任何分辨率下都无法表示两个部件贴合的那层界面。 本文贡献：论文提出双体积（dual-volume）表示来补上缺失的界面——同一位置存两套体积，让贴合面两侧各自有归属。KaiNinja 建立在 TRELLIS.2 的 O-Voxel 之上，分两阶段生成：Stage 1 的 Layout Flow 把 3D 噪声网格去噪成逐 volume 的 occupancy 布局，两条流各自有自注意力、再用零初始化的全局注意力块跨流通信；Stage 2 的 SLat Flow 复用 TRELLIS.2 权重，只在活跃体素上对稀疏噪声去噪，最后由 FVAE 解码成 O-Voxel 体积并装配成部件分离的网格。整条流水线里没有掩码、也没有分割器。训练数据来源混杂，包含 CAD 模型和由 LLM 驱动的智能体创作的资产，作者称这是首个用智能体创作的部件数据训练的 3D 生成模型。 实验效果：相对不同范式的部件生成流水线，整体 Chamfer distance 降低 40%、严格部件 F-score 提升 16%；在held-out 测试集与训练未出现过的源上，KaiNinja 产出的部件数量都最接近真值，而 TRELLIS.2+X-Part、Hunyuan3D-2.1+X-Part、OmniPart、PartPacker 这几个基线常常把部件融在一起或者碎开。作者还报告一个反直觉现象：同样的骨干、同样的数据，加上部件级监督之后整体几何保真度反而也提升了。 批判点评：「免分割器」是这篇最硬的卖点，而它恰好没有回答分割器方案真正的软肋——精度上限。论文比的是部件数量、Chamfer 距离与 F-score，没有给出「部件语义是否对得上真值」的证据：在训练未出现的源上，KaiNinja 的部件着色与真值明显对不齐（椅子、花瓶、水壶几行都能看出切分位置与真值不同），也就是说「切得开」和「切得对」之间仍有距离，而语义正确性恰恰是分割器方案此前唯一能保证的东西。其次，40% / 16% 相对的是各基线外挂 X-Part 分割器后的组合结果，比的是「你的流水线 vs 别人的流水线」，而不是「dual-volume vs legacy O-Voxel」，无法分离表示本身的净贡献。第三，所谓「首个用智能体创作数据训练」目前只是自述，论文没有给出这类数据在训练集中的占比，也没有做数据来源的消融，因此这个卖点暂时无法验证。 5. 4DGS-Fixer：稀疏四视角重建4D高斯 4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors | Goertek Alpha Labs；Singapore Institute of Technology；The Hong Kong University of Science and Technology | arXiv:2609.21176 关键词：4D高斯泼溅,稀疏视角,视频扩散先验,迭代精修,动态场景重建 ⚠️ 前序问题：用稀疏视角视频重建动态场景是典型的病态问题：观测太少、信息缺失，再多优化技巧也补不出来。更具体的症结在初始化——只有几个输入视角时，COLMAP 只能重建出稀疏残缺的点云，大片区域没有足够的高斯基元支撑，后续优化根本无从下手。也就是说问题出在起点，不在优化器。 本文贡献：论文给出一个两阶段的迭代精修框架。Stage 1 初始化：先对多路同步视频估计多视角深度图，把它们融合成稠密点云，为动态 4DGS 提供更完整的几何起点，替代 COLMAP 的稀疏点云。Stage 2 精修：沿新的相机轨迹渲染出视频，送进一个预训练的视频修复/恢复模型得到「修复后的伪目标视频」，再把它当作伪监督去迭代更新 4DGS 表示，多轮往复。整条链路的思路是用视频扩散先验补足缺失的观测信息，而不是继续在几何约束上加码。 实验效果：在常用的稀疏视角动态基准上，相对此前最好的方法 PSNR 提升接近 2 dB，作者称 substantially outperforms 现有基线。定性对比给出 GT / 4C4D / Ours 三行并排结果，4DGS-Fixer 在人物细节与背景完整度上都比 4C4D 明显更干净、更少孔洞。论文 comments 标注已接收至 SIGGRAPH Asia TC。 批判点评：整条链路的关键一步是「拿视频修复模型的输出当监督」，这带来一个绕不开的疑问：修复模型的幻觉会被原样写进 4DGS。用修复后的序列做伪监督，本质上是把生成先验的偏好当成真值——一旦输入视角极少、修复模型开始「编」，4DGS 就会忠实地记住这些编出来的内容；而 PSNR 的提升恰恰可能来自「补全得更像训练分布」而不是「更接近真实场景」。论文没有做「关掉修复模型、只保留深度稠密初始化」的对照，因此也说不清 2 dB 里有多少来自几何初始化、多少来自扩散先验。其次是部署成本：方法需要四路同步相机加一个预训练视频修复模型，实时性与泛化到非受控场景的能力都未讨论。源码层面还有个小瑕疵——LaTeX 里仍留着旧名「STGFixer pipeline」的残句没清理，说明从 STGFixer 改名到 4DGS-Fixer 之后并未完全同步。 6. RefineEdit：九类编辑背景保持最优 Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network | City University of Hong Kong (Dongguan)；City University of Hong Kong；MBZUAI | arXiv:2609.20633 关键词：图像编辑,免训练,生成式精修网络,二值图像码,背景保持 ⚠️ 前序问题：文本引导的图像编辑要在「改对」和「别乱改」之间走钢丝。扩散类编辑器靠空间控制（掩码、注意力图）来圈定改动范围，而掩码一旦不准，结果不是改不彻底就是动到无关区域；因果自回归类编辑器还有一层额外约束——解码顺序固定，前面已经决定的 token 后面没法回头修正，早期的一个坏决策会被一路带下去。 本文贡献：论文换了一个编辑载体：不去控制扩散过程，而是在 Generative Refinement Network 的二值图像码上做全局精修。核心机制是双分支耦合——编辑分支从源轨迹的某个中间状态初始化，复用已经成形的布局；两个分支对同一批源采样 bit 分别给出概率，用它们的带符号差值挑出「该改的位置和 bit」。被选中的 bit 进入编辑精修，其余 bit 复制源分支持续演化的状态，于是「定位」与「生成」被绑在同一个精修过程里，编辑证据可以随图像演化不断被重新评估。为跨精修步稳定，论文加了两道约束：adaptive spatial freezing 抑制掩码无谓扩张，finite bit locking 让最近选中的 bit 保持可编辑。整套方案免训练、不需要外部掩码，也不需要注意力控制。 实验效果：在 PIE-Bench 的九类编辑任务上，RefineEdit 在 PSNR / LPIPS / MSE / SSIM 四项背景保持指标上全部最好，同时整图 CLIP 与被编辑区域 CLIP 也最高——「改得准」与「背景不崩」这次没有被做成取舍。定性部分与 LEDits++、FlowEdit、ChordEdit、MasaCtrl 在替换、添加、擦除、属性/姿态/颜色/材质/背景修改与风格迁移九类上逐一并排对比。 批判点评：最大的边界条件藏在实验设置里：这套流程要求源图来自 GRN 自己的生成轨迹——编辑分支要「继承源状态」，因此它编辑不了任意真实照片。论文在 limitation 里自己承认了这一点，但对普通用户而言，「只能改模型自己生成的图」和「能改我相册里的照片」是两个完全不同的产品。其次是超参：switch step（从第几步开始分叉）以及空间/bit 两个阈值都需要逐类调整，而且最优值是在同一个 PIE-Bench 评测集上选出来的，相当于用测试集选超参；论文的 limitation 也承认这些类别特定设置是在该基准上挑的，跨数据集泛化没有被验证。第三，九类各自用自己那一档配置，但真实用户不会先告诉系统「这次是换材质还是换背景」，多类混合的编辑场景仍未被覆盖。 7. QuAKE：W4A4 文生图量化误差校正 Quantization-Aware Kalman Estimation for Diffusion Sampling | Tsinghua University | arXiv:2609.21407 关键词：扩散模型量化,推理加速,W4A4,卡尔曼滤波,采样校正 ⚠️ 前序问题：量化是扩散模型落地的现实路径，但 W4A4 这种激进压缩会让量化去噪器的输出明显偏离全精度版本，而误差还会沿时间步持续传播、越积越大。已有的采样期校正方法基本只看当前步的局部信息，没有利用整条轨迹的历史——而误差恰恰是跨时间步传播的，用局部信息去修一个全局累积的问题，方向就不对。 本文贡献：论文把「用量化去噪器采样」重新表述成一个在线估计问题：既然真实的全精度输出拿不到，那就用历史量化输出去把它估回来。QuAKE 是为此设计的量化感知 Kalman 估计器，用一个平滑轨迹先验叠加一个条件高斯观测模型，每一步以闭式解递归更新「输出窗口」的后验，再把后验均值喂给采样器。它不改动量化网络、天然支持任意高阶多步 ODE 采样器，是一个即插即用的轻量校正器。论文同时给出了量化噪声的实证统计（边缘分布接近高斯、联合分布呈明显相关结构、条件分布可线性拟合），用来说明为什么 Kalman 这一套假设在这类噪声上站得住。 实验效果：在多个 W4A4 量化的文生图模型上，QuAKE 在「与全精度采样的分布差异」这一指标上持续领先：FLUX.1-dev + MJHQ-30K 上 FID 7.02 / KID 0.158，优于朴素量化的 7.30 / 0.257、TAC-Diffusion 的 7.31 / 0.304、Q-Drift 的 7.16 / 0.209；Sana-0.6B 上 7.90 / 0.289；PixArt-α 上 13.71 / 1.987；PixArt-Σ 上 15.99 / 3.401。开销按论文自己的测量几乎免费：FLUX.1-dev 单步延迟 22.2 ms（BF16）降到 6.2 ms（INT4 与 QuAKE 相同），DiT 体积 160 GiB 降到 102 / 104 GiB，端到端 23.51 s 降到 2.20 / 2.24 s。 批判点评：有一个容易被标题盖住的细节：QuAKE 赢的是分布距离（FID / KID），但在感知质量列上并不总是赢朴素量化。以 FLUX.1-dev + MJHQ-30K 为例，IR 分数 QuAKE 0.8822 低于 Quantized 的 0.8887，CLIP-IQA 0.9042 也低于 0.9057——也就是说 Kalman 校正主要抹平的是低层分布偏差，并没有让图在感知偏好上更讨喜；如果优化目标是下游打分模型或人眼偏好，朴素 INT4 甚至可能更安全。这不是论文的错，但摘要里「持续优于已有方法」的表述容易被读成全面胜出。其次，效率那一组三个数字（6.2 vs 6.2 ms、102 vs 104 GiB、2.20 vs 2.24 s）方向一致地说明校正本身几乎免费，反过来也说明它的收益完全来自「估得更准」而不是「跑得更快」——真正的加速来自量化，QuAKE 只负责把量化弄坏的部分补回来。最后，全部实验集中在文生图，视频扩散这类时间步更多、误差累积更长的场景是否同样成立，尚未给出证据。 8. AURA：对话式音乐编辑只训91M AURA: Unified Multimodal Framework for Conversational Music Editing | Aalto University；Technical University of Denmark；University of South Dakota；OpenRB Lab | arXiv:2609.14344 关键词：音乐编辑,多轮对话,多模态大模型,LoRA,概念token ⚠️ 前序问题：现有的指令式音乐编辑器是「一问一答」的：每条指令独立处理，用户想「先弱化鼓、再压一下高频、最后把情绪调柔和」这种逐步打磨的工作流根本走不通，因为模型记不住上一轮改了什么。此外，要改音乐光靠文字往往不够——用户脑子里想的是「这段场景听起来该是什么样」，而不是一串精确的音频术语。 本文贡献：AURA 把音乐编辑变成多轮对话。用一个多模态大模型读完整的对话历史、可选的一张图以及参考音频，把编辑意图蒸馏成一组紧凑的 concept token；再由 concept-to-audio（C2A）模块把这些 token 与逐帧对齐的参考特征注入冻结的 MusicGen 骨干——内部通过交叉注意力与 BiFAM 做对齐，让编辑既精确又不碰无关内容。训练只更新 91M 参数（LoRA rank-64 / α=128 加两个投影器与 C2A），1.9B 骨干全程冻结；对话数据由 Slakh2100 合成，共 66,539 段多轮对话。 实验效果：在域内 Slakh2100 与域外 MoisesDB 上同时评测：Add 任务的域外 FAD 0.84 对 Instruct-MG 的 3.84，Remove 任务域外 FAD 0.72 对 3.55，均为 4~5 倍降低；Remove 任务域内 SI-SDR +11.32 dB、SDRi +4.89，而 Instruct-MG 是 −2.10 / −8.53。消融显示对话历史确实起作用：只把最后一条指令喂给模型，Remove 的 SI-SDR 会掉到 −5.2 dB，SSIM 从 0.84 掉到 0.54。 批判点评：摘要里「域外 4~5 倍 FAD 降低」是有选择性的——它只覆盖 Add 与 Remove 两个任务；在 Extract 上 AURA 是 4.24 对 Instruct-MG 的 5.20，只有约 1.2 倍，并没有复现那个量级。更要紧的是 Extract 的SI-SDR 虽然比基线好得多（−7.62 对 −15.18），但仍是负值，说明「从混音里把目标音轨抽出来」这个任务本身离可用还有距离。其次，Remove 的域内增益（+11.32 dB）看着最亮眼，但该任务的域内评测集就来自训练数据来源域（Slakh2100 合成），换到域外 MoisesDB 只剩 +2.54 dB，跌幅接近 4 倍，真正的跨域能力比表格第一屏呈现的要弱。第三，91M 可训练参数对 1.9B 冻结骨干确实是漂亮的效率数字，但它同时意味着能力上限被 MusicGen-medium 这个骨干锁死，而论文没有给出换更大骨干的对照。 9. Qwen-Audio-3.0-TTS：四代语音模型瓶颈迁移史 The Evolving Bottleneck in Speech Generation: Interface Co-design and Staged Alignment from CosyVoice to Qwen-Audio-3.0-TTS | Alibaba Token Foundry | arXiv:2609.16514 关键词：语音合成,接口设计,瓶颈迁移,流匹配,阶段性对齐 ⚠️ 前序问题：语音合成的发展通常被叙述成「模型更大、tokenizer 更好、数据更多」，但这类叙事解释不了为什么某些改动立竿见影、某些就收效甚微。真正值得追问的是：每一代系统当下的主导瓶颈在哪里——是表征不够内容对齐？是接口不能因果流式？是覆盖度与可学习性不足？还是模型容量与跨模块协调出了问题？ 本文贡献：这是一篇技术回顾（technical retrospective），沿 CosyVoice → CosyVoice 2 → CosyVoice 3 → Qwen-Audio-3.0-TTS 这条线给出另一种解释：进步来自瓶颈的反复迁移。四代之间不变的是一条分解——自回归语言模型负责「规划」，flow-matching 模型负责「渲染」；变的是两者之间的接口契约。作者把契约形式化成四个维度：representation（表征）、ownership（归属）、availability（可用性）、gradient reach（梯度可达性），并明确区分「单篇论文内的证据」与「跨论文比较」。每一代针对一个不同的约束：CosyVoice 立下监督式语义 token 这个内容对齐接口；CosyVoice 2 让接口对因果流式可用、把句级说话人嵌入从语言模型里移出；CosyVoice 3 靠多任务监督、数据与模型扩容、以及可微奖励优化（DiffRO）提升接口的可学习性与覆盖；Qwen-Audio-3.0-TTS 把帧率从 25 Hz 降到 12.5 Hz、渲染器改为条件在连续隐状态而非离散 token 嵌入上，并用五阶段课程做联合分阶段对齐。 实验效果：文中给出的实证来自各代公开系统：语义 token 的引入把中文 CER 从 2.56 降到 1.45、英文 WER 从 3.81 降到 2.57（CosyVoice 2 的模块消融）；数据从约 17 万小时扩到 100 万小时、语言模型从 0.5B 扩到 1.5B（CosyVoice 3）；Qwen-Audio-3.0-TTS 把帧率减半并保留 K=6561 的码本，五阶段课程依次为独立预训练、联合训练与质量退火、语言模型强化学习、声学鲁棒性、flow-matching 强化学习。 批判点评：这篇最需要标注边界的地方，作者自己写在 Figure 1 的图注里：「箭头编码的是我们的回顾性解释，而非受控的跨版本实验」。也就是说「瓶颈迁移」是一个事后叙事，不是被控制变量检验过的因果结论——拿它指导新系统设计时，风险在于你可能把相关性当成了因果。另一个更具体的问题是证据来源：文中复现的 tokenizer 对比（例如把帧率减半同时保持 K=6561 会一并损伤内容一致性与相似度）引自 Xiang et al. (2026)，属于「论文内对比」的二次引用，不是独立复现；Table 1 也是同样的性质。因此这篇更适合当作一份结构清晰的领域地图来读——四维接口那套分析框架确实好用，也确实解释了「为什么改 tokenizer 有效、改渲染器无效」这类问题——但不宜当成可直接复制的工程配方。论文 comments 自注为 technical retrospective（11 页），本身也不以实验贡献为目标。 10. Ref-Free Metrics：13类语音指标在干净音频失效 The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern Text-to-Speech | AGIGO；ETH Zurich；Sapienza University of Rome；University of Zurich | arXiv:2609.13150 关键词：语音质量指标,无参考评测,奖励攻击,成对偏好,评测协议 ⚠️ 前序问题：UTMOS、DNSMOS、SCOREQ 这类无参考质量预测器，今天既是 TTS 的默认自动评测器，又越来越常被拿去做偏好优化的奖励信号。这两个角色都建立在同一个假设上：预测分数能跟上人类偏好。但这个假设在什么条件下成立、什么时候会崩，此前没有被系统检验过。 本文贡献：论文把假设直接摆到台面上测。做法是构造一个成对判定任务——给两个音频片段，问预测器打分更高的那个是不是人更偏好的那个——然后在 6 个人工评分语料上跑，覆盖从「瑕疵明显」到「几近无瑕」的完整质量区间。评测对象包括 13 个无参考预测器家族（33 个分数变体）、13 个 Praat 韵律描述符，以及一批经典信号处理特征，每项都给出相对「随机基线」与「人类天花板」的位置。第二部分把这些指标当奖励用，对比单分数奖励与复合奖励在策略优化下的行为差异，并给出数据效率曲线。 实验效果：结论相当刺。在瑕疵明显的 BVCC 上，各指标准确率能爬到人类天花板附近（天花板 0.887，标定的复合分数到 0.92）；但一旦两边音频都干净（TTS-HP），没有任何单个预测器能可靠指认被偏好的样本，好几个的准确率甚至低于「直接挑时长更长的那个」这个傻瓜基线（argmax clip duration 在 BVCC 0.517、SOMOS 0.368、SingMOS 0.456、SpeechJudge 0.370、TTS-Arena 0.523、TTS-HP 0.524），复合分数也才 0.52，而人类天花板是 0.764。奖励侧更严重：优化单一分数会诱发 reward hacking——指标冲上去了，但独立留出评测器和人工听测同时变差；复合奖励能抵抗这个倾向。数据效率曲线还给了个实用兜底：每类只取 min(20%, 1000) 条域内成对数据拟合一个带正则的线性头，就能把准确率相对最好的单指标提升 +1.5%（BVCC）到 +6.6%（SOMOS）。 批判点评：这篇的价值是给出一把尺子，而不是给出一个能用的指标——它自己也承认在干净音频上没有任何固定公式可迁移。要留意三点。第一，复合分数需要通过域内偏好标注拟合（论文用了 min(20%, 1000) 条域内成对数据），相对增益只有 +1.5% 到 +6.6%，也就是说「改用复合分数」这个建议的前提是你已经有该领域的偏好数据，对做通用 Reward Model 的人是不小的门槛。第二，它测的是成对偏好准确率，不是绝对 MOS 拟合度，「指标失效」的结论不能直接推成「MOS 预测不准」——在需要绝对分数的场景里结论需要重新验证。第三，时长基线之所以能赢，是因为评测语料里存在系统性的时长偏差，这提示「最好用的信号」可能来自数据偏置而非感知质量；反过来说，这也意味着任何在干净音频上得到的排行榜，都可能只是某个数据偏置的代理指标。 趋势观察 「边想边说」正在把推理的延迟藏起来 StepAudio 3 让私有推理与语音输出并行执行，用 Medusa 式 MTP 解码把思考压进说话的同一段时间窗；QuAKE 则把量化误差的校正重新表述成一个在线估计问题，用轨迹历史去猜全精度输出本该是什么。两者都在回答同一个问题：当「想清楚」和「立刻给」不能同时满足时，能不能把其中一件事塞进另一件事的时间窗里，而不是二选一。 物理一致性开始从「单类型」走向「复合行为」 CompAdapt 把神经动力学从单一运动类型扩到耦合运动、多阶段转换与多物体碰撞，并用一次性适配去应对没见过的物理律；4DGS-Fixer 干脆不追求几何自洽，改用视频扩散先验把缺失的观测补出来当伪监督。一个在约束上加码，一个在数据上放开，方向相反，但都承认了同一件事：稀疏观测下的物理，靠纯几何推不出来。 「部件」正在成为 3D 生成的新交付单位 KaiNinja 指出 O-Voxel 每个体素只存一片表面、单个 volume 在任何分辨率下都表示不了两个部件贴合的那层界面，于是用双体积表示把界面补上，全程不需要掩码或分割器。下游的编辑、绑骨与仿真要的正是部件而不是一整块表面。这提示 3D 生成的下一步未必是把表面做得更细，而是把语义切分做得更明确。 质量指标同时当评测和奖励，正在被自己的盲区反噬 语音侧，Ref-Free Metrics 那篇的 13 个无参考预测器在干净音频上集体失效，好几个甚至不如「挑最长的那个」，而优化单一分数会直接诱发 reward hacking；对话视频侧，OmniVChat 的效率项让平均回复长度从约 100 词掉到 35 词，效率上涨里混着「少说几句」。当同一个分数既当尺子又当奖励，它没测到的那部分就一定会被优化出来。 人工智能炼丹君 整理 | 2026-09-22 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注