AIGC 每日速读|2026-09-24|阿里Qwen3.8-Omni发布，视频推理输Gemini 今日 AIGC 论文速览 今日共 10 篇 · 全模态基座与语音智能体 2 篇 · 视频编辑与生成智能体 2 篇 · 生成推理加速与量化 2 篇 · 视觉Tokenizer与音视频生成 2 篇 · 奖励模型与生成安全评测 2 篇 重点论文标题列表 Qwen3.8-Omni（Qwen Team, Alibaba Group）：原生全模态智能体，百万上下文 VideoX-Qwen（Nanjing University）：120万对指令视频编辑数据 QuantWM（Harbin Institute of Technology (Shenzhen)）：2比特KV量化压住时序闪烁 Flash-dLLM（VILA Lab, MBZUAI）：扩散LLM提速五倍且不伤精度 VideoGen-Agent（Princeton University）：RL教会智能体用工具做视频 今日论文速览 1. Qwen3.8-Omni：原生全模态智能体，百万上下文 Qwen3.8-Omni: Towards Native Omni-Modal Agents | Qwen Team, Alibaba Group | arXiv:2609.25611 关键词：全模态智能体,稀疏MoE,百万上下文,视频剪辑,插件框架 前序问题：全模态模型此前主要强调感知和交互，真正的长程智能体任务——调工具、跑多步、把一段素材剪辑成片——要靠外挂 harness 拼，而现有 agent harness 对音频和视频没有原生支持。缺一个在多模态上原生 co-training、又不丢文本能力的底座。 本文贡献：发布 Qwen3.8-Omni-Flash：Thinker 继承 Qwen3.8-Next 的稀疏 MoE 骨干（GDN 与交错注意力混合），上下文扩到 100 万 token；原生多模态 co-training 把文本侧的智能体能力迁移到音视频任务，再经多教师蒸馏合并领域专精策略；配套开源 Qwen-MM-Plugins 插件框架与 Qwen-Live-Harness 实时交互框架。 Qwen3.8-Omni-Flash is a unified end-to-end model capable of processing multiple modalities 实验效果：WildClawBench-MM 从上代 34.5 涨到 71.0（+36.5）、AgenticVBench 14.5→36.8、OmniGAIA 57.2→74.0；Video-MME-v2 47.9→65.0。开智能体模式后 LVOmniBench 63.3→73.6，OmniVideoBench 单次 query 消耗 token 从 14.6 万降到 7.9 万（约 -45.7%）。 The overview of Qwen3.8-Omni-Flash-Realtime and Qwen-Live-Harness 批判点评：摘要口气很大，但表格里对手没输干净：Gemini 3.8 Flash 在三个视频推理基准的静态设置上全面更高，开智能体后 OmniVideoBench（70.1 vs 67.8）和 Video-MME-v2 仍被压着；teaser 图的 OmniCap-IF 一栏 Flash 拿 20.2，落在上代 Plus 的 28.3 和 Muse Spark 1.2 的 26.8 之后。所谓「领先」主要立在自己参与的新评测上。 2. VideoX-Qwen：120万对指令视频编辑数据 VideoX-Qwen: Data-Centric Instruction-Based Video Editing | Nanjing University；Jiutian Research | arXiv:2609.26015 关键词：指令视频编辑,数据合成,Qwen3-VL,Wan,成对监督 前序问题：通用视频编辑缺的不是模型而是监督：编辑要在执行指令的同时保住无关主体、场景结构和时序连续性，而成对（源视频、指令、目标视频）数据的规模和任务覆盖都远远不够，指令视频编辑长期落后于图像编辑。 本文贡献：一条可扩产的数据流水线：Qwen3-VL-235B 做源视频筛选与目标解析，加/删走 SAM3 加 Minimax-Remover，替换/属性走 Qwen-Image-Edit 首帧编辑加 WanAnimate 传播，自动通过率 89%，产出 120 万条方向性编辑对（每组任务超 40 万条）。模型侧统一 Qwen-Wan 编辑器：多模态语义条件加稠密源视频 latent 引导，图像-视频三阶段渐进训练。 Paired-video construction pipeline 实验效果：100 例对比 UniVideo 和 Kling O1：11 项指标里 9 项均值最优，覆盖指令遵循、编辑质量、内容保持、结构与感知相似度和视频分布质量。 Qualitative comparisons on compound and attribute editing 批判点评：「9/11 最优」的另一面是 11 项里输了 2 项，且对比规模只有 100 例；加/删两条数据路线直接复用 Minimax-Remover 和 WanAnimate，编辑对质量上限被这些现成生成器封顶。论文把「逐条校验富化后的指令」画成 proposed extension（虚线框），等于承认 120 万对里指令与实际编辑的一致性还没有被逐一验证。 3. QuantWM：2比特KV量化压住时序闪烁 QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation | Harbin Institute of Technology (Shenzhen)；National University of Singapore | arXiv:2609.26425 关键词：KV cache量化,视频生成加速,世界模型,注意力补偿,训练无关 前序问题：视频生成和世界模型的 KV cache 是部署瓶颈，已有 2-bit 量化方法在 VBench 这类指标上「几乎无损」，但作者实测发现：指标没掉，画面却在闪——逐帧指标天生看不见时序问题。 本文贡献：训练无关、严格因果的 2-bit KV 量化框架。诊断先行：Key 的量化重建误差比 Value 小，输出退化却更大，因为小扰动就能改变 QK^T 注意力 logits、挪走 Query 选中的时序-空间 token。对症两招：QSAC 聚类联合历史 Query 敏感度与残差范围选 INT2 友好的 Key 质心；PSAC 用低秩投影沿 Query 主子空间补偿残余 Key 误差。 Overview of QuantWM's inference system 实验效果：Causal-Forcing、LingBot-World-v2、HY-World 1.5、Matrix-Game-2、Longcat-Video 五个底模上，KV cache 最高压缩 6.20×，图像与视频质量指标全面超过现有 2-bit 方法，额外开销有限，且保持严格因果可流式推理。 Visual comparison of BF16, K16V2, K2V16 and K2V2 on world models 批判点评：这篇最值钱的是诊断而不是方法：它解释了为什么「VBench 几乎无损」的结论靠不住——逐帧指标对时序闪烁盲。但时序改善的验收仍以看图为主，论文没给出时序稳定性的量化指标；6.20× 的压缩上限是在 93 帧生成这一档测的，更长序列的收益未报告。 4. Flash-dLLM：扩散LLM提速五倍且不伤精度 Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs | VILA Lab, MBZUAI | arXiv:2609.26796 关键词：扩散语言模型,KV cache,并行解码,Triton,推理加速 前序问题：扩散 LLM 靠并行去噪生成文本，但双向注意力让自回归那套 KV cache 直接失效；已有加速工作把 KV cache 和并行解码分开研究，两者合用时 GPU 显存 I/O 反而成了主要瓶颈。 本文贡献：训练无关两件套。Flash-Cache：把 QKV 投影、RoPE、cache 写入、注意力计算融进一个 I/O 感知的融合 Triton 核，砍掉冗余访存；Flash-Verify：让 dLLM 自己既当 drafter 又当 verifier 做草稿-验证式并行解码，不挂辅助模型。 Overview of Flash-dLLM 实验效果：LLaDA-1.5 上对此前最强的 Elastic-Cache 在 GSM8K/HumanEval 分别提速 5.1 倍和 11.0 倍；Flash-Cache 加 Flash-Verify 达到精度 83.02%、吞吐 210.6 tokens/s（Elastic-Cache 为 82.79%、41.7）；batch 16 显存约 26GB，对照 Fast-dLLM 的 50GB 降约 48%，后者在 batch 24 直接 OOM。 Throughput and peak memory versus batch size on GSM8K 批判点评：赢面都在 dLLM 阵营内部：可扩展性图里自回归的 Llama3 在 batch 32 的吞吐仍高于 Flash-dLLM，「扩散 LLM 加速后追平 AR」还没有发生。精度与吞吐是硬权衡（80.2% 到 83.2% 对应 278 降到 186 tokens/s），宣传里 81 倍是对无 cache 基线的倍数，直接引用容易被误读成对 SOTA 的提速。 5. VideoGen-Agent：RL教会智能体用工具做视频 VideoGen-Agent: Reinforcing Video Generation Agents | Princeton University；Stanford University；UC Davis；MMLab, CUHK；BenchFlow；GWU | arXiv:2609.24997 关键词：生成智能体,强化学习,工具调用,视频生成,VABench 前序问题：视频生成模型面对需要专业知识、特定身份、物理一致或时序事件的 prompt 经常直接翻车：太极招式做不对、指定角色画不像、物理参数乱来。单靠扩大底模收益有限，缺一个会检索、仿真、检测来补信息的生成智能体。 本文贡献：六类任务上训一个共享策略：先在教师轨迹上 SFT 建立工具使用习惯（检索文本/图像、仿真、目标检测、深度估计等），再用类别感知混合奖励（工具调用合法性、任务适配度、视频质量）做 RL。配套 VABench：600 条 held-out prompt，覆盖程序知识、单/多实体身份、物理一致、场景合成、多镜头时序。 Overview of VideoGen-Agent 实验效果：VABench 上从底模 56.5 提到 75.6（+19.1 分）；把生成工具换成更强的 Seedance 2.0 后，不重训智能体就到 86.1；人评 84.3% 偏好升级配置而非最强独立基线。 Qualitative comparison on Procedural Knowledge generation 批判点评：86.1 这档数字藏着归因问题：从 75.6 到 86.1 的增量完全来自换生成工具，智能体一行代码没动——agent 框架的收益上限被底模和工具质量强绑定，这一段「白捡的分」其实是底模的分。混合奖励里「视频质量」一项依赖 VLM 裁判打分，裁判偏差会直接写进策略，论文未讨论防 reward hacking 的机制。 6. Vorch-Human：一个模型统一说话人与歌声视频 Vorch-Human: Unified Multi-Task Human-Centric Generation via Long-Horizon Continuation | Vorch Team；Harbin Institute of Technology, Shenzhen；Tongji University | arXiv:2609.26117 关键词：音视频统一生成,数字人,扩散transformer,长视频,身份保持 前序问题：以人为核心的音视频生成被拆成好几个模型：语音驱动数字人、参考音色合成说话视频、外观加声音参考生成场景，各自训练各自维护。它们本质上是同一组模态、只是条件不同的任务。 本文贡献：双流音视频扩散 transformer，在传统 noisy 音频/视频接口之外增加 clean 条件 token 组，用 per-token 任务嵌入、时间位置类型、条件掩码和共享多模态 prompt 编码器，把驱动语音、音色样本、首帧、主体图统一进一个模型；两级数据管线做说话人聚类与跨片段身份串联；长视频靠冻结 latent 前缀递归、每段只生成新后缀。 Role-aware unified human-centric architecture 实验效果：5 分钟长生成保持身份一致与音画同步；GSB 人评对 LongCat-Video-Avatar-1.5：动作/姿态/表情净偏好 +46.9%，口型准确度 +47.5%，单人音视频驱动整体净偏好 +27.1%。 Raw GSB breakdown for LongCat-Video-Avatar-1.5 批判点评：同一张 GSB 图的另一半：视觉质量净偏好 -13.1%，多人场景再输 -9.2%——赢的两项全在「跟音频对齐」上，纯画质反而输给 LongCat，摘要里 strong identity preservation 的措辞没覆盖这个短板。署名主体写作「Vorch Team」，机构披露不完整，技术报告性质明显。 7. StableVQ：三招治住VQ码本训练崩溃 StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training | Huazhong University of Science and Technology；KlingAI Research；South China Normal University | arXiv:2609.26774 关键词：VQ tokenizer,码本利用率,训练稳定,自回归生成,ImageNet 前序问题：共享投影 codebook 把 VQ tokenizer 的利用率推上去之后，训练稳定性成了新瓶颈：码本利用长期趴在低位、出现永久死码、甚至在 26 万步附近突然崩到 0。现有方法各打各的补丁，缺少对根因的解释。 本文贡献：把根因归结为 Encoder-Decoder 与 Codebook 的「纠缠训练」：两个子系统各自都无法独立完成任务，只能靠碰巧合作维持。三个零参数改动：Dynamic STE 按量化距离压低不可靠梯度；Region VQ Loss 让激活码向邻近未激活码按比例传播目标；Decoupled Schedule 给两个子系统各配独立学习率调度。 Three characteristic failure modes of VQ training 实验效果：ImageNet 256 重建：262k 码本 120 epoch rFID 0.92（对照 FVQ 1.29、SimVQ 3.16），16k 码本 1.13；鲁棒性指标 UR-AUC 60.59，比 FVQ 的 8.08、SimVQ 的 2.17 高一个量级；只用单个线性投影层就追平需要 ViTBlock 投影器的 FVQ。 Qualitative reconstruction comparison with a 16k codebook 批判点评：主张是「治崩溃」，但主表里 FVQ 和 SimVQ 在各自标准配置下利用率本来就是 100%，差距全在故意制造码本-token 分布错配的鲁棒性测试里拉开——这三招买的更像「最坏情况的保险」，常态训练收益主要是 rFID 那 0.2 到 0.4。下游生成只给「competitive」，FID 全表在附录。 8. Qwen-Audio 3.1：全双工误答率从73%压到13% Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction | Alibaba Token Foundry, Alibaba Group | arXiv:2609.25176 关键词：全双工语音,语音智能体,GRPO,在线蒸馏,工具调用 前序问题：实时语音助手要同时干三件互相打架的事：理解还在演化的请求、执行动作、遵守对话规则（何时说、何时闭嘴、是否插话）。上一代在背景有人说话时 73% 的轮次会错误应答，全双工的「闭嘴」比「会说」更难。 本文贡献：Think/Act/Speak and Coordinate 三层：Core-Cocktail SFT 加 M2-OPD 多教师在线策略蒸馏迁移文本能力；自进化可执行环境加多粒度 rollout 的 GRPO 教工具调用与参数落地；全双工决策模型独立管「说不说」。另给 Voice Harness 前后台原型：对话在前台、任务在后台异步跑。 Qwen-Audio-3.1-Realtime model framework for continuous spoken interaction 实验效果：tau-Voice 半双工改编任务成功 78.4%→82.0%（Airline 64.0%→74.0%）；Full-Duplex-Bench v1.5 背景语音应答率 73.0%→13.0%、恢复率 0.26→0.87；FLEURS 宏平均 WER 9.01→3.98；WebSearch1K 检索调用从 4.37 次降到 1.05 次（-76%）。 Qwen-Audio-3.1-Realtime post-training pipeline 批判点评：两个回撤写在正文里：EVA-A 的 Mean 分从 70.50 掉到 66.26，WebSearch1K 的 F1 从 60.87% 降到 58.61%——少说话、少调用是把双刃剑；Daily Chat 和 persona 交互的 Spoken 分也在微跌。摘要只报提升项，回撤要翻到结果表才看得见，读技术报告别只读开头。 9. RULER：六项Rubric奖励治SVG生成 RULER: Instance-aware Rubric Rewards for SVG Generation | Ant Group；The Hong Kong University of Science and Technology (Guangzhou)；Independent Researcher；University of Oxford | arXiv:2609.25270 关键词：SVG生成,Rubric奖励,GRPO,reward hacking,视觉裁判 前序问题：自然语言生成 SVG 是没有绝对真值的开放任务：CLIP、Aesthetic 这些在自然图像上标定的标量指标迁到风格化矢量图上会误判，直接拿来当 RL 奖励还会触发 reward hacking——评测和优化同时失去可靠信号。 本文贡献：实例化 rubric 奖励：每条指令由前沿模型生成六项 rubric（语义、视觉、风格三轴），裁判 VLM 逐项给渲染 rollout 打分，加权满意度经 GRPO 优化。rubric 只从文本推导，不需要配对 SVG 真值、也不需要人类偏好标注。训练用 Qwen3-VL-8B 做裁判，与评测用的 GPT-5-mini 分开。 Qualitative comparison of scalable vector graphics generation between RULER and four baselines 实验效果：MMSVG-Illustration/Icon 上 rubric 分从 0.432/0.395 提到 0.693/0.683，超过专用 SVG 模型、追平大得多的 DeepSeek-V3；人评盲测对自家 Qwen3-8B 骨干胜率 89.7%、对 Qwen3-32B 66.1%；消融显示去掉语义轴掉 10.1%、换静态 rubric 掉 22.7%。 Ablation of rubric design on MMSVG-Illustration and MMSVG-Icon 批判点评：「追平 DeepSeek-V3」在可视化图里并非全赢：五个示例里同心圆靶一栏 DeepSeek-V3 的 0.94 高于 Ours 的 0.92；Ours 的 CLIP 分（0.28-0.35）与基线几乎无差，说明传统指标确实分不出好坏，但反过来也意味着 rubric 分数与人类直觉的对应完全押在裁判 VLM 上。人评规模只有 150 条 prompt。 10. Moderation Gap：三成有害视频骗过逐帧审核 The Temporal Moderation Gap: Text-to-Video Safety Filters Are Blind to Harm in Motion | National University of Singapore；University of New South Wales；Fuzhou University | arXiv:2609.26233 关键词：文生视频,安全审核,帧序,红队测试,评测方法 前序问题：T2V 服务的安全栈是从图像生成继承的：关键词过滤加随机抽 8 帧逐帧检查。这套栈对「伤害只存在于帧序」的视频天然失明——闯红灯、往转动的车床里伸手、误服药片，每一帧单看都无害。 本文贡献：理论上证明：任何忽略帧序的审核器只要放行某片段，就必然放行其良性重排。实测未修改的基准 prompt 就能让 32.7% 的 Sequential-Action 目标落入审核盲区，改写、拆场景、反馈式搜索都无显著改善（McNemar p≥0.12）——不需要任何 prompt 技巧就能触发。修复方向是读帧序：时序感知检测器 AUC 0.74，逐帧检查等于抛硬币。 The temporal moderation gap 实验效果：对 97 帧全部打分发现：约三分之一的交付片段只是把不安全帧藏起来，其余按帧序整体看仍有害，尽管每一帧都通过了审核；用户实验确认人能区分片段与其重排的安全性。 Three Sequential-Action gap clips 批判点评：论文顺带揭了一个测量陷阱：在搜索出的 prompt 上用它自己的渲染种子打分，会把 7.5% 的单次生成率虚标成 46.7%——这个坑对所有做安全评测的人都成立。但修复方案的 AUC 0.74 离可用尚远，且全部证据来自 Sequential-Action 一类动作伤害，跨帧累积的暗示性内容等其他类型未覆盖。 趋势观察 全模态模型开始从「能听会说」转向「能干活」 Qwen3.8-Omni 把上下文推到 100 万 token 并配好插件与实时 harness，Qwen-Audio-3.1-Realtime 则把「何时闭嘴」当成一等公民单独训练。两条线指向同一件事：多模态模型的竞争正在从感知指标挪向任务成功率，模型外面的 harness、插件和记忆管理层开始决定产品形态。 视频编辑与视频生成的瓶颈，先卡在数据而不是模型 VideoX-Qwen 用 120 万对合成编辑数据喂出一个统一编辑器，VideoGen-Agent 则用六类任务的教师轨迹加 RL 教模型调用工具。两者都在补同一个洞：指令视频任务缺少可靠的监督与反馈信号，谁的流水线能稳定产出高质量配对数据，谁就拿到上限。 加速这条线在「省显存」和「省访存」上分头推进，且都是训练无关 QuantWM 发现 2-bit KV 量化的真正受害者是时序稳定性而非单帧指标，用注意力补偿把闪烁压回去；Flash-dLLM 则把瓶颈定位到 GPU 显存 I/O，用融合核加自验证并行解码把吞吐推到 210.6 tokens/s。共同点是都不动训练，靠推理系统层的重新安排。 评测开始把「裁判本身」当成被审对象 RULER 证明静态标量指标在 SVG 上失灵，改用逐指令生成的 rubric 当奖励；Moderation Gap 则证明逐帧安全审核对帧序盲。两者都在说同一件事：在开放生成任务里，裁判的构造方式本身就是被评测对象，默认信任任何单一打分器都危险。 人工智能炼丹君 整理 | 2026-09-24 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-23|NVIDIA像素扩散FID 1.46，仍输latent 今日 AIGC 论文速览 今日共 10 篇 · 图像生成与像素扩散 2 篇 · 视频世界模型与 3D 一致 2 篇 · 视频生成加速与流式编辑 2 篇 · 动作与音频生成 2 篇 · 音视频因果与奖励评测 2 篇 重点论文标题列表 PixelDiT2（NVIDIA）：像素扩散 FID 压到 1.46 WorldCrafter（ARC Lab, Tencent IEG）：分钟级探索重访 PSNR 18.0 ⚡ GAE（HKUST）：相机轨迹误差砍半 FVD 降 23% SparkDiffusion（Peking University, Melon Group）：97% 稀疏下 265 倍单卡加速 MixiMotion（PTIT, Hanoi）：一步动作对齐 0.835 逼近教师 今日论文速览 1. PixelDiT2：像素扩散 FID 压到 1.46 PixelDiT2: Representation-Grounded Pixel Diffusion Transformers | NVIDIA；University of Rochester | arXiv:2609.24919 关键词：像素空间扩散,表征先验,表示对齐,DINOv3,ImageNet ⚠️ 前序问题：像素空间扩散不用自编码器、直接在 RGB 上去噪，省掉了 latent 重建瓶颈，代价是收敛慢、最终画质长期落后 latent 扩散。作者的判断是缺一个显式表征先验：latent 扩散天然在紧凑结构化的隐空间里去噪，像素扩散却要一边学「好去噪的表征」一边学「怎么生成像素」，两件事挤在同一次训练里互相拖累。 本文贡献：提出 representation grounding：用一个冻结的预训练视觉基座模型在整个去噪过程里持续提供 per-patch 表征监督。带噪图像走像素去噪通路，同时冻结编码器产出 per-patch 特征，一个时间步条件化的 DiT 块 P_g 把它映射成 scaffold，再通过空间 AdaLN 调制扩散 transformer；REPA 只作为训练期辅助目标。另提出延迟 grounding dropout：训练初期保留 grounding，到 epoch 160 再开启 dropout。 PixelDiT2 at ImageNet-512x512: samples, architecture, and convergence. 实验效果：ImageNet-256×256 上 H/16 模型 600 epoch 达 FID 1.46、IS 301.6；512×512 上 680 epoch 达 FID 1.48、IS 295.7，两档都是像素侧最好（同表其余像素方法 1.61–3.94 / 1.78–3.95）。论文强调 epoch 预算：512 档 epoch 200 就超过 PixelDiT 850 epoch 的 FID，预算低 4.25 倍。 PixelDiT2 reaches FID 1.78 at epoch 200 and 1.48 at epoch 680. 批判点评：「补上表征先验」在像素侧成立，但把两张表横着读是另一面：256 上 latent 侧 RAE-XL FID 1.13、REPA-XL 1.29 都优于 1.46，512 上 RAE-XL 1.13 同样压过 1.48，IS 也不及 REPA-XL 306.3 与 JiT-G 306.8。也就是说「追平」只在像素扩散内部成立，跨阵营仍差约 0.3 FID，摘要里 narrowed the gap 的措辞容易被读成已经追平。另外延迟 dropout 的开启时机是在 512 档上调出来的，256 档用的是从头独立 dropout，两档训练协议并不一致，跨分辨率可比性打了折扣。 2. WorldCrafter：分钟级探索重访 PSNR 18.0 WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory | ARC Lab, Tencent IEG；Peking University | arXiv:2609.24984 关键词：视频世界模型,隐式3D记忆,长程一致性,相机可控,流式生成 ⚠️ 前序问题：视频世界模型做交互式探索时，长程一致性一直是硬伤：走出一段距离再回头，场景常常「认不出」是刚才那个地方。难点在于历史观测越来越多，而视频生成器的 token 预算是固定的，怎么把历史压进有限 token、又不依赖显式深度对应，是个两难——显式 3D 重建重且脆，简单堆历史帧则 token 直接爆掉。 本文贡献：核心洞察是「让被请求的视角来决定历史怎么压缩」。一个与视频生成器联合训练的 memory encoder 把历史观测编成紧凑的 3D-aware 表示，再由 pose-conditioned readout 按当前目标相机位姿读出固定数量的、目标视角专属 token，在去噪前注入，全程不需要显式深度对应。配合 max-coverage 历史检索、最近时间上下文和 few-step 蒸馏，实现从单张图或文本出发的流式分钟级探索。 Overview of the WorldCrafter pipeline. 实验效果：VBench 自建输入模式 725 段视频上 Overall 81.910 为全表第一（Alaya-EVOKE 81.406、SANA-WM 80.841、Echo-WM 80.211），主体一致性 82.695、背景一致性 90.589、运动平滑 98.787、整体一致性 26.745 均为第一。长程重访一致性上 MEt3R 0.166、PSNR 18.016、SSIM 0.517，相对次优 Lyra 2.0（0.334 / 14.050 / 0.390）近乎翻倍。 Qualitative long-horizon revisit comparison in a static scene. 批判点评：重访那张表真正的第一不是 WorldCrafter 而是它的加速版 WorldCrafter-fast（MEt3R 0.129、PSNR 20.868、SSIM 0.616）——少步蒸馏的变体反而在一致性上更好，这暗示「更多步数」本身可能带来累积漂移，论文没有就这条给出解释。视觉质量上也不是全胜：美学质量 AQ 61.432 只排第四，不及 SANA-WM 63.467；动态程度 DD 96.893 是全表最低（其余 97.087–100），说明换来的一致性里有一部分是靠画面动得更少买到的。评测均在自建输入模式下完成，未与公开榜单协议对齐。 3. GAE：相机轨迹误差砍半 FVD 降 23% GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation | The Hong Kong University of Science and Technology；ARC Lab, Tencent IEG；The University of Hong Kong；The University of Texas at Austin | arXiv:2609.24981 关键词：几何原生隐空间,3D一致性,自编码器表征,相机轨迹,感知生成统一 ⚠️ 前序问题：视觉生成器能出逼真画面，却保不住一个前后一致的 3D 场景。作者认为这不只是建模问题，更是表征问题：生成器演化的是外观为中心的隐空间，感知模型恢复几何用的是语义丰富、编码跨视角结构的空间，两者不在同一坐标系上。常见补丁是「再输出一个几何头」，等于把几何当副产品，治标不治本。 本文贡献：不把几何当额外输出，而是直接把一个几何基座模型的特征重参数化成紧凑、可扩散的隐空间——几何原生自编码器 GAE，其 latent 同时可解码到外观、深度、相机和点图。训练分两阶段：先训 codec 把冻结的多层几何特征压进 latent，再用条件流只在「待生成视角」的 latent 上做流匹配，参考视角 latent、相机射线和文本作为控制，让感知与生成共用同一个隐空间接口。 Overview of Geometry-Native Autoencoder (GAE). 实验效果：在固定生成器与训练协议的控制对比下：重建侧 GAE-128 用比原始几何特征少 24 倍的通道，PSNR 28.76 / LPIPS 0.036 / rFID 5.4（RealEstate10K）反而略优于原始 L0 特征；生成侧 GAE-64 最优，RealEstate10K FVD 225.7、PSNR 20.02、SSIM 0.711，DL3DV FVD 287.0、PSNR 18.00，相对最好的非 GAE 受控 latent 分别降 FVD 12.7% 与 23.1%；ATE 在 RealEstate10K 降 52.8%、DL3DV 降 23.3%，MEt3R 取到受控组最佳 0.1208 / 0.1347。 Multi-frame RGB, geometry, and camera-pose comparison across RealEstate10K scenes. 批判点评：最有价值的是控制变量设计，但同一张表也留了口子：受控组之外还列了 Gen3R 与 GLD 两个参考方法，其中 Gen3R 在 RealEstate10K 的 MEt3R 是 0.1157，优于 GAE-64 的 0.1208——「最佳」限于受控 latent 这个口径。DL3DV 的重投影误差上 GAE 只有 0.0028–0.0029，反而不如 WAN2.1 VAE 的 0.0019，说明几何原生 latent 在像素级回投影精度上并不占优。另外通道数选择本身就不一致：128 在重建上最好、64 在生成上最好，论文没给选择依据，实际部署还得自己再权衡一次。 4. SparkDiffusion：97% 稀疏下 265 倍单卡加速 SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation | Peking University, Melon Group；Tsinghua University；Alibaba Group；University of Electronic Science and Technology of China；Harbin Institute of Technology | arXiv:2609.23153 关键词：稀疏注意力,推理加速,少步蒸馏,FP8量化,视频扩散 ⚠️ 前序问题：视频扩散 transformer 贵在注意力要处理超长时空 token 序列，做稀疏注意力是自然的加速思路。但作者发现一个「高稀疏陷阱」：稀疏度推到极致时，逐步训练损失还在稳步下降，最终生成质量却停滞甚至倒退。诊断指出这是监督问题——主要误差来自高噪声的结构生成阶段，逐步局部训练修不动它，只有对齐终态的训练才修得动。 本文贡献：由此给出一条分阶段原则：先把稀疏架构适配成粗粒度先验，再校正终态分布。SparkDiffusion 按此串起三件事——短程稀疏 warm-up、少步 trajectory-mixed 蒸馏、FP8 量化配融合 kernel，并把三者做成可乘的加速因子。覆盖 Wan2.1/Wan2.2 骨干、T2V/I2V 任务、480P/720P 分辨率，以及 H100 与 RTX 5090 两种 GPU。 Overview of the SparkDiffusion framework. 实验效果：3 步无 CFG 推理下，Wan2.1-T2V-14B-720P 在单张 RTX 5090 上端到端 265× 加速（H100 上 220×）；Wan2.1-T2V-1.3B-480P 端到端 1.3 秒出片。长序列 720P 上维持 97% 注意力稀疏，1.3B-480P 上 90%。VBench 总分从 dense 的 83.69 到 83.15，掉 0.54 分；同表延迟与显存项均为最好（18.0 / 8.0）。 End-to-end latency and speedup of SparkDiffusion over Full Attention on NVIDIA H100 and RTX 5090 GPUs. 批判点评：265× 是三个因子相乘的结果，其中大部分来自 3 步蒸馏而非稀疏本身，读标题很容易把功劳全记在稀疏上——论文在图表里做了分解，但正文强调的仍是合成后的倍数。质量代价是实打实的：83.15 低于 dense 83.69，且稀疏度从 90% 提到 97% 时分数从 83.42 掉到 83.15，说明高稀疏陷阱只是被缓解、没被消除。另外源码里仍能看到若干未清理的 TODO 占位注释（作者元数据、BF16 两列标注为占位），作为预印本部分数值还需等正式版复核。 5. MixiMotion：一步动作对齐 0.835 逼近教师 MixiMotion: One-Step Text-to-Motion Generation via Asymmetric Set Distillation | Posts and Telecommunications Institute of Technology, Hanoi, Vietnam | arXiv:2609.23010 关键词：文本到动作,一步生成,集合蒸馏,运动学监督,推理延迟 ⚠️ 前序问题：文本到动作生成质量上来了，但迭代采样要几十上百次网络评估，延迟高，交互式动画、游戏这类场景用不了。压缩成严格一步模型有两大障碍：一是文本条件下的动作天然多模态，同一提示对应多个合理动作，固定的教师-学生一一对应会把多种有效模式平均掉；二是只在归一化表征空间里对齐，解码后可能出现明显运动学瑕疵。 本文贡献：MixiMotion 用离线集合蒸馏：对每个提示让冻结的多步教师先生成 K=4 个动作存进离线教师库，学生训练与推理时都不再查教师；学生从独立噪声采样 M=8 个一步样本，用非对称双向集合匹配训练——教师到学生方向鼓励覆盖教师支持的多样动作，学生到教师方向抑制不被支持的生成，两侧权重 α=(1, 0.20) 故意不对称。再叠加解码空间的端点、轨迹与身体分组运动学监督。 MixiMotion: offline asymmetric set distillation for one-step text-to-motion generation. 实验效果：ViMoGen 上语义对齐 0.835，一步方法里第一（MotionLCM-1 0.825、naive 一步教师 0.711），逼近 50 步 HY-Motion-1.0-Lite 教师的 0.858；六个类别中有四类超过 MotionLCM-1。25 人盲评总体 4.33 对教师 4.50，同为一步/少步里最高（MotionHiFlow 4.20、MotionLCM-1 3.98）。单次网络评估延迟从 829.58 ms 降到 9.30 ms。 Qualitative comparisons between HY-Motion-1.0-Lite and MixiMotion. 批判点评：摘要里的 89.2× 是单次网络评估口径，正文自己给出的端到端加速是 6.75×——差了十几倍，文本编码与渲染等开销没算进去，读者很容易把 89.2× 当成真实提速。另外 0.835 其实仍略低于多步的 MLD 0.840（与 MDM 0.833 基本持平），「逼近教师」成立，但严格说还没超过最好的多步基线。消融里非对称权重只带来 0.829→0.835 的 0.006 增益，解码空间监督贡献 0.832→0.835，各组件边际收益都很小；学生从教师热启动、460M 参数与教师同量级，并没有变小。语义分数由 Qwen3-VL-30B 判 yes/no 问题自动给出，非人类标注。 6. SVEET：双向模型改流式 15 FPS Streaming Video Editing with Easy Adaptation | Shanghai Jiao Tong University | arXiv:2609.24788 关键词：流式视频编辑,双向转自回归,特征解耦,正交解耦训练,实时生成 ⚠️ 前序问题：预训练的双向视频扩散模型编辑质量好，但它需要看完整段视频，做不了逐帧自回归的流式编辑。直接改造会撞上两个矛盾：双向骨干的特征在时间上互相依赖，而流式推理要求条件帧彼此独立；可控性与因果性两个优化目标还会互相拉扯，联合训练通常顾此失彼。 本文贡献：先系统复盘已有 video-to-video 扩散方案，归纳出流式适配的两条原则：骨干特征解耦、条件帧独立。据此给预训练双向模型加一条辅助控制分支，用时间独立自注意力编码源视频，中间特征注入对应骨干块；为弥合双向与流式的特征空间差异，再提出解耦训练 ODT，显式约束「视频可控性」与「模型因果性」两个优化方向正交，使二者在推理时兼容，并实现跨异构骨干的零样本迁移。 Our proposed SVEET. 实验效果：视频风格迁移上 VLM 编辑准确率 7.4322 为全表第一（LiveEdit 5.8672、DayDream+CF 5.2321、SDV2 4.2297），CLIP 文本对齐 0.2287、主体一致性 0.9447、背景一致性 0.9298、运动平滑 0.9898、美学质量 0.5550 均为第一。消融中 ODT 把 2D 版从 7.1898 提到 7.4322、3D 版从 7.0653 提到 7.3315，推理期投影（6.4250）与两阶段 teacher forcing（7.0927）都不如它。单张 H100 上 15 FPS，未用任何额外加速手段。 Qualitative comparison results on stylization. 批判点评：唯一没拿第一的一列是整体一致性（0.1123 第二），而拿下这列的 Channel concat 编辑准确率只有 1.8902——几乎没在编辑，说明这个指标在这组对比里更接近「越不改越高分」，拿它当唯一失分项反而暴露了指标本身失效。实验只在风格迁移这一个任务上给了完整数字，其余编辑任务的优势主要靠定性图支撑。15 FPS 是在 H100 上测的，离真正的端侧实时还有距离，且论文没有给出不同分辨率或时长下的 FPS 曲线。 7. COT-TTS：听对话推断语气 MOS 4.15 COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning | The Hong Kong University of Science and Technology；Nanjing University；JIUTIAN Research, China Mobile；Peking University；China Mobile (Hong Kong) Innovation Research Institute | arXiv:2609.22697 关键词：上下文感知语音合成,链式推理,可编辑风格,级联对比,时长一致性 ⚠️ 前序问题：语音合成的说话方式现在基本靠用户显式下指令，但自然对话里该怎么说本应从上下文推断出来。现有系统要么让用户逐句指定，要么把 ASR、LLM、TTS 串成级联——参数动辄 30B 以上，而且级联转换会把原始语音里的副语言信息（非语言发声、节奏、情绪强度）丢掉。 本文贡献：把「上下文感知推理式 TTS」定义成新任务：给定历史对话音频、目标文本和参考语音，先理解上下文，再显式推理出一段中间 CoT，最后按指定音色合成目标语音，且这段 CoT 可被检查与编辑。配套建了大规模双语对话语音数据集（900 万训练样本，含 100 万高质量子集）和 800 条人工核验、源不重叠的评测基准，并给出 0.6B / 1.7B 端到端自回归模型，直接产出带情绪标注的转写、可编辑风格推理和语音 token。 Overview of the end-to-end CoT-guided autoregressive model. 实验效果：英文基准上 COT-TTS-0.6B 拿到 Human MOS 4.150 全表第一（级联 3.050–3.500），情绪一致性 0.954 第一，时长误差 1.155 秒远优于级联的 5.1–12.5 秒；中文基准上 0.6B Human MOS 4.200 同样第一。可编辑 CoT 变体在中文上拿到最高的 LLM 综合分 3.461 与历史理解 4.079。参数量只有级联系统（34–39B）的几十分之一。 Distributions of the normalized audio quality score, naturalness score, target-audio effective-speech ratio, and emotional expression intensity over 50K randomly sampled examples. 批判点评：「参数少几十倍、效果相当」要看是哪一列：UTMOSv2 2.943 低于 two-a3b-fish 的 3.138，DNSMOSPro 3.180 明显不及 two-qwen3omni-seedvc 的 4.240，WER 0.041 也高于 three-dia-a3b-fish 的 0.012；LLM 评测的 CoT 逻辑 4.558 不及 4.836，综合分 2.304 不及 3.601。真正领先的是人类整体评分、情绪一致性和时长误差三项。更值得注意的是两个反常：0.6B 的人类评分（4.150 / 4.200）高于 1.7B（4.050 / 4.150），规模变大反而变差；开启可编辑 CoT 后推理分数上去了，英文 Human MOS 却从 4.150 掉到 3.500——论文把这解释为改动把分布推离训练域，等于承认「可编辑」目前要付音质代价。 8. Common Cause：灰度视频让音频翻车 62% Common Cause, Not Cross-Attention: Blocking Visual Shortcuts in Audio-Video Generation | RIKEN iTHEMS；RIKEN AIP；South China University of Technology；Columbia University | arXiv:2609.22361 关键词：音视频生成,因果推断,反事实不变性,视觉捷径,共享表征失效 ⚠️ 前序问题：音视频联合生成器的训练数据里，「看起来是什么」和「听起来是什么」高度相关——某种材质、纹理或物体外观总与某种声音同时出现。这种相关往往是虚假的：模型可以只从外观预测声音，完全不碰「是什么事件」这个因果变量。一旦测试时外观与事件的关联被打破，模型就会直接合成错误事件的声音。 本文贡献：这是一篇受控的因果研究而非又一个模型。先建音视结构因果模型，让音频在构造上独立于视频的干扰外观，再系统检验流行解法——直接 cross-attention、共享 latent、bottleneck、无监督 shared/private 分解、忠实共享先验，证明这些「走公共因」的做法全都抓不住要害，因为共享 latent 不是干预，模型照样拿得到外观代理变量。真正堵住捷径需要对干扰变量做干预：在 SCM 与干预假设下，论文证明反事实不变性是识别因果预测器的充要条件。 The counterfactual intervention do(v:=v') made concrete (Colored-MNIST). 实验效果：在特征向量 SCM、程序化像素视频、真实图像配频谱音频、移动真实数字、条件生成器五个场景验证。反事实惩罚随因果线索变强从 263× 平滑坍缩到 2.7×，说明捷径只在因果线索难读时才被采用；Moving-MNIST 上直接模型 OOD 准确率 0.21 而本文方法 0.995。对真实预训练视频转音频模型 MMAudio 做输入干预：灰度化让 top-1 声音类别翻转 62%、色彩旋转 54%，最小编辑只翻 22%。 The failure, made audible. 批判点评：最尖锐的一段是「修不好」：作者用重着色一致性项把 MMAudio 的速度网络微调 1500 步，色彩旋转翻转率基本没动（62.5% → 63.9%），真正下降的是通用 OOD 敏感度（高斯噪声 83.3% → 70.8%）——这次微调买到的是整体更鲁棒，而不是论文想修的外观捷径，恰好反证诊断与修复之间还有距离。另外结论高度依赖 SCM 与干预假设成立，真实数据上的干预只能做「改写外观」这类近似；MMAudio 实验只有 24 条真实视频、其中 18 条用于微调，样本量偏小。 9. RewardVerse：先写准则再打分 PLCC 0.52 RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling | Institute of Automation, Chinese Academy of Sciences；University of Chinese Academy of Sciences；The Hong Kong University of Science and Technology；Tencent | arXiv:2609.22947 关键词：视频奖励模型,评分准则中介,标量漂移,RGPO,强化学习奖励 ⚠️ 前序问题：用强化学习优化视频生成模型时，奖励模型是地基，但现有视频奖励模型直接把复杂主观质量映射成一个标量，没有显式评分准则，于是出现标量漂移：分数尺度在不同提示之间坍缩或整体平移，RL 拿这种奖励训练并不稳。 本文贡献：借鉴人工标注工程，在「评测请求」和「打分器」之间插入一个动态评分准则 rubric 作为中间表示：先显式生成评测标准，再按准则打分，给标量一个语义锚点。为训练这条协作流水线提出两阶段 RGPO：阶段一用自演化的种子 rubric 预热打分器（偏好奖励 + 格式奖励 + 校准损失），阶段二联合优化 rubric 生成器、产出随请求自适应的准则，同时持续把打分器对齐人类评分。 Overview of RewardVerse and its two-stage RGPO training. 实验效果：16 维 EvalVerse 基准上 Joint(Ours) 在 14 个维度取得最高 PLCC，宏平均 PLCC 0.520、SRCC 0.493 均为第一（次优 Q-Scorer 0.467 / 0.354）；Logic 维度 PLCC 0.750 对次优 0.593，Action 0.566 对 0.390。漂移诊断上 RGPO 把均值偏差从 +0.610 降到 +0.164，PLCC/SRCC 从 0.240/0.222 提到 0.505/0.458，预测标准差从 0.457 扩到 1.332，被压缩的分数区间被重新拉开。换到闭源 Gemini-3.1-Pro 上，加 rubric 仍让 PLCC 从 0.490 提到 0.593。 Score distributions of six reward models on the shared 10-dimensional test subset. 批判点评：「14/16 维最高」是真的，但剩下两维恰好是最容易被低层画质解释的：Temporal 那列 Ours 0.538 不及 VideoScore2 的 0.697，SRCC 侧也有两列被 Q-Scorer 与 Raw-rubric 超过。也就是说在偏感知质量而非认知/时序的维度上，rubric 中介的优势会收窄——论文自己也点出 Q-Scorer 在光照、逻辑这类与低层画质相关的维度上仍有竞争力。Gemini 实验只对比了有/无 rubric 两个变体，且受限于 API 只能读自然语言浮点输出，无法与开源模型在同一训练协议下横比。此外 rubric 由模型自生成，其质量评估仍依赖同一套 VLM 裁判，存在自证循环的风险。 10. IMPLICIT-Bench：5493 条中性提示词测隐式偏见 IMPLICIT-Bench: Measuring Implicit Bias in Text-to-Image Models under Neutral Prompts | The University of Melbourne | arXiv:2609.24228 关键词：文生图偏见评测,隐式偏见,知识图谱三元组,中性提示,去偏见权衡 ⚠️ 前序问题：文生图模型的偏见评测大多用「一张 [职业] 的照片」这类槽位模板，只能孤立地探显性人口属性（性别、肤色）。它漏掉了更隐蔽的一类：在自然提示里，当与刻板印象相关的属性没有被指定时，模型仍然默认输出刻板结果——这种隐式偏见现有评测基本看不见。 本文贡献：用结构化知识图谱构造受控提示三元组：中性、刻板、反刻板三个变体只在单一偏见维度上不同，其余场景语义保持一致，从而能把偏见效应精确归因到模板类基准做不到的粒度。最终发布 5,493 条提示、覆盖 11 个偏见类别，并用多模型一致性、CLIP 验证和人工评测三重校验。基于它评测现有去偏见方法，揭示出偏见降低与语义保真之间的基本权衡。 Four-stage KG-grounded benchmark pipeline. 实验效果：过滤后保留的中性图显著偏向刻板端：VLM 均值从 1.75 升到 3.40（Qwen3-VL）、1.26 升到 2.65（Gemma-4），未参与筛选的 CLIP 验证器同向移动。最终基准上 CLIP 判定 67.7% 的 Δx 为正（Cohen's d = +0.39），Qwen3-VL 71.6%（d = +0.85），三个裁判在 Δx 层面正相关（Pearson r = 0.22–0.44）。12 名人工评审在 100 个样例上复现了同样排序：刻板 3.78 > 中性 3.17 > 反刻板 1.60，75.9% 的 KG 被认为确实反映社会刻板印象。 Cross-model qualitative comparison, set 1. 批判点评：三个裁判的一致性是这个方法最脆弱的一环：Gemma-4 的倾向比例只有 48.7%，几乎等于抛硬币，d 也只有 +0.29，与 CLIP 的 67.7%、Qwen3-VL 的 71.6% 不在一个量级；裁判间 Pearson r 仅 0.22–0.44，CLIP 与两个构建裁判的逐图相关性也只有 0.42 / 0.55。人工侧同样不完美：VLM 相对人类均值的 MAE 接近 0.97–0.99，且 12%–16% 的样例把刻板与反刻板的方向判反。样本分布也不均衡——physical-appearance 类只有 14 条，人工研究里 sexual-orientation 一行只落在单个样例上。作者自列的局限同样实在：KG schema 单轴、源数据带 WEIRD 偏斜、去偏见实验只在 Qwen-Image 上做过。 趋势观察 世界模型这一轮在比「记得住」，不是在比「画得好」 WorldCrafter 让目标相机位姿去决定历史怎么压成固定数量的 token，GAE 则干脆把几何基座的特征重参数化成生成用的隐空间。两者承认的是同一件事：分钟级的一致性不是把模型做大就能换来的，而是取决于历史和几何以什么形式存在。有意思的是 WorldCrafter 的加速版在重访一致性上反超了标准版，说明步数与一致性之间未必是正相关。 像素扩散与 latent 扩散的差距，正被「表征」而不是「架构」填平 PixelDiT2 不引入自编码器，而是让一个冻结的视觉编码器在整个去噪过程里持续提供 per-patch 表征，把表征学习和像素生成拆成两件事。不过两张主表横着读会发现，1.46 是像素侧最好、却仍不及 latent 侧 RAE-XL 的 1.13，IS 也不及 REPA-XL 的 306.3——差距在缩小，但没有消失。 加速方案的瓶颈已经从「算力」挪到了「监督」 SparkDiffusion 指出高稀疏下逐步损失在降、终态质量却不涨，根因是监督没有对齐终态；SVEET 则指出双向改流式的瓶颈不在算力而在两个优化方向互相干扰，于是显式约束它们正交。两者都不是靠新算子取胜，而是重新安排了训练时究竟该优化什么。 评测类工作开始把「裁判本身」当成被审对象 IMPLICIT-Bench 的三个裁判一致性只有 Pearson r = 0.22–0.44，其中一个几乎等于抛硬币；RewardVerse 则发现外部打分器在认知类维度上可以是负相关（VideoScore-v1.1 在 Logic 上 PLCC −0.245）。当奖励模型和偏见裁判都开始被自己的盲区反噬，评测可信度就成了需要单独论证的事，而不是默认前提。 人工智能炼丹君 整理 | 2026-09-23 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-22|阶跃星辰全双工98.9登顶，清华W4A4逼近FP16 今日 AIGC 论文速览 今日共 10 篇 · 语音与音频生成 2 篇 · 视频生成与物理一致 2 篇 · 图像编辑与三维生成 2 篇 · 生成理解一体化 2 篇 · 推理加速与评测 2 篇 重点论文标题列表 StepAudio 3（StepFun-Audio Team）：全双工语音模型98.9分登顶 OmniVChat（CUHK）：全模态对话视频2800题 ⚡ CompAdapt（HIT）：物理视频生成PIS 0.862 KaiNinja（Alaya Lab）：3D部件生成免分割器 4DGS-Fixer（Goertek Alpha Labs）：稀疏四视角重建4D高斯 今日论文速览 1. StepAudio 3：全双工语音模型98.9分登顶 StepAudio 3 Realtime Technical Report | StepFun-Audio Team | arXiv:2609.14005 关键词：实时语音交互,全双工对话,边想边说,音频语言模型,MTP解码 ⚠️ 前序问题：实时语音交互要同时满足三件互相拉扯的事：听懂语音里丰富的声学线索（意图、情绪、环境），在对方还没说完时就能自然接话（停顿、附和、打断），以及先做足够深的推理再开口。传统做法要么把推理挪到对话之外、延迟跟着涨，要么为了低延迟直接砍掉推理深度——「想得深」和「答得快」长期被当成一对不可兼得的取舍。 本文贡献：StepAudio 3 Realtime 把整套系统组织成一个连续的「听—对话—思考—行动」循环。三个关键部件：Deep Perception 从原始音频里抽取丰富的声学线索来理解意图；Seamless Duplex 对同步的用户/模型双路音频流建模，处理停顿、附和与打断；核心创新是 Think-While-Speaking——让私有推理与语音输出并行执行，并用 Medusa 式的 MTP 解码加速思考，从而把「想」这一步塞进「说」的同一段时间窗里。训练侧配了一个 Adaptive Thinking 路由，先判断当前这一轮是否需要显式推理，若不需要就走 direct route、留一个空的 think block，避免为简单对话付出推理成本。此外集成了Voice Agent，在对话流不中断的前提下异步执行工具调用，把工具返回结果再融回对话。 实验效果：按官方技术报告的自测：推理模式下 StepAudioChat 宏平均 73.0，达到专用推理模型的水平；MMSU 90.6；Artificial Analysis Full-Duplex Bench Overall 98.9；τ-Voice 宏任务成功率 56.0%。同表里 ASR 侧 StepAudio 3 ASR Max 在 LibriSpeech clean 1.18、WenetSpeech meeting 4.35、AISHELL-1 0.49，三项均为全表最低错误率；音频理解侧 MMAR 86.5、AudioMultiChallenge 49.3；通用能力侧 HMMT 86.8、GPQA Diamond 83.0、MultiChallenge 59.7。 批判点评：优势几乎全部集中在「实时语音交互」这一列：Full-Duplex Bench 98.9 领先 Doubao 2.0 Lite 的95.3 与同表 Gemini 系列的 95.1~98.4，ASR 三项也确实拿到最低错误率。但同一张表暴露了明确的短板——AudioMultiChallenge 49.3，比同表最好成绩 67.0 落后近 18 分；GPQA Diamond 83.0 低于同表最高的 90.3；MultiChallenge 59.7 也落后最好成绩 68.1。τ-Voice 上 56.0 与 Doubao 2.0 Lite 的 56.5 基本持平甚至略低，说明「边想边说」这套机制在需要长链条决策的智能体任务上还没转化成稳定优势。此外全部数字均为团队自评、无第三方复现，报告也没有给出 Think-While-Speaking 与串行思考在同等算力预算下的严格对照——增益里究竟有多少来自 MTP 解码加速、多少来自推理与发声的并行重叠，需要拆开才能判断架构本身的净贡献。 2. OmniVChat：全模态对话视频2800题 OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue | The Chinese University of Hong Kong；Alibaba Token Hub；Shanghai Jiao Tong University；Shanghai Innovation Institute；Zhejiang University | arXiv:2609.21465 关键词：音视频对话,全模态模型,合成数据,强化学习奖励,基准评测 ⚠️ 前序问题：让全模态模型像人一样「看着你、听你说话就直接回应」，而不是先把语音转成文字、把视频转成描述再喂给语言模型。直接吃音视频能省掉转写带来的外部延迟与算力，也保住了表情、环境、手边物品这类感知线索。但这条路有两个卡点：一是人们用自己设备录的真实对话数据极其稀缺；二是同一个意图有无数种说法，好的回答往往要结合用户所处的环境与表情，用关键词匹配根本判不出回答质量。 本文贡献：论文把这条路线正式命名为 OmniVChat，并配齐了数据、评测、训练三件套。数据侧 OmniVChat-Studio 是一个多智能体合成引擎，用智能体协作加视频生成造出单轮与多轮的音视频对话；评测侧 OmniVChat-Bench 覆盖 5 大能力类、17 个子类、22 个场景域共 2800 条合成实例，另有人工实录的 OmniVChat-Bench-Human（360 条）作为真实分布对照；训练侧 OmniVChat-RL 给出一套把回答正确性、效率与风格联合起来的 rubric 奖励设计，直接在合成对话上训练 Qwen3-Omni-Instruct，验证奖励设计能否迁移到真实录制的对话上。 实验效果：RL 训练满 1000 步（记录 51 个 checkpoint）后，OmniVChat-Bench 与人工录制的 OmniVChat-Bench-Human 命中率同步上涨，且合成集与实录集的曲线走势一致，论文还逐条给出了 16 个子类的学习曲线，说明在合成数据上得到的增益确实能迁移到真实对话。对比表里 Qwen3-Omni-Instruct 基线的综合命中率 0.186，训练后与 Qwen3.5-Omni-Plus 的 0.361、Doubao Seed 2.0 Lite 的 0.330 进入同一档。 批判点评：最值得警惕的是奖励设计里的「效率」项。训练曲线显示 Reply Efficiency（每千词的 rubric 命中数）从约 5 涨到 20 的同时，平均回复长度从接近 100 词一路掉到 35 词左右——效率提升有相当一部分来自「少说几句」而不是「说得更准」，在固定 rubric 打分下这几乎必然发生，机制上和同期的 reference-free 语音指标那篇讲的 reward hacking 完全一致。第二，OmniVChat-Bench 全部是合成实例，而实录集只有 360 条，并且只覆盖十二个单轮子类中的一部分，所以「迁移到真实对话」的证据强度受限于实录集规模——论文自己也在多个子类上标注 Bench Only，意味着这些能力在真实录制条件下根本没有对照数据。第三，用合成对话同时做训练和评测，存在评测集与训练分布同源的风险，跨数据集的零样本能力没有被检验。 3. CompAdapt：物理视频生成PIS 0.862 CompAdapt: Adaptable Composite Motion Modeling for Physics-Consistent Text-to-Video Generation | Harbin Institute of Technology；Alibaba Taobao | arXiv:2609.21455 关键词：文生视频,物理一致性,复合运动建模,神经动力学,一次性适配 ⚠️ 前序问题：扩散式文生视频能出画质、也能出时序连贯，但常常违反基本物理：物体不受重力、碰撞后穿模、运动类型中途乱切。已有的物理约束方法大多只会处理单一运动类型，还要人工指定物理参数，换一个没见过的物理环境就失灵。问题在于真实场景里的运动几乎都是复合的——耦合、多阶段转换、多物体碰撞，单一类型的动力学先验覆盖不了。 本文贡献：CompAdapt 把神经动力学建模从单一运动类型扩展到复合物理行为。架构上有两个关键模块：Motion Type Composite（MTC）在潜空间里把多个运动类型按时间关系做算子级复合，Multi-Object Interaction（MOT）在检测到物体接触时切到显式的交互动力学。自然语言提示被解析成结构化的物理语义——运动类型、时序关系、初始物理参数——实现端到端指定，不再需要人工调参。跨新物理环境靠 dynamics-aware prior matching 做一次性适配，不必重训核心动力学模块；另有 physics-aware 潜特征融合模块负责高速与复杂运动下的画面保真。 实验效果：消融实验：去掉 MTC 后 PIS 掉到 0.615，去掉时序建模掉到 0.589，去掉双 LLM 语义解析掉到 0.724，完整版 0.862；FID 15.0 / FVD 91.4 / PSNR 17.2 / SSIM 0.61，相比 Wan-Move（16.3 / 93.5 / 16.5 / 0.58）与 Go-with-the-Flow（17.5 / 96.7 / 14.9 / 0.56）在四项上均有改善，生成开销 2.9 与 Wan-Move 持平。定性部分把 NewtonGen、PhysT2V、Wan2.2、CogVideoX-5B、Veo3、Sora 全部拉到同一组提示下逐帧对照，覆盖抛体旋转、阻尼振荡、均匀加速、形变碰撞等组合运动。 批判点评：三处需要打折。第一，主指标 PIS（物理一致性分数）由论文自行定义，没有第三方榜单或社区复现支撑，而它在消融中的跨度（0.589 → 0.862）恰恰是全文最大的增益来源，指标自证的风险较高。第二，所谓「复合运动」实际只覆盖 9 类情形，其中真正涉及物体接触的弹性碰撞仅 2 类，多物体场景仍是最薄的一环，所谓 multi-object collisions 的证据量偏小。第三，「一次性适配」并不等于「免数据」——流程本身仍需要目标环境的一段观测视频（one-shot reference）才能完成 prior matching，因此把它当作通用物理先验来用还有前置成本。论文 comments 自注为 NeurIPS 2026 投稿（23 页、4 图），尚未经同行评审。 4. KaiNinja：3D部件生成免分割器 KaiNinja: Extending Native 3D Generators to the Part Level | Alaya Lab；The University of Tokyo；UC Merced；Institute of Science Tokyo | arXiv:2609.15659 关键词：三维生成,部件级建模,双体积表示,稀疏体素,免分割 ⚠️ 前序问题：TRELLIS.2 这类原生 3D 生成器能把一张图变成高保真、带材质、非水密的网格，但输出是一个融合好的整体；而下游的编辑、绑定骨骼、物理仿真全都按部件操作。最直接的办法是在融合网格上再跑一个 3D 分割网络，可这样既慢、又被分割精度卡死。真正的技术障碍更基础：O-Voxel 网格每个体素只存一片表面，所以单个 volume 在任何分辨率下都无法表示两个部件贴合的那层界面。 本文贡献：论文提出双体积（dual-volume）表示来补上缺失的界面——同一位置存两套体积，让贴合面两侧各自有归属。KaiNinja 建立在 TRELLIS.2 的 O-Voxel 之上，分两阶段生成：Stage 1 的 Layout Flow 把 3D 噪声网格去噪成逐 volume 的 occupancy 布局，两条流各自有自注意力、再用零初始化的全局注意力块跨流通信；Stage 2 的 SLat Flow 复用 TRELLIS.2 权重，只在活跃体素上对稀疏噪声去噪，最后由 FVAE 解码成 O-Voxel 体积并装配成部件分离的网格。整条流水线里没有掩码、也没有分割器。训练数据来源混杂，包含 CAD 模型和由 LLM 驱动的智能体创作的资产，作者称这是首个用智能体创作的部件数据训练的 3D 生成模型。 实验效果：相对不同范式的部件生成流水线，整体 Chamfer distance 降低 40%、严格部件 F-score 提升 16%；在held-out 测试集与训练未出现过的源上，KaiNinja 产出的部件数量都最接近真值，而 TRELLIS.2+X-Part、Hunyuan3D-2.1+X-Part、OmniPart、PartPacker 这几个基线常常把部件融在一起或者碎开。作者还报告一个反直觉现象：同样的骨干、同样的数据，加上部件级监督之后整体几何保真度反而也提升了。 批判点评：「免分割器」是这篇最硬的卖点，而它恰好没有回答分割器方案真正的软肋——精度上限。论文比的是部件数量、Chamfer 距离与 F-score，没有给出「部件语义是否对得上真值」的证据：在训练未出现的源上，KaiNinja 的部件着色与真值明显对不齐（椅子、花瓶、水壶几行都能看出切分位置与真值不同），也就是说「切得开」和「切得对」之间仍有距离，而语义正确性恰恰是分割器方案此前唯一能保证的东西。其次，40% / 16% 相对的是各基线外挂 X-Part 分割器后的组合结果，比的是「你的流水线 vs 别人的流水线」，而不是「dual-volume vs legacy O-Voxel」，无法分离表示本身的净贡献。第三，所谓「首个用智能体创作数据训练」目前只是自述，论文没有给出这类数据在训练集中的占比，也没有做数据来源的消融，因此这个卖点暂时无法验证。 5. 4DGS-Fixer：稀疏四视角重建4D高斯 4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors | Goertek Alpha Labs；Singapore Institute of Technology；The Hong Kong University of Science and Technology | arXiv:2609.21176 关键词：4D高斯泼溅,稀疏视角,视频扩散先验,迭代精修,动态场景重建 ⚠️ 前序问题：用稀疏视角视频重建动态场景是典型的病态问题：观测太少、信息缺失，再多优化技巧也补不出来。更具体的症结在初始化——只有几个输入视角时，COLMAP 只能重建出稀疏残缺的点云，大片区域没有足够的高斯基元支撑，后续优化根本无从下手。也就是说问题出在起点，不在优化器。 本文贡献：论文给出一个两阶段的迭代精修框架。Stage 1 初始化：先对多路同步视频估计多视角深度图，把它们融合成稠密点云，为动态 4DGS 提供更完整的几何起点，替代 COLMAP 的稀疏点云。Stage 2 精修：沿新的相机轨迹渲染出视频，送进一个预训练的视频修复/恢复模型得到「修复后的伪目标视频」，再把它当作伪监督去迭代更新 4DGS 表示，多轮往复。整条链路的思路是用视频扩散先验补足缺失的观测信息，而不是继续在几何约束上加码。 实验效果：在常用的稀疏视角动态基准上，相对此前最好的方法 PSNR 提升接近 2 dB，作者称 substantially outperforms 现有基线。定性对比给出 GT / 4C4D / Ours 三行并排结果，4DGS-Fixer 在人物细节与背景完整度上都比 4C4D 明显更干净、更少孔洞。论文 comments 标注已接收至 SIGGRAPH Asia TC。 批判点评：整条链路的关键一步是「拿视频修复模型的输出当监督」，这带来一个绕不开的疑问：修复模型的幻觉会被原样写进 4DGS。用修复后的序列做伪监督，本质上是把生成先验的偏好当成真值——一旦输入视角极少、修复模型开始「编」，4DGS 就会忠实地记住这些编出来的内容；而 PSNR 的提升恰恰可能来自「补全得更像训练分布」而不是「更接近真实场景」。论文没有做「关掉修复模型、只保留深度稠密初始化」的对照，因此也说不清 2 dB 里有多少来自几何初始化、多少来自扩散先验。其次是部署成本：方法需要四路同步相机加一个预训练视频修复模型，实时性与泛化到非受控场景的能力都未讨论。源码层面还有个小瑕疵——LaTeX 里仍留着旧名「STGFixer pipeline」的残句没清理，说明从 STGFixer 改名到 4DGS-Fixer 之后并未完全同步。 6. RefineEdit：九类编辑背景保持最优 Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network | City University of Hong Kong (Dongguan)；City University of Hong Kong；MBZUAI | arXiv:2609.20633 关键词：图像编辑,免训练,生成式精修网络,二值图像码,背景保持 ⚠️ 前序问题：文本引导的图像编辑要在「改对」和「别乱改」之间走钢丝。扩散类编辑器靠空间控制（掩码、注意力图）来圈定改动范围，而掩码一旦不准，结果不是改不彻底就是动到无关区域；因果自回归类编辑器还有一层额外约束——解码顺序固定，前面已经决定的 token 后面没法回头修正，早期的一个坏决策会被一路带下去。 本文贡献：论文换了一个编辑载体：不去控制扩散过程，而是在 Generative Refinement Network 的二值图像码上做全局精修。核心机制是双分支耦合——编辑分支从源轨迹的某个中间状态初始化，复用已经成形的布局；两个分支对同一批源采样 bit 分别给出概率，用它们的带符号差值挑出「该改的位置和 bit」。被选中的 bit 进入编辑精修，其余 bit 复制源分支持续演化的状态，于是「定位」与「生成」被绑在同一个精修过程里，编辑证据可以随图像演化不断被重新评估。为跨精修步稳定，论文加了两道约束：adaptive spatial freezing 抑制掩码无谓扩张，finite bit locking 让最近选中的 bit 保持可编辑。整套方案免训练、不需要外部掩码，也不需要注意力控制。 实验效果：在 PIE-Bench 的九类编辑任务上，RefineEdit 在 PSNR / LPIPS / MSE / SSIM 四项背景保持指标上全部最好，同时整图 CLIP 与被编辑区域 CLIP 也最高——「改得准」与「背景不崩」这次没有被做成取舍。定性部分与 LEDits++、FlowEdit、ChordEdit、MasaCtrl 在替换、添加、擦除、属性/姿态/颜色/材质/背景修改与风格迁移九类上逐一并排对比。 批判点评：最大的边界条件藏在实验设置里：这套流程要求源图来自 GRN 自己的生成轨迹——编辑分支要「继承源状态」，因此它编辑不了任意真实照片。论文在 limitation 里自己承认了这一点，但对普通用户而言，「只能改模型自己生成的图」和「能改我相册里的照片」是两个完全不同的产品。其次是超参：switch step（从第几步开始分叉）以及空间/bit 两个阈值都需要逐类调整，而且最优值是在同一个 PIE-Bench 评测集上选出来的，相当于用测试集选超参；论文的 limitation 也承认这些类别特定设置是在该基准上挑的，跨数据集泛化没有被验证。第三，九类各自用自己那一档配置，但真实用户不会先告诉系统「这次是换材质还是换背景」，多类混合的编辑场景仍未被覆盖。 7. QuAKE：W4A4 文生图量化误差校正 Quantization-Aware Kalman Estimation for Diffusion Sampling | Tsinghua University | arXiv:2609.21407 关键词：扩散模型量化,推理加速,W4A4,卡尔曼滤波,采样校正 ⚠️ 前序问题：量化是扩散模型落地的现实路径，但 W4A4 这种激进压缩会让量化去噪器的输出明显偏离全精度版本，而误差还会沿时间步持续传播、越积越大。已有的采样期校正方法基本只看当前步的局部信息，没有利用整条轨迹的历史——而误差恰恰是跨时间步传播的，用局部信息去修一个全局累积的问题，方向就不对。 本文贡献：论文把「用量化去噪器采样」重新表述成一个在线估计问题：既然真实的全精度输出拿不到，那就用历史量化输出去把它估回来。QuAKE 是为此设计的量化感知 Kalman 估计器，用一个平滑轨迹先验叠加一个条件高斯观测模型，每一步以闭式解递归更新「输出窗口」的后验，再把后验均值喂给采样器。它不改动量化网络、天然支持任意高阶多步 ODE 采样器，是一个即插即用的轻量校正器。论文同时给出了量化噪声的实证统计（边缘分布接近高斯、联合分布呈明显相关结构、条件分布可线性拟合），用来说明为什么 Kalman 这一套假设在这类噪声上站得住。 实验效果：在多个 W4A4 量化的文生图模型上，QuAKE 在「与全精度采样的分布差异」这一指标上持续领先：FLUX.1-dev + MJHQ-30K 上 FID 7.02 / KID 0.158，优于朴素量化的 7.30 / 0.257、TAC-Diffusion 的 7.31 / 0.304、Q-Drift 的 7.16 / 0.209；Sana-0.6B 上 7.90 / 0.289；PixArt-α 上 13.71 / 1.987；PixArt-Σ 上 15.99 / 3.401。开销按论文自己的测量几乎免费：FLUX.1-dev 单步延迟 22.2 ms（BF16）降到 6.2 ms（INT4 与 QuAKE 相同），DiT 体积 160 GiB 降到 102 / 104 GiB，端到端 23.51 s 降到 2.20 / 2.24 s。 批判点评：有一个容易被标题盖住的细节：QuAKE 赢的是分布距离（FID / KID），但在感知质量列上并不总是赢朴素量化。以 FLUX.1-dev + MJHQ-30K 为例，IR 分数 QuAKE 0.8822 低于 Quantized 的 0.8887，CLIP-IQA 0.9042 也低于 0.9057——也就是说 Kalman 校正主要抹平的是低层分布偏差，并没有让图在感知偏好上更讨喜；如果优化目标是下游打分模型或人眼偏好，朴素 INT4 甚至可能更安全。这不是论文的错，但摘要里「持续优于已有方法」的表述容易被读成全面胜出。其次，效率那一组三个数字（6.2 vs 6.2 ms、102 vs 104 GiB、2.20 vs 2.24 s）方向一致地说明校正本身几乎免费，反过来也说明它的收益完全来自「估得更准」而不是「跑得更快」——真正的加速来自量化，QuAKE 只负责把量化弄坏的部分补回来。最后，全部实验集中在文生图，视频扩散这类时间步更多、误差累积更长的场景是否同样成立，尚未给出证据。 8. AURA：对话式音乐编辑只训91M AURA: Unified Multimodal Framework for Conversational Music Editing | Aalto University；Technical University of Denmark；University of South Dakota；OpenRB Lab | arXiv:2609.14344 关键词：音乐编辑,多轮对话,多模态大模型,LoRA,概念token ⚠️ 前序问题：现有的指令式音乐编辑器是「一问一答」的：每条指令独立处理，用户想「先弱化鼓、再压一下高频、最后把情绪调柔和」这种逐步打磨的工作流根本走不通，因为模型记不住上一轮改了什么。此外，要改音乐光靠文字往往不够——用户脑子里想的是「这段场景听起来该是什么样」，而不是一串精确的音频术语。 本文贡献：AURA 把音乐编辑变成多轮对话。用一个多模态大模型读完整的对话历史、可选的一张图以及参考音频，把编辑意图蒸馏成一组紧凑的 concept token；再由 concept-to-audio（C2A）模块把这些 token 与逐帧对齐的参考特征注入冻结的 MusicGen 骨干——内部通过交叉注意力与 BiFAM 做对齐，让编辑既精确又不碰无关内容。训练只更新 91M 参数（LoRA rank-64 / α=128 加两个投影器与 C2A），1.9B 骨干全程冻结；对话数据由 Slakh2100 合成，共 66,539 段多轮对话。 实验效果：在域内 Slakh2100 与域外 MoisesDB 上同时评测：Add 任务的域外 FAD 0.84 对 Instruct-MG 的 3.84，Remove 任务域外 FAD 0.72 对 3.55，均为 4~5 倍降低；Remove 任务域内 SI-SDR +11.32 dB、SDRi +4.89，而 Instruct-MG 是 −2.10 / −8.53。消融显示对话历史确实起作用：只把最后一条指令喂给模型，Remove 的 SI-SDR 会掉到 −5.2 dB，SSIM 从 0.84 掉到 0.54。 批判点评：摘要里「域外 4~5 倍 FAD 降低」是有选择性的——它只覆盖 Add 与 Remove 两个任务；在 Extract 上 AURA 是 4.24 对 Instruct-MG 的 5.20，只有约 1.2 倍，并没有复现那个量级。更要紧的是 Extract 的SI-SDR 虽然比基线好得多（−7.62 对 −15.18），但仍是负值，说明「从混音里把目标音轨抽出来」这个任务本身离可用还有距离。其次，Remove 的域内增益（+11.32 dB）看着最亮眼，但该任务的域内评测集就来自训练数据来源域（Slakh2100 合成），换到域外 MoisesDB 只剩 +2.54 dB，跌幅接近 4 倍，真正的跨域能力比表格第一屏呈现的要弱。第三，91M 可训练参数对 1.9B 冻结骨干确实是漂亮的效率数字，但它同时意味着能力上限被 MusicGen-medium 这个骨干锁死，而论文没有给出换更大骨干的对照。 9. Qwen-Audio-3.0-TTS：四代语音模型瓶颈迁移史 The Evolving Bottleneck in Speech Generation: Interface Co-design and Staged Alignment from CosyVoice to Qwen-Audio-3.0-TTS | Alibaba Token Foundry | arXiv:2609.16514 关键词：语音合成,接口设计,瓶颈迁移,流匹配,阶段性对齐 ⚠️ 前序问题：语音合成的发展通常被叙述成「模型更大、tokenizer 更好、数据更多」，但这类叙事解释不了为什么某些改动立竿见影、某些就收效甚微。真正值得追问的是：每一代系统当下的主导瓶颈在哪里——是表征不够内容对齐？是接口不能因果流式？是覆盖度与可学习性不足？还是模型容量与跨模块协调出了问题？ 本文贡献：这是一篇技术回顾（technical retrospective），沿 CosyVoice → CosyVoice 2 → CosyVoice 3 → Qwen-Audio-3.0-TTS 这条线给出另一种解释：进步来自瓶颈的反复迁移。四代之间不变的是一条分解——自回归语言模型负责「规划」，flow-matching 模型负责「渲染」；变的是两者之间的接口契约。作者把契约形式化成四个维度：representation（表征）、ownership（归属）、availability（可用性）、gradient reach（梯度可达性），并明确区分「单篇论文内的证据」与「跨论文比较」。每一代针对一个不同的约束：CosyVoice 立下监督式语义 token 这个内容对齐接口；CosyVoice 2 让接口对因果流式可用、把句级说话人嵌入从语言模型里移出；CosyVoice 3 靠多任务监督、数据与模型扩容、以及可微奖励优化（DiffRO）提升接口的可学习性与覆盖；Qwen-Audio-3.0-TTS 把帧率从 25 Hz 降到 12.5 Hz、渲染器改为条件在连续隐状态而非离散 token 嵌入上，并用五阶段课程做联合分阶段对齐。 实验效果：文中给出的实证来自各代公开系统：语义 token 的引入把中文 CER 从 2.56 降到 1.45、英文 WER 从 3.81 降到 2.57（CosyVoice 2 的模块消融）；数据从约 17 万小时扩到 100 万小时、语言模型从 0.5B 扩到 1.5B（CosyVoice 3）；Qwen-Audio-3.0-TTS 把帧率减半并保留 K=6561 的码本，五阶段课程依次为独立预训练、联合训练与质量退火、语言模型强化学习、声学鲁棒性、flow-matching 强化学习。 批判点评：这篇最需要标注边界的地方，作者自己写在 Figure 1 的图注里：「箭头编码的是我们的回顾性解释，而非受控的跨版本实验」。也就是说「瓶颈迁移」是一个事后叙事，不是被控制变量检验过的因果结论——拿它指导新系统设计时，风险在于你可能把相关性当成了因果。另一个更具体的问题是证据来源：文中复现的 tokenizer 对比（例如把帧率减半同时保持 K=6561 会一并损伤内容一致性与相似度）引自 Xiang et al. (2026)，属于「论文内对比」的二次引用，不是独立复现；Table 1 也是同样的性质。因此这篇更适合当作一份结构清晰的领域地图来读——四维接口那套分析框架确实好用，也确实解释了「为什么改 tokenizer 有效、改渲染器无效」这类问题——但不宜当成可直接复制的工程配方。论文 comments 自注为 technical retrospective（11 页），本身也不以实验贡献为目标。 10. Ref-Free Metrics：13类语音指标在干净音频失效 The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern Text-to-Speech | AGIGO；ETH Zurich；Sapienza University of Rome；University of Zurich | arXiv:2609.13150 关键词：语音质量指标,无参考评测,奖励攻击,成对偏好,评测协议 ⚠️ 前序问题：UTMOS、DNSMOS、SCOREQ 这类无参考质量预测器，今天既是 TTS 的默认自动评测器，又越来越常被拿去做偏好优化的奖励信号。这两个角色都建立在同一个假设上：预测分数能跟上人类偏好。但这个假设在什么条件下成立、什么时候会崩，此前没有被系统检验过。 本文贡献：论文把假设直接摆到台面上测。做法是构造一个成对判定任务——给两个音频片段，问预测器打分更高的那个是不是人更偏好的那个——然后在 6 个人工评分语料上跑，覆盖从「瑕疵明显」到「几近无瑕」的完整质量区间。评测对象包括 13 个无参考预测器家族（33 个分数变体）、13 个 Praat 韵律描述符，以及一批经典信号处理特征，每项都给出相对「随机基线」与「人类天花板」的位置。第二部分把这些指标当奖励用，对比单分数奖励与复合奖励在策略优化下的行为差异，并给出数据效率曲线。 实验效果：结论相当刺。在瑕疵明显的 BVCC 上，各指标准确率能爬到人类天花板附近（天花板 0.887，标定的复合分数到 0.92）；但一旦两边音频都干净（TTS-HP），没有任何单个预测器能可靠指认被偏好的样本，好几个的准确率甚至低于「直接挑时长更长的那个」这个傻瓜基线（argmax clip duration 在 BVCC 0.517、SOMOS 0.368、SingMOS 0.456、SpeechJudge 0.370、TTS-Arena 0.523、TTS-HP 0.524），复合分数也才 0.52，而人类天花板是 0.764。奖励侧更严重：优化单一分数会诱发 reward hacking——指标冲上去了，但独立留出评测器和人工听测同时变差；复合奖励能抵抗这个倾向。数据效率曲线还给了个实用兜底：每类只取 min(20%, 1000) 条域内成对数据拟合一个带正则的线性头，就能把准确率相对最好的单指标提升 +1.5%（BVCC）到 +6.6%（SOMOS）。 批判点评：这篇的价值是给出一把尺子，而不是给出一个能用的指标——它自己也承认在干净音频上没有任何固定公式可迁移。要留意三点。第一，复合分数需要通过域内偏好标注拟合（论文用了 min(20%, 1000) 条域内成对数据），相对增益只有 +1.5% 到 +6.6%，也就是说「改用复合分数」这个建议的前提是你已经有该领域的偏好数据，对做通用 Reward Model 的人是不小的门槛。第二，它测的是成对偏好准确率，不是绝对 MOS 拟合度，「指标失效」的结论不能直接推成「MOS 预测不准」——在需要绝对分数的场景里结论需要重新验证。第三，时长基线之所以能赢，是因为评测语料里存在系统性的时长偏差，这提示「最好用的信号」可能来自数据偏置而非感知质量；反过来说，这也意味着任何在干净音频上得到的排行榜，都可能只是某个数据偏置的代理指标。 趋势观察 「边想边说」正在把推理的延迟藏起来 StepAudio 3 让私有推理与语音输出并行执行，用 Medusa 式 MTP 解码把思考压进说话的同一段时间窗；QuAKE 则把量化误差的校正重新表述成一个在线估计问题，用轨迹历史去猜全精度输出本该是什么。两者都在回答同一个问题：当「想清楚」和「立刻给」不能同时满足时，能不能把其中一件事塞进另一件事的时间窗里，而不是二选一。 物理一致性开始从「单类型」走向「复合行为」 CompAdapt 把神经动力学从单一运动类型扩到耦合运动、多阶段转换与多物体碰撞，并用一次性适配去应对没见过的物理律；4DGS-Fixer 干脆不追求几何自洽，改用视频扩散先验把缺失的观测补出来当伪监督。一个在约束上加码，一个在数据上放开，方向相反，但都承认了同一件事：稀疏观测下的物理，靠纯几何推不出来。 「部件」正在成为 3D 生成的新交付单位 KaiNinja 指出 O-Voxel 每个体素只存一片表面、单个 volume 在任何分辨率下都表示不了两个部件贴合的那层界面，于是用双体积表示把界面补上，全程不需要掩码或分割器。下游的编辑、绑骨与仿真要的正是部件而不是一整块表面。这提示 3D 生成的下一步未必是把表面做得更细，而是把语义切分做得更明确。 质量指标同时当评测和奖励，正在被自己的盲区反噬 语音侧，Ref-Free Metrics 那篇的 13 个无参考预测器在干净音频上集体失效，好几个甚至不如「挑最长的那个」，而优化单一分数会直接诱发 reward hacking；对话视频侧，OmniVChat 的效率项让平均回复长度从约 100 词掉到 35 词，效率上涨里混着「少说几句」。当同一个分数既当尺子又当奖励，它没测到的那部分就一定会被优化出来。 人工智能炼丹君 整理 | 2026-09-22 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-21|伯克利线性注意力让H3视频快14.5倍-VDN 今日 AIGC 论文速览 今日共 10 篇 重点论文标题列表 Video DeltaNet（UC Berkeley × Impossible Inc. × UT Austin）：线性注意力让H3快14.5倍 dQwen3.5（University of Texas at Austin）：混合骨干省一半适配token Edit-VAR（中山大学 × 华南理工大学 × 清华大学 × 山东大学 × 南开大学 × 湖南大学）：免训练免反演改视频 Paint-Anything（ByteDance Seed × 浙江大学 × 南京大学）：写个十六进制就能上色 StepAudio 3 Music（StepFun（阶跃星辰）× ACE × 香港中文大学 × UC San Diego）：先写ABC谱再生成5分半歌 今日论文速览 1. Video DeltaNet：线性注意力让H3快14.5倍 Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation | UC Berkeley × Impossible Inc. × UT Austin | arXiv:2609.20744 关键词：视频扩散模型,线性注意力,混合注意力,推理加速 前序问题：视频扩散模型每一步去噪都要把又长又宽的时空 token 序列过一遍注意力，算力全压在这里。线性注意力在大语言模型里已经被验证好用，但直接搬到视频模型上会丢掉细粒度交互，画面质量跟着掉——于是「省算力」和「保质量」一直是二选一。 本文贡献：论文提出 Video DeltaNet（VDN），不做纯替换而是双分支并存：局部 Softmax 注意力管近处的细粒度交互，双向线性记忆管长程视频上下文。线性分支的核心是 Video Delta Attention（VDA），它不按 token 逐个更新记忆，而是以「帧」为单位、把该帧的全部空间 token 一起吸收进去，一帧只更新一次。两个分支各有独立的输出投影和可学习门控来校准配比；适配则走分阶段的教师对齐配方（Stage A1 先单独对齐每个线性分支，A2 再端到端训练组装后的混合层），把新通路渐进地塞进已预训练的模型里。作者把 VDN 落在 MiniMax H3 上，只对 video-to-video 这类交互用混合注意力，凡是牵涉文本或音频的交互仍然保留 Softmax。 实验效果：配合八步蒸馏和优化过的 SGLang 服务栈，VDN-H3 在 8 张 NVIDIA B200 上生成 14.3 秒 768p 视频，DiT 去噪只用 6.70 秒，相对同样 8 卡、50 步的 dense H3 基线提速 14.5 倍。质量方面：50 步时 Stage B 后的 VDN-H3 与蒸馏前的 Dense H3 基本持平（美学、技术、学习质量、FIRM 各项接近，仅两个端点保真度指标略降）；八步时在五项无参考质量指标上全部最高，VQA_T 比 FastH3 v2 高 10.78 分；四步时同样在五项上超过 Dense H3 加 Larry 适配器与 FastH3 v1，VQA_T 领先 FastH3 v1 达 12.64 分。 批判点评：这篇的价值在于把「线性注意力用于视频」从整体替换改成了按交互类型分流：视频与视频之间用线性，涉及文本、音频的跨模态交互留给 Softmax，承认了不同交互对精度的敏感度本就不一样，比一刀切务实得多。以帧为单位更新记忆也和视频 tokenizer 的时间结构对齐（H3 的 VAE 按五个连续潜帧为一个时间块解码，窗口顺着它走以免 Softmax 边界切断 tokenizer 的自然时间单元）。要留意的是 14.5 倍里混进了八步蒸馏和服务栈优化的贡献，架构本身的净收益要看 50 步那组对照；论文也明确说八步那组的显著性标记是各变体与 Dense 50 比，并非 VDN-H3 直接对 FastH3。另外全部结论都长在 MiniMax H3 这一个骨干上，换模型是否还成立尚无证据。 2. dQwen3.5：混合骨干省一半适配token dQwen3.5: Hybrid-Attention Diffusion Language Models | University of Texas at Austin | arXiv:2609.20751 关键词：扩散语言模型,混合注意力,模型适配,并行解码 前序问题：把预训练好的自回归模型改造成扩散语言模型（DLM）是条省钱路线，但几乎所有现成改造都从全注意力 Transformer 出发。问题是自回归这边早就转向了注意力与 RNN 层交错的混合架构，而 RNN 结构上就是因果的，要把它双向化并不容易——骨干和目标范式对不上。 本文贡献：作者索性直接试：以 Qwen3.5 为起点，在 0.8B、2B、4B、9B 四个规模上做自回归到扩散的适配，得到 dQwen3.5 系列，并拿一个全注意力模型做对照，专门回答两个问题——混合骨干是否是高效的适配起点，适配出来的模型还保不保留定义 DLM 的并行与任意序解码行为。评测统一用同一套解码方案（默认画布 1024）而非各家自带的推理配方，并用 trunk（去掉 embedding 与输出头）参数量作为容量口径对齐比较组。 实验效果：混合骨干确实更省：达到同一训练 loss 所需的 token 量大约只要全注意力对照的一半，配图上逐个 loss 档位统计的中位数是 2.21 倍 token 效率差。跨规模看，dQwen3.5 在任意序解码行为上与全注意力 DLM 相似，并行解码下表现强劲——HumanEval 与 MBPP 上 1× 到 8× 加速区间基本压住全注意力对照。 批判点评：结论有用且反直觉：结构上「不适合」双向化的混合骨干，反而是更划算的 DLM 起点，这对想复用现成混合架构权重的人是直接的好消息。但配图暴露了摘要没提的代价——在 MATH500 上，100B token 档的混合版明显落后全注意力对照（1× 时约 9.3% 对 15.8%），数学推理这一块的损失不小，只有在 4× 以上高加速区间才靠后者衰减更快而追平。作者自己在注释里也怀疑退化可能来自训练数据混合不如 Qwen3/Qwen3.5 原始配方，这等于承认「骨干差异」和「数据差异」还没被干净地分离。另外全部比较都在基座 checkpoint 上做，后训练被明确排除在外，而后训练对下游表现影响很大，所以这套结论离「能直接上线」还有距离。 3. Edit-VAR：免训练免反演改视频 Edit-VAR: Taming Visual Autoregressive Model for Precise Video Editing | 中山大学 × 华南理工大学 × 清华大学 × 山东大学 × 南开大学 × 湖南大学 | arXiv:2609.21268 关键词：视频编辑,视觉自回归,免训练,token替换 前序问题：文本引导的视频编辑要改对目标内容，同时保住没被编辑区域的外观和时间连贯。训练型方法控制力强但吃数据吃算力；免训练方法分两条路，免反演的不用恢复轨迹，可它那套保源引导会限制编辑强度、让语义改动做不彻底；反演型先恢复潜轨迹再重生成，近似误差会累积，导致源内容漂移和时间不一致。 本文贡献：Edit-VAR 是第一个基于预训练视觉自回归视频模型、既免训练又免反演的文本引导视频编辑框架。它把源视频直接编码成多尺度离散 token，用概率引导的条件 token 替换来保源；再用注意力引导的 token 级与尺度感知调制，只在与编辑相关的位置和生成阶段选择性放松源约束。Scale-Decoupled Generation 以「晚期尺度解除约束」的形式实现，负责重新生成运动一致的细节、减少纹理碎裂。另有残差引导的 token 剪枝，利用最后两个高分辨率尺度上的冗余来压推理开销。 实验效果：大量实验加一项盲测用户研究显示，Edit-VAR 在编辑保真度、源内容保持、时间连贯性和推理效率上整体优于现有免训练视频编辑方法。定性对比里，同样把「red boat hull」改成「dark blue boat hull」、把「tree frog」改成「poison dart frog」，VACE 会连船型和背景一起改，RAVE 整片色调偏移、青蛙变成纯绿，Edit-VAR 则只换掉目标物的颜色与纹理，港口的其他船、水面倒影和叶片细节都留住了。 批判点评：把编辑搬到离散多尺度 token 上做，绕开了连续扩散反演的误差累积，这个切换是这篇最实在的地方——问题定位在「反演」而不是泛泛的「一致性」，配套的概率引导替换也把「保源还是接受编辑」变成了可按 token 判定的显式比较。但摘要通篇只给「整体优于」的定性结论，没有一个具体数字，编辑保真与源保持之间的权衡到底移动了多少无从判断；残差剪枝说是降推理成本，省了多少、掉不掉质量也没披露。更根本的限制是它绑在视觉自回归视频模型上，而这类骨干的开源生态和画质上限目前都不如主流扩散视频模型，方法再好也受骨干天花板约束。 4. Paint-Anything：写个十六进制就能上色 Paint-Anything: Unified Any-Color Control for Image Generation and Editing | ByteDance Seed × 浙江大学 × 南京大学 | arXiv:2609.20816 关键词：图像生成,图像编辑,颜色控制,数据管线 前序问题：专业设计需要的是任意颜色控制：用任一 24 位十六进制值指定某个物体的目标颜色，生成和编辑都得听话。以往工作在颜色生成、编辑、上色上各做一块，却往往依赖专门的颜色表示或特制的推理流程，不通用。而大语言模型这边提供了一个更简单的起点——连小模型都已经能把十六进制值和颜色语义对上。 本文贡献：Paint-Anything 直接把十六进制写进文本提示（包在 color 标签里）由文本编码器编码，通过物体级颜色监督学出一套生成与编辑共享的 hex-prompt 接口。配套数据管线从真实图像构建 Paint-500K：经 VLM 定位、SAM3 掩码、CIE 空间颜色提取、编辑对合成、过滤与重新描述而成。关键设计是：真实图像有阴影，标签只能算近似颜色，所以再补一批纯色锚点——它们的像素与配对的十六进制严格一致；而这些锚点只在高噪声时间步参与训练，低噪声阶段仍交给自然图像，避免把纯色的平坦质感带进成品。论文还提出 Any Color Benchmark（ACBench），含 ACBench-T2I 与 ACBench-Edit 两部分，专门量物体级十六进制颜色保真度。 实验效果：在 FLUX.2-4B 上，Paint-Anything 把 ACBench-T2I 和 ACBench-Edit 分数相对基座分别提升 85.3% 和 28.3%，并在参与比较的方法中取得最高的平均 CompColor 分。消融实验支持这套训练配方。定性对比里基座 FLUX.2-4B 常给出「语义上说得通但数值上离要求很远」的颜色——要 #FF5634 的车身给成偏红、要 #000080 的沙漠绿洲给成亮蓝，Paint-Anything 则能贴住指定色值。 批判点评：「纯色锚点只在高噪声时段用」这个细节是全文最值得抄的一笔：它承认了监督信号在不同噪声尺度上的可信度不同，用时间步做分工而不是简单混数据，比多数「加一路干净监督」的做法更讲究。把十六进制塞进文本提示、不引入专门颜色编码器，也让它能直接挂在现成模型上。但 85.3% 是相对基座的提升，基座本身在这项上分数低，相对增幅容易放大；编辑侧只有 28.3%，两者差距说明编辑任务里颜色约束和内容保持的冲突还没解决好。更要紧的是 ACBench 是作者自建的评测，「在自家基准上提升最多」这件事需要外部复现才能定性。另外全部结果都在 FLUX.2-4B 上，跨骨干的可迁移性未验证。 5. StepAudio 3 Music：先写ABC谱再生成5分半歌 StepAudio 3 Music Technical Report | StepFun（阶跃星辰）× ACE × 香港中文大学 × UC San Diego | arXiv:2609.16034 关键词：音乐生成,音频tokenizer,MoE,流匹配DiT 前序问题：长篇音乐生成要同时满足两件事：既能按开放域文本指令走，又得让和声、节奏、旋律结构立得住。以重建为导向的音频 tokenizer 会把音乐结构和精细声学细节混在一起，产出高熵 token 不好建模；而模型若只是端到端硬生，编曲结构就成了隐式的、不可控的副产物。 本文贡献：StepAudio 3 Music 走离散与连续混合的设计。StepAudio Music Tokenizer 把音频表示成 50 Hz 的单码本流（码本 65536 条），靠语义引导的自监督与多任务训练同时保住音乐结构和重建所需信息；论文用受控对比（统一 25 Hz 帧率）比较了单码本 VQ、Semantic RVQ、Acoustic RVQ 三种离散瓶颈，以及不同 DiT 配置，才定下这个方案。渲染侧由流匹配 DiT 预测连续的 StepAudio VAE 潜变量，再由 VAE 解码器还原 48 kHz 音频。显式规划则交给一个 MoE 自回归模型：它先用 ABC 记谱法产出中间编曲方案（ABC-CoT），再去预测音乐 token，让和声、节奏、旋律结构成为生成上下文的一部分。渐进式训练课程加监督微调支撑歌曲与纯器乐生成、由干声生成伴奏、翻唱合成，最长 5 分 30 秒。 实验效果：经 DPO 强化学习后，模型在 AudioBox 的 Content Enjoyment、Content Usefulness、Production Quality 三项以及 MuQ-MuLan 相似度上取得所评系统中的最高分，SongBench 结果具备竞争力。在 Artificial Analysis Music Arena Vocals 初步榜上 Quality Elo 为 1105。 批判点评：「先写 ABC 谱再生成音频」把编曲从隐式副产物提成了显式可读的中间态，这既是可控性抓手也是可调试性抓手，是这篇最有辨识度的设计；单码本 50 Hz 加流匹配 DiT 的分工，也把「离散好建模」和「连续好还原」各自的长处分开用了。但榜单要看细账：Vocals 榜上它实际是第 4 名（前面是 Suno V5.5 的 1170、Mureka V9 的 1159、Mureka V8 的 1140），摘要里「仅次于 Suno V5.5 和 Mureka」的说法把 Mureka 两个版本折叠了，读起来比实际名次靠前。更关键的是它的投票样本只有 2119，而同榜 Suno、MiniMax 等都在 1 万以上，95% 置信区间也宽到 ±14，和第 5 名 Suno V5（1097，±6）的差距在统计上并不稳。论文自己也说明这些评测衡量的是生成质量，并不直接度量对单个 ABC 音符、和弦、小节的遵循程度——也就是说 ABC-CoT 到底被执行得多准，目前没有直接证据。 6. PhysStream：边生成边推物理的流式视频 PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control | University of Pennsylvania × Snap Inc. × KAUST | arXiv:2609.17521 关键词：视频生成,物理一致性,自回归,交互控制 前序问题：视频生成的交互控制正从粗糙提示走向对动态场景做细粒度、物理上有意义的操纵。但现有可控方法要么要求生成开始前就给出完整控制时间表，要么用像素空间信号去规定物体位置——那是在指派位置，而不是在指定物理动力学。 本文贡献：PhysStream 是面向物理接地的图生视频的自回归模型，带两样东西。一是结构化场景记忆：位置图与物体跟踪图都从已生成的帧里在线导出，边生成边更新。二是用稀疏的速度增量信号做细粒度运动控制，这些信号编码的是物理量，让模型去学底层动力学而不是背位置。训练分两阶段：先用运动控制条件微调一个双向模型，再训练一个因果自回归模型并额外接入结构化场景记忆，进一步提升物理一致性。 实验效果：PhysStream 支持对多物体桌面刚体场景做交互式的、生成中途的控制——这是此前方法不具备的能力。合成基准上运动分布距离（FVMD）比最强基线降低 33%，轨迹误差降低 12%；野外对比中超过 85% 的情况被人类评估者更偏好。长时程上，配图里一只玉色茶杯在桌面随机走动，从 t=0 一路走到 t=180 帧，远超 49 帧的训练窗口，仍持续跟随随机注入的速度增量交互并保持外观不崩。 批判点评：「控制信号编码物理量而非像素位置」这个取舍是关键：它把可控性问题从「让模型听话地摆物体」改成「让模型学会动力学然后自己推演」，这也是它能支持生成中途插入交互、而不需要预先排好完整控制表的根因。结构化场景记忆从已生成帧在线导出，避免了额外的外部状态追踪，工程上干净。但作者自己单列了一张图说明一致性指标的局限——FlashMotion 的一致性分数和本方法相当，却有明显伪影和幻觉物体，DragStream 生成近乎静止的画面也能拿高分，这等于承认 33% 和 12% 这两个提升所依赖的指标体系本身可信度有限，真正支撑结论的是那 85% 的人类偏好。适用范围也偏窄：主战场是多物体桌面刚体，非刚体只给了弹跳球和布料两个微调后的演示，离通用物理场景还远。 7. DeepSeek-V4.1-Flash：每token只留890字节KV DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression | DeepSeek-AI | arXiv:2609.19969 关键词：KV cache压缩,MoE,长上下文,推理成本 前序问题：长时程智能体大规模铺开后，模型负载越来越偏输入重。尽管此前工作已大幅降低长上下文计算成本，prefill 仍然很贵，而庞大的 KV cache 继续挤占 HBM 与 SSD 容量、吃掉数据传输带宽。算力、存储、带宽这三份需求合起来，构成了进一步压低部署成本的主要瓶颈。 本文贡献：DeepSeek-V4.1-Flash 是一个多模态 MoE 模型，骨干 552B 参数，支持最长 100 万 token 上下文。它采用因果编码器-解码器（CED）架构：解码时每 token 激活 16B 参数，prefill 时只激活 8B，这对智能体这类输入重负载显著改善成本效率。为把 KV cache 压缩推到极限，模型把 Compressed Sparse Attention 2（CSA2）里的跨层 KV cache 复用与 FP4 KV 缓存结合起来，使常驻 HBM 的全局 KV cache 降到每 token 890 字节，约为 DeepSeek-V4-Flash 的四分之一。再通过名为 SWA Bounded Replay 的部署优化，把常驻 SSD 或主机内存的持久 KV cache 压到约八分之一。论文另外精简了 V4 架构并引入若干高效扩展，在 45T token 的多模态语料上预训练并做了完整后训练。 实验效果：KV cache 占用大幅缩小的同时，性能明显好于基线。单 token decode FLOPs 随上下文增长的曲线上，V4.1-Flash 到 1024K 仍基本持平在 25 GFLOPs 上下，而 V4-Flash 已升到约 55、V3.2 约 600、V1 超过 3000。预训练阶段在自建留出集上，V4.1-Flash-Base 的 BPB 在所有任务上均低于 V4-Flash-Base 与 V4-Pro-Base。代码智能体基准上性能随 RL 训练规模持续提升，把最大上下文进一步扩到 1M token 后，在极长时程任务上还能继续涨。模型权重已在 HuggingFace 放出。 批判点评：890 字节每 token 这个数字值得记住：它把长上下文的讨论从「模型记不记得住」彻底拽到了「cache 放不放得下、搬不搬得动」，而 prefill 8B、decode 16B 的非对称激活更是直接冲着智能体负载「输入远大于输出」的真实形状去的，属于按负载画像改架构。但 FLOPs 曲线也显示，在约 100K 以下的上下文里 V4.1-Flash 反而略高于 V4-Flash（约 23 对 19 GFLOPs），这套设计是拿短上下文的一点效率换长上下文的大幅收敛，主要跑短请求的场景未必划算。另外 FP4 KV 缓存在什么任务上会先露出精度问题、SWA Bounded Replay 对首 token 延迟的影响如何，摘要都没交代；593 位作者的技术报告里工程优化与架构贡献高度耦合，外部想复现出同样的 890 字节与同等质量，难度不低。 8. The Weight Is Over：12GB显卡跑亚秒出图 The Weight Is Over - Interactive Diffusion on Consumer GPUs | Adobe × NVIDIA | arXiv:2609.21849 关键词：端侧推理,扩散加速,文本编码器蒸馏,显存预算 前序问题：端侧推理正在爆发，但势头几乎全在语言模型那边。扩散管线吃显存、对延迟敏感，还要编排文本编码器、Transformer、解码器以及后处理若干环节，这套流程远没有大模型推理循环那么标准化，落到消费级设备上格外难办。 本文贡献：论文在性能、质量、模型体积这个三角里找可落地的点，给出三项贡献：一个嵌入翻译器，把小文本编码器映射到大编码器的表示空间，从而砍掉权重与延迟；一套可复现的扫参配方，用来在扩散管线的速度／质量／显存三角里做导航；以及一个端侧交互式图像生成编辑器，在较新的 GPU 上实现亚秒级首图时间（TTFI）。 实验效果：跨设备扫参结果最能说明问题。RTX 4070 Ti（12 GB，可用约 11.2 GB）上，只要常驻权重预算没超出可用显存，每步延迟稳定在数百毫秒量级；一旦越过 11.2 GB 就触发 host-paging、必须从主机流式取权重，每步延迟直接跳到 10^4 毫秒级，相当于一个断崖。工作站级 RTX PRO 6000 Blackwell（96 GB）上「什么都放得下」，此时主导排序的就变成精度——NVFP4 最快，FP8 次之，FP16／BF16 落后。嵌入翻译器的容量门槛也量出来了：187M 的翻译器能紧跟 4B 参考编码器，29M 就会漂到「看着合理但内容不对」（要狐狸给猫、要拉面给黄色玩偶），3.5M 则塌缩成一种同质的暗黑森林风格。 批判点评：这篇的实用价值不在某个新模块，而在把「显存预算」立成了一等约束并画出了那条断崖：越过可用显存的惩罚不是线性变慢而是一到两个数量级，这意味着端侧调优的第一目标应该是「压进预算」而不是「提高吞吐」，顺序搞反了后面全是白做。把翻译器容量与语义保真的关系摸到 187M／29M／3.5M 三个档，也给了很实际的选型下界。但工作偏工程报告：只有两位作者、两台设备，没有跨更多消费级显卡的统计；质量评价主要靠定性图，缺少 FID 之类的量化指标，「187M 紧跟 4B」到底差多少无法量化。亚秒 TTFI 也限定在「较新的 GPU」上，对更老的消费级卡是什么表现没有交代。 9. MuSeC：语义声学分流的音乐codec Rethinking Music Tokenization: A Semantic Codec toward High-Fidelity LLM Music Generation | 西北工业大学 ASLP × 吉利汽车研究院（宁波） | arXiv:2609.21240 关键词：音乐tokenizer,语义codec,残差量化,音乐信息检索 前序问题：离散音频 tokenization 已成为原始波形与自回归建模之间的关键接口，所以音乐 tokenizer 得同时做到两件互相拉扯的事：支持高保真重建，又要产出适合语言建模的离散序列。以重建为导向的 tokenizer 常把音乐结构和精细声学细节混在一起，产出高熵 token 难建模；而语义引导的替代方案本是为语音设计的，套到音乐上不合身，往往还伤重建质量。 本文贡献：论文先把「音乐语义内容」重新定义成一个可度量的概念——以下游音乐信息检索（MIR）任务表现为锚。循着这个定义提出 MuSeC：一个音乐语义 codec，直接从混合信号里把语义与声学内容解耦，不需要做源分离。结构上，冻结的 SSL 编码器加 k-means 提供语义 token，另一路声学 RVQ 流捕捉细粒度声学信息，两路拼接后送解码器做高保真重建，训练时还有判别器提供对抗损失。 实验效果：MuSeC 在保住高保真重建所需信息的同时，产出对语言模型更友好的离散单元，重建质量有提升，token 序列也更可预测，为高保真 LLM 音乐生成提供了实际基础。MIR 任务上的自消融显示，完整 MuSeC（S1A16）在 GuitarSet/Chords（0.3648 对 0.1713）、EMO/R2A（0.6520 对 0.6110）、EMO/R2V（0.3696 对 0.3578）等任务上明显好于纯 k-means 量化版本，也普遍好于只有声学的 A16 变体。 批判点评：把「语义」从形容词变成以 MIR 任务表现为锚的可测量量，是这篇方法论上最扎实的一步——有了口径，语义与声学的分流才有得优化，而不是凭感觉设计码本。不做源分离直接从混合信号解耦，也省掉了一个容易引入误差的前置环节。但消融图显示优势并不一致：GTZAN/Genre 上 MuSeC-S1A16 是 0.5345，反而低于 k-means 的 0.6034，Lyrics 上两者基本持平（0.4903 对 0.4993）；更重要的是全部设置都明显低于连续 LeVo BEST-RQ 这条语义上限（多数任务差 0.1 以上），说明离散化的语义损失远未补齐。另外论文标题指向「高保真 LLM 音乐生成」，但实际只做到 codec 这一层，接上语言模型后端到端能好多少并没有验证，「更可预测的 token 序列」目前也缺少熵或困惑度之类的直接数字支撑。 10. OmniVBench：1.2万条清单查参考跑没跑偏 OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation | 腾讯 × 香港科技大学（广州） | arXiv:2609.22069 关键词：视频生成评测,参考到视频,数据集,因子级评估 前序问题：参考到视频（R2V）生成正朝着越来越通用、越来越多样的参考控制演进，催生了所谓全模态 R2V 这一范式。但现有基准跟不上：测试用例覆盖的参考类型与组合都有限，评估协议大多只看整体参考一致性，忽略了参考因子是否被正确保留、解耦并路由到对应目标。同时全模态 R2V 训练数据构建成本高，合适的训练资源很稀缺。 本文贡献：论文同时给出 OmniVBench 与 Omni-R2V Dataset，一个管评测一个管训练。OmniVBench 把 R2V 评测扩展到更广的参考类型、更细的控制任务和更丰富的参考组合，覆盖 7 个任务族、18 个细粒度任务，横跨内容、运动、风格、结构、叙事与多参考设定，共 813 个评测用例。核心是因子级评估：用 12172 条针对具体用例的检查清单条目，逐条判断意图中的参考因子是否被忠实保留、是否被正确解耦并绑定到目标、是否按指令实现。Omni-R2V Dataset 主要取材于大规模专业视频素材库，包含 34 万条处理好的训练样本，覆盖多种参考类型与多参考组合，并给出各任务专用的参考-目标配对构建管线。 实验效果：对先进的开源与闭源 R2V 模型做的大范围评测显示，各任务族和各评估维度上都存在明显性能差距，暴露了当前 R2V 模型的残留局限。配图给出的多参考用例里，RF（参考保真）／IR（指令遵循）两项分数分化极大：UniVideo 只有 33.2／14.8，LoomVideo 43.1／36.7，OmniWeaving 48.0／56.0，Kling 3.0 Omni 62.9／100，Bernini 85.2／69.7，Gemini Omni 91.2／100，而 MiniMax H3、Seedance 2.0 与 Seedance 2.5 在该用例上拿到 100／100。 批判点评：把「参考一致性」拆成保留、解耦、路由三件事，是这套基准最有价值的判断——多参考场景真正容易错的不是「像不像」，而是把 A 参考的属性贴到了 B 目标上，而整体一致性分数恰恰看不出这类串台。12172 条逐用例清单让这种错误变得可指认。数据侧 34 万条专业素材样本对社区也是实打实的补给。但代价是清单法对判定器的依赖很重：谁来回答这 1.2 万条问题、判定器自身的偏差和一致性如何，摘要没有交代，而这直接决定分数可信度。813 个评测用例摊到 18 个细粒度任务上平均每任务仅四十余例，统计功效对细分结论偏弱；配图那个用例里三个模型同时打满 100／100，也提示清单在强模型区间容易饱和、区分度下降。另外基准与数据集同源、且出自同一团队，用该数据训练的模型在该基准上的成绩需要额外小心解读。 趋势观察 注意力的省法，从「换掉它」变成「按交互类型分流」 Video DeltaNet 只在视频与视频之间用线性注意力，凡涉及文本或音频的交互仍留给 Softmax；dQwen3.5 则把注意力与 RNN 交错的混合骨干当成扩散语言模型的适配起点。两篇的共同前提是承认不同交互对精度的敏感度本来就不同，一刀切替换必然在某处付出代价。 长上下文的成本，已经从算力转到显存和带宽 DeepSeek-V4.1-Flash 把常驻 HBM 的全局 KV 压到每 token 890 字节、持久部分再压到八分之一，并用 prefill 8B、decode 16B 的非对称激活去贴合智能体负载的真实形状；The Weight Is Over 则量出消费级显卡越过可用显存后延迟跳升两个数量级的断崖。两者都在说：放不放得下、搬不搬得动，已经比算得快不快更决定部署成本。 生成过程正在被拆出显式的中间态 StepAudio 3 Music 先用 ABC 记谱产出编曲方案再预测音乐 token，PhysStream 把位置图与跟踪图作为结构化场景记忆在线维护，Edit-VAR 缓存源概率与交叉注意力图再逐 token 决定保源还是改。把过去隐含在权重里的东西显式化，换来的是可控性与可调试性。 评测开始追问「参考有没有被放对位置」 OmniVBench 把参考一致性拆成保留、解耦、路由三件事，用 1.2 万条逐用例清单指认把 A 的属性贴到 B 上的串台；Paint-Anything 自建 ACBench 专量物体级十六进制色值保真；MuSeC 干脆把「音乐语义」定义成下游 MIR 任务表现。三者都不再满足于一个整体相似度分数。 人工智能炼丹君 整理 | 2026-09-21 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 基本功|视频 VAE 的常见 loss 组合-VAELoss 视频 VAE 的常见 loss 组合 所属方向：表征与压缩 ｜ 难度：工程实战 ｜ 前置知识：视频 VAE 的时空压缩结构（本文第 02 节另补最小背景） 关键词：重建损失、KL 损失、LPIPS、感知损失、GAN 损失、判别器、loss 权重 01. 为什么需要它 训练一个视频 VAE，最朴素的想法是「编码器压缩、解码器还原，加个 L1 或 KL 就够了」。不同目标可能暴露不同问题，效果取决于瓶颈、数据和训练配方： 只用 L1/L2 + KL：画面是稳的，但像蒙了一层猪油 —— 头发丝、文字、树叶这种高频纹理全被抹掉，人脸带着一层「塑料感」。在存在重建不确定性时，这与逐像素回归的性质有关，但不能断言 L1/L2 + KL 必然不可用（L2 的最优解是条件期望，天然倾向平均、发糊）。 加上 GAN 想救清晰度：判别器一旦过早发力或过强，解码器立刻走样 —— 出现棋盘格、闪烁、甚至凭空捏造纹理；训练损失曲线看起来在降，重建却越来越假。 把图像那套搬到视频上：每一帧单独看 PSNR 都不错，连起来播放却疯狂闪烁，相邻帧的纹理在抖动。单帧指标根本测不出时间维的失真。 这不是三个孤立的 bug，而是三类不同的失真，需要三种不同的尺子去量。视频 VAE 的训练目标因此通常是四项的组合：像素重建、KL 正则、感知损失、对抗损失，有时再加一项时间一致性约束。玄学的地方从来不是「用哪几项」—— 这几项高度趋同 —— 而是权重配比：为什么 HunyuanVideo 的 KL 权重能小到 $10^{-6}$，而感知项是 $0.1$、对抗项是 $0.05$？这些数字不是拍脑袋，是被各项的量纲、归一化口径和训练阶段逼出来的。 本文把每一项「在管什么失真、数学上长什么样、量级有多大、什么时候帮倒忙」逐一拆开，所有关键数字都来自随文可跑的脚本（只依赖 numpy）。 02. 最小可用理解 最小背景（前置 VideoVAE）：视频 VAE 用 3D 因果卷积把一段视频 $x\in\mathbb{R}^{B\times C\times T\times H\times W}$ 压成低维潜变量 $z$（典型压缩率：时间 $4\times$、空间 $8\times$），解码器再从 $z$ 重建出 $r$。编码器输出一个高斯后验 $q(z\mid x)=\mathcal{N}(\mu,\sigma^2)$，训练目标要同时满足三件事：重建要像、潜变量分布要规整（好让后面的扩散模型去建模）、压缩率要够高。loss 就是在这三者之间做权衡的旋钮。 三句话讲清四项损失： 像素损失（L1/L2）和 KL 是「保正确」的：前者逐像素对齐内容与结构，后者把潜变量摁在标准正态附近、防止它为了重建而无限膨胀。 LPIPS 感知损失和 GAN 对抗损失是「保好看」的：LPIPS 在预训练深度网络的特征空间里比较，惩罚人眼在意的语义 / 纹理差异；GAN 让一个判别器去挑刺，逼着解码器还原高频细节。 这四项量纲完全不同，必须加权配平，GAN 常用「晚启动 + 自适应权重」来控制训练平衡：先让重建项把解码器教到成形，再让判别器入场，并按两项在最后一层上的梯度范数之比动态调权。视频还要额外盯时间维（时空判别器或帧间一致性项）。 03. 数学推导 3.1 从 ELBO 到「重建 + KL」两项 VAE 最大化证据下界（ELBO）。写成「最小化负 ELBO」，目标天然裂成两项： $$\mathcal{L} = \underbrace{-\mathbb{E}_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)]}_{\text{重建项}} + \underbrace{D_{\mathrm{KL}}\big(q_\phi(z\mid x)\,\|\,p(z)\big)}_{\text{KL 正则项}}$$ 逐项解释符号：$\phi$ 是编码器参数、$\theta$ 是解码器参数；$q_\phi(z\mid x)$ 是编码器给出的后验分布；$p_\theta(x\mid z)$ 是解码器的似然；$p(z)=\mathcal{N}(0,I)$ 是标准正态先验。重建项要求「从采样出的 $z$ 能还原 $x$」，KL 项要求「后验别离先验太远」—— 它是潜变量的正则项，鼓励与先验对齐；它不保证感知空间的平滑或连通，也不是所有 latent 扩散能够学习的必要条件。 当后验取对角高斯 $q_\phi(z\mid x)=\mathcal{N}(\mu_\phi(x),\,\mathrm{diag}(\sigma_\phi(x)^2))$、先验取标准正态时，KL 有解析解（不用采样、不用估计）。令 $\ell_j=\log\sigma_j^2$（工程上网络直接预测 $\ell$，数值更稳）： $$D_{\mathrm{KL}} = -\frac{1}{2}\sum_{j=1}^{d_z}\Big(1+\ell_j-\mu_j^2-\exp(\ell_j)\Big)$$ 这里求和下标 $j$ 跑遍所有潜变量维度。直觉：$\tfrac12\mu_j^2$ 惩罚均值偏离 0，$-(1+\ell_j-e^{\ell_j})$ 惩罚方差偏离 1（$\ell=0$ 即 $\sigma^2=1$ 时该项为 0）。 第一个容易被忽略的坑是「求和 vs 平均」。教科书公式对 $d_z$ 个维度求和；而像素损失通常对全部像素求平均。两者元素个数差着几个数量级，直接相加 KL 会凭「项数多」碾压重建。随文脚本 vaeloss_terms.py 在一个合成视频上实测： # 解析 KL，logvar 是网络直接预测的 log(sigma^2) kl_per_element = -0.5 * (1 + logvar - mu ** 2 - np.exp(logvar)) kl_sum, kl_mean = kl_per_element.sum(), kl_per_element.mean() l1 = np.mean(np.abs(x - r)) print("L1 = %.5f" % l1) # 0.03158 print("KL(sum) = %.3f KL(mean) = %.4f" % (kl_sum, kl_mean)) print("KL(sum)/L1 = %.0f 倍" % (kl_sum / l1)) 输出（视频 $2\times3\times8\times32\times32$，latent $2\times4\times2\times4\times4$，像素 49152 个、全 batch 的 latent 共 256 个数值（每样本 128 个））： L1 重建 (mean) 0.03158 KL (全 batch sum，教学口径) 57.66490 KL (mean，换口径) 0.22525 KL(sum)/L1 的量级倍数 : 1826.0x 归约口径是开源视频 VAE 的 KL 权重有时出现 $10^{-6}$ 这种「看着离谱」的数字 —— 的原因之一，但不能由这个 toy 直接反推实际系数。通常应先对每样本 latent 求和，再对 batch 平均；这里为演示求和效应，57.66 是整个 batch 的和，batch=2 时常见口径为 28.83。抄权重之前先对齐归一化口径，这句话后面还会强调。 这张图要看什么：左图是四项损失在同一个合成视频上的原始数值（对数轴）——KL(sum) 一根柱子顶到 57.66，是 L1 的 1826 倍；右图套上 HunyuanVideo 的配方权重之后，各项贡献变为不同数量级，不能称为完全配平，最矮的 KL 贡献只有 $5.8\times10^{-5}$。权重同时反映口径、梯度和重建目标，不能仅按标量 loss 大小配平（图由 code/make_figures.py 生成，下同）。 3.2 像素损失：为什么多用 L1 而不是 L2 $$\mathcal{L}_{\mathrm{pix}} = \frac{1}{N}\sum_{n=1}^{N}\big\|x_n-r_n\big\|_1$$ L2（MSE）对大误差平方加权，其逐点最优解是给定 $z$ 下所有可能输出的条件均值—— 面对「这块纹理可能是 A 也可能是 B」的不确定性，它选择把 A、B 平均掉，结果就是模糊。L1 在非零残差处的梯度为 $\pm1$，其逐点最优解是条件中位数，不会因为误差大就给出更强的「往平均靠」的驱动力，对异常值通常更稳健，但条件中位数也可能模糊，不能保证所有纹理更锐利。代价是 L1 在零点不可导、对小误差的梯度恒定，容易留下颗粒感 —— 这正是要靠感知 / 对抗项补的地方。也有工作（如 LTX-Video）在像素项里混用 MSE 与小波域 L1（Video-DWT），在多尺度上约束。 3.3 感知损失 LPIPS：换一把「人眼的尺子」 像素距离有个致命问题：同样大小的像素误差，人眼感受天差地别。一个全局亮度偏移，MSE 不小但人眼几乎无感；一团等量的逐点噪声，MSE 相同却把纹理毁了。LPIPS（Learned Perceptual Image Patch Similarity）改用在 ImageNet 上预训练的分类网络（VGG/Alex，参数冻结）提特征，再在特征空间量距离： $$\mathcal{L}_{\mathrm{LPIPS}}(x,r) = \sum_{k}\frac{1}{H_kW_k}\Big\|\,w_k\odot\big(\hat{y}_x^{k}-\hat{y}_r^{k}\big)\Big\|_2^2$$ 符号：$y_x^k$、$y_r^k$ 是第 $k$ 层（LPIPS 用 VGG 的 relu1_2 到 relu5_3 共 5 层）对真实图和重建图提的特征图；$\hat{y}$ 表示沿通道做了归一化（除以通道维 L2 范数）；公式中的 $w_k^2$ 对应实现里作用在平方特征差上的 $1\times1$ 非负通道权重；$w_k$ 可理解为它的平方根，而非直接把卷积权重再平方。该权重在人类主观偏好数据集 BAPPS 上学出来、之后冻结；最后空间平均、跨层求和。两个细节缺一不可：逐通道归一化让比较不被某些高幅值通道主导，学习权重 $w_k$ 让「哪些层的差异人眼更在意」由数据决定。它天然偏向语义 / 结构 / 纹理，而对整体明暗、轻微色偏不敏感。 pixel_vs_perceptual.py 用一个免权重的多尺度高通特征（高斯差分 DoG）复现 LPIPS 的结构，对比三种退化： # A：全局亮度偏移；B：同等 L2 能量的逐点噪声；C：高斯模糊 rA = x + delta # delta = 0.12 rB = x + rng.normal(0, delta, x.shape) # 标准差同为 0.12 # 像素 MSE：A 约等于 B；特征距离：B 远大于 A 真实输出： 重建方式 像素MSE 感知距离 感知/像素 A 亮度偏移(整体+0.12) 0.01440 0.00008 0.01 B 逐点噪声(σ=0.12) 0.01426 0.64084 44.93 C 高斯模糊 0.00508 0.50163 98.69 A、B 的像素 MSE 只差 0.95%，但特征距离里 B 是 A 的约 $8\times10^3$ 倍；模糊 C 的像素误差最小，感知距离却很高。高通教学代理天然抑制直流亮度，因此本例差距尤其大；真实 LPIPS 使用学习特征和权重，不能据此断言它对亮度或颜色变化不敏感。 3.4 对抗损失：雇一个判别器专挑高频毛病 GAN 引入一个判别器 $D$，训练它区分真实帧与重建帧；解码器（生成器）则努力骗过它。视频 / 图像重建里几乎都用 PatchGAN 式判别器：不输出整图真假，而是对每个空间 patch 打分，主要约束其感受野内的统计，常改善局部纹理，但并非数学上只看高频。最常用的 hinge 形式： $$\mathcal{L}_{D} = \tfrac{1}{2}\Big(\mathbb{E}_{\text{real}}[\max(0,\,1-D(x))]+\mathbb{E}_{\text{recon}}[\max(0,\,1+D(r))]\Big)$$ $$\mathcal{L}_{G}^{\mathrm{adv}} = -\mathbb{E}_{r}[D(r)]$$ 判别器希望真帧打分大于 1、重建打分小于 -1；生成器希望重建打分尽量大（为正）。gan_schedule.py 用合成 logits 算了判别器在三种强弱下的损失： 起步：判别器分不清 D(hinge)=1.0126 G(hinge)=-0.0312 real≈ 0.01 fake≈ 0.03 健康：适度拉开 D(hinge)=0.0767 G(hinge)= 1.2067 real≈ 1.21 fake≈-1.21 过强：margin 已饱和 D(hinge)=0.0000 G(hinge)= 5.9713 real≈ 6.02 fake≈-5.97 注意判别器 hinge loss 为 0 只说明这些样本的 margin 已满足，此时判别器对应损失的梯度为 0；不意味着生成器梯度消失。这里 $\mathcal L_G=-\mathbb E[D(r)]$ 对 fake logit 的导数仍是 −1，传回解码器的梯度还取决于判别器对输入的导数。仅看 +6/−6 logits 无法判断梯度是否健康。 其一，GAN 晚启动（warm-up）。重建项还没把解码器教出基本形状时，判别器挑的「毛病」没有意义，甚至会把训练带偏。taming 的做法是一个开关 adopt_weight，在第 $t_{\mathrm{start}}$ 步前把对抗权重置 0： $$\delta(t)=\begin{cases}0,&t<t_{\mathrm{start}}\\ \lambda_{\mathrm{adv}},&t\ge t_{\mathrm{start}}\end{cases}$$ 脚本实测 disc_start=2000 时，step 0 和 1999 的权重为 0，step 2000 起跳到 0.05。 其二，自适应对抗权重。固定 $\lambda_{\mathrm{adv}}$ 的两难：训练早期重建梯度很大、GAN 抢不过；后期重建收敛、梯度变小，同样的 GAN 梯度又会相对越来越强甚至压过重建。VQGAN 的解法是让两项在解码器最后一层权重 $w_L$ 上的梯度范数之比来决定权重： $$\lambda_{\mathrm{adv}}(t)=\mathrm{clip}\left(\frac{\|\nabla_{w_L}\mathcal{L}_{\mathrm{rec}}\|}{\|\nabla_{w_L}\mathcal{L}_{G}^{\mathrm{adv}}\|+\epsilon},\ 0,\ 10^4\right)\cdot\delta(t)$$ 直觉：它动态地让「对抗项在最后一层上产生的梯度量级」与「重建项的梯度量级」匹配，重建没收敛时比值大、收敛后比值自动变小。adaptive_weight.py 用一个可解析求导的迷你线性解码器精确计算两个梯度范数，并用中心差分验证（解析 0.012371 对差分 0.012371；0.255913 对 0.255913）： 训练早期(未收敛) L_rec=0.73740 ||∇rec||=0.4071 ||∇gan||=4.2840 d_weight=0.0950 训练后期(近收敛) L_rec=0.00071 ||∇rec||=0.0127 ||∇gan||=4.2840 d_weight=0.0030 重建收敛后自适应权重从 0.095 掉到 0.003（约 32 倍），GAN 项被自动调小 —— 这正是固定权重给不了的能力。 这张图要看什么：横轴是合成出来的训练进程（从「解码器还没学会」到「重建已收敛」），三条曲线分别是重建损失、重建项在最后一层上的梯度范数、以及据此算出的 $\lambda_{\mathrm{adv}}$。要点是 $\lambda_{\mathrm{adv}}$ 不是人为排的衰减计划，而是被 $\|\nabla\mathcal{L}_{\mathrm{rec}}\|$ 拖着走的：早期 0.095、后期 0.003。对照上面的 warm-up 开关看更清楚——$\delta(t)$ 负责「第 2000 步之前完全不启用」，这条曲线负责「启用之后给多大」，两者相乘才是最终权重。 3.5 总目标，以及视频多出的时间维 把四项合起来，连续潜变量视频 VAE 的生成器目标是： $$\mathcal{L}_{G} = \lambda_{\mathrm{pix}}\mathcal{L}_{\mathrm{pix}}+\lambda_{\mathrm{p}}\mathcal{L}_{\mathrm{LPIPS}}+\lambda_{\mathrm{kl}}\mathcal{L}_{\mathrm{KL}}+\lambda_{\mathrm{adv}}(t)\,\mathcal{L}_{G}^{\mathrm{adv}}$$ （VQGAN 是离散码本，没有 KL，对应位置换成 codebook/commitment 损失；连续 KL-VAE 才是上面这版。）判别器另用 $\mathcal{L}_D$ 单独更新，二者交替。 视频比图像多一维，单帧损失管不到帧间。temporal_consistency.py 构造了一段运动视频，给两种重建：A 加逐帧独立噪声（播放时闪烁），B 加跨帧恒定的退化（不闪），两者单帧空间 L1 几乎相同： 重建 单帧空间L1 时序差分L1 时序差分MSE A 逐帧独立噪声(闪) 0.06393 0.09018 0.01275 B 跨帧恒定退化(稳) 0.06340 0.00455 0.00003 单帧 L1 几乎相等（0.0639 对 0.0634），时序差分 MSE 却差了约 393 倍。 这张图要看什么：上半部是同一个像素点随帧走的亮度轨迹。A（逐帧独立噪声）和 B（跨帧恒定退化）的逐帧平均误差几乎一样，但 A 的轨迹在真值附近高频锯齿抖动，B 的轨迹只是整体平移——前者播放起来就是闪烁，后者只是画质差一点。下半部把这件事量化：单帧空间 L1 两根柱子几乎齐平（0.0639 / 0.0634），时序差分 L1 差 20 倍，时序差分 MSE 差到 393 倍。所以「视频 VAE 的重建指标好看但看着闪」，根因是指标选错了：空间指标对时间频率不敏感。 补救有两条路：一是把判别器从 2D 扩到时空（3D/PatchGAN、混合外观 - 运动判别器），让它直接看片段；二是显式加时间一致性损失，用光流把相邻帧 warp 过来再比（静止区域退化成帧差）： $$\mathcal{L}_{\mathrm{temp}}=\frac{1}{T-1}\sum_{t=1}^{T-1}\big\|r_t-\mathcal{W}(r_{t-1},\,F_{t\to t-1})\big\|_1$$ 其中 $\mathcal{W}$ 是 warp 算子、$F$ 是估计的光流；没有光流时可用相邻帧差分近似 $\mathcal{L}_{\Delta}=\frac{1}{T-1}\sum_t\|(r_t-r_{t-1})-(x_t-x_{t-1})\|_1$。 04. 代码实现 随文 5 个脚本只依赖 numpy，python 脚本名.py 即可运行，完整版在文末附录；另有 make_figures.py 需要 matplotlib，负责本文三张配图。这里串起主干。 （1）四项损失与量级对照（vaeloss_terms.py）：在合成视频上算 L1、解析 KL（sum/mean 两种口径）、感知代理、GAN，核心是 KL 解析式： kl_per_element = -0.5 * (1 + logvar - mu ** 2 - np.exp(logvar)) kl_sum = kl_per_element.sum() # 教科书口径：对 latent 维求和 l1 = np.mean(np.abs(x - r)) # 工程口径：对像素求平均 print("KL(sum)/L1 = %.0f 倍" % (kl_sum / l1)) # 1826 倍 （2）像素 vs 感知（pixel_vs_perceptual.py）：多尺度高斯差分特征加逐通道归一化，复现 LPIPS「在特征空间量距离」的结构。再次强调这是教学代理：本体用的是在 BAPPS 上学过权重的 VGG（见第 05 节真实代码）。 （3）GAN 损失与 warm-up（gan_schedule.py）： def hinge_d(real, fake): return 0.5 * (np.mean(np.maximum(0.0, 1.0 - real)) + np.mean(np.maximum(0.0, 1.0 + fake))) def adopt_weight(weight, step, threshold=0, value=0.0): return value if step < threshold else weight （4）自适应权重（adaptive_weight.py）：对迷你线性解码器用解析梯度（并用中心差分校验）算范数比： d_weight = np.clip(np.linalg.norm(g_rec) / (np.linalg.norm(g_gan) + 1e-4), 0.0, 1e4) print("早期 %.3f -> 后期 %.4f" % (w_early, w_late)) # 0.095 -> 0.003 （5）时间一致性（temporal_consistency.py）：比较单帧空间 L1 与相邻帧差分误差，证明只有后者能抓到闪烁。 这些脚本的真实输出已散落在第 03 节，文末附录给出可直接运行的完整源码。 05. 工业级实现对照 最小实现是为了讲清原理，生产代码有几处关键的工程化。最权威的参照是 VQGAN 的损失模块（知识树锚点）： CompVis/taming-transformers/taming/modules/losses/vqperceptual.py → VQLPIPSWithDiscriminator.forward（以 2026-09 的实现为准） 对照本文的四项，它的生成器一步几乎是公式的逐行翻译： rec_loss = torch.abs(inputs - reconstructions) # L1 像素 if self.perceptual_weight > 0: p_loss = self.perceptual_loss(inputs, reconstructions) # LPIPS rec_loss = rec_loss + self.perceptual_weight * p_loss nll_loss = torch.mean(rec_loss) logits_fake = self.discriminator(reconstructions) g_loss = -torch.mean(logits_fake) # hinge 生成损失 d_weight = self.calculate_adaptive_weight(nll_loss, g_loss, last_layer) loss = nll_loss + d_weight * disc_factor * g_loss \ + self.codebook_weight * codebook_loss.mean() # VQ：codebook；连续 VAE 换成 KL 与最小实现的差异，每一处都有来由： 重建与感知合并成 nll_loss 一起算梯度：自适应权重需要对「合并后的重建项」和「GAN 项」分别在最后一层求梯度（torch.autograd.grad(..., retain_graph=True)），所以 LPIPS 不是独立加权、而是并进重建项。 双优化器、两次前向：optimizer_idx==0 更新生成器（含重建、LPIPS、codebook、GAN），==1 才更新判别器；判别器那一路对输入 .detach()，不让梯度流回解码器。 LPIPS 本体（taming/modules/losses/lpips.py）：先过一个 ScalingLayer（把通常约定为 $[-1,1]$ 的输入变到 VGG 的归一化统计，shift/scale 是写死的常数），再取 VGG16 的 5 个 relu 特征，逐通道归一化、过学来的 $1\times1$ 卷积、空间平均、跨层求和 —— 正是公式 3.3 的完整实现，权重从 BAPPS 预训练 ckpt 加载且全程冻结。 连续视频 VAE 用 KL 约束替代离散码本损失，但具体实现还可能改变重建项归约、学习似然尺度、判别器和时序结构，不能机械替换一行就认为目标完全相同。 当代视频 VAE 的公开配方（权重都来自各自技术报告，不要跨项目照抄，口径不同）： 模型 损失组合与权重（论文原文） HunyuanVideo (2412.03603) $\mathrm{L_1}+0.1\,\mathrm{L_{lpips}}+0.05\,\mathrm{L_{adv}}+10^{-6}\,\mathrm{L_{kl}}$；判别器做随机缩放加时间维扩展，视频与图像从零联合训练 LTX-Video (2501.00103) 像素 MSE 加 Video-DWT（小波域 L1）加 LPIPS 加 Reconstruction-GAN；并讨论 causal /non-causal VAE 的取舍 Seedance 1.0 (2506.09113) L1 加 KL 加 LPIPS 加对抗损失；用类 PatchGAN 的混合判别器同时约束外观与运动 H3AE (2504.10567) 反方证据：判别类损失收益小却显著拖慢训练，主张先用 L1+KL 收敛、再用潜空间一致性损失微调 表中只有 HunyuanVideo 给出了这里列出的明确系数，其他项目采用不同目标或归一化，不能据此称权重“高度趋同”。toy 的数值只解释口径为何重要，不能从 1826 倍损失比推导出真实训练必需的 $10^{-6}$ 权重。 06. 代价与边界 每一项都在解决一类失真，也都引入新的代价： L1/L2：稳、好训，但 L2 糊、L1 颗粒重；它们只能保证「像素对」，保证不了「看着真」。 KL：去掉它可能使后验更确定、尺度约束变弱，但没有 KL 的自编码器或 VQ latent 也可以训练扩散模型；但权重过大、瓶颈太紧，重建细节会被牺牲。$10^{-6}$ 这种小权重是「弱正则」，依赖特定归一化口径，换套实现可能就要重新定标。 LPIPS：贴人眼，但它的「审美」被冻结在 VGG 的自然图像特征里 —— 对医学影像、动画、线稿等域外数据可能偏置；它偏纹理，有时会鼓励「看起来有细节」的伪纹理。 GAN：是清晰度和真实感的主要来源，也几乎是所有训练不稳的来源：需要 warm-up、谱归一化、限制判别器更新次数、自适应权重；并且提升感知质量往往以 PSNR 下降为代价（感知 — 失真权衡，perception–distortion tradeoff），这不是没训好，而是规律。 视频时间项 / 3D 判别器：能压闪烁，但显著增算力、增训练时长；光流估计本身在遮挡和大运动处会出错，warp 损失可能误伤真实运动。 边界也要讲清：H3AE 等近期工作指出，在高压缩 VAE 上判别类损失的边际收益可能撑不起它的训练成本，先用重建加 KL、后期再针对性微调是更划算的路线。四项全开不是政治正确—— 数据域、压缩率、训练阶段不同，最优组合也不同，应当用消融实验决定。 07. 经典论文脉络 Auto-Encoding Variational Bayes（VAE，arXiv:1312.6114，2013）：提出 ELBO、重参数化与连续高斯潜变量，KL 正则的源头。 Neural Discrete Representation Learning（VQ-VAE，arXiv:1711.00937，2017）：改走离散码本，用 codebook/commitment 损失替代 KL，是 VQGAN 的前身。 Image-to-Image Translation with Conditional Adversarial Networks（pix2pix / PatchGAN，arXiv:1611.07004，2017）：把判别器做成局部 patch 判定器，确立了「局部对抗项与像素重建互补」的分工。 The Unreasonable Effectiveness of Deep Features as a Perceptual Metric（LPIPS，arXiv:1801.03924，CVPR 2018）：用 BAPPS 人类偏好数据证明深度特征距离远胜 PSNR/SSIM，并学出逐层权重。 Taming Transformers for High-Resolution Image Synthesis（VQGAN，arXiv:2012.09841，2021）：L1、LPIPS、PatchGAN、codebook 四件套定型，配套自适应 GAN 权重与 warm-up，是本文工业对照的母本。 CogVideoX（arXiv:2408.06072）与 HunyuanVideo（arXiv:2412.03603）：把这套组合搬到 3D 因果视频 VAE，后者给出明确的四项权重和时空判别器设计。 H3AE（arXiv:2504.10567，2025）：对「判别损失是否值得」提出反方证据，代表这条线仍在演进。 08. 常见误解 「KL 权重抄 HunyuanVideo 的 $10^{-6}$ 就行」：错。权重取决于你的 KL 是 sum 还是 mean、latent 与像素各有多少元素、有没有做 loss balancing。本文实测同一组数据 sum 口径 KL 是 mean 口径 L1 的 1826 倍；换个压缩率或归一化，$10^{-6}$ 可能过大或过小。先统一口径，再谈数字。 「LPIPS 就是拿 VGG 特征算 L2」：漏了两个关键件 —— 沿通道的归一化和在 BAPPS 上学出来的 $1\times1$ 权重；输入还要先过 scaling layer 换到 VGG 的数值域。少了归一化，距离会被少数高响应通道主导。 「生成器 GAN 损失算出来是负数，训练崩了」：hinge 生成器目标下 $\mathcal{L}_G=-\mathbb{E}[D(r)]$（logistic non-saturating 常写成 $\mathbb E[\mathrm{softplus}(-D(r))]$，是另一种公式），为负恰恰说明重建帧已经把判别器骗到打正分，是预期现象；该盯的是梯度和平衡，不是损失正负。 「判别器越强，重建越清晰」：hinge margin 饱和会让判别器损失梯度为 0，但生成器目标对 fake logit 的导数仍为 −1，不能把 D loss=0 当成生成器梯度消失的证据。正确姿势是晚启动、谱归一化、限制判别器更新次数、用自适应权重。 「L1/L2 越低画面越好」：L2 的最优解是条件均值，越低往往越糊；清晰度是用 GAN / 感知项换来的，并伴随 PSNR 下降。要同时看像素指标和感知 / 对抗指标。 「视频 VAE 把图像四项 loss 直接套到 3D 卷积上就行」：单帧损失测不出帧间闪烁（实测单帧 L1 几乎相同、时序误差差 393 倍）。应额外评估时序误差，按消融结果决定是否需要时空判别器、Video-DWT 或显式帧间约束；时间网络结构本身也能学习一致性。 「四项应该从头一起训」：主流做法是重建加 KL（有时加 LPIPS）先预热，第 disc_start 步才开 GAN；H3AE 甚至主张慎用判别损失。晚启动是一种稳定训练的办法，是否必需以及何时启动需依据具体实验。 09. 动手验证 5 个脚本都在本文附录，仅需 numpy（pip install numpy）；第 6 个 make_figures.py 额外需要 matplotlib，用来重画本文配图。预期关键结果如下（随机种子已固定）： 运行 vaeloss_terms.py：看到 L1 约 0.0316、KL (sum) 约 57.7、KL (mean) 约 0.225，以及「KL (sum)/L1 约 1826 倍」和 HunyuanVideo 权重配方下各项贡献 —— 建立「权重是在配平量纲」的直觉。 运行 pixel_vs_perceptual.py：亮度偏移与同能量噪声的像素 MSE 几乎相等（差小于 1%），但感知距离相差约三个数量级（噪声约为偏移的 $8\times10^3$ 倍）。 运行 gan_schedule.py：warm-up 在 step 2000 起跳；判别器「过强」时 D (hinge)=0.0000 而 G 约 5.97，同时检查脚本新增的 logit 导数：D margin 梯度归零，G 对 fake logit 的导数仍非零。 运行 adaptive_weight.py：先看有限差分与解析梯度完全一致，再看 d_weight 从训练早期 0.095 降到近收敛 0.003（约 32 倍）。 运行 temporal_consistency.py：闪烁与稳定两种重建的单帧 L1 约 0.063 几乎相同，时序 MSE 却差约 393 倍 —— 理解视频为何要单独约束时间维。 运行 make_figures.py（这个需要额外装 pip install matplotlib）：重新生成本文三张配图 —— 量级账本（加权前 vs 加权后）、闪烁轨迹与指标对比、自适应权重随收敛下降的曲线。把 vaeloss_terms.py 里的 KL 权重从 $10^{-6}$ 调大两个数量级再看图 1，KL 项由约 $5.8\times10^{-5}$ 升到 $5.8\times10^{-3}$，仍低于这里约 0.0316 的 L1，不能声称已经压过所有项。 建议进一步动手：把 vaeloss_terms.py 里的 KL 从 sum() 改成 mean()，观察 HunyuanVideo 配方里 KL 项的相对权重需要相应放大多少倍，就能切身体会「权重不能跨口径照抄」。 10. 延伸阅读 读这篇之前建议先看已发布的前置： 变分下界与重参数化：KL 解析式与重参数化技巧的完整推导。 VAE 结构与训练目标：编码器 / 解码器、scaling factor、后验坍缩。 视频 VAE 的时空压缩结构：3D 因果卷积、时间 / 空间压缩比与分块解码。 读完这篇可以继续看： 视频生成评测：VBench 与人工验收（还没写）：学会在分维度指标上看出「总分没变、时序一致性掉了」这类压缩副作用。 FID / CLIP Score 到底测了什么：感知与分布距离指标的适用边界，与本文 LPIPS/GAN 的质量观互补。 离散化表征：VQ-VAE 与 VQGAN（还没写）：本文连续 KL-VAE 的「离散码本」对照版本，codebook 损失替代 KL。 附录：完整代码 09 节用到的脚本全文如下（vaeloss_terms.py、make_figures.py、pixel_vs_perceptual.py、gan_schedule.py、adaptive_weight.py、temporal_consistency.py）。复制到本地存成同名文件，按各脚本开头的依赖说明准备环境后即可运行。 vaeloss_terms.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- """视频 VAE 四类损失的最小可运行对照：L1 / KL / 感知 / GAN。 只依赖 numpy，直接 `python vaeloss_terms.py` 复现。 这一步不训练任何网络，只把四项损失放到同一个合成视频张量上算一遍， 回答一个最容易把人带沟里的问题：它们的「数值量级」根本不在一个频道上， 为什么工业配方里 KL 的权重会小到 1e-6。 """ import numpy as np rng = np.random.default_rng(0) # ---------------------------------------------------------------------- # 一个迷你的多尺度「特征提取器」，用来演示感知损失的*结构*。 # 注意：它不是 LPIPS 本体——LPIPS 用的是在 BAPPS 上学过权重的 VGG/Alex # 特征（见工业对照一节的 taming/lpips.py）。这里用可分离高斯 + 差分(DoG) # 构造确定性的多尺度边缘特征，目的是让「在特征空间而非像素空间比较」 # 这件事可以离线、免权重地跑起来。 # ---------------------------------------------------------------------- def _gauss_kernel(size=5, sigma=1.0): ax = np.arange(size) - (size - 1) / 2.0 k = np.exp(-(ax ** 2) / (2 * sigma ** 2)) return k / k.sum() def _conv_separable(img, k): """对最后两轴(H, W)做可分离卷积；img 形状 [..., H, W]，边界 reflect。""" pad = len(k) // 2 x = np.pad(img, ((0, 0),) * (img.ndim - 2) + ((pad, pad), (0, 0)), mode="reflect") acc = np.zeros_like(img) for i, w in enumerate(k): acc += w * x[..., i:i + img.shape[-2], :] x = np.pad(acc, ((0, 0),) * (img.ndim - 2) + ((0, 0), (pad, pad)), mode="reflect") acc = np.zeros_like(img) for j, w in enumerate(k): acc += w * x[..., :, j:j + img.shape[-1]] return acc def _normalize_channels(feat, eps=1e-10): # 对应 LPIPS 的 normalize_tensor：沿通道维归一化 norm = np.sqrt(np.sum(feat ** 2, axis=1, keepdims=True)) return feat / (norm + eps) def feature_stack(x): """x: [B, C, T, H, W] -> 多尺度边缘特征列表（先把 T 折叠进 batch）。""" B, C, T, H, W = x.shape f = x.transpose(0, 2, 1, 3, 4).reshape(B * T, C, H, W) k = _gauss_kernel(5, 1.0) b1 = _conv_separable(f, k) b2 = _conv_separable(_conv_separable(b1, k), k) dog1 = f - b1 # 高频细节 dog2 = b1 - b2 # 中频边缘 feats = [_normalize_channels(f), _normalize_channels(dog1), _normalize_channels(dog2)] return feats def perceptual_proxy(x, y): """结构对齐 LPIPS：逐层归一化特征差的平方，空间平均后跨层求和。""" total = 0.0 for fx, fy in zip(feature_stack(x), feature_stack(y)): total += np.mean((fx - fy) ** 2) return total def make_video(B=2, T=8, H=32, W=32): """合成一段有运动内容的视频：移动的亮圆 + 网格背景，取值[0,1]。""" x = np.zeros((B, 3, T, H, W), dtype=np.float64) yy, xx = np.mgrid[0:H, 0:W] for b in range(B): for t in range(T): cx = W * (0.3 + 0.5 * t / (T - 1)) cy = H * (0.3 + 0.15 * np.sin(2 * np.pi * t / T)) circle = ((xx - cx) ** 2 + (yy - cy) ** 2) < (H * 0.12) ** 2 grid = ((xx // 8 + yy // 8) % 2) * 0.15 frame = 0.2 + grid frame[circle] = 0.95 x[b, 0, t] = frame x[b, 1, t] = frame * 0.9 x[b, 2, t] = frame * 0.7 return x def degrade(x): """重建结果：轻微模糊 + 小噪声 + 偏色，模拟一个训练中段的解码器。""" B, C, T, H, W = x.shape flat = x.transpose(0, 2, 1, 3, 4).reshape(B * T, C, H, W) k = _gauss_kernel(3, 0.8) out = _conv_separable(flat, k) out = out + rng.normal(0, 0.02, out.shape) out[:, 0] += 0.03 # 轻微红色偏置 return np.clip(out, 0, 1).reshape(B, T, C, H, W).transpose(0, 2, 1, 3, 4) def main(): x = make_video() r = degrade(x) print("视频张量 x / r :", x.shape, " 取值范围 %.2f~%.2f" % (x.min(), x.max())) # 编码器输出的后验 q(z|x)：latent 在时间压缩4x、空间压缩8x B, C, T, H, W = x.shape Cz, Tz, Hz, Wz = 4, T // 4, H // 8, W // 8 mu = 0.3 * rng.standard_normal((B, Cz, Tz, Hz, Wz)) logvar = -1.0 + 0.2 * rng.standard_normal((B, Cz, Tz, Hz, Wz)) n_pix = B * C * T * H * W n_lat = mu.size print("latent 形状 :", mu.shape, " 像素数=%d latent数=%d\n" % (n_pix, n_lat)) # ① 像素重建 L1（对全部元素求平均，量纲与像素一致，O(0.01~0.1)） l1 = np.mean(np.abs(x - r)) # ② KL 解析式（标准正态先验）。注意它天然是「求和」式 kl_per_element = -0.5 * (1 + logvar - mu ** 2 - np.exp(logvar)) kl_sum = kl_per_element.sum() kl_mean = kl_per_element.mean() # ③ 感知损失（多尺度特征距离，量级被归一化压在 O(0.01)） l_p = perceptual_proxy(x, r) # ④ GAN 生成器损失。这里直接喂一组判别器对假图的打分 logits # hinge 生成损失 = -mean(logits_fake)；先假设判别器刚起步、打分偏正 logits_fake = rng.normal(0.3, 0.5, size=64) g_loss = -np.mean(logits_fake) print("%-28s %10s" % ("损失项", "原始数值")) print("-" * 40) print("%-28s %10.5f" % ("L1 重建 (mean)", l1)) print("%-28s %10.5f" % ("KL (sum，常见写法)", kl_sum)) print("%-28s %10.5f" % ("KL (mean，换口径)", kl_mean)) print("%-28s %10.5f" % ("感知 proxy", l_p)) print("%-28s %10.5f" % ("GAN g=-mean(D(r))", g_loss)) print("\n--- 为什么 KL 权重能小到 1e-6 ---") # 若直接把 sum 口径的 KL 与 mean 口径的 L1 相加，KL 会凭元素数量碾压： print("KL(sum)/L1 的量级倍数 : %.1fx" % (kl_sum / l1)) print("HunyuanVideo 配方 L1 + 0.1*LPIPS + 0.05*GAN + 1e-6*KL :") total = l1 + 0.1 * l_p + 0.05 * g_loss + 1e-6 * kl_sum print(" 各项贡献: L1=%.5f LPIPS=%.5f GAN=%.5f KL=%.6f" % (l1, 0.1 * l_p, 0.05 * g_loss, 1e-6 * kl_sum)) print(" 合计 = %.5f" % total) print("\n结论：权重不是玄学，是在给「不同口径、不同元素数、不同量纲」的项找平。") if __name__ == "__main__": main() make_figures.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- """生成「视频 VAE 的常见 loss 组合」的三张解释图。 数值一律从同目录的三个脚本里取（vaeloss_terms / temporal_consistency / adaptive_weight），这里只负责画——改了那边这里要重跑，免得图和正文数字打架。 三张图分别回答： 1. 四项损失的原始量级差着几个数量级，工业配方加权后为什么能凑到一起 2. 单帧指标完全分不开的两种重建，时间维损失一眼看穿 3. 自适应 GAN 权重为什么随训练自动变小 只依赖 numpy + matplotlib。跑法：python make_figures.py """ import textwrap from pathlib import Path import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt import numpy as np import adaptive_weight as AW import temporal_consistency as TC import vaeloss_terms as VT ROOT = Path(__file__).resolve().parents[1] OUT = ROOT / "figures" OUT.mkdir(parents=True, exist_ok=True) plt.rcParams.update({ "font.sans-serif": ["PingFang SC", "Arial Unicode MS", "DejaVu Sans"], "axes.unicode_minus": False, "figure.dpi": 160, "savefig.bbox": "tight", }) INK = "#1f2937" MUTE = "#6b7280" C_PIX = "#2f6fb0" # 像素项：蓝 C_PERC = "#8b5cf6" # 感知项：紫 C_GAN = "#e0a03c" # 对抗项：橙 C_KL = "#d1495b" # KL：红 C_A = "#d1495b" # 闪烁重建 C_B = "#2f9e6f" # 稳定重建 C_GT = "#1f2937" # 真值 def style(ax, title, xlabel=None, ylabel=None): ax.set_title(title, fontsize=11.5, color=INK, pad=10, loc="left") if xlabel: ax.set_xlabel(xlabel, fontsize=10, color=MUTE) if ylabel: ax.set_ylabel(ylabel, fontsize=10, color=MUTE) ax.tick_params(colors=MUTE, labelsize=9) for s in ("top", "right"): ax.spines[s].set_visible(False) for s in ("left", "bottom"): ax.spines[s].set_color("#d1d5db") ax.grid(alpha=0.25, linewidth=0.6, axis="y") ax.set_axisbelow(True) def footer(fig, text, width=118): """把「这张图要看什么」放到坐标轴下方。 必须放在 y<0 的位置：bbox_inches="tight" 会把负坐标的 artist 一起收进来， 放在 0~0.05 之间的话会和 x 轴标签叠在一起。 """ wrapped = "\n".join(textwrap.wrap(text, width=width)) fig.text(0.012, -0.13, wrapped, fontsize=8.5, color=MUTE, va="top", ha="left", linespacing=1.6) # ────────────────────────────────────────────────────────────────────── # 图 1：四项损失的量级账本 # ────────────────────────────────────────────────────────────────────── def fig_magnitudes(): x, r = VT.make_video(), VT.degrade(VT.make_video()) # 与 vaeloss_terms.main 完全同口径重算一遍（rng 序列一致） B, C, T, H, W = x.shape Cz, Tz, Hz, Wz = 4, T // 4, H // 8, W // 8 mu = 0.3 * VT.rng.standard_normal((B, Cz, Tz, Hz, Wz)) logvar = -1.0 + 0.2 * VT.rng.standard_normal((B, Cz, Tz, Hz, Wz)) l1 = float(np.mean(np.abs(x - r))) kl_el = -0.5 * (1 + logvar - mu ** 2 - np.exp(logvar)) kl_sum, kl_mean = float(kl_el.sum()), float(kl_el.mean()) lp = float(VT.perceptual_proxy(x, r)) gan = abs(float(-np.mean(VT.rng.normal(0.3, 0.5, size=64)))) fig, axes = plt.subplots(1, 2, figsize=(11.6, 4.4)) ax = axes[0] names = ["L1 重建", "感知 proxy", "KL(mean)", "KL(sum)", "|GAN|"] vals = [l1, lp, kl_mean, kl_sum, gan] cols = [C_PIX, C_PERC, C_KL, C_KL, C_GAN] bars = ax.bar(names, vals, color=cols, width=0.62) ax.set_yscale("log") ax.set_ylim(1e-3, 3e2) for b, v in zip(bars, vals): ax.text(b.get_x() + b.get_width() / 2, v * 1.25, f"{v:.4g}", ha="center", fontsize=8.5, color=INK) style(ax, "加权前：同一视频上四项损失的原始数值", None, "损失值（对数轴）") ax = axes[1] wnames = ["1.0 × L1", "0.1 × 感知", "0.05 × GAN", "1e-6 × KL(sum)"] wvals = [l1, 0.1 * lp, 0.05 * gan, 1e-6 * kl_sum] wcols = [C_PIX, C_PERC, C_GAN, C_KL] bars = ax.bar(wnames, wvals, color=wcols, width=0.62) ax.set_yscale("log") ax.set_ylim(1e-6, 1e-1) for b, v in zip(bars, wvals): ax.text(b.get_x() + b.get_width() / 2, v * 1.6, f"{v:.4g}", ha="center", fontsize=8.5, color=INK) ax.axhline(l1, color=MUTE, ls=":", lw=1.0) ax.text(2.6, l1 * 1.5, "L1 的量级", fontsize=8, color=MUTE) style(ax, "加权后：HunyuanVideo 配方下各项的真实贡献", None, "对总损失的贡献（对数轴）") fig.suptitle("图 1　损失归约口径与加权贡献：标量大小不等于梯度大小", fontsize=12, color=INK, x=0.012, ha="left", y=1.02) footer(fig, "要看什么：左图是四项损失在同一个合成视频上的原始数值——KL 按教科书口径对 latent 维" "求和，一上来就是 L1 的 1826 倍；右图是套上工业权重之后各项的真实贡献，" "贡献仍不同量级（KL 约5.8e-5，而L1约0.0316）；这些权重不能由toy损失比唯一推导。" "KL 权重小到 1e-6 不是不重要，是在补偿「求和口径 vs 平均口径」的元素数之差。") fig.savefig(OUT / "loss_magnitudes.png") plt.close(fig) print(f"[图1] L1={l1:.5f} KL_sum={kl_sum:.5f} 倍数={kl_sum / l1:.0f}x；" f"加权后贡献 L1={l1:.5f} KL={1e-6 * kl_sum:.2e}") # ────────────────────────────────────────────────────────────────────── # 图 2：单帧指标看不见的闪烁 # ────────────────────────────────────────────────────────────────────── def fig_temporal(): x = TC.make_sequence() # [T,1,H,W] fixed = TC.SIGMA * TC.rng.standard_normal(x.shape[1:])[None] rA = x + TC.SIGMA * TC.rng.standard_normal(x.shape) rB = x + fixed + 0.05 * TC.SIGMA * TC.rng.standard_normal(x.shape) # 取一条穿过运动边缘的水平线上的一个像素，看它随帧的取值 t_axis = np.arange(TC.T) y0, x0 = TC.H // 2, 30 gt = x[:, 0, y0, x0] a = rA[:, 0, y0, x0] b = rB[:, 0, y0, x0] fig, axes = plt.subplots(1, 2, figsize=(11.6, 4.3)) ax = axes[0] ax.plot(t_axis, gt, lw=2.6, color=C_GT, label="真值", zorder=3) ax.plot(t_axis, a, lw=1.2, color=C_A, alpha=0.9, label="A 逐帧独立噪声（闪）") ax.plot(t_axis, b, lw=1.2, color=C_B, alpha=0.9, label="B 跨帧恒定退化（稳）") ax.set_ylim(gt.min() - 4 * TC.SIGMA, gt.max() + 4 * TC.SIGMA) ax.legend(fontsize=8.5, frameon=False, loc="upper left") style(ax, "同一个像素随帧的变化：A 在真值附近抖，B 整体平移但不抖", "帧 t", "像素值") ax = axes[1] mets = ["单帧空间 L1", "时序差分 L1", "时序差分 MSE"] va = [TC.spatial_l1(rA, x), TC.temporal_error(rA, x), TC.temporal_mse(rA, x)] vb = [TC.spatial_l1(rB, x), TC.temporal_error(rB, x), TC.temporal_mse(rB, x)] xg = np.arange(len(mets)) w = 0.36 ba = ax.bar(xg - w / 2, va, w, color=C_A, label="A 闪") bb = ax.bar(xg + w / 2, vb, w, color=C_B, label="B 稳") ax.set_yscale("log") ax.set_ylim(1e-5, 1) for bars in (ba, bb): for b_ in bars: ax.text(b_.get_x() + b_.get_width() / 2, b_.get_height() * 1.5, f"{b_.get_height():.4g}", ha="center", fontsize=8, color=INK) ax.set_xticks(xg) ax.set_xticklabels(mets) ax.legend(fontsize=8.5, frameon=False, loc="upper left") style(ax, "三种指标下 A、B 的差距：第一列分不开，第三列差 393 倍", None, "误差（对数轴）") fig.suptitle("图 2　单帧 L1 完全分不开的两种重建，时序差分 MSE 差了 393 倍", fontsize=12, color=INK, x=0.012, ha="left", y=1.02) footer(fig, "要看什么：左图是同一个像素在 12 帧上的取值——A（红）每一帧都在真值附近独立抖动，" "连起来播放就是闪烁；B（绿）带一个恒定偏移但帧间几乎不动。" "右图是量化结论：单帧空间 L1 下 A=0.0639、B=0.0634，指标根本分不出谁好谁坏；" "换时序差分 MSE，A 是 B 的 393 倍。只看单帧指标，闪烁是隐形的。") fig.savefig(OUT / "temporal_flicker.png") plt.close(fig) print(f"[图2] 单帧L1 A={va[0]:.5f}/B={vb[0]:.5f}；时序MSE A={va[2]:.5f}/B={vb[2]:.5f}" f"（{va[2] / max(vb[2], 1e-12):.0f}x）") # ────────────────────────────────────────────────────────────────────── # 图 3：自适应 GAN 权重随训练自动变小 # ────────────────────────────────────────────────────────────────────── def fig_adaptive(): b = np.zeros(AW.D) # 先按 adaptive_weight.main 的抽随机顺序取两个阶段点，保证与正文数字一致 W_early = AW.rng.standard_normal((AW.dz, AW.D)) * 0.05 W_late = AW.W_star + AW.rng.standard_normal((AW.dz, AW.D)) * 0.01 g_rec, g_gan = AW.grads(W_early, b) w_early = AW.adaptive_weight(g_rec, g_gan) g_rec2, g_gan2 = AW.grads(W_late, b) w_late = AW.adaptive_weight(g_rec2, g_gan2) # 扫描曲线用独立的 rng，不扰动上面的阶段点 sweep_rng = np.random.default_rng(7) scales = np.logspace(-4, -0.3, 14) weights = [] for s in scales: W = AW.W_star + s * sweep_rng.standard_normal((AW.dz, AW.D)) g_rec, g_gan = AW.grads(W, b) weights.append(AW.adaptive_weight(g_rec, g_gan)) weights = np.array(weights) fig, ax = plt.subplots(figsize=(7.8, 4.4)) ax.plot(scales, weights, marker="o", ms=4.5, lw=2.0, color=C_GAN, label=r"自适应权重 $d_{\mathrm{weight}}$") ax.axvline(0.05, color=MUTE, ls=":", lw=1.0) ax.text(0.055, w_early * 2.2, "训练早期\n（初始化附近）", fontsize=8.5, color=MUTE) ax.axvline(0.01, color=MUTE, ls=":", lw=1.0) ax.text(0.0105, w_late * 0.06, "训练后期\n（近收敛）", fontsize=8.5, color=MUTE) for s, w_ in [(0.05, w_early), (0.01, w_late)]: ax.plot([s], [w_], marker="s", ms=7, color=C_PIX, zorder=5) ax.annotate(f"{w_early:.3f}", xy=(0.05, w_early), xytext=(0.075, w_early * 1.6), fontsize=9, color=C_PIX) ax.annotate(f"{w_late:.4f}", xy=(0.01, w_late), xytext=(0.0125, w_late * 0.4), fontsize=9, color=C_PIX) ax.set_xscale("log") ax.set_yscale("log") ax.legend(fontsize=9, frameon=False, loc="upper right") style(ax, "重建越接近收敛，GAN 项被自动调得越小", "解码器离最优解的距离（权重扰动幅度，对数轴）", r"自适应权重 $d_{\mathrm{weight}}$（对数轴）") fig.suptitle("图 3　固定 λ 会两头翻车：早期压不住重建、后期压不住 GAN", fontsize=12, color=INK, x=0.012, ha="left", y=1.03) footer(fig, "要看什么：横轴是解码器离最优解有多远（越靠左越接近收敛），纵轴是 VQGAN 的" "自适应权重 ||∇L_rec|| / ||∇L_GAN||。它随残差缩小近似线性下降——重建收敛后" f"从 {w_early:.3f} 掉到 {w_late:.4f}（约 {w_early / max(w_late, 1e-12):.0f} 倍），GAN 项被同步调小。" "若用固定权重，早期 GAN 抢不过巨大的重建梯度，后期重建梯度变小、GAN 又反过来" "压过重建——这条斜线就是在消除这个漂移。") fig.savefig(OUT / "adaptive_weight_curve.png") plt.close(fig) print(f"[图3] d_weight: 早期 {w_early:.4f} -> 后期 {w_late:.4f}" f"（{w_early / max(w_late, 1e-12):.0f}x）") def main(): fig_magnitudes() fig_temporal() fig_adaptive() print(f"[OK] 三张图已写入 {OUT}") for f in sorted(OUT.glob("*.png")): print(f" {f.name} {f.stat().st_size / 1024:.0f} KB") if __name__ == "__main__": main() pixel_vs_perceptual.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- """复现 LPIPS 论文最核心的观察：相同的像素误差，感知质量可以天差地别。 只依赖 numpy，直接 `python pixel_vs_perceptual.py` 复现。 我们构造三种「重建」，让其中两种的像素 MSE 完全相等： A. 全局亮度偏移 —— 人眼对缓慢的整体明暗变化相当不敏感； B. 同等 L2 能量的逐点噪声 —— 直接污染纹理与细节，观感很差； C. 高斯模糊 —— 抹掉高频细节。 然后分别在「像素空间」和一个多尺度特征空间里比较距离。 """ import numpy as np rng = np.random.default_rng(1) def _gauss_kernel(size=5, sigma=1.0): ax = np.arange(size) - (size - 1) / 2.0 k = np.exp(-(ax ** 2) / (2 * sigma ** 2)) return k / k.sum() def _conv_separable(img, k): pad = len(k) // 2 x = np.pad(img, ((0, 0),) * (img.ndim - 2) + ((pad, pad), (0, 0)), mode="reflect") acc = np.zeros_like(img) for i, w in enumerate(k): acc += w * x[..., i:i + img.shape[-2], :] x = np.pad(acc, ((0, 0),) * (img.ndim - 2) + ((0, 0), (pad, pad)), mode="reflect") acc = np.zeros_like(img) for j, w in enumerate(k): acc += w * x[..., :, j:j + img.shape[-1]] return acc def _norm(feat, eps=1e-10): return feat / (np.sqrt(np.sum(feat ** 2, axis=1, keepdims=True)) + eps) def perceptual_proxy(x, y): """多尺度高通特征上的归一化距离（LPIPS 的结构代理，非本体）。""" def feats(z): k = _gauss_kernel(5, 1.0) b1 = _conv_separable(z, k) b2 = _conv_separable(_conv_separable(b1, k), k) return [_norm(z), _norm(z - b1), _norm(b1 - b2)] return sum(np.mean((a - b) ** 2) for a, b in zip(feats(x), feats(y))) def make_textured_image(H=64, W=64): """一张同时含锐边、细密纹理和平滑区域的图。""" yy, xx = np.mgrid[0:H, 0:W].astype(np.float64) img = 0.5 + 0.25 * np.sin(xx / 2.0) * np.sin(yy / 2.0) # 细密纹理 img += 0.3 * (xx > W / 2) # 一条锐边 checker = ((xx // 4 + yy // 4) % 2) * 0.15 # 棋盘格 img += checker img = np.clip(img, 0, 1) return np.stack([img, img * 0.92, img * 0.8], axis=0)[None] # [1,C,H,W] def mse(a, b): return float(np.mean((a - b) ** 2)) def main(): x = make_textured_image() delta = 0.12 # 统一的 L2 误差能量 rA = x + delta # A：全局亮度偏移（不 clip，保证误差严格等于 delta） rB = x + rng.normal(0, delta, x.shape) # B：零均值逐点噪声，标准差=delta rC = _conv_separable(x, _gauss_kernel(7, 1.6)) # C：模糊 rows = [ ("A 亮度偏移(整体+%.2f)" % delta, rA), ("B 逐点噪声(σ=%.2f)" % delta, rB), ("C 高斯模糊", rC), ] print("%-26s %12s %12s %14s" % ("重建方式", "像素MSE", "感知距离", "感知/像素 比")) print("-" * 68) for name, r in rows: pm = mse(x, r) pp = perceptual_proxy(x, r) print("%-26s %12.5f %12.5f %14.2f" % (name, pm, pp, pp / (pm + 1e-12))) mseA, mseB = mse(x, rA), mse(x, rB) pA, pB = perceptual_proxy(x, rA), perceptual_proxy(x, rB) print("\n关键对照：A 与 B 的像素 MSE 相差仅 %.2f%%，" % (100 * abs(mseA - mseB) / mseA)) print("但特征空间里 B（噪声）的感知距离是 A（亮度偏移）的 %.1f 倍。" % (pB / pA)) print("高通/多尺度特征天然滤掉直流亮度、放大纹理污染——这正是 LPIPS 比 MSE 更贴人眼的原因。") if __name__ == "__main__": main() gan_schedule.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- """GAN 两项的最小演示：hinge / vanilla 损失，以及判别器的 warm-up 调度。 只依赖 numpy，直接 `python gan_schedule.py` 复现。 视频 VAE 里对抗损失通常不是从头开：先用 L1+KL+LPIPS 把解码器训到大致成形， 第 disc_start 步才把判别器权重从 0 抬起来（taming 里的 adopt_weight）。 本脚本同时给出两种常见判别损失的数值，并展示「判别器过强」时的失衡信号。 """ import numpy as np rng = np.random.default_rng(3) def adopt_weight(weight, global_step, threshold=0, value=0.0): """taming-transformers 里的原逻辑：threshold 之前强制为 value（通常是0）。""" return value if global_step < threshold else weight def hinge_d(real, fake): return 0.5 * (np.mean(np.maximum(0.0, 1.0 - real)) + np.mean(np.maximum(0.0, 1.0 + fake))) def hinge_g(fake): return float(-np.mean(fake)) def vanilla_d(real, fake): softplus = lambda z: np.log1p(np.exp(-np.abs(z))) + np.maximum(z, 0.0) return 0.5 * (np.mean(softplus(-real)) + np.mean(softplus(fake))) def evaluate(real, fake, tag): print("%-28s D(hinge)=%.4f D(vanilla)=%.4f G(hinge)=%.4f 均值打分 real=%.2f fake=%.2f" % (tag, hinge_d(real, fake), vanilla_d(real, fake), hinge_g(fake), real.mean(), fake.mean())) def main(): # ① warm-up 调度：disc_start=2000 print("== adopt_weight 调度（disc_start=2000, 目标权重 0.05） ==") for step in (0, 1999, 2000, 5000): w = adopt_weight(0.05, step, threshold=2000) print(" step=%5d -> 对抗权重 = %.3f" % (step, w)) # ② 判别器在三种强弱下的损失 print("\n== 判别器强弱与损失信号 ==") # 平衡初期：真假打分都在 0 附近 real0 = rng.normal(0.0, 0.3, 256) fake0 = rng.normal(0.0, 0.3, 256) evaluate(real0, fake0, "起步：判别器分不清") # 健康：真≈+1，假≈-1，仍留梯度 real1 = rng.normal(1.2, 0.4, 256) fake1 = rng.normal(-1.2, 0.4, 256) evaluate(real1, fake1, "健康：适度拉开") # 过强：真≈+6，假≈-6，判别器 hinge 梯度为 0，但生成器对 fake logit 仍有梯度 real2 = rng.normal(6.0, 0.5, 256) fake2 = rng.normal(-6.0, 0.5, 256) evaluate(real2, fake2, "过强：margin 已饱和") d_fake_grad = 0.5 * (fake2 > -1.0) / fake2.size g_fake_grad = -np.ones_like(fake2) / fake2.size print("\nD 对 fake logit 梯度范数 = %.6f" % np.linalg.norm(d_fake_grad)) print("G 对 fake logit 梯度范数 = %.6f" % np.linalg.norm(g_fake_grad)) print("D margin 饱和不表示 G 梯度消失；参数梯度还取决于判别器输入雅可比。") if __name__ == "__main__": main() adaptive_weight.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- """复现 VQGAN 的自适应 GAN 权重 calculate_adaptive_weight。 只依赖 numpy，直接 `python adaptive_weight.py` 复现。 固定 GAN 权重的痛点：训练早期解码器很烂，重建梯度很大；训练后期重建收敛、 梯度变小。若 λ 固定，GAN 梯度在后期会相对越来越强，甚至把重建带偏。 VQGAN 的做法是让两项在「最后一层」上的梯度范数之比来决定权重： d_weight = ||∇_last L_rec|| / (||∇_last L_gan|| + 1e-4)，再 clamp 到 [0,1e4] 我们用一个可解析求导的迷你线性解码器，精确算出两个梯度范数， 并用有限差分抽查一个分量，证明数值不是凑出来的。 """ import numpy as np rng = np.random.default_rng(2) N, D, dz = 16, 24, 8 # 样本数、像素维、latent 维 Z = rng.standard_normal((N, dz)) W_star = rng.standard_normal((dz, D)) * 0.3 X = Z @ W_star # 真实数据：线性可完美拟合 # 一个固定的微型判别器打分函数 s(x)=x @ a（教学用，参数冻结） a = rng.standard_normal((D,)) def decode(W, b): return Z @ W + b def rec_loss(W, b): """重建项：L2（L1 同理，范数比机制不变）。""" return float(np.mean((decode(W, b) - X) ** 2)) def gan_g_loss(W, b): """生成器 hinge 损失 -mean(D(r))。""" s = decode(W, b) @ a return float(-np.mean(s)) def grads(W, b): R = decode(W, b) - X g_rec = (2.0 / (N * D)) * Z.T @ R # ∂L_rec/∂W（mean 对 N*D） # g=-mean_n(s_n)，s_n=Σ_d xhat_nd·a_d：mean 只对 N，分母是 N，不是 N*D s_coef = -(1.0 / N) * Z.sum(axis=0) # ∂g/∂W_kd = -(1/N)(Σ_n z_nk) a_d g_gan = np.outer(s_coef, a) return g_rec, g_gan def adaptive_weight(g_rec, g_gan, cap=1e4): w = np.linalg.norm(g_rec) / (np.linalg.norm(g_gan) + 1e-4) return float(np.clip(w, 0.0, cap)) def finite_diff_check(W, b, eps=1e-6): """用中心差分抽查 W[0,0] 上的两个梯度，验证解析解。""" out = [] for fn in (rec_loss, gan_g_loss): Wp, Wm = W.copy(), W.copy() Wp[0, 0] += eps Wm[0, 0] -= eps out.append((fn(Wp, b) - fn(Wm, b)) / (2 * eps)) return out def stage(W, b, name): lrec = rec_loss(W, b) lgan = gan_g_loss(W, b) g_rec, g_gan = grads(W, b) w = adaptive_weight(g_rec, g_gan) print("%-22s L_rec=%8.5f L_gan=%8.4f ||∇rec||=%8.4f ||∇gan||=%7.4f d_weight=%7.4f" % (name, lrec, lgan, np.linalg.norm(g_rec), np.linalg.norm(g_gan), w)) return w def main(): b = np.zeros(D) # 阶段一：解码器刚初始化，离最优很远（重建残差大） W_early = rng.standard_normal((dz, D)) * 0.05 # 阶段二：接近收敛（在最优解上加很小扰动，残差小） W_late = W_star + rng.standard_normal((dz, D)) * 0.01 print("== 有限差分校验（W[0,0]） ==") fd_rec, fd_gan = finite_diff_check(W_early, b) g_rec, g_gan = grads(W_early, b) print("解析 ∂Lrec/∂W00=%.6f 差分=%.6f" % (g_rec[0, 0], fd_rec)) print("解析 ∂Lgan/∂W00=%.6f 差分=%.6f\n" % (g_gan[0, 0], fd_gan)) print("== 自适应权重随训练阶段变化 ==") w_early = stage(W_early, b, "训练早期(未收敛)") w_late = stage(W_late, b, "训练后期(近收敛)") print("\n重建收敛后 d_weight 从 %.3f 降到 %.4f（约 %.0f 倍），GAN 项被自动调小。" % (w_early, w_late, w_early / max(w_late, 1e-12))) print("若用固定 λ：早期 GAN 抢不过重建、后期 GAN 又可能压过重建——自适应权重就是在消除这个漂移。") if __name__ == "__main__": main() temporal_consistency.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- """视频 VAE 为什么必须额外盯「时间维」：同样的单帧画质，闪烁程度可以天差地别。 只依赖 numpy，直接 `python temporal_consistency.py` 复现。 构造一段运动视频，再给两种重建： A. 逐帧独立噪声 —— 每一帧单独看误差不大，连起来播放却疯狂闪烁； B. 跨帧恒定的退化（同一固定纹理噪声）—— 单帧误差与 A 相同，但不闪。 单帧空间 L1 完全分不清 A、B；相邻帧差分的时序一致性损失一眼区分。 """ import numpy as np rng = np.random.default_rng(4) T, H, W = 12, 48, 64 SIGMA = 0.08 def make_sequence(): yy, xx = np.mgrid[0:H, 0:W].astype(np.float64) x = np.zeros((T, H, W)) for t in range(T): cx = 8 + 4 * t # 一条匀速移动的竖边 frame = 0.25 + 0.5 * (xx >= cx) frame += 0.1 * ((xx // 6 + yy // 6) % 2) x[t] = frame return np.clip(x, 0, 1)[:, None] # [T,1,H,W] def spatial_l1(r, x): return float(np.mean(np.abs(r - x))) def frame_diff(v): return v[1:] - v[:-1] def temporal_error(r, x): """相邻帧差分一致性：||Δr - Δx||（静止背景上 GT 帧差为0，闪烁直接显现）。""" return float(np.mean(np.abs(frame_diff(r) - frame_diff(x)))) def temporal_mse(r, x): return float(np.mean((frame_diff(r) - frame_diff(x)) ** 2)) def main(): x = make_sequence() fixed_noise = SIGMA * rng.standard_normal(x.shape[1:])[None] # [1,1,H,W] 跨帧恒定 rA = x + SIGMA * rng.standard_normal(x.shape) # 逐帧独立噪声 -> 闪烁 # 稳定退化：以跨帧恒定噪声为主，只掺 5% 的逐帧抖动（更贴近真实解码器） rB = x + fixed_noise + 0.05 * SIGMA * rng.standard_normal(x.shape) print("退化能量相同（σ=%.2f），比较单帧空间误差与时间维误差：\n" % SIGMA) print("%-22s %14s %16s %16s" % ("重建", "单帧空间L1", "时序差分L1", "时序差分MSE")) print("-" * 72) for name, r in (("A 逐帧独立噪声(闪)", rA), ("B 跨帧恒定退化(稳)", rB)): print("%-22s %14.5f %16.5f %16.5f" % (name, spatial_l1(r, x), temporal_error(r, x), temporal_mse(r, x))) print("\n单帧空间 L1 几乎相等（A=%.4f vs B=%.4f），但时序 MSE 上 A 约为 B 的 %.0f 倍。" % (spatial_l1(rA, x), spatial_l1(rB, x), temporal_mse(rA, x) / max(temporal_mse(rB, x), 1e-12))) print("这解释了视频 VAE 为何要在 2D 的 L1/LPIPS/GAN 之外：") print(" · 把判别器扩到时空（3D/PatchGAN、LTX 的 Video-DWT）；") print(" · 或加相邻帧/warp 一致性损失，专门惩罚帧间抖动与闪烁。") if __name__ == "__main__": main()

AIGC 每日速读|2026-09-18|高通揪出长视频KV错配-Recency Forcing 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与长时程一致性 2 篇 · 生成模型评测与审计 2 篇 · 推理与采样加速 2 篇 · 语音与音乐生成 2 篇 · 视频修复与图像应用 2 篇 重点论文标题列表 Recency Forcing（Qualcomm AI Research）：按距离衰减注意力救长视频 MiniMax-H3-Reason（National University of Singapore；Fudan University；Tencent）：全模态模型物理推理仅四成 ⚡ Diagonal Sparsity（KAIST；Agency for Defense Development；Seoul National University）：对角稀疏把吞吐拉到3.1倍 VibeAvatar（Peking University）：口型与美感分阶段各管各的 AVR（New York University；University of Technology Sydney）：能抄就抄抄不到才让扩散补 今日论文速览 1. Recency Forcing：按距离衰减注意力救长视频 Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation | Qualcomm AI Research | arXiv:2609.19729 关键词：自回归视频生成,长时程一致性,KV cache,注意力偏置 ⚠️ 前序问题：自回归视频生成一拉长就退化。论文把根因定位到一处被忽视的训练-推理不一致：训练时短片段的全部上下文帧都在 KV cache 里，推理时显存约束却会把远处帧逐出 cache，等于抽走了模型当初赖以生成的上下文。作者称之为 KV 淘汰错配（KV eviction mismatch）。 本文贡献：思路不是用截断上下文去模拟淘汰——那会连模型仍需要的时间信息一起丢掉、破坏运动连贯——而是保留上下文，同时让远处帧的影响逐步衰减，等它们真被淘汰时影响已可忽略。论文先用扰动式敏感度指标 positional response R(Δ, t_denoise) 量出上下文影响随时间距离陡峭衰减、且在不同去噪步上系统性变化；据此提出 Temporal Response Bias（TRB），把一个非正的、随时间步变化的偏置直接加在 softmax 之前的注意力 logits 上。配套的 Biased Attention Reparameterization（BAR）是个等价改写，把偏置移到 softmax 之外，使 TRB 退化成一次标准 FlashAttention 调用。 实验效果：在 VBench 与 VBench-Long 上取得长时程生成的 state-of-the-art 质量，且不增加推理成本。60 秒视频的定性对比里，Self-Forcing 出现色彩漂移，LongLive 产生场景重复，DeepForcing 引入模糊，Recency Forcing 则保持了画面稳定与运动连贯。方法不改动上下文长度与训练目标，免训练与训练两种模式都能用，BAR 的等价改写让偏置的额外开销为零。 批判点评：把长视频退化归到 KV cache 淘汰这个具体的工程约束上，而不是笼统归因于「误差累积」，定位比多数同类工作清晰，BAR 让它零开销落地也务实。但摘要只给 state-of-the-art 的结论、未披露具体分数，免训练与训练两种模式的增益差距、TRB 偏置形状换骨干后是否还成立，都要看正文；VBench 系列本身偏重视觉质量，长时程的叙事与物体持久性未必能被它完全反映。 2. MiniMax-H3-Reason：全模态模型物理推理仅四成 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model | National University of Singapore；Fudan University；Tencent | arXiv:2609.18323 关键词：全模态生成模型,物理世界推理,跨模态整合,评测基准 ⚠️ 前序问题：全模态生成模型把文本、图像、视频、音频统一建模，MiniMax-H3 正是在共享潜空间里同时做多模态理解与音视频联合生成的代表。但多模态对齐到底有没有提升模型的世界推理能力？现有面向视频生成与世界模型的评测大多受限于单一输入模态，且提示词与目标视频内容高度重合，回答不了这个问题。 本文贡献：论文构建了围绕物理世界推理四个互补维度的评测框架，专门为全模态输入设计任务：隐式提示搭配多帧、音频-图像、前缀视频、音频-视频四类场景。关键设计是每一路模态只提供事件的部分证据，模型必须跨模态整合互补线索，才能推断出潜在的事件状态与未来动态。 实验效果：517 个评测实例上，MiniMax-H3 总体成功率 41.97%。分维度看，基于视频的决策推理最高、为 56.00%，基于音频的消歧推理最弱、只有 27.40%。作者据此认为要真正吃到多模态输入的红利，关键仍在有效的跨模态整合。 批判点评：用「每种模态只给部分证据」的设定逼出跨模态整合能力，比提示词与目标高度重合的常规评测更有区分度，音频维度 27.40% 也确实点出了当前全模态模型的短板。但全文只评了 MiniMax-H3 一个模型，没有同代横向对比，41.97% 这个绝对值究竟是模型不行还是任务过难无从判断；517 个实例摊到四个维度上，每个维度的样本量也偏薄。 3. Diagonal Sparsity：对角稀疏把吞吐拉到3.1倍 Understanding and Exploiting Diagonal Attention Sparsity in Autoregressive Image Generation | KAIST；Agency for Defense Development；Seoul National University | arXiv:2609.19702 关键词：自回归图像生成,稀疏注意力,KV cache,推理加速 ⚠️ 前序问题：自回归图像生成因为能直接复用基于 transformer 的 LLM 服务设施而成为多模态系统的一种范式，但每次请求要吐出上千个视觉 token，解码越来越被注意力计算中的 KV cache 访问卡住。稀疏注意力在文本 LLM 推理上已被充分研究，可它的稀疏性假设能不能迁移到自回归图像生成，此前没人说得清。 本文贡献：论文首次系统刻画了自回归图像生成中的注意力稀疏性，覆盖多种负载与代表性开源模型，发现三个和文本场景不一样的性质：prefill 与 decode 阶段存在明显不对称、注意力强烈集中在 prompt token 与局部 token 上、以及视觉 token 的空间局部性带来一种独特的对角稀疏模式。据此提出对角感知稀疏注意力，在最近窗口内沿对角方向选择性跳过 KV 条目。 实验效果：基于 FlexGen、FlashAttention-2 与自定义 kernel 实现在 GPU 服务系统上，相比稠密推理最高取得 3.1 倍吞吐与 1.19 倍延迟改善，质量损失低于 2%。 批判点评：把稀疏模式追到「视觉 token 的空间局部性」这一来源、而不是照搬文本 LLM 的稀疏假设，是这篇最扎实的地方，3.1 倍吞吐也有工程说服力。但「质量损失低于 2%」用的是哪个指标、在哪些负载上成立，摘要没交代；对角模式依赖光栅扫描式的 token 排布，换扫描顺序或改分辨率后是否还成立同样存疑。 4. VibeAvatar：口型与美感分阶段各管各的 VibeAvatar: Aligning Phonetic Kinematics and Human Aesthetics for High-Fidelity Talking Avatar Synthesis | Peking University | arXiv:2609.18632 关键词：说话人视频合成,语音驱动,GRPO,流匹配 ⚠️ 前序问题：多模态说话人视频合成要从一张参考肖像加一段语音生成逼真视频。扩散类方法进步很快，却始终难以同时拿到准确的唇部发音、符合人类偏好的运动美感和高效推理这三样。 本文贡献：论文的判断是：发音准确性和运动美感来自根本不同的源头，应该在互补的阶段分别处理，而不是塞给单个生成器隐式地一起学。VibeAvatar 因此把两个目标解耦——条件阶段用 Phonetic Kinematics Adapter（PKA）把面向识别的语音特征转成发音-运动条件；后训练阶段用 Aesthetic Motion Policy（AMP），以 GRPO 优化一个流一致的随机采样策略。运动生成器本身是轻量流模型，工作在紧凑的一维 warp 潜空间里。 实验效果：客观指标与用户研究上，发音、美感、效率三项均达到 state-of-the-art；生成 10 秒 512px 视频耗时不到 10 秒，显存占用约 3GB。 批判点评：「发音归条件阶段、美感归后训练」是个干净的分工，把 GRPO 用在采样策略而不是生成器权重上也省掉了重训成本，约 3GB 显存意味着消费级显卡能跑。但美感由 GRPO 所对齐的偏好定义，口味会不会过拟合到特定标注群体值得警惕；摘要只给了效率数字，发音与美感的具体分数、以及更长时长下的身份漂移都得看正文。 5. AVR：能抄就抄抄不到才让扩散补 Copy What Is Seen, Generate What Is Not: Training-Free Anomaly-Aware Video Restoration | New York University；University of Technology Sydney | arXiv:2609.18836 关键词：视频修复,异常检测,免训练方法,扩散修补 ⚠️ 前序问题：监控系统检测到异常后往往还得把画面修好，但这两件事一直被分开研究：免训练的异常检测止步于一个分数或标签，免训练的视频编辑则只听用户提示词、不听检测器。 本文贡献：AVR 只用冻结的预训练模型就把两端接上，而且只在画面确实没有证据可抄的地方才生成内容。先由运动证据把开放词表提案收敛成时空掩码；再用片段自身算出的背景先验，填掉异常曾经遮挡过的每一个像素，只把「任何一帧都没出现过」的部分交给扩散合成；最后一个冻结的验证器逐片段决定该信任经典修复、先验锚定修复还是背景条件修复。 实验效果：三个监控数据集上、覆盖全参考异常注入与真实异常两种设定：oracle 掩码下 AVR 的全帧保真度领先，在编辑区域内与三个训练过的视频 inpainting 方法持平，用自己产出的掩码时优于「先检测再生成」的流水线，同时压住了残留异常与自由扩散带来的闪烁。 批判点评：「能抄就抄、抄不到才生成」的取舍很贴监控取证的需求——少生成一分就少一分臆造风险，全程冻结模型也免了训练成本。但它靠运动证据圈定异常，静止或缓慢的异常可能整个漏掉；oracle 掩码下的领先说明上限不错，自产掩码下的成绩才是实际水平，三个监控数据集的场景多样性也仍有限。 6. CPR：作曲演奏精修三段渲染钢琴 CPR: Combining global composing, local performing and full-sequence refining in piano rendering with continuous autoregressive modelling | The Chinese University of Hong Kong, Shenzhen | arXiv:2609.18216 关键词：钢琴渲染,连续自回归,流匹配,音乐生成 ⚠️ 前序问题：提示词条件下的钢琴 MIDI-to-Music 渲染，要在忠实还原目标音符的同时复现参考录音的音色。现有方法分两条路：离散 codec 的自回归模型有因果时序建模能力，但量化会丢掉声学细节；流匹配更能保住声学结构，代价是全序列注意力开销大、语义结构反而更差。 本文贡献：连续自回归模型直接在连续表示上工作，既兼有自回归的条件跟随能力与流匹配的分布建模能力，又绕开量化瓶颈、计算成本更低。CPR 据此拆成三段：Composer 自回归预测连续隐状态，Performer 经局部流匹配生成 24kHz 声学潜变量，Refiner 再把波形上采样到 48kHz。论文另引入 Bottlenecked Representation Alignment（BREPA）与 Modality-Time RoPE（MT-RoPE），分别强化 Composer 隐状态里的音乐语义结构和跨模态时间对齐。 实验效果：P-MUSE-eval 上，CPR 只用 4 步（NFE=4）就输出 48kHz 音频，onset F1 78.4 与 FAD_clap 0.129 均为最佳；音色相似度 89.3 略低于需要 25 步的 P-MUSE（90.6），但明显优于 MIDI-VALLE 的 83.4。另有 13 位听众对 14 个样本的 MOS 主观评测。 批判点评：三段分工把「写什么音」「怎么弹出来」「采样率补齐」拆开，绕过离散量化这个老瓶颈，4 步出 48kHz 相对 P-MUSE 的 25 步是实打实的效率优势。但音色相似度并未超过 P-MUSE，说明连续表示在音色保真上还没占到便宜；MOS 只有 13 位听众评 14 个样本，样本量偏小，评测也集中在钢琴单一乐器上。 7. Self-Distilled TTS：模型自己教自己念生词 Self-Distilled Pronunciation and Accent Control for Neural Text-to-Speech | Independent Researcher；KOWRO Inc. | arXiv:2609.17234 关键词：语音合成,自蒸馏,发音控制,口音标注 ⚠️ 前序问题：直接读原始文本的 TTS 没有词典，碰上生僻词只能靠猜。已有的补救要么拿录音训练一条专门的发音与口音通道，要么从示例里一个词一个词地改。 本文贡献：这篇两样都不做。让冻结的骨干去读一个含有它本来就念得对的常见词的句子，再把它自己的输出当作同一句话的教师——只是把那个词替换成带标注的、指定口音的读法。这一对训练样本就是方法的全部。 实验效果：Sarashina2.2-TTS 上，经筛选的评测者（Fleiss' kappa = 0.85）在 0.89 的未见词上听出了指定口音，而无法表达口音的假名方案只有 0.57、没有赢下任何一组对比，自然度没有可测量的损害。未经调整迁移到自回归、扩散和编码器-解码器骨干后，319 个词上的读法正确率比不做编辑高出 0.25 到 0.47；CosyVoice 2 上三个词里有两个能带上口音，但在 Irodori 上不行，论文分析了原因。 批判点评：用模型自己的输出当教师、只换一个词构成训练对，简洁到几乎没有额外数据成本，跨骨干迁移也说明思路不绑架构。但它天然受限于「骨干本来就念得对的常见词」这个起点，词表外的音素组合未必覆盖得到；Irodori 上失效说明迁移并非无条件成立，日语音高重音之外的语言是否同样奏效也还没有证据。 8. JewelTry：免掩码珠宝试戴还管尺寸 JewelTry: Mask-Free Scale Aware Jewelry Virtual Try-On | Amazon | arXiv:2609.16626 关键词：虚拟试戴,免掩码扩散,尺寸感知,评测基准 ⚠️ 前序问题：虚拟试穿让顾客看到上身效果，已是网购的重要技术。服装类进展很大，珠宝却因为体积小、结构刚性、对细节高度敏感而一直是难啃的品类：既要忠实迁移外观，还得相对佩戴者有正确的尺寸和位置。现有珠宝试戴多依赖掩码引导，而免掩码方法又缺乏建模产品尺寸的显式引导。 本文贡献：论文先建了 JVTO-Bench，提供带真实产品尺寸标注的「参考-源-目标」三元组，覆盖四大珠宝品类。在此之上提出免掩码扩散框架 JewelTry：尺寸适配器把产品实际尺寸编码成一个 scale token，让模型在上下文中学到珠宝与人体解剖结构之间的尺寸关系；再用单向条件注意力与注意力精修损失，同时保住参考珠宝的粗粒度几何与细粒度结构细节。 实验效果：实验显示 JewelTry 在视觉保真度、背景保持、物体一致性与尺寸准确性之间取得平衡，为免掩码、尺寸感知的珠宝虚拟试戴立了一个较强基线。 批判点评：把「尺寸对不对」变成可编码的条件而不是靠掩码兜底，抓住了珠宝区别于服装的真正难点，配套放出带真实尺寸标注的 benchmark 也补上了这一方向的评测空白。但摘要通篇没给量化指标，「取得平衡」这类表述无法判断相对现有方法的实际差距；四个品类对珠宝这种长尾品类而言覆盖面也偏窄。 9. MSR：多张参考图各占一个 slot MSR: Multiple Subject Reference for Video Generation | Licon Studio | arXiv:2609.18393 关键词：多主体视频生成,参考图条件,LoRA,流匹配 ⚠️ 前序问题：让视频生成器同时吃多张参考图时，既要保住每个主体的外观，又要把每张图和它该扮演的角色对上，否则属性就会串到别的对象身上。 本文贡献：MSR 是面向 LTX 视频生成的 slot 感知条件方案：每张参考图被独立编码成一段静态片段、对应一组单独的潜 token；一个紧凑的傅里叶特征 MLP 给它加上数值化的 slot 嵌入，再用随 slot 变化的时间偏移改写这组 token 的旋转位置坐标。这些参考组被前置到带噪的目标 token 之前，在仅针对目标的流匹配训练中充当干净上下文。整套方案用 LoRA 实现，权重与推理工作流已开源。 实验效果：论文给的是定性结果：示例展示了包含不同角色与参考环境的写实及风格化场景组合；开发过程中的观察显示，相对更早的连续参考基线，参考混淆有所减少，但相似服装、复杂衣物和视角变化仍然困难。另有一个补充实验在冻结视觉参数的前提下加入了语音参考条件。 批判点评：用独立 token 组加 slot 嵌入来绑定「哪张图对应哪个角色」，思路直接，靠 LoRA 就能低成本落地，开源权重与工作流对想复现的人友好。但这更像一份技术报告而非完整论文：全文没有定量实验，「参考混淆减少」只是开发观察而非受控对比，缺少与基线的可比指标；作者自己也承认相似服装与视角变化仍未解决。 10. Newer Is Not Fairer：新版文生图并没有更公平 Newer Is Not Fairer: Gender Stereotyping in Text-to-Image AI Across Model Generations | Northeastern University | arXiv:2609.18007 关键词：文生图,性别偏见,模型审计,公平性评测 ⚠️ 前序问题：文生图模型已经在专业与创意场景里广泛使用，但它们如何呈现不同职业的性别、以及更新的模型是不是更公平，跨代际地看仍缺乏系统证据。 本文贡献：论文评测了 20 个职业、5 种提示词模板、4 代 Stable Diffusion（SD 1.5、SD 2.1、SDXL、SD 3 Medium），每个「职业×模型」单元生成 100 张、共 8000 张图，全部用 DeepFace 判定性别，并与美国劳工统计局（BLS）的真实劳动力数据对照，所有显著性检验都做了 Benjamini-Hochberg 多重校正。 实验效果：8000 张开源模型图像中 76.4% 为男性（95% CI [75.1%, 78.7%]）；更扎眼的是历史上女性主导的职业里仍有 57.6% 生成男性。相对 BLS 数据，模型平均低估女性 20–46 个百分点，本就接近性别均衡的职业偏差最大——科学家 BLS 女性占 48%、模型输出 82–99% 为男性，清洁工 BLS 女性占 46%、模型输出 80–92% 为男性。代际并非稳步改善：偏差从 SD 1.5 一路恶化到 SDXL，到 SD 3 Medium 才部分回落。与 GPT-image-1 在五个职业上的初步对比显示商业模型偏差更低，但实际效应很小（Cramér's V = 0.080）且属探索性。没有任何一个模型达到性别均衡。 批判点评：8000 张图、多重检验校正、对照 BLS 真实就业数据，这套设计让结论比常见的偏见讨论扎实得多，「更新不等于更公平」的代际发现尤其有价值。但性别判定依赖 DeepFace 的二元分类，本身有误差且无法涵盖非二元表达；20 个职业、5 个模板的提示词空间偏窄，与 GPT-image-1 的对比作者也标注为探索性，撑不起开源与商业模型孰优孰劣的强结论。 趋势观察 长上下文的瓶颈，从「记不记得住」变成「cache 放不放得下」 Recency Forcing 把长视频退化追到 KV cache 淘汰这一工程约束，Diagonal Sparsity 直接冲着自回归图像生成的 KV 访问瓶颈去。两篇都不再泛泛谈误差累积，而是把注意力的显存与访存代价当成一等问题来解。 生成质量的定义权，正在交给后训练与采样策略 VibeAvatar 把运动美感交给 GRPO 在后训练阶段对齐，而不是让生成器隐式地学；CPR 用连续自回归绕开量化，再分三段把语义结构、局部声学与采样率分工。共同前提是承认单个生成器学不好多个互相冲突的目标。 评测开始审问模型「到底懂不懂」，而不只是「像不像」 MiniMax-H3 的评测让每种模态只给部分证据，逼模型跨模态整合才能答对；Newer Is Not Fairer 用 8000 张图对照真实就业数据，把「新版是否更公平」变成可证伪的问题。两者都不满足于保真度分数。 免训练与轻量适配，正在成为落地的默认路径 AVR 全程冻结预训练模型、只在没有证据可抄的地方才生成；MSR 用 LoRA 给现成视频模型加多主体条件；Self-Distilled TTS 让模型自己的输出当教师。共同动机都是避开重训成本。 人工智能炼丹君 整理 | 2026-09-18 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-17|Meta一个模型既写歌又改歌-SongCraft 今日 AIGC 论文速览 今日共 10 篇 · 音乐与歌曲生成 2 篇 · 视频生成与世界模型 2 篇 · 视频编辑与采样效率 2 篇 · 长语音稳定生成 2 篇 · 生成评测与溯源 2 篇 重点论文标题列表 SongCraft（Meta AI）：一套模型统一歌曲生成编辑 SlotDiT（University of Bonn）：用 slot 潜空间省算力提成功率 AlayaVista（Alaya Lab；Beijing Institute of Technology；The University of Tokyo）：全景状态驱动流式世界模型 MDN-Control（Wuhan University）：掩码深度噪声协同视频编辑 ADSC（SAP；National University of Singapore；A*STAR I2R）：按样本收敛动态缩短采样 今日论文速览 1. SongCraft：一套模型统一歌曲生成编辑 SongCraft: Unified Song Generation and Editing with Reconstructive Learning | Meta AI | arXiv:2609.16315 关键词：歌曲生成,音频编辑,流匹配,重建预训练 前序问题：歌曲生成与歌曲编辑通常由两套系统完成：生成只接收歌词等稀疏条件，编辑却需要保留人声、旋律和结构等稠密属性，分别训练会重复成本且难共享能力。 本文贡献：SongCraft用重建式预训练随机切换稀疏生成分支和稠密编辑分支，共享潜空间流匹配主干；编辑时抽取歌词时间戳、MIDI、和弦、歌手等属性并只改目标条件，生成时仅保留歌词、节拍和描述。 实验效果：统一模型的歌词WER为0.133；主观A4平均分7.45、SongEval为3.62。它的可懂度领先，但SongEval整体质量仍低于Levo的3.95；瓶颈加长还会同时降低音高、歌手和歌词可编辑性。 批判点评：统一生成与属性级编辑是实用方向，重建预训练减少成对编辑数据依赖；但质量与可编辑性存在明显折中，当前主要针对有限时长与条件类型，更长歌曲和复杂编曲仍是后续工作。 2. SlotDiT：用 slot 潜空间省算力提成功率 SlotDiT: Object-Centric Representations for Diffusion Transformers | University of Bonn | arXiv:2609.17414 关键词：扩散Transformer,对象中心表示,潜空间设计,机器人控制 前序问题：视频DiT通常在像素或稠密视觉潜空间中预测，容易把大量算力花在背景纹理上，也难以显式跟踪承担动作的对象；机器人控制真正关心的是对象状态及其随指令发生的变化。 本文贡献：SlotDiT 让文本条件 DiT 直接在 slot 潜空间里工作：先把场景分解成一组对象级的 slot，再依据指令与已观测上下文自回归去噪未来的 slot 轨迹。论文的落点是系统性比较潜空间设计——在统一 DiT 框架下把 slot 表示与 VAE 式、语义对齐式潜空间放在一起对照。 % Overview of SlotDiT. % (a) Given a reference image $\ImageT{1}$ and text instruction $\Caption$, SlotDiT parses the scene into an object-centric slot representation $\SlotsT{1}$. % Conditioned on the encoded instruction and context slots, an object-centric diffusion transformer (DiT) autoregressively denoises future slot trajectories $\PredSlotsT{2}, \ldots, \PredSlotsT{T+1}$, % optionally decoded into future video frames $\PredImageT{2},\, \ldots,\, \PredImageT{T+1}$. % % (b) Comparison of SlotDiT's slot-based latent space against established representation spaces used in DiTs. % % (c) Across four robotic datasets, SlotDiT achieves higher task-completion rates while remaining substantially more efficient than the baselines. 实验效果：每帧只需 10 个 token（VAE 类基线为 256）。CLIPort 的 PutInBowl 任务上成功率 73.0%，次优的 TextOCVP 为 50.0%，VAE 类基线仅 0.5%–10.0%；LT-syn 的六种设置下为 17.0%–74.5%，均居首。生成 39 帧的吞吐 9.33 FPS，快于最快基线的 6.71 FPS，相对 SD-VAE 基准提速 5.68 倍（单卡 A6000）。 % Overview of SlotDiT. % (a) Given a reference image $\ImageT{1}$ and text instruction $\Caption$, SlotDiT parses the scene into an object-centric slot representation $\SlotsT{1}$. % Conditioned on the encoded instruction and context slots, an object-centric diffusion transformer (DiT) autoregressively denoises future slot trajectories $\PredSlotsT{2}, \ldots, \PredSlotsT{T+1}$, % optionally decoded into future video frames $\PredImageT{2},\, \ldots,\, \PredImageT{T+1}$. % % (b) Comparison of SlotDiT's slot-based latent space against established representation spaces used in DiTs. % % (c) Across four robotic datasets, SlotDiT achieves higher task-completion rates while remaining substantially more efficient than the baselines. 批判点评：论文自己点明了一个反直觉结论：视觉质量指标好不等于任务能完成——VAE 基线的感知分更高，指令跟随与任务成功率却大幅落后。代价是 slot 数量固定、外观细节受限，视频生成质量只能算与基线持平而非更优；评测也集中在 CLIPort 与 LT-syn 两类机器人环境，开放世界泛化尚无证据。 3. AlayaVista：全景状态驱动流式世界模型 AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video | Alaya Lab；Beijing Institute of Technology；The University of Tokyo | arXiv:2609.14462 关键词：世界模型,视频生成,相机控制,全景状态 前序问题：相机连续移动时，普通视频生成模型只看局部视口，离开画面的区域容易被遗忘，重新转回时场景会漂移；直接维护高分辨率全景又会让生成和渲染成本过高。 本文贡献：AlayaVista把360度全景作为持续演化的全局状态，再按相机轨迹选择视口、渲染低分辨率透视潜变量，并用局部视频细化器恢复高清画面；全景状态和当前视角因此分离更新，支持流式相机控制。 实验效果：在 MUGEN-HQ 上，AlayaVista 的跨视角一致性 0.9240、旋转误差 2.132 均为最优，平移误差 0.03312 优于 HY-World 2.0 的 0.03885，但仍高于带显式 3D 高斯支架的 MoVerse（0.02746）；动态性 0.9200 偏低，作者认为是长时漫游中局部运动被衰减所致。 批判点评：全景记忆能减少回看漂移，但系统包含全景生成、潜空间渲染和局部细化三段，训练与部署都较重；评测集中在合成式或精选全景数据，长时间真实街景中的几何稳定性仍需验证。 4. MDN-Control：掩码深度噪声协同视频编辑 MDN-Control: Mask-Depth-Noise Guided Region Control for Multi-Subject Video Editing | Wuhan University | arXiv:2609.16475 关键词：视频编辑,多主体控制,遮挡建模,免训练方法 前序问题：多主体视频编辑时，目标人物常被邻近主体或遮挡区域干扰，属性会串到无关对象；只靠文本和掩码也难以同时保持身份、边界与背景。 本文贡献：MDN-Control不再训练新模型，而是组合掩码引导定位、深度感知遮挡软门控和噪声潜变量检索：前者锁定主体，中间模块随去噪阶段调整遮挡约束，后者从候选噪声中选择更匹配指令的初始化。 实验效果：在MSVBench上，方法取得Warp-Err 2.87、CLIP-T 27.09、CLIP-F 95.72、Q-Edit 9.43与CM-Err 2.75；实验在单张NVIDIA L40上完成，并包含20段视频的用户研究。 Overview of MDN-Control. Mask-guided localization localizes the target, depth-aware occlusion control guides editing near occlusions, and noise latent prompting initializes appearance generation. Denoising uses mask-depth guidance at early steps and mask-only guidance thereafter. 批判点评：免训练组合便于迁移到现有DiT，但噪声检索的增益不大，部分固定随机种子甚至更好；20段主观测试规模也偏小，复杂相机运动和长遮挡下的稳定性还未充分覆盖。 5. ADSC：按样本收敛动态缩短采样 Efficient Text-to-Image Generation: An Adaptive Step Schedule Controller for Diffusion Models | SAP；National University of Singapore；A*STAR I2R | arXiv:2609.16572 关键词：文生图,扩散采样,自适应步数,推理加速 前序问题：文生图扩散模型通常给所有提示词使用同一去噪步数，但简单样本早已收敛仍继续计算，复杂样本又可能因固定短计划而欠采样。 本文贡献：ADSC 准备一组步长不同的采样日程，在每个时间步评估误差项的差异，据此在日程之间动态切换，让简单提示词早收敛早停、复杂提示词保留更多步数；控制器无需额外训练，也不改动基础扩散模型。 Effect of text prompt and seed combinations on diffusion steps for generating visually sufficient images. Step counts shown are examples; optimal steps may vary. 实验效果：在COCO的DDIM实验中平均18.89步、0.79秒/图；与固定19步的0.78秒几乎相同，但CLIP-I为95.70，高于固定19步的92.40，CLIP-T均为31.4，优势主要来自按样本分配步数。 The denoising process begins with the longest schedule (e.g. 40 steps in the example) and transitions to shorter schedules (20 followed by 10) upon detecting convergence. 批判点评：方法实现简单且可插拔，不过同等平均步数下墙钟时间没有加速，控制器判断还增加少量开销；论文比较的不同基线并非始终严格等算力，效率结论应区分步数、质量和实际延迟。 6. LACI：回滚重生成压住长语音失败 Taming Long-form Text-to-Speech | Argmax, Inc.；University of Virginia；Bilkent University | arXiv:2609.16989 关键词：长文本语音合成,推理期干预,错误回滚,语音克隆可靠性 前序问题：自回归TTS在超长文本上会突然跳过整段内容或重复、幻觉；平均WER掩盖了少数灾难性失败，而重新训练模型对已有开源系统成本很高。 本文贡献：LACI（Localized Attention-Constrained Inference，局部注意力约束推理）是纯推理期方法，不改动模型权重：近实时检测 TTS 生成错误，回滚到错误起点，再施加临时护栏重新生成，额外开销可忽略。论文另提出滑窗版说话人相似度 wSIM，用来暴露常规 SIM measure 不到的失败模式。 实验效果：Qwen3-TTS-0.6B 在超过 1500 词的提示上，10 个随机种子里的最差 WER 从 35.2% 降到 3.4%，甚至优于它在 500 词以内短文本上 5.4% 的可靠性；120 秒参考音频下最差 wSIM 从 0.01 升到 0.47；WER 超过 30% 的灾难性生成比例从 26% 降到 1% 以下。 批判点评：推理期干预能给现成开源模型直接止损，不必重训，这是它最实用的地方；但前提是错误可被近实时检出，回滚重生成也会推高长文本的尾部延迟。更值得注意的是超过 1300 词之后失败开始抗拒重生成，LACI 只把失败比例从 70% 压到 57%，反而不及对照方法 ACI 的 34%，作者认为这是模型自身的连贯性上限而非检测不到。 7. DiTAR+：扩张上下文抑制长语音漂移 DiTAR+: Dual Optimization for Robust Autoregressive Diffusion Speech Synthesis | ASLP@NPU, Northwestern Polytechnical University | arXiv:2609.13909 关键词：语音生成,扩散Transformer,长上下文,说话人一致性 前序问题：连续潜变量自回归扩散语音模型在长序列中会逐块积累误差，出现说话人漂移、重复或无法终止；简单扩大历史上下文又让局部声学细节成为捷径。 本文贡献：DiTAR+用扩张上下文采样跨更远的历史块建模宏观一致性，同时在浅层对历史声学块做分层掩码，把语义对齐与声学渲染分开，减少模型复制局部声学模式。 The overall architecture of the proposed DiTAR+ framework. (a) The standard two-stage DiTAR baseline. (b) Hierarchical Acoustic Masking (HAM), which masks historical acoustic context in shallow layers to decouple semantic alignment and acoustic rendering. (c) Dilated Context Sampling (DCS), which expands the macro-receptive field via dilated sampling while preserving temporal continuity. 实验效果：在SeedTTS评测中，DiTAR+的Seed-EN WER为1.672、Seed-ZH为0.985；中文困难集WER为9.893，低于DiTAR的12.478；25至35秒长语音WER从2.778降至2.173，说话人相似度从0.741升至0.759。 Chunk-level speaker similarity over continuous generation steps (3.0,s per chunk). The standard baseline experiences severe speaker drift in the long tail, whereas DCS effectively stabilizes the temporal coherence. 批判点评：DCS与HAM直接针对长尾漂移，消融也显示两者互补；但困难集和长语音集为内部构造，论文没有充分量化扩张上下文带来的吞吐、显存和首音延迟成本。 8. CMA-OT：课程式多尺度舞蹈配乐对齐 CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation | HKUST(GZ)；Tencent | arXiv:2609.13118 关键词：舞蹈配乐,多尺度对齐,最优传输,音乐生成 前序问题：舞蹈配乐既要踩准局部节拍，又要匹配段落级风格；单尺度动作特征或固定对齐损失容易顾此失彼，尤其在动作与音乐结构非一一对应时。 本文贡献：CMA-OT从预训练Jukebox专家提取底层、中层和高层音乐知识，课程式地由局部节奏过渡到全局语义，并用尺度感知的Fused Gromov-Wasserstein最优传输对齐舞蹈与音乐表示。 实验效果：在AIST++上，CMA-OT取得BCS 99.14、BHS 99.12、F1 99.12、FADp 12.50、FADc 0.26；MotionComposer的FADp/FADc为27.52/0.49。TikTok上FADp/FADc为27.53/0.38，也优于30.61/0.81。 批判点评：多尺度课程把节拍和风格监督组织得较清楚，但系统依赖Jukebox专家与额外最优传输计算；AIST++和TikTok仍是较窄的数据分布，指标提升不等同于真实音乐审美或版权可用性。 9. VOR-Bench：细粒度评测视频对象移除 VOR-Bench: A Human Perception-Driven Benchmark for Video Object Removal | Beijing University of Posts and Telecommunications；China Telecom AI Technology；Xi'an Jiaotong University | arXiv:2609.16878 关键词：视频对象移除,评测基准,视觉语言模型,主观一致性 前序问题：视频对象移除常用有缺陷的参考视频或逐帧图像指标，既可能把错误参考当真值，也难以判断对象是否删净、背景是否连续以及结果是否符合常识。 本文贡献：VOR-Bench 由三部分组成：VORD 数据集提供 150 对配对编辑视频与涂鸦式掩码，覆盖模型生成、工具渲染与相机实拍三类来源，另构建 300 对的扩展集验证规模是否足够；rMPAF 流程把图像级对象移除与微调后的视频生成模型结合，自动产出运动连贯的配对视频；VOR-MDSM 则是按三个评价维度微调的 VLM 打分模型。 实验效果：论文报告VOR-MDSM三项偏好判断与人工评分的Spearman相关系数均超过0.9，整体高于VideoLLaMA3、Qwen3-VL-8B和Gemini-3.1-Pro；基准覆盖相机采集、模型生成和工具渲染三类视频。 批判点评：细粒度维度比单一PSNR更接近真实观感，但150/300对数据仍小，VLM裁判也在相近任务分布上训练和验证；论文中的数据与模型发布仍带未来时态，可复现性要看正式开放程度。 10. RAIN：区域感知一跳提取语义水印 RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction | Independent Researcher | arXiv:2609.14856 关键词：生成水印,扩散反演,鲁棒提取,模型归属 前序问题：Gaussian Shading等语义水印把信息埋在扩散初始噪声里，传统提取要多步反演大模型，代价高且在压缩、裁剪、噪声等失真后容易累积误差。 本文贡献：RAIN把终端噪声恢复改写为高信噪比端点上的条件回归，用小型双分支NAFNet一次预测水印决策所需的噪声区域；训练时加入有限集合的最坏失真样本，强化区域边界而非逐点精确重建。 Extraction pipeline used in our implementation. 实验效果：在1000条COCO样本的SD 2.1匹配评测中，干净图比特准确率99.99%；JPEG Q=25为98.15%，缩放到0.25为98.93%。其一次提取仅14.394 GFLOPs、15.468M参数，FARI为682.675 GFLOPs、868.469M参数。 Redrawn from Tables 3 and 4 of RAIN: extraction backbone cost and bit accuracy under matched SD 2.1 distortions. 批判点评：把目标从精确噪声恢复改成区域判别很契合水印任务，但盐椒噪声下93.11%的比特准确率低于OSI的99.71%，极端亮度下也非最优；当前证据绑定Gaussian Shading与特定Stable Diffusion设置。 趋势观察 生成系统开始压缩“状态”而非只压缩网络 SlotDiT 把视频压成少量 slot，AlayaVista把漫游场景压成持续全景状态，MDN-Control则把编辑约束拆成掩码、深度与噪声。共同方向是先确定任务真正需要保存的状态，再把DiT算力集中到这些变量。 推理时控制器成为低成本升级路径 ADSC按样本切换去噪日程，LACI检测跳读后回滚，MDN-Control组合现成控制信号。三者都尽量不重训主模型，把可靠性或效率问题移到可观测、可干预的推理环节。 评测从单一保真度转向任务与失败尾部 VOR-Bench用三维主观语义评分替代单一图像指标；LACI报告最差采样和灾难性失败率；SlotDiT直接看机器人完成率。平均分仍重要，但能否解释具体失败正成为更强的证据。 音频生成继续争夺长程结构控制 DiTAR+扩张历史上下文，SongCraft统一稀疏生成与稠密编辑条件，CMA-OT以多尺度音乐专家监督舞蹈配乐。不同任务都在处理局部声学质量与长程语义结构之间的矛盾。 人工智能炼丹君 整理 | 2026-09-17 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 基本功|把 RL 用到扩散模型上-DiffusionRL 把 RL 用到扩散模型上：从一张图的奖励到整条去噪轨迹的梯度 所属方向：对齐与强化学习 ｜ 难度：前沿 ｜ 前置知识：GRPO、DDIM 采样 关键词：DiffusionRL、DDPO、去噪轨迹、终点奖励、信用分配、DPOK、DRaFT 01. 为什么需要它 扩散模型通常先学习“像训练数据”，但产品真正关心的目标往往不是训练集似然：文字有没有正确渲染、人物是不是多了一根手指、构图是否讨喜、生成物能不能被某个下游系统识别、视频运动是否自然。这些目标可能来自人工打分、视觉语言模型、OCR、物理模拟器，甚至一段只能返回分数的业务程序。它们大多不可微，也不一定有成对偏好数据，却都能回答同一个问题：这张最终样本值多少分？ 直接把最终图片当成一次普通动作，会丢掉扩散模型最重要的结构：图片不是一次生成的，而是从纯噪声开始，经过几十次随机去噪才得到的。假设采样有 50 步，最后的文字错了，到底是哪一步需要改？如果只对最终结果拟合，模型既看不到每一步在旧策略下出现的概率，也无法使用 PPO 的重要性比率约束更新；如果硬把 50 个概率相乘成一个轨迹比率，数值又很容易趋近 0 或爆炸。 DiffusionRL 的关键不是发明一种新的扩散网络，而是换一个观察角度： 把一次完整采样视为一条有限时域 MDP 轨迹；当前 latent 是状态，下一 latent 的随机采样是动作，最终图片的评分是终点奖励。 这样，奖励虽然只在最后出现，整条轨迹的 log-prob 仍然可以参与策略梯度。DDPO（Denoising Diffusion Policy Optimization）正是把这个视角变成了可训练算法：它允许我们用 JPEG 可压缩性、目标检测器、审美模型或人工反馈等黑盒奖励微调扩散模型，而不要求对奖励函数求导。 这也是理解视频生成 RL 的统一入口。图片去噪已经有“时间步 × latent”的信用分配；到了视频，还会再叠加帧间运动、时序一致性和长时奖励。先把图像版的轨迹与概率比率看清，后面的算法名字就不再是一堆孤立缩写。 02. 最小可用理解 给定提示词 $c$，采样从 $x_T\sim\mathcal N(0,I)$ 开始；每个去噪步骤都由模型定义一个策略 $p_\theta(x_{t-1}\mid x_t,c)$。 完整轨迹的概率是所有步骤概率的乘积，所以它的 log-prob 是逐步 log-prob 之和；终点奖励 $R(x_0,c)$ 因而能乘到每一步的 score function 上。 实际训练不直接做无约束 REINFORCE，而是像 PPO 一样保存旧策略的逐步 log-prob、重新计算新策略 log-prob、裁剪概率比率，并用基线或组内标准化降低方差。 图里有一个必须说准的细节：网络通常输出噪声、velocity 或转移均值的参数，但在 MDP 记号中，“动作”是实际采样出来的 $x_{t-1}$。也就是说，网络参数化动作分布，采样器从这个分布中抽出动作；不要把“网络输出”和“环境中发生的动作”混成一件事。 03. 数学推导 3.1 先把一次随机去噪写成概率分布 为避免被不同预测参数化淹没，先只保留采样器真正需要的形式。对当前 latent $x_t$，模型根据时间步 $t$ 和条件 $c$ 预测噪声，再由调度器算出一个转移均值： $$\mu_\theta(x_t,t,c).$$ 带随机性的 DDIM 步可以统一写成： $$x_{t-1}=\mu_\theta(x_t,t,c)+\sigma_t z_t,\qquad z_t\sim\mathcal N(0,I).$$ 因此条件转移是一个高斯策略： $$\pi_\theta(a_t\mid s_t)=p_\theta(x_{t-1}\mid x_t,t,c)=\mathcal N\!\left(x_{t-1};\mu_\theta(x_t,t,c),\sigma_t^2 I\right).$$ DDIM 中的随机强度由 ​$\eta$ 控制。训练 DDPO 时通常必须让 ​$\eta>0$，这样被纳入似然目标的随机步骤才有普通高斯密度可用于 log-prob 和重要性比率。注意 $\eta>0$ 仍不保证所有步骤 $\sigma_t>0$：落到干净端的终步可能方差为零，需排除该步或显式采用非零方差，不能直接算高斯 log-prob。若 ​$\eta=0$，转移退化为确定性映射，​$\sigma_t=0$，直接套高斯 log-prob 会除以零；确定性采样仍可用于可微奖励反传，但不能不加处理地套用这套随机策略梯度。 3.2 MDP 的四个元素 把扩散采样改写成 MDP 时，可使用下面的对应关系： RL 概念 扩散采样中的对象 状态 $s_t$ 当前 latent、时间步和条件：​$(x_t,t,c)$ 动作 $a_t$ 从模型给出的分布中采样下一 latent：​$x_{t-1}$ 策略 ​$\pi_\theta$ 反向去噪转移 ​$p_\theta(x_{t-1}\mid x_t,t,c)$ 奖励 中间步骤通常为 0；解码 ​$x_0$ 后得到 ​$R(x_0,c)$ 这里的“环境”几乎没有额外动力学：动作 $x_{t-1}$ 本身就成为下一状态的一部分，时间步从 $t$ 减到 $t-1$。文本编码器、VAE 解码器和奖励模型通常不属于策略参数；真正更新的是 UNet、DiT 或其 LoRA 适配器。 3.3 终点一个分数，为什么每一步都有梯度 给定提示词，一条轨迹记作 ​$\tau=(x_T,x_{T-1},\ldots,x_0)$。因为初始噪声不依赖模型参数，轨迹概率可分解为： $$p_\theta(\tau\mid c)=p(x_T)\prod_{t=T}^{1}p_\theta(x_{t-1}\mid x_t,t,c).$$ 取对数后，乘积变为求和： $$\log p_\theta(\tau\mid c)=\log p(x_T)+\sum_{t=T}^{1}\log p_\theta(x_{t-1}\mid x_t,t,c).$$ 目标是最大化期望终点奖励： $$J(\theta)=\mathbb E_{c,\tau\sim p_\theta}[R(x_0,c)].$$ 应用 likelihood-ratio trick： $$\nabla_\theta J(\theta)=\mathbb E\!\left[R(x_0,c)\nabla_\theta\log p_\theta(\tau\mid c)\right]=\mathbb E\!\left[R(x_0,c)\sum_{t=T}^{1}\nabla_\theta\log p_\theta(x_{t-1}\mid x_t,t,c)\right].$$ 这就是“奖励只在终点，梯度覆盖全轨迹”的来源。实践中会减去不依赖当前动作的基线 $b(c)$，得到优势： $$A=R(x_0,c)-b(c).$$ 减基线不会改变期望梯度，却能显著降低采样方差。若同一个 prompt 一次生成多张图，可以用组内均值和标准差做归一化： $$A_i=\frac{R_i-\operatorname{mean}(R_{1:G})}{\operatorname{std}(R_{1:G})+\epsilon}.$$ 组均值包含自身时，未标准化的中心化 score 估计在独立采样条件下有 $(1-1/G)$ 的缩放；随机标准差还会改变各组权重。因此上面的无偏基线证明不能直接套到组内标准化。它和 GRPO 的“组内相对分数”很相似，不过动作空间从 token 变成了高维 latent 转移。 3.4 每一步的 log-prob 到底怎么算 设动作 $x_{t-1}$ 有 $D$ 个独立高斯坐标、固定方差为 $\sigma_t^2>0$。真实联合 log-prob 必须对坐标求和： $$\ell_\theta=-\frac{\|x_{t-1}-\mu_\theta\|^2}{2\sigma_t^2}-D\log\sigma_t-\frac D2\log(2\pi).$$ 真实逐步联合概率比为 $r_t=\exp(\ell_\theta-\ell_{old})$。DDPO 作者实现 则把逐坐标 log-prob 取平均，即 $\bar\ell=\ell/D$，再计算 $$\bar r_t=\exp(\bar\ell_\theta-\bar\ell_{old})=r_t^{1/D}.$$ 这是一种控制高维数值尺度的工程替代比率，不再是严格的联合重要性权重；它也改变了 clip 的尺度。本文一维玩具 $D=1$ 时二者相同，多维复现时必须明确采用哪个约定。下式的 $r_t$ 应按所选约定解释。 PPO 风格的裁剪目标是： $$L_t(\theta)=\min\!\left(r_t A,\operatorname{clip}(r_t,1-\epsilon,1+\epsilon)A\right).$$ 训练代码通常最小化 ​$-L_t$。关键是先按转移计算比率再裁剪，不是先把所有 $r_t$ 相乘成一个轨迹比率。后者会随步数快速积累方差，也让某一步的异常比率拖垮整条样本。 3.5 同一个优势，不代表每一步得到同样的梯度 优势 $A$ 可以广播给每一步，但 score function 不同。对固定方差的高斯策略，有： $$\nabla_\theta\log p_\theta(x_{t-1}\mid x_t,c)=\frac{x_{t-1}-\mu_\theta}{\sigma_t^2}\nabla_\theta\mu_\theta.$$ 时间步的噪声尺度、采样残差、网络 Jacobian 都不同，因此各步的梯度贡献不会相等。终点附近通常对最终结果影响更直接，但并不存在“最后一步天然包办所有学习”的定理；调度器与模型参数化会改变信用在各步之间的分布。 04. 代码实现 下面的玩具过程只有一个可训练标量 ​$\theta$，但保留了 DDPO 的核心结构：8 步高斯去噪、只在终点计算奖励、保存逐步 log-prob、用中心化优势做 REINFORCE，并在最后演示新旧策略的 PPO 比率。 状态转移是： $$x_{t-1}=0.72x_t+0.18\theta+0.45z_t,\qquad z_t\sim\mathcal N(0,1).$$ 终点目标为 1.5，奖励为： $$R(x_0)=-(x_0-1.5)^2.$$ 完整代码见文末。直接运行： python3 ddpo_minimal.py 真实输出如下： trajectory_shape= (4096, 9) transition_log_prob_shape= (4096, 8) before_terminal_mean= 0.0052 before_reward_mean= -2.6513 after_theta= 2.2677 after_terminal_mean= 1.3577 after_reward_mean= -0.4370 per_step_gradient= [0.0088 0.0085 0.014 0.024 0.0358 0.0435 0.0578 0.0883] gradient_sample_std_raw_centered= 1.6981 1.3899 ppo_ratio_mean_min_max= 1.0010 0.4051 2.2337 ppo_clip_fraction= 0.3108 history_first= [ 0. -0.0165 -2.7295] history_last= [ 2.2677 1.3601 -0.4503] 几个 shape 很重要：4096 条轨迹、每条 8 个转移，所以状态数组有 9 个点，而 log-prob 只有 8 个。训练前 $x_0$ 均值约为 0；40 次更新后移到 1.36，接近目标 1.5，平均奖励从 -2.65 提升到约 -0.44。奖励是负平方误差，所以“更大”意味着更接近 0，而不是数值绝对值更大。 中心化前后，单样本梯度估计的标准差从 1.70 降到 1.39。这只是最简单的 batch baseline；工业实现还会按 prompt 维护统计量，避免一个本来就容易拿高分的 prompt 主导更新。 最后把参数轻微扰动，逐步比率均值仍约为 1，但极端值已经到 0.41 和 2.23，有约 31% 的转移落到裁剪区间之外。这说明“平均比率看起来正常”不足以判断更新是否安全，还要看 clip fraction、KL 和比率分位数。 右图里越靠近终点的转移贡献越大，是这个线性玩具过程的收缩系数 0.72 造成的：早期扰动经过多次收缩后影响变小。真实扩散模型不会总呈现这种单调形状，但它直观说明了：即使每一步共享同一个终点优势，信用仍由每一步的局部概率结构决定。 05. 工业级实现对照 截至 2026 年 9 月，DDPO 论文作者维护的参考实现 kvablack/ddpo-pytorch 仍是理解训练循环最直接的代码入口。其 scripts/train.py 和带 log-prob 的 ddim_step_with_logprob 展示了完整数据流： 采样 rollout：从 prompt 和初始噪声出发，保存形状近似为 [batch, steps + 1, C, H, W] 的 latents，以及 [batch, steps] 的旧策略 log-prob。 只给终点打分：将 $x_0$ 经 VAE 解码成图片，用 JPEG 可压缩性、审美分数、目标检测、视觉语言模型或业务规则计算奖励。慢奖励可以并发执行，但返回时必须和样本一一对齐。 构造优势：对全批次奖励标准化，或用 per-prompt statistics tracker 做条件化标准化。同一条轨迹的优势广播到各去噪时间步。 打乱样本与时间步：实现不仅 shuffle 样本，还可对每个样本打乱时间步顺序，降低相邻去噪步相关性对小批次更新的影响。 重算 log-prob：把保存的 $(x_t,x_{t-1},t,c)$ 喂给当前模型，通过 patched DDIM step 得到新策略 log-prob，而不是重新采样一个 $x_{t-1}$。 PPO 裁剪更新：计算逐步新旧比率，应用 clipped surrogate loss；通常只训练 LoRA，以降低显存、通信和策略漂移。 这个实现细节解释了为什么训练内存明显大于普通推理：rollout 阶段要保存整条 latent 轨迹和旧 log-prob，更新阶段又要为当前时间步建立反向图。若 rollout batch 为 $B$、去噪步数为 $T$，一轮采样至少处理 $B\times T$ 次 UNet/DiT 前向；若每批 rollout 做 $K$ 个 inner epochs，更新成本还会近似再乘 $K$。梯度累积只改变峰值显存，不会凭空消除总计算量。 早期 Hugging Face TRL 版本曾提供 DDPOTrainer，但当前上游目录与公开 API 已发生重构。读旧教程时应锁定对应版本，不要假设 trl/trainer/ddpo_trainer.py 在最新版仍是稳定入口；本文因此把论文作者仓库作为代码锚点。 从 rollout 到 update 的数据契约 工程里最值得先写清的不是 Trainer 类，而是一条样本在两个阶段之间必须携带什么。rollout 结束后，每条样本至少要保存 prompt 或其编码、全部时间步、从初始噪声到终点的 latents、旧策略逐步 log-prob、最终图片、原始奖励和经过标准化的优势。若使用 classifier-free guidance，还必须固定无条件分支、guidance scale 和文本编码方式；否则更新阶段重算出来的均值并不是采样时那条策略的均值。 update 阶段只取保存的当前 latent 和下一 latent，调用当前模型重算同一个已发生动作的 log-prob。这里绝对不能重新抽噪声：PPO 问的是“新策略对旧动作给出多大概率”，不是“新策略这次随机采到了什么”。这个区别在 token PPO 中很直观——不会在更新时重采一句回答——换成连续 latent 后却很容易藏在调度器接口里。 还应给 rollout 批次分配不可变的 sample id，并把 prompt、随机种子、reward 版本、模型 checkpoint 和 scheduler 配置写进元数据。这样一旦某个 batch 的 ratio 或奖励异常，能够重放出同一条轨迹并定位问题。只记录最后的 PNG 不够，因为不同 latent 轨迹可能解码成肉眼相近的图片，而策略梯度依赖的是当时每一步的概率。 多卡训练时，全局优势标准化也必须基于所有进程聚合后的奖励，而不是每张卡各算各的。否则不同卡的 prompt 难度稍有偏差，就会得到不同的零点和尺度；随后再做梯度平均，相当于混合了多套不一致的目标。相反，若采用 per-prompt 统计器，应明确冷启动策略：某个 prompt 样本太少时回退到全局统计，避免标准差接近零导致优势被放大。 DPOK：为什么还要加 KL 纯奖励最大化很容易把模型推离预训练分布。DPOK（Diffusion Policy Optimization with KL regularization）在在线策略梯度中加入参考模型约束，可抽象为： $$J_{\text{DPOK}}(\theta)=\mathbb E[R(x_0,c)]-\beta\,D_{\mathrm{KL}}(p_\theta\|p_{\text{ref}}).$$ ​$\beta$ 越大，模型越保守；越小，越容易快速追逐奖励，也越容易丢失多样性或出现奖励投机。PPO clipping 约束的是一次更新相对旧策略的变化，reference KL 约束的是长期相对基座模型的漂移，两者作用并不相同。 DRaFT：奖励可微时，可以不走 score function 如果奖励模型对像素可微，且采样器的整条计算图可以保留，就能把梯度从奖励直接穿过 VAE 与采样步骤反传到扩散模型。DRaFT 将这一路线系统化，并提出截断反传等变体来控制内存与梯度不稳定。 两条路线的选择很清楚： DDPO / DPOK：奖励可以是完全黑盒，只需要返回标量；代价是策略梯度方差较高，需要大量 on-policy 样本。 DRaFT 类方法：能利用奖励的路径导数，梯度通常更直接；但奖励必须可微，且跨很多采样步骤保存或重算计算图，显存与稳定性是主要问题。 它们可以共享同一个奖励定义，却不能把“对奖励求导”和“用奖励乘 log-prob”混写成一套推导。 06. 代价与边界 6.1 它省下了什么 不需要奖励函数可微，外部 API、人工评分和离散程序都能接入。 不需要为每个目标重新制作大规模成对偏好数据；在线采样能探索当前策略真正会生成的区域。 能复用 PPO 的裁剪、KL、优势归一化和诊断工具，把更新幅度控制在可观察范围内。 6.2 它付出了什么 on-policy 成本高：策略一更新，旧 rollout 很快过期；数据复用能力弱于离线偏好优化。 终点信用粗糙：所有步骤共享终点优势，方差高；步数越多、latent 越高维，问题越明显。 奖励调用可能成为瓶颈：大型 VLM 或人工评分比去噪本身还慢，异步队列与缓存很重要。 探索与画质有冲突：增大 DDIM 的 ​$\eta$ 有利于随机策略探索，却可能改变原有采样质量与分布。 奖励投机不会自动消失：OCR 奖励可能鼓励巨大文字，审美分数可能压低多样性，检测器奖励可能诱导模型画出分类器偏爱的纹理。 6.3 上线前至少记录这些指标 不要只看 mean reward。最低限度还应记录： 奖励均值、标准差和分位数，按 prompt 类别拆分； 新旧策略的 approximate KL、ratio 分位数与 clip fraction； 每个时间步的 loss、KL 或梯度范数，检查是否只剩少数步在学习； 多样性指标和基础画质指标，防止奖励提高但模式坍缩； 人工盲评或独立奖励模型的 holdout 分数，防止只攻破训练用 reward； 无效图片、NaN、全黑/过曝和安全过滤命中率。 如果奖励模型本身正在更新，还要给 reward 版本打快照。否则同一条训练曲线纵轴含义会变化，前后 reward 数字不可直接比较。 6.4 奖励怎么配，往往比优化器更重要 真实系统几乎不会只用一个分数。以文字生成图片为例，可以同时有提示词一致性、OCR 正确率、审美、人体结构和安全性五类信号。最直接的做法是加权求和： $$R=w_{\text{prompt}}R_{\text{prompt}}+w_{\text{ocr}}R_{\text{ocr}}+w_{\text{aesthetic}}R_{\text{aesthetic}}-w_{\text{safety}}C_{\text{safety}}.$$ 但“都放进来”不等于问题解决了。不同奖励的量纲与波动范围可能差几个数量级：OCR 是 0 或 1，审美模型可能落在 1 到 10，安全惩罚可能只有极少数样本非零。若不先校准，权重看似相近，实际梯度却会被方差最大的那一项占满。稳妥做法是先在固定基座模型上采一批校准集，观察每项分布，再做裁剪、标准化或分位数映射；训练期间同时画出每个子奖励，不能只保存加权总分。 还要区分“软目标”和“硬约束”。图片里文字少一个字，通常是可连续改进的软目标；生成违法内容则不应靠一个可被其他高分抵消的负权重处理。硬约束更适合在采样前后用过滤器、拒绝策略或拉格朗日约束单独处理。否则模型可能发现：只要审美分足够高，安全惩罚也值得承受。 多目标之间还会发生真实冲突。把 OCR 权重拉高，模型可能把文字做得巨大而破坏构图；只奖励检测器置信度，可能得到边缘锐利但不自然的目标。应当用 Pareto 视角看结果：同一批 checkpoints 同时比较各子目标和人工偏好，选择没有被某一维明显支配的方案，而不是盯着一条总 reward 曲线挑最高点。 6.5 三个能快速定位实现错误的不变量 第一，rollout 保存的状态数必须比转移 log-prob 数多 1；若二者相等，通常漏了初始噪声或终点 latent。第二，当新旧模型参数完全相同时，逐步 ratio 应非常接近 1，approximate KL 应接近 0；否则多半是调度器、CFG 分支、时间步索引或 log-prob 归约维度不一致。第三，打乱 batch 顺序不应改变同一个样本的 reward、prompt、latents 与 log-prob 对齐关系。异步奖励最容易在这里悄悄错位：训练仍会运行，均值甚至会上升，但模型学到的是别人的分数。 调试时先用一个可以解析求解的低维过程，就像本文代码；确认梯度方向、ratio 和 baseline 都符合预期，再接入大模型。直接在多卡图像训练里找符号错误，通常会把昂贵计算浪费在最便宜的 bug 上。 这些不变量也适合写进自动化测试：用固定随机种子的十几条轨迹做快速回归，每次升级 diffusers、调度器或混合精度设置后先跑它，再启动昂贵的正式训练。 07. 经典论文脉络 Training Diffusion Models with Reinforcement Learning / DDPO（arXiv:2305.13301）把扩散去噪正式改写为多步决策过程，给出基于 likelihood ratio 的 DDPO，并展示了不可微奖励下的微调能力。它奠定了“去噪轨迹就是策略轨迹”的主框架。 DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models（arXiv:2305.16381）把在线策略梯度与 KL 正则结合，强调奖励提升和预训练分布保持之间的平衡。 DRaFT: Directly Fine-tuning Diffusion Models on Differentiable Rewards（arXiv:2309.17400）转向可微奖励，通过采样链直接反传，并研究 full、截断和低方差版本，形成与 DDPO 互补的路线。 Reward-Directed Conditional Diffusion（arXiv:2307.07055）从 reward-conditioned / reward-directed 角度研究如何把黑盒目标引入扩散生成，说明“训练一个条件生成器”和“在线策略优化”是相关但不同的解法。 Diffusion Models for Reinforcement Learning: A Survey（arXiv:2311.01223）覆盖的是更宽的交叉方向：既包括用 RL 对齐扩散生成，也包括把扩散模型当作策略或规划器。阅读时要先辨认“RL 优化 diffusion”还是“diffusion 服务 RL”。 论文名称很像时，先看梯度从哪里来：若公式里是 $R\nabla\log p_\theta$，属于 score-function 策略梯度；若是 ​$\nabla_{x_0}R$ 沿采样链反传，则属于可微奖励路线；若训练数据是静态偏好对，通常又是离线偏好优化问题。 08. 常见误解 误解 1：模型预测的噪声就是 RL 动作 噪声预测是策略的参数化中间量。DDPO 的动作通常记为实际采样出的下一 latent $x_{t-1}$，策略概率才是 ​$p_\theta(x_{t-1}\mid x_t,c)$。只有这样，保存动作、重算 log-prob 和构造新旧比率才是一致的。 误解 2：奖励在最后，所以只有最后一步能更新 轨迹 log-prob 是逐步 log-prob 的和。终点奖励乘的是整条和，因此每个去噪转移都有 score-function 梯度。最后一步可能贡献较大，但不是唯一有梯度的一步。 误解 3：确定性 DDIM 也能原样计算 DDPO log-prob ​$\eta=0$ 时 ​$\sigma_t=0$，普通高斯 log-prob 不再成立。要么使用非零随机性，要么换成适合确定性路径的可微反传或其他估计器，不能简单给分母加一个 epsilon 就宣称理论等价。 误解 4：把所有逐步比率相乘，才是最“严格”的 PPO 轨迹比率在长链上方差巨大。DDPO 实践通常按去噪转移计算和裁剪 ratio；这是一种稳定的 surrogate，而不是把一个 50 步连乘数硬塞进普通 PPO 公式。 误解 5：同一奖励广播到每一步，所以每步学到的一样 优势相同，不等于 score function 相同。噪声方差、预测残差、网络敏感度和调度器权重都随时间步变化，逐步梯度自然不同。 误解 6：奖励不可微就无法优化扩散模型 DDPO 只需要采样结果和标量奖励，不需要奖励梯度。不可微带来的问题是估计方差和样本成本，而不是“没有任何梯度”。 误解 7：训练 reward 上升就代表模型全面变好 模型可能只学会利用 reward 的盲点。必须同时看独立评估、人工盲评、多样性、prompt 遵循和安全指标；最好用不同架构的 holdout reward 检查泛化。 09. 动手验证：四个改动看懂算法 文末代码只依赖 NumPy，建议依次改四个参数，每次固定随机种子并比较输出。 实验 A：把 steps 从 8 改为 16 预期状态 shape 从 (4096, 9) 变成 (4096, 17)，log-prob shape 从 (4096, 8) 变成 (4096, 16)。更长轨迹会增加梯度求和项；在不调整学习率与归一化时，训练波动通常更明显。 实验 B：把 noise_std 从 0.45 降到 0.10 探索减弱，采样更集中；但 score function 含 ​$1/\sigma^2$，数值会更尖锐。过小噪声并不等于更稳定，极限到 0 反而失去这套高斯策略梯度的基础。 实验 C：删掉优势中心化 把 advantage = (reward - reward.mean()) / ... 改成直接使用 reward。gradient_sample_std_raw_centered 的第二个值会失去优势，训练曲线更抖。这个实验直观看到 baseline 改变方差而不改变目标最优点。 实验 D：增大新旧参数差 在 PPO 诊断部分增大 new_theta - old_theta。你会看到 ratio_min/max 更极端，clip_fraction 上升。工程上这对应学习率过大、inner epochs 过多或 KL 约束过弱。 进一步可把终点奖励改成离散黑盒：例如 reward = (abs(x0-target) < 0.25)。代码仍能训练，但由于奖励更稀疏，往往需要更大 batch、分层采样或更好的 baseline。这正是从玩具例子走向 OCR 成功率、目标检测命中和人工反馈时遇到的现实问题。 10. 延伸阅读 这篇位于“对齐与强化学习”路径的第三段： 策略梯度与 PPO 基础：理解 advantage、ratio、clipping 和 KL； 从 DPO 到 GRPO：去掉价值网络：理解组内相对优势； 本文 DiffusionRL：把 token 轨迹换成 latent 去噪轨迹； 视频生成中的强化学习与奖励模型：在去噪信用之外，再处理画质、运动与指令遵循的多目标奖励。 如果 DDIM 还不熟，先记住本文真正依赖的最小事实：它把 $x_t$ 和网络预测组合成下一步均值，并可用 ​$\eta$ 注入高斯随机性。从 DDIM 到高阶采样器 已展开采样公式、ODE/SDE 视角与高阶求解器。 最后用一句话收束： DiffusionRL 不是把一个 PPO 套在图片外面，而是把每次去噪转移变成可计概率的动作，再让终点奖励沿整条轨迹分配信用。 附录：完整代码 09 节用到的脚本全文如下（ddpo_minimal.py、make_figures.py）。复制到本地存成同名文件，按各脚本开头的依赖说明准备环境后即可运行。 ddpo_minimal.py """NumPy-only toy DDPO: treat iterative denoising as a stochastic policy. This is an algebra demo, not an image generator. A scalar latent follows a short Gaussian reverse process. One parameter shifts every denoising mean, and a terminal reward teaches the process to end near a target value. """ from dataclasses import dataclass import numpy as np @dataclass(frozen=True) class ToyConfig: steps: int = 8 batch_size: int = 4096 contraction: float = 0.72 action_scale: float = 0.18 noise_std: float = 0.45 target: float = 1.5 def gaussian_log_prob(value, mean, std): """Elementwise log N(value; mean, std^2).""" return -0.5 * ((value - mean) / std) ** 2 - np.log(std * np.sqrt(2.0 * np.pi)) def rollout(theta, cfg, rng): """Sample x_T -> ... -> x_0 and retain every transition. Array index 0 stores x_T; index cfg.steps stores x_0. The transition mean is mu_theta = contraction * x_t + action_scale * theta. """ latents = np.empty((cfg.batch_size, cfg.steps + 1), dtype=np.float64) means = np.empty((cfg.batch_size, cfg.steps), dtype=np.float64) log_probs = np.empty((cfg.batch_size, cfg.steps), dtype=np.float64) latents[:, 0] = rng.normal(size=cfg.batch_size) for j in range(cfg.steps): mean = cfg.contraction * latents[:, j] + cfg.action_scale * theta next_latent = mean + cfg.noise_std * rng.normal(size=cfg.batch_size) latents[:, j + 1] = next_latent means[:, j] = mean log_probs[:, j] = gaussian_log_prob(next_latent, mean, cfg.noise_std) terminal = latents[:, -1] rewards = -(terminal - cfg.target) ** 2 return latents, means, log_probs, rewards def score_function(latents, means, cfg): """d log pi_theta(x_{t-1}|x_t) / d theta for every transition.""" residual = latents[:, 1:] - means return residual * cfg.action_scale / (cfg.noise_std**2) def policy_gradient(rewards, per_step_scores): """REINFORCE with a batch baseline; terminal advantage is broadcast to T steps.""" centered = rewards - rewards.mean() advantages = centered / (rewards.std() + 1e-8) trajectory_scores = per_step_scores.sum(axis=1) gradient = np.mean(advantages * trajectory_scores) per_step_gradient = np.mean(advantages[:, None] * per_step_scores, axis=0) return gradient, per_step_gradient, advantages def evaluate(theta, cfg, seed): rng = np.random.default_rng(seed) latents, means, log_probs, rewards = rollout(theta, cfg, rng) return { "terminal_mean": float(latents[:, -1].mean()), "reward_mean": float(rewards.mean()), "latents": latents, "means": means, "log_probs": log_probs, "rewards": rewards, } def train(cfg, updates=40, learning_rate=0.08, seed=7): theta = 0.0 history = [] rng = np.random.default_rng(seed) for update in range(updates + 1): latents, means, _, rewards = rollout(theta, cfg, rng) scores = score_function(latents, means, cfg) gradient, per_step_gradient, advantages = policy_gradient(rewards, scores) history.append((update, theta, latents[:, -1].mean(), rewards.mean(), gradient)) if update < updates: theta += learning_rate * gradient return theta, np.asarray(history), per_step_gradient, advantages, scores, rewards def ppo_diagnostics(theta_old, theta_new, cfg, seed=123, clip_range=0.2): """Re-evaluate old transitions under a candidate new policy.""" rng = np.random.default_rng(seed) latents, old_means, old_log_probs, rewards = rollout(theta_old, cfg, rng) new_means = cfg.contraction * latents[:, :-1] + cfg.action_scale * theta_new new_log_probs = gaussian_log_prob(latents[:, 1:], new_means, cfg.noise_std) ratios = np.exp(new_log_probs - old_log_probs) clipped = np.abs(ratios - 1.0) > clip_range return rewards, ratios, clipped if __name__ == "__main__": np.set_printoptions(precision=6, suppress=True) cfg = ToyConfig() before = evaluate(theta=0.0, cfg=cfg, seed=2026) theta, history, per_step_gradient, advantages, scores, rewards = train(cfg) after = evaluate(theta=theta, cfg=cfg, seed=2026) raw_gradient_samples = rewards * scores.sum(axis=1) centered_gradient_samples = (rewards - rewards.mean()) * scores.sum(axis=1) ppo_rewards, ratios, clipped = ppo_diagnostics( theta_old=0.0, theta_new=0.5, cfg=cfg ) print("trajectory_shape=", before["latents"].shape) print("transition_log_prob_shape=", before["log_probs"].shape) print("before_terminal_mean=", f"{before['terminal_mean']:.4f}") print("before_reward_mean=", f"{before['reward_mean']:.4f}") print("after_theta=", f"{theta:.4f}") print("after_terminal_mean=", f"{after['terminal_mean']:.4f}") print("after_reward_mean=", f"{after['reward_mean']:.4f}") print("per_step_gradient=", np.round(per_step_gradient, 4)) print( "gradient_sample_std_raw_centered=", f"{raw_gradient_samples.std():.4f}", f"{centered_gradient_samples.std():.4f}", ) print( "ppo_ratio_mean_min_max=", f"{ratios.mean():.4f}", f"{ratios.min():.4f}", f"{ratios.max():.4f}", ) print("ppo_clip_fraction=", f"{clipped.mean():.4f}") print("history_first=", np.round(history[0, 1:4], 4)) print("history_last=", np.round(history[-1, 1:4], 4)) assert before["latents"].shape == (cfg.batch_size, cfg.steps + 1) assert before["log_probs"].shape == (cfg.batch_size, cfg.steps) assert after["reward_mean"] > before["reward_mean"] assert abs(after["terminal_mean"] - cfg.target) < abs(before["terminal_mean"] - cfg.target) assert np.all(np.isfinite(ratios)) make_figures.py """Generate the explanatory figures for the DiffusionRL article. Requires NumPy, Matplotlib and Pillow. The numerical chart reuses the exact toy process from ddpo_minimal.py so the article and figure cannot drift apart. """ from pathlib import Path import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt import numpy as np from PIL import Image, ImageDraw, ImageFont from ddpo_minimal import ToyConfig, train OUT = Path(__file__).resolve().parents[1] / "figures" OUT.mkdir(exist_ok=True) def _font(size, bold=False): candidates = ( "/System/Library/Fonts/PingFang.ttc", "/System/Library/Fonts/Hiragino Sans GB.ttc", "/usr/share/fonts/opentype/noto/NotoSansCJK-Bold.ttc" if bold else "/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc", ) for path in candidates: try: return ImageFont.truetype(path, size) except OSError: pass raise RuntimeError("请安装中文字体后再生成 DiffusionRL 示意图") def trajectory_mdp(): image = Image.new("RGB", (1800, 980), "#f8fafc") draw = ImageDraw.Draw(image) ink, blue, green, orange, muted = "#172033", "#2563eb", "#059669", "#ea580c", "#526078" draw.text((90, 55), "把多步去噪看成一条 MDP 轨迹", font=_font(70, True), fill=ink) draw.text((92, 150), "状态是当前 latent，动作是下一 latent 的采样，终点图像只得到一次奖励", font=_font(38), fill=muted) draw.text((900, 285), "策略 πθ = pθ(next | current, c)", font=_font(32), fill=blue, anchor="mm") xs = [170, 480, 790, 1100, 1410] labels = ["xT", "xT−1", "xT−2", "…", "x₀"] subtitles = ["纯噪声", "较粗结构", "结构成形", "继续去噪", "最终样本"] for i, (x, label, subtitle) in enumerate(zip(xs, labels, subtitles)): color = blue if i < len(xs) - 1 else green draw.rounded_rectangle((x - 105, 360, x + 105, 540), radius=36, fill="#ffffff", outline=color, width=6) draw.text((x, 400), label, font=_font(46, True), fill=color, anchor="mm") draw.text((x, 485), subtitle, font=_font(28), fill=muted, anchor="mm") if i < len(xs) - 1: draw.line((x + 110, 450, xs[i + 1] - 120, 450), fill=ink, width=5) draw.polygon( [(xs[i + 1] - 120, 450), (xs[i + 1] - 148, 433), (xs[i + 1] - 148, 467)], fill=ink, ) draw.line((1515, 450, 1650, 450), fill=orange, width=5) draw.polygon([(1650, 450), (1622, 433), (1622, 467)], fill=orange) draw.rounded_rectangle((1510, 630, 1735, 820), radius=32, fill="#fff7ed", outline=orange, width=5) draw.text((1622, 675), "R(x₀,c)", font=_font(44, True), fill=orange, anchor="mm") draw.text((1622, 750), "终点奖励", font=_font(31), fill=muted, anchor="mm") draw.line((1620, 545, 1620, 625), fill=orange, width=5) draw.polygon([(1620, 625), (1603, 597), (1637, 597)], fill=orange) draw.rounded_rectangle((90, 650, 1380, 850), radius=30, fill="#eef4ff") draw.text((130, 685), "同一个优势 A 被广播到每一步：", font=_font(39, True), fill=ink) draw.text((130, 750), "A · [grad log pθ(xT−1 | xT) + … + grad log pθ(x₀ | x₁)]", font=_font(39), fill=blue) draw.text((130, 805), "奖励只在终点出现，但整条轨迹的 log-prob 都参与更新。", font=_font(31), fill=muted) image.save(OUT / "diffusion_rl_mdp.png", optimize=True) def cover(): image = Image.new("RGB", (1280, 720), "#081225") draw = ImageDraw.Draw(image) # A denoising trajectory that gradually changes from noise-like dots into a # clean latent. Keeping this code-native makes the cover deterministic. rng = np.random.default_rng(7) stages = [190, 400, 610, 820, 1030] palette = ["#60a5fa", "#38bdf8", "#2dd4bf", "#34d399", "#f59e0b"] for i, x in enumerate(stages): radius = 62 draw.ellipse((x - radius, 258 - radius, x + radius, 258 + radius), outline=palette[i], width=5) spread = 47 - i * 7 for _ in range(38 - i * 4): px = x + int(rng.normal(0, spread)) py = 258 + int(rng.normal(0, spread)) dot = 2 + i draw.ellipse((px - dot, py - dot, px + dot, py + dot), fill=palette[i]) if i < len(stages) - 1: draw.line((x + 72, 258, stages[i + 1] - 75, 258), fill="#94a3b8", width=4) draw.polygon( [(stages[i + 1] - 75, 258), (stages[i + 1] - 96, 246), (stages[i + 1] - 96, 270)], fill="#94a3b8", ) draw.rounded_rectangle((1068, 190, 1222, 326), radius=26, fill="#431407", outline="#f59e0b", width=4) draw.text((1145, 258), "+R", font=_font(48, True), fill="#fbbf24", anchor="mm") draw.text((92, 415), "把 RL 用到扩散模型上", font=_font(64, True), fill="#f8fafc") draw.text((96, 507), "DiffusionRL · DDPO · 去噪轨迹 · 信用分配", font=_font(34), fill="#93c5fd") draw.rounded_rectangle((94, 603, 426, 659), radius=25, fill="#1d4ed8") draw.text((260, 631), "AIGC 基本功", font=_font(28, True), fill="#ffffff", anchor="mm") image.save(OUT / "wechat_cover_diffusion_rl.png", optimize=True) def training_and_credit(): cfg = ToyConfig() _, history, per_step_gradient, _, _, _ = train(cfg) updates = history[:, 0] fig, axes = plt.subplots(1, 2, figsize=(11, 4.3)) ax = axes[0] ax.plot(updates, history[:, 3], color="#2563eb", linewidth=2.5, label="mean terminal reward") ax.set_xlabel("policy updates") ax.set_ylabel("reward (higher is better)") ax.grid(alpha=0.2) ax2 = ax.twinx() ax2.plot(updates, history[:, 2], color="#059669", linewidth=2.2, label="mean x0") ax2.axhline(cfg.target, color="#059669", linestyle="--", alpha=0.45, label="target") ax2.set_ylabel("terminal latent mean") lines = ax.get_lines() + ax2.get_lines() ax.legend(lines, [line.get_label() for line in lines], frameon=False, loc="center right") ax.set_title("Toy DDPO learns from terminal reward") ax = axes[1] steps = np.arange(cfg.steps) ax.bar(steps, per_step_gradient, color=plt.cm.Blues(np.linspace(0.45, 0.95, cfg.steps))) ax.set_xticks(steps, [f"{cfg.steps-i}→{cfg.steps-i-1}" for i in steps], rotation=40) ax.set_xlabel("denoising transition") ax.set_ylabel("estimated gradient contribution") ax.grid(axis="y", alpha=0.2) ax.set_title("Same reward, different credit per step") fig.suptitle("Terminal reward becomes a trajectory-level policy gradient", fontsize=15, weight="bold") fig.tight_layout() fig.savefig(OUT / "diffusion_rl_training_credit.png", dpi=190) plt.close(fig) if __name__ == "__main__": trajectory_mdp() training_and_credit() cover() for name in ( "diffusion_rl_mdp.png", "diffusion_rl_training_credit.png", "wechat_cover_diffusion_rl.png", ): print(OUT / name) 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-16|22帧视频377毫秒-LynnReal-Omni 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与交互 2 篇 · 视频算子与少步蒸馏 2 篇 · 图像生成、编辑与超分 3 篇 · 视频重建评测与动作建模 2 篇 · 语音合成与文本对齐 1 篇 重点论文标题列表 LynnReal-Omni（LynnReal AI）：22帧视频377毫秒生成 VC-Attention（Nunchux AI、MIT、NVIDIA）：低位注意力提速视频生成 Logit Refiner（CompVis @ LMU Munich · ECCV 2026）：补回同尺度token依赖 BVB（罗切斯特大学、Sony、卡内基梅隆大学、华盛顿大学）：让智能体用Blender复刻视频 CrossDistill（北京大学、清华大学、阿里巴巴集团）：分段蒸馏兼顾画质与多样性 今日论文速览 1. LynnReal-Omni：22帧视频377毫秒生成 LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows | LynnReal AI | arXiv:2609.15863 关键词：多模态视频生成,可控视频,实时渲染,智能体创作 前序问题：扩散视频采样具有随机性，人物外观和长场景连续性难以精确控制；代理提供3D场景、游戏录像等明确约束，但单靠这些结构化输入又不足以保证真实感。 本文贡献：LynnReal-Omni 用32B共享多模态扩散Transformer统一文生视频、参考图驱动、结构控制、编辑与长视频；另训练27B Flash版本，接收3D渲染和游戏录像等异构条件，并以轻量VAE加速解码。 Agent workflows. Image-based scene reconstruction and agent-written low-poly games produce distinct visual-control streams. Prompt refinement, image generation, and first-frame editing provide appearance controls. The video model receives these controls through its native reference interface. 实验效果：论文报告在单张H100上，预热状态下生成并解码22帧540p视频，标准版需843毫秒，Flash版需377毫秒；这是特定帧数、分辨率和硬件条件的延迟，不代表任意长视频都可实时生成。 An example of generated-video artifact repair with LynnReal-Omni. Top: corrupted candle video. Bottom: independently repaired frames at identical timestamps, including both endpoints. Full frames are displayed at the same scale. Each source-frame edit uses four denoiser evaluations, for 480 evaluations across this 120-frame example. The accompanying demo plays both complete videos synchronously. 批判点评：统一的控制接口便于代理组合素材，但32B/27B模型的训练与部署成本很高；公开的22帧预热延迟也不能直接推出长片段的端到端吞吐或多轮主体一致性。 2. VC-Attention：低位注意力提速视频生成 VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention | Nunchux AI、MIT、NVIDIA | arXiv:2609.15810 关键词：视频生成,低比特注意力,FP8,算子优化 前序问题：视频DiT的时空token序列很长，低比特乘法虽快，V值离群点使量化误差扩大，softmax的高精度指数计算又成了新的延迟瓶颈。 本文贡献：VC-Attention 无需重新训练模型：V-Smooth先在线聚类并重排V token，减去块均值后量化残差；ExpCast-FP8把对数域分数直接编码为E4M3概率，替代FP32指数与格式转换。 VC-Attention writes the byte the conventional path writes. (a) Both paths take the same log-domain score $z$. The standard path evaluates an FP32 exponential and casts the result to E4M3; VC-Attention replaces both steps with one fused multiply-add, because an E4M3 byte is an affine function of the log of the value it stores. Reading the result as E4M3 costs no instruction: those bits already are the byte the $PV$ matrix multiply consumes. (b) The byte each path writes, and the relative error of the probability it decodes to. The two write the same byte on most of the interval and are one code apart on the rest. Every unit interval of $z$ looks the same, so one is enough. 实验效果：在所测B200/B300/H200上，注意力核相对BF16 FlashAttention-4快1.46–1.59倍，工作站卡快2.3–3.6倍；所测视频模型端到端加速为1.13–1.19倍或1.36–1.70倍，核加速不能当作整段视频加速。 Video diffusion leaves two bottlenecks that QK-centric low-bit attention does not touch. (a) Output error on Wan2.2. A Hadamard rotation of $QK$ shrinks the probability term, but leaves the larger value term exactly where it was: the value quantizer, not the $QK$ quantizer, is what bounds fidelity. (b) Even once both matrix products are low-bit, softmax's FP32 exponentiation and its cast still sit on the critical path between them. 批判点评：需要专门融合算子和在线token分组，不同GPU、序列长度及模型分布会影响收益；重排与量化误差应在具体视频模型上逐一核验。 3. Logit Refiner：补回同尺度token依赖 Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling | CompVis @ LMU Munich · ECCV 2026 | arXiv:2609.11804 关键词：视觉自回归,图像生成,同尺度依赖,解码优化 前序问题：视觉自回归模型在每个尺度内并行采样token，忽略它们彼此的空间依赖；即便增大主干参数，也可能产生局部不连贯的图像。 本文贡献：Logit Refiner 冻结预训练VAR主干，增加轻量自回归模块，依次采样同尺度token并利用主干特征恢复局部联合依赖；接到已有checkpoint时无需重训主干。 Logit Refiner Overview. (a) The VAR backbone processes all previous scales and produces hidden states for the current scale in a single parallel forward pass, finally sampling from pointwise posteriors in parallel. As sampling is done independently within each scale, this can lead to mismatched tokens, affecting generation quality. (b) Our logit refiner takes these hidden states and samples tokens autoregressively within the scale, conditioning each prediction on previously sampled tokens. The refiner is a lightweight causal transformer, incurring only a small overhead during generation, while significantly improving sample quality. 实验效果：论文称新增参数约为主干的10%，训练计算不足主干的5%；在ImageNet 256×256类别条件实验中，1.1B参数的加装模型质量超过约两倍规模的对照主干，且在文生图设置中仍有提升。 VAR Failure Cases vs. Refiner. Our Logit Refiner can address a range of typical failures of VAR. Each column shows a paired sample (same class, same seed). Top: samples covering various failure modes from VAR-d30. Bottom: with refiner. 批判点评：顺序采样补回依赖也可能增加推理时的串行开销；论文中的参数和质量比较限定于所测VAR主干与任务，不能直接外推到所有生成架构。 4. BVB：让智能体用Blender复刻视频 BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender | 罗切斯特大学、Sony、卡内基梅隆大学、华盛顿大学 | arXiv:2609.15478 关键词：视频理解,Blender,程序化重建,智能体评测 前序问题：现有视频理解基准多靠问答；模型即使答对部分问题，也不一定能生成同时保留动作、镜头和对象关系的可执行场景。 本文贡献：BVB要求智能体在统一沙箱与成本上限内编写Blender动画，渲染后分别用Dual VQA评价时空事实保留率、用Latent Similarity评价视觉相似度，并以平方根均值综合评分。 Controlled reconstruction and evaluation. A model alternates between viewing source frames and running Python code in a Docker sandbox under a cost limit, then saves an animated Blend scene. Dual VQA measures how well the rendered video retains answers the judge gets right on the source, and Latent Similarity compares layout and motion using frozen V-JEPA features. 实验效果：论文测试10个模型家族的51种配置；最优配置的潜空间相似度达到88.6，但仅保留源视频中53.7%的正确时空问答，说明看起来像与事实还原之间仍有差距。 BVB reveals shared task difficulty and model-specific variation. The left panel shows retention across eleven representative configurations. The right panel shows the full range, interquartile range, and mean over all 51 configurations for each task. Purple boxes mark the best shown value in each task. 批判点评：程序化重建比问答更能暴露空间和时间推理缺陷，但Blender建模、工具调用预算及渲染质量也会影响分数；不能把结果简单当作通用视频理解能力排名。 5. CrossDistill：分段蒸馏兼顾画质与多样性 CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation | 北京大学、清华大学、阿里巴巴集团 | arXiv:2609.14725 关键词：扩散蒸馏,少步采样,视频生成,多样性 前序问题：扩散模型少步蒸馏常在画质与多样性之间取舍：轨迹蒸馏保留模式覆盖，分布匹配提升细节却可能让不同随机种子收敛到相似画面。 本文贡献：CrossDistill 沿噪声轴设置交叉点：高噪声阶段保持教师轨迹以保留全局分支，低噪声阶段做分布匹配以锐化局部细节，再用交叉状态耦合两段目标。 2D toy manifold distillation setting. From left to right: original teacher, trajectory-based distillation (TD), distribution matching (DM), loss-level mixture of TD and DM, and trajectory-level hybrid distillation (CrossDistill; ours). All models are trained on the same gray data manifold, and each student is trained to convergence. Colored curves denote denoising trajectories of 12 seeds, and black dots denote final generated samples. 实验效果：文生视频实验与图生视频定性展示显示，方法在少步设置下保留种子级差异，同时获得有竞争力的视觉质量；摘要没有给出可跨基准引用的统一加速倍数。 Diversity--quality trade-off. For each of three prompts (rows) we sample four independent initial noise seeds (columns) and show the same frame per generated video. AnyFlow and DMD show reduced seed-level variation, while rCM is diverse but lower in visual quality. In these examples, CrossDistill improves the trade-off, maintaining competitive diversity and visual quality. 批判点评：交叉点选择与两类目标的平衡需要按模型、任务调整；目前的图生视频证据以定性结果为主，读者应区分画质展示与可复现的综合指标。 6. DiVA：锚点续接让数字角色多轮互动 DiVA: Enabling Interactive Digital Life Simulation via Video Models | 蚂蚁集团、南洋理工大学、A*STAR | arXiv:2609.13830 关键词：交互视频,数字人,视频续接,多轮生成 前序问题：数字角色连续互动时，等待、动作与下一轮切换容易造成姿态跳变、镜头抖动和身份漂移；只拼接长视频难以稳定维持可交互状态。 本文贡献：DiVA 用多模态语言模型路由动作和语音响应，再把等待视频、动作视频和两者过渡拆成耦合模块；Anchored Video Continuation根据前一动作返回稳定锚点状态，支持语音与空间点击输入。 Given a text prompt defining the character's role, an MLLM acts as a router, processing user inputs (e.g. clicks and dialogue) and translating them into character responses and behavioral prompts for the audio-text conditional action model. Our video generation component starts with a waiting video, followed by iterative action videos based on the MLLM output. Finally, the anchored video continuation (AVC) module, conditioned on the prior action, targets preset, high-quality anchor frames that represent distinct character states (e.g. sitting or leaning back). Guided by the MLLM state assessment, AVC transitions to the appropriate anchor state. This mechanism smoothly restores the sequence to a stable, high-quality condition and enables expressive transitions between states, significantly expanding the character's motion range. 实验效果：论文对长视频、续接和插帧替代方案做比较，并报告多轮视觉质量与真实感的改善；摘要未给出统一的绝对延迟或显著性数字，因此不宜宣称“无限无衰减”。 Qualitative comparison on long-term digital life simulation. Our method successfully generates high-quality, expressive, and drift-free results, accurately performing state transitions (e.g. the 3rd to 4th transition in both examples). In contrast, all baselines suffer from severe drift and fail to execute precise state transitions; for instance, InfiniteTalk's subject only partially stands up in the second example. Notably, all baselines exhibit severe drift in fewer than 10 interaction rounds (marked in the bottom-right of each image), whereas our method remains stable indefinitely. Best viewed zoomed in. 批判点评：锚点策略对角色常见姿态有效，但复杂、非周期动作可能难找合适状态；实时交互还依赖生成延迟、音视频同步和对用户点击的空间理解。 7. Open-UniMo：64K动作token接入语言模型 Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World | 清华大学、香港中文大学（深圳）、南洋理工大学 | arXiv:2609.14615 关键词：动作生成,动作理解,具身智能,统一token 前序问题：动作语言模型往往把动作当作文本的辅助输入，跨模态互动不足；长动作序列逐token生成还容易积累误差。 本文贡献：Open-UniMo 在约150K文本token之外增加64K动作token，用一致的动作思维链连接语言语义与动作动态；先监督微调建立双向映射，再用GRPO提高语义对齐。 Overview of the Open-UniMo framework. Open-UniMo is trained in two stages with CoT reasoning. In the SFT stage, the model learns CoT-guided bidirectional motion-language mappings for both T2M and M2T tasks. In the GRPO stage, reinforcement learning further refines format compliance and motion-language alignment through multiple reward signals. 实验效果：论文在传统指标和自建Open-MoBench上报告领先结果，并通过消融指出动作到文本理解的瓶颈不主要在词表大小；没有单一数字可以概括所有动作任务。 Qualitative comparison on Open-MoBench for the T2M task. Compared with existing representative approaches, Open-UniMo generates motions that better capture semantic details and natural dynamics. 批判点评：64K动作词表与大规模开放数据意味着训练和部署成本；自建基准依赖VLM评判，实际机器人动作与物理环境中的泛化还需独立测试。 8. IABEdit：语义梯度教编辑器只改该改处 Semantically Aligned Gradient-Driven Context-Preserving Image Editing | 印度理工学院焦特布尔分校 | arXiv:2609.12691 关键词：图像编辑,语义对齐,视觉语言模型,局部保持 前序问题：指令式图像编辑的训练通常只看重建和文字条件，没有显式检查生成结果是否完成指令，因此容易漏改目标或波及无关区域。 本文贡献：IABEdit 用冻结的视觉语言模型提取目标编辑图的空间语义描述，再由可训练对齐器从生成图重建描述，利用残差梯度教生成器同时判断改什么、改哪里；推理时无需VLM。 IABEdit enables instruction-based image editing through a semantic-supervised distillation mechanism. A frozen Descriptive Anchor extracts rich guidance from the instruction and ground-truth edit, while an Instruction Aligner learns to align the generated image with this guidance. The alignment is enforced via backpropagation, guiding the diffusion model toward faithful and controllable edits. 实验效果：在MagicBrush上，DINO-I相对最佳扩散基线提高3.49、相对最佳总体基线提高1.26；在遮挡较重的D-LORD设置中，DINO-P比论文比较的Gemini代理高5.13。 Qualitative results on RealEdit dataset showing comparisons across various editing methods. The instruction adherence can be visualized at the fine-grained level. The non-targeted regions remain preserved, showcasing precise instruction-aligned editing generations. 批判点评：指标提升反映所测数据集的结构和语义保持，不等于所有编辑指令都能被精准执行；训练额外依赖VLM表征，需警惕其偏差与评测模型重合。 9. DNF-SR：双输入保住一步超分细节 DNF-SR: Dual-Input and Negative-Aware Feature Fine-Tuning for Real-World Image Super-Resolution | 南开大学 · CVPR 2026 | arXiv:2609.15120 关键词：真实图像超分,一步扩散,双输入,负样本微调 前序问题：低清图直接送入一步扩散模型会与其训练输入分布错位；只给低清图加噪虽能缩小分布差异，却可能抹掉原始内容。 本文贡献：DNF-SR 把原始低清图与加噪低清图一起送入Flux-Kontext编辑主干：噪声提供生成先验，原图维持内容条件；随后把多次生成结果分为正负样本，在图像和特征空间做负样本感知微调。 Overview of the DNF-SR framework. (a) The model structure adopts a dual-input design: noisy LR latents ($z_{mix}$) and original LR latents ($z_{LR}$) are concatenated with text tokens (encoded from image captions) and fed into fine-tuned DiT blocks of the Flux-Kontext pretrained model. We employed multiple loss functions to ensure the performance of the model. (b) The post-training process of Negative-aware Feature Fine-Tuning: multiple restored results are generated with different input noises, evaluated by combined full-reference (FR) and no-reference (NR) IQA metrics to obtain reward scores, and divided into positive and negative subsets. By constructing positive and negative optimization directions within both the image and the feature spaces, the quality of the restored images is improved. 实验效果：论文报告在真实图像超分实验中优于所比方法，并强调一步推理；arXiv摘要没有统一的绝对速度或画质数字，具体收益取决于论文内各数据集和指标。 Visual comparisons of different Real-ISR methods. Please zoom in for a better view. 批判点评：一次前向降低采样步数，但双输入增加token和内存；负样本分组依赖奖励模型，细节“更好看”时也可能偏离真实纹理。 10. AlignDPO：严重语音幻觉率降至0.6% AlignDPO: Preference-Gated Alignment for Reducing Hallucination in Decoder-Only TTS | ConnexAI · IEEE SLT 2026 | arXiv:2609.12855 关键词：语音合成,文本语音对齐,DPO,内容幻觉 前序问题：纯解码器语音合成在自回归输出时可能漏词、重复或编造内容；注意力对齐过弱不行，但一味把对齐压得很尖也会降低鲁棒性。 本文贡献：AlignDPO 在DPO偏好优化中只对被选中的语音样本加入轻量CTC对齐项，引导少数承担文本语音对齐的注意力头到适度锐化区间，推理时无需改模型结构。 Per-head $L_{CTC}$ distribution (log scale, teacher-forced over 100 utterances) for the four systems, sharing the x-axis. Colored dots are the identified AEAMs ($L_{CTC} < 2$); gray dots are the remaining heads. 实验效果：在Seed-TTS-Eval英语集上，论文报告严重内容幻觉率由4.4%降到约0.6%；正文还给出相对强DPO基线的幻觉率15.0%降至11.3%，两种统计口径不能混为一个数字。 ACI's effect is non-monotone (U-shaped) in attention sharpness, on both an in-domain and a hard out-of-domain set: hallucination vs. free-running entropy $C_E$ for five models. Left to right (soft to sharp): Base ($C_E{=}1.01$), DPO ($0.84$), DPO+M ($0.48$), Base+M ($0.08$), and DPO+M from Base+M ($0.07$). Seed-TTS reports HAL ($n{=}706$); Hard-500 reports SEV-HAL. 批判点评：结果基于特定英语语音数据和纯声学单码本主干；多语言、长句及噪声输入能否维持相同收益仍需独立验证，CTC权重过大会过度锐化。 趋势观察 视频模型走向可组合控制 LynnReal-Omni统一参考图、3D渲染和游戏录像等条件，DiVA把角色等待、动作与过渡拆开管理。可控生成的重点正从单段采样转到素材接口和跨轮状态保持。 加速要拆解真实瓶颈 VC-Attention同时处理V值离群点和softmax成本，LynnReal-Omni-Flash以独立模型和轻量解码器压缩短片段延迟；核提速、模型延迟和长片段吞吐需分别衡量。 生成质量不只是增加参数 Logit Refiner补回同尺度token依赖，CrossDistill按噪声阶段分别保多样性与细节，DNF-SR用原图条件减少一步超分的内容漂移；三者都调整了生成过程中的信息流。 评测从单一画质走向任务事实 BVB用程序化重建拆分视觉相似和时空事实，IABEdit显式检查编辑语义与局部保持，Open-UniMo同时评估动作生成和理解；分项指标比一个综合分更容易定位失败。 人工智能炼丹君 整理 | 2026-09-16 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 基本功|视频 DiT 里的 3D RoPE 与分辨率外推-3D-RoPE 视频 DiT 里的 3D RoPE 与分辨率外推 所属方向：注意力与核心零件 ｜ 难度：进阶 ｜ 前置知识：RoPE 的原理与实现 关键词：3D RoPE、时空位置编码、视频 DiT、分辨率外推、逐轴位置插值、帧数外推 01. 为什么需要它 先看一对位置：视频格点 A=(0,0,0)，B=(0,1,0)。B 在 A 的正下方一格。将每帧按行展开，再按时间串接，普通 1D RoPE 看到的序列位置是 m=tHW+hW+w。当每帧宽 W=4 时，A 到 B 的序列距离是 4；仅把宽改为 W=8，距离变成 8。两块仍上下相邻，旋转角却按 1D 的位置差变了。时间上的相邻帧也会受 HW 改变影响。固定画幅下，这种展开次序可以用，模型也可能学到空间规律；问题是在画幅或时长改变时，序列距离不再稳定代表同一种时空关系。这里的 1D RoPE 是为了隔离坐标问题而构造的诊断基线，不是在声称所有早期视频模型都按这一公式编码位置。 3D RoPE 给 A、B 保留 (t,h,w)，所以无论宽度是多少，两者都只在高轴相差一格。它解决的是展平编号把画幅尺寸混进位置差的问题；画质外推还涉及训练分辨率、物体尺度和注意力成本。后文用 CogVideoX 的实验 分开讨论位置表直接扩展与逐轴插值，不把“坐标可计算”误当成“视频一定生成得好”。 02. 最小可用理解 基础 RoPE 已解释二维旋转与相对位置性质，这里直接看视频新增的两步： 换坐标：展平版给每个 token 一个 m，相对位移是 Δm；三轴版保留 (t,h,w)，相对位移是 (Δt,Δh,Δw)。图 1 的上下邻居在画幅变宽后，只有三轴版仍把它识别为“高轴相差一格”。 分特征与频率：一个注意力头的特征分为时间、高、宽三段，每段用自己的坐标和频率表生成位置角。三段随后仍在同一次注意力内积里汇总；“3D”说的是坐标轴数，不是把视频物体在欧氏空间旋转。 图 1：固定 A、B 的时空坐标，只改每帧格点宽度。展平位置差从 4 变 8，三轴位移始终是 (0,1,0)；真实模型的内容特征也会随画幅变化。 具体比例由模型选择。CogVideoX 给时间 1/4、高 3/8、宽 3/8；64 维头对应 (16,24,24)，不是所有 3D RoPE 的固定标准。按这个分配，高轴的坐标映射可以单独调整，而时间、宽轴保持原样。实际换模型还要核对每轴维度、坐标单位、频率基数、配对次序和文本 token 的处理，不能只照搬比例。 图 2：64 维注意力头的示例。每个轴的维度都成对构成旋转平面；三段共享一个 token，但不会互相混成单一序列编号。图由文末代码生成。 03. 数学推导 3.1 从视频格点到三组旋转 设视频 patch token 为 $z_{t,h,w}$。$t$ 是压缩后的时间格点，$h$ 和 $w$ 是 patch 后的高、宽格点；它们不是原始帧号或像素坐标。以下只讨论注意力打分前，如何给对应的 query/key 构造位置相位。 先写出基础版到底把什么送进旋转。固定一个按行优先展开的视频网格 $(T,H,W)$，位置编号 $m=tHW+hW+w$。任意两格 $p=(t,h,w)$、$r=(t',h',w')$ 的编号差为： $$m_r-m_p=(t'-t)HW+(h'-h)W+(w'-w)$$ 上式说明 1D 并非丢了时空信息：固定 $H,W$ 时，每个格点仍有唯一编号。但同样一个高轴位移会乘上当前的 $W$，同样一个时间位移会乘上当前的 $HW$。换画幅后，“向下 1 格”的位置相位因此变化；这只比较固定内容特征的位置项，不推断整个模型的注意力分数或画质。 令头维度 $d=d_t+d_h+d_w$，每段维度都必须为偶数。把 $q$ 和 $k$ 拆为 $q^{(t)},q^{(h)},q^{(w)}$ 与对应的三段 $k$。对轴 $a\in\{t,h,w\}$ 的第 $i$ 个二维旋转平面，选频率： $$\omega_{a,i}=\Theta^{-2i/d_a},\qquad i=0,1,\ldots,d_a/2-1$$ $\Theta$ 是频率基数，CogVideoX 的源码默认 10000；$d_a$ 是该轴分到的维度，而不是整个头维度。时间与空间段各自从最高频重新开始，不是把一条 1D 频率数组切成三段。沿用先修文章的旋转记号 $R$，用 $R_a(p_a)$ 表示轴 $a$ 上所有旋转平面的组合。完整位置操作是三个互不混合的块拼接： $$\widetilde q_{t,h,w}=\operatorname{diag}(R_t(t),R_h(h),R_w(w))q_{t,h,w}$$ key 用同一个位置规则得到 $\widetilde k$。分轴的是位置相位的构造；注意力仍对所有可见视频 token 计算一次打分。 可以把区别压到一行：1D 的相对角是 Δm × 频率，其中 Δm=Δt·HW+Δh·W+Δw；3D 的三组相对角分别是 Δt × 时间频率、Δh × 高频率、Δw × 宽频率。三组贡献在同一次内积里相加。这里的 Δ 都是 token 格点差，不是秒数或像素差。 3.2 三个位移怎样汇入一次打分 基础 RoPE 已推过两个旋转角相减的恒等式。这里新增的是：每个轴只用自己的坐标差，整头把三段贡献相加： $$s(p,r)=\sum_{a\in\{t,h,w\}}\langle q^{(a)},R_a(r_a-p_a)k^{(a)}\rangle$$ $p=(t,h,w)$ 和 $r=(t',h',w')$ 是两个格点。只有高差为 1 时，时间段与宽段的位置差都是零，高段单独改变打分；换宽度不会把这一高差改写成另一个数。公式描述固定 $q,k$ 时的位置作用，文末代码用上下邻居和下一帧两种位移分别检查它。 再看一个跨帧例子：某个物体的投影从 (0,5,5) 到 (1,5,6)，位置差是 (1,0,1)；时间段和宽段的相位会变，高段不会。但静止物体遇到相机运动也可能产生完全相同的屏幕投影轨迹。对这两个例子，3D RoPE 的位置部分完全一样；它没有标记“这是同一物体”，也没有记录相机姿态或两个时间格点之间的秒数。模型仍可从图像内容、条件和后续层学习运动关系，不能把三轴相位本身当作光流或物理速度。 式子还有一个可检查的边界：三段打分相加，位置操作本身没有 Δt×Δw 这样的跨轴乘积项。这不妨碍注意力通过 $q,k$ 的内容组合时空线索；它只说明“分别编码三个轴”并不等于“直接编码一条物体轨迹”。 3.3 直接外推与逐轴插值到底改了什么 假设训练高轴有 $H_0$ 个格点，推理变成 $H_1$ 个格点，零起点时两者的最大坐标分别是 $L_0=H_0-1$、$L_1=H_1-1$。直接外推使用新坐标 $h'=h$，相邻高 token 仍相差 1，角差仍为 $\omega_{h,i}$，但远端坐标超过旧范围。若要让两个端点严格对齐，逐轴位置插值应使用 $h'=h/s_h$、$s_h=L_1/L_0=(H_1-1)/(H_0-1)$；相邻角差变为 $\omega_{h,i}/s_h$，最远坐标正好被压回 $H_0-1$。常见的 $H_1/H_0$ 是大网格下的近似，网格很短时两者不可混写。宽与时间可以分别选择 $s_w,s_t$： $$\phi_{a,i}(p_a)=\frac{p_a}{s_a}\omega_{a,i},\qquad s_t,s_h,s_w>0$$ 这条式子说明“分辨率外推”不是只能一起拉伸三个轴。若只想演示高轴坐标压缩两倍，可以选 $(s_t,s_h,s_w)=(1,2,1)$；若要复现某条真实管线，则应按它的端点、crop 坐标和取样约定计算，不能只看形状比。保持局部细节对应相邻格点的相位差尽量不变；覆盖新范围对应最远端相位别离开已训练的分布。单一全频率插值无法同时严格满足两者。图 3 用 scale=2 隔离这个机制：高度插值后高频振荡慢了一半，低频在这 32 个格点上原本就几乎不动；它不是某个 CogVideoX 推理配置的逐参数复刻。读图时也不要把 cos 的偶然重合当成“两个远处位置相同”。 图 3：高维度 24、基数 10000 的示例。左边用原坐标，右边只把高坐标除以 2；时间与宽并未压缩。图中画的是 cos 相位而非生成质量。 3.4 维度预算不是按视频长宽直接分蛋糕 为什么 CogVideoX 把时间分到 1/4、两个空间轴各分到 3/8，而不是三等分？论文给出了这个比例与三轴独立 RoPE 的实现，却没有证明它对所有数据和画幅最优。可以从编码需求理解：空间中每一帧都包含大量局部邻接与大范围结构，两个空间轴合计拿到较多旋转平面；压缩后的时间格点通常少于空间格点，但仍需能分辨前后帧。这个解释是设计动机的推断，不能代替原论文消融，更不能据此宣布时间维度永远够用。 64 维示例中，时间 16 维对应 8 个旋转平面，高与宽的 24 维各对应 12 个。最高频平面的角增量都是 1 弧度，因为 $i=0$ 时 $\omega=1$，所以“空间分得多”并不是说高、宽的每一步比时间转得快。区别落在可用的频率层级数量和最慢频率：时间最后一组在坐标 15 的角约 0.004743，高度最后一组约 0.003232。两组数字都很小，它们在短网格上几乎不提供相邻区分，却可能给更长距离提供不同的相位尺度。把更多维度分给某轴，得到的是更丰富的频谱，不是对该轴长度的直接承诺。 还要区分物理帧数与时间 RoPE 格点。假设 VAE 把若干帧压缩到一个 latent 时间格点，视频从 49 帧变成 97 帧，RoPE 的时间长度未必简单从 49 变到 97；VAE 的首帧保留或补帧规则甚至会让两个公式对不上。头维度预算必须在真正进入注意力的 token 网格上讨论。读实现时先打印 patchify 输出和 (T,H,W)，再看时间频率有没有被拉伸。 帧率变化不等于时长外推。 同样是把原始帧数翻倍，可能是同一段动作以两倍帧率采样，也可能是原帧率下播放两倍时间。若 VAE 与 patchify 最终都把它们变成两倍的时间格点，整数时间 RoPE 看到的范围一样，却不能仅凭位置角判断“相邻格点代表多少秒”。前者主要考察更密的动作采样，后者还考察更长的主体与场景记忆；测试时间缩放前应固定并记录帧率、实际秒数、latent 时间压缩和条件时间戳。这是视频轴特有的语义问题，空间高宽轴没有对应的播放时钟。 3.5 NTK 变基数为什么不是“插值”的同义词 另一类策略不缩坐标，而是逐轴更改频率基数 $\Theta_a$。若 $\Theta_a$ 变大，$i=0$ 的最高频 $\omega_{a,0}=1$ 完全不变，较低频平面转得更慢；于是近邻分辨率较容易保留，远距离相位覆盖可以加宽。它与 $p_a/s_a$ 把所有频率一起压低不同。NTK-aware、YaRN 等方法在语言长上下文中发展，迁移到视频时还要决定给哪个轴、哪些频段用、是否微调和怎样处理训练画幅。仅把 rope_theta 调大，不能替代逐轴分辨率训练或保证画质。 “频率变慢”也不等于“完全不损局部”。注意力打分汇总多个平面，改低频仍会改变其对近处和远处匹配的贡献。任何外推方法都必须用目标模型、目标画幅与目标时长做消融。 04. 代码实现 code/rope_3d_minimal.py 只依赖 NumPy。核心代码先给时间、高、宽各生成角度表，再广播到 (T,H,W)，沿最后一维拼接成每个 token 的角度；rotate 把相邻两维作为一个二维平面旋转。它保留 float64 以让代数测试更容易观察，不模拟工业模型的 BF16 或 CUDA 性能。 dt, dh, dw = axis_dims(head_dim) at = axis_angles(np.arange(frames), dt, scale=scales[0])[:, None, None, :] ah = axis_angles(np.arange(height), dh, scale=scales[1])[None, :, None, :] aw = axis_angles(np.arange(width), dw, scale=scales[2])[None, None, :, :] angles = np.concatenate( [np.broadcast_to(a, (frames, height, width, d // 2)) for a, d in zip((at, ah, aw), (dt, dh, dw))], axis=-1 ).reshape(frames * height * width, head_dim // 2) cos = np.repeat(np.cos(angles), 2, axis=-1) sin = np.repeat(np.sin(angles), 2, axis=-1) 这里 angles 的最后一维只有 d/2 个旋转平面；repeat(...,2) 才让 cos/sin 与 d 维特征逐元素相乘。把代码复制到本地运行 python3 rope_3d_minimal.py，本次真实输出如下： axis_dims= (16, 24, 24) cache_shape= (24, 64) input_shape= (24, 64) rotated_shape= (24, 64) norm_error= 1.78e-15 same_offset_scores= 2.208374 2.208374 difference= 1.33e-15 vertical_neighbor_1d_offsets= 4 8 vertical_neighbor_1d_scores= 1.678217 3.749697 vertical_neighbor_3d_offsets= (0, 1, 0) (0, 1, 0) vertical_neighbor_3d_scores= 0.419453 0.419453 height_phase_at_15_first_last= [15. 0.003232] height_PI_x2_first_last= [7.5 0.001616] time_phase_at_15_first_last= [15. 0.004743] token_count_13x30x45= 17550 token_count_13x60x90= 70200 dense_attention_ratio= 16.0 naive_score_matrix_fp16_gib_per_head= 0.574 9.179 四条 vertical_neighbor_* 输出固定同一组随机 $q,k$ 与同一对上下相邻 token，只切换展平时的 W=4/8。1D 的 Δm 从 4 变 8，内积分数从 1.678217 变 3.749697；3D 的逐轴距离始终 (0,1,0)，位置项分数都为 0.419453。1D 与 3D 的绝对分数本身不该互比：两套频率配置不同；这个小实验只比较各自规则在宽度变化前后是否稳定。模型实际改宽后 $q,k$ 也会变，所以它不是画质或整层注意力不变的证据。 cache_shape=(24,64) 来自 2×3×4=24 个视频格点。旋转前后范数误差接近浮点舍入，因为旋转矩阵保长度。高坐标 15 的最高频角为 15 弧度，插值后变成 7.5；高轴最慢一组角从 0.003232 变 0.001616。时间角仍是 15 和 0.004743，证明只改高轴没有动时间表。最慢高频与最慢时频数值不同，因为两轴拿到的维度数分别是 24 与 16，指数分母不同。 再看代码里一个表面上很普通的选择：scales 被明确写成 (time,height,width) 三元组，而不是一个全局的 scale=2。这个接口让实验可以只改一个轴，也强迫调用者记录每轴真实扩张比例。假如训练网格是 T0×H0×W0、目标网格是 T1×H1×W1，对格点数大于 1 的轴，端点对齐的起点应分别按 (T1-1)/(T0-1)、(H1-1)/(H0-1)、(W1-1)/(W0-1) 计算；只有一个格点的轴没有可缩放的坐标跨度，应单独保持在零点。但这些比例仍不能机械照搬：训练数据往往包含多个时长和长宽比，没有单一的 T0,H0,W0。若宽度原本就见过目标值，宽轴可以维持原坐标；若时间增长跨越训练分布，更慢的低频策略可能更值得先测试。参数名称应表达“坐标映射”，而不是含糊写成“画质增强”。 norm_error、same_offset_scores 和宽度变化前后的 3D 分数在脚本里都有断言；若配对、广播或相对位置性质被改坏，脚本会直接失败，而不是只打印一串看似正常的数字。断言检查的是代数不变量，仍不能判断位置映射对视频是否有用，真实效果还要在固定权重的 DiT 上测。 请注意：示例里的 13×30×45 是格点形状。不能仅凭像素分辨率就猜它。真实模型要逐层根据 VAE 的时空压缩、首帧特殊处理、patch size 和 padding 算出 (T,H,W)；错一个维度，位置表和 token 顺序都会错位。 05. 工业级实现对照 以 2026-09 核对的 CogVideo SAT 源码 Rotary3DPositionEmbeddingMixin 为例，类中 dim_t = hidden_size_head // 4、dim_h = dim_w = hidden_size_head // 8 * 3，每轴各自建立频率与格点，再广播、拼接、取 sin/cos。它在注意力函数中只旋转视频 query/key，先切出 text_length 个文本 token 原样放回；可选 rot_v 才旋转 value，默认并非必要。rope_T/H/W 从预计算的三维表里截取当前视频尺寸，排平为 (T*H*W,D)。这与最小代码的数组顺序一致，也便于逐轴检查实际相位。 一个容易踩的坑是：这个 SAT 类的构造函数虽然接收 height_interpolation、width_interpolation 和 time_interpolation 参数，在本次读取的 main 文件中，角度表仍直接由 torch.arange 计算，这些参数没有参与坐标缩放。因此不能因为配置里写了 height_interpolation=1.875，就声称该 SAT 旋转实现真的进行了高度插值。文章讨论的“逐轴插值”是可选的设计实验，不是这一段 CogVideo SAT 代码的实际行为。作者原论文采用扩表取前段，恰好与这里的原坐标逻辑相符。 Diffusers 的 get_3d_rotary_pos_embed 也有时间 1/4、空间各 3/8 的分配，但它提供 grid_type="linspace" 和 "slice" 两种格点构造。linspace 可把某个目标空间范围映射到当前高宽格点；slice 在最大表上用原索引再取当前尺寸。二者的差别首先是坐标选取，不是旋转公式变化。该函数在本次核对中返回 (cos,sin)，供注意力处理器作用在 query/key 上。具体使用哪个 grid_type、裁剪坐标是什么，应沿管线调用栈核对，不能只看函数定义就给整个模型下结论。 写工业调用栈时建议按四个具体问题逐层追：输入是像素帧还是 VAE latent；patchify 后一条样本的 (T,H,W) 分别是多少；三轴坐标从零开始、按最大表切片还是重新映射到训练范围；cos/sin 最后究竟旋转的是视频 query/key、文本 token 是否另有位置处理。单独找到 get_3d_rotary_pos_embed 的名字，只能证明功能存在，不能证明这一模型版本已经启用它。CogVideoX 系列可能根据配置选择旋转位置或学习位置，不同 checkpoint 更不能一概而论。 维度排列也值得实际打印。本文的 rotate 假设相邻两维组成 (实部, 虚部)，因此角表用 repeat_interleave(2) 形式复写到两维。若上游先把所有实部放前半、虚部放后半，旋转公式仍可成立，但 rotate_half 与 cos/sin 的广播顺序必须一起换。仅把缓存从另一仓库复制过来，形状同为 [N,D] 也可能在不报错的情况下给完全不同的旋转平面。检查一个位置 1、一个二维平面 (1,0) 的旋转结果应近似 (cos 1,sin 1)，比只核对 shape 更可靠。 生产实现还会处理变长视频、文本与视频拼接、packing、缓存、设备和精度。最小脚本只面向一个规则视频网格；真实 batch 如果把不同视频压成一条序列，必须保存每段的起点与独立 (T,H,W)，否则第二个视频的时间会错误地延续第一个视频的末帧。cos/sin 表可以复用，但格点顺序和真实 token 排列必须逐项对齐。很多“换分辨率立即崩”其实是这种形状或坐标实现错误，而非外推理论失败。 06. 代价与边界 纯 3D RoPE 本身不引入新的可训练位置参数，换形状时也可以按轴计算新表；具体模型仍可能另外叠加可学习的位置向量。这个性质让多分辨率训练与不同长度输入更自然，但没有把注意力从二次复杂度变成线性。高、宽各两倍时，视频 token 四倍、稠密注意力项十六倍：示例从 13×30×45=17,550 个 token 增至 13×60×90=70,200 个 token，若天真地为单个头物化一张 FP16 分数矩阵，理论容量会从约 0.574 GiB 涨到 9.179 GiB，尚未计梯度、softmax 和其他头。FlashAttention 不必把整张矩阵常驻显存，所以这不是实际峰值预测；它仍准确反映稠密注意力的二次计算量。把空间 RoPE 频率调得再聪明也不会消除这笔账，仍需 VAE 压缩、稀疏或局部注意力、分块计算等手段。 外推的另一重代价是位置区分与训练分布之间的冲突。直接延长表，邻近 token 的相位关系不变，却把远端坐标送到没见过的位置；全部插值，把远端压回旧尺度，却弱化每一步的相位变化。轴越短、分到的旋转平面越少，可用的频率跨度通常越窄。CogVideoX 的时间 16 维并不意味着“时间必然先坏”或“空间必然先坏”：结果还取决于训练长度、VAE 时间压缩、运动跨度与内容建模。 分辨率外推尤其要保住物理尺度解释。同一人物在原图占 10 个 latent 格点，放大画幅后占 20 个，坐标间隔与模型学过的视觉尺度同时变了；只插值位置并不能把纹理、构图与物体大小的分布一起搬过去。长视频类似：更多帧要求模型记住人物、场景和动作因果，位置相位不是记忆网络。若输出失败，先分辨是表索引越界、token 排列错位、局部重复、全局模糊还是跨帧身份漂移，再决定该调位置、数据、注意力或去噪。 相同 token 数也不意味着相同空间外推。 假设训练格点为 (T,H,W)=(8,32,32)：目标 (8,64,32) 与 (8,32,64) 都把视频 token 翻倍，但前者只扩高轴，后者只扩宽轴。在 3D RoPE 中，它们分别改变高段或宽段的最远相位；在展平 1D RoPE 中，改宽还会重新标定所有行间与帧间的序列距离。实验可以保持 token 数、权重、prompt 和种子一致，只互换扩张轴，再分别检查竖向重复、横向重复与主体比例。若两个结果不同，先核对训练画幅分布和 VAE/patchify，才讨论是否来自轴频率。 排查失败时可以先做一个不动权重的三步实验。第一步固定 VAE latent 与 patch token，只换位置表构造，在同一坐标对上比较 q·k；若结果突然变化，检查表索引、轴顺序或维度配对。第二步固定画幅和视频内容，单独改变时间格点长度，看主体漂移是否只在跨越训练时长后出现。第三步固定时间格点，单独变高、宽并分别观察全局构图和局部纹理；若高宽都扩大导致局部重复，不能直接断言是 rope_theta 错，还要看是否出现 token 数暴涨引发的注意力截断、分块边界或 VAE tiling 伪影。把这些变量一次全改掉，会失去定位能力。 若比较位置插值与直接外推，评分也至少拆成两类：近邻细节，例如边缘、纹理与细小物体是否保持；远距结构，例如人物是否只有一个、左右场景是否连贯、同一主体跨帧是否一致。CogVideoX 附录里“一张模糊的大画面”与“多个清楚的小画面”的差异正说明：一个单一的美学分数可能掩盖局部与全局朝相反方向变化。画质指标之外还要记录 token 长度、时空网格与推理显存，否则方法之间可能使用了不同计算预算。 这套分轴设计也不表达“这是第 1 帧”这类绝对锚点——它主要编码相对位移。首帧图像条件、相机轨迹和剪辑时间戳需要通过额外条件或掩码表达。多图参考、回放状态与不同视频段拼接时，不同段若都从 (0,0,0) 重启，还需要明确段 ID 或相机等身份信息，免得同坐标误当同内容。 更远一步，镜头绕场景移动后再次拍到同一处墙面，这处墙面的世界位置没变，屏幕上的 (h,w) 却可能不同；反过来，相同 (h,w) 也可能指向另一块墙面。视频 3D RoPE 的“3D”是时间加二维屏幕格点，不是场景的三维坐标。面向相机可控的视频 DiT，SCoPE 将相机视线作为另一种位置线索加入注意力，并保留原有 RoPE；这是研究者针对屏幕坐标局限提出的扩展，不是普通 3D RoPE 自动拥有的几何能力。 07. 经典论文脉络 RoFormer、Position Interpolation 与 YaRN 的旋转及语言长上下文扩展已在先修文章讲过；对视频的问题是哪一轴、哪一频段需要缩放，语言模型结果不能直接当画质证据。 CogVideoX 将三维相对位置用于视频 DiT，并用多分辨率 Frame Pack 与渐进训练支持不同尺寸；论文附录展示的初始生成状态对比揭示了“局部清晰”与“全局成形”的矛盾。它是该模型上的定性证据，不是所有视频 RoPE 的通用胜负结论。 Diffusers 的 CogVideoX 实现 提供可核对的三轴维度分配、格点生成和注意力接口；论文、SAT 与 Diffusers 版本未必走同一坐标路径。 SCoPE 在视频 DiT 中保留时空格点 RoPE，另加相机视线线索以改善相机轨迹下的场景一致性；它讨论的是屏幕位置之外的几何信息，并非改写基础 RoPE 的旋转恒等式。 08. 常见误解 误解一：3D RoPE 就是把三个坐标加起来再做 1D RoPE。 若先算 $t+h+w$，(1,0,0) 与 (0,1,0) 就变成同一个位置值，时间变化和上下位移无法区分。正确做法是三段特征独立旋转，最后只在注意力内积里汇总贡献。 误解二：相对位置恒等式成立就证明任意分辨率都能生成。 恒等式对没见过的坐标同样成立；模型从未学过如何在新相位、更多 token 和新物体尺度上使用它。数学可计算性只保证不会因公式本身报错。 误解三：把所有坐标除以两倍没有副作用。 位置插值让新端点回到旧范围，却也让邻近格点的相位差减半，可能伤害局部细节。若目标只换高度，就不要无故压缩时间和宽度。 误解四：调大 rope_theta 等于 Position Interpolation。 更改基数主要影响较低频平面，最高频不动；位置除以缩放因子让所有频率一起慢下来。两者可能组合，作用机制不同。 误解五：CogVideoX 配置里有 height_interpolation 参数，就一定在使用插值。 本次读到的 SAT Rotary3DPositionEmbeddingMixin 接受该参数，却没有用它来计算 grid_h。要按真实执行路径确认；不同实现不能只凭参数名互相代替。 误解六：空间轴拿了 75% 维度，所以换分辨率导致的所有错误都来自空间 RoPE。 维度比例只是一种频率预算，无法排除注意力规模、训练分辨率、VAE 压缩和内容尺度的影响。看输出症状、做逐项消融，才有因果结论。 09. 动手验证 先运行 python3 rope_3d_minimal.py，看 vertical_neighbor_* 四行。把 lower=(0,1,0) 改成 (1,0,0)，即从“下一行”改为“下一帧”：3D 位移由 (0,1,0) 改成 (1,0,0)，1D 位移则由 W 改成 H×W。再单独改网格宽度，检查三轴版的下一帧相位是否仍只由时间坐标决定。 调用 rope_3d_cache(2,6,4,64,scales=(1,2,1)) 与 scales=(2,1,1)，分别只压缩高、时间坐标；检查同一高坐标的高段相位和同一时间坐标的时间段相位。最后把网格 2×3×4 改成 2×6×4：缓存行数应从 24 变 48，列数仍为 64，只有高坐标的取值范围增加。 如果要评估生成模型的真实外推质量，不能只跑这段 NumPy 脚本。固定模型权重、prompt、种子与去噪设置，比较原训练画幅、直接扩表、逐轴插值和不同频段缩放；同时记录局部纹理、重复图案、全局构图、跨帧主体一致性与实际显存/延迟。只有这样才能分清“位置编码问题”与“高分辨率本来就需要新训练”的差异。 10. 延伸阅读 继续向下可以看视频 DiT 的稀疏注意力、3D VAE/patchify 和长视频状态记忆：位置只负责“在哪里”，这几项决定“看哪些 token、用什么尺度和怎样记住内容”。 本篇用到的具体外部依据以 CogVideoX 论文、CogVideo SAT 源码 与 Diffusers 位置编码源码 为准；它们分别支持论文中的训练取舍与两种工程实现，文中的 NumPy 输出仅证明所写公式和示例代码一致。 附录：完整代码 09 节用到的脚本全文如下（rope_3d_minimal.py、make_figures.py）。复制到本地存成同名文件，按各脚本开头的依赖说明准备环境后即可运行。 rope_3d_minimal.py """NumPy-only 3D RoPE and per-axis position extrapolation demo.""" import numpy as np def axis_dims(head_dim): """CogVideoX's time/height/width split for a head divisible by sixteen (all three axis sizes must be even).""" assert head_dim > 0 and head_dim % 16 == 0 dims = (head_dim // 4, head_dim * 3 // 8, head_dim * 3 // 8) assert all(d % 2 == 0 for d in dims) return dims def axis_angles(positions, dim, base=10000.0, scale=1.0): """Angles [positions, dim/2]; scale>1 compresses this axis only.""" assert dim % 2 == 0 and scale > 0 inv_freq = base ** (-np.arange(0, dim, 2, dtype=np.float64) / dim) return np.asarray(positions, dtype=np.float64)[:, None] * inv_freq[None, :] / scale def rope_3d_cache(frames, height, width, head_dim=64, scales=(1, 1, 1)): """Return interleaved cos/sin, one row per (t,h,w) token.""" assert frames > 0 and height > 0 and width > 0 assert len(scales) == 3 and all(scale > 0 for scale in scales) dt, dh, dw = axis_dims(head_dim) at = axis_angles(np.arange(frames), dt, scale=scales[0])[:, None, None, :] ah = axis_angles(np.arange(height), dh, scale=scales[1])[None, :, None, :] aw = axis_angles(np.arange(width), dw, scale=scales[2])[None, None, :, :] shape = (frames, height, width) angles = np.concatenate( [np.broadcast_to(a, shape + (d // 2,)) for a, d in zip((at, ah, aw), (dt, dh, dw))], axis=-1, ).reshape(frames * height * width, head_dim // 2) return np.repeat(np.cos(angles), 2, axis=-1), np.repeat(np.sin(angles), 2, axis=-1) def rotate(x, cos, sin): """Rotate adjacent dimension pairs; x and cache both [tokens, head_dim].""" paired = x.reshape(x.shape[0], -1, 2) quarter_turn = np.stack((-paired[..., 1], paired[..., 0]), axis=-1).reshape(x.shape) return x * cos + quarter_turn * sin def score_for_positions(q, k, pos_q, pos_k, scales=(1, 1, 1)): """A single dot product without building an attention matrix.""" dims = axis_dims(q.size) out_q, out_k = [], [] start = 0 for axis, dim in enumerate(dims): aq = axis_angles([pos_q[axis]], dim, scale=scales[axis]) ak = axis_angles([pos_k[axis]], dim, scale=scales[axis]) cq, sq = np.repeat(np.cos(aq), 2, axis=-1), np.repeat(np.sin(aq), 2, axis=-1) ck, sk = np.repeat(np.cos(ak), 2, axis=-1), np.repeat(np.sin(ak), 2, axis=-1) out_q.append(rotate(q[start:start + dim][None], cq, sq)[0]) out_k.append(rotate(k[start:start + dim][None], ck, sk)[0]) start += dim return np.dot(np.concatenate(out_q), np.concatenate(out_k)) def flatten_index(pos, height, width): """The row-major 1D index of a video token at (time, height, width).""" t, h, w = pos return t * height * width + h * width + w def score_for_flattened_positions(q, k, pos_q, pos_k, height, width): """Baseline: one 1D RoPE angle table for all head channels.""" mq = flatten_index(pos_q, height, width) mk = flatten_index(pos_k, height, width) aq = axis_angles([mq], q.size) ak = axis_angles([mk], k.size) cq, sq = np.repeat(np.cos(aq), 2, axis=-1), np.repeat(np.sin(aq), 2, axis=-1) ck, sk = np.repeat(np.cos(ak), 2, axis=-1), np.repeat(np.sin(ak), 2, axis=-1) return float(np.dot(rotate(q[None], cq, sq)[0], rotate(k[None], ck, sk)[0])) def naive_score_matrix_gib(token_count, bytes_per_element=2): """GiB for one materialized dense attention-score matrix of one head.""" return token_count * token_count * bytes_per_element / 2**30 if __name__ == "__main__": np.set_printoptions(precision=6, suppress=True) dims = axis_dims(64) cos, sin = rope_3d_cache(2, 3, 4, 64) rng = np.random.default_rng(7) tokens = rng.normal(size=cos.shape) rotated = rotate(tokens, cos, sin) norm_error = np.max(np.abs(np.linalg.norm(tokens, axis=1) - np.linalg.norm(rotated, axis=1))) print("axis_dims=", dims) print("cache_shape=", cos.shape, "input_shape=", tokens.shape) print("rotated_shape=", rotated.shape) print("norm_error=", f"{norm_error:.2e}") q, k = rng.normal(size=64), rng.normal(size=64) a = score_for_positions(q, k, (0, 1, 2), (1, 2, 3)) b = score_for_positions(q, k, (5, 6, 7), (6, 7, 8)) print("same_offset_scores=", f"{a:.6f}", f"{b:.6f}", "difference=", f"{abs(a-b):.2e}") upper, lower = (0, 0, 0), (0, 1, 0) flat4 = flatten_index(lower, 2, 4) - flatten_index(upper, 2, 4) flat8 = flatten_index(lower, 2, 8) - flatten_index(upper, 2, 8) one_d4 = score_for_flattened_positions(q, k, upper, lower, 2, 4) one_d8 = score_for_flattened_positions(q, k, upper, lower, 2, 8) three_d4 = score_for_positions(q, k, upper, lower) three_d8 = score_for_positions(q, k, upper, lower) three_d_offset = tuple(b - a for a, b in zip(upper, lower)) print("vertical_neighbor_1d_offsets=", flat4, flat8) print("vertical_neighbor_1d_scores=", f"{one_d4:.6f}", f"{one_d8:.6f}") print("vertical_neighbor_3d_offsets=", three_d_offset, three_d_offset) print("vertical_neighbor_3d_scores=", f"{three_d4:.6f}", f"{three_d8:.6f}") # These are algebraic invariants, not video-quality tests. Keeping them as # assertions turns the example into a small regression test for pairing, # broadcasting and relative-position behavior. assert norm_error < 1e-12 assert abs(a - b) < 1e-12 assert abs(three_d4 - three_d8) < 1e-12 assert not np.isclose(one_d4, one_d8) raw = axis_angles([15], dims[1])[0] pi = axis_angles([15], dims[1], scale=2)[0] print("height_phase_at_15_first_last=", np.round(raw[[0, -1]], 6)) print("height_PI_x2_first_last=", np.round(pi[[0, -1]], 6)) print("time_phase_at_15_first_last=", np.round(axis_angles([15], dims[0])[0][[0, -1]], 6)) small_tokens = 13 * 30 * 45 large_tokens = 13 * 60 * 90 print("token_count_13x30x45=", small_tokens) print("token_count_13x60x90=", large_tokens) print("dense_attention_ratio=", (large_tokens / small_tokens) ** 2) print( "naive_score_matrix_fp16_gib_per_head=", f"{naive_score_matrix_gib(small_tokens):.3f}", f"{naive_score_matrix_gib(large_tokens):.3f}", ) make_figures.py """Generate 3D RoPE figures. Requires NumPy, Matplotlib and Pillow.""" from pathlib import Path import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt import numpy as np from PIL import Image, ImageDraw, ImageFont from rope_3d_minimal import axis_angles, axis_dims OUT = Path(__file__).resolve().parents[1] / "figures" OUT.mkdir(exist_ok=True) def _chinese_font(size): for path in ( "/System/Library/Fonts/Hiragino Sans GB.ttc", "/System/Library/Fonts/PingFang.ttc", "/usr/share/fonts/truetype/noto/NotoSansCJK-Regular.ttc", ): try: return ImageFont.truetype(path, size) except OSError: pass raise RuntimeError("请安装中文字体后再生成 1D/3D 对照图") def one_d_vs_three_d(): """Show the same vertical neighbor under two video widths.""" image = Image.new("RGB", (1800, 950), "#f7f9fe") draw = ImageDraw.Draw(image) ink, muted = "#1e293b", "#475569" draw.text((80, 50), "同一对上下相邻的 token，换宽度会怎样？", font=_chinese_font(68), fill=ink) draw.text((82, 150), "A=(0,0,0) → B=(0,1,0)；只改变视频格点宽度 W", font=_chinese_font(42), fill=muted) cards = ( (70, 260, 865, 790, "#e8efff", "#1d4ed8", "1D RoPE：一个序列距离", "W=4 → Δm=4", "W=8 → Δm=8", "上下相邻仍是 1 格，但旋转相位变了"), (935, 260, 1730, 790, "#e3f7f2", "#047857", "3D RoPE：三个轴分别计数", "W=4 → (0,1,0)", "W=8 → (0,1,0)", "高轴始终转 1 格，时间和宽轴不动"), ) for x0, y0, x1, y1, bg, accent, title, first, second, note in cards: draw.rounded_rectangle((x0, y0, x1, y1), radius=38, fill=bg) draw.rectangle((x0 + 38, y0 + 48, x0 + 50, y0 + 130), fill=accent) draw.text((x0 + 77, y0 + 51), title, font=_chinese_font(51), fill=ink) draw.text((x0 + 75, y0 + 210), first, font=_chinese_font(68), fill=accent) draw.text((x0 + 75, y0 + 322), second, font=_chinese_font(68), fill=accent) draw.text((x0 + 75, y0 + 435), note, font=_chinese_font(35), fill=muted) draw.text((80, 844), "旋转和相对位置性质相同；变化的是坐标系与每轴的特征维度。", font=_chinese_font(42), fill=ink) image.save(OUT / "one_d_vs_three_d.png", optimize=True) def axis_budget(): dims = axis_dims(64) fig, ax = plt.subplots(figsize=(9, 2.8)) colors = ["#1d4ed8", "#0d9488", "#ea580c"] start = 0 for name, dim, color in zip(("Time 25%", "Height 37.5%", "Width 37.5%"), dims, colors): ax.barh([0], [dim], left=start, color=color, height=0.55) ax.text(start + dim / 2, 0, f"{name}\n{dim} dims", ha="center", va="center", color="white", weight="bold") start += dim ax.set_xlim(0, 64) ax.set_ylim(-0.55, 0.55) ax.set_xlabel("Head channels (64 total)") ax.set_yticks([]) ax.set_title("CogVideoX 3D RoPE: independent rotary planes per axis") fig.tight_layout() fig.savefig(OUT / "axis_budget.png", dpi=180) plt.close(fig) def phase_tradeoff(): dim_h = axis_dims(64)[1] pos = np.arange(32) original = axis_angles(pos, dim_h) compressed = axis_angles(pos, dim_h, scale=2) fig, axes = plt.subplots(1, 2, figsize=(9, 3.5), sharey=True) for ax, values, title in zip(axes, (original, compressed), ("Raw coordinates", "Height PI: positions / 2")): ax.plot(pos, np.cos(values[:, 0]), color="#ea580c", linewidth=2, label="highest frequency") ax.plot(pos, np.cos(values[:, -1]), color="#1d4ed8", linewidth=2, label="lowest frequency") ax.set_title(title) ax.set_xlabel("Height-token index") ax.grid(alpha=0.18) axes[0].set_ylabel("cos(angle)") axes[1].legend(frameon=False, loc="lower right") fig.suptitle("Interpolation halves phase change on this axis at every frequency") fig.tight_layout() fig.savefig(OUT / "phase_tradeoff.png", dpi=180) plt.close(fig) if __name__ == "__main__": one_d_vs_three_d() axis_budget() phase_tradeoff() for name in ("one_d_vs_three_d.png", "axis_budget.png", "phase_tradeoff.png"): print(OUT / name) 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-15|阿里五路音频控制-DiffSynth-Music 今日 AIGC 论文速览 今日共 10 篇 · 可控与统一音频生成 2 篇 · 长时音视频与可控视频生成 2 篇 · 图像编辑与画质修复 2 篇 · 3D 资产生成 1 篇 · 流式交互与语音评测 2 篇 · 高效长上下文 1 篇 重点论文标题列表 DiffSynth-Music（阿里巴巴集团、上海交通大学）：五路音频控制锁住节拍 StepAudio 3 Gen（阶跃星辰 StepFun-Audio 团队）：一套模型生成所有声音 Encore（百度、北京理工大学 · SIGGRAPH Asia 2026）：三十秒音画同步不跑偏 DIAL（阿里巴巴集团、北京大学）：调一个旋钮控人物像不像 Omni-Streaming Thinking（香港大学、香港科技大学（广州）、LIGHTSPEED、萨塞克斯大学）：流式多模态会主动改口 今日论文速览 1. DiffSynth-Music：五路音频控制锁住节拍 DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation | 阿里巴巴集团、上海交通大学 | arXiv:2609.12774 关键词：可控音乐生成,音频条件,KV缓存,扩散Transformer 前序问题：文字与歌词能规定歌曲主题和唱词，却难以精确约束节拍、旋律、伴奏、演唱韵律和参考风格；把多种音频条件逐步送进扩散模型又会反复增加计算。 本文贡献：DiffSynth-Music 从同一音乐 DiT 初始化 Control、Prosody、Reference 三个模板模型，先由共享 VAE 编码控制音频，再把逐层 KV 缓存注入生成主干。模板端固定在干净数据端点，每种控制只前向一次，五类条件还能组合使用。 实验效果：相对冻结主干，节拍条件把 Beat-F1 从 0.3031 提到 0.8496；人声条件把 V-MSE 从 0.0158 降到 0.0006，伴奏条件把 A-MSE 从 0.0221 降到 0.0023；参考条件的 MuLan-A 从 0.6836 升到 0.8088。 批判点评：一次缓存让多条件控制更便宜，但三个模板模型仍带来额外参数和训练维护成本。实验以单条件为主，真正创作常同时叠加节拍、人声、伴奏与参考音频，组合冲突和听感质量仍需更大规模人评。 2. StepAudio 3 Gen：一套模型生成所有声音 StepAudio 3 Gen Technical Report | 阶跃星辰 StepFun-Audio 团队 | arXiv:2609.12945 关键词：通用音频生成,语音合成,声音设计,RVQ 前序问题：语音、歌声、音乐与音效通常使用不同生成器和离散表示，混合声音任务很难在一套模型里保持文本能力、说话人一致性与声学细节。 本文贡献：StepAudio 3 Gen 以 12.5 Hz 的 16×2048 共享 RVQ 空间直接自回归建模通用音频：主干沿时间预测首码本，轻量因果 Transformer 再沿码本轴补齐其余十五层；渐进预训练与 RVQ Adaptor 缓解音频能力对语言能力的干扰。 实验效果：TTS 人类偏好 Elo 达 1755.33，对五个商业系统的汇总胜率为 82.0%；声音设计 Elo 为 1668.5、汇总胜率 75.5%；风格一致性中文平均 85.2%，英文平均 77.7%。 批判点评：统一离散建模简化了产品管线，但十六层 RVQ 的级联预测仍可能积累误差。报告覆盖多类声音，公开复现仍取决于训练数据、偏好标注与完整模型权重。 3. Encore：三十秒音画同步不跑偏 Encore: Infinite Audio-Video Generation with Adaptive Signal Routing | 百度、北京理工大学 · SIGGRAPH Asia 2026 | arXiv:2609.04249 关键词：音视频联合生成,长视频生成,自适应信号路由,跨模态同步 前序问题：现有音视频生成能做出同步良好的短片，但时长受限；长视频方法靠分块迭代延长时长，却完全没有音频。联合生成长音视频比单做任何一边都难：每一块都要同时保住视频时序连贯、音频时序连贯和跨模态同步，而这三路条件信号进入模型的通路各不相同。 本文贡献：Encore 把难题拆成两层：局部连续性交给带显式跨块上下文传播的迭代生成，全局一致性交给带位移位置编码的参考音视频信号。在此之上提出自适应信号路由（ASR），在自注意力内加逐层逐头可学习偏置、在交叉注意力输出上加可学习缩放，让模型自行调节每路条件信号的影响强度。端到端联合训练后，推理时全程以真值模态为条件即可支持无限长的音频转视频与视频转音频。 实验效果：扩展后的 VerseBench 长音视频评测上，身份一致性 ID 为 0.86、音画同步 LSE-C 为 2.36、AV-A 为 0.88，三项均为最佳；误差累积 ΔAS 0.02、ΔID 0.07，明显低于次优的 0.06 与 0.22。短片设置下 LSE-C 为 3.46，对 LTX-2.3 的 2.36。 批判点评：把长音视频拆成局部续接加全局参考，确实压住了 30 秒级的身份漂移与场景突变。但 ASR 的逐层逐头可学习参数把调参负担转移到了训练侧，消融显示去掉任一路缩放都会让同步指标明显掉档。画面美学仍落后于 OVI 与 LTX2.3，且所谓无限长目前只验证到 30 秒量级，更长时长的累积行为没有给出。 4. DIAL：调一个旋钮控人物像不像 Harnessing Intrinsic Subject-Aware Attention for Controllable Multi-Subject Video Generation | 阿里巴巴集团、北京大学 | arXiv:2609.11507 关键词：多主体视频生成,注意力定位,保真强度控制,偏好优化 前序问题：多主体视频生成卡在两件事上：保真强度不可调——模型要么因训练数据偏置产生生硬的贴图感，要么对输入敏感到无法控制；以及语义漂移——主体中途消失、属性出错、多个参考身份互相串味。 本文贡献：作者发现 DiT 内部某些注意力块天然形成内在空间定位图（ISGM），能准确定位参考主体。DIAL 据此双阶段复用这一内部信号：低噪声阶段用 ISGM 构造注意力偏置矩阵，推理时逐主体调节引导强度 γ 即可控制身份保真度，无需重训；高噪声阶段用同一张图零成本构造偏好对做强化学习，把注意力锚定到参考主体上抑制漂移。 实验效果：OpenS2V-Eval 上，Kaleido 主干总分从 56.00 提到 γ=16 时的 61.14，人脸相似度从 31.81 升到 60.64，双双超过最强通用基线 SkyReels-v3 的 59.26 与 VACE-14B 的 55.09。第二阶段单独作用（γ=0）把主体出现率从 155/320 提到 163/320。 批判点评：把控制接口接到模型自带的注意力结构上、省掉外挂模块，这个思路很干净。但 ISGM 出现在哪一层依赖对具体主干的经验观察，换骨干要重新找；保真度提升伴随真实感与美学分下滑，γ 给多少仍靠人工判断。第二阶段的偏好对由 ISGM 自评构造，评判标准与被优化对象同源，存在自我确认的风险。 5. Omni-Streaming Thinking：流式多模态会主动改口 Omni-Streaming Thinking | 香港大学、香港科技大学（广州）、LIGHTSPEED、萨塞克斯大学 | arXiv:2609.15128 关键词：流式多模态,音视频推理,状态修正,幻觉抑制 前序问题：流式音视频模型常在声音尚未说完时依据画面提前下结论；一旦错误判断写入记忆，后续音频即使否定它，模型仍会沿着旧状态回答。 本文贡献：OST 把输出拆成已见证据、未来证据预测和待验证主张，并为主张绑定验证时间窗。音频与视觉证据分开保存；遇到矛盾后，反驳过程削弱旧主张及其依赖状态，回答门控只在关键主张满足条件时放行。主干冻结为 Qwen3-Omni-30B-A3B，仅做轻量适配。 实验效果：在五个流式与音视频基准上，OST 相对最强开放基线平均提升超过 10%；OST-DiagBench 的 d′ 达 2.95，而开放基线最高 1.38。SOVBench-O 平均准确率由 81.6 提至 87.8，SOVBench-T F1 由 90.5 提至 92.4。 批判点评：显式状态与反驳链能减少过早承诺，却依赖主张拆分、模态归因和验证时间窗都足够准确。复杂直播中矛盾可能长期不闭合，额外结构化输出也会增加延迟和训练标注成本。 6. Overpainting：灰色地带让模型自己发挥 Overpainting: Localized Context-aware Diffusion Image Editing | Adobe Research、威廉与玛丽学院 | arXiv:2609.10811 关键词：图像编辑,三值遮罩,扩散模型,注意力dropout 前序问题：图像编辑要么给定二值遮罩、严格只改框内，结果生硬且边界突兀；要么纯靠文字提示，改哪里完全不受控。用户真正想表达的「这块必须改、这一圈可以顺带调、其余别动」没有对应接口。 本文贡献：Overpainting 用白/灰/黑三值 trimap 表达这三档意图：白色必须编辑、灰色允许编辑、黑色不得改动。实现上在预训练图像编辑扩散模型外挂 LoRA，用联合注意力在源图、遮罩与噪声三路输入间传信息，并以注意力 dropout 平衡信息流。配套的自动数据流水线先用语言编辑模型造候选图像对，筛掉过度编辑、编辑不足与整体偏移的失败样本，再从可用样本反解出 trimap。 实验效果：遮罩估计网络微调后 F1 达 0.955、IoU 0.916，对比阈值像素差的 0.733 与 0.607。MISATO@1K 补全评测上 LPIPS 0.189、FID 20.58，远好于 FLUX-Kontext 的 0.372 与 92.09。180 个人工整理的例子上，50% 注意力 dropout 在遮罩遵循与编辑质量之间取得平衡点。 批判点评：三值 trimap 比二值遮罩更贴近真实修图意图，把「顺带调一下」这件事显式化了。但灰区给模型多大自由度只能靠 dropout 率这一个全局参数调，用户画的灰区宽窄也会显著改变结果，论文自己的遮罩变体实验就显示同一提示词能得到差异很大的输出。训练数据由 FLUX.1 Kontext 自动生成再筛选，模型学到的编辑分布因此被上游模型的偏好圈住。 7. PLSR：3D网格切块做超分省显存 PLSR: Progressive and Localized Super-Resolution of 3D Objects via Localized Latent Voxel Diffusion | 香港中文大学、广东工业大学、香港城市大学、莫纳什大学 | arXiv:2609.06436 关键词：3D资产生成,超分辨率,体素扩散,渐进式生成 前序问题：扩散式 3D 生成模型被固定分辨率卡住，细节上不去；直接把分辨率整体拉高，显存与算力又会爆掉。 本文贡献：PLSR 在已有 3D 生成基座上做超分，把全局超分拆成关联式的局部子任务：粗网格编码成低分辨率条件，上采样出高分辨率隐变量的稀疏体素骨架后切成固定大小 patch，每个 patch 关联裁剪对应的低分辨率条件与输入图像，逐 patch 去噪再聚合成全局预测。整轮结果还能当作下一轮的低分辨率条件，渐进逼近更高分辨率，基座只需低成本微调。 实验效果：伪真值几何评测上 LPIPS 0.109、FID 55.89、Chamfer 距离 0.0139、F1 0.145，四项全面优于 TRELLIS.2 在 1536 与 2560 两档分辨率下的结果；纹理评测 LPIPS 0.125、FID 59.89。开放世界 ELO 评分中几何总体质量 1855、纹理 1633，高于 TRELLIS.2(1536) 的 1790 与 1599。 批判点评：把全局超分拆成局部 patch 换来了显存友好，重叠推理与渐进式两个消融也都验证有效。但逐 patch 去噪要遍历所有 patch，分辨率越高调用次数越多，省的是显存不是时间。接缝主要靠低分辨率条件当锚点加重叠区抑制，论文也承认无重叠时仍有残留。开放世界评测依赖模型打分，与人工审美的一致性没有交叉验证。 8. SAS：稀疏注意力直接听损失 SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking | 腾讯混元、香港科技大学（广州）、香港科技大学 | arXiv:2609.13141 关键词：稀疏注意力,长上下文,上下文排序,端到端优化 前序问题：可训练稀疏注意力通常用硬 Top-K 选上下文，语言模型损失无法穿过离散选择，只能蒸馏稠密注意力权重；有限预算因此可能保留“像教师”却不真正影响最终预测的块。 本文贡献：SAS 在训练时把选择器连续分数以对数门的形式注入注意力 softmax，让语言模型损失直接更新上下文排序；归一化门校准历史块与始终保留的当前块，Triton 内核把这一机制嵌入 FlashAttention 风格计算。 实验效果：在 2048 token 预算、Qwen3-4B 上，AIME24 比 SeerAttention-R 高 13.02 分（68.85 对 55.83）；Qwen3-14B 的 LongBench 8K+ 为 53.9 对 51.5。SGLang 解码在 512K、batch 1 最多降延迟 5.6 倍，batch 8、64K 最多约 13 倍加速。 批判点评：端到端损失对下游任务更直接，但选择器只在数学数据上训练，跨领域稳定性仍受主干与查询分布影响；预填充仍采用稠密注意力，因此长输入首 token 成本没有同时消失。 9. Mi-Ripple：修掉反复AI编辑的涟漪 Mi-Ripple: Restoring Images Degraded by Iterative AI Editing | 弥阳科技、中国科学院软件研究所、上海交通大学、天津大学 | arXiv:2609.11317 关键词：图像修复,迭代编辑,频域伪影,配对再生成 前序问题：图像被生成模型反复编辑后会积累低频起伏、色带与周期纹理，内容看似正确却越来越“塑料”；普通锐化或去噪可能同时损伤真实边缘。 本文贡献：Mi-Ripple 先在频域用陷波定位并抑制迭代编辑形成的周期分量，再通过配对再生成构造更干净的参考，对剩余伪影做修复；流程把可测量的频谱异常与生成式细节恢复结合。 实验效果：14 次只做陷波的测试中，整图 CIELAB 亮度残差标准差为 0.08–0.44；配对再生成把参考中的碎屑密度降低 45%。三个示例的尺度纹理指数分别从 25.3%、41.1%、20.0% 降至 11.1%、12.1%、0.0%。 批判点评：方法针对可见的周期性退化更有解释性，但配对再生成可能改动原图身份与细节。若伪影频率与真实重复纹理重合，陷波也可能误删内容，仍需要区域级保真检查。 10. Duplex Cue：会说会停还要边听边改 Continue, Adapt, or Yield: In-Turn Adaptation to Overlapping Speech in Full-Duplex Agents | Besimple AI | arXiv:2609.13117 关键词：全双工语音,重叠语音,对话适应,语音评测 前序问题：全双工语音评测常把模型行为简化为继续说或停下来，却漏掉人类常用的第三种反应：保留话轮，同时吸收听者补充的词、纠正或澄清。 本文贡献：Duplex Cue 把听者意图区分为回应、协作与打断，把说者行为标成原样继续、话内适应或让出话轮。研究从无脚本英语对话中提取 300 个经人工确认的提示，并在相同提示下比较人类录音与 PersonaPlex 延续。 实验效果：保留 208 对活跃且可评分样本；66 个协作提示中，人类话内适应率为 68.2%，PersonaPlex 为 34.8%，相差 33.4 个百分点。模型更多原样继续（42.4%）或让出话轮（22.7%）；自动评分与人工在 142 项中一致 108 项，κ=0.641。 批判点评：三分法比“停没停”更接近自然对话，但判断适应需要理解语义依赖，自动评审本身可能偏向表面复述。要成为训练目标，还需扩展语言、说话风格、噪声与真实网络延迟。 趋势观察 控制接口前移到模型内部 控制不再靠外挂模块，而是接到主干已有的结构上：DiffSynth-Music 用可复用 KV 缓存组合五路音频，StepAudio 3 Gen 用共享离散码本统一语音、歌声、音乐与音效，DIAL 干脆直接复用 DiT 自带的注意力定位图。 长时序生成靠显式上下文传播续命 Encore 把长音视频拆成局部连续性与全局一致性两层，用跨块上下文传播加参考信号压住 30 秒后的身份漂移，误差累积指标 ΔID 从次优的 0.22 降到 0.07——长程生成的胜负手不在单帧画质，而在误差累积。 编辑控制从硬遮罩转向软约束 Overpainting 用白灰黑三值 trimap 区分「必须改、可以改、不能改」，Mi-Ripple 用频域陷波只删周期分量，都在回答「哪里该动、动多少」，而不是一刀切地框定编辑区域。 算力不够时预算分配成为核心问题 PLSR 把全局 3D 超分拆成可迭代的局部 patch 去噪换显存，SAS 在固定注意力预算下端到端学上下文排序——两条线都承认资源有限，转而研究怎么把预算花在刀刃上。 人工智能炼丹君 整理 | 2026-09-15 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-14|SenseNova 8B原生视觉直出4K-SN-U15 今日 AIGC 论文速览 今日共 10 篇 · 统一视觉理解与生成 1 篇 · 实时视频与世界模型 2 篇 · 多模态智能体评测 3 篇 · 语音识别与压缩 2 篇 · 推理对齐与生成奖励 2 篇 重点论文标题列表 SenseNova-U1.5（OpenSenseNova 团队）：8B原生视觉直出4K Vidu S2（清华大学、北京生数科技）：720p实时视频25帧起 World in World（西湖大学 AGI Lab）：冻结模型也能自由换镜头 MindTopo（西北大学、微软研究院、斯坦福大学）：拓扑规划远逊人类 IdeaAMBIG（耶鲁大学、TCS Research）：金标准让可实现率到98% 今日论文速览 1. SenseNova-U1.5：8B原生视觉直出4K SenseNova-U1.5: Towards Native Unified Visual Intelligence | OpenSenseNova 团队 | arXiv:2609.11929 关键词：统一多模态,图像生成,图像编辑,原生像素建模 前序问题：理解模型通常依赖视觉编码器，生成模型又依赖 VAE，两条链路使用不同表征，导致理解、推理、生成和编辑难在一个端到端模型里互相迁移；高分辨率生成还会放大局部块之间的不连续。 本文贡献：SenseNova-U1.5 用 8B 参数的 Mixture-of-Transformers 直接统一像素与文本，去掉外置视觉编码器和 VAE；空间耦合解码器修补逐块重建的边界，原生分辨率扩展到 4K。后训练分别优化审美、双语文字、信息图和编辑专家，再用多专家在线蒸馏合并能力。 实验效果：在作者报告的开放模型对比中，SenseNova-U1.5 的 GenEval 总分达到 0.92，DPG-Bench 为 88.11，CVTG-2K 平均分为 0.948；训练语料新增约 5900 万张图，且有效训练量中 88.2% 超过 1024²、64.4% 超过 2048²。 批判点评：原生像素路线减少了模块割裂，却把视觉 token 数量、像素重建和语言建模的竞争都压进同一主干，训练成本并未消失。论文展示大量自有数据与奖励流程，完整数据未开放前，4K稳定性、多语言文字和多参考编辑的复现门槛仍高。 2. Vidu S2：720p实时视频25帧起 Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation | 清华大学、北京生数科技 | arXiv:2609.11638 关键词：实时视频,流式生成,视频编辑,空间视频 前序问题：主流扩散视频模型要等整段去噪结束才能播放，用户无法在直播过程中换人物、改衣服或更新参考图；上一代 Vidu S1 也局限于 540p、固定参考和说话头像。 本文贡献：Vidu S2 把流式视频扩展为 Avatar 与 Editing 两条实时链路：通过回放式在线蒸馏、块因果时序注意力、高低噪声双阶段缓存、量化与多 GPU 流水线，在生成过程中接收新指令和动态参考；编辑分支支持风格、服装、角色及背景替换，并探索双目空间视频。 实验效果：Avatar 在 720p 下维持 25–42 FPS。Editing 在 Sparkle-Bench 获得 3.74 总分，在 OpenVE+RefVIE 联合评测得 4.26；虚拟试穿 VFID-I 为 9.9515，低于 CatV2TON 的 19.5131。长期人评中，对 Runway 的整体质量偏好率达到 85.7%。 批判点评：实时性建立在复杂的缓存、量化和多 GPU 调度上，普通消费级部署能否复现 720p 上限仍需实测。空间视频主要由单目结果与深度后处理构造，快速运动、遮挡边界和长时间身份漂移仍可能影响头显舒适度。 3. World in World：冻结模型也能自由换镜头 World in World: Explore the World with World Models | 西湖大学 AGI Lab | arXiv:2609.11548 关键词：世界模型,相机控制,视频重渲染,免训练控制 前序问题：从已有视频换视角时，模型既要跟上原事件的时间线，又要把已见物体放到新视角、补全未见区域，并在镜头返回时恢复先前外观；现有方案通常为每种控制额外训练模块。 本文贡献：World in World 把原视频观测、目标视角投影、几何渲染和历史生成帧都编码成带相机、时间与有效区域标签的干净视觉状态，直接送入冻结因果视频模型的原生自注意力。对应路由器建立 token 对应关系，EWA 在同一次去噪前向中分别调节各证据通道。 实验效果：在 DAVIS 与 OpenVid-1M 相机重渲染评测中，方法的七项 VBench 平均分为 85.192，优于次高的 84.295；平移误差 0.068622、旋转误差 2.8326°，并取得 23.1511 PSNR。去掉目标视角 warp 后，旋转和平移误差约升至完整方法的 3.4 倍和 10.9 倍。 批判点评：免训练接口很实用，但仍依赖深度、相机姿态、点对应和人体几何等外部估计，错误会作为“干净证据”被模型放大。新暴露区域依赖生成先验，几何合理不等于真实世界可恢复。 4. MindTopo：拓扑规划远逊人类 MindTopo: Can Foundation Models Reason in Topological Space? | 西北大学、微软研究院、斯坦福大学 | arXiv:2609.11900 关键词：空间推理,拓扑,多模态模型,智能体规划 前序问题：视觉空间评测多考距离、角度和形状，却很少检查连续性、分离、顺序、包围和打结这些在连续形变下保持不变的拓扑关系；看懂静态图也不代表模型能通过动作维持它。 本文贡献：MindTopo 用 13 类程序化任务构造 11030 个样本，把五种拓扑性质分别放在单步推理与闭环规划中测试；同时评估 14 个多模态大模型，并让图像或视频生成模型充当规划过程的视觉想象器。 实验效果：按任务宏平均，GPT-5.6-Sol 得 61.42%，明显低于人类的 97.87%；其静态推理为 66.83%，闭环规划降到 52.75%。Qwen3-VL-2B 经 SFT 后平均 28.83%，GRPO 为 18.69%；联合训练使推理到 51.53%，规划仍只有 6.33%。 批判点评：基准把“识别关系”和“操作关系”的差距量化得很清楚，但渲染风格、动作接口和精确匹配评分可能放大模型失误。生成下一状态有时只是画出合理终点，并未遵守环境动力学，说明视觉想象尚不能替代可执行世界模型。 5. IdeaAMBIG：金标准让可实现率到98% IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications | 耶鲁大学、TCS Research | arXiv:2609.10539 关键词：研究智能体,代码生成,需求澄清,可复现性 前序问题：研究想法可以新颖且逻辑自洽，却遗漏门控方式、损失定义或参数匹配口径；编码智能体若不识别这些关键空白，就会默默补假设，最终实现出另一个方法。 本文贡献：IdeaAMBIG 从论文、代码仓库、Issue 和复现记录构造 660 个有证据支撑的样本，其中 163 个是真实缺陷、497 个是受控注入缺陷，分别测试规格是否可编码、缺陷定位和已知缺陷后的澄清问题生成。 实验效果：13 个模型中，真实样本的最佳宏缺陷恢复率仅 9.6%；给出缺陷位置后，最佳宏澄清动作成功率升至 80.6%。在 oracle 实验里直接提供金标准解决方案，可把下游“可编码”率从 14% 提升到 98%。 批判点评：它抓住了研究自动化中常被忽略的输入质量问题，但真实缺陷只有 163 个，且证据多来自已有复现失败，可能偏向容易留下公开记录的项目。定位失败仍是瓶颈，单纯提高代码模型能力并不能解决规格缺失。 6. Xiaomi-CocktailASR-1：声纹提示直听目标说话 Xiaomi-CocktailASR-1 Technical Report | 小米集团 | arXiv:2609.11274 关键词：语音识别,目标说话人,鸡尾酒会,音频语言模型 前序问题：多人同时说话时，普通 ASR 会混写所有声音；传统目标说话人识别通常先分离再转写，误差会累积，而且不少系统在只有一人或目标不在场时容易误删、误认。 本文贡献：Xiaomi-CocktailASR-1 把参考语音与混合语音拼接，用 0.6B Data2Vec2 音频编码器同时提取内容和声纹，再接 Qwen3-8B 解码，不需要独立说话人编码器或语音分离。负样本训练让目标缺席时输出空文本，CoT 模式还显式判断人数、性别和声纹相似度。 实验效果：在 LibriMix 2mix 上，目标说话人 WER 从此前 4.84% 降到 4.11%；真实 AMI-SDM 从此前 22.0% 降到 20.63%。单人 LibriSpeech WER 为 1.73%，目标存在时误拒率 0.36%；AMI-IHM WER 为 8.89%，优于 Qwen3-ASR-1.7B 的 10.56%。 批判点评：端到端统一架构减少级联误差，但要额外提供干净参考声纹，且 8B 解码器对边缘设备并不轻。CoT 能给出可读理由，却不保证其人数或声纹判断忠实反映内部决策。 7. Mr.LHDR：深研链越长越容易失真 Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents | MBZUAI、中国科大、浙江大学、腾讯 | arXiv:2609.11318 关键词：深度研究,多模态智能体,长链推理,评测基准 前序问题：现有深度研究基准多在几步检索后只看最终答案，难以判断智能体能否在十几步依赖链中持续保存证据，也会掩盖“答案碰对、过程已错”的情况。 本文贡献：Mr.LHDR 用隐藏节点关系图构造八类真实问题，平均要求 12.1 个必要中间结论、依赖深度 10.4；每题至少包含一个会改变推理状态的图像、地图、PDF、图表或视频帧，并同时评分最终答案、检查项和依赖一致性。 实验效果：最终答案最强的一次 GPT-5.5 运行只有 43.1% OA 和 34.3% 严格准确率；专用系统 o3 Deep Research 为 32.4% OA、19.6% 严格准确率。移除图片后，依赖感知检查分下降 12.6 个百分点，且链越长严格准确率越低。 批判点评：依赖图让过程评测更可信，但人工构造的唯一答案和必要路径可能排除等价证据链。网页随时间变化会让可复现性持续漂移，真正部署还要处理来源可信度、费用和权限，而不只是链长。 8. Negative Self-Distillation：远离坏推理反超正蒸馏 Negative Self-Distillation: Learning to Reason by Avoiding Flaws | 弗吉尼亚大学、斯坦福大学 | arXiv:2609.11699 关键词：自蒸馏,推理模型,负向教师,对齐训练 前序问题：在线自蒸馏让模型模仿带答案提示的高置信轨迹，可能压制不确定表达、探索和自我纠错；直接遗忘错误轨迹又会把普通语言 token 一并惩罚，损坏基础能力。 本文贡献：NSD 不模仿“知道答案”的自己，而让模型生成与题目相关的粗心负条件，再推动学生分布远离这个负教师；动态门控只挑出对推理行为关键的 token 更新，减少对标点和通用语言模式的误伤，也不依赖外部教师或标准答案。 实验效果：在 AIME 24/25/26、HMMT、AMC、OlympiadBench 和 MATH 七个数学基准上，NSD 相对基线平均提升：1.7B 模型 2.3%、4B 模型 7.5%、8B 模型 6.0%，并在论文实验中持续超过 OPSD 与其他无标签自举 RL 方法。 批判点评：负教师由模型自己生成，若它不能稳定描述真正的错误模式，训练信号可能只是风格差异。动态门控降低语言退化风险，却新增阈值和梯度设计；数学推理上的收益还需在代码、事实性与开放问答中验证。 9. GenV：生成奖励抓出伪正确 Beyond Solver Verdicts: Generative Reward Models for Autoformalization | 凯斯西储大学、Amazon Web Services | arXiv:2609.11085 关键词：自动形式化,生成奖励模型,Z3,神经符号推理 前序问题：Z3 等求解器只能确认给定形式化是否可满足，无法判断它是否忠实翻译了原题；一个写反的不等号仍可能返回同样 verdict，形成“结果正确但形式不等价”的伪正确。 本文贡献：GenV 先用离线 Z3 等价性 oracle 挖掘硬负例，再把参考等价判断蒸馏成不需要参考答案的连续生成式分数；它复用语言模型词表读出奖励，并用 logit lens 与稀疏自编码器分析错误坐标如何在内部形成。 实验效果：GenV+HN 在参考等价验证上取得 0.961 AUROC，远高于只看求解器 verdict 的机会水平 0.500；它可零样本迁移到未见翻译器和不同形式风格，并让智能体测试时算力分配的下游准确率提高 11.3 个百分点。 批判点评：生成式验证器比二元 verdict 更细，但它把“忠实性”重新交给学习模型，不能替代求解器的形式保证。若参考形式化有误、问题允许多种合理解释，等价性标签本身也会变得含糊。 10. X-AuT：音频塔减20.7%参数 X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation | 小鹏汽车 | arXiv:2609.11412 关键词：语音大模型,模型压缩,跨尺度蒸馏,音频编码器 前序问题：直接删除语音大模型的音频编码层虽能降延迟，却会扰动送入语言解码器的表示，造成漏字和过早结束；逐层试错成本又很高。 本文贡献：X-AuT 先用短行为探针筛选可删层组合，再逐步从 18 层压到目标深度；恢复阶段同时做表示对齐、跨尺度蒸馏、按计划切换学生策略监督和 LoRA 微调，语言主干保持冻结。 实验效果：Qwen3-ASR-0.6B 从 18 层压到 16 层后，十个中英基准宏平均错误率从 5.61% 降到 5.27%；14 层模型减少 20.7% 音频塔参数，错误率为 5.75%。渐进式 18→14 优于直接剪枝的 6.73%，1.7B 教师蒸馏为 5.55%，也优于自蒸馏的 8.45%。 批判点评：方法给出两个实用压缩点，但流程包含探针、分阶段剪枝、教师蒸馏和 LoRA，训练链条并不轻。语言主干冻结有利于稳定，也限制了模型共同适应严重音频压缩的空间。 趋势观察 生成与理解继续合并底层表征 SenseNova-U1.5去掉视觉编码器和VAE，把像素重建、语言理解、图像生成与编辑放进同一原生主干，统一模型的竞争开始深入到最底层视觉接口。 视频模型从离线片段走向实时世界 Vidu S2把720p Avatar和流式编辑推到25–42 FPS，World in World则用冻结骨干支持任意视角探索；实时交互、换镜头和长时记忆正在合流。 评测开始追踪过程而非只看终点 MindTopo要求动作过程保持拓扑，Mr.LHDR检查依赖链中间结论，IdeaAMBIG定位实现规格缺陷：一个看似正确的最终答案已不足以代表系统可靠。 后训练信号变得更细也更反直觉 NSD让模型远离坏推理，GenV把形式等价性蒸馏成连续奖励；相比简单模仿正确答案，新的对齐方法更关注错误来自哪个token、哪一步和哪种结构。 人工智能炼丹君 整理 | 2026-09-14 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注