AIGC 每日速读|2026-10-04|商汤小模型绕圈反超6.5倍大模型，Looped-DiT 今日 AIGC 论文速览 今日共 10 篇 · 高效文生图架构 3 篇 · 统一多模态 1 篇 · 长视频与音视频生成 2 篇 · 生成推理加速 2 篇 · 视频强化学习与图像评测 2 篇 重点论文标题列表 Looped-DiT（商汤）：260M循环4圈赢6.5倍大模型 Multimodal Flow（华科）：图文全连续流建模，仅用150B词元 NEPA-DiT（密歇根大学）：预测嵌入当条件，FID 1.32 MosaiChunk（康奈尔大学）：只训13.6M路由，长视频回访不失忆 Soundwich（西蒙弗雷泽大学）：冻结LTX-2.5免训练拆分音轨 今日论文速览 1. Looped-DiT：260M循环4圈赢6.5倍大模型 Looped Diffusion Transformer | 商汤科技；清华大学；南洋理工大学 | arXiv:2609.40305 关键词：文生图, 循环计算, 参数共享, 深度监督, 潜在推理 前序问题：文生图模型提质通常只有两条路：加参数或加去噪步数。语言模型里已验证的「循环复用同一组层」能在不增参数的前提下加深计算，但直接搬进 MMDiT 并不稳定：推理圈数超过训练值后性能先涨后跌，中间表示里可线性解码的空间位置信息逐圈流失。 本文贡献：Looped-DiT 把网络切成前段 6 块、循环段 5 块、后段 6 块，每个去噪步内让循环段共享权重重复 N 次（训练取 4 圈）。两项稳定手段：深度监督，每圈输出都经共享后段解码并计入 flow loss；自调制注意力，用门控或无参的 Exclusive Self-Attention 抑制注意力对局部信息的过度改写。 实验效果：260M 的 B/16 在 GenEval、DPG、PRISM、CoRe、Spatial、TIIF 六项均值 71.5，六项全部高于 1.7B 的 InternVL-U（均值 69.0），也高于 6.6B 的 Uni-CoT（66.8），单图推理算力约为 InternVL-U 的 1/4.9。参数对齐对照里，B/32 均值从 55.2 提到 59.1；同等推理预算下，加圈比加去噪步更划算。 批判点评：「参数不变」不等于「算力不变」：循环版每步推理 267 GFLOPs，是同参数基线的 1.83 倍，训练 1246 GFLOPs 更是 2.83 倍。按推理算力对齐时，加宽版 MiniT2I 已到 58.6，与 Looped-DiT 的 59.1 只差 0.5。分项看，循环擅长约束求解，需要常识推断的 CoRe/Generalization 只 +7.5，远不如文本 CoT 的 +22.2。 2. Multimodal Flow：图文全连续流建模，仅用150B词元 Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces | 华中科技大学；北京交通大学；地平线 | arXiv:2609.40362 关键词：统一多模态, 连续流匹配, 文生图, 视觉理解, 多模态预训练 前序问题：统一理解生成模型多走两条路：文本和图像都离散化，图像要过量化瓶颈；或文本离散、图像连续，两种目标与采样流程各写一套。全连续建模能让两种模态共用一个生成过程，但在多模态预训练规模上很少被系统验证。 本文贡献：MF-1 用冻结的 T5-small 与 SigLIP2 把文本块（每 8 个词元一块）和图像编码成连续表示，按顺序组织成 hyperchunk，交给一个 chunk-causal 的 flow 主干学习单一速度场；注意力投影共享、FFN 按模态分开。训练时并行预测多个目标块，推理时逐块生成，再由预训练图像解码器与单独训练的文本解码器还原。 实验效果：1.6B 版本只用 150B 预训练词元，GenEval 0.82、DPG 83.44，理解侧 POPE 86.1、MMBench 67.2。数据、优化与参数完全对齐时，全连续版 GenEval 0.713、MMBench 46.7，高于 Transfusion 式混合（0.669 / 33.7）与 Chameleon 式全离散（0.374 / 38.4）。 批判点评：生成强、理解弱：MMBench 67.2 落后同量级的 Janus-Pro（75.5）与 JanusFlow（74.9），VQAv2 72.6 也低于 JanusFlow 的 79.8（对方有预训练 LLM 初始化）；DPG 83.44 还没追上纯生成的 SD3 Medium（84.08）。scaling 曲线上 1.6B 预训练阶段 GenEval 只到约 0.32，表中 0.82 是再经 5B 词元微调后的结果；「全连续」也依赖冻结编码器与外部解码器，图像输入仅 224 分辨率。 3. NEPA-DiT：预测嵌入当条件，FID 1.32 Embedding Prediction Helps Image Generation | 密歇根大学；卡内基梅隆大学 | arXiv:2610.02203 关键词：类别条件生成, 嵌入预测, 扩散 Transformer, 表征对齐, ImageNet 前序问题：DiT 里类别或文本只嵌入一次，每个去噪步复用同一个条件，「这个条件对眼前这张噪声图意味着什么」全留给生成器自己推断。NEPA（下一嵌入预测自回归）已能在连续嵌入上做自回归预测，作者想知道：能否用预测出的干净图嵌入替代固定条件。 本文贡献：把生成写成「条件 → 噪声图 → 干净图」的嵌入序列，干净图的 patch 嵌入正是条件与噪声图之后的「下一组嵌入」。作者训练 NEPA 模型用多嵌入预测（MEP）一次性预测全部干净嵌入；生成时 DiT 以这些预测为条件，并在每个去噪步按当前噪声状态重新计算，条件随采样进程自适应。 实验效果：ImageNet 256×256 上，NEPA-DiT-XL 结合 REPA，SDE-250 采样 FID 1.32、IS 311.0，ODE-96 采样 FID 1.57；训练为 NEPA 240 + 生成器 80 epoch，约为 REPA（800 epoch）训练算力的三分之一。九组规模交叉实验中，生成器或 NEPA 模型变大，FID 都单调下降。 批判点评：训练省了，推理贵了：多挂一个 711M 的 NEPA 网络，总参数约 1.39B，是 SiT-XL/2+REPA（675M）的两倍；同为 SDE-250，单图 160 TFLOPs，比对方的 91 TFLOPs 多 76%。换成更省的 ODE-96，FID 1.57 反而不如 REPA 原版的 1.42。若放开 tokenizer，表中 SFD、RAEv2 已做到 1.06。 4. MosaiChunk：只训13.6M路由，长视频回访不失忆 MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation | 康奈尔大学；加州大学伯克利分校；哈佛大学；Impossible Inc. | arXiv:2610.02153 关键词：自回归视频生成, 长时记忆, KV 缓存, 记忆路由, 场景回访 前序问题：自回归长视频受限于上下文窗口：物体或场景移出窗口后细节丢失，镜头转回来时往往「重新编」一个。整块检索历史 chunk 能补记忆，但固定显存预算下塞不了几块；滑动窗口则干脆遗忘。 本文贡献：作者先验证冻结的视频生成器能直接消费非连续拼接的历史 KV 并还原对应内容。MosaiChunk 据此把每个历史 chunk 聚成若干 section 并编码描述子，由轻量路由器全局挑出 top-N，在固定活跃显存预算内拼成一块跨时空的 KV 马赛克；生成器全程冻结，只自蒸馏训练路由器。同时发布 RememBench 回访基准，含 T2V 与 I2V 两个子集。 实验效果：在 MiniMax-H3 改造的自回归版 H3-AR（T2V）上，两块远程记忆预算下回访 CLIP 从滑窗基线 0.751 升到 0.936，LPIPS 从 0.652 降到 0.500，优于整块检索 MoC（0.841）；LingBot-World-Infinity（I2V）180° 旋转回访 CLIP 0.793→0.863。路由器只有 13.65M 参数。 批判点评：自建基准涨幅大，公开基准涨幅小：WBench 的 Subject 一致性仅 88.10→88.38，两块预算下 Segment 一致性反从 97.47 掉到 94.94；T2V 的 Drift 也略升（0.050→0.055）。论文还写明评测用的是早期 checkpoint：T2V 计划训 4000 步、实取第 416 步，I2V 计划 4768 步、实取第 500 步，未解释为何不用训完的权重。 5. Soundwich：冻结LTX-2.5免训练拆分音轨 Soundwich: Video Generation with Layered and Controllable Audio | 西蒙弗雷泽大学；塞浦路斯大学；CYENS 卓越中心；特拉维夫大学 | arXiv:2610.00691 关键词：音视频联合生成, 音轨分离, 免训练, 时间控制, 可编辑音频 前序问题：联合音视频模型已能生成带同步声音的视频，但音频是一条混好的总轨：谁在何时说话、配乐和环境声都没法单独改。实际制作中，对白、音乐、音效、环境声都是分轨编辑的。 本文贡献：Soundwich 不做训练，直接改造冻结的 LTX-2.5：先把音频轨迹扩成 N 条可编辑分轨加一条内部场景轨，用缓存的「出声 / 静音」特征（timing carrier）在指定时间窗内回放或压制；再用 gather–broadcast 注意力让各分轨共享全局声学语境，并用实体掩码把每条分轨的跨模态注意力路由到画面中对应的发声者。 实验效果：15 个多声源场景上，时间窗成功率 93.1%、窗外误发声 1.7%、声源归属 90.0%，窗内 WER 0.060；同场景原版 LTX-2.5 窗成功率仅 20.4%，MiniMax H3 为 27.0%，Gemini Omni 为 85.0%。去掉 timing carrier，窗成功率从 93.3% 跌到 15.6%。 批判点评：评测规模很小：主表只有 15 个场景、每场景 3 个固定种子，场景广播模块的人评只收回 15 份问卷。真正接近的对手是闭源 Gemini Omni，WER 0.072 对 0.060、窗成功率 85.0% 对 93.1%，且它只有 14 个场景可计 WER。声源归属 90.0% 比朴素批量扩展的 82.2% 只高 7.8 个点。 6. DMAD：判别器替掉辅助分数网络，4步出片 DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation | 得州农工大学；字节跳动智能创作 | arXiv:2610.02188 关键词：少步蒸馏, 分布匹配, 对抗蒸馏, 视频生成, 音视频生成 前序问题：DMD 系列少步蒸馏要从「目标分数 − 学生分数」的差里取梯度，因此必须额外维护一个持续拟合学生分布的辅助扩散模型，显存与算力开销都大，在 14B、33B 级视频模型上尤其吃紧。 本文贡献：DMAD 把分布匹配改写成分类：共享主干上挂两个判别头，分别区分「真实数据 vs 学生」与「教师样本 vs 学生」，用 logit 直接学习对数密度比，学生只用作用在 logit 上的线性损失训练，无需拟合辅助分数。作者证明判别器最优时该损失恰好还原 DMD 的梯度，并用真实头在真实与教师样本间的 logit 差，自适应调节各噪声级上教师监督的权重。 实验效果：ImageNet-64 一步 FID 1.04（加投影判别器），SDXL 四步 COCO-10K FID 14.47，Wan2.1-14B 四步 VBench 85.15，均优于所比少步方法与多步教师。在 MiniMax-H3-33B 联合音视频生成上，四步学生人评总体偏好 79.1% 胜 DMD2、84.6% 胜 rCM；每次生成器更新耗时从 818.1s 降到 233.3s。 批判点评：人评高分主要来自画质与音质（对 DMD2 胜率 84.2% / 87.9%），提示词对齐只有 54.3% 对 45.7%，接近打平。AVGen-Bench 上音画同步 AV 分 49.1，低于 DMD2 的 56.7；唇形同步 30.6，离教师的 39.0 也远。SDXL 一步时 Patch FID 32.42，反而比 DMD2 的 26.98 差，细节保真不如整体 FID 好看。 7. FlashForward：复用在途KV，4卡流水线生成长视频 In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion | Meta；南洋理工大学 | arXiv:2609.32540 关键词：自回归视频扩散, KV 缓存, 流水线并行, 长视频生成, 推理加速 前序问题：少步自回归视频扩散按 chunk 逐段生成。为记住已生成内容，Self-Forcing、HiAR 等方法要额外跑「只更新缓存、不推进输出」的前向来重建干净或低噪 KV。可每次去噪前向本来就算出了当前 chunk 的 KV，这部分被白白浪费。 本文贡献：FlashForward 直接复用每个去噪阶段算出的「在途」KV：当前 chunk 完成一个阶段后，该阶段的缓存即可供下一个 chunk 使用，于是每张 GPU 负责一个去噪阶段，不同 chunk 在卡间流水并行。为弥补噪声历史带来的外观与运动漂移，再由 planner 预先生成稀疏的干净锚点 latent，从前后两侧约束 renderer 的轨迹。 实验效果：4 卡下，16 FPS、20 秒以上视频比 HiAR 快 1.16–1.69 倍、比 Self-Forcing 快 1.42–2.92 倍（1.3B 与 14B，480p / 720p）。1.3B 480p 生成 65 秒视频去噪耗时 21.3s（HiAR 24.7s、Self-Forcing 65.1s）；VBench 总分 0.838，65 秒 VBench-Long 0.8395，高于 Self-Forcing 的 0.7806。 批判点评：提速依赖多卡流水：单卡 480p 下它比 Self-Forcing 还慢（20 秒视频 17.77s 对 17.44s，65 秒 59.64s 对 57.89s）。生成 5 秒短片时 4 卡耗时 2.21s，慢于 HiAR 的 2.06s，更慢于双向模型的 1.13s。14B 720p 峰值显存 112.8 GiB/卡，比 Self-Forcing 多约 20 GiB；20 秒视频语义分 0.748 也略低于 HiAR 的 0.757。 8. TVRL：用VLM梯度给视频token分功劳 Token-Level Video Reinforcement Learning | 美国东北大学 | arXiv:2610.01973 关键词：视频生成, 强化学习, GRPO, 信用分配, VLM 奖励 前序问题：视频生成的 RL 后训练通常给整段视频一个标量奖励。可视频的缺陷是局部的：有的 token 已满足提示词，有的才需要修。标量奖励定位不了错误，优化时既会扰动本来正确的区域，又对真正出错的区域用力不足。 本文贡献：TVRL 让奖励自己给出 token 级功劳：冻结 VLM 对提示词拆出的若干是非题给出答案似然，平均后作为视频级奖励；同一 VLM 对视频输入的梯度幅值，则标出哪些生成 token 最影响该得分。在 GRPO 中，组相对优势决定更新方向与强度，经 3×3 平滑、按问题条件化的 credit 图在裁剪策略比内重加权各去噪步的转移对数概率。 实验效果：以 HunyuanVideo-1.5 为底座、Qwen3.5-9B 作奖励，VBench-2.0 Overall 从 54.09 升到 57.69（+3.60），同设置 GRPO 仅 54.54。换 SAGE、Flow、Dance 三种 SDE 采样器，比匹配 GRPO 高 2.68–3.15；换 VideoAlign 等四种奖励模型，高 1.33–3.15。 批判点评：增益并不均匀：常识维度上 TVRL 常不如 GRPO（Qwen3.5-9B 奖励下 64.31 对 64.88，VideoScore2 下 64.60 对 64.89），VideoScore2 下 Human 维度也从 91.52 降到 90.79。评论家规模很关键：换成 Qwen3.5-0.8B 时 Overall 仅 51.85，比未训练的底座 54.09 还低。所有结果都只训 100 步（64 张 A100），单步耗时比 GRPO 多 18%。 9. PixelDense：4个冻结老师分两路对齐像素扩散 PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion | 弗吉尼亚大学；密歇根州立大学；Adobe；Arcade AI | arXiv:2610.00483 关键词：像素扩散, 表征对齐, 稠密预测, 文生图, 几何先验 前序问题：REPA 通过对齐预训练编码器特征来加速 DiT 训练，但对齐目标几乎都是 DINOv2、CLIP 这类语义编码器。已有分析指出起作用的是空间结构而非全局语义，那么专门预测结构的稠密预测模型（分割、深度）为何没人拿来当对齐老师？ 本文贡献：在像素空间扩散上，作者先验证 SAM2、Depth Anything v2、Metric3D v2 单独加入都优于只用 DINOv2，但四个老师直接相加反而不如最好的单个几何老师，语义与几何梯度在同一投影上互相争抢。PixelDense 因此让 DINOv2+SAM2 走语义投影流、两个深度模型走几何投影流，再加权重空间正交惩罚让两流处在不相交子空间；老师全部冻结、推理时丢弃。 实验效果：在 PixelGen-XXL（512×512）上，GenEval Overall 0.7927→0.8093，DPG 78.7→78.9，HPS 0.280→0.282；同一配方不调参迁移到 DeCo，GenEval 0.8620→0.8690。部分加噪重建中，τ=0.5 时 COCO 全景 PQ 23.23→31.43；PIE-Bench 上 SDEdit 背景 PSNR 最多高 2.2 dB。论文已接收 NeurIPS 2026。 批判点评：几何探针涨得多，生成指标涨得少：GenEval 只 +0.017、DPG +0.2、HPS +0.002，DeCo 上 +0.007，计数项 58.75 仍低于 PixelGen 原版的 59。消融里单独的几何流（DA2+M3D）只有 0.7960，还不如 DINOv2+DA2 单老师的 0.8069。主实验只是在已发布权重上用 2 张 H200 微调 1 万步，从头训练仅给出「1.23 倍更快达到基线峰值」一项。 10. VIEScore2：16×16网格同时打分并圈出缺陷 VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations | 滑铁卢大学；NVIDIA；台湾大学（中国台湾）；南洋理工大学 | arXiv:2610.00994 关键词：图像评测, 缺陷定位, 生成与编辑, GRPO, VLM 评估器 前序问题：现有合成图评估器大多只给一个标量分数，不说明依据在图上哪里；能定位缺陷的模型又通常不打分、也不支持编辑任务的条件图输入。生成与编辑的评测和奖励信号，缺一个「既能打分也能指位置」的统一接口。 本文贡献：VIEScore2 把图像表示为 N×N（默认 16×16）文本网格，单次前向同时输出感知质量、语义一致性分数与缺陷格子位置，支持可选条件图，覆盖文生图、编辑、参考图生成等任务。它基于 Qwen3-VL-8B 在 38K 条混合监督上先 SFT，再以 Dice 重叠、分数准确度与格式奖励做 GRPO，最后用无参数解析器把网格结果转成可读解释。 实验效果：主测试集整体分数 SRCC 0.601，高于同输入下最强的零样本通用 VLM Gemini-3-Flash（0.491）与 GPT-5.6-sol（0.437）；联合评测网格 IoU 0.324，Qwen3-VL-8B 原版仅 0.070。缺陷定位在 6 个基准中 3 个第一、5 个进前三。 批判点评：整体领先主要来自训练同源数据：RichHF（0.692）与 EvalMuse（0.803）拉高均值，编辑类子集反被零样本 API 压过，TIE 0.429 对 Gemini-3-Flash 的 0.686，MRIE 0.417 对 GPT-5.6-sol 的 0.684。定位上，轻量的 SegFormer-b0 在主测试集 F1 拿到 0.493，与它的 0.506 相差无几；GRPO 之后 PQ 的 SRCC 还从 0.580 降到 0.558。 趋势观察 「加算力不加参数」成了今天的共同母题 Looped-DiT 让同一组块在每个去噪步里绕 4 圈，NEPA-DiT 每步重算一次预测嵌入当条件，两者都用额外推理算力换质量而不是加参数；但细看算力表，前者每步 1.83 倍 GFLOPs，后者单图多 76% TFLOPs，「小模型赢大模型」的账要连推理成本一起算。另一头，DMAD 与 FlashForward 继续在蒸馏和 KV 复用上压缩视频生成的步数与等待时间，TVRL 与 VIEScore2 则把奖励和评测从一个标量推进到 token 与网格级定位。 人工智能炼丹君 整理 | 2026-10-04 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-10-02|NVIDIA砍掉视觉编码器，PixelUMM图像视频同模 今日 AIGC 论文速览 今日共 10 篇 · 统一理解生成与三维细节 2 篇 · 推理式与可控视频生成 2 篇 · 音视频联合生成 1 篇 · 视频推理加速 4 篇 · 视频文字编辑评测 1 篇 重点论文标题列表 PixelUMM（NVIDIA）：像素直进图像视频同模型 BTC3D（香港城市大学（东莞））：分块条件补3D细节 ThinkV2V（港中大）：先推理再改视频 LIFT（加州大学圣迭戈分校）：只画终帧也能控未来 StereoBind（西电）：声源移动立体声跟着走 今日论文速览 1. PixelUMM：像素直进图像视频同模型 PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation | NVIDIA；滑铁卢大学 | arXiv:2609.38597 关键词：统一多模态, 像素空间, 图像生成, 视频生成, 视觉理解 前序问题：统一理解与生成模型通常给同一张图准备两套表示：ViT 特征服务理解，VAE latent 服务生成。这不只让视觉上下文变长，也把成熟的视觉语言预训练与生成接口绑在两条管线上。图像还能直接切 patch，视频却要同时兼容理解侧的采样帧与生成侧的连续时空块，统一接口更难。 本文贡献：PixelUMM 取消预训练视觉编码器和 VAE，把图像变成空间 patch、视频变成时空 tubelet，都只用一层线性投影接入 8B Mixture-of-Transformers。理解走自回归文本预测，生成在原始像素上做 flow matching；共享 attention 让干净条件与带噪目标直接交互。论文还系统比较 patch/tubelet 大小、线性头与卷积解码头，发现卷积头能压掉格子伪影。 实验效果：不使用视觉 encoder/tokenizer 时，PixelUMM 在图像理解 MMMU 得 41.67、视频理解 MVBench 得 70.53；图像生成 GenEval 原始 prompt 为 0.77，用 BAGEL-long 重写后为 0.83，DPG-Bench 为 85.74。视频生成 VBench 总分 83.24，处于统一模型可比区间，但不是各榜第一。 批判点评：“统一”仍有边界：理解与生成使用两套 Transformer expert，只共享 attention，并非一组参数同时做两件事。原始像素 token 让更小 patch 和 tubelet 虽然降低 loss，却直接抬高序列长度与训练成本。作者也提醒各模型训练数据不同，当前表格不能证明 encoder-free 架构本身更优；MMMU 41.67 与主流 8B VLM 仍有明显差距。 2. BTC3D：分块条件补3D细节 BTC3D: Blended Tile Conditioning for Detail-Enhancing Image-to-3D Generation | 香港城市大学（东莞）；SB Intuitions；巴塞罗那自治大学 | arXiv:2609.39709 关键词：图像生成3D, 免训练, 分块条件, 细节保真, 流匹配 前序问题：扩散式 image-to-3D 已经能出像样模型，可一旦输入图细节丰富，纹理就糊成一团。主流做法把整张图压成一个全局条件特征，空间信息在这一步被压掉，作者称之为 detail attenuation；而想补细节通常要重训或微调大模型，对 3D 管线代价过高。 本文贡献：BTC3D 是推理时即插即用的免训练框架。它先验证 image-to-3D 模型存在「图像特征可加性」：把局部图块的特征相加，仍能得到语义一致且保留局部细节的 3D 输出。据此把输入图切成若干 tile，各自提取局部条件并按前景权重聚合成 blended tile embedding；再配一个 dynamic conditioning 调度，在扩散后期低噪声阶段逐步加大 tile 条件的权重，早期仍交给全局条件主导结构。 实验效果：在 3D-Arena 与 Toys4K 上，把 BTC3D 接到 TRELLIS、TRELLIS.2、Hunyuan3D-v2.1 上都提升了纹理与视觉保真，且保持全局结构一致。20 名参与者、400 次两两偏好测试中，接入 BTC3D 的 TRELLIS.2 拿到 67.25% 选票（269 票），基线只有 32.75%（131 票），纹理密集的样本优势最明显。 批判点评：收益主要靠人眼偏好而非几何或纹理指标说话，67.25% 也是相对自家基线的增幅，缺少跨方法横评；论文同时承认纹理稀疏的样本上两者偏好接近持平，说明方法吃的是「有没有细节可补」。另外 tile 切分与融合系数 α、β 都是人工超参，动态调度只按扩散时间步推进，不看当前生成内容。 3. ThinkV2V：先推理再改视频 ThinkV2V: Unleashing the Reasoning Capability of MLLMs for Instruction-Guided Video Editing | 香港中文大学；字节跳动；浙江大学；俄亥俄州立大学 | arXiv:2609.38541 关键词：视频编辑, 多模态大模型, 显式推理, DiT, 指令跟随 前序问题：现有指令视频编辑器多把 MLLM 当语义编码器，直接把 prompt 压成条件。碰到“把会被雨淋湿的东西收起来”这类不直接点名目标的指令，模型必须先理解因果与对象关系，再决定改哪里；只抓关键词往往画面能改，却改错对象或违背真实意图。 本文贡献：ThinkV2V 让 MLLM 先显式分析源视频和指令，再通过 learnable-query connector 把推理结果送给多条件 DiT。训练采用从直接编辑到推理密集样本的 progressive curriculum；推理时生成多份候选编辑 prompt，迭代反思并选择最可靠的一份。团队同时整理 ThinkV2V-150K 与专门考隐式意图、因果编辑的 ThinkV2V-Bench。 实验效果：5B 编辑器在 ThinkV2V-Bench 上由 Seed-1.6-VL 评测的 Overall 为 2.72，高于 OpenVE-Edit 的 2.09 和 14B DITTO 的 2.02；Gemini-2.5-Pro 评测下为 2.61，也高于 ICVE 的 2.52。模型在 32 卡上分三阶段训练，最终 720p 推理，以小于多条 10B–14B 基线的规模拿到最佳综合分。 批判点评：核心结论依赖 Seed-1.6-VL 与 Gemini-2.5-Pro 充当裁判，复杂编辑的自动分数仍可能偏向更会“讲意图”的输出。Inference-Time Thinking Scaling 需要多候选生成、反思和筛选，论文没有把新增延迟与算力单独量化。150K 数据由既有模型与筛选流程构建，推理能力有多少来自 MLLM、多少来自数据课程，还缺更严格的因果拆分。 4. LIFT：只画终帧也能控未来 LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation | 加州大学圣迭戈分校；弗吉尼亚大学；Meta；Amazon；Lambda | arXiv:2609.38146 关键词：视频生成, 相机控制, 未来布局, on-policy self-distillation, 图生视频 前序问题：相机大幅移动时，首帧之外会露出全新区域。只给相机轨迹能控制“镜头往哪走”，却不能指定新区域里出现什么；逐帧框轨迹虽然能控布局，标注和交互成本又太高。真正实用的接口应允许用户只在未来关键帧画几个框，同时让中间过程自然长出来。 本文贡献：LIFT 把最后一帧的 bounding box 与局部 prompt 编成稀疏 layout latent，与首帧和噪声视频一起送入 DiT，相机 token 另行注入。训练时用拥有逐帧 dense layout 的冻结教师，在学生自己访问的 ODE 状态上做 on-policy self-distillation，把 dense 轨迹知识蒸馏给只看终帧布局的学生；同一个学生交替学习有布局与仅相机两种模式。 实验效果：LIFT 1.3B 在终帧布局控制上 mIoU 0.51，高于需要逐帧框的 MagicMotion 0.41；同时相机 RotErr 2.97、TransErr 0.59，视频 FVD 99.35。OPSD 只用 500×16=8000 次样本更新，直接或 dense-to-sparse SFT 都要 4000×32=12.8 万次，训练样本量缩到 1/16。 批判点评：布局接口仍只是 2D 框加局部文字，没有深度、朝向、遮挡和实例关系；相机一转，两个框在 3D 中究竟谁挡谁并未显式建模。所谓 1/16 训练量比较的是作者设定的更新预算，并不等于端到端数据与教师成本也缩到 1/16；OPSD 还依赖一个先用 dense layout 训练好的教师。 5. StereoBind：声源移动立体声跟着走 Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation | 西安电子科技大学；vivo 蓝图影像实验室 | arXiv:2609.38748 关键词：音视频联合生成, 立体声, 空间音频, 运动轨迹, 跨模态对应 前序问题：联合音视频模型已经能做到“画面里有什么就听到什么”和大致同步，却很少管声音来自哪里。AR/VR 中声源从左往右移动时，左右声道也应连续变化；只用文本或整段视频条件生成声音，往往知道是汽车声，却无法让声像跟随汽车轨迹。 本文贡献：StereoBind 把可见声源的 motion track 作为共同坐标系：Visual Motion Binding 绑定视觉运动与音频 token，Spatial Track Encoder 提供绝对位置，Residual Track RoPE 编码相对位移。团队用真实视频定位跟踪加合成立体声、再配合可控合成场景，构建 StereoWorld-29K，并用 StereoWorldBench 单独评测动态空间对应。 实验效果：在 StereoWorldBench 上，StereoBind 的 ILD-W 为 2.754、SELD-Acc 0.757、SMR-Err 14.86、AST-Ang 0.465、AST-Cal 0.314，五项空间指标都优于表中 Ovi、MiniMax-H3、LTX-2.5/2.3 及两条 video-to-spatial-audio 基线；视觉 Subject Consistency 0.955、Motion Smoothness 0.996，整体画面质量没有明显牺牲。 批判点评：当前条件是一条主要声源轨迹，训练和评测强调水平声像移动；多声源竞争、声源与听者同时运动、遮挡和完整 3D 声场仍被列为未来工作。空间指标全面领先不代表总体音质全面领先，Subject Consistency 0.955 低于 MiniMax-H3 的 0.968，Audio PQ 6.86 也只是略高于 6.81。 6. ReCaVSR：1080p单卡跑21.2FPS ReCaVSR: One-Step Streaming Diffusion Video Super-Resolution with Recycled Latents and Learned Cache Routing | 中国科学技术大学 | arXiv:2609.37831 关键词：视频超分辨率, 流式扩散, KV Cache, 一步生成, 实时推理 前序问题：扩散式视频超分画质好，却很难满足直播级延迟。现有流式方案要么多步去噪，要么每层都保留完整历史 KV；但视频超分当前帧已有低清观测，上一块超分 latent 也带着局部时序信息，继续为所有层保存同样长的历史既占显存又拖慢注意力。 本文贡献：ReCaVSR 基于 Wan2.2 做一步流式超分，把上一块生成的 SR latent 直接回收为下一块条件，再为每个 DiT 层学习不同的历史缓存范围，训练完导出固定路由。生成器用 sequential self-rollout 对齐真实因果推理；Multi-Scope Query 判别器同时看全局、空间窗口和时间 tube；LR-conditioned FlashDecoder 在解码时再次利用低清观测。 实验效果：单张 A100-80GB 输出 1080×1920 时达到 21.20 FPS、峰值显存 15.16GB，相对 FlashVSR Tiny 快 2.72 倍、少用 38.0% 显存，首个完整 RGB 输出的模型时间为 0.982 秒。LongVSR60 上 MUSIQ 57.89、CLIP-IQA 0.4932、DOVER 0.6075，后三项都高于列出的流式基线。 批判点评：它并非所有重建指标都第一：REDS30 的 PSNR 21.67 明显低于 RealViformer 23.32，说明生成式纹理仍会牺牲逐像素保真。缓存路由在训练后固定，遇到运动强度突变或硬切镜不能自适应；论文的长视频测试还是单段连续镜头，跨场景时旧 latent 和 KV 会不会污染新镜头尚未验证。 7. PARK：稀疏注意力快1.76倍 PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers | 华南理工大学 | arXiv:2609.38978 关键词：视频生成, 稀疏注意力, DiT, block retrieval, 免训练加速 前序问题：视频 DiT 的稀疏注意力通常先把 query 与 key 分块求均值，再按块检索。这个近似有两重错位：Softmax 前把多个 query 平均会抹掉各自偏好的 key；在原始 key 空间做欧氏聚类，也不保证同一簇的 key 在当前 query 下拥有相似 QK 分数。检索一旦选错块，要么掉画质，要么为了兜底算太多。 本文贡献：PARK 保留块内每一个原始 query，分别对 key block 做归一化后再平均分布，避免 query-centroid 代替整块偏好；key 侧则从当前 query 推导度量，先变换 key 再做 K-means，让欧氏距离对应 QK-score 误差。方法完全免训练，并把 PAMA 检索写成融合 GPU kernel，把准确率收益留住而不让检索开销反噬。 实验效果：在 Wan2.1-1.3B 上，PARK 将单次测试从 745 秒降到 423 秒，端到端 1.76 倍加速，同时 PSNR 27.52、SSIM 0.908、LPIPS 0.177，优于同表其他稀疏基线。跨 Wan2.2-14B、Wan2.1-14B、Wan2.1-1.3B 和 HunyuanVideo 四个模型，相对 dense 的加速范围为 1.53–1.76 倍。 批判点评：收益建立在四个视频扩散模型和固定检索配置上，作者明确没有验证 LLM 或其他多模态任务。主表中 Wan2.2 的 Aesthetic Quality 65.29% 仍低于 dense 的 65.56%，Wan2.1-1.3B 的 Background Consistency 96.87% 也低于 dense 的 96.99%；它更像高质量近似，而不是无损替换。 8. UnStep：免训练把视频推到50FPS UnStep: Training-Free Acceleration of Causal Video Diffusion with Fewer Steps Than Distillation | Meta 超级智能实验室 | arXiv:2609.32518 关键词：视频生成, 因果扩散, 免训练加速, KV Cache, 推理优化 前序问题：四步因果蒸馏已经比 50 步双向教师快，但 Self Forcing 在 H100 上仍只有 17 FPS。步数继续砍到一两步会掉质量，历史 KV 随视频变长继续膨胀；同时当 DiT 已经很少步，RoPE、cache 索引、attention 调度和 VAE 解码这些过去被遮住的系统开销反而成了瓶颈。 本文贡献：UnStep 是不改权重的推理 wrapper：后续块从四步减到两步，只保留 sink 加最近窗口；把已生成 latent 重新加到近干净噪声，再复用原有 clean-cache pass 做一次修正，并对 attention 的 V/O 投影做截断 SVD 抵消少步误差。系统侧再融合 RoPE、缓存系数、固定长度 attention，并把 VAE 改成 FP16 与 channels-last 卷积。 实验效果：同一 Self Forcing checkpoint 在 H100 上从 17.0 FPS 提到 49.8 FPS，VBench Total 反而从 84.31 到 84.56；相同 wrapper 套在 Causal Forcing 和 LongLive 1.0 上也都约 49.8 FPS。若推理时改成一步，H100 达 59.6 FPS；GB200 最快报告 77 FPS，全程没有重训。 批判点评：所有超参数只在 Self Forcing、5 秒 T2V、单张 H100 这一套设置上调过，迁移结果证明“能用”，不代表每个 checkpoint、GPU、任务和长度都最优。50 FPS 的成绩同时叠加算法减步与大量 H100 专用 kernel 优化，不能全部归功于新的生成算法；而训练自由的约束也限制了更激进稀疏或量化后的质量恢复。 9. DeCoPrune：剪85%缓存仍保上下文 DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency | 南洋理工大学；清华大学；普林斯顿大学 | arXiv:2609.39096 关键词：自回归视频, KV Cache, 训练自由剪枝, 长上下文, 一致性 前序问题：自回归视频扩散把每段历史都塞进 KV Cache，时间越长，显存和 attention 成本越大。固定滑窗只看远近，attention 权重或相似度剪枝又不直接回答“这个历史块是否提供了不可替代的信息”，所以容易把稍后 prompt 才会重新提到的物体细节一起删掉。 本文贡献：DeCoPrune 用同一条去噪轨迹里的中间 probe 与最终预测做差：没有历史支持时难以稳定去噪、step-to-final discrepancy 较大的 token 被判为更需要上下文，因此保留高差异 token，再物理压紧历史 KV。论文同时构建 CMBench，用一分钟上下文中的物体取放、场景恢复等续写任务专测“前文记没记住”，并提供按 attention head 类型分组的 HS 版本。 实验效果：主设置剪掉 85.43% 历史 KV，续写 FPS 从 FullKV 的 1.568 提到 6.489，快 4.14 倍；CMBench DINO 从 0.6803 只降到 0.6701。head-specialized 版本在 86.19% 剪枝率下 DINO 为 0.6783，几乎追平 FullKV，且 VBench 的图像质量项没有出现系统性崩塌。 批判点评：“剪掉 85%”并不等于显存有硬上限，作者明确承认剩余缓存仍随视频长度线性增长。Denoising consistency 是 future-agnostic 的：某个细节此刻很好去噪、因此被删掉，但未来指令恰好再次询问它时仍可能失忆。主干又集中在 LingBot World v2，其他开源模型的分钟级 FullKV 本身就不稳定，方法与 backbone 上限难完全拆开。 10. ViTeX-Bench：387段视频检验动态改字 ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing | 得州农工大学 | arXiv:2609.40356 关键词：视频编辑, 场景文字, 评测基准, 时序一致性, 编辑局部性 前序问题：视频里的招牌、球衣或屏幕改字，要同时满足字符串正确、跨帧不漂、背景不被改。通用视频编辑指标可能把“画面很稳但根本没改字”的结果评得很高，静态 OCR 又看不见闪烁与字符漂移，现有公开数据也缺少真实视频的成对编辑参考。 本文贡献：ViTeX-Bench 收集 387 段 720p、120 帧、24 FPS 真实视频，其中 230 段提供人工复核的成对训练编辑，157 段冻结测试。评测拆成文字正确性、视觉/时序质量、编辑局部性三轴共 13 个指标，并用 OCR 校准、人评相关性与 Pareto 前沿解释取舍；配套的 ViTeX-Edit-14B 用随运动对齐的 glyph-video 条件微调 VACE。 实验效果：八条基线中，ViTeX-Edit-14B 在 video-native 编辑器里 CharAcc 最高，为 0.688，text-crop Warp 1.53 也最低；相较 VideoPainter 的 CharAcc 0.619 提升 0.069。但逐帧 FLUX-Text 的 CharAcc 仍达 0.737，代价是 Warpc 13.01、字符跨帧严重漂。人评与 OCR 方法排名的 Spearman 相关系数为 0.95。 批判点评：这个基准把“漂亮、正确、稳定、局部”拆开是优点，也暴露了参考模型并非全面第一：ViTeX-Edit 的 SeqAcc 0.341 低于 FLUX-Text 0.528。数据以清晰、局部、拉丁文字为主；非拉丁切片里除 AnyText2 外其余编辑器 CharAcc 都低于 0.19，严重运动、曲面文字、密集排版的覆盖仍不足。 趋势观察 加速的战场从「少走几步」挪到了「每层只记该记的」 ReCaVSR 给每个 DiT 层学一个缓存跨度，PARK 修正稀疏注意力的块检索误差，UnStep 把两步采样、限窗 KV 与 kernel 优化叠进同一个免训练 wrapper，DeCoPrune 则用去噪一致性挑出真正依赖历史的 token，四篇都指向同一件事：视频模型已进入少步时代，下一轮效率竞争发生在缓存、检索与运行时细节。另一头，PixelUMM 去掉视觉编码器让像素直进统一模型，说明「统一」正在从拼模块转向砍模块。 人工智能炼丹君 整理 | 2026-10-02 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-10-01|一次蒸馏插遍54个模型，LongLive-Plug 今日 AIGC 论文速览 今日共 10 篇 · 视频与图像生成模型 5 篇 · 世界模型与音视频联合生成 1 篇 · 推理加速与模型压缩 2 篇 · 生成理解一体化与奖励模型 2 篇 重点论文标题列表 LongLive-Plug（NVIDIA）：蒸馏一次，插遍54个模型 SplitMoE（国科大）：专家拆两拨，人像涨9分 HelixWorld（港科大）：24帧实时出声的世界 LDM-is-AE（港理工）：不用分词器，FID 1.80 NesTok（华北电力大学）：变长 token，gFID 1.46 今日论文速览 1. LongLive-Plug：蒸馏一次，插遍54个模型 LongLive-Plug: Once-for-All Distillation for Video Generation | NVIDIA | arXiv:2609.38154 关键词：视频生成, 扩散蒸馏, LoRA 复用, 少步采样, 免训练部署 前序问题：视频扩散模型每做一次下游特化就要重跑一遍蒸馏：要么为少步采样，要么为长视频补误差修正。论文在 Wan2.2-TI2V-5B 上算了账——四个任务各自的专用蒸馏再花 83.9、150.0、86.8、56.1 H100 卡时，合计 376.8，加上一次性底座蒸馏约 80 卡时，总共 456.8 卡时。能力是通用的，钱被重复付了四遍。 本文贡献：把「单遍 CFG」「少步采样」「自回归长时误差修正」各蒸馏成一个 LoRA 挂在底座上，之后插到任何结构兼容的下游模型即可用，下游不再重训。CFG LoRA 只在 w=5 的固定引导强度下训练，推理时靠调 LoRA 权重换引导强度；与少步 LoRA 叠加，下游同时保住少步生成和 CFG 可控。作者称下游新增条件分支、扩展输出通道后适配器仍可复用。 Once-for-all distillation: reusable LoRAs plug into compatible downstream models. 实验效果：在 Wan2.1-14B、Wan2.2-TI2V-5B、MiniMax-H3 三个底座家族、八个任务类别共 54 个下游模型上验证免训练部署。世界模型 SCOPE 上把朴素四步的 FVD 从 805.5 拉回 478.7，优于专用蒸馏的 502.1；ControlNet 上六项全优于朴素四步，深度 si-RMSE 从 2.135 降到 1.641、DOVER 从 8.90 升到 10.11；原生 20–50 步调度降到 1/5–1/12.5。 Downstream distillation cost: task-specific distillation accumulates while LongLive-Plug stays flat. 批判点评：省的是专用蒸馏的钱，80 卡时的一次性底座蒸馏照付，且只对同一底座家族有效。更关键的取舍藏在正文一句「相对任务专用蒸馏存在按指标而异的取舍」——插拔版不是全面反超，而是用 80 卡时换一个接近 456.8 卡时的结果。CFG LoRA 的引导控制是推理权重外推出来的，训练只见过 w=5 这一个点。 2. SplitMoE：专家拆两拨，人像涨9分 Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE | 中国科学院大学；字节跳动；Canva Research；北京科技大学 | arXiv:2609.38140 关键词：视频生成, 混合专家, 稀疏路由, DiT 规模化, 负载均衡 前序问题：MoE 从 LLM 搬到视频生成上一直水土不服：token 级路由各自为政，再用负载均衡损失把使用率往均匀方向压，结果语义连贯的一块画面被拆到互不相关的专家里，作者称之为「均匀性陷阱」。视频数据时空冗余、语义长尾，本来就不该被均匀分配。 本文贡献：把专家池显式劈成两拨：语义专家抓高层语义抽象，通用专家兜住残差视觉信息和生成自由度。路由用原型引导，配合 pull-push 正则——pull 把原型锚在有意义的视觉语义上，push 防止原型塌缩冗余。两条 sigmoid 独立打分，一个 token 可以同时选中一个语义专家和一个通用专家，不必在所有专家间做全局 softmax 竞争。 Pipeline of SplitMoE: each Video MoE layer splits into Semantic and Generic branches with VAE-prototype induced semantic routing. 实验效果：在同等激活参数预算（A14B）下对比 Wan2.2 系列：Creativity 58.46%、Human Fidelity 84.47%、T2V-CompBench 属性一致性 84.63% 三项拿到全场第一，人像保真比 Wan2.2 的 75.33% 高出 9 个多点。对比同数据微调的密集 Wan2.2-FT 全维领先，且收敛更快——约 70% 训练步数就达到可比的验证扩散损失。 Qualitative comparison with baseline methods. 批判点评：「打破均匀性陷阱」的措辞比结果激进。它自己的表里 Physics 69.41% 输给 LTX-2 的 76.71%，Interaction 69.98% 输给 Wan2.2 的 73.29% 和 OmniWeaving 的 73.94%，Commonsense 64.89% 离 LongCat-Video 的 70.94% 差 6 个点。消融也显示去掉原型引导的 w/o PG 版本在 Commonsense 上 63.22% 与完整版 64.89% 差距很小，语义路由的主要收益其实集中在物理和人像两项。 3. HelixWorld：24帧实时出声的世界 HelixWorld: A Real-time Interactive Audio-Visual World Model | 香港科技大学；Noiz AI | arXiv:2609.38123 关键词：世界模型, 音视频生成, 实时交互, 空间音频, 因果蒸馏 前序问题：主流交互式世界模型全是哑巴：只管画面渲染和操控，声音这一维整个缺失。级联的视频转音频模型拿不到相机轨迹和用户动作，声场对不上自运动，串行延迟也谈不上实时；而把它们硬改成因果自回归，历史误差会迅速累积成灾难性多模态漂移。训练数据同样缺——现有世界模型数据集基本无声，视频语料里的音轨又常被后期配乐和旁白污染。 本文贡献：先用一个双向教师模型在自建的高保真空间音视频数据（真立体声 + 度量级相机位姿）上学 6-DoF 轨迹与动作条件，再用在线轨迹蒸馏把它压成少步因果学生，配合长程流式微调压掉曝光偏差。块内注意力保持双向以维持音视频交互，跨块注意力严格因果并配滑动 KV 缓存。同时提出 HelixBench，首次把空间声学一致性纳入世界模型评测。 Causal distillation pipeline: self-forcing rollout, online trajectory distillation, DMD, and long-horizon tuning. 实验效果：单张 NVIDIA H800 上稳态 RTF 0.77，768×512、24 FPS，含视频与音频解码。HelixBench 上因果学生 KL 1.3934、FAD 2.3872、IB 0.2987、Spatial 41.7583 全部第一；级联配音路线（HelixWorld+AudioX / ThinkSound / PrismAudio）的空间分甚至是负的，说明分离式生成根本抓不住声源位置。 Visual comparison under interactive control. 批判点评：WBench 导航榜上它平均 79.9 只排第 4，落后 Alaya-EVOKE-Turbo 82.0、EchoWM 81.0、Zing-0.5 81.0——「比肩 SOTA 无声世界模型」是有选择的比法。更反直觉的是音画同步：学生的 DeSync 0.5867 秒反而差于 LTX-2.3 base 的 0.4042 秒，CLAP 0.3016 也略低于级联的 HelixWorld+AudioX 0.3094，联合生成在语义对齐上没打赢「先出画面再配音」。 4. LDM-is-AE：不用分词器，FID 1.80 LDM-is-AE: Latent Diffusion Model is an Auto-Encoder for End-to-End Image Generation | 香港理工大学；OPPO 研究院 | arXiv:2609.37080 关键词：图像生成, 潜在扩散, 自编码器, 一阶段训练, 表示学习 前序问题：LDM 的两段式流程先训一个自编码器定住 latent 空间，再在里面训扩散。问题在于这个空间是为重建优化的，训练扩散时它是冻住的，天然与去噪动力学不匹配。而两阶段里最强的那批又几乎都挂着 DINOv2 这类外部视觉基础模型做监督，等于把表示学习的成本挪到表外。 本文贡献：核心观察是：LDM 骨干每一步去噪其实都在做 latent→feature→latent 的变换，这本身就是一次内部「解码—编码」。于是把 DiT 劈成互逆的两半 DiT-D 与 DiT-E，在中间特征上加一个轻量 MLP 头对齐到像素空间并施加图像域监督，把这条 latent→image→latent 路径显式化；零噪声时它自然等价于一次自编码。另配时间感知的辅助特征混合，避免对齐吃掉去噪容量。 Architecture and training design of LDM-is-AE: (a) network architecture and training pipeline; (b) time-aware auxiliary feature mixing. 实验效果：ImageNet 256×256 上 FID 1.80、IS 314，512×512 上 FID 1.90、IS 320——512 这一档超过了 JiT-H/32 的 1.94、REPA-SiT-XL/2 的 2.08。生成器训练 FLOPs 7.02，低于 JiT-H/16 的 14.0。自编码路径上 PSNR 27.57 高于 VAVAE 的 26.59 和 SDVAE 的 25.94。 Class-conditional ImageNet samples generated by LDM-is-AE at 256x256 resolution. 批判点评：FID 1.80 这个数得放在「不用 VFM 的一阶段方法」这个限定里看：两阶段挂 DINOv2 的 LightningDiT、REPA-SiT 仍然更好。更值得玩味的是它自己的重建口径——rFID 0.7879 明显差于 VAVAE 的 0.2650 和 REPA-E 的 0.4980，PSNR 最高却 rFID 最差，说明这个 latent 是奔着自然图像分布去的，压根不为「还原输入」负责，论文把这叫 diffusion-native，换个说法就是不忠于输入。 5. NesTok：变长 token，gFID 1.46 NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation | 华北电力大学；中国科学技术大学；斯坦福大学 | arXiv:2609.36756 关键词：图像生成, 视觉分词器, 变长 token, 自回归生成, 嵌套对齐 前序问题：变长 1D 分词器想用一个 tokenizer 覆盖不同算力预算，主流做法是嵌套 dropout——随机截断 latent 序列并保留前缀，逼着前面的 token 装下最重要的信息。但「长度灵活」不等于「token 用得好」：已有工作发现序列加长后下游 AR 生成质量收益递减甚至倒退，尾部 token 基本成了摆设。 本文贡献：提出嵌套自对齐：跨长度联合优化重建，同时用全长序列去指导短序列，让短前缀逼近全长的重建质量，而不是只让前缀独立地「更重要」。配套的动机实验很直白——嵌套 dropout 训出来的码本在靠后位置归一化熵很低，码本多样性塌了，gFID 只有 2.46。 Overview of the nested self-aligned training pipeline. 实验效果：ImageNet 上 rFID 0.98，下游 AR 生成 gFID 1.46（带引导）、IS 295.9，在变长自回归图像生成这一档里是当前最好，优于 ReTok 的 2.27、One-D-Piece 的 2.35、DetailFlow-32 的 2.75，也远好于嵌套 dropout 基线的 2.46。 gFID with and without classifier-free guidance across different methods, model sizes, and token lengths. 批判点评：1.46 这个 SOTA 是「变长自回归」这个小池子里的 SOTA：同一张表上扩散路线的 Lightning-DiT-XL 带引导 gFID 1.35、REPA-XL/2 1.42 都更好。而重建口径更尴尬——rFID 0.98 远差于 LightningDiT 用的 KL tokenizer 0.28 和 SD-VAE 的 0.62，等于用重建质量换了生成质量。另外它仍是 VQ 分词器，390M 参数不算轻。 6. PixelDiff-GAN：加判别器，FID 降到28.6 Adversarial Training for Pixel Diffusion | Adobe Research；加州大学圣地亚哥分校；加州大学默塞德分校 | arXiv:2609.38170 关键词：图像生成, 像素扩散, 对抗训练, 后训练, 频谱分析 前序问题：像素扩散直接在 RGB 上出图，绕开了自编码器这个瓶颈，但产出的图像在细尺度自然图像统计上系统性偏低——说白了就是高频细节不够。这是个老问题，却一直没人系统性地验证对抗训练能不能补。 本文贡献：保留预训练模型原来的扩散/流匹配目标不动，只在非高噪声时间步上对预测输出额外加一个对抗损失，架构和采样流程一行不改。作者还做了归因：频带与幂律分析显示原模型系统性地欠产高频，对抗后训练正好把这部分谱功率补回来。 Noise-gate rationale: structure settles early, detail settles late. 实验效果：两个像素骨干上同时改善分布保真、覆盖率、提示对齐和感知质量。DeCo 上 FID 从 33.27 降到 28.59、pFID 27.9→24.4、CMMD 0.836→0.736、recall 0.361→0.406、DPG 81.6→83.3、TOPIQ 0.71→0.77、MANIQA 0.64→0.71；PixelGen 上 DPG 从 78.4 提到 80.8。1065 组配对样本的胜率也明显高于 latent 扩散的同类做法。 Pixel radial-profile band share over 30,000 images per model; gray = no-GAN, green = +GAN. 批判点评：FID 28.59 的绝对值放在今天并不好看，它赢的是「相对自己」这一档。真正有价值的是边界实验：同样的流程搬到 latent 扩散（PixArt / SANA）上没有可比增益，也几乎没加回解码后的高频功率——作者据此认为「能否直接触达被修正的图像统计」才是对抗后训练成不成立的关键。另外论文自己提到真实照片在 TOPIQ 上只拿 0.57，比生成的还低，等于承认无参考指标不足以单独作证。 7. DIET：砍半专家，57GB 变 30GB DIET: Deletion-response Expert Trimming for Video Diffusion Transformers | 西安交通大学；上海交通大学；阿里巴巴 Token Hub；阿里云 | arXiv:2609.37829 关键词：视频生成, MoE 剪枝, 专家裁剪, 免微调压缩, 推理加速 前序问题：MoE 的稀疏激活只省算力不省显存——所有专家的参数一个不少地躺在 checkpoint 里。整块删掉专家是最直接的瘦身办法，但现有一次性剪枝判据靠静态激活或路由频率打分，看不见「删掉某个专家、token 重新路由之后」这一层到底发生什么。而在这个规模上穷举多种删除组合，代价根本付不起。 本文贡献：用一次 all-expert 标定把条件/无条件 token 下所有专家输出和 router 状态全部录下来，之后重放任何单专家删除及其成组重路由，退化成对缓存状态的张量运算，零额外前向。在此基础上把「保留哪些专家」写成整体多样性损失：每个被删专家匹配到最近的保留专家，求和最近邻余弦距离作集合级覆盖损失。求解分两层——层内贪心+单交换+模拟退火，层间用回归指导的预算分配。 DIET overview: grouped MoE capture, replay-to-signature, intra-layer ODL, and inter-layer budget search. 实验效果：在 LingBot-Video 30B-A3B 上免微调剪掉 50% 专家（6144→3072），checkpoint 从 57GB 降到 30GB，48GB 单卡可部署；284 条固定用例上 VBench Total 反而从 0.7941 升到 0.8115。层间非均匀预算分配比均匀分配多拿 1.2 个点。所有保留预算下都优于从 LLM 移植过来的剪枝基线。 Primary evaluation and routing dynamics across candidate retention budgets. 批判点评：VBench 从 0.7941 涨到 0.8115 是这条工作最抓眼的数字，但幅度只有 1.7 个百分点，且出自自家固定的 284 条协议，更像「没掉点」而不是「变好了」。省下的是 27GB 存储，激活算力并没少——稀疏激活本来就只算一部分。另外这套标定缓存的前提是条件/无条件 token 可配对，CFG 之外的采样路径能否同样成立没有验证。 8. SoL-Refiner：一步上 4K，快 8.91 倍 SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video | NVIDIA | arXiv:2609.37969 关键词：视频生成, 超分辨率精修, 一步蒸馏, 强化学习后训练, 推理加速 前序问题：高分辨率视频生成的代价随时空 token 数暴涨。实用做法是先在低分辨率出片再用 refiner 精修，但常规 refiner 本身要跑好几个目标分辨率的去噪步，等于引入第二个采样瓶颈。而且多数 refiner 只针对自家基模型开发，换一个生成器还灵不灵几乎没人测。 本文贡献：从 LTX-2.3 出发走三步：高分辨率续训学精修映射、帧级奖励模型做 RL 后训练提升感知质量、最后一步蒸馏压成单步。推理侧配 TAE 小自编码器降低编解码开销，用 latent 上采样初始化，再由 Sol Video Inference Engine 执行单次 NFE。同时建了 Refiner-Bench——150 条对齐视频、统一输入协议，专门横向比 refiner。 Training and inference pipeline of SoL-Refiner. 实验效果：一步版在 Refiner-Bench 上 VBench 均值 0.81048、UniPercept 均值 60.4150，超过同为一档步数的 SEEDVR2 和三步的 LTX-2.3 Refiner。4K 上相对三步 LTX-2.3 Refiner，VBench 与 UniPercept 均值分别提升 3.86% 和 22.79%。叠满加速栈后 2K 延迟档精修提速 8.91 倍；配四步 MiniMax H3 基模型，整条两级流水线比直接全分辨率生成快 27 倍。 Performance across output resolutions: three-step LTX-2.3 Refiner vs one-step SoL-Refiner. 批判点评：一步版输给自家多步版——0.81048 对 23 步的 0.81691，主体一致性 0.92191、动态度 0.71333 都被多步版和 LTX-2.0 Refiner 压过。8.91 倍是「精修阶段」的加速，不是端到端；27 倍那个数则是把基模型也换成低分辨率四步 H3 之后的联合结果。另外 Refiner-Bench 是自建集，起点又是 LTX-2.3，公平性靠 shared-input 协议兜着。 9. OmniTaskonomy：19个生成任务换25项能力 OmniTaskonomy: When Does Visual Generation Improve Visual Understanding? | 加州大学伯克利分校；杜克大学；卡内基梅隆大学；华盛顿大学；Elorian；Impossible Research | arXiv:2609.38079 关键词：统一多模态, 生成理解一体化, 任务迁移, 梯度对齐, 训练课程 前序问题：生成能给理解带来多少好处，一直是笔糊涂账：已有工作普遍认为理解反哺生成容易，反过来收益微弱。但这在直觉上说不通——生成提供的是像素级稠密监督，覆盖外观、空间关系、几何，而这些恰恰也是识别、计数、空间推理、3D 感知需要的。 本文贡献：用「同一个底层视觉问题、两种输出模态」的受控配对来做因果分离：I2I 生成任务和 I2T 理解任务表达同一个问题，只换监督形式。再搭一个覆盖 19 个 I2I 生成任务与 25 项 I2T 理解能力的统一分类法 OmniTaskonomy（按识别、重建、重组三个基础问题组织），画出完整的迁移图谱。机制上用梯度对齐解释：生成与理解在理解分支 pre-attention RMSNorm 参数上的梯度对齐越强，迁移增益越大。 OmniTaskonomy: a unified taxonomy of I2I tasks and understanding capabilities under the three Rs. 实验效果：先做 I2I 再做 I2T 的课程能稳定提升理解表现，且增益随 I2I 数据量单调增长；混合训练则没有一致的规模收益。I2I 训练还能减少达到同一理解水平所需的 I2T 监督量，在 I2T 数据稀缺时收益最大。迁移图谱里既有直觉对应的组合（深度预测→度量 3D 推理、物体指向→计数、拼图重建→2D 排序），也有反直觉的（2.5D 分割→类别识别、Z-depth 预测→定位）。 Generation-to-understanding transfer across visual capabilities. 批判点评：结论的成立高度依赖课程顺序——先 I2I 后 I2T 才有效，混合训练就没有一致的规模收益，这更像是「课程设计」而非「生成天然有益」。迁移图谱是选择性的：作者自己也说收益 task-dependent，图里有多少格子是负增益论文没有全列。梯度对齐目前只是相关性分析，拿它做任务选择的先验还缺因果验证。 10. ThinkRM：先定评分表，9B 超 GPT-4.1 Think Before You Score: Thinking Reward Model for Visual Generation | 杭州电子科技大学；中国科学院自动化研究所；北京大学；商汤科技；复旦大学；西北工业大学；南洋理工大学；清华大学 | arXiv:2609.37372 关键词：奖励模型, 视觉生成评测, 评分细则, 偏好优化, 强化学习 前序问题：视觉奖励模型通常把任务条件和候选输出直接映射成一个标量分数，至于「这个 case 到底该评什么」完全隐在黑箱里。图像生成和图像编辑的评判标准差异极大，用一套固定标准硬套，细粒度区分能力必然上不去。 本文贡献：提出「先想清楚再打分」：为每个 case 先自适应地生成评分细则（rubric），再按细则做逐条评估，最后产出细粒度 pointwise 分数。训练上先做结构化 SFT 冷启动，再用成对偏好优化；作者发现常规成对偏好优化会引起分数极化，于是提出 Pairwise Dual-Group Relative Policy Optimization，在保留细粒度打分能力的同时提升判别力。 Thinking Reward Model (TRM) follows the Think-Before-You-Score paradigm, with RM and RL performance. 实验效果：9B 模型在 GenAI-T2I 上从基线的 58.9% 提到 71.2%、MMRB2-T2I 从 59.4% 提到 67.9%，两个榜上都超过 GPT-4.1；编辑侧 EditScore-ERB 0.750/0.639/0.743、EditReward-ERB 67.8%、MMRB2 从 53.0% 提到 58.2%。用它做奖励去优化 BAGEL、FLUX.1-dev、SD3.5-M 等多个生成模型，跨架构跨规模一致有提升。 Qualitative comparison of SenseNova-U1.5 before and after RL fine-tuning with TRM. 批判点评：「超过 GPT-4.1」是在特定榜单和特定打分协议下的结果，且作者明说 pointwise 模型只统计非平局预测的准确率，平局样本另算——这个口径会显著抬高数字。冷启动 SFT 已经把 58.9% 拉到 70.1%，后面的成对优化只再加 1.1 个点，说明真正吃重的是 rubric 监督数据本身。另外 8 家单位联合、训练只用约 4000 条偏好对，规模偏小。 趋势观察 蒸馏的计价单位从「每个模型」变成「每个底座家族」 LongLive-Plug 把少步采样、单遍 CFG、长时误差修正各做成一只 LoRA，一次 80 卡时的底座蒸馏换掉四个任务 376.8 卡时的专用蒸馏；SoL-Refiner 把多步精修压成一步再叠 TAE 与推理引擎拿到 8.91 倍；DIET 直接免微调砍掉一半专家把 57GB 压到 30GB。三篇下手的地方完全不同——一只 LoRA、一次 NFE、一半专家——但都在问同一个问题：这份能力到底要不要为每个落点重付一遍钱。 生成与理解之间的账开始被逐项结算 OmniTaskonomy 用 19 个生成任务对 25 项理解能力画出迁移图谱，结论是收益 selective 且强依赖「先 I2I 后 I2T」的课程；Think Before You Score 则反过来问评估侧——给每个 case 先拟一份评分细则再打分，9B 模型在两个榜上压过 GPT-4.1。前者说明「生成有益理解」不能当口号用，后者说明奖励模型缺的不是参数量而是「该评什么」这一步显式化。 人工智能炼丹君 整理 | 2026-10-01 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-28|阿里 397B 只改提示词就涨 50 分，WanPE 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与编辑 5 篇 · 音视频与语音生成 2 篇 · 图像与 3D 生成 2 篇 · 多模态理解与评测 1 篇 重点论文标题列表 WanPE（南大）：397B 分镜规划提示词 AV-GRPO（上海人工智能实验室）：音视频联合生成的模态解耦 RL ⚡ TRACK（NVIDIA）：免训练大小模型按步换班 ViRDM（美国东北大学）：砍掉教师与批评家做因果后训练 EditVoice（厦门大学）：变长非自回归零样本语音编辑 今日论文速览 1. WanPE：397B 分镜规划提示词 WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation | 南京大学；Wan 团队（阿里巴巴集团）；中国科学技术大学；复旦大学；清华大学 | arXiv:2609.30221 关键词：文生视频, 提示词增强, GRPO, 电影分镜, 评测基准 ⚠️ 前序问题：现代视频生成器已能生成 30 秒、并忠实遵循复杂条件，文本提示几乎直接决定多镜头序列里动作、机位轨迹、光效和声音如何展开。但现有的提示增强大多还停留在「可选扩写」层面，面对导演级的镜头级规划（分镜如何组织、跨镜头语义如何不漂）能力明显不足。 本文贡献：提出 WanPE——397B 参数的提示增强模型，在 105 万条真实视频上训练。核心有两块：一是 video-grounded 逆向构建（reverse SFT），从真实视频反推出镜头级电影分镜规划，让模型学到的是「怎么组织分镜」而不是「怎么把句子写长」；二是 Semantic-Consistency GRPO（SC-GRPO），用语义一致性奖励把用户意图在跨镜头、跨时间维度上保住。配套还建了 WanPEval：249 条人工标注请求，覆盖 5–30 秒时长与不同意图粒度，约 1.1 万次盲评 pairwise 比较。 WanPE training pipeline. Video-grounded reverse SFT and semantic-consistency GRPO. 实验效果：驱动 Wan3.0 生成器时，相对原始用户提示，5–15 秒人类偏好提升 10.66–18.84 分，30 秒竞技场提升 50.86 分。5–15 秒子集上专家偏好 S / Bradley–Terry 分数为 50.61 / 61.85，超过 Seedance 2.0（43.42 / 54.70）、MiniMax-H3（36.40 / 49.27）、Kling 3.0（20.80 / 37.40）与 HappyHorse 1.1（24.89 / 40.46）。消融显示逆向构建明显优于正向改写，SC-GRPO 在各模型规模上都能稳住语义保真。 Fine-grained expert evaluation on the 5-15 seconds subset of WanPEval. Left: Preference scores across generation durations and request-granularity levels. Right: Preference scores S across seven content categories. 批判点评：397B 这个体量本身就是最大的成本项，而表里的规模曲线并不支持它：4B 是 43.60 / 56.21，9B 是 46.00 / 58.01，397B 才 50.61 / 61.85——为了最后 5 分，参数量涨了两个数量级。更值得注意的是 30 秒子集：+WanPE-397B 的 Overall 60.24 只是险胜 Seedance 2.5 的 59.76，而且拆开看，动作类 50.00 被 Seedance 2.5 的 68.18 甩开一大截，知识类、演讲类也不占优。换句话说，WanPE 真正补齐的是「镜头语言」，动作生成本身的短板它一个字都没碰。 2. AV-GRPO：音视频联合生成的模态解耦 RL AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation | 上海人工智能实验室；香港理工大学；新加坡国立大学；南洋理工大学；浙江大学 | arXiv:2609.29816 关键词：音视频联合生成, 强化学习后训练, GRPO, 跨模态同步, 扩散模型 ⚠️ 前序问题：音视频联合生成里，异质多模态奖励互相纠缠导致信用分配困难，两个模态塔动力学差异大、联合优化极贵，而同步性评测又依赖成对样本、奖励没法公平比较——直接把 RL 后训练搬过来几乎处处碰壁。 本文贡献：提出 AV-GRPO 这一模态锚定的在线扩散 RL 框架，三个模块：模态锚定 rollout 解耦学习信号并稳定难度；轨迹锁定的冻结塔优化降低成本、重新分配信用；针对模态各自动力学的自适应目标与扰动强度。由此把耦合的多模态偏好学习拆成单模态子问题，实现精确奖励归因。同时构建了 5DAV 数据集，在五个维度上解耦样本、难度可控。基于 LTX-2.3 22B，8 卡 A800 上跑 LoRA 与全参两档。 Overview of the AV-GRPO training pipeline. 实验效果：JavisBench 上 AV-IB 从 0.224 提到 0.247，JavisScore 0.202 → 0.222，DeSync 0.708 → 0.607；VABench 上 Lip Sync 1.439 → 1.646、DeSync 0.726 → 0.542。在生成质量、语义对齐与跨模态同步三项上均超过 LTX-2.3，LoRA 与全参微调两档都成立。 Left: Radar chart comparing performance on the 5DAV and VGGSound datasets. Middle: Metrics are reported as relative percentage changes with respect to the baseline. Right: Comparison of model performance with different alternating step intervals. 批判点评：表里藏着一个不太好看的反差：LTX-2.3+AV-GRPO(lora) 在 Alignment（4.512 对 4.510）、Expressiveness（4.450 对 4.434）、Visual Realism（4.402 对 4.395）三项主观指标上，全都高于全参版。花了全参训练的成本，主观质量却没赢过 LoRA，说明这套「冻结塔 + 分塔信用分配」的收益主要落在同步类客观指标上，主观提升更接近采样噪声。而且这三项差距都在小数点后第三位，论文也没给方差或多次运行，显著性无从判断。 3. TRACK：免训练大小模型按步换班 Accelerating Video Diffusion via Training-Free Trajectory Routing | NVIDIA | arXiv:2609.30096 关键词：视频扩散加速, 免训练, 模型路由, 步级调度, 能耗优化 ⚠️ 前序问题：视频扩散推理昂贵：要把大模型跑很多个去噪步。即便做了步数蒸馏，剩下每一个蒸馏步依然要付一次完整的大模型前向，推理成本还是下不来。 本文贡献：TRACK（TRajectory-Aware Capacity routing via top-K selection）是一种异构去噪策略：离线校准阶段先跑一遍全大模型的参考轨迹，每一步同时收集小模型的预测，与大模型预测比较得到相对分歧分数（两边共享同一 latent、timestep、条件与 guidance），再把该信号跨校准集聚合成分步分歧分数图，据此决定切换策略——质量敏感步留给大模型（如 Wan 2.1 14B），低分歧步路由给小模型（1.3B）。推理时每步只执行被选中的那一个模型，不重训练、不改架构与调度器、也不需要在线双模型评估。 Training-Free Trajectory-Aware Capacity routing. Top: Offline calibration rolls out the all-large-model reference trajectory and, at every step, evaluates the large and small checkpoints using the same latent, timestep, conditioning, and guidance inputs. Bottom: Online inference applies that policy while preserving the shared latent representation and scheduler update. 实验效果：在 Wan 2.1、Cosmos 3、TurboDiffusion、FastVideo 四条管线上分别取得 1.95×、2.04×–2.73×、2.69×、2.17× 加速，聚合质量相当、DreamSim 多样性保留 >95%。在 A100 上用 NVML 实测，去噪能耗降低约 45%–60%：Wan 2.1 每视频省 194.57 kJ，折合每千条视频省 54.05 kWh（降 49.3%）；Cosmos 3（Super/Edge）能耗降近 60%。 Speed--quality tradeoffs across video pipelines. Each panel compares the all-large model (baseline) and TRACK (ours) switching policy. All models retain comparable aggregate quality at the selected operating points in most quality dimensions. 批判点评：「质量相当」这个结论要挑一下口径：它取的是 VBench 的时间闪烁、运动平滑、主体一致性、背景一致性四个维度的均值——恰好是「换小模型不太容易崩」的那四个。真正的代价作者写在 Limitations 里：部署时必须同时驻留大小两个模型，显存占用反而高于单模型管线。另外对已经把步数压到 3–4 步的蒸馏管线（FastVideo 只有 2.17×），可换的步数本就只剩个位数，收益上限天然受限。 4. ViRDM：砍掉教师与批评家做因果后训练 ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation | 美国东北大学；Adobe Research | arXiv:2609.28923 关键词：因果视频生成, 分布匹配, 后训练, 显存优化, VBench ⚠️ 前序问题：少步自回归视频扩散能实现低延迟流式生成，但现有后训练方法几乎都依赖 DMD：需要一个庞大的预训练教师和一个在线 critic，靠 diffusion score 估计分布差异。三套网络同时在线，资源开销成了主要门槛。 本文贡献：ViRDM 把教师与 critic 整个去掉，只让生成器对齐一份离线预计算的目标表征分布。三个障碍逐个击破：用一致性式采样 + 随机截断 clean-exit 监督（S 从 U{1..K} 采样，选中的那次评估才吃梯度）把梯度路径变得可行；用轻量 VAE 解码器压显存；用分阶段 vector–Jacobian product 拆解反传。此外还给出了视频 RDM 的生成种群规模与初始化策略（因果 ODE 初始化最优），并加了 flow 动力学正则来补表征分布对时间变化约束不足的问题。 Consistency-style sampling with stochastic exits for few-step video RDM. 实验效果：同样 8 卡 A100 的设置下，峰值显存从 77.1 GB/卡降到 48.3 GB/卡，后训练时间从 22 小时压到 2 小时，VBench Total 从 84.51 提到 84.87。只需 20 次生成器更新、16 A100 GPU-小时，比此前最佳少步因果基线高 0.36 分。用户研究中文本-视频对齐 40.4%、视觉质量 43.0% 均为四步因果方法里最高（Self Forcing 两项均为 32.6%）。 Replacing the resource-intensive teacher-critic stack with direct representation distribution matching for few-step causal video post-training. In the same 8-A100 parallelized training setting, this reduces peak memory from 77.1 to 48.3 GB per GPU and post-training time from 22 to 2 hours, while improving the VBench Total from 84.51 to 84.87. 批判点评：84.87 对 84.51 只涨了 0.36 分，而论文自己的消融表把原因说得很直白：要把 Dynamic Degree 维度单独剔掉再比，ViRDM 才更好看——说明动力学恰恰是 RDM 的软肋（表征分布对时间演化约束不足），得额外加 flow 正则才勉强补回来，等于承认「省掉教师 critic」的代价是引入了新的手工正则。另外 84.87 是在 Wan2.1-1.3B 这个 1.3B 小骨架上拿的，跟动辄 14B 的双向模型不在一个量级，跨量级横向对比要打折扣。 5. EditVoice：变长非自回归零样本语音编辑 EditVoice: Variable-Length Non-Autoregressive Zero-Shot TTS and Speech Editing with Edit Flows | 厦门大学 | arXiv:2609.29889 关键词：零样本 TTS, 语音编辑, 非自回归生成, Edit Flows, 变长序列建模 ⚠️ 前序问题：现有非自回归零样本 TTS 虽然能并行生成，但几乎都要在生成前先指定目标序列长度——长度得靠另一个模块预估，一旦估错就直接影响韵律与内容。 本文贡献：EditVoice 是首个变长 NAR 零样本 TTS：用 Edit Flows 通过插入、删除、替换三类编辑操作同时更新语音内容和序列长度。训练上采用 speech-infilling，把零样本 TTS 与文本驱动语音编辑统一到同一目标下，推理时前缀提示和后缀提示两种摆位都能用；提出 Complementary Prompt Sampling（CPS），按每类操作取两种摆位里速率更大的那个，利用互补的 Edit Flow 预测。还发现模型能编辑训练来源之外的语音（包括它自己生成的），据此做端到端编辑与免训练的后生成精炼。 Overview of the EditVoice zero-shot TTS inference pipeline. Stage one generates semantic speech tokens using CPS, and stage two applies post-generation refinement to the generated sequence before speech detokenization. 实验效果：在 10K 小时 GigaSpeech 上训练 Edit Flow 模型，在 Seed-TTS Eval EN、LibriSpeech-PC 上零样本 TTS 表现具竞争力，在 RealEdit 上语音编辑表现具竞争力。后生成精炼把 WER 从 2.66% 降到 1.55%，且 8 步生成 + 2 步精炼已经超过不做精炼的 16 步生成。 Post-generation refinement on Seed-TTS Eval EN. Starting from the same 8-step CPS output, WER and edits to generated tokens are measured over 8 refinement steps. The dashed line denotes 16-step CPS generation without refinement. 批判点评：全文只有 5 页 3 张图，实验规模偏薄：10K 小时训练的对比对象里有 CosyVoice 2 这类数据量级高一个档的系统，「competitive」具体竞争到什么程度得回表里逐项看。后精炼这个卖点本质是拿推理时算力换质量——8+2 步打败 16 步听起来漂亮，但总步数只少了 6 步，换成真实延迟并不划算。另外「能编辑非训练来源的语音」是意外发现而不是设计，作者没给系统的泛化边界评估，这条能力在多说话人、跨语种上会不会退化是未知数。 6. OREO：用 2D 编辑反馈对齐 3D 保真 OREO: Fidelity Alignment in 3D Generation via On-the-fly Rendering-Editing Optimization | 香港理工大学；腾讯 ARC Lab | arXiv:2609.29788 关键词：3D 生成, 保真对齐, 2D 扩散先验, 强化编辑, ECCV 2026 ⚠️ 前序问题：3D 生成模型进步很快，但产出的资产视觉保真度往往不够——几何、布局对得上，质感与细节就是差一口气，和 2D 扩散模型能达到的写实程度有明显落差。 本文贡献：OREO 是一个对齐框架，核心是不依赖静态数据集，而是建立动态优化闭环：把 3D 输出渲染出的视图交给 2D 模型做 Reinforced Editing，在保持几何、视角和内容不变的前提下提升视觉保真；这些被实时编辑过的渲染图反过来作为高质量 2D 伪目标，监督 3D 生成器从自己的样本里学习、逐步提升画质。 Overview of OREO. 实验效果：以 Trellis 为底座，对参考图 $x^{ref}$ 的 CLIP / DINO 相似度在 Conceptual Design 上从 0.7613 / 0.7916 提到 0.7834 / 0.8065，在 GSO 上从 0.7722 / 0.7022 提到 0.7764 / 0.7069；对比 Photo3D（0.7380 / 0.7837、0.7512 / 0.7034）同样领先。论文已被 ECCV 2026 接收。 Qualitative comparison of 2D feedback sources (Reinforced Editing / NanoBanana Pro / Qwen-Image-Edit). 批判点评：消融表里最刺眼的一行：去掉 Source Branch 后 ΔCLIP / ΔDINO 从 +0.0379 / +0.0298 直接翻成 −0.0523 / −0.0497——比不做对齐还差。整套方法对「保留源分支」这一条设计极其敏感，稳健性存疑。变体对比里把分布匹配换成 DMD，分数掉到 0.5393 / 0.5486，说明这条路和当前主流的 3D 蒸馏范式并不兼容。另外绝对增益全部停在小数点后第二位，而「视觉保真」这件事到头来还是用 CLIP / DINO 相似度做 proxy，离人眼判断有多远没人说得清。 7. ComplexSync：复杂场景 70FPS 实时唇形同步 ComplexSync: High-Fidelity and Real-Time Lip Sync in Complex Scenarios | 广州趣丸网络科技 | arXiv:2609.29225 关键词：唇形同步, 扩散蒸馏, 实时推理, 视觉基础模型, 基准评测 ⚠️ 前序问题：唇形同步要让口型动态与语音精确对齐。扩散模型生成质量高，但在遮挡、侧脸、复杂光照等复杂场景下容易失稳，而且推理延迟高到没法实际部署。 本文贡献：ComplexSync 是一套统一的扩散框架，三块设计：一是双流联合训练策略，抑制参考帧的信息泄漏同时保留自然动态；二是基于蒸馏的单步去噪加速方案，做到 70+ FPS 吞吐；三是关系对齐损失，借助视觉基础模型（VFM）的结构先验提升复杂场景因素下的同步精度与鲁棒性。此外还给出首个专门面向复杂唇形同步的 benchmark，含 200+ 条挑战视频序列与专门指标。 Overview of ComplexSync. (a) Dual-stream joint training strategy designed to suppress spatial information leakage and ensure high-fidelity synthesis. (b) Distillation-based acceleration scheme that facilitates single-step denoising for real-time inference. (c) Relational alignment loss leveraging VFMs to enhance synchronization precision and robustness under unconstrained conditions. 实验效果：在标准场景与复杂场景上均达到 SOTA，同时支持实时推理，吞吐超过 70 FPS。训练分三阶段：第一阶段 8 卡 A100 训 200K 步，第二阶段 4 卡 A100 训 50K 步，第三阶段再训 10K 步，分辨率 512×512。 Qualitative comparison with existing methods. Given that static images cannot fully capture critical temporal attributes such as synchronization, naturalness, and stability, we provide comprehensive video comparisons in the supplementary materials. 批判点评：三阶段累计 260K 步、起步就是 8 张 A100，这个训练预算对一家业务公司来说更像工程投入而非可复现的研究。全文只在 512×512 分辨率验证，而真实配音、数字人场景常见的是 1080p 以上——放大后的口型稳定性没有数据。定性对比仍然用静态帧，同步、自然度、稳定性这些纯时间属性都推给了补充视频，而这恰是唇形同步最容易「单帧好看、连起来崩」的地方。 8. AdaPilot：一套策略零样本迁移各生成器 AdaPilot: Towards Scene-Adaptive Policy Learning for Cross-Generator Text-to-Image Quality Optimization | 南洋理工大学；同花顺研究院 | arXiv:2609.29517 关键词：文生图, 强化学习, 跨生成器迁移, 多轮视觉反馈, 奖励设计 ⚠️ 前序问题：提升文生图质量的路线已经从生成器微调、提示优化走到了带多轮视觉反馈的强化学习，但现有策略都与特定生成器、特定任务深度耦合，学到的能力很难泛化成一套通用的质量优化策略——换个生成器就得重训。 本文贡献：AdaPilot 把多轮图像生成建模成马尔可夫决策过程，用端到端 RL 学一个场景自适应、可跨生成器迁移的质量优化策略。三点关键：策略与生成器内部解耦（只通过 prompt 和编码后的视觉观测交互，不碰梯度与内部状态），因此能跨生成器复用；场景感知奖励（AdaReward）把质量评估维度与任务语义自适应对齐；过程级奖励建模图像质量在多轮里的演化轨迹。实现上用 Qwen2.5-VL-7B-Instruct 作 agent，Qwen-Image-2512 作冻结生成器。 An illustration of the proposed AdaPilot. 实验效果：在 7 个指标（CLIP-T、HPS、GDino、Aesthetic、OCR 用于奖励，Realism、Physics 为留出维度）上超过 Flow-GRPO、T2I-R1、T2I-Copilot 等基线。跨生成器评测中，单一策略零样本迁移到未见过生成器（Qwen-Image、GPT-Image-1、Gemini-3-pro-Image-Preview 等）时，在所有被评生成器上仍保持正平均增益，OOD 数据集上每个维度都领先。 Averages over applicable evaluation metrics for four unseen image generators on four out-of-distribution datasets and overall, comparing results with and without AdaPilot to evaluate zero-shot cross-generator transfer. 批判点评：论文自己给的失败案例很说明问题：一张要求对比八位利物浦前锋的密集信息图，多轮迭代确实把版面理清了，但文字仍基本不可读、球员身份与属性不一致、图表数值不可验证，agent 明知有残缺陷还是终止了。这暴露了「策略只改 prompt」的天花板——当缺陷出在生成器自身的文字渲染与数值编码能力时，再聪明的提示改写也救不回来。另外训练时要同时部署 CLIP ViT-L/14、HPS v2.1、Grounding DINO、GLM-OCR 和 Qwen2.5-VL-72B 五个评估器算奖励，这套推理栈的成本并没有被算进收益里。 9. ZoomDiff：双摄平滑变焦的高保真插值 ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming | 哈尔滨工业大学；淘宝（阿里巴巴集团） | arXiv:2609.28083 关键词：双摄变焦, 帧插值, 扩散模型, 高频重建, 时间一致性 ⚠️ 前序问题：双摄像头之间的数字变焦切换，几何结构和色彩一致性上会出现肉眼可见的跳变。现有双摄平滑变焦（DCSZ）方法多在帧插值模型上微调，扛不住大视差与复杂几何变换；直接套扩散式帧插值模型，又因为条件引导不足、VAE 编码丢高频、时间一致性不够，保真度还是上不去。 本文贡献：ZoomDiff 在潜空间与像素空间同时吃透双摄输入：一是多步去噪过程中强化双图条件引导，提升几何一致性；二是把 VAE 编码器的 flow 对齐多尺度特征注回解码器（ref injector），把 VAE 编码时丢掉的高频细节补回来；三是引入 flow 引导的时间一致性监督（$\mathcal{L}_{ftc}$）让转场更顺。并给出把步数从 25 压到 8 / 4 的适配方案。 The dual-camera images ($\mathbf{X}_0$ and $\mathbf{X}_F$) are fed into the VAE encoder and the semantic encoder. 实验效果：合成与真实数据集上全面领先：PSNR 23.80、SSIM 0.761、LPIPS 0.253、PSNR-div 23.01、FVD 131.332，真实集 MUSIQ 73.634、LIQE 4.874、DBCNN 0.692、DOVER 0.665，均为最优。步数压缩上，25 步 45.89s（FLOPs 743T）可压到 8 步 21.28s（2.16×）与 4 步 15.71s（2.92×）。 Visual comparisons on the synthetic dataset and the real-world dataset. Our method still produces more consistent results. 批判点评：两个反差值得记。其一，扩散类基线整体拉胯：Wan2.1 只有 17.71 PSNR、TRF 14.15、Framer 的 DOVER 只有 0.335，全都输给光流法（UPRNet 22.58、RIFE LPIPS 0.261）——说明「生成式先验」在这个任务上并非天然优势，ZoomDiff 的赢面来自双图条件引导与高频注入这两个工程补丁，而非换 backbone。其二，步数压缩后质量反而上升：8 步版 PSNR 24.08 高于 25 步版的 23.80，而去掉步数适配的 8 步版只有 22.32。也就是说 25 步其实是过采样，指标对步数并不单调，任何「步数越少越差」的外推在这里都不成立。 10. ODU-Bench：14 个全模态模型的需求理解评测 Omni Demand Understanding: A Benchmark for Contextual User-Intent Inference in Multimodal Interaction | 上海交通大学；上海创智学院；阿里巴巴；香港中文大学；清华大学；香港理工大学；南开大学；约翰斯·霍普金斯大学 | arXiv:2609.21392 关键词：多模态交互, 需求理解, 评测基准, 误触发, MLLM ⚠️ 前序问题：音视频自然交互正成为 AI 助手的重要入口，但现有交互能力基准主要评「回复质量」，漏掉了更基础的一问：模型能不能从复杂的多模态交互里正确推断用户的真实需求？现实中的需求在口语里往往是欠规格的，得靠视觉线索、声学线索和对话历史补；含糊表达、噪声环境进一步加剧难度。反过来，听起来像请求的 utterance 也可能根本不是给助手的需求，导致误触发。 本文贡献：把 Omni Demand Understanding（ODU）定义成一个独立的多模态上下文推断问题：给定交互流，模型必须判断是否存在需求，并从多模态与对话上下文推断意图，评测覆盖五个维度（M1 需求存在性、M2 关键点命中率、M3 时间跨度 IoU、M4 转录、M5 用户画像），同时覆盖单轮与多轮。ODU-Bench 用挑战驱动的 taxonomy、taxonomy 引导的 agentic 视频生成加真人录制交互来构建，标注从互补媒体证据重建并经人工校验。 Overview of the ODU-Bench construction pipeline. Challenge-driven targets are expanded into coarse-to-fine scripts, screened for plausibility and challenge validity, and realized as synthesized or human-recorded interactions. 实验效果：评测 14 个原生 MLLM：最强者 Gemini 3.1 Pro 也只能恢复 44.7% 必须从视觉、声学或对话上下文推断的关键信息；14 个模型里有 11 个在非需求场景上的误触发率（FTR）超过 50%。 Qualitative error analysis on English generated audio-visual scenes. (a)--(b) Demand-present cases; M2 reports covered/reference key points. (c)--(d) No-demand cases. 批判点评：44.7% 和「11/14 误触发率 >50%」这两个数字，真正打脸的是当前「先响应、后理解」的范式——模型宁可硬猜一个需求，也不愿意说「这不是需求」。可惜基准本身大量依赖 agentic 生成的交互与 LLM judge，虽然论文做了 judge 稳定性检验和真人录制对照（Δ = Rec − Syn），合成数据与真人数据之间的分布差仍是这套结论最大的外推风险：如果 agentic 生成场景的「挑战性」分布和真实用户偏得比较多，44.7% 这个数就未必能平移到线上。 趋势观察 生成的瓶颈正在往「输入端」和「调度端」挪 今天这十篇里有三篇在动生成流程的两端而不是中间：WanPE 用 397B 模型重写提示词，把导演级分镜规划搬到文本空间完成；TRACK 不改模型、不重训练，只决定每一步该派大模型还是小模型上场；AdaPilot 则干脆只通过 prompt 和视觉观测跟生成器打交道。共同点是：底座模型被当成黑箱，可优化的空间被挪到了它前面和外面——这对没算力训底座的团队是好事，对卖底座的团队不是。 「砍掉教师与 critic」成为后训练的新共识 ViRDM 把 DMD 的教师+critic+生成器三件套砍成只训生成器，8 卡 A100 下显存 77.1→48.3 GB、时间 22h→2h，VBench 还涨了 0.36；OREO 同样放弃静态数据与蒸馏范式，改用 2D 编辑实时产出伪目标做自我监督；AV-GRPO 冻结一塔训另一塔来降低 RL 成本。三条独立工作指向同一判断：昂贵的在线监督预算正在被更便宜的离线/自产目标替换，代价往往是引入新的手工正则（ViRDM 的 flow 正则就是这么来的）。 评测基准开始盯「理解」而不是「生成」 ODU-Bench 评测 14 个原生 MLLM 后发现，最强的 Gemini 3.1 Pro 也只能恢复 44.7% 必须靠上下文推断的关键信息，而且 11/14 的模型在非需求场景上误触发率超过 50%。这个数字比任何生成质量榜单都更能说明当前语音/视觉助手的实际状态：问题不在答得好不好，而在该不该答都还没判断对。ComplexSync 也顺手补了首个复杂场景唇形同步 benchmark，200+ 条挑战序列把遮挡、侧脸这些长期被平均掉的case单独拎出来。 人工智能炼丹君 整理 | 2026-09-28 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-25|快手开源修图登顶，GEdit仍输GPT 今日 AIGC 论文速览 今日共 10 篇 · 图像编辑与生成安全 2 篇 · 统一预训练与视频运动 2 篇 · 多模态联合生成 2 篇 · 音频生成与后训练 2 篇 · 推理加速与视频评测 2 篇 重点论文标题列表 KwaiMind（快手）：180万对数据炼电商修图 UVU（清华大学）：视觉监督前移，RefCOCO涨7.7 ⚡ Unite-Audio（东京科学大学）：117M音频生成，CLAP登顶 MotionSpec（卡迪夫大学）：频谱轨迹约束视频运动 RecCAR（巴伊兰大学）：反向注意力补齐，音画更同步 今日论文速览 1. KwaiMind：180万对数据炼电商修图 KwaiMind Technical Report | 快手 | arXiv:2609.26375 关键词：图像编辑,电商,CTR奖励,Ecom-Bench,在线强化学习 ⚠️ 前序问题：电商修图不是通用编辑：商品主体要一模一样、促销文字要渲染准确、图还得有点击欲。通用编辑模型在这三件事上都没专门优化，而电商数据的采集清洗又贵又杂，缺一套能稳定产出高质量配对数据的流水线。 本文贡献：快手发布 KwaiMind：多模态 DiT 底座，Agent 数据引擎维护约 180 万高质量编辑对；继续预训练加 SFT 后走偏好优化与在线 RL，用 VLM 通用裁判加 CTR、文字渲染、商品一致性三类专用奖励训练专精策略，再经 on-policy 蒸馏合并成单一模型；配套发布覆盖 11 类商业编辑任务的 Ecom-Bench。 Overview of the end-to-end data pipeline. Coordinator Agent routes samples through filtering, generation, captioning, and post-filtering with bounded feedback loops and human review. 实验效果：开源编辑器里综合最强：ImgEdit 4.15、GEdit 5.79、REDEdit 英/中 3.75/3.73，Ecom-Bench 视觉质量第一；CTR 引导优化把生成图预测 CTR 超过原图的比例从 12.16% 提到 37.41%，线上 A/B 实际 CTR 相对提升约 2.44%。 Overall comparison on general image editing benchmarks: ImgEdit, GEdit, and the English and Chinese splits of REDEdit. Hatched bars denote closed-source models. 批判点评：最强的限定词是开源：图上闭源模型全面更高——ImgEdit 被 Seedream 4.0 的 4.27 和 GPT-Image-2 的 4.20 压着，GEdit 上 Nano Banana 2 拿 7.02、GPT-Image-2 拿 7.10，比 KwaiMind 的 5.79 高出一大截，REDEdit 两个语种同样如此。真正立住的卖点其实是 CTR 这条商业指标，而不是编辑质量本身。 2. UVU：视觉监督前移，RefCOCO涨7.7 UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm | 清华大学；腾讯优图实验室；南京大学；格拉斯哥大学 | arXiv:2609.27915 关键词：统一自回归,像素级codebook,连续视觉编码,视觉监督,预训练 ⚠️ 前序问题：多模态大模型的细粒度视觉理解长期靠稀疏文本监督撑着，已有的视觉监督大多加在后训练阶段，那时视觉表征已基本定型，监督信号只能当辅助约束。要重塑感知骨干，得把视觉监督搬进预训练。 本文贡献：提出 UVU 视觉语言统一自回归范式：不用向量量化，SigLIP-2 连续视觉特征直接进 LM 解码器做下一 token 预测；设计大规模迭代层次聚类算法构建 20 万词表的像素级视觉 codebook，让图像 patch 与文本 token 在预训练期共享统一监督，模型由此内化视觉重建能力。 Overview of the UVU vision-language unified autoregressive framework. Continuous visual features from SigLIP-2 are projected and integrated with textual embeddings for autoregressive next-token prediction in an LM decoder, generating pixel-level image tokens. 实验效果：同为 3B/Qwen2.5 底座，RefCOCO 从 84.1 涨到 91.8、LISA 57.4→71.7、CVBench-3D 71.9→76.6、BLINK 46.9→52.8；相对去掉视觉监督的自版 UVU*，RefCOCO +6.2、LISA +12.1。注意力热图显示 UVU 更聚焦目标区域。 Comparison of visual attention heatmaps under three paradigms: from left to right, without visual supervision, AR + VQ, and UVU (Ours). 批判点评：对手没输干净：SEEDB 74.1 仍低于 LLaVA-OV 的 75.4，MMStar 55.0 输给 56.7，ScienceQA 91.3 远低于 GLM-4v 的 96.7；MME 2201.9 对 LLaVA-OV 2146.3 的领先也只有 2.6%。统一目前只覆盖理解侧，生成侧数据还没进训练，作者自己也在文中承认。 3. Unite-Audio：117M音频生成，CLAP登顶 UNITE-AUDIO: Joint Learning of Continuous Tokenization and Latent Flow Matching for Text-to-Audio Generation | 东京科学大学；清华大学；武汉大学；东京大学；蚂蚁集团 | arXiv:2609.28206 关键词：文本生成音频,联合训练,flow matching,Flow-GRPO,连续表征 ⚠️ 前序问题：文本生成音频的主流做法是两阶段：先训重建导向的音频 tokenizer 再冻结，然后在固定隐空间训生成模型。但为重建优化的表征未必适合生成，生成目标无法反过来塑造隐空间。 本文贡献：首个把连续音频表征学习和隐空间 flow matching 联合训练的 TTA 系统：掩码波形过在线编码器，EMA 编码器提供停止梯度的目标特征，重建与自监督生成预测耦合，让生成目标直接塑造隐空间；再用 Flow-GRPO 后训练强化文本条件对齐。 Overview of the proposed framework: (a) the reconstruction path and (b) the generation path. Blue denotes regions with gradient propagation, while gray denotes regions without gradient propagation. 实验效果：117M 隐空间生成模型（不含编解码器）在 AudioCaps-886 上 CLAP 0.534 全表最高（EzAudio 0.496、TangoFlux-RL 0.480），KL 1.057 最低，RTF 0.062；NFE 压到 4 时 RTF 仅 0.009 仍保 CLAP 0.512。 Comparison between conventional separate tokenizer-generator training and our joint single-stage training. 批判点评：分布指标难看：FD_OpenL3 84.76 是 EzAudio 38.26 的两倍多，FD_16k 43.25 也落后 GenAU 的 31.94，IS 11.34 不及 TangoFlux-RL 的 12.20——语义对齐赢了，音频分布保真还差得远；首个联合训练的含金量取决于你更看重 CLAP 还是 FD。 4. MotionSpec：频谱轨迹约束视频运动 MotionSpec: Spectral Trajectory Supervision for Motion-Consistent Video Generation | 卡迪夫大学；中国科大；华东师范大学 | arXiv:2609.28095 关键词：视频生成,运动一致性,傅里叶谱,光流,微调目标 ⚠️ 前序问题：文生视频单帧越来越真，运动却常失真：动作推进不一致、复杂动作下结构崩坏。标准生成目标对运动本身几乎没有专门约束，运动演化处于欠约束状态。 本文贡献：提出 MotionSpec 运动监督：谱轨迹一致性 STC 构造锚点相对的稠密运动轨迹，经时间傅里叶变换成运动谱体积，对齐幅度与相位同时约束运动强度和时序组织；辅以局部光流一致性 LFC 稳定相邻帧过渡，两者随时间步加权加进微调目标。 Overview of the pipeline. At each training step, the video generative model takes the prompt, timestep, noise level, and real data as inputs. 实验效果：在 Wan2.1 上微调，VMBench 均分 61.57→65.07，其中物体完整性 OIS 48.34→56.53、时序一致性 TCS 97.09→98.82；VideoJAM-Bench 运动分 85.3→93.61。定性对比里 Wan2.1 的骑车段后半程自行车几乎消失，MotionSpec 保留完整。 Qualitative Results. On the left are the results of Wan2.1, and on the right are the results of ours. 批判点评：外观分几乎没动：App 仅 81.95→82.20（+0.25）；PAS 上单独用 LFC（24.27）反而高于完整版（23.74），说明两个目标存在拉扯。评测全部在 Wan2.1 一个底座上做，换模型的泛化性未知。 5. RecCAR：反向注意力补齐，音画更同步 All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation | 巴伊兰大学；NVIDIA | arXiv:2609.27901 关键词：联合视频生成,跨模态注意力,KL正则,音画同步,人体解剖 ⚠️ 前序问题：联合视频-动作/视频-音频生成的扩散 Transformer 里存在不对称：伴随模态到视频的对应很强，但反过来约束视频生成的对应路始终弱——视频听动作指令的能力远弱于动作看视频的能力，人体解剖崩坏、音画不同步由此而来。 本文贡献：把两个方向的跨模态对应表示成视频 token 上的分布，定义反向对应差距；提出 RecCAR，KL 正则把弱方向对齐到以视频到模态对应为固定参考的强方向，即插即用地微调 EchoMotion 这类联合生成模型。 Illustration of asymmetric reciprocal cross-modal correspondence. For a motion token corresponding to the head, the VM correspondence correctly localizes the head region in the video, while the reciprocal MV correspondence is dispersed. 实验效果：视频-动作联合生成 Human Anatomy 0.69→0.75，VMBench 多数指标超 EchoMotion、CoMoVi、FlowMo；视频-音频生成音画失同步从 0.804 降到 0.752。散点图上每个 prompt 的反向差距在微调后一致下降。 Qualitative comparison of RecCAR against EchoMotion, CoMoVi, and FlowMo across three representative scenes. 批判点评：增益以自家基线为参照：0.75 的解剖分意味着仍有约四分之一样本不达标，音频侧 0.752 的失同步也谈不上小；teaser 里对比的 LTX-2 只做了定性展示，未给出与闭源模型在同一协议下的量化差距。 6. GestureFAR：9.3毫秒每token的流式手势 GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression | 罗切斯特大学；东京大学；加州大学圣克鲁兹分校；加州大学洛杉矶分校；Meta | arXiv:2609.21576 关键词：手势生成,流式,flow自回归,蒸馏,实时交互 ⚠️ 前序问题：流式陪聊手势生成此前靠离散运动 token 自回归，把高维连续运动压进有限 codebook，真实感和多样性都受损；而连续方法又难以保证逐 token 因果，实时交互卡在延迟上。 本文贡献：提出流式手势生成框架 GestureFAR：因果 VAE 把全身动作编码成可流式的连续隐变量，Transformer 对音频-运动上下文自回归，每 token 配 flow-matching 头从连续分布采样下一潜变量；再冻结因果骨干，用一致性加分布匹配目标把多步 flow 头蒸馏成单步前向。 Overview of GestureFAR. GestureFAR generates co-speech gestures from streaming audio by autoregressing over continuous motion latents. 实验效果：BEAT2 流式组 FGD 3.08 全面最佳（LiveGesture 4.57、MIBURI 8.06），BC 0.741 接近离线最优；1 步蒸馏后每 token 9.3ms，是教师 8 步 24.4ms 的 2.6 倍速、MIBURI 62.9ms 的 6.8 倍速。 Qualitative comparison on BEAT2. We visualize generated full-body gestures from different methods under the same speech inputs, with the semantically salient words highlighted in red. 批判点评：BC 0.741 仍低于 MIBURI 的 0.790 和 LiveGesture 的 0.794，多样性 13.24 也略逊离线系；单步蒸馏换速度后 FGD 反而比教师还好（3.08 vs 3.17），这个反常更像评测协议的产物而非能力证明，文中未解释。 7. DeltaS：状态漂移选KV，六个基准+2.1 DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video | Maum AI；首尔大学；延世大学 | arXiv:2609.27470 关键词：KV缓存淘汰,流式视频,线性注意力,混合架构,训练无关 ⚠️ 前序问题：视频语言模型转向线性/全注意力混合架构后，线性注意力状态固定大小，但全注意力 KV 缓存仍随流式视频无限增长；流式场景下问题还没来就得决定淘汰谁，现有基于位置、注意力或 KV 本身的信号都拿不到这个先验。 本文贡献：提出训练无关的 DeltaS：读门控 delta 线性注意力的循环状态，用一块帧内状态的归一化变化量（状态漂移）衡量该块带来多少新信息，漂移大的块对应 KV 留存；信号计算只占前向的 1.9%，无需代理查询。 Overview of DeltaS. Each video chunk updates the recurrent linear-attention states, whose normalized changes yield a shared score for retaining the corresponding KV entries across full-attention layers. 实验效果：预算与留存策略对齐的受控比较里，状态漂移信号全面胜过位置/注意力/KV 三类基线；六个长视频基准平均超最强无查询基线 2.1 分，最长基准 LVBench 超 5.6 分。 Performance margin as a function of KV retention rate. DeltaS generally shows larger margins at lower retention rates. 批判点评：增益随留存率升高而收窄：留存 token 超过约四成后在 EgoS 上反而落后基线 0.7 分，高预算场景收益有限；hybrid 架构前提也把它限死在门控 delta 线性注意力这一类骨干上。 8. DriftAudio：一步生成后训练FAD降34% DriftAudio: Marginal Drifting for Distributional Post-Training of One-Step Text-to-Audio Generators | 悉尼科技大学 | arXiv:2609.27598 关键词：一步生成,分布后训练,文本生成音频,Drifting,FAD ⚠️ 前序问题：一步文本生成音频模型把推理成本打下来之后，生成分布仍欠火候；常规后训练依赖逐条件配对的真实样本，自由文本条件下一个 prompt 往往只有一两条真实参考，逐条件 Drifting 根本做不了。 本文贡献：提出 DriftAudio 边缘分布后训练：把 Drifting 从逐条件搬到边缘音频分布上做，在冻结的 PANNs 特征空间里用重采样真实样本、滚动生成的 FIFO 样本库和当前批次共同估计漂移场，得到 detached 训练目标只更新生成器，一步推理流程原样保留。 Overview of DriftAudio. The one-step generator remains text-conditioned, while Drifting is performed on the marginal audio distribution in feature space. 实验效果：从 MeanAudio 出发 FAD 降 33.9%、FD 降 17.6%，KL 与 CLAP 同步改善；从 FdAudio 出发 FAD 1.22→0.99，一步生成的分布质量明显抬升。 Mean and covariance components of FAD for the four evaluated models. Numbers above the bars denote total FAD. 批判点评：不是白捡的：从 FdAudio 出发时 IS 和 CLAP 出现回退，说明边缘分布对齐和条件保真之间存在交换；方法绑定冻结的 PANNs 特征空间，换更强的音频评价骨干是否还成立未验证。 9. InGuard：嵌入层安检，省一半去噪步 InGuard: Towards Generalized Inner Guardrail for Safe Text-to-Image Generation | 阿里巴巴 AAIG | arXiv:2609.27620 关键词：文生图安全,内嵌护栏,嵌入改写,潜空间检测,RevGen ⚠️ 前序问题：T2I 的安全护栏都装在外面：前置 prompt 分类器加后置图像分类器，两者不用模型自身表征——prompt 检查准头有限，图像检查要等全量去噪烧完才跑，而且违规 prompt 只能一刀切拒绝，本可改写成安全输出的也被扔掉。 本文贡献：提出 InGuard 内嵌护栏：文本编码器嵌入上直接做风险三级分类（不安全/风险/良性），SAGE 对风险 prompt 做嵌入空间软门控改写使其输出安全图而非拒答，去噪中途用一步干净潜变量估计做潜空间检测，发现风险即刻提前终止；配套 RevGen Safety 基准，1 万条 prompt 由真实图反生成并注入受控 IP 角色。 Overview of our InGuard framework. Three complementary components work in sequence: prompt embedding risk classification, SAGE embedding-space safety enhancement, and latent detection with early termination. 实验效果：五个开源 T2I 模型上安全率 97.9%-98.8%，追平或超过外置护栏；良性扰动少 57.5%-73.5%，参数少约 3.7 倍，50%-55.6% 的去噪步被跳过；潜空间检测在 44%-50% 计算量处就逼近图像级 F1。 Pretraining effects on Avg F1 across five LDMs; latent detection vs denoising-step fraction used as a compute proxy. 批判点评：SAGE 改写不是万能的：论文自己承认增强失败时只能靠潜空间检测兜底拦截，等于承认存在漏改样本；RevGen 由自家反生成流水线构造，跨基准的代表性有待第三方复检。 10. CineGuard：11种运镜的抄袭检测 Did You Steal My Shot? Pioneering Camera Motion Plagiarism Detection in Generative Videos | 河海大学 | arXiv:2609.22267 关键词：运镜抄袭,生成视频,涡度,基准,版权保护 ⚠️ 前序问题：运镜是影视级 IP，但生成视频用一句 prompt 就能复刻高价值运镜；现有相似度检测都盯着画面内容，训练数据把运镜和内容缠在一起，传统光流又表达不了复杂相机运动——运镜抄袭至今无人管。 本文贡献：构建首个运镜分析基准 CineFlow：11 种运镜风格的模拟数据集把运镜与内容解耦；提出 CineGuard 检测网络，在光流上叠加流体力学涡度作为平移不变线索，3D 卷积提 tubelet 嵌入后过 ViT 主干加全局相机适配器，对比学习聚拢同运镜视频。 Architecture of the motion plagiarism detection network. The input flow is first augmented with vorticity, then a 3D convolution extracts tubelet embeddings. 实验效果：抄袭检测超最强基线 3.02 倍；在 Veo 3.1 与即梦的商业生成视频上，余弦相似度 0.56-0.83，基线全部落在 0.35 以下，Precision@5 最高 0.73 对基线约 0.27。 Performance of plagiarism detection on generative videos. Left: cosine similarity between videos. Right: Precision@5 for retrieving videos with the same motion label. 批判点评：局限写在图里：FPV Drone 这类复合运镜相似度掉到 0.56，是全表最低，混合运镜仍是软肋；基准是简单几何场景模拟出来的，真实影视素材上的迁移只有商业视频小样本佐证。 趋势观察 编辑模型的主战场从通用能力挪向行业指标 KwaiMind 把 CTR 预测直接做成奖励信号训进编辑模型，线上 A/B 实测 +2.44%；InGuard 则把安全检查搬进生成管线内部，省下一半去噪步。两条线指向同一件事：图像生成的竞争正在从「生成质量」转向「商业约束下的生成质量」，奖励函数和护栏的构造方式开始比骨干网络更值钱。 视觉监督正在从后训练前移到预训练 UVU 用像素级 codebook 把视觉监督直接塞进预训练，RefCOCO 一项涨 7.7 分；MotionSpec 则在视频微调里用频谱约束补上运动监督的缺口。共同逻辑：等表征定型再补监督太晚了，感知质量的上限在预训练阶段就被决定。 一步生成与流式生成进入质量补课期 DriftAudio 给一步 TTA 做边缘分布后训练，FAD 降三分之一；GestureFAR 用单步蒸馏把手势生成压到每 token 9.3ms；Unite-Audio 把去噪步数压到 4 还能保住 CLAP。速度战的下一程是质量战——谁能在一步、几步的预算里把分布差距补回来，谁就拿到实时产品化的门票。 混合架构的两组记忆开始学会协作 DeltaS 证明线性注意力的循环状态可以反过来指挥全注意力 KV 缓存的淘汰，六个长视频基准平均 +2.1；Unite-Audio 则让生成目标直接塑造 tokenizer 隐空间，打破「先冻结表征再训生成」的铁律。两篇都在挑战模块化管线里各训各的默认假设。 人工智能炼丹君 整理 | 2026-09-25 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-23|NVIDIA像素扩散FID 1.46，仍输latent 今日 AIGC 论文速览 今日共 10 篇 · 图像生成与像素扩散 2 篇 · 视频世界模型与 3D 一致 2 篇 · 视频生成加速与流式编辑 2 篇 · 动作与音频生成 2 篇 · 音视频因果与奖励评测 2 篇 重点论文标题列表 PixelDiT2（NVIDIA）：像素扩散 FID 压到 1.46 WorldCrafter（ARC Lab, Tencent IEG）：分钟级探索重访 PSNR 18.0 ⚡ GAE（HKUST）：相机轨迹误差砍半 FVD 降 23% SparkDiffusion（Peking University, Melon Group）：97% 稀疏下 265 倍单卡加速 MixiMotion（PTIT, Hanoi）：一步动作对齐 0.835 逼近教师 今日论文速览 1. PixelDiT2：像素扩散 FID 压到 1.46 PixelDiT2: Representation-Grounded Pixel Diffusion Transformers | NVIDIA；University of Rochester | arXiv:2609.24919 关键词：像素空间扩散,表征先验,表示对齐,DINOv3,ImageNet ⚠️ 前序问题：像素空间扩散不用自编码器、直接在 RGB 上去噪，省掉了 latent 重建瓶颈，代价是收敛慢、最终画质长期落后 latent 扩散。作者的判断是缺一个显式表征先验：latent 扩散天然在紧凑结构化的隐空间里去噪，像素扩散却要一边学「好去噪的表征」一边学「怎么生成像素」，两件事挤在同一次训练里互相拖累。 本文贡献：提出 representation grounding：用一个冻结的预训练视觉基座模型在整个去噪过程里持续提供 per-patch 表征监督。带噪图像走像素去噪通路，同时冻结编码器产出 per-patch 特征，一个时间步条件化的 DiT 块 P_g 把它映射成 scaffold，再通过空间 AdaLN 调制扩散 transformer；REPA 只作为训练期辅助目标。另提出延迟 grounding dropout：训练初期保留 grounding，到 epoch 160 再开启 dropout。 PixelDiT2 at ImageNet-512x512: samples, architecture, and convergence. 实验效果：ImageNet-256×256 上 H/16 模型 600 epoch 达 FID 1.46、IS 301.6；512×512 上 680 epoch 达 FID 1.48、IS 295.7，两档都是像素侧最好（同表其余像素方法 1.61–3.94 / 1.78–3.95）。论文强调 epoch 预算：512 档 epoch 200 就超过 PixelDiT 850 epoch 的 FID，预算低 4.25 倍。 PixelDiT2 reaches FID 1.78 at epoch 200 and 1.48 at epoch 680. 批判点评：「补上表征先验」在像素侧成立，但把两张表横着读是另一面：256 上 latent 侧 RAE-XL FID 1.13、REPA-XL 1.29 都优于 1.46，512 上 RAE-XL 1.13 同样压过 1.48，IS 也不及 REPA-XL 306.3 与 JiT-G 306.8。也就是说「追平」只在像素扩散内部成立，跨阵营仍差约 0.3 FID，摘要里 narrowed the gap 的措辞容易被读成已经追平。另外延迟 dropout 的开启时机是在 512 档上调出来的，256 档用的是从头独立 dropout，两档训练协议并不一致，跨分辨率可比性打了折扣。 2. WorldCrafter：分钟级探索重访 PSNR 18.0 WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory | ARC Lab, Tencent IEG；Peking University | arXiv:2609.24984 关键词：视频世界模型,隐式3D记忆,长程一致性,相机可控,流式生成 ⚠️ 前序问题：视频世界模型做交互式探索时，长程一致性一直是硬伤：走出一段距离再回头，场景常常「认不出」是刚才那个地方。难点在于历史观测越来越多，而视频生成器的 token 预算是固定的，怎么把历史压进有限 token、又不依赖显式深度对应，是个两难——显式 3D 重建重且脆，简单堆历史帧则 token 直接爆掉。 本文贡献：核心洞察是「让被请求的视角来决定历史怎么压缩」。一个与视频生成器联合训练的 memory encoder 把历史观测编成紧凑的 3D-aware 表示，再由 pose-conditioned readout 按当前目标相机位姿读出固定数量的、目标视角专属 token，在去噪前注入，全程不需要显式深度对应。配合 max-coverage 历史检索、最近时间上下文和 few-step 蒸馏，实现从单张图或文本出发的流式分钟级探索。 Overview of the WorldCrafter pipeline. 实验效果：VBench 自建输入模式 725 段视频上 Overall 81.910 为全表第一（Alaya-EVOKE 81.406、SANA-WM 80.841、Echo-WM 80.211），主体一致性 82.695、背景一致性 90.589、运动平滑 98.787、整体一致性 26.745 均为第一。长程重访一致性上 MEt3R 0.166、PSNR 18.016、SSIM 0.517，相对次优 Lyra 2.0（0.334 / 14.050 / 0.390）近乎翻倍。 Qualitative long-horizon revisit comparison in a static scene. 批判点评：重访那张表真正的第一不是 WorldCrafter 而是它的加速版 WorldCrafter-fast（MEt3R 0.129、PSNR 20.868、SSIM 0.616）——少步蒸馏的变体反而在一致性上更好，这暗示「更多步数」本身可能带来累积漂移，论文没有就这条给出解释。视觉质量上也不是全胜：美学质量 AQ 61.432 只排第四，不及 SANA-WM 63.467；动态程度 DD 96.893 是全表最低（其余 97.087–100），说明换来的一致性里有一部分是靠画面动得更少买到的。评测均在自建输入模式下完成，未与公开榜单协议对齐。 3. GAE：相机轨迹误差砍半 FVD 降 23% GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation | The Hong Kong University of Science and Technology；ARC Lab, Tencent IEG；The University of Hong Kong；The University of Texas at Austin | arXiv:2609.24981 关键词：几何原生隐空间,3D一致性,自编码器表征,相机轨迹,感知生成统一 ⚠️ 前序问题：视觉生成器能出逼真画面，却保不住一个前后一致的 3D 场景。作者认为这不只是建模问题，更是表征问题：生成器演化的是外观为中心的隐空间，感知模型恢复几何用的是语义丰富、编码跨视角结构的空间，两者不在同一坐标系上。常见补丁是「再输出一个几何头」，等于把几何当副产品，治标不治本。 本文贡献：不把几何当额外输出，而是直接把一个几何基座模型的特征重参数化成紧凑、可扩散的隐空间——几何原生自编码器 GAE，其 latent 同时可解码到外观、深度、相机和点图。训练分两阶段：先训 codec 把冻结的多层几何特征压进 latent，再用条件流只在「待生成视角」的 latent 上做流匹配，参考视角 latent、相机射线和文本作为控制，让感知与生成共用同一个隐空间接口。 Overview of Geometry-Native Autoencoder (GAE). 实验效果：在固定生成器与训练协议的控制对比下：重建侧 GAE-128 用比原始几何特征少 24 倍的通道，PSNR 28.76 / LPIPS 0.036 / rFID 5.4（RealEstate10K）反而略优于原始 L0 特征；生成侧 GAE-64 最优，RealEstate10K FVD 225.7、PSNR 20.02、SSIM 0.711，DL3DV FVD 287.0、PSNR 18.00，相对最好的非 GAE 受控 latent 分别降 FVD 12.7% 与 23.1%；ATE 在 RealEstate10K 降 52.8%、DL3DV 降 23.3%，MEt3R 取到受控组最佳 0.1208 / 0.1347。 Multi-frame RGB, geometry, and camera-pose comparison across RealEstate10K scenes. 批判点评：最有价值的是控制变量设计，但同一张表也留了口子：受控组之外还列了 Gen3R 与 GLD 两个参考方法，其中 Gen3R 在 RealEstate10K 的 MEt3R 是 0.1157，优于 GAE-64 的 0.1208——「最佳」限于受控 latent 这个口径。DL3DV 的重投影误差上 GAE 只有 0.0028–0.0029，反而不如 WAN2.1 VAE 的 0.0019，说明几何原生 latent 在像素级回投影精度上并不占优。另外通道数选择本身就不一致：128 在重建上最好、64 在生成上最好，论文没给选择依据，实际部署还得自己再权衡一次。 4. SparkDiffusion：97% 稀疏下 265 倍单卡加速 SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation | Peking University, Melon Group；Tsinghua University；Alibaba Group；University of Electronic Science and Technology of China；Harbin Institute of Technology | arXiv:2609.23153 关键词：稀疏注意力,推理加速,少步蒸馏,FP8量化,视频扩散 ⚠️ 前序问题：视频扩散 transformer 贵在注意力要处理超长时空 token 序列，做稀疏注意力是自然的加速思路。但作者发现一个「高稀疏陷阱」：稀疏度推到极致时，逐步训练损失还在稳步下降，最终生成质量却停滞甚至倒退。诊断指出这是监督问题——主要误差来自高噪声的结构生成阶段，逐步局部训练修不动它，只有对齐终态的训练才修得动。 本文贡献：由此给出一条分阶段原则：先把稀疏架构适配成粗粒度先验，再校正终态分布。SparkDiffusion 按此串起三件事——短程稀疏 warm-up、少步 trajectory-mixed 蒸馏、FP8 量化配融合 kernel，并把三者做成可乘的加速因子。覆盖 Wan2.1/Wan2.2 骨干、T2V/I2V 任务、480P/720P 分辨率，以及 H100 与 RTX 5090 两种 GPU。 Overview of the SparkDiffusion framework. 实验效果：3 步无 CFG 推理下，Wan2.1-T2V-14B-720P 在单张 RTX 5090 上端到端 265× 加速（H100 上 220×）；Wan2.1-T2V-1.3B-480P 端到端 1.3 秒出片。长序列 720P 上维持 97% 注意力稀疏，1.3B-480P 上 90%。VBench 总分从 dense 的 83.69 到 83.15，掉 0.54 分；同表延迟与显存项均为最好（18.0 / 8.0）。 End-to-end latency and speedup of SparkDiffusion over Full Attention on NVIDIA H100 and RTX 5090 GPUs. 批判点评：265× 是三个因子相乘的结果，其中大部分来自 3 步蒸馏而非稀疏本身，读标题很容易把功劳全记在稀疏上——论文在图表里做了分解，但正文强调的仍是合成后的倍数。质量代价是实打实的：83.15 低于 dense 83.69，且稀疏度从 90% 提到 97% 时分数从 83.42 掉到 83.15，说明高稀疏陷阱只是被缓解、没被消除。另外源码里仍能看到若干未清理的 TODO 占位注释（作者元数据、BF16 两列标注为占位），作为预印本部分数值还需等正式版复核。 5. MixiMotion：一步动作对齐 0.835 逼近教师 MixiMotion: One-Step Text-to-Motion Generation via Asymmetric Set Distillation | Posts and Telecommunications Institute of Technology, Hanoi, Vietnam | arXiv:2609.23010 关键词：文本到动作,一步生成,集合蒸馏,运动学监督,推理延迟 ⚠️ 前序问题：文本到动作生成质量上来了，但迭代采样要几十上百次网络评估，延迟高，交互式动画、游戏这类场景用不了。压缩成严格一步模型有两大障碍：一是文本条件下的动作天然多模态，同一提示对应多个合理动作，固定的教师-学生一一对应会把多种有效模式平均掉；二是只在归一化表征空间里对齐，解码后可能出现明显运动学瑕疵。 本文贡献：MixiMotion 用离线集合蒸馏：对每个提示让冻结的多步教师先生成 K=4 个动作存进离线教师库，学生训练与推理时都不再查教师；学生从独立噪声采样 M=8 个一步样本，用非对称双向集合匹配训练——教师到学生方向鼓励覆盖教师支持的多样动作，学生到教师方向抑制不被支持的生成，两侧权重 α=(1, 0.20) 故意不对称。再叠加解码空间的端点、轨迹与身体分组运动学监督。 MixiMotion: offline asymmetric set distillation for one-step text-to-motion generation. 实验效果：ViMoGen 上语义对齐 0.835，一步方法里第一（MotionLCM-1 0.825、naive 一步教师 0.711），逼近 50 步 HY-Motion-1.0-Lite 教师的 0.858；六个类别中有四类超过 MotionLCM-1。25 人盲评总体 4.33 对教师 4.50，同为一步/少步里最高（MotionHiFlow 4.20、MotionLCM-1 3.98）。单次网络评估延迟从 829.58 ms 降到 9.30 ms。 Qualitative comparisons between HY-Motion-1.0-Lite and MixiMotion. 批判点评：摘要里的 89.2× 是单次网络评估口径，正文自己给出的端到端加速是 6.75×——差了十几倍，文本编码与渲染等开销没算进去，读者很容易把 89.2× 当成真实提速。另外 0.835 其实仍略低于多步的 MLD 0.840（与 MDM 0.833 基本持平），「逼近教师」成立，但严格说还没超过最好的多步基线。消融里非对称权重只带来 0.829→0.835 的 0.006 增益，解码空间监督贡献 0.832→0.835，各组件边际收益都很小；学生从教师热启动、460M 参数与教师同量级，并没有变小。语义分数由 Qwen3-VL-30B 判 yes/no 问题自动给出，非人类标注。 6. SVEET：双向模型改流式 15 FPS Streaming Video Editing with Easy Adaptation | Shanghai Jiao Tong University | arXiv:2609.24788 关键词：流式视频编辑,双向转自回归,特征解耦,正交解耦训练,实时生成 ⚠️ 前序问题：预训练的双向视频扩散模型编辑质量好，但它需要看完整段视频，做不了逐帧自回归的流式编辑。直接改造会撞上两个矛盾：双向骨干的特征在时间上互相依赖，而流式推理要求条件帧彼此独立；可控性与因果性两个优化目标还会互相拉扯，联合训练通常顾此失彼。 本文贡献：先系统复盘已有 video-to-video 扩散方案，归纳出流式适配的两条原则：骨干特征解耦、条件帧独立。据此给预训练双向模型加一条辅助控制分支，用时间独立自注意力编码源视频，中间特征注入对应骨干块；为弥合双向与流式的特征空间差异，再提出解耦训练 ODT，显式约束「视频可控性」与「模型因果性」两个优化方向正交，使二者在推理时兼容，并实现跨异构骨干的零样本迁移。 Our proposed SVEET. 实验效果：视频风格迁移上 VLM 编辑准确率 7.4322 为全表第一（LiveEdit 5.8672、DayDream+CF 5.2321、SDV2 4.2297），CLIP 文本对齐 0.2287、主体一致性 0.9447、背景一致性 0.9298、运动平滑 0.9898、美学质量 0.5550 均为第一。消融中 ODT 把 2D 版从 7.1898 提到 7.4322、3D 版从 7.0653 提到 7.3315，推理期投影（6.4250）与两阶段 teacher forcing（7.0927）都不如它。单张 H100 上 15 FPS，未用任何额外加速手段。 Qualitative comparison results on stylization. 批判点评：唯一没拿第一的一列是整体一致性（0.1123 第二），而拿下这列的 Channel concat 编辑准确率只有 1.8902——几乎没在编辑，说明这个指标在这组对比里更接近「越不改越高分」，拿它当唯一失分项反而暴露了指标本身失效。实验只在风格迁移这一个任务上给了完整数字，其余编辑任务的优势主要靠定性图支撑。15 FPS 是在 H100 上测的，离真正的端侧实时还有距离，且论文没有给出不同分辨率或时长下的 FPS 曲线。 7. COT-TTS：听对话推断语气 MOS 4.15 COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning | The Hong Kong University of Science and Technology；Nanjing University；JIUTIAN Research, China Mobile；Peking University；China Mobile (Hong Kong) Innovation Research Institute | arXiv:2609.22697 关键词：上下文感知语音合成,链式推理,可编辑风格,级联对比,时长一致性 ⚠️ 前序问题：语音合成的说话方式现在基本靠用户显式下指令，但自然对话里该怎么说本应从上下文推断出来。现有系统要么让用户逐句指定，要么把 ASR、LLM、TTS 串成级联——参数动辄 30B 以上，而且级联转换会把原始语音里的副语言信息（非语言发声、节奏、情绪强度）丢掉。 本文贡献：把「上下文感知推理式 TTS」定义成新任务：给定历史对话音频、目标文本和参考语音，先理解上下文，再显式推理出一段中间 CoT，最后按指定音色合成目标语音，且这段 CoT 可被检查与编辑。配套建了大规模双语对话语音数据集（900 万训练样本，含 100 万高质量子集）和 800 条人工核验、源不重叠的评测基准，并给出 0.6B / 1.7B 端到端自回归模型，直接产出带情绪标注的转写、可编辑风格推理和语音 token。 Overview of the end-to-end CoT-guided autoregressive model. 实验效果：英文基准上 COT-TTS-0.6B 拿到 Human MOS 4.150 全表第一（级联 3.050–3.500），情绪一致性 0.954 第一，时长误差 1.155 秒远优于级联的 5.1–12.5 秒；中文基准上 0.6B Human MOS 4.200 同样第一。可编辑 CoT 变体在中文上拿到最高的 LLM 综合分 3.461 与历史理解 4.079。参数量只有级联系统（34–39B）的几十分之一。 Distributions of the normalized audio quality score, naturalness score, target-audio effective-speech ratio, and emotional expression intensity over 50K randomly sampled examples. 批判点评：「参数少几十倍、效果相当」要看是哪一列：UTMOSv2 2.943 低于 two-a3b-fish 的 3.138，DNSMOSPro 3.180 明显不及 two-qwen3omni-seedvc 的 4.240，WER 0.041 也高于 three-dia-a3b-fish 的 0.012；LLM 评测的 CoT 逻辑 4.558 不及 4.836，综合分 2.304 不及 3.601。真正领先的是人类整体评分、情绪一致性和时长误差三项。更值得注意的是两个反常：0.6B 的人类评分（4.150 / 4.200）高于 1.7B（4.050 / 4.150），规模变大反而变差；开启可编辑 CoT 后推理分数上去了，英文 Human MOS 却从 4.150 掉到 3.500——论文把这解释为改动把分布推离训练域，等于承认「可编辑」目前要付音质代价。 8. Common Cause：灰度视频让音频翻车 62% Common Cause, Not Cross-Attention: Blocking Visual Shortcuts in Audio-Video Generation | RIKEN iTHEMS；RIKEN AIP；South China University of Technology；Columbia University | arXiv:2609.22361 关键词：音视频生成,因果推断,反事实不变性,视觉捷径,共享表征失效 ⚠️ 前序问题：音视频联合生成器的训练数据里，「看起来是什么」和「听起来是什么」高度相关——某种材质、纹理或物体外观总与某种声音同时出现。这种相关往往是虚假的：模型可以只从外观预测声音，完全不碰「是什么事件」这个因果变量。一旦测试时外观与事件的关联被打破，模型就会直接合成错误事件的声音。 本文贡献：这是一篇受控的因果研究而非又一个模型。先建音视结构因果模型，让音频在构造上独立于视频的干扰外观，再系统检验流行解法——直接 cross-attention、共享 latent、bottleneck、无监督 shared/private 分解、忠实共享先验，证明这些「走公共因」的做法全都抓不住要害，因为共享 latent 不是干预，模型照样拿得到外观代理变量。真正堵住捷径需要对干扰变量做干预：在 SCM 与干预假设下，论文证明反事实不变性是识别因果预测器的充要条件。 The counterfactual intervention do(v:=v') made concrete (Colored-MNIST). 实验效果：在特征向量 SCM、程序化像素视频、真实图像配频谱音频、移动真实数字、条件生成器五个场景验证。反事实惩罚随因果线索变强从 263× 平滑坍缩到 2.7×，说明捷径只在因果线索难读时才被采用；Moving-MNIST 上直接模型 OOD 准确率 0.21 而本文方法 0.995。对真实预训练视频转音频模型 MMAudio 做输入干预：灰度化让 top-1 声音类别翻转 62%、色彩旋转 54%，最小编辑只翻 22%。 The failure, made audible. 批判点评：最尖锐的一段是「修不好」：作者用重着色一致性项把 MMAudio 的速度网络微调 1500 步，色彩旋转翻转率基本没动（62.5% → 63.9%），真正下降的是通用 OOD 敏感度（高斯噪声 83.3% → 70.8%）——这次微调买到的是整体更鲁棒，而不是论文想修的外观捷径，恰好反证诊断与修复之间还有距离。另外结论高度依赖 SCM 与干预假设成立，真实数据上的干预只能做「改写外观」这类近似；MMAudio 实验只有 24 条真实视频、其中 18 条用于微调，样本量偏小。 9. RewardVerse：先写准则再打分 PLCC 0.52 RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling | Institute of Automation, Chinese Academy of Sciences；University of Chinese Academy of Sciences；The Hong Kong University of Science and Technology；Tencent | arXiv:2609.22947 关键词：视频奖励模型,评分准则中介,标量漂移,RGPO,强化学习奖励 ⚠️ 前序问题：用强化学习优化视频生成模型时，奖励模型是地基，但现有视频奖励模型直接把复杂主观质量映射成一个标量，没有显式评分准则，于是出现标量漂移：分数尺度在不同提示之间坍缩或整体平移，RL 拿这种奖励训练并不稳。 本文贡献：借鉴人工标注工程，在「评测请求」和「打分器」之间插入一个动态评分准则 rubric 作为中间表示：先显式生成评测标准，再按准则打分，给标量一个语义锚点。为训练这条协作流水线提出两阶段 RGPO：阶段一用自演化的种子 rubric 预热打分器（偏好奖励 + 格式奖励 + 校准损失），阶段二联合优化 rubric 生成器、产出随请求自适应的准则，同时持续把打分器对齐人类评分。 Overview of RewardVerse and its two-stage RGPO training. 实验效果：16 维 EvalVerse 基准上 Joint(Ours) 在 14 个维度取得最高 PLCC，宏平均 PLCC 0.520、SRCC 0.493 均为第一（次优 Q-Scorer 0.467 / 0.354）；Logic 维度 PLCC 0.750 对次优 0.593，Action 0.566 对 0.390。漂移诊断上 RGPO 把均值偏差从 +0.610 降到 +0.164，PLCC/SRCC 从 0.240/0.222 提到 0.505/0.458，预测标准差从 0.457 扩到 1.332，被压缩的分数区间被重新拉开。换到闭源 Gemini-3.1-Pro 上，加 rubric 仍让 PLCC 从 0.490 提到 0.593。 Score distributions of six reward models on the shared 10-dimensional test subset. 批判点评：「14/16 维最高」是真的，但剩下两维恰好是最容易被低层画质解释的：Temporal 那列 Ours 0.538 不及 VideoScore2 的 0.697，SRCC 侧也有两列被 Q-Scorer 与 Raw-rubric 超过。也就是说在偏感知质量而非认知/时序的维度上，rubric 中介的优势会收窄——论文自己也点出 Q-Scorer 在光照、逻辑这类与低层画质相关的维度上仍有竞争力。Gemini 实验只对比了有/无 rubric 两个变体，且受限于 API 只能读自然语言浮点输出，无法与开源模型在同一训练协议下横比。此外 rubric 由模型自生成，其质量评估仍依赖同一套 VLM 裁判，存在自证循环的风险。 10. IMPLICIT-Bench：5493 条中性提示词测隐式偏见 IMPLICIT-Bench: Measuring Implicit Bias in Text-to-Image Models under Neutral Prompts | The University of Melbourne | arXiv:2609.24228 关键词：文生图偏见评测,隐式偏见,知识图谱三元组,中性提示,去偏见权衡 ⚠️ 前序问题：文生图模型的偏见评测大多用「一张 [职业] 的照片」这类槽位模板，只能孤立地探显性人口属性（性别、肤色）。它漏掉了更隐蔽的一类：在自然提示里，当与刻板印象相关的属性没有被指定时，模型仍然默认输出刻板结果——这种隐式偏见现有评测基本看不见。 本文贡献：用结构化知识图谱构造受控提示三元组：中性、刻板、反刻板三个变体只在单一偏见维度上不同，其余场景语义保持一致，从而能把偏见效应精确归因到模板类基准做不到的粒度。最终发布 5,493 条提示、覆盖 11 个偏见类别，并用多模型一致性、CLIP 验证和人工评测三重校验。基于它评测现有去偏见方法，揭示出偏见降低与语义保真之间的基本权衡。 Four-stage KG-grounded benchmark pipeline. 实验效果：过滤后保留的中性图显著偏向刻板端：VLM 均值从 1.75 升到 3.40（Qwen3-VL）、1.26 升到 2.65（Gemma-4），未参与筛选的 CLIP 验证器同向移动。最终基准上 CLIP 判定 67.7% 的 Δx 为正（Cohen's d = +0.39），Qwen3-VL 71.6%（d = +0.85），三个裁判在 Δx 层面正相关（Pearson r = 0.22–0.44）。12 名人工评审在 100 个样例上复现了同样排序：刻板 3.78 > 中性 3.17 > 反刻板 1.60，75.9% 的 KG 被认为确实反映社会刻板印象。 Cross-model qualitative comparison, set 1. 批判点评：三个裁判的一致性是这个方法最脆弱的一环：Gemma-4 的倾向比例只有 48.7%，几乎等于抛硬币，d 也只有 +0.29，与 CLIP 的 67.7%、Qwen3-VL 的 71.6% 不在一个量级；裁判间 Pearson r 仅 0.22–0.44，CLIP 与两个构建裁判的逐图相关性也只有 0.42 / 0.55。人工侧同样不完美：VLM 相对人类均值的 MAE 接近 0.97–0.99，且 12%–16% 的样例把刻板与反刻板的方向判反。样本分布也不均衡——physical-appearance 类只有 14 条，人工研究里 sexual-orientation 一行只落在单个样例上。作者自列的局限同样实在：KG schema 单轴、源数据带 WEIRD 偏斜、去偏见实验只在 Qwen-Image 上做过。 趋势观察 世界模型这一轮在比「记得住」，不是在比「画得好」 WorldCrafter 让目标相机位姿去决定历史怎么压成固定数量的 token，GAE 则干脆把几何基座的特征重参数化成生成用的隐空间。两者承认的是同一件事：分钟级的一致性不是把模型做大就能换来的，而是取决于历史和几何以什么形式存在。有意思的是 WorldCrafter 的加速版在重访一致性上反超了标准版，说明步数与一致性之间未必是正相关。 像素扩散与 latent 扩散的差距，正被「表征」而不是「架构」填平 PixelDiT2 不引入自编码器，而是让一个冻结的视觉编码器在整个去噪过程里持续提供 per-patch 表征，把表征学习和像素生成拆成两件事。不过两张主表横着读会发现，1.46 是像素侧最好、却仍不及 latent 侧 RAE-XL 的 1.13，IS 也不及 REPA-XL 的 306.3——差距在缩小，但没有消失。 加速方案的瓶颈已经从「算力」挪到了「监督」 SparkDiffusion 指出高稀疏下逐步损失在降、终态质量却不涨，根因是监督没有对齐终态；SVEET 则指出双向改流式的瓶颈不在算力而在两个优化方向互相干扰，于是显式约束它们正交。两者都不是靠新算子取胜，而是重新安排了训练时究竟该优化什么。 评测类工作开始把「裁判本身」当成被审对象 IMPLICIT-Bench 的三个裁判一致性只有 Pearson r = 0.22–0.44，其中一个几乎等于抛硬币；RewardVerse 则发现外部打分器在认知类维度上可以是负相关（VideoScore-v1.1 在 Logic 上 PLCC −0.245）。当奖励模型和偏见裁判都开始被自己的盲区反噬，评测可信度就成了需要单独论证的事，而不是默认前提。 人工智能炼丹君 整理 | 2026-09-23 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-09-21|伯克利线性注意力让H3视频快14.5倍-VDN 今日 AIGC 论文速览 今日共 10 篇 重点论文标题列表 Video DeltaNet（UC Berkeley × Impossible Inc. × UT Austin）：线性注意力让H3快14.5倍 dQwen3.5（University of Texas at Austin）：混合骨干省一半适配token Edit-VAR（中山大学 × 华南理工大学 × 清华大学 × 山东大学 × 南开大学 × 湖南大学）：免训练免反演改视频 Paint-Anything（ByteDance Seed × 浙江大学 × 南京大学）：写个十六进制就能上色 StepAudio 3 Music（StepFun（阶跃星辰）× ACE × 香港中文大学 × UC San Diego）：先写ABC谱再生成5分半歌 今日论文速览 1. Video DeltaNet：线性注意力让H3快14.5倍 Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation | UC Berkeley × Impossible Inc. × UT Austin | arXiv:2609.20744 关键词：视频扩散模型,线性注意力,混合注意力,推理加速 前序问题：视频扩散模型每一步去噪都要把又长又宽的时空 token 序列过一遍注意力，算力全压在这里。线性注意力在大语言模型里已经被验证好用，但直接搬到视频模型上会丢掉细粒度交互，画面质量跟着掉——于是「省算力」和「保质量」一直是二选一。 本文贡献：论文提出 Video DeltaNet（VDN），不做纯替换而是双分支并存：局部 Softmax 注意力管近处的细粒度交互，双向线性记忆管长程视频上下文。线性分支的核心是 Video Delta Attention（VDA），它不按 token 逐个更新记忆，而是以「帧」为单位、把该帧的全部空间 token 一起吸收进去，一帧只更新一次。两个分支各有独立的输出投影和可学习门控来校准配比；适配则走分阶段的教师对齐配方（Stage A1 先单独对齐每个线性分支，A2 再端到端训练组装后的混合层），把新通路渐进地塞进已预训练的模型里。作者把 VDN 落在 MiniMax H3 上，只对 video-to-video 这类交互用混合注意力，凡是牵涉文本或音频的交互仍然保留 Softmax。 实验效果：配合八步蒸馏和优化过的 SGLang 服务栈，VDN-H3 在 8 张 NVIDIA B200 上生成 14.3 秒 768p 视频，DiT 去噪只用 6.70 秒，相对同样 8 卡、50 步的 dense H3 基线提速 14.5 倍。质量方面：50 步时 Stage B 后的 VDN-H3 与蒸馏前的 Dense H3 基本持平（美学、技术、学习质量、FIRM 各项接近，仅两个端点保真度指标略降）；八步时在五项无参考质量指标上全部最高，VQA_T 比 FastH3 v2 高 10.78 分；四步时同样在五项上超过 Dense H3 加 Larry 适配器与 FastH3 v1，VQA_T 领先 FastH3 v1 达 12.64 分。 批判点评：这篇的价值在于把「线性注意力用于视频」从整体替换改成了按交互类型分流：视频与视频之间用线性，涉及文本、音频的跨模态交互留给 Softmax，承认了不同交互对精度的敏感度本就不一样，比一刀切务实得多。以帧为单位更新记忆也和视频 tokenizer 的时间结构对齐（H3 的 VAE 按五个连续潜帧为一个时间块解码，窗口顺着它走以免 Softmax 边界切断 tokenizer 的自然时间单元）。要留意的是 14.5 倍里混进了八步蒸馏和服务栈优化的贡献，架构本身的净收益要看 50 步那组对照；论文也明确说八步那组的显著性标记是各变体与 Dense 50 比，并非 VDN-H3 直接对 FastH3。另外全部结论都长在 MiniMax H3 这一个骨干上，换模型是否还成立尚无证据。 2. dQwen3.5：混合骨干省一半适配token dQwen3.5: Hybrid-Attention Diffusion Language Models | University of Texas at Austin | arXiv:2609.20751 关键词：扩散语言模型,混合注意力,模型适配,并行解码 前序问题：把预训练好的自回归模型改造成扩散语言模型（DLM）是条省钱路线，但几乎所有现成改造都从全注意力 Transformer 出发。问题是自回归这边早就转向了注意力与 RNN 层交错的混合架构，而 RNN 结构上就是因果的，要把它双向化并不容易——骨干和目标范式对不上。 本文贡献：作者索性直接试：以 Qwen3.5 为起点，在 0.8B、2B、4B、9B 四个规模上做自回归到扩散的适配，得到 dQwen3.5 系列，并拿一个全注意力模型做对照，专门回答两个问题——混合骨干是否是高效的适配起点，适配出来的模型还保不保留定义 DLM 的并行与任意序解码行为。评测统一用同一套解码方案（默认画布 1024）而非各家自带的推理配方，并用 trunk（去掉 embedding 与输出头）参数量作为容量口径对齐比较组。 实验效果：混合骨干确实更省：达到同一训练 loss 所需的 token 量大约只要全注意力对照的一半，配图上逐个 loss 档位统计的中位数是 2.21 倍 token 效率差。跨规模看，dQwen3.5 在任意序解码行为上与全注意力 DLM 相似，并行解码下表现强劲——HumanEval 与 MBPP 上 1× 到 8× 加速区间基本压住全注意力对照。 批判点评：结论有用且反直觉：结构上「不适合」双向化的混合骨干，反而是更划算的 DLM 起点，这对想复用现成混合架构权重的人是直接的好消息。但配图暴露了摘要没提的代价——在 MATH500 上，100B token 档的混合版明显落后全注意力对照（1× 时约 9.3% 对 15.8%），数学推理这一块的损失不小，只有在 4× 以上高加速区间才靠后者衰减更快而追平。作者自己在注释里也怀疑退化可能来自训练数据混合不如 Qwen3/Qwen3.5 原始配方，这等于承认「骨干差异」和「数据差异」还没被干净地分离。另外全部比较都在基座 checkpoint 上做，后训练被明确排除在外，而后训练对下游表现影响很大，所以这套结论离「能直接上线」还有距离。 3. Edit-VAR：免训练免反演改视频 Edit-VAR: Taming Visual Autoregressive Model for Precise Video Editing | 中山大学 × 华南理工大学 × 清华大学 × 山东大学 × 南开大学 × 湖南大学 | arXiv:2609.21268 关键词：视频编辑,视觉自回归,免训练,token替换 前序问题：文本引导的视频编辑要改对目标内容，同时保住没被编辑区域的外观和时间连贯。训练型方法控制力强但吃数据吃算力；免训练方法分两条路，免反演的不用恢复轨迹，可它那套保源引导会限制编辑强度、让语义改动做不彻底；反演型先恢复潜轨迹再重生成，近似误差会累积，导致源内容漂移和时间不一致。 本文贡献：Edit-VAR 是第一个基于预训练视觉自回归视频模型、既免训练又免反演的文本引导视频编辑框架。它把源视频直接编码成多尺度离散 token，用概率引导的条件 token 替换来保源；再用注意力引导的 token 级与尺度感知调制，只在与编辑相关的位置和生成阶段选择性放松源约束。Scale-Decoupled Generation 以「晚期尺度解除约束」的形式实现，负责重新生成运动一致的细节、减少纹理碎裂。另有残差引导的 token 剪枝，利用最后两个高分辨率尺度上的冗余来压推理开销。 实验效果：大量实验加一项盲测用户研究显示，Edit-VAR 在编辑保真度、源内容保持、时间连贯性和推理效率上整体优于现有免训练视频编辑方法。定性对比里，同样把「red boat hull」改成「dark blue boat hull」、把「tree frog」改成「poison dart frog」，VACE 会连船型和背景一起改，RAVE 整片色调偏移、青蛙变成纯绿，Edit-VAR 则只换掉目标物的颜色与纹理，港口的其他船、水面倒影和叶片细节都留住了。 批判点评：把编辑搬到离散多尺度 token 上做，绕开了连续扩散反演的误差累积，这个切换是这篇最实在的地方——问题定位在「反演」而不是泛泛的「一致性」，配套的概率引导替换也把「保源还是接受编辑」变成了可按 token 判定的显式比较。但摘要通篇只给「整体优于」的定性结论，没有一个具体数字，编辑保真与源保持之间的权衡到底移动了多少无从判断；残差剪枝说是降推理成本，省了多少、掉不掉质量也没披露。更根本的限制是它绑在视觉自回归视频模型上，而这类骨干的开源生态和画质上限目前都不如主流扩散视频模型，方法再好也受骨干天花板约束。 4. Paint-Anything：写个十六进制就能上色 Paint-Anything: Unified Any-Color Control for Image Generation and Editing | ByteDance Seed × 浙江大学 × 南京大学 | arXiv:2609.20816 关键词：图像生成,图像编辑,颜色控制,数据管线 前序问题：专业设计需要的是任意颜色控制：用任一 24 位十六进制值指定某个物体的目标颜色，生成和编辑都得听话。以往工作在颜色生成、编辑、上色上各做一块，却往往依赖专门的颜色表示或特制的推理流程，不通用。而大语言模型这边提供了一个更简单的起点——连小模型都已经能把十六进制值和颜色语义对上。 本文贡献：Paint-Anything 直接把十六进制写进文本提示（包在 color 标签里）由文本编码器编码，通过物体级颜色监督学出一套生成与编辑共享的 hex-prompt 接口。配套数据管线从真实图像构建 Paint-500K：经 VLM 定位、SAM3 掩码、CIE 空间颜色提取、编辑对合成、过滤与重新描述而成。关键设计是：真实图像有阴影，标签只能算近似颜色，所以再补一批纯色锚点——它们的像素与配对的十六进制严格一致；而这些锚点只在高噪声时间步参与训练，低噪声阶段仍交给自然图像，避免把纯色的平坦质感带进成品。论文还提出 Any Color Benchmark（ACBench），含 ACBench-T2I 与 ACBench-Edit 两部分，专门量物体级十六进制颜色保真度。 实验效果：在 FLUX.2-4B 上，Paint-Anything 把 ACBench-T2I 和 ACBench-Edit 分数相对基座分别提升 85.3% 和 28.3%，并在参与比较的方法中取得最高的平均 CompColor 分。消融实验支持这套训练配方。定性对比里基座 FLUX.2-4B 常给出「语义上说得通但数值上离要求很远」的颜色——要 #FF5634 的车身给成偏红、要 #000080 的沙漠绿洲给成亮蓝，Paint-Anything 则能贴住指定色值。 批判点评：「纯色锚点只在高噪声时段用」这个细节是全文最值得抄的一笔：它承认了监督信号在不同噪声尺度上的可信度不同，用时间步做分工而不是简单混数据，比多数「加一路干净监督」的做法更讲究。把十六进制塞进文本提示、不引入专门颜色编码器，也让它能直接挂在现成模型上。但 85.3% 是相对基座的提升，基座本身在这项上分数低，相对增幅容易放大；编辑侧只有 28.3%，两者差距说明编辑任务里颜色约束和内容保持的冲突还没解决好。更要紧的是 ACBench 是作者自建的评测，「在自家基准上提升最多」这件事需要外部复现才能定性。另外全部结果都在 FLUX.2-4B 上，跨骨干的可迁移性未验证。 5. StepAudio 3 Music：先写ABC谱再生成5分半歌 StepAudio 3 Music Technical Report | StepFun（阶跃星辰）× ACE × 香港中文大学 × UC San Diego | arXiv:2609.16034 关键词：音乐生成,音频tokenizer,MoE,流匹配DiT 前序问题：长篇音乐生成要同时满足两件事：既能按开放域文本指令走，又得让和声、节奏、旋律结构立得住。以重建为导向的音频 tokenizer 会把音乐结构和精细声学细节混在一起，产出高熵 token 不好建模；而模型若只是端到端硬生，编曲结构就成了隐式的、不可控的副产物。 本文贡献：StepAudio 3 Music 走离散与连续混合的设计。StepAudio Music Tokenizer 把音频表示成 50 Hz 的单码本流（码本 65536 条），靠语义引导的自监督与多任务训练同时保住音乐结构和重建所需信息；论文用受控对比（统一 25 Hz 帧率）比较了单码本 VQ、Semantic RVQ、Acoustic RVQ 三种离散瓶颈，以及不同 DiT 配置，才定下这个方案。渲染侧由流匹配 DiT 预测连续的 StepAudio VAE 潜变量，再由 VAE 解码器还原 48 kHz 音频。显式规划则交给一个 MoE 自回归模型：它先用 ABC 记谱法产出中间编曲方案（ABC-CoT），再去预测音乐 token，让和声、节奏、旋律结构成为生成上下文的一部分。渐进式训练课程加监督微调支撑歌曲与纯器乐生成、由干声生成伴奏、翻唱合成，最长 5 分 30 秒。 实验效果：经 DPO 强化学习后，模型在 AudioBox 的 Content Enjoyment、Content Usefulness、Production Quality 三项以及 MuQ-MuLan 相似度上取得所评系统中的最高分，SongBench 结果具备竞争力。在 Artificial Analysis Music Arena Vocals 初步榜上 Quality Elo 为 1105。 批判点评：「先写 ABC 谱再生成音频」把编曲从隐式副产物提成了显式可读的中间态，这既是可控性抓手也是可调试性抓手，是这篇最有辨识度的设计；单码本 50 Hz 加流匹配 DiT 的分工，也把「离散好建模」和「连续好还原」各自的长处分开用了。但榜单要看细账：Vocals 榜上它实际是第 4 名（前面是 Suno V5.5 的 1170、Mureka V9 的 1159、Mureka V8 的 1140），摘要里「仅次于 Suno V5.5 和 Mureka」的说法把 Mureka 两个版本折叠了，读起来比实际名次靠前。更关键的是它的投票样本只有 2119，而同榜 Suno、MiniMax 等都在 1 万以上，95% 置信区间也宽到 ±14，和第 5 名 Suno V5（1097，±6）的差距在统计上并不稳。论文自己也说明这些评测衡量的是生成质量，并不直接度量对单个 ABC 音符、和弦、小节的遵循程度——也就是说 ABC-CoT 到底被执行得多准，目前没有直接证据。 6. PhysStream：边生成边推物理的流式视频 PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control | University of Pennsylvania × Snap Inc. × KAUST | arXiv:2609.17521 关键词：视频生成,物理一致性,自回归,交互控制 前序问题：视频生成的交互控制正从粗糙提示走向对动态场景做细粒度、物理上有意义的操纵。但现有可控方法要么要求生成开始前就给出完整控制时间表，要么用像素空间信号去规定物体位置——那是在指派位置，而不是在指定物理动力学。 本文贡献：PhysStream 是面向物理接地的图生视频的自回归模型，带两样东西。一是结构化场景记忆：位置图与物体跟踪图都从已生成的帧里在线导出，边生成边更新。二是用稀疏的速度增量信号做细粒度运动控制，这些信号编码的是物理量，让模型去学底层动力学而不是背位置。训练分两阶段：先用运动控制条件微调一个双向模型，再训练一个因果自回归模型并额外接入结构化场景记忆，进一步提升物理一致性。 实验效果：PhysStream 支持对多物体桌面刚体场景做交互式的、生成中途的控制——这是此前方法不具备的能力。合成基准上运动分布距离（FVMD）比最强基线降低 33%，轨迹误差降低 12%；野外对比中超过 85% 的情况被人类评估者更偏好。长时程上，配图里一只玉色茶杯在桌面随机走动，从 t=0 一路走到 t=180 帧，远超 49 帧的训练窗口，仍持续跟随随机注入的速度增量交互并保持外观不崩。 批判点评：「控制信号编码物理量而非像素位置」这个取舍是关键：它把可控性问题从「让模型听话地摆物体」改成「让模型学会动力学然后自己推演」，这也是它能支持生成中途插入交互、而不需要预先排好完整控制表的根因。结构化场景记忆从已生成帧在线导出，避免了额外的外部状态追踪，工程上干净。但作者自己单列了一张图说明一致性指标的局限——FlashMotion 的一致性分数和本方法相当，却有明显伪影和幻觉物体，DragStream 生成近乎静止的画面也能拿高分，这等于承认 33% 和 12% 这两个提升所依赖的指标体系本身可信度有限，真正支撑结论的是那 85% 的人类偏好。适用范围也偏窄：主战场是多物体桌面刚体，非刚体只给了弹跳球和布料两个微调后的演示，离通用物理场景还远。 7. DeepSeek-V4.1-Flash：每token只留890字节KV DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression | DeepSeek-AI | arXiv:2609.19969 关键词：KV cache压缩,MoE,长上下文,推理成本 前序问题：长时程智能体大规模铺开后，模型负载越来越偏输入重。尽管此前工作已大幅降低长上下文计算成本，prefill 仍然很贵，而庞大的 KV cache 继续挤占 HBM 与 SSD 容量、吃掉数据传输带宽。算力、存储、带宽这三份需求合起来，构成了进一步压低部署成本的主要瓶颈。 本文贡献：DeepSeek-V4.1-Flash 是一个多模态 MoE 模型，骨干 552B 参数，支持最长 100 万 token 上下文。它采用因果编码器-解码器（CED）架构：解码时每 token 激活 16B 参数，prefill 时只激活 8B，这对智能体这类输入重负载显著改善成本效率。为把 KV cache 压缩推到极限，模型把 Compressed Sparse Attention 2（CSA2）里的跨层 KV cache 复用与 FP4 KV 缓存结合起来，使常驻 HBM 的全局 KV cache 降到每 token 890 字节，约为 DeepSeek-V4-Flash 的四分之一。再通过名为 SWA Bounded Replay 的部署优化，把常驻 SSD 或主机内存的持久 KV cache 压到约八分之一。论文另外精简了 V4 架构并引入若干高效扩展，在 45T token 的多模态语料上预训练并做了完整后训练。 实验效果：KV cache 占用大幅缩小的同时，性能明显好于基线。单 token decode FLOPs 随上下文增长的曲线上，V4.1-Flash 到 1024K 仍基本持平在 25 GFLOPs 上下，而 V4-Flash 已升到约 55、V3.2 约 600、V1 超过 3000。预训练阶段在自建留出集上，V4.1-Flash-Base 的 BPB 在所有任务上均低于 V4-Flash-Base 与 V4-Pro-Base。代码智能体基准上性能随 RL 训练规模持续提升，把最大上下文进一步扩到 1M token 后，在极长时程任务上还能继续涨。模型权重已在 HuggingFace 放出。 批判点评：890 字节每 token 这个数字值得记住：它把长上下文的讨论从「模型记不记得住」彻底拽到了「cache 放不放得下、搬不搬得动」，而 prefill 8B、decode 16B 的非对称激活更是直接冲着智能体负载「输入远大于输出」的真实形状去的，属于按负载画像改架构。但 FLOPs 曲线也显示，在约 100K 以下的上下文里 V4.1-Flash 反而略高于 V4-Flash（约 23 对 19 GFLOPs），这套设计是拿短上下文的一点效率换长上下文的大幅收敛，主要跑短请求的场景未必划算。另外 FP4 KV 缓存在什么任务上会先露出精度问题、SWA Bounded Replay 对首 token 延迟的影响如何，摘要都没交代；593 位作者的技术报告里工程优化与架构贡献高度耦合，外部想复现出同样的 890 字节与同等质量，难度不低。 8. The Weight Is Over：12GB显卡跑亚秒出图 The Weight Is Over - Interactive Diffusion on Consumer GPUs | Adobe × NVIDIA | arXiv:2609.21849 关键词：端侧推理,扩散加速,文本编码器蒸馏,显存预算 前序问题：端侧推理正在爆发，但势头几乎全在语言模型那边。扩散管线吃显存、对延迟敏感，还要编排文本编码器、Transformer、解码器以及后处理若干环节，这套流程远没有大模型推理循环那么标准化，落到消费级设备上格外难办。 本文贡献：论文在性能、质量、模型体积这个三角里找可落地的点，给出三项贡献：一个嵌入翻译器，把小文本编码器映射到大编码器的表示空间，从而砍掉权重与延迟；一套可复现的扫参配方，用来在扩散管线的速度／质量／显存三角里做导航；以及一个端侧交互式图像生成编辑器，在较新的 GPU 上实现亚秒级首图时间（TTFI）。 实验效果：跨设备扫参结果最能说明问题。RTX 4070 Ti（12 GB，可用约 11.2 GB）上，只要常驻权重预算没超出可用显存，每步延迟稳定在数百毫秒量级；一旦越过 11.2 GB 就触发 host-paging、必须从主机流式取权重，每步延迟直接跳到 10^4 毫秒级，相当于一个断崖。工作站级 RTX PRO 6000 Blackwell（96 GB）上「什么都放得下」，此时主导排序的就变成精度——NVFP4 最快，FP8 次之，FP16／BF16 落后。嵌入翻译器的容量门槛也量出来了：187M 的翻译器能紧跟 4B 参考编码器，29M 就会漂到「看着合理但内容不对」（要狐狸给猫、要拉面给黄色玩偶），3.5M 则塌缩成一种同质的暗黑森林风格。 批判点评：这篇的实用价值不在某个新模块，而在把「显存预算」立成了一等约束并画出了那条断崖：越过可用显存的惩罚不是线性变慢而是一到两个数量级，这意味着端侧调优的第一目标应该是「压进预算」而不是「提高吞吐」，顺序搞反了后面全是白做。把翻译器容量与语义保真的关系摸到 187M／29M／3.5M 三个档，也给了很实际的选型下界。但工作偏工程报告：只有两位作者、两台设备，没有跨更多消费级显卡的统计；质量评价主要靠定性图，缺少 FID 之类的量化指标，「187M 紧跟 4B」到底差多少无法量化。亚秒 TTFI 也限定在「较新的 GPU」上，对更老的消费级卡是什么表现没有交代。 9. MuSeC：语义声学分流的音乐codec Rethinking Music Tokenization: A Semantic Codec toward High-Fidelity LLM Music Generation | 西北工业大学 ASLP × 吉利汽车研究院（宁波） | arXiv:2609.21240 关键词：音乐tokenizer,语义codec,残差量化,音乐信息检索 前序问题：离散音频 tokenization 已成为原始波形与自回归建模之间的关键接口，所以音乐 tokenizer 得同时做到两件互相拉扯的事：支持高保真重建，又要产出适合语言建模的离散序列。以重建为导向的 tokenizer 常把音乐结构和精细声学细节混在一起，产出高熵 token 难建模；而语义引导的替代方案本是为语音设计的，套到音乐上不合身，往往还伤重建质量。 本文贡献：论文先把「音乐语义内容」重新定义成一个可度量的概念——以下游音乐信息检索（MIR）任务表现为锚。循着这个定义提出 MuSeC：一个音乐语义 codec，直接从混合信号里把语义与声学内容解耦，不需要做源分离。结构上，冻结的 SSL 编码器加 k-means 提供语义 token，另一路声学 RVQ 流捕捉细粒度声学信息，两路拼接后送解码器做高保真重建，训练时还有判别器提供对抗损失。 实验效果：MuSeC 在保住高保真重建所需信息的同时，产出对语言模型更友好的离散单元，重建质量有提升，token 序列也更可预测，为高保真 LLM 音乐生成提供了实际基础。MIR 任务上的自消融显示，完整 MuSeC（S1A16）在 GuitarSet/Chords（0.3648 对 0.1713）、EMO/R2A（0.6520 对 0.6110）、EMO/R2V（0.3696 对 0.3578）等任务上明显好于纯 k-means 量化版本，也普遍好于只有声学的 A16 变体。 批判点评：把「语义」从形容词变成以 MIR 任务表现为锚的可测量量，是这篇方法论上最扎实的一步——有了口径，语义与声学的分流才有得优化，而不是凭感觉设计码本。不做源分离直接从混合信号解耦，也省掉了一个容易引入误差的前置环节。但消融图显示优势并不一致：GTZAN/Genre 上 MuSeC-S1A16 是 0.5345，反而低于 k-means 的 0.6034，Lyrics 上两者基本持平（0.4903 对 0.4993）；更重要的是全部设置都明显低于连续 LeVo BEST-RQ 这条语义上限（多数任务差 0.1 以上），说明离散化的语义损失远未补齐。另外论文标题指向「高保真 LLM 音乐生成」，但实际只做到 codec 这一层，接上语言模型后端到端能好多少并没有验证，「更可预测的 token 序列」目前也缺少熵或困惑度之类的直接数字支撑。 10. OmniVBench：1.2万条清单查参考跑没跑偏 OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation | 腾讯 × 香港科技大学（广州） | arXiv:2609.22069 关键词：视频生成评测,参考到视频,数据集,因子级评估 前序问题：参考到视频（R2V）生成正朝着越来越通用、越来越多样的参考控制演进，催生了所谓全模态 R2V 这一范式。但现有基准跟不上：测试用例覆盖的参考类型与组合都有限，评估协议大多只看整体参考一致性，忽略了参考因子是否被正确保留、解耦并路由到对应目标。同时全模态 R2V 训练数据构建成本高，合适的训练资源很稀缺。 本文贡献：论文同时给出 OmniVBench 与 Omni-R2V Dataset，一个管评测一个管训练。OmniVBench 把 R2V 评测扩展到更广的参考类型、更细的控制任务和更丰富的参考组合，覆盖 7 个任务族、18 个细粒度任务，横跨内容、运动、风格、结构、叙事与多参考设定，共 813 个评测用例。核心是因子级评估：用 12172 条针对具体用例的检查清单条目，逐条判断意图中的参考因子是否被忠实保留、是否被正确解耦并绑定到目标、是否按指令实现。Omni-R2V Dataset 主要取材于大规模专业视频素材库，包含 34 万条处理好的训练样本，覆盖多种参考类型与多参考组合，并给出各任务专用的参考-目标配对构建管线。 实验效果：对先进的开源与闭源 R2V 模型做的大范围评测显示，各任务族和各评估维度上都存在明显性能差距，暴露了当前 R2V 模型的残留局限。配图给出的多参考用例里，RF（参考保真）／IR（指令遵循）两项分数分化极大：UniVideo 只有 33.2／14.8，LoomVideo 43.1／36.7，OmniWeaving 48.0／56.0，Kling 3.0 Omni 62.9／100，Bernini 85.2／69.7，Gemini Omni 91.2／100，而 MiniMax H3、Seedance 2.0 与 Seedance 2.5 在该用例上拿到 100／100。 批判点评：把「参考一致性」拆成保留、解耦、路由三件事，是这套基准最有价值的判断——多参考场景真正容易错的不是「像不像」，而是把 A 参考的属性贴到了 B 目标上，而整体一致性分数恰恰看不出这类串台。12172 条逐用例清单让这种错误变得可指认。数据侧 34 万条专业素材样本对社区也是实打实的补给。但代价是清单法对判定器的依赖很重：谁来回答这 1.2 万条问题、判定器自身的偏差和一致性如何，摘要没有交代，而这直接决定分数可信度。813 个评测用例摊到 18 个细粒度任务上平均每任务仅四十余例，统计功效对细分结论偏弱；配图那个用例里三个模型同时打满 100／100，也提示清单在强模型区间容易饱和、区分度下降。另外基准与数据集同源、且出自同一团队，用该数据训练的模型在该基准上的成绩需要额外小心解读。 趋势观察 注意力的省法，从「换掉它」变成「按交互类型分流」 Video DeltaNet 只在视频与视频之间用线性注意力，凡涉及文本或音频的交互仍留给 Softmax；dQwen3.5 则把注意力与 RNN 交错的混合骨干当成扩散语言模型的适配起点。两篇的共同前提是承认不同交互对精度的敏感度本来就不同，一刀切替换必然在某处付出代价。 长上下文的成本，已经从算力转到显存和带宽 DeepSeek-V4.1-Flash 把常驻 HBM 的全局 KV 压到每 token 890 字节、持久部分再压到八分之一，并用 prefill 8B、decode 16B 的非对称激活去贴合智能体负载的真实形状；The Weight Is Over 则量出消费级显卡越过可用显存后延迟跳升两个数量级的断崖。两者都在说：放不放得下、搬不搬得动，已经比算得快不快更决定部署成本。 生成过程正在被拆出显式的中间态 StepAudio 3 Music 先用 ABC 记谱产出编曲方案再预测音乐 token，PhysStream 把位置图与跟踪图作为结构化场景记忆在线维护，Edit-VAR 缓存源概率与交叉注意力图再逐 token 决定保源还是改。把过去隐含在权重里的东西显式化，换来的是可控性与可调试性。 评测开始追问「参考有没有被放对位置」 OmniVBench 把参考一致性拆成保留、解耦、路由三件事，用 1.2 万条逐用例清单指认把 A 的属性贴到 B 上的串台；Paint-Anything 自建 ACBench 专量物体级十六进制色值保真；MuSeC 干脆把「音乐语义」定义成下游 MIR 任务表现。三者都不再满足于一个整体相似度分数。 人工智能炼丹君 整理 | 2026-09-21 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-08-28|京东JoyAI-Echo-1.5给长视频装上跨镜头记忆 今日 AIGC 论文速览 今日共 10 篇 · 视频生成与世界模型 2 篇 · 视频编辑与剪辑规划 2 篇 · 自回归图像生成加速 1 篇 · 3D 资产纹理与物理化 2 篇 · 数字人与语音交互 2 篇 · 评测与度量审计 1 篇 重点论文标题列表 JoyAI-Echo-1.5（京东 Joy Future Academy）：跨镜头记忆守住身份与音色 4DStreamCtrl（北京大学、腾讯混元）：单卡 480p 20FPS 交互式 4D 控制 RefVideo-6M（中国电信 TeleAI、香港中文大学、中山大学、复旦大学、清华大学）：600 万参考式编辑对反转构造 MTAR（佛山大学、香港大学、中山大学）：训练时间砍 76% 推理零开销 RefineCut（香港中文大学（深圳）、vivo AI Lab、中国科学院大学、东南大学、北京大学）：8B 开源规划器闭环出剪辑时间线 今日论文速览 1. JoyAI-Echo-1.5：跨镜头记忆守住身份与音色 Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds | 京东 Joy Future Academy | arXiv:2608.23383 关键词：长视频生成,音视频联合生成,跨镜头记忆,世界模型,少步因果蒸馏,分离RoPE,京东 前序问题：视频生成正在从「几秒一个孤立片段」走向「长篇叙事」和「可进入的交互世界」，但这一步跨过去要同时满足三个互相拉扯的要求：跨越多个镜头保持人物长相和声音不漂移、持续响应用户的控制输入、以及在长时间 rollout 中不崩坏。已有做法各有短板——纯靠拉长注意力窗口的方案显存和算力随长度爆炸；单纯依赖首帧条件的方案在第二个镜头之后身份就开始跑偏；世界模型类方案能响应导航输入，却往往把控制信号编码成与几何脱节的抽象向量，导致视角变化不符合真实相机运动。更棘手的是音频：语音身份（音色）与画面身份必须同步维持，而长序列里音画一致性的退化通常比画面本身更早被听出来。 本文贡献：JoyAI-Echo-1.5 是一套统一的音视频生成系统，做成两个针对性变体，共享同一套记忆条件化设计。长视频变体的核心是可组合的跨镜头记忆：从多个此前镜头聚合视觉证据（单帧视觉记忆），同时从「语音过滤后的整镜头音频」中提取说话人线索（音频记忆），两类记忆与文本、图像条件可以任意组合。关键设计是分离的 RoPE 坐标——记忆条目不与当前生成窗口共用位置编码，而是各自分配独立的坐标基点（μ 依次取 500/550/600 且 σ=0），从而让模型把记忆当作「可检索的外部条目」而非「更长的上下文」。世界模型变体则把异构导航输入（键盘、轨迹等）统一换算为标定过的 6-DoF 公制相机轨迹，经几何感知的条件通路注入，使控制与操作设备无关。为支撑长时程效率，作者把双向音视频骨干改造成因果少步生成器：先用渐进 teacher forcing，再在自生成 rollout 上做短时程与长时程的 Self-Gradient Forcing；蒸馏侧采用音视频联合 DMD，视频分支全量微调、音频分支走 LoRA 的非对称优化，并给音频额外加 patch 判别器与 latent RMS 能量匹配做稳定化。 Overview of memory-conditioned long-form generation and few-step acceleration in JoyAI-Echo-1.5. 实验效果：长视频设定下，JoyAI-Echo-1.5 在跨镜头一致性、视觉质量、文本对齐与语音保真度四项上均优于既有长视频基线；与自家 1.0 版本的同故事对比可以看到人物长相在第 0/5/10/15/20/23 镜头间明显更稳。世界模型变体在 WBench 上取得平均 81.7 分排名第一，并在 SANA-WM-Bench 上拿到领先的视觉质量与长时程持久性。作者还展示了在 Director Agent 编排下生成 10 分钟连续音视频叙事的案例。代码与项目页已开源（jd-opensource/JoyAI-Echo）。 Qualitative comparison between JoyAI-Echo-1.5 and JoyAI-Echo-1.0 under the same long-form story. Frames sampled from temporally separated shots demonstrate the improved character consistency, scene stability, and visual rendering of JoyAI-Echo-1.5. 批判点评：这是今天最有系统完成度的一篇，把记忆、几何控制、rollout 感知训练三件事拧成了一条可交付的产线，「记忆用独立 RoPE 坐标编址」这个设计尤其值得借鉴——它把长时程一致性从算力问题重新定义成检索问题。但要清醒看待几点：一是作者自己的对比图（v1 vs v1.5）虽然显示身份更稳，但这是自家版本迭代的自证，跨镜头一致性缺少与外部强基线在同一故事下的逐镜头量化；二是 WBench 81.7 的第一名含金量取决于该榜单的竞争密度与提交时间窗口，且世界模型变体与长视频变体是两套权重，「统一系统」在部署时实际是双栈；三是 10 分钟叙事依赖 Director Agent 做镜头编排，这层是外部 agent 而非模型内生能力，把它算作模型的长时程能力会高估；四是音频分支只用 LoRA 而视频全量微调，这个非对称选择在论文里更多是稳定性权衡的结果，音频质量上限是否被 LoRA 限制没有充分消融。 2. 4DStreamCtrl：单卡 480p 20FPS 交互式 4D 控制 4DStreamCtrl: Interactive Video Generation with Online 4D Control | 北京大学、腾讯混元 | arXiv:2608.25479 关键词：视频生成,4D控制,3D point track,流式生成,因果蒸馏,相机控制,北大腾讯混元 前序问题：生成视频已经足够逼真，但要真正当成交互工具用，必须能精细指定「物体和相机随时间怎么动」——而现有方法各自只覆盖一角：相机参数类方法能调视角但搬不动物体；2D 轨迹类方法在图像平面上操作，忽略深度与遮挡，导致物体沿轨迹移动时尺度和前后关系失真；近期的 3D 方法补上了几何，却只能离线跑且视频长度固定。换句话说，没有一种方法同时做到「相机与物体都是 3D 一致可控」加「实时流式生成」。这两个要求还互相冲突：3D 一致性通常需要全序列联合优化，而流式生成要求因果、恒定显存。 本文贡献：作者的核心主张是：相机运动、物体轨迹、深度这三件事可以统一进单一的 3D point track 表征，一个模型在一次前向里就能同时做相机与物体的联合控制、深度编辑和运动迁移。为了规模化学到这个接口，他们从野外视频挖掘 3D 运动监督，构建 OpenVidHD-Motion3D 数据集，并用一个轻量的 Geometric Motion Head 把 3D tracks 与文本编码为 2D 与深度运动特征，与含噪 latent 融合后送入带 3D RoPE 的 DiT，再解码成视频——这个编码器插在预训练视频扩散模型上，不需要重训骨干。关键一步在于这个编码器是时序可分离的，因此可以把模型蒸馏成因果流式学生：生成任意长视频只需四步去噪，且显存与长度无关。 Overview of 4DStreamCtrl capabilities. (a) Motion transfer. Given a source video, we extract decomposed 4D representations of camera motion, human motion, and background structure, which transfer to a new scene via image style transfer while preserving the original motion. 实验效果：统一设计在运动控制精度上超过此前的相机专用、2D 轨迹和离线 3D 方法，同时覆盖了它们各自孤立支持的模态。4DStreamCtrl 在单张高端 GPU 上以 20 FPS 生成 480p 视频，在数百帧尺度上保持时序连贯，作者称这是首次实现交互式 4D 可控流式生成。控制点数量消融显示质量在训练时使用的 256 条 track 处达到峰值（PSNR 18.27、SSIM 0.64、LPIPS 0.23），点数过少（16）或过多（1024）都会明显掉点。 Effect of the number of control points on student model generation. PSNR, SSIM, LPIPS, and EPE as the inference-time track count varies from 16 to 1024. Quality peaks at the training count of 256. 批判点评：把相机、物体、深度三种控制统一到 point track 这一个表征上，是这篇最漂亮的地方——它让「一次前向多种控制」成为可能，而不是堆三个适配器。工程指标也扎实：单卡 20 FPS 加长度无关显存，确实够得上交互门槛。需要注意的是：一是 point track 的质量完全依赖上游 3D 追踪器，野外视频挖掘出的监督在遮挡、快速运动、低纹理场景下必然带噪，论文没有量化追踪误差如何传导到控制精度；二是 track 数量的敏感性不小（1024 点时 PSNR 从 18.27 掉回 16.21），说明模型对推理期配置的鲁棒性有限，实际部署需要把点数锁在训练值附近，这对「艺术家自由指定轨迹」的宣称是个约束；三是作者自己的失败案例图承认长时程下小人脸与背景物体会逐渐模糊、并出现因果不一致的交互（蛋糕莫名缺一块），说明四步因果学生在细节保真上仍有代价；四是 480p 分辨率对「交互式创作工具」偏低，抬到 720p/1080p 后 20 FPS 能否维持是未知数。 3. RefVideo-6M：600 万参考式编辑对反转构造 RefVideo-6M: A Reliable Reference-Based Dataset for Instructional Video Editing | 中国电信 TeleAI、香港中文大学、中山大学、复旦大学、清华大学 | arXiv:2608.26101 关键词：视频编辑,参考式编辑,数据集,Mixture-of-Tokens,指令编辑,TeleAI,中国电信 前序问题：指令式视频编辑这两年的进展主要靠大规模数据集推动，但现有数据集有两个硬伤。第一是「目标视频本身是生成的」：多数数据集的编辑后视频由自动编辑模型产出，本身就带伪影和瑕疵，拿它当监督信号等于教学生模仿一个不合格的老师，误差会被继承甚至放大。第二是「只有文字没有参考图」：大部分公开数据集依赖纯文本指令，而真实的精确编辑往往需要视觉参考——要把这件衣服换成那件、把人脸保持成这个身份、把材质换成这块纹理，光靠文字描述无法唯一确定目标，也无法保持身份一致。 本文贡献：RefVideo-6M 用一个反转技巧同时解决这两个问题：把无伪影的真实视频当作编辑「目标」，再用多个编辑专家反向生成质量筛选过的「输入」条件——也就是把原视频与编辑后视频的角色对调，从而保证监督端永远是真实画面。数据规模为 500 万视频编辑样本加 100 万图像编辑样本，覆盖 26 类视频编辑任务与 6 类图像编辑任务，并提供约 600 万个视觉参考，参考类型相当多样：圈选、边界框、光照方向、外扩掩码、背景图、风格、纹理、物体、人物、服装。构造管线除了八个开源专家外，作者还自训了四个专家来补覆盖。配套模型 RefMoT 采用 Mixture-of-Tokens 设计来高效吸收参考信息：视频/参考/文本/条件文本四路 token 各有独立的 QKV 投影与 FFN，但共享 AdaLN 与注意力，并用结构化掩码控制哪几路可以互相看见，从而在降低训练成本的同时提升参考引导编辑质量。 Overview of RefMoT. RefMoT adopts a Mixture-of-Tokens design to efficiently incorporate reference information, reducing training cost while improving reference-guided editing quality and preserving strong generalization. 实验效果：数据集覆盖 26 个视频编辑任务与 6 个图像编辑任务，视频长度以 81 帧和 129 帧两档为主，任务分布上物体添加/移除/换色/重纹理等局部编辑占主体。作者提供了有参考与无参考两种设定下的用户研究界面与对比，RefMoT 在参考引导编辑质量与泛化性上均有提升，同时训练成本低于将参考直接拼接进序列的朴素做法。 Statistics of RefVideo-6M. The dataset includes 26 editing tasks and 6 image editing tasks. 批判点评：「把真实视频当目标、反向合成输入」这个反转思路是本篇最有价值的部分，它绕开了「用生成数据训生成模型」的误差累积陷阱，思路干净且可复用到图像编辑之外的领域。RefMoT 的 Mixture-of-Tokens 也是务实设计——共享注意力省算力、独立 FFN 保模态特性。但几点必须打问号：一是反转策略只对「可逆」任务成立，物体移除反转成物体添加是自然的，但风格迁移、重打光这类反转后语义并不对称的任务，输入条件的真实性依然依赖那 12 个专家的质量，论文没有按任务类型拆开报告数据可靠性；二是「600 万参考」的口径包含圈选、边界框这类几何提示，与真正的图像参考混在一个数字里，容易高估视觉参考的规模；三是评测以用户研究为主，缺少在公开视频编辑基准上与其他数据集训练的同架构模型做控制变量对比，「数据集更好」的结论强度受限；四是 81/129 帧的长度上限意味着这套数据对长视频编辑基本无覆盖。 4. MTAR：训练时间砍 76% 推理零开销 Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation | 佛山大学、香港大学、中山大学 | arXiv:2608.25386 关键词：自回归图像生成,多token预测,训练加速,对比正则,语义丢弃,DINOv3,ACM MM 2026 前序问题：自回归图像生成把图像当作离散 token 序列建模，扩展性好、保真度高，但传统的 next-token prediction（NTP）有三个连在一起的毛病：监督稀疏且近视——每步只预测紧邻的下一个 token，模型学不到稍远处的结构；表征区分度不足——采样得到的 token 表示彼此不够可分；训练成本高——必须在完整 token 序列上做密集计算，而图像 token 里有大量低信息量的背景与平坦区域，这些位置消耗了同等算力却贡献很少学习信号。已有加速手段多数动的是推理侧或架构，训练阶段「每一步梯度携带多少信息」这个维度反而少有人碰。 本文贡献：MTAR 是个纯训练期框架，三个组件全部只在训练时生效、推理时零额外开销。一是多 token 预测（MTP）：在原有 NTP 头之外再加一个 MTP 头，对「当前 token 正下方」的 token 提供辅助监督，把稀疏近视的信号加密成对多个未来 token 的联合监督（论文记作 MTP(R₁,B) 配置）。二是 token 级对比正则（TCR）：对采样到的 token 表示走共享权重的 MLP 得到相似度矩阵，同类拉近异类推远，显式提升表征可分性。三是语义丢弃（SD）：用 DINOv3 为每张图提取 token 重要度图，丢掉低重要度 token 只保留语义显著的位置参与训练，保留 token 沿用其原始空间索引以免位置信息错乱——作者还对比了 SigLIP2，发现 DINOv3 的重要度图在 50% 保留率下更好地保住了 VQ 解码后的结构。 Overview of the proposed framework. (a) Overall framework under the MTP (R$_1$, B) setting: besides the original NTP (R$_1$) head, an additional MTP head is introduced to provide auxiliary supervision for the token directly below the current token. (b) TCR: Sampled token representations are projected by a shared MLP to compute a similarity matrix. 实验效果：在 ImageNet 上，相比 LlamaGen，MTAR 拿到最多 0.95 更低的 FID 与 39% 更快的训练；而在总量口径上（LlamaGen 训练 300 epoch，MTAR 只训 100 epoch），Base 模型训练时间从 115 小时降到 30 小时（降 74%）、显存从 45 GiB 降到 31 GiB（降 30%），Large 模型从 175 小时降到 42 小时（降 76%）、显存从 97 GiB 降到 73 GiB（降 25%）。即使只用 1/3 的训练迭代数，性能仍与基线相当或更好。 Comparison of total training time (hours) and total GPU memory usage across all training GPUs between LlamaGen and MTAR for the Base and Large models, along with the corresponding FID values. LlamaGen is trained for 300 epochs, whereas MTAR is trained for only 100 epochs. 批判点评：这篇的价值在于把优化战场从推理侧挪回训练侧，且三个组件都不污染推理路径——对工程落地非常友好，尤其 SD 用现成视觉基座的重要度图来分配算力，思路简单但有效。但读数字时必须小心口径：论文摘要里的「39% faster」与配图里的「降 74~76%」不是一回事，后者把 epoch 数从 300 砍到 100 一起算进去了，等于把「收敛更快」和「单步更省」混在同一个百分比里；如果只看同迭代数，真实加速是 39%。其次，MTP 只对「正下方」一个 token 加监督，比语言模型里成熟的多 token 预测要保守得多，为什么选这个方向、能否推广到更远距离缺少系统消融。第三，SD 引入了对 DINOv3 的外部依赖，重要度图的偏好会隐式塑造生成分布（比如系统性弱化背景细节），这个副作用没有被评估。最后，实验规模停在 ImageNet 256×256 与 LlamaGen Base/Large，能否在更大规模或文本条件生成上复现，仍是开放问题。 5. RefineCut：8B 开源规划器闭环出剪辑时间线 Plans You Can Check: Verifier-Grounded Learning of an Open-Weight Planner for Executable Video-Editing | 香港中文大学（深圳）、vivo AI Lab、中国科学院大学、东南大学、北京大学 | arXiv:2608.25622 关键词：视频剪辑规划,可执行时间线,验证器,开源规划器,DPO,EMNLP 2026,vivo 前序问题：实际的视频剪辑远不只是像素生成：剪辑师要把一份创作 brief、一个素材池、音乐元数据和一堆硬性约束，转成一条可执行的时间线——选哪些片段、怎么裁、怎么排、用什么转场、总时长和音乐怎么对齐。这个「决策层」此前基本被忽略，或者被简单包装成「给前沿大模型套个 workflow」的做法。这条路有三个问题：规划过程隐式不可复现、生成的方案无法被机器验证、也没法拿来训练自己的模型。更麻烦的是这个任务没有唯一正确答案——同一个 brief 有很多种合理剪法，所以直接模仿老师的输出并不合适。 本文贡献：RefineCut 把这件事定义为「可执行视频剪辑规划」，并训练一个紧凑的开源权重规划器而非包装前沿模型。规划器通过结构化补丁（patch）编辑一条带类型的时间线，覆盖片段选择、裁剪、排序、转场、时长与音乐对齐；每个补丁由一个确定性验证器实际应用并对照显式的约束账本（constraint ledger）逐条检查。因为不存在唯一正解，训练不直接模仿老师：作者把每个多老师分支都通过验证器重放一遍，只保留「验证器认为最好」的修复作为监督（verified SFT）。第二阶段 RefineCut-Evo 让学生用验证器加任务评分表给自己的修复打分，挑高边际的偏好对做 DPO 训练。最终这个 8B 规划器在推理时完全跑在闭合验证器回路里，不再需要调用任何老师模型。 Overview of RefineCut. Verifier replay and self-improvement turns noisy trajectories into an evolved planner. 实验效果：论文构建了 RefineCut-Bench（3578 条任务）用于评测。系统的实际形态是一个闭环编辑 agent：维护时间线状态与约束账本（时长边界、转场规则、步数预算 ≤3、禁用项、风格一致性），规划器输出 RefinePatch，验证后重算状态并接受或拒绝，循环不超过 3 次，最终产出可执行的 final_plan.json。作者用 GPT-5.4、DeepSeek-V4-Pro、Qwen3-Max 作为多老师来源，并明确展示了「老师选择 ≠ 验证器最优」的错配现象，这正是 verified SFT 的动机。 RefineCut learns an open-weight planning layer that turns editing intent into executable edit plans. 批判点评：把「剪辑决策」从像素生成里剥出来单独建模，并且用确定性验证器做监督筛选，这个问题定义本身就是贡献——它让一个原本靠 prompt 碰运气的环节变得可复现、可验证、可训练，「老师选择 ≠ 验证器最优」的观察也很有说服力。8B 能本地跑、推理期不依赖老师，对产品化是实打实的好处。但天花板明显被验证器框住了：验证器只能检查可形式化的约束（时长、转场规则、禁用项），而剪辑质量里最关键的节奏感、情绪曲线、镜头语言恰恰无法写成账本条目——所以「verifier-best」未必等于「人觉得好」，论文若没有充分的人工偏好评测，这个 gap 就是悬着的。其次多老师全是闭源前沿模型，数据构造成本与可复现性受制于这些 API，且学生的能力上限被老师分布圈定。第三，步数预算 ≤3 是个相当紧的约束，复杂 brief 下是否够用没有讨论。最后 RefineCut-Bench 由作者自建，缺少第三方基准交叉验证。 6. GLOSS：单形状自监督纹理刷进 Blender GLOSS: Geometric Local Self-Similarity Learning for Faithful Reference-Guided Texture Fill | NVIDIA、普林斯顿大学、多伦多大学 | arXiv:2608.25461 关键词：3D纹理生成,参考引导,几何自相似,PBR材质,Blender插件,SIGGRAPH Asia,NVIDIA 前序问题：纹理艺术家想为一个已有 3D 形状快速试多种外观，条件图像生成本来很合适，但当前最强的方法仍有两个缺口。一是保真度：生成整个物体纹理时很难同时贴合精细几何细节和单视图参考，留给艺术家引导的空间很小——模型倾向于按自己的全局理解重画，而不是老老实实跟随参考。二是灵活性：现有自动模型多数是「给个全局提示、一键出整体纹理」，艺术家无法从不同来源交互式、可控地探索多种纹理组合。这类方法通常还要在大规模 3D 数据集上训练，数据门槛高。 本文贡献：GLOSS 走了一条反直觉的路线：不追求在大 3D 数据集上学通用先验，而是针对单个 3D 形状训练一个「形状专属」的局部纹理生成与补全模型，利用自然与人造形状中普遍存在的几何自相似性以及几何-纹理相关性。具体做法是在该未贴图形状的大量单视图生成图像上训练网络，让它学会通过关注局部几何（比如鳞片走向）来为局部区域上色，并忠实跟随作为条件的纹理参考块。训练完成后，任何新参考都能通过逐块 inpainting 迁移成整个目标物体的纹理。作者还展示了批量多注意力可视化，说明目标图像中心 patch 如何跨批次关注参考图像的各个 patch。 We train a GLOSS network on many single-view generated images of one untextured 3D shape (left), allowing it to learn how to texture local shape regions by attending to local geometry (such as scales) and faithfully following conditional texture patches. 实验效果：质量上达到或优于强图像条件纹理生成基线，同时额外支持局部几何条件下的纹理修补（由艺术家挑选参考引导），并可泛化到 PBR 材质与未见网格做纹理迁移。作者把这个纹理填充能力做成 Blender 插件，与若干 3D 纹理专业人士做了试点，对模型的可控性、实用性与创作启发性反馈积极。论文也诚实给出失败案例：语义纹理错配，以及几何与纹理相关性低时的失效。 Data and Training: we use off-the-shelf models to generate training data for our local texture inpainting model. Steps A to F show the patch data generation pipeline. 批判点评：「per-shape 专属模型」这个取向很有意思——放弃泛化换取对单个资产的极致保真与可控，正好命中艺术家工作流里「这一个模型要做到位」的真实需求，而且大幅降低了数据门槛。做成 Blender 插件并请真实从业者试用，这种落地闭环在学术论文里不多见，值得加分。但代价也很直白：每换一个形状就要重新训练一个网络，论文摘要没有给出单形状训练耗时，这直接决定它是「可用工具」还是「demo」；如果一个资产要等数小时，交互式探索的价值就被抵消了。其次「几何自相似性」这个前提有明确适用边界——鳞片、砖墙、织物这类重复结构受益明显，而光滑无特征或语义强依赖（比如人脸、品牌标识）的表面会退化，作者的失败案例也承认了几何-纹理相关性低时失效。第三，专业人士试点是小样本主观反馈，缺少与现有商业工具的定量对照。最后，作者之一因会议地点原因撤出 SIGGRAPH Asia 2026 发表，属论文外信息，但说明该工作原定投向图形学顶会。 7. Gen2Physics：材质分割 mIoU 15.6 涨到 48.3 Gen2Physics: Grounding Generated 3D Meshes in Physics via Multi-View Material Decomposition | Google DeepMind、Google Research、布里斯托大学 | arXiv:2608.23869 关键词：3D生成,物理仿真,材质分解,多视图一致性,VLM精修,水密子网格,Google DeepMind 前序问题：生成式模型现在能产出高保真 3D 网格，但这些输出缺少交互仿真、游戏和机器人所需的物理属性——它们只是「看起来对」的壳，没有材质、密度、内部结构信息，扔进物理引擎里行为完全不对。此前的物理化工作大多针对体素或神经场等体表征，与标准物理引擎不兼容，需要额外转换；而且它们通常把整个网格当作单一均质物体处理，一把钳子的金属头和塑料柄被赋予同一个密度，自由落体和碰撞行为自然失真。 本文贡献：Gen2Physics 是一套统一自动的框架，直接在网格上操作以产出可立即仿真的资产。管线三段：先用微调过的 Vision Transformer（论文亦称 DPT）在多视图 2D 渲染上做稠密材质分割；再做稳健的 2D-to-3D 一致性投影——把资产每个面投影到各渲染视图上并考虑遮挡，按跨视图投票为每个面指定材质标签，从而把噪声大、视图间不一致的 2D 掩码聚合成一致的 3D 材质图；最后由视觉语言模型（VLM）引导精修，利用上下文推理分配物理属性并推断内部几何（实心还是空心）。通过把表面 patch 转成带不同密度的体，该方法让物理上合理的动力学仿真成为可能，并输出每种材质各自水密的子网格。作者同时构建了 PartNet-Material 数据集，通过人工为资产每个部件指定材质标签得到稠密分割掩码。 Process of our 2D-to-3D consistency projection. A fine-tuned ViT predicts material segmentation masks, which are possibly noisy and not consistent across views. We project each face of our asset onto the rendered views, taking into account occlusions. For each face, we assign a label corresponding to the cross-view vote. 实验效果：在 ABO-500 与 PartNet-Material 两个基准上，Gen2Physics 把此前物理化管线的材质分割精度提升一倍多（mIoU 从 15.6 提到 48.3），同时在质量估计精度上与体表征方法持平，并且是唯一能输出「每材质水密子网格」的方法。定性对比中可以看到 NeRF2Physics 与 PUGS 的材质分割碎片化严重（椅子、水壶、钳子上出现大片错误标签），而 Gen2Physics 的结果与人工标注的 GT 分割高度接近。 We compare Gen2Physics (Ours), NeRF2Physics, and PUGS on a material identification task. The visualizations show that the 2D-to-3D consistency projection and VLM refinement proposed in Gen2Physics ensure more coherent and accurate material segmentations. In contrast, NeRF2Physics and PUGS produce fragmented predictions. 批判点评：选题很实用：生成 3D 的下一个瓶颈确实是「能不能进引擎」，而不是「像不像」。直接在网格上做、输出每材质水密子网格这两个工程决策，让结果可以无缝喂给标准物理引擎，比一堆需要转换的体方法更贴近生产。mIoU 从 15.6 翻到 48.3 的幅度很大，定性图上与 GT 的接近程度也支持这个数字。但必须看清基线的起点极低——15.6 mIoU 本身已经接近不可用，翻一倍后的 48.3 也谈不上可靠，意味着仍有过半的面材质判错，直接用于精密仿真风险不小。其次「实心还是空心」由 VLM 上下文推理给出，这是一个没有视觉证据支撑的猜测（外观看不出内部），论文若未单独评估这一项的准确率，那么质量估计「持平体方法」的结论可能建立在互相抵消的误差上。第三，材质类别只覆盖木/金属/织物/玻璃/塑料/皮革/橡胶七类，复合材质、涂层、透明件这些真实资产里的常见情况无法表达。最后 PartNet-Material 是作者自建且人工标注，规模与标注一致性未披露。 8. Super Star：只用已生成语音在线出手势 Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans | 上海科技大学、腾讯光子工作室（LIGHTSPEED） | arXiv:2608.24909 关键词：数字人,协同语音手势,流式生成,因果自回归,自演化数据,ACM MM 2026,腾讯光子 前序问题：协同语音手势生成（co-speech gesture）此前几乎都在离线设定下研究：拿到一整段完整语音，再合成配套手势。但真实场景里的交互式数字人必须在线生成——只能用当前已经产生的回复音频，还要满足严格的延迟约束。这让已有方法直接失效，因为它们要么依赖未来语音信息（离线双向建模），要么推理延迟太大。这是个结构性错配，不是调参能解决的：一旦不能看未来，手势与语音的同步就要靠因果预测完成，而手势的自然度恰恰很依赖对整句韵律的预判。 本文贡献：作者形式化了「面向交互式数字人的在线协同语音手势生成」这一任务，并提出一个实时交互框架，把流式语音回复模块与在线手势生成模块耦合起来。手势生成器设计为因果多模态自回归模型，从流式回复语音与运动历史预测身体动作，因此无需访问未来语音即可做到低延迟、语音对齐的手势合成——具体结构上，Omni 模型接收用户音频/查询文本/第一视角视觉，输出文本-音频 token 流，经流式 coder decoder 后与组合式身体 token 一起进入若干层因果自注意力加带音频注意力掩码的多头交叉注意力，最后由 motion decoder 输出动作。为支撑这个设定，作者还设计了面向虚拟陪伴场景的离线数据合成管线：用话题与情绪感知的主体语料库构造多样的人机对话，再针对 agent 回复生成协同语音手势（用到 TTS、动作捕捉与音色克隆，16 台相机加 50 个标记点）。为弥合离线构造与在线部署的差距，他们建立自演化训练回路，把线上交互中收集的用户反馈重新灌回数据生成流程，实现对用户偏好的持续适配。 Overview of Super Star. (a) Offline interactive data synthesis and self-evolving loop pipeline for constructing virtual-companion-oriented training data that continuously adapts to user preferences. (b) Online real-time interaction pipeline, where a streaming speech response module is coupled with an online gesture generator. 实验效果：实验显示该框架在延迟-质量权衡上更优，语音-动作同步性更强，用户偏好度高于有竞争力的既有基线。定性对比中，给定同一段流式回复语音，该方法比基线反应更及时、手势更自然同步。论文被 ACM Multimedia 2026 接收。 Qualitative comparison of online co-speech gesture generation. Given the same streaming response speech, our method reacts more promptly and generates more natural and synchronized gestures than existing baselines. 批判点评：把任务从离线搬到在线并明确「不能看未来语音」这个约束，是这篇的主要贡献——它承认了产品场景的真实限制，而不是在离线设定里继续刷指标。自演化回路（线上反馈回灌数据生成）也是个务实的工程闭环，配合腾讯光子的背景，看得出是冲着实际数字人产品去的。但论文的量化披露偏弱：摘要通篇是「更优」「更强」「更高」，没有给出延迟的毫秒数、同步性指标的具体数值，而延迟恰恰是这个任务的核心卖点，缺了数字就无法判断是否真达到交互门槛。其次训练数据完全由自建管线合成（LLM 造对话 + TTS + 音色克隆 + 动捕），合成数据的分布偏差会直接塑造手势风格，且「虚拟陪伴」场景的定向语料使结论难以外推到其他交互类型。第三，自演化回路依赖线上用户反馈，存在偏好漂移与正反馈放大的风险，论文未讨论如何防止手势风格被少数活跃用户带偏。最后，评测以用户研究为主，缺少与工业级数字人系统的端到端延迟对照。 9. CSAVocoder：因果流式空间音频恒定显存 CSAVocoder: A Causal Spatial Audio Vocoder Towards Real-Time Spatial Audio Generation | 浙江大学 | arXiv:2608.25404 关键词：空间音频,声码器,因果流式,GAN,通道间线索,实时生成,浙江大学 前序问题：空间音频声码器负责把生成模型产出的梅尔谱转成空间音频波形，是沉浸式内容链路的最后一环。问题是绝大多数神经声码器是为单声道设计的，直接扩展到空间音频会损害空间质量——因为它们逐通道独立重建，完全忽略了通道间线索（inter-channel cues），而人耳判断声源方位恰恰依赖左右耳的时间差与强度差。此外实时应用还要求严格因果与恒定显存，这与常见的非因果、看全局上下文的声码器架构直接冲突。 本文贡献：CSAVocoder 是一个因果的 GAN 空间音频声码器，把波形保真度与空间渲染联合优化。框架引入两个针对性设计：一是 Spatial Adaptor，把多通道梅尔谱与动态的声源-听者位姿信息融合，让声码器知道当前的空间关系而不只是频谱内容；二是空间一致性判别器，专门监督通道间线索是否被正确重建，而不是只看单通道波形像不像。为满足实时要求，作者设计了严格因果、带状态的生成器，支持高效流式推理且显存开销恒定——这一点对长时间连续渲染尤其关键。 Overview of our model architecture. 实验效果：在大规模空间音频数据集上，CSAVocoder 的空间类指标全面超过所有对照声码器（含扩散类声码器），同时在常规音频质量指标上保持有竞争力，并达到实时性能。评测同时走客观与主观两条轨：客观侧除常规音频指标外，还把音频切成 1 秒片段、计算预测与真值嵌入的余弦相似度再平均，得到空间一致性分数；主观侧设计了 MOS-Q（音质，关注清晰度/自然度/有无金属噪声与毛刺，明确要求评分者忽略空间定位）与 MOS-P（空间感知，关注左右声道强度变化的声像准确度、远近距离感、以及空间效果与文字描述的匹配度，明确要求忽略音质因素）两套独立的听测量表，把「音质」与「定位」解耦打分。定性上，本方法在左右（L/R）双通道的梅尔谱重建上比 HiFi-GAN、WaveFM、Vocos、CarGAN、FarGAN 更接近 Ground Truth，高频谐波结构的保留差距可见。 Qualitative comparison of mel-spectrogram reconstruction on left (L) and right (R) channels against Ground Truth and baseline vocoders. 批判点评：补的是一个真实且常被忽视的缺口：整条空间音频生成链路的研究重心都在声学场建模和方位控制上，最后落地成波形这一环却长期沿用单声道声码器，通道间线索的损失会把前面所有的空间建模努力打折。架构上三处设计都对得上问题：Cross-Channel Attention 显式建模通道关系而非逐通道独立重建、空间位姿经 FiLM 动态调制进骨干、以及 PixelShuffle1d 配 State Cache 实现严格因果加恒定显存的流式推理。评测设计也比同类工作用心——把 MOS-Q 与 MOS-P 拆成两套量表、并在指导语里互相排除干扰因素，这是空间音频主观评测中容易被偷懒省掉的一步。不足在于：一是摘要层面量化信息极少，「competitive audio quality」这种措辞通常意味着单通道音质并未领先，实际是拿一部分单声道保真度换空间保真度，这个权衡的具体幅度要看正文表格；二是对比基线（HiFi-GAN、Vocos、CarGAN、FarGAN）多为单声道声码器的直接扩展，缺少与专门设计的空间音频声码器的正面对照，「空间指标全面超越」的含金量因此受限；三是空间一致性用「1 秒片段嵌入余弦相似度」来度量，这个代理指标是否真的对应人耳定位误差没有被验证，而它恰恰是论文的主打客观指标；四是覆盖范围止于 FOA/双通道，更高阶 Ambisonics 的可扩展性未知。 10. AV-Sync Audit：四个同步度量互相不一致 What Do Audio-Visual Synchronization Metrics Actually Measure? | 弗吉尼亚理工大学、Accenture | arXiv:2608.25157 关键词：音视频同步,度量审计,可靠性,Kendall tau,Krippendorff alpha,ECCV 2026 Workshop 前序问题：自动音视频同步度量被广泛用来给音视频生成模型排名、甚至直接当训练目标，但它们本身很少被当作「测量仪器」来审计——我们默认分数高就是同步好，却没检验过这些分数在受控扰动下是否单调、对预处理是否敏感、彼此之间是否一致。这是个基础但危险的盲区：如果度量本身不可靠，那么基于它的模型选择和训练优化都可能在优化噪声。 本文贡献：作者在统一的可靠性协议下联合审计四个常用度量——AV-Align、ImageBind AV-relevance、JavisScore、Synchformer/DeSync，检查六个维度：受控扰动下的单调性、预处理敏感性、排名不确定性、度量间一致性、与 PEAVS 人类对齐代理的一致性，以及学习式融合能否改善。结论不是「某个度量胜出」，而是一次坐标轴分裂：不同度量测的根本不是同一件事。基于此，作者主张报告方式应改为「可靠性卡片」（Reliability Card）——给出按度量家族拆分的结果与置信区间，而不是一个赤裸的同步分数。 Kendall tau against known desynchronization for four AV-sync metrics under controlled distortion families. 实验效果：Synchformer/DeSync 是最强的时间偏移追踪器（τ=0.84），在 Shift 与 Speed 两类扰动上明显领先；ImageBind/JavisScore 则更贴合 PEAVS 人类对齐代理（τ=0.20）与内容破坏类扰动，在 Mute 扰动上反超；AV-Align 是最弱的独立度量，在 Speed 与 Shuffle 上 Kendall τ 几乎为零甚至落到负区间。四个度量互相之间严重不一致（Krippendorff α=0.066），跨度量相关矩阵显示 ImageBind 与 JavisScore 高度相关（0.78），而 Synchformer 与两者近乎零相关（-0.00/0.00），AV-Align 与所有其他度量均为轻微负相关。线性与简单 kNN 融合都没能在 PEAVS 一致性上超过最佳单一度量。 Cross-metric correlation matrix among the four audio-visual synchronization metrics. 批判点评：这是今天最该被从业者读到的一篇，尽管它既没有新模型也没有新数据集。把度量当仪器做体检、并给出「坐标轴分裂而非单一赢家」的结论，直接质疑了当前音视频生成领域一大批论文的评测有效性——尤其 α=0.066 这个数字，意味着四个度量对同一批样本的排序几乎相互独立，那么「我们在 X 度量上 SOTA」的说法可信度非常有限。融合也救不了，这个负面结果同样有价值。局限要说清楚：一是这只是 ECCV Workshop 的非归档 poster，作者仅两人且一位来自咨询公司，实验规模与审稿强度都远低于主会论文；二是「人类对齐」用的是 PEAVS 代理而非新采集的人工标注，代理本身的有效性成为整个结论链的单点依赖，若 PEAVS 有偏，τ=0.20 的解读会翻转；三是审计只覆盖四个度量与四类受控扰动（Shift/Speed/Shuffle/Mute），真实生成模型的失效模式（如语义不匹配、口型错位）未必落在这四类里；四是文章给出了「可靠性卡片」的建议格式，但没有推动出可直接调用的工具或标准实现，落地阻力不小。 趋势观察 「记忆」成为长时序生成的一等公民，而不再是上下文窗口的副产品 — 今天两篇最重的视频工作给出了同一个判断：把长视频做长，靠的不是把注意力窗口拉宽，而是显式设计要记什么、以什么坐标记。JoyAI-Echo-1.5 把跨镜头记忆拆成「单帧视觉记忆 + 语音过滤后的音频记忆」两路，并用分离的 RoPE 坐标给记忆条目单独编址（μ=500/550/600），让身份与音色能跨任意镜头组合被检索；4DStreamCtrl 则把记忆压进 3D point track 这一几何表征里，使显存与视频长度解耦。两者都放弃了「全序列自注意力」的暴力路线，转向「结构化外部条件」——这与前两周 On-Policy 蒸馏、长视频记忆一致性专题里看到的趋势完全一致，说明长时程一致性已经从「算力问题」被重新定义成「表征与检索问题」。 少步蒸馏从「加速手段」升级为长视频的可行性前提 — 值得注意的是，今天两篇长视频工作都不是先做好质量再顺手蒸馏，而是把因果化少步生成写进了主线设计。JoyAI-Echo-1.5 用渐进 teacher forcing 加短/长时程 Self-Gradient Forcing，把双向骨干直接改造成因果少步生成器；4DStreamCtrl 蒸馏出四步因果学生，才换来单卡 480p、20 FPS 的交互式流式生成。逻辑很清楚：长视频天然要求流式、要求恒定显存、要求可交互，这三条都无法在多步双向采样上成立。蒸馏因此不再是「便宜版」，而是「唯一能跑的版本」——这与 08-27 TurboT2VA 把少步蒸馏与工程推理栈捆绑交付是同一条脉络的延续。 训练效率的抓手从「改架构」转向「改监督信号密度」 — MTAR 提供了另一个角度：不动推理架构、不加推理开销，纯粹在训练阶段动刀。多 token 预测把稀疏近视的 next-token 监督加密，token 级对比正则提升表征可分性，语义丢弃按 DINOv3 的重要度图砍掉低信息 token 的冗余计算——三者叠加拿到相比 LlamaGen 训练时间降 74~76%、显存降 25~30%、FID 最多低 0.95 的结果，而且只用 1/3 迭代数就追平基线。这个思路值得关注：当推理侧的优化空间被少步蒸馏和量化榨得差不多之后，训练侧「每一步梯度携带多少信息」正在成为新的效率战场。 评测层的自省开始追上生成层：度量本身需要被审计 — 今天有两篇工作在往同一个方向使劲，却站在生成与评测的两端。AV-Sync Audit 把四个常用音视频同步度量当作「测量仪器」逐一体检，结论相当刺眼：Synchformer 追时间偏移最强（τ=0.84），但 ImageBind/JavisScore 更贴合人类偏好代理（τ=0.20），四者互相之间几乎不一致（Krippendorff α=0.066），线性与 kNN 融合都没能超过最佳单一度量。MatReplace、VGA-BenchV2 这类基准同日出现也在补同一块短板。这提示一个容易被忽略的风险：如果我们一直用互相矛盾的单一分数去排名和训练生成模型，那么榜单进步与真实体验提升之间的相关性可能远比想象中脆弱。 人工智能炼丹君 整理 | 2026-08-28 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-08-27|浙大清华19B音视频4步2.5秒出片TurboT2VA 今日 AIGC 论文速览 今日共 10 篇 · 推理加速与少步蒸馏 1 篇 · 扩散后训练与奖励对齐 2 篇 · 音频统一理解与生成 1 篇 · 视觉 tokenizer 与表征组织 2 篇 · 图生 3D 与 PBR 资产 1 篇 · 物理接地图像编辑 1 篇 · 世界模型数据引擎 1 篇 · 大规模开源数据集 1 篇 重点论文标题列表 TurboT2VA（浙江大学、清华大学、天津大学、青岛大学、新加坡国立大学）：19B音视频4步蒸馏2.5秒出片 DiffusionOPSD（字节跳动 Seed、新加坡国立大学、加州大学圣地亚哥分校、牛津大学、香港科技大学、马里兰大学、加州大学伯克利分校、杜克大学）：把奖励梯度变成中间去噪目标 RVM（佐治亚理工学院、NVIDIA）：奖励加权速度匹配替代策略梯度 FireRedAudio（小红书）：理解与生成各走一条连续表征 AffineTok（复旦大学、阿里巴巴 Token Hub（Wan 团队））：语义仿射一致把gFID压到1.10 今日论文速览 1. TurboT2VA：19B音视频4步蒸馏2.5秒出片 TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation | 浙江大学、清华大学、天津大学、青岛大学、新加坡国立大学 | arXiv:2608.24674 关键词：少步蒸馏,一致性蒸馏,音视频联合生成,LTX-2,稀疏注意力,W8A8量化,浙大清华 前序问题：文本到「视频+音频」的联合生成能一次产出画面与声音同步的内容，但这类模型的推理成本高得离谱：采样轨迹长（40 步）、参数量大（19B）、而且视频流与音频流的计算特性完全不同，异构多模态计算让常规加速手段难以直接照搬。把大规模 T2VA 模型蒸馏成少步学生具体卡在三处：一是模态不均衡优化——视频与音频的损失尺度、收敛速度差异显著，共用一套归一化会让某一路主导梯度；二是连续时间一致性训练在这个规模上很难稳住，学生容易在训练中后期崩掉；三是质量与多样性的权衡——分布匹配类目标（DMD）虽然能把画质拉上去，却容易把生成多样性压塌，退化成少数几个模式。 本文贡献：TurboT2VA 的主体是一套双散度蒸馏框架加一条渐进课程。框架分三块：左侧对视频与音频分别做前向一致性蒸馏（各自沿教师 PF-ODE 学自己的一致性场，同时带跨模态一致性约束）；中间是 T2VA 双流骨干，视频流与音频流各有 self-attention 与 text cross-attention，再通过 VA cross-attention 相互耦合；右侧做反向散度精修，用分布匹配把学生输出分布拉向教师分布。课程按 dCM 预热 → sCM 精修 → sCM+DMD 联合优化三段推进，先建立稳定且多样的生成轨迹，只有到最后才引入分布级精修——顺序反了就会先塌多样性。模态不均衡用 per-modality normalization 解决。除蒸馏之外还配了一套架构感知的推理栈：guarded W8A8 量化与算子融合、padded-text compaction、模态感知稀疏注意力，但明确保留跨模态与文本条件路径为 dense，不对音画同步这条链路做近似。 Overview of the proposed Dual-Divergence Distillation framework for T2VA acceleration. The left panel illustrates forward consistency distillation for video and audio modalities, the middle shows the T2VA backbone with cross-modal interaction, and the right panel depicts reverse divergence (distribution matching) refinement. 实验效果：在 LTX-2 上做 4 步蒸馏，标准评测分辨率 512×768 下生成器延迟从 50.52 秒降到 2.51 秒，20.1 倍加速，同时维持视觉质量、音频保真度、多样性与音画同步。高分辨率部署（1024×1792、121 帧、单卡 NVIDIA H20、batch size 1）下的完整栈拆解得很清楚：40 步教师基线 318.74 秒；加 W8A8 与算子融合得 1.37 倍，降至 233.34 秒；换成 4 步学生再得 19.18 倍，降至 12.16 秒；最后叠加 SageSLA 稀疏注意力（默认 ρ=0.3）再得 2.08 倍，落到 5.83 秒，整体 54.67 倍（仅生成器）。训练曲线消融跑到 7,500 全局步：分阶段 dCM→sCM→sCM+DMD 在进入联合阶段后反超直接做 sCM+DMD，并在训练后期保持更强表现；从同一段 dCM+sCM 前缀出发，分阶段 sCM+DMD 的 Javis 分数也高于纯 DMD 精修或只继续 sCM。 High-resolution inference acceleration, achieving a 54.67$\times$ generator-only speedup on one NVIDIA H20. 批判点评：20.1 倍与 54.67 倍都是 generator-only 延迟，不含 VAE 解码、文本编码与音频后处理，端到端加速会明显低于这两个数字，读者不要直接当成「出片时间快 54 倍」。更需要留意的是 54.67 倍把蒸馏（19.18 倍）和推理工程栈（1.37×2.08≈2.85 倍）的功劳乘在了一起——工程栈那部分与蒸馏方法本身无关，换任何一个模型都能拿，混在一个标题数字里报有夸大之嫌。质量侧只给了「strong visual quality / audio fidelity / synchronization」这类定性表述，没有 FVD、CLAP、AV-Sync offset 的绝对值，也没有与 40 步教师的逐项差距，而少步蒸馏最该被审视的恰恰是「掉了多少」。W8A8 前面挂了 guarded 这个限定词，说明存在必须保护的敏感层，但哪些层回退高精度、回退比例多少没有交代，这会影响别人复现时的实际加速比。稀疏注意力保留了 dense 跨模态路径，意味着收益会随音视频 token 配比波动，不同视频时长下的敏感性没测。全部结论只在 LTX-2 一个骨干上得到；H20 是国内特供算力卡，其显存带宽与算力配比和 H100 差异不小，量化与稀疏化的收益能否平移过去论文没有讨论。 2. DiffusionOPSD：把奖励梯度变成中间去噪目标 On-Policy Self-Distillation in Diffusion Models | 字节跳动 Seed、新加坡国立大学、加州大学圣地亚哥分校、牛津大学、香港科技大学、马里兰大学、加州大学伯克利分校、杜克大学 | arXiv:2608.24646 关键词：扩散后训练,on-policy自蒸馏,奖励梯度,中间监督,人类偏好对齐,字节Seed 前序问题：强化学习能把扩散模型对齐到人类偏好与任务目标上，但奖励是打在端点（生成图）上的，它不告诉某一步的中间去噪预测该往哪个方向改。这就是扩散 RL 的结构性困难：自回归模型有可解析的样本似然，可以直接套策略梯度；扩散模型没有，于是现有方法只能绕——要么从随机去噪转移拼出轨迹似然，要么用证据下界近似端点似然。两条路都要付额外的计算与算法复杂度，而换来的监督信号仍然稀疏地挂在轨迹末端，中间那几十步实际上是在盲走。 本文贡献：DiffusionOPSD 把「图像级奖励引导」直接转成「clean-output 预测的显式目标」。每一轮外循环里，一个冻结的 behavior policy 先生成轨迹，同时提供采样查询状态与 anchor；奖励梯度在每个 anchor 周围构造出有界的正目标与负目标；可训练 policy 以 detached supervision 的方式拟合这些目标（作者称之为 finite fitting），拟合完成后用指数移动平均更新刷新 behavior policy。这个结构的价值不只在效果——它把「目标构造」和「有限实现」拆成两个可以分别度量的环节，从而让扩散 RL 第一次变得可诊断。论文特意做了同 query 的受控实验来分别观测这两环。 Reward-to-policy paradigms. We contrast trajectory credit, late-state reward backpropagation, and endpoint supervision with our explicit intermediate targets constructed before finite fitting. 实验效果：在 SD 3.5-M 与已做过步蒸馏的 Z-Image-Turbo 两个骨干、10 个 evaluator 组成的 20 个 reward-matched 设置中，19 个取得最佳 held-out 分数；相比最强竞争方法最高提升 44.0%。训练成本上，相比 DiffusionNFT 在 SD 3.5-M 上省 40% GPU-hours、在 Z-Image-Turbo 上省 63%（实验用单节点 8×NVIDIA A800-SXM4-80GB）。人类标注偏好中，标注者在 64%、71%、90%、61% 的 prompt 上更喜欢 DiffusionOPSD 而非 base 模型、FlowGRPO、DiffusionNFT、ReFL；胜出原因的构成显示提示词对齐与视觉质量各占大头。鲁棒性 sweep 表明 query noise 从低到中、目标半径 ρ 从 0.08 到 0.40 都稳定在默认水平附近。最耐人寻味的是那个负面发现：受控同 query 实验里，reward 梯度目标的构造增益是 +0.03511、DiffusionNFT 端点是 −0.03551，但一次拟合更新之后，HPSv2.1 的目标序在 62.3% 的 prompt 上发生反转——构造阶段赢得多，不代表落地得多。 Robustness and human preference. Low-to-mid query noise and target radii from $0.08$ to $0.40$ remain near the default, while query noise $0.90$ and branch coefficient $10$ fall to $0.2884$ and $0.2961$. Annotators prefer DiffusionOPSD over the base model, FlowGRPO, DiffusionNFT, and ReFL on $64\%$, $71\%$, $90\%$, and $61\%$ of prompts. 批判点评：这篇最有价值的结论其实是负面的：目标构造增益与单次拟合实现增益之间只有弱相关（62.3% 反转率）。它说明方法的两个部件耦合得比论文正面叙事更松，但论文没有据此给出「目标半径该怎么选」的可操作准则，把一个诊断工具停在了诊断阶段。19/20 的胜率听起来压倒性，可 10 个 evaluator 背后只有少数几类 reward，同一 reward 下多个 evaluator 高度相关，等效独立比较数远小于 20，这个分母是被放大过的。44.0% 是「相对最强对手的最大提升」而不是中位提升，属于挑最好看的那一格报。鲁棒性图自己也暴露了边界——query noise 取 0.90、branch 系数取 10 时 ClipScore 掉到 0.2884 与 0.2961，说明超参窗口并不宽，而实际调参时未必知道自己在窗口的哪个位置。作者共 14 人以上、横跨 8 家单位，正文却以「DiffusionOPSD Team」匿名署名（真实名单只在附录），这类大团队技术报告的工程细节历来难以被外部独立复现。 3. RVM：奖励加权速度匹配替代策略梯度 Scaling Reinforcement Learning for Diffusion Models via Velocity Matching | 佐治亚理工学院、NVIDIA | arXiv:2608.23664 关键词：扩散奖励微调,速度匹配,免轨迹更新,VBench,动态跟踪奖励,NVIDIA 前序问题：奖励微调正在成为把扩散模型对齐到人类偏好与任务目标的主要工具，但现有方法基本是把大语言模型那套策略梯度机制整体继承过来的。问题在于扩散模型不像自回归模型，它对生成样本没有可计算的似然。结果是当前方案只能从随机去噪转移构造轨迹似然，或者用证据下界近似端点似然，两者都引入额外计算与算法复杂度。作者要论证的是一个更激进的判断：这套基于似然的机制对扩散奖励微调根本不是必需的。另外还有个实践层面的坑——标准偏好奖励在视频生成上会偏爱画面干净但几乎静止的输出，等于奖励模型在鼓励模型偷懒。 本文贡献：提出 reward-based velocity matching（RVM），一个直接作用在速度场上的免轨迹更新。流程是：从高斯噪声出发做 16 步 ODE rollout（不用 CFG）得到分组样本，用公开奖励模型加上自研的 dynamic-tracking（DT）运动奖励打分；每个生成样本只加噪一次得到 x_t，其速度目标为 v = ε − x0；然后用奖励加权的速度匹配损失做回归，额外带一个可选的 anchor 项控制相对参考速度场的漂移。方向上它强化高奖励生成对应的速度方向、抑制低奖励方向，不需要沿轨迹反传，也不需要任何似然项。论文进一步指出这是一个通用框架，RAM 与 DiffusionNFT 都可作为特例被恢复。文中还给出了轨迹损失与速度匹配的机制对比：轨迹损失提升的是被采样单步转移的似然，因而朝下一个去噪状态移动，而那个中间状态是随机的、不保证比当前更接近干净端点，目标方向因此含噪。 Overview of RVM. Left: RVM fine-tunes Wan2.1-1.3B with a simple reward-weighted velocity-matching loss. Grouped rollouts are scored using public reward models together with our dynamic-tracking (DT) reward, and each generated sample $\bm{x}^i_0$ is noised once to $\bm{x}^i_t$ and regressed toward its velocity target $\bm{v}^i=\bm{\epsilon}^i-\bm{x}^i_0$, with an optional anchor velocity $\bm{v}_{\mathrm{anc}}$ controlling model drift, avoiding trajectory storage and likelihood estimation. Right: on Wan2.1-1.3B, RVM achieves the best VBench Overall score at a fraction of the training cost of trajectory-based methods. 实验效果：在 Wan2.1-T2V-1.3B 上，RVM 用 525 GPU-h（8×H100，含 rollout、奖励评估、梯度更新三段）完成微调，FlowGRPO 需 1,159 GPU-h（2.2 倍）、DanceGRPO/TaRoS 需 6,171 GPU-h（11.8 倍）；成本最低的同时拿到最高的 VBench Overall 84.13，FlowGRPO 为 75.91。引入 DT 奖励后运动幅度大幅改善，而 VBench 整体表现同时上升，说明「动起来」和「好看」并非必须二选一。另一个实用发现是：速度更新一旦简化，具体用哪种损失变体的影响就小于奖励与 anchor 的设计——这把调参重心从损失工程挪到了奖励工程。少步推理测试中，把训练好的 16 步时间网格子采样到 5 步与 4 步、保持同一 timestep schedule，VBench Total 仍然保持稳健。 GPU-hour cost comparison on Wan2.1-T2V-1.3B. Training time is decomposed into rollout, reward evaluation, and gradient update. % Note that despite being the cheapest, RVM attains the highest VBench Overall ($84.13$ vs. $75.91$ for FlowGRPO). 批判点评：提交件里作者块留的还是 ICLR 会议模板的占位符（Cranberry-Lemon University 那一段），真实作者信息在另一份 tex 文件里，说明投稿版本管理相当仓促，这类细节多少反映了工作的成熟度。「统一了 RAM 与 DiffusionNFT」的说法要打折看——特例关系通常依赖特定的权重函数与 anchor 取值，论文没有给出这些约化成立的严格条件表，缺了它这个 claim 更像叙事包装。VBench Overall 84.13 对 75.91 的差距确实不小，但作者自己就指出 VBench 系偏好奖励会偏爱静态高清画面、并因此专门做了 DT 奖励，那么再把 VBench Overall 当作主指标来宣布胜利，逻辑上有循环论证的味道。GPU-h 对比中 RVM 的 rollout 只用 16 步且不开 CFG，而基线是否在同等 rollout 预算与采样配置下测量没有交代清楚，成本优势里有多少来自算法、多少来自采样设置无法分离。主实验集中在 1.3B 规模，14B 级别模型上速度场回归是否仍然稳定、anchor 项该怎么随规模调整，都还是空白。 4. FireRedAudio：理解与生成各走一条连续表征 FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation | 小红书 | arXiv:2608.24168 关键词：音频语言模型,统一理解生成,连续表征解耦,零样本TTS,语音编辑,小红书 前序问题：一个统一的音频模型既要识别和理解语言、副语言（情绪、说话人）与环境信息，又要支持语音合成与编辑。矛盾集中在表征这一层：理解任务偏好紧凑特征，因为长上下文建模吃不下高帧率细节；而语音生成需要可重建的特征，必须保留细粒度声学信息。用一套离散 token 同时服务两端，往往两头都不讨好——压得够紧就重建不回来，留得够细就撑不起一小时长音频的上下文。 本文贡献：FireRedAudio 共享一个 9B 参数的 LLM，但为理解与生成分设两条独立的连续输入表征。待识别或分析的音频走专用 Audio Encoder 加 Adapter；用于生成条件的语音输入走 RedAE 路径——RedAE 本身是个自编码器，把 50Hz 的音频帧压成 25Hz latent，训练时由一个冻结的教师 Audio Encoder 提供高层监督，并通过 iSTFT head 重建波形。LLM 直接输出文本，或者经 Flow Head 去条件一个 flow-matching DiT，产出连续声学 latent 再由 Decoder 还原成波形；DiT 的条件里同时包含历史干净 latent 与当前含噪 latent 以及 LLM 隐状态。经渐进多任务训练后，同一个模型支持 ASR、音频理解（可覆盖长达一小时的录音）、零样本 TTS、Instruct TTS，以及语义级与声学级两类语音编辑。作者称这是首个公开披露的、在单个可训练自回归 LLM 内为理解与生成分别提供连续输入表征的统一音频语言模型，代码已开源。 Overview of FireRedAudio. Decoupled continuous pathways encode inputs for understanding and generation. The shared LLM produces text or conditions a DiT to generate RedAE latents, which are decoded into waveforms. The inset illustrates the DiT conditioning for one audio step. 实验效果：综合评测下，音频理解与多语种 ASR 达到有竞争力或领先的水平；零样本 TTS 在内容准确率与说话人保持两项上都强；Instruct TTS 的指令跟随领先；语义与声学两类语音编辑相比 Ming-UniAudio-Edit 有大幅改善。长音频侧展示了四类能力：结构化组织（把录音解析成带 start/end、说话人、背景音、情绪的时间戳表格，量化的时间定位评测就聚焦这一项，达到秒级时间戳精度）、长文摘要（可按对象聚焦，如「只总结 Guest B」并给出 02:15/14:40/37:05 这类带时间锚点的要点）、时间↔内容双向检索（既能问「12:00 谁在说什么」也能问「定价模型在哪几个时间点被提到」）、以及跨录音证据的全局分析（如「为什么 Guest A 在 24:10 笑」需要串起 03:10 到 24:10 的多个证据节点）。这些结果支撑了一个结论：中等规模模型上，解耦的连续输入表征足以统一音频理解与连续潜空间语音生成。 Four representative long-form audio-understanding capabilities: structured organization, long-form summarization, bidirectional retrieval between time and content, and global analysis over evidence distributed across a recording. Our quantitative temporal-grounding evaluation focuses on structured organization. 批判点评：「首个公开披露」这个 claim 叠了三层限定词——publicly disclosed、within a single trainable autoregressive LLM、separate continuous input representations——本质是在一个足够窄的定义里宣称首创，读者要看清边界再决定这个「首个」值多少。9B LLM 的底座是什么、是否从某个开源模型继续训练，摘要完全没提，而这直接决定了工作量、复现难度与结果的归因。「competitive or leading」是典型的选择性表述，缺少与 Qwen-Audio、Step-Audio、Ming-UniAudio 等同类在主流 benchmark 上的逐项数字，读者无从判断领先幅度。一小时长音频理解的量化评测只覆盖「结构化组织」一项，摘要、双向检索、全局分析三项在图里是能力示意（带具体案例的界面示例）而非量化结果，这三项的真实可靠度目前无法评估。解耦两条表征的代价是推理时要同时维护两套编码器，额外的参数量与显存开销没有交代。语音编辑只对比了 Ming-UniAudio-Edit 一个基线，样本偏少。 5. AffineTok：语义仿射一致把gFID压到1.10 AffineTok: Semantic Affine Consistency for Diffusion-Friendly Visual Tokenizer | 复旦大学、阿里巴巴 Token Hub（Wan 团队） | arXiv:2608.23864 关键词：视觉tokenizer,语义对齐,扩散友好,SAC一致性,gFID,复旦阿里 前序问题：视觉 tokenizer 越来越流行往潜空间注入语义监督，好让下游扩散学得更轻松。但「语义究竟该怎么组织才有利于去噪」这个问题几乎没被认真研究过。现有做法是训一个 projector 直接从含噪 latent 预测语义——作者指出这实际预测的是「干净图语义的平均」，而扩散过程真正做的是先预测后验均值的干净 latent、再从它解码语义，也就是「平均后干净 latent 的语义」。这两者并不等价，把前者当目标去对齐，等于在优化一个错位的量。 本文贡献：论文先把问题形式化，定义语义恢复目标：去噪过程应当从含噪 latent 恢复出干净图的语义内容，好的 tokenizer 应当让这件事更容易。关键结果是一个正交分解——语义恢复误差可以正交拆成「从含噪 latent 直接做最优语义预测的误差」与「上述两种预测之间的误差」。第二项正是被忽略的一致性要求，作者命名为 Semantic Affine Consistency（SAC），并给出 tokenizer 侧的代理指标 M_SAC 用于在不训扩散模型的前提下诊断。方法层面 AffineTok 用两个纯训练期组件促进 SAC：Global Semantic Coordination Token（GSCT）是一个前置的可学习 token，与 patch embedding 一起送进 encoder，用来协调干净 latent 的语义组织、让「语义平均」这个操作仍然有意义，解码前该 token 即被丢弃；Posterior-Mean Semantic Alignment（PMSA）学一个后验均值预测器 G_post，从含噪输入预测后验均值 latent，再用语义投影器监督从中恢复出的语义。语义监督由冻结的 DINO 提供，两个组件推理时都不存在，因此零部署开销。 Overall framework of AffineTok. The input image is processed in parallel by a frozen VFM and a trainable tokenizer. Its encoder jointly maps patch embeddings and a prepended learnable GSCT to a global output and clean patch latents (z_0). After (z_0) is noised into (z_t), the resulting global and noisy patch representations receive semantic supervision; the global output is then discarded, while (z_t) is decoded for reconstruction. Along the PMSA path, (G_post) maps (z_t) to a posterior-mean estimate, and (S_post) maps the estimate to semantics. Only clean patch latents are retained downstream. 实验效果：M_SAC 在所评估的多个 tokenizer 与扩散模型规模上都紧跟生成质量，与 SiT-XL 的 gFID 达到 0.960 的 Pearson 相关，这构成了「用 SAC 指导 tokenizer 训练」的依据。ImageNet 256 上，相比基线在 20 epoch 时 gFID 降低 26%；继续训练后取得新的 SOTA——不用 classifier-free guidance 时 gFID 1.21，用 guidance 时 1.10。针对性语义探针（越低越好）显示：语义轴不一致率上，RecTok 在 θ>30° 为 58.3%，加 GSCT 降到 24.4%（降 58%）；θ>35° 从 29.5% 降到 7.8%（降 73%）；θ>40° 从 12.2% 降到 2.8%（降 77%）。严重失败率（Top-10 语义检索 miss）上，RecTok 在 t=0.7/0.8/0.9 三档为 5.6%/6.4%/15.1%，GSCT+PMSA 后降至 2.3%/3.1%/6.7%（分别降 59%/52%/56%）。 Targeted semantic probes for GSCT and PMSA (lower is better). Left: Cross-split semantic-axis inconsistency rates for RecTok and +GSCT across three angular thresholds. Right: Top-10 semantic retrieval miss rates for RecTok and +GSCT+PMSA under three severe noise levels. 批判点评：0.960 的 Pearson 相关是在有限数量的 tokenizer 与扩散规模上算出来的，样本点少时相关系数极易虚高，论文需要给出参与拟合的点数与置信区间，否则「M_SAC 可以当选型指标用」这个推论支撑不足。正交分解本身是恒等式变形，它严格说明 SAC 是语义恢复误差的一个必要成分，但不等于「提升 SAC 必然提升生成质量」——两者仍可能同源于第三个变量，论文的因果链是靠相关性搭起来的。gFID 1.10/1.21 是「继续训练」后的结果，基线是否在同等训练预算下评测需要核对，否则 SOTA 里混进了算力优势。语义探针的失败率依赖作者自定的角度阈值 θ，θ 从 30° 挪到 40° 时降幅从 58% 变成 77%，挑阈值的空间不小，读者应关注全曲线而非某一点。GSCT 与 PMSA 只在 ImageNet 256 的类条件生成上验证，能否迁移到文生图与视频 tokenizer 完全未知，而后者才是这条技术线的主战场。 6. KATok：按内容丢token压缩率推到252 Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation | Kakao（韩国） | arXiv:2608.24293 关键词：视频tokenizer,自适应压缩,Gumbel-Softmax,时空冗余,潜在扩散,Kakao 前序问题：潜在扩散之所以能做高保真图像与视频合成，靠的是用 VAE 把数据压到紧凑潜空间来省算力。但常规 VAE 对视频并不合适——它采用固定压缩率，无法适配时空内容复杂度的巨大差异。一段几乎静止的镜头和一段剧烈运动的镜头会被压成同样多的 token：前者纯粹浪费，后者细节不够。固定码率这件事在图像上尚可忍受，到了视频这个冗余度极高、且冗余分布极不均匀的模态上就成了明显的浪费。 本文贡献：KATok 是一个基于 transformer 的 VAE，内含与 latent token 联合学习的自适应 token selector。视频先切成时空 patch 编码成连续 latent token；selector 用 Gumbel-Softmax 松弛为每个 token 预测 keep-or-drop 概率，也就是评估该 token 的内容丰富度，产出一份软 token-drop mask；这份 mask 与 decoder 的注意力共享，保证编解码两侧的 token 选择保持一致；decoder 则通过可学习的 granular query token 去注意保留下来的 latent，重建原始输入。直接把自适应 tokenization 接到扩散模型上会出问题——丢 token 会打乱原有的时空结构，导致生成时内容与位置错配。为此论文提出两种位置预测策略：cascaded generation 与 joint generation（内容与位置联合生成），用来保证空间一致性。 Overall architecture of KATok. A video is divided into spatio-temporal patches and encoded into continuous latent tokens. The adaptive token selector predicts per-token keep probabilities via Gumbel–Softmax relaxation, producing a soft token-drop mask shared with the decoder attention for consistent token selection. The decoder reconstructs the input via learnable query tokens by attending to the masked latent tokens, forming an end-to-end differentiable pipeline for adaptive token selection. 实验效果：在 SOTA 级压缩率下同时保持强重建与生成质量。压缩率随输入尺寸单调增长，这是自适应方案相对固定方案的核心优势：256²×16 帧约 133，384²×16 约 159，480²×16 约 183，512²×16 约 191，一路到 512²×32 帧达到 252；对照之下 ElasticTok 在测到的两个尺寸上都固定在约 102，OmniTokenizer 则是一条 96 的水平线。也就是说输入越大、冗余越多，KATok 的收益就越明显。进一步分析表明这个改善主要来自削减时空冗余、移除低信息量 token，定量与定性结果都支持这一点。消融图显示：朴素模型直接生成稀疏 latent 时会出现内容-位置错位（图中红框标出），而 joint content-position 与 cascaded 生成策略能缓解这个问题并提升整体生成质量。 Token scaling with video size. As spatial and temporal resolution increase, our method achieves progressively higher compression ratios, demonstrating efficient scalability across input sizes. In contrast, OmniTokenizer maintains a fixed compression ratio, and ElasticTok remains nearly flat. (Conventions and compression ratio definition follow Table.) 批判点评：「data-dependent 压缩」的另一面是 token 数变成不定长，这会直接冲击批处理效率、显存预算与推理调度。论文只在「空间错位」这一处正面应对（靠两个生成策略补救），完全没有量化不定长带来的吞吐损失——而这恰恰是工业落地时第一个要问的问题。压缩率 252 对 96 的对比要成立，前提是双方重建质量在同一水位，可论文对质量只用了「strong」这样的定性词，缺少同 PSNR/rFID 下的压缩率对照表。图里另一个可疑点是 ElasticTok——它本身就是弹性 token 方案，却几乎持平在 102，与其设计意图不符，很可能是基线配置未针对这些分辨率调优，这类对比对基线不太公平。keep-or-drop 是二元决策的松弛，对于「部分重要」的 token 没有中间档，直觉上不如按重要度分配比特数来得优雅。评测集是 UCF、Kinetics、Sky 一类经典短视频数据集，长视频与高动态场景没有覆盖，而那才是自适应压缩本该发挥最大价值的地方。 7. Luce：单图出可重光照PBR高斯资产 Luce: Relightable Gaussians for 3D Asset Generation | Apple | arXiv:2608.23943 关键词：图生3D,PBR材质,可重光照,高斯splatting,rectified flow,Apple 前序问题：高保真的图生 3D 需要一个同时刻画几何与外观的 3D 表示。而要支持重打光、并且能接进标准渲染管线，这个表示必须包含 PBR 模态——albedo、metallic-roughness 与表面法线。现实是主流生成式 3D 表示往往只产出「把光照烘死在外观里」的结果：单看渲染图挺漂亮，一旦塞进游戏引擎或影视管线换个环境光就露馅，因为模型从未把材质与光照分离。 本文贡献：Luce 把几何与 PBR 材质统一在一个体素化的多模态高斯云里，为每个模态配专属的高斯基元。流程分两段：表示转换阶段，给定一个 3D PBR 资产先渲染多视角图，再在稀疏体素网格上按模态各拟合一套高斯 splat（albedo、metallic-roughness、normals），得到 PBR Gaussians；一个结构化潜空间 VAE（SLatVAE）把这个表示编码成紧凑可扩散的 latent，并能解码回 PBR Gaussians。生成阶段，一个 rectified-flow transformer 从单张图生成该 latent，条件来自预训练图像编码器的多层特征（DINOv2 的 L6/L12/L18/L24），多层同时取用是为了兼顾语义上下文与细空间细节；先过 Sparse Structure Flow 定结构、再过 SLat Flow 出 latent、最后由 SLat Decoder 解成 PBR 高斯。产物可直接用 GS 渲染器配 IBL 环境贴图着色，也可选走 Mesh Decoder 导出带切向空间法线图的纹理网格。 Overview of Luce. (Top) Representation and SLatVAE. Given a 3D PBR asset, here a Toys4K sample, we render multiview images and fit per-modality Gaussian splats (albedo, metallic-roughness, normals) on a sparse voxel grid. A structured latent VAE (SLatVAE) encodes this representation into a compact, diffusible latent and decodes it back to PBR Gaussians. (Bottom) Generation pipeline. Given a single input image, a sparse-structure flow first predicts the sparse voxel layout. Conditioned on multi-layer DINOv2 features, SLatFlow then generates a PBR Gaussian latent at each active voxel. The structured latent decodes into relightable PBR Gaussians and also serves as input to the mesh decoder, which yields textured meshes with tangent-space normal maps and a complete PBR material set. 实验效果：Toys4K 上取得单图生 3D 的 SOTA，FID 相比最强基线改善 28%。论文另建了一个 AI 生成图像构成的 benchmark，在其上 CLIP 图文对齐分从最佳基线的 0.8299 提升到 0.8519。解码出的 PBR 模态可以在新环境贴图下通过标准 PBR 合成直接着色渲染，不需要抽网格、也不需要 UV 展开——这是相对「先出网格再烘材质」流程的实质简化。重光照验证里，论文把自家 deferred PBR 渲染器在高斯拟合上的输出与用 Blender EEVEE 渲染纹理网格的参考并排对照：同一把战锤在户外日光、草地、暮色、studio 点光、室内、拱廊六种环境贴图下，金属面的高光位置、锤头与手柄的整体色温都随环境同步变化，两条渲染路径的结果高度接近。生成资产还能保住文字、logo、铭文这类细节。 PBR shaded rendering. The decoded PBR modalities (albedo, metallic-roughness, normals) enable shaded rendering under novel environment maps via standard PBR compositing (Eq.), without mesh extraction or UV unwrapping. We compare our deferred PBR renderer on the GS fit against the textured mesh rendered with Blender EEVEE as a reference; the environment maps are listed in Appendix. 批判点评：重光照那组图容易被误读，需要说清楚：它比的是「自家 GS 渲染器 vs Blender EEVEE 渲染同一份纹理网格」，验证的是两条渲染路径自洽、材质分解没跑偏，而不是「重光照质量超越其他生成方法」——论文里没有与基线在重光照维度上的对比。FID 改善 28% 的评测集 Toys4K 是玩具类物体，几何规整、材质单纯，能否外推到复杂场景资产或有透射/次表面散射的材质，证据不足。CLIP 分 0.8519 对 0.8299 只差 0.022，落在 CLIP-score 的噪声量级内，属于弱证据；何况这个 benchmark 由作者自建，构成、规模与筛选标准都需要审视。为每个 PBR 模态各配一套高斯基元意味着基元数量成倍增长，训练与推理开销、体素网格分辨率上限论文摘要没有交代，而这决定了方法的实际可用规模。网格导出被标为 optional，说明主路径产物仍是高斯，要进现有 DCC 管线还差一步转换。作者全部来自 Apple，摘要未提代码或模型是否发布，短期内外部复现的可能性偏低。 8. TransPhy：看两张示例学会物理变换规则 TransPhy: Visual In-Context Learning for Physically Grounded Image Editing | 北京大学、商汤科技研究院、浙江大学 | arXiv:2608.24119 关键词：视觉上下文学习,物理接地编辑,MoE-LoRA,规则归纳,BAGEL,北大商汤 前序问题：视觉示例是指定图像变换的天然接口——很多变换用文字穷举描述极其困难，比如「让这块金属锈到这个程度」或者「让布料在这个受力下这样塌陷」。但现有视觉上下文学习（VICL）方法主要处理外观级的关系迁移，对物理接地的变换支持很有限，而后者的结果取决于材质属性、几何、物体交互与环境条件。给定一对 source-target 示例和一张查询图，物理接地的 VICL 要求模型做三件事：推断出被示范的是什么变换、把这个变换的效果适配到查询图特有的场景上下文、同时保住与规则无关的内容不被改动。 本文贡献：先建数据与评测：PhysVICL-74 含 74 条物理接地变换规则、5,240 对 source-target 图像，组合成近 7.5 万个训练与评测上下文；benchmark 划分把「新实例迁移」（同规则换物体）与「未见规则泛化」分开评，避免用同一个总分掩盖两种截然不同的难度。方法上 TransPhy 把任务分解成物理规则归纳与过渡对齐渲染两步：先预测被示范的规则，并生成一段针对查询图的显式目标状态描述（把隐式的视觉示范转成可检查的中间语言表示）；再通过 token 级的混合专家适配合成目标图，专家路由由局部化的过渡线索引导。实现在统一模型 BAGEL 上：理解通路走 Text Encoder 与 ViT Encoder，生成通路走 VAE Encoder，各自经 projector 汇入 MM Attention；Token Level Align 模块用示例对的差分（1-Sim）算出过渡热图，经 Top ρ%、token merging、region refine 得到精炼的过渡证据，以 L_STC 监督对齐 router；MoE-LoRA 的多个专家承担规则渲染，配 router 负载均衡与 token 负载均衡两个约束。 Overview of TransPhy on BAGEL. The understanding and generation pathways encode the exemplar--query context; ViT-derived transition evidence aligns token-level routing, while MoE-LoRA experts render the inferred physical rule. 实验效果：在物理规则遵循度、查询一致性、未见规则泛化三项指标上均优于既有的视觉上下文编辑方法。机制侧的证据来自专家路由可视化：逐层的专家使用热图呈现明显分化（不同 MoE block 偏好不同专家，而非均匀使用），说明路由确实学到了结构而不是退化成平均；把全部 token 硬路由到单个专家时（分别强制走 Expert 0 至 Expert 3），同一张查询图会得到肉眼可辨的不同编辑结果，红框标注处差异最明显——这支持了「不同专家承担了不同的变换成分」这一设计假设，而不是彼此冗余的副本。 Expert routing visualization. Left: layer-wise expert-routing heat map. Right: results obtained by hard-routing all tokens through experts~0--3. 批判点评：74 条规则、5,240 对图像撑起「近 75K 个上下文」，说明上下文是由有限图像对组合放大出来的，这个数字的实际信息量远小于字面，读者不该把它当成 7.5 万个独立样本看。更关键的缺口是：物理接地变换的真值怎么来的——渲染引擎合成、真实拍摄，还是另一个生成模型产出？摘要完全没交代，而这直接决定这个 benchmark 是否真的「物理正确」，如果真值本身来自生成模型，整套评测就退化成模仿另一个模型的偏好。效果全部以定性优势描述（improves adherence / consistency / generalization），没有一个绝对数字，也没有与具体基线的逐项对比表，这在有自建 benchmark 的情况下尤其说不过去。专家路由图分辨率偏低，红框标注的差异需要放大才能辨认，作为核心机制证据偏弱。方法只在 BAGEL 一个统一模型上实现，对底座能力的依赖程度未知。「未见规则泛化」的划分粒度（留出整条规则，还是同族规则的变体）会极大影响难度，摘要没有说明。 9. Game2World：先擦掉HUD再拿游戏视频训世界模型 Game2World Engine: Unlocking In-the-Wild Gameplay Videos for World Model Training | Game2World 团队（通讯作者 Dongping Chen，论文未标注机构归属） | arXiv:2608.24680 关键词：世界模型数据,游戏录屏,HUD移除,数据引擎,视频编辑,AAAI2027 前序问题：电子游戏是视频世界模型训练数据的规模化来源——环境多样、交互复杂、野外录屏在互联网上近乎无限。但原始录屏有个结构性缺陷：它把游戏世界和屏幕空间界面纠缠在一起。血条、小地图、任务提示、按键提示、伤害数字这些 HUD 元素会引入游戏特定的偏置和与世界无关的动态，世界模型会把「UI 的变化」当成「世界的变化」学进去，最终产出的既不是干净的画面也不是可信的动力学。 本文贡献：提出 GameUI-Taxonomy 与 G2WEngine，把「游戏 UI 定位与移除」形式化成一套全栈框架。HUD 资产抽取一路是：质量过滤（303 款游戏共 65.72 小时）→ 关键帧采样（采出 1,010 个不同帧）→ 标签起草 → 人工精修（平均每帧 3.69 个 HUD 部件）→ UI 抽取（把裁剪块转成透明资产）。HUD 覆盖层合成一路是：多样性过滤（去掉近似帧）→ 基于语义的构图布局与资产选择 → 时序动画（区分静态与弹出式资产的轨迹）→ alpha 合成与 bbox 追踪，确保合成出来的 UI 在时间上是连贯的。据此构建 Game2World：96K 合成配对视频（带精确重建目标）+ 来自 303 款游戏的 1,079 段野外片段用于真实评测；资产库含 21 个分类下 5,132 个已验证 UI 元素。最后提出 GameCleaner——一个免 mask 的游戏 UI 移除模型，把多模态语义理解与视频编辑能力结合起来，不依赖预先给定的 mask 就能识别并移除多样 HUD，同时保住底层场景内容与时序动态。 Overview of G2WEngine, a scalable data engine that transforms in-the-wild gameplay videos into world-model-ready data through HUD asset extraction, temporally coherent UI synthesis, and downstream support for HUD understanding, removal, and clean gameplay generation. 实验效果：受控 pilot 实验中，用去 UI 录屏训练的世界模型整体 VideoReward 比用带 UI 数据训练的高 6.83%——这是整篇工作的因果论断落点。UI 移除评测上，GameCleaner 在合成视频上平均 AAR 达 95.36，超过最强的时序 mask 基线 57.3%；野外片段上取得最佳 AAR 80.05，背景保持度 99.8。消融给出两条实用曲线：数据规模方面，野外评测下带参考图的表现从 0.2 规模的约 62 分升到全量的约 79.5 分，且曲线尚未收敛，说明继续加数据仍有空间；参考图 drop ratio 方面，野外表现在 20% 附近最好（约 79.8），过高（50%、80%）反而掉到 56、55 附近，而合成集上的表现则对 drop ratio 几乎不敏感（一直在 93~96）——这个合成/野外的分歧本身就是提示。 Ablation study of data scaling and reference drop ratio during training. We find out that larger and more diverse dataset show generalizable result on in-the-wild evaluation and have not converge yet. 批判点评：6.83% 的 VideoReward 提升来自「受控 pilot」，而模型规模、训练配置、评测 prompt 数量摘要一概没交代。这是全文最关键的因果论断，证据却最薄：去掉 HUD 有益在直觉上显然成立，但提升幅度是否稳定、在多大模型上还成立，目前没有答案。「超过最强时序 mask 基线 57.3%」是相对提升，考虑到基线在合成集上的绝对 AAR 只有 60 出头，相对数字把绝对差距放大了不少。野外 AAR 80.05 与合成 95.36 之间那 15 分的落差是重要信号：它说明合成 UI 与真实 UI 之间仍有明显分布差，而合成数据恰恰是训练主力，这个 gap 才是方法的真实上限所在。1,079 段野外片段作为评测集偏小，303 款游戏的品类分布也未公开，UI 风格的长尾覆盖存疑。1,010 帧的人工精修量对应 5,132 个元素尚算合理，但 21 个分类的边界是否清晰、多标注者一致性如何，都没有报告。最后，arXiv comments 里作者直接留邮箱寻求科研合作与资金支持，正文中也缺失机构归属——这是一支早期自筹阶段的团队，工程可复现性需要谨慎预期。 10. LAION-BVD：1000万小时开源视频数据集 LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training | 图宾根大学与图宾根 AI 中心、LAION、于利希超算中心（JSC, FZJ）、Wynd Labs、马普智能系统研究所与 ELLIS Institute Tübingen、慕尼黑工业大学 MCML | arXiv:2608.24845 关键词：开源视频数据集,多模态预训练,CommonCrawl,音频文本,ViCLIP,LAION 前序问题：多模态预训练的视频侧长期缺开放的大规模数据。现有开源视频数据集规模有限（InternVid-10M 量级），真正的大数据集掌握在少数机构手里且不公开，社区因此无法在视频与音频模态上独立验证 scaling 结论——图文模态上 LAION-5B、DataComp-1B 已经把这条路打通了，视频侧却一直缺一个对应的公共基础设施。 本文贡献：LAION-BVD 从 CommonCrawl 中筛出 13 亿条平台特定视频 URL（BVD-URLs），用分布式基础设施实际下载了 8,000 万个视频、总时长 1,000 万小时（BVD-RAW），面向视频、音频、图像三种模态的预训练设计。数据管线用内容感知的场景检测切出片段，并为片段合成生成视频 caption 与音频 caption。派生子集包括：从 240 万视频按 10 秒到 30 分钟过滤并切片得到的 BVD-V-55M（5,500 万片段），再采样出 BVD-V-10M 与 BVD-V-50M；按 2 到 30 秒过滤得到的 BVD-A-1.7M 与 BVD-A-10M 音频片段；以及采样并筛选场景切换帧得到的 BVD-I-300M（3 亿张图像）。最后一条是个有意思的角度——把视频帧当作图文数据的替代来源，因为场景切换帧的视觉分布与常规网页图库明显不同。全量数据集已向研究社区发布。 LAION-BVD data curation pipeline. We source data from CommonCrawl and filter for platform-specific video URLs, resulting in 1.3B high-quality video candidates. Out of these, we successfully downloaded 10M video hours using a distributed infrastructure from which we create the BVD-* subsets. 实验效果：在这些数据上训练的模型在标准 video-text 与 audio-text benchmark 上具备竞争力，且随训练量或模型规模增长持续改善。ViCLIP 上，BVD-V-10M 与 BVD-V-50M 的平均检索约为 56.3 与 56.9、平均分类约为 68.2 与 68.4，两项都高于 DataComp-1B（约 45.0 与 62.6）与 InternVid-10M（约 52.8 与 67.6）。CLAP 音频文本上，BVD-A-10M 的曲线整体位于 Laion-Audio 之上，且随模型规模增长的斜率更陡，从约 42.9 升到约 46.8，而 Laion-Audio 同区间为 42.1 到 44.8。用场景切换帧训练的模型取得了强图文检索表现——这印证了「视频帧可作为图文数据替代源」的判断；但同一组实验也诚实报告了反面：LAION-BVD 的 ImageNet 零样本分类仍弱于网页 alt-text 基线。 LAION-BVD is an open web video dataset at unprecedented scale. It facilitates strong downstream performance for multimodal pretraining. Left: dataset scale in comparison with existing video datasets. Right: average downstream performance of ViCLIP (video-text, tab:exp_results_wise_ft) and scaling-trends of CLAP (audio-text, tab:exp_results_clap_pure) on standard benchmarks. These results demonstrate that LAION-BVD serves as valuable training data across both video and audio modalities. 批判点评：caption 是「synthetically generate」的，也就是模型产出的伪标签。这决定了数据集的语义上限，也会把 captioner 的偏置固化进所有下游模型，而摘要没说用的是哪个 captioner、也没做 caption 质量的人工抽检——对一个定位为公共基础设施的数据集来说，这是最该交代清楚的一项。1,000 万小时是「下载到的原始时长」，真正进入训练的是切片后的子集（如 BVD-V-50M），两个量级不能混着读，标题里的数字带有一定的宣传性质。ImageNet 零样本弱于 alt-text 基线是个诚实且重要的负面结果：它说明视频帧的分布优势偏检索、不利分类，但作者点出后没给成因分析，读者拿不到「什么时候该用这份数据」的判断依据。开源发布的到底是 URL 列表还是视频本体，极大影响长期可用性——CommonCrawl 系数据集普遍存在链接腐烂，几年后的实际复现率会显著下降。版权授权状态与内容安全过滤强度未在摘要交代，这类超大规模网络采集数据集的合规风险不容忽视。评测骨干只有 ViCLIP 与 CLAP 这类相对轻量的判别式模型，这份数据能否直接用于生成式视频预训练（也就是社区最想要的用法）完全没有验证。 趋势观察 扩散后训练同一天冒出两条「去似然化」路线，方向出奇一致 — 今天最值得放在一起读的是 DiffusionOPSD（字节 Seed）和 RVM（NVIDIA + Georgia Tech）。两篇互不引用、机构毫无交集，却在同一个判断上撞车：把大语言模型那套策略梯度机制搬到扩散模型上，是一条走歪了的路。原因很朴素——自回归模型有可解析的样本似然，扩散模型没有。为了凑出一个「似然」，现有方法要么从随机去噪转移拼轨迹似然，要么用 ELBO 近似端点似然，代价是额外计算与算法复杂度，而换来的信号依然只挂在端点上。两篇的解法各走一边：DiffusionOPSD 往「中间监督」走，用 reward 梯度在冻结 behavior policy 提供的 anchor 周围直接构造出有界的正负目标，让每一步的 clean-output 预测都有明确的去处；RVM 往「原生表示」走，干脆不要轨迹、不要似然，直接在速度场上做 reward 加权回归，并顺手把 RAM 与 DiffusionNFT 收成特例。省下来的算力是实打实的：DiffusionOPSD 相比 DiffusionNFT 减 40%~63% GPU-hours，RVM 在 Wan2.1-1.3B 上 525 GPU-h 就跑完，DanceGRPO/TaRoS 要 6,171。更值得留意的是 DiffusionOPSD 那个负面发现——目标构造增益更大，不代表一次拟合后的实现增益更大，HPSv2.1 的目标序在 62.3% 的 prompt 上会反转。这提示扩散 RL 的下一个瓶颈可能不在「怎么定目标」，而在「一步优化能吃进去多少」。 少步蒸馏已经不单独交付了，它和推理工程栈捆成了一个整体 — TurboT2VA 的数字拆解值得逐段看：LTX-2 19B 音视频联合模型，1024×1792、121 帧、单卡 NVIDIA H20 上，40 步教师 318.74 秒。先上 guarded W8A8 加算子融合，拿到 1.37×，降到 233.34 秒；再换成 4 步蒸馏学生，19.18×，降到 12.16 秒；最后叠一层模态感知稀疏注意力（SageSLA，ρ=0.3），再 2.08×，落到 5.83 秒。整体 54.67×。这条链条说明了一件事：单看蒸馏是 19.18×，单看工程栈是 1.37×2.08≈2.85×，但它们乘起来才是那个吓人的数字，任何一环单独宣传都会失真。另一个细节是稀疏化的边界——作者明确保留了跨模态与文本条件的 dense 路径，只对模态内注意力做稀疏。这不是保守，而是承认音画同步这件事经不起近似。反过来看 RVM 那篇也印证了同一件事：它测了从 16 步网格子采样到 5 步、4 步的鲁棒性，说明「少步」已经从加速技巧变成了模型必须自带的属性，而不是发布后再补的一层优化。 视觉 tokenizer 的竞争焦点，从「压得多」挪到了「压得让下游好学」 — AffineTok（复旦 + 阿里 Token Hub）和 KATok（Kakao）走的是同一个方向的两条腿。AffineTok 问的是语义该怎么组织：现有做法训一个 projector 从含噪 latent 直接预测语义，作者指出这预测的是「干净图语义的平均」，而扩散真正需要对齐的是「平均后干净 latent 的语义」——这两个东西不是一回事。他们把语义恢复误差做正交分解，识别出被忽略的一致性要求（Semantic Affine Consistency），并给出 tokenizer 侧代理指标 M_SAC，报告它与 SiT-XL 的 gFID 有 0.960 的 Pearson 相关。KATok 问的是比特该怎么分配：常规 VAE 用固定压缩率，静止镜头和剧烈运动被压成同样多的 token，前者浪费后者不够；它用 Gumbel-Softmax 给每个 token 学一个 keep-or-drop 概率，压缩率从 256²×16 帧的 133 一路涨到 512²×32 帧的 252，而 ElasticTok 固定在 102、OmniTokenizer 固定 96。一个管「语义排布」，一个管「码率分配」，共同点是都不再把 tokenizer 当成一个可以离线调好然后冻住的前置模块，而是当成对下游生成质量负直接责任的一环。AffineTok 的 GSCT 与 PMSA 都只在训练期存在、推理时丢弃，这个设计取向也很能说明问题——愿意为下游多付训练成本，但不肯多付一分部署开销。 世界模型的瓶颈正在从「模型」挪到「数据能不能直接用」 — Game2World 和 LAION-BVD 是今天的数据侧双响。前者盯的是一个很具体的脏活：游戏录屏是世界模型训练数据的规模化来源，但血条、小地图、任务提示这些 HUD 元素把游戏世界和屏幕空间界面纠缠在一起，模型会把 UI 的动态当成世界的动态学进去。G2WEngine 把这件事形式化成全栈流程——从 303 款游戏、65.72 小时录屏里抽出 5,132 个已验证 UI 元素（21 个分类），再把时序一致的 UI 覆盖层合成回干净录屏，造出 96K 配对视频用于训练、1,079 段野外片段用于评测，最后训一个免 mask 的 GameCleaner 擦干净。受控实验里，用去 UI 数据训练的世界模型整体 VideoReward 高 6.83%。后者走的是另一个极端：LAION-BVD 从 CommonCrawl 捞了 13 亿条视频 URL，下载 8,000 万个视频共 1,000 万小时，切片后派生出 BVD-V-55M、BVD-I-300M、BVD-A-10M 等一系列子集，ViCLIP 上 BVD-V-50M 的平均检索约 56.9、平均分类约 68.4，都高过 DataComp-1B 与 InternVid-10M。两篇合起来的信号是：视频生成这条线上，「有没有数据」的问题正在被「数据里有多少是能直接喂的」取代。也要留一句冷水——LAION-BVD 的 caption 是模型合成的伪标签，它的天花板就是那个 captioner 的天花板；而它诚实地报告了 ImageNet 零样本分类仍弱于网页 alt-text 基线，说明视频帧的分布优势偏检索、不利分类。 人工智能炼丹君 整理 | 2026-08-27 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-08-25|Meta让15B DiT优化器时间砍半Muon-DiT 今日 AIGC 论文速览 今日共 10 篇 · 训练与推理效率 3 篇 · 视频编辑与视角转换 2 篇 · 生成理解一体化 1 篇 · 3D 与数字人生成 2 篇 · 可控图像生成 1 篇 · 生成评测 1 篇 重点论文标题列表 Muon-DiT（Meta、南加州大学 (USC)）：优化器时间砍掉一半的15B DiT InfinityEdit（浙江大学、阿里巴巴集团）：编辑指令跟着直播流无限延伸 TextAnchor（哈尔滨工业大学、可灵 KlingAI Research）：十张参考图编辑提速5.47倍 Grounded-Exo2Ego（NVIDIA）：第三视角视频翻成第一视角 Libra（中科院自动化所 MAIS、中国科学院大学、鹏城实验室）：视觉与语言各走各的路再架桥 今日论文速览 1. Muon-DiT：优化器时间砍掉一半的15B DiT Scaling Muon for Diffusion Transformers | Meta、南加州大学 (USC) | arXiv:2608.20818 关键词：Muon优化器,DiT训练,Scaling Law,Newton-Schulz,通信优化,Meta 前序问题：Muon 是一个矩阵感知的优化器，它通过在奇异方向之间平衡更新来改善大模型训练，在语言模型上已有不少正面报告。但它在扩散 Transformer 上到底有没有用、有用的话优势会不会随规模衰减，一直没有系统答案——扩散模型的训练目标（去噪回归）与语言模型的下一 token 预测差异很大，参数矩阵的谱结构也不同，语言模型上的结论没有理由直接迁移。更棘手的是端到端效率：Muon 的核心是每一个优化步都要做 5 步 Newton-Schulz 迭代（NS5）来正交化更新方向，再加上需要把动量完整物化出来，这两项在大规模分布式训练下会引入可观的计算与通信开销。理论上 Muon 用更少的步数达到同样质量，但如果每一步都更贵，省下的步数优势就被抵消了，实际墙钟时间可能反而更长。 本文贡献：作者先把 Muon 在 1.3B 到 15B 参数的 DiT 上的 scaling 行为建立起来，确认其相对 AdamW 的优化与生成质量优势跨越各个规模都存在。然后针对上述开销问题提出 Periodic Row-wise Muon：完整的 NS5 谱更新每 K 步才做一次，其余步骤基于当前动量做一个计算与通信开销都很低的行约束（row-wise constrained）更新。这个设计的直觉是谱正交化的收益具有一定的时间持久性，不需要每步重做；行归一化则以极低成本维持更新方向的量级平衡。配套的分布式实现是关键的另一半——非刷新步直接在分片后的动量上操作，避免全量物化；谱刷新步则通过分桶 all-gather 与通信-计算重叠来加速。方法层面与实现层面是协同设计的，不是先有算法再套一个工程实现。 实验效果：跨全部规模，Muon 相对 AdamW 把观察到的最佳生成质量提升了 12.9%~19.1%。相比原版 Muon，Periodic Row-wise Muon 在 1.3B~4B 上最佳生成质量的差距保持在 0.5% 以内，在 9B 上反而提升了 4.5%。效率侧：优化器时间减少 46.9%~54.3%，端到端单步时间减少 15.7%~24.3%，逻辑通信量降低 66.7%，达到各自最佳生成质量所需的有效训练时间减少 33.7%~64.8%。9B 模型的 profiler 时序图直观展示了这个差异：原版 Muon 每一步的 CPU 阶段都被红色的 NS5 块占据，归一化总时间 12.47；Periodic Row-wise Muon 只在第一步做紫色的周期性刷新，后两步是很窄的绿色行归一化块，总时间降到 10.26。 Generation quality for AdamW and Periodic Row-wise Muon. 批判点评：评价指标只用了 FD-DINO 这一项。它作为生成质量代理是合理的，但单一指标很难覆盖扩散模型关心的全部维度——文本对齐、多样性、失效模式都没有报告，「生成质量提升 12.9%~19.1%」这个数字的解释空间因此受限。周期 K 的选择论文中没有在摘要层面给出选取准则，而这是一个直接影响质量-效率权衡的超参，实际使用时需要重新搜索。另外 9B 上 Periodic 版本反而比 vanilla Muon 好 4.5% 这个结果有点反直觉（近似方法优于精确方法），论文归因不明，更可能是训练噪声或正则化副作用，而不是周期化本身带来的收益——15B 上并没有复现出同样的优势。最后，全部实验在 Meta 内部的训练栈上完成，通信优化的收益与具体的集群拓扑强相关，换一套硬件环境未必能复现 66.7% 的通信量下降对应的实际时间收益。 2. InfinityEdit：编辑指令跟着直播流无限延伸 InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter | 浙江大学、阿里巴巴集团 | arXiv:2608.20910 关键词：无限视频编辑,流式生成,轻量适配器,因果注意力,阿里 前序问题：指令式视频编辑这两年靠大预训练模型已经做得不错，但绝大多数方法都建立在一个默认假设上：原地编辑。给定一段固定时长的源视频片段，把编辑后的视频与它逐帧对齐。这个模式在开放式的视频流面前直接失效——比如给一场正在进行的游戏直播换风格，或者给一个还在拍摄的镜头加一段运镜，编辑必须作用在陆续到来的未来帧上，而不是一个静态的输入片段。这个设定带来两个新困难：编辑必须是对流的忠实延续而不是逐帧重写，以及当编辑指令一条接一条累积时，生成质量不能持续退化。 本文贡献：作者先把这个任务形式化命名为无限视频编辑（infinite video editing）——给定前序片段和一条编辑请求，模型要生成延续这个流并施加该编辑的下一个片段，整个过程随无界的指令序列反复进行。为此他们设计了配套的数据收集管线，并在此基础上提出 InfinityEdit：一个给流式视频生成器加装无界编辑能力的轻量编辑适配器。适配器里有三个注意力模块，分工明确——历史交叉注意力用输入帧引导当前去噪帧，时序因果自注意力保证时间信息只从早期帧流向后期帧，编辑交叉注意力把编辑请求注入生成过程。推理时的调度是这个方法的巧妙之处：适配器只在编辑请求到达的那个 chunk 被激活（作者称之为 ignition chunk），后续 chunk 交还给原模型、用重置的锚定帧继续生成。这样既施加了编辑，又完整保留了原模型的无限生成能力，不会因为适配器一直在线而累积漂移。 Our adapter's architecture. It is composed of three attention modules. 实验效果：实验显示 InfinityEdit 在每条编辑下都能忠实延续视频流，并在无界编辑序列上保持稳定。定性对比最能说明问题：以一段山峰风景视频为源，连续施加「向上移动镜头」「拉远」「美式漫画风格」三条指令，Helios-Base 在第一条指令后就基本没有响应运镜；Anchor-Forcing 和 Infinity-RoPE 从第一轮开始画面就被云雾吞掉、山体结构丢失；SANA-Streaming 在第三轮的漫画风格化中把山体涂成了大片紫黄色块。InfinityEdit 三轮下来山峰主体的结构始终清晰可辨，运镜幅度与指令对应，漫画化时也保留了山形轮廓。长视频实验把每个编辑片段拉长到全序列超过 1000 帧，方法依然视觉稳定且持续实现每条指令。 Qualitative comparison with various methods on the streaming video editing task, where a sequence of editing instructions (here camera-movement and style edits) is applied continuously to a scenery source video. All methods share the same source video and editing instructions. Methods marked with $\dagger$ take no source video as input, while all other conditions are kept identical for fairness. 批判点评：18 页的篇幅对一个新任务定义加方法加数据管线来说偏紧，摘要里的实验结论全是定性表述（「忠实延续」「保持稳定」），没有给出量化的编辑成功率或与基线的数值差距，只能等正文核实。更值得追问的是评测本身——无限视频编辑这个任务是他们自己定义的，数据管线也是自建的，对比的基线（Helios-Base、Anchor-Forcing、Infinity-RoPE、Lucy-Edit、SANA-Streaming）都不是为这个设定设计的，在这种「主场作战」的比较里领先幅度容易被高估。推理时适配器只在 ignition chunk 激活、后续交回原模型这个调度虽然保护了无限生成能力，但也意味着编辑效果的持续性完全依赖锚定帧的传递，如果某条编辑的语义需要长时间维持（比如把整个场景换季），单 chunk 的激活是否够用是个未验证的问题。 3. TextAnchor：十张参考图编辑提速5.47倍 Anchoring Instruction Outside Mask: Exact Reference Caching for Efficient In-Context Diffusion Transformers | 哈尔滨工业大学、可灵 KlingAI Research | arXiv:2608.21229 关键词：参考图缓存,注意力掩码,on-policy蒸馏,多图编辑,可灵 前序问题：全模态生成里，上下文条件是核心机制——让扩散 Transformer 在同一条注意力序列里同时处理文本指令和视觉参考。问题是每张参考图会引入数千个 token，算力随参考图数量快速增长。现有的省法是结构化稀疏注意力，通过限制参考 token 与目标 token 之间的交互来砍计算。这个结构有个附带好处：参考图的 K 和 V 与去噪目标无关，因此可以算一次、跨所有去噪步复用。但代价同样明显——它把视觉参考与文本指令之间的通路也一并切断了，参考图「看不到」用户的指令，多参考图编辑里的指令跟随和参考保真度显著下滑。这是一个结构性的两难：要缓存就得解耦，一解耦指令就传不进去。 本文贡献：作者的破局点是同时重新设计 token 序列与注意力掩码，而不是在两难中做取舍。他们的 beyond-mask 设计引入静态文本锚点（时间步固定在 t=0 的文本 token），把指令连接到参考分支上，同时严格保持 K/V 精确复用的前提，且不增加任何参数。但这种直接的架构改造会掉生成质量，他们用两阶段的方式恢复：第一阶段是教师强制的速度蒸馏，在数据派生的插值点上查询教师；第二阶段是一段短的 on-policy 阶段，让教师在学生实际访问到的状态上做监督、修正沿轨迹的残余误差。作者称据其所知这是扩散模型中第一次用 on-policy 蒸馏来做架构恢复——这个组合思路（先改架构拿效率，再用蒸馏把质量补回来）本身比具体的加速数字更有普适价值。 Overview of instruction-aware exact caching. Top: Static text anchors condition the reference branch once during cache construction. Only the resulting reference K and V are retained and reused across denoising steps. Bottom: Comparison of attention structures, where rows denote queries and columns denote keys and values. 实验效果：在三个图像编辑基准上，方法与全注意力生成的质量持平。5 张参考图时把完整的 40 步去噪流程加速 3.92 倍，静态文本锚点带来的运行时开销可忽略；scaling 研究中 10 张参考图时加速比达到 5.47 倍。参考图数量与加速比的关系曲线很清晰：1 张时仅 1.82 倍，2 张 2.45 倍，5 张 3.86 倍，之后逐步爬升到 10 张时的 5.47 倍——全注意力的延迟从 1 张的约 40 秒涨到 10 张的约 970 秒，而本方法只从约 40 秒涨到约 175 秒，两条曲线的斜率差就是这套缓存机制的价值。定性对比中，隔离缓存（isolated condition）经常跟不上指令（图中红框标出的错误区域），而文本锚点版本的输出与 Qwen-Image-Edit-2511 的全注意力结果接近。 批判点评：加速比对参考图数量的强依赖需要被正确理解：单张参考图时只有 1.82 倍，这是绝大多数实际编辑场景的常态；5.47 倍要 10 张参考图才能拿到，而十图编辑是相当边缘的用例。也就是说这套方法的收益曲线与真实需求分布未必对齐。质量方面论文的说法是「matches full-attention generation quality」——匹配而非超越，考虑到还额外付出了两阶段蒸馏的训练成本，这个权衡是否划算取决于部署场景的推理量。on-policy 蒸馏作为架构恢复手段是个有意思的贡献，但论文没有报告这个恢复过程本身的成本（需要多少数据、多少 GPU 时），而这直接决定了该方法能否被复用到其他架构改造上。另外静态文本锚点把文本时间步固定在 t=0，这对训练时见过的时间步分布是一个分布外的用法，长期稳定性需要更多验证。 4. Grounded-Exo2Ego：第三视角视频翻成第一视角 Grounded-Exo2Ego: Structured Semantic Grounding for Robust Exocentric-to-Egocentric Video Generation | NVIDIA | arXiv:2608.20534 关键词：第一视角生成,视角转换,语义锚定,3D重建,NVIDIA 前序问题：从一段第三人称（exocentric）视频生成对应的第一人称（egocentric）视频，对 AR/VR 与具身智能都很关键——第一视角数据的采集成本远高于架好机位拍摄。但这个任务比常规的新视角合成难得多：视角变化极端，标准的几何条件（把场景重建成 3D 再从目标位姿渲染）在这种大跨度下变得高度不可靠，而且会出现大量在源视频里根本没被观察到的区域，几何重建对这些地方无能为力——渲染出来就是一片空洞。 本文贡献：作者在架构和数据两个层面同时下手。架构上是一个双分支的视频扩散模型：几何锚定分支把第三视角的颜色和深度抬升成 3D 重建、在目标 ego 位姿下渲染，用这个渲染结果条件化生成；语义锚定分支则跳出了主流的纯几何路线——用 captioning 提取逐物体的短语，经 LLM 转成物体 token，配合可学习的 register，通过带掩码的交叉注意力注入，让模型基于物体级上下文来合成那些几何搞不定的困难区域。另一个被忽视但影响巨大的发现是相机-重建失配问题：重建出的 3D 与相机位姿之间存在系统性错位，会严重拖累 exo-to-ego 的学习，他们为此设计了一个相机重定位算法，修正后全部指标都有实质提升。数据层面则做了一个全自动的合成数据引擎，在程序化生成的环境里生成并渲染绑定骨骼的 3D 角色。 Method overview. Geometric anchoring (top): Exocentric color and depth are lifted to a 3D reconstruction and rendered at the ego pose. Semantic grounding (bottom): Per-object context is extracted as segmentation masks and object tokens. The segmentation masks are reprojected into the ego-view as used as attention masks during cross-attention. The per-object masks encourages noisy tokens to attend to object information relevant to the specific region, providing spatial structure that grounds semantics onto pixels. 实验效果：在有挑战性的 EgoExo4D 数据集上，方法在所有指标上都大幅超过近期的 SOTA。详细消融验证了数据侧与架构侧每一项贡献各自的增益。teaser 图给出的定性对比很有说服力：同一个厨房场景，Vista4D 生成的第一视角画面里手部与台面结构完全错乱，EgoX 虽然保住了手的形态但物体摆放与真值不符，纯几何渲染（Grounded Rendering）在未观察区域留下大片彩色噪点和空洞，而本方法的输出在手部姿态、盘子位置、台面布局上都与 ground-truth 高度接近。 批判点评：语义锚定分支依赖 captioning 模型和 LLM 来产生物体级条件，这条链路的鲁棒性没有被讨论——captioning 出错或漏掉关键物体时，本该被语义补全的困难区域会退化成什么，论文没有给出失败案例分析。合成数据引擎用程序化环境加绑定骨骼角色，与真实第一视角视频之间的域差距是这类方法的老问题（真实 ego 视频有严重的运动模糊、鱼眼畸变、极端光照），论文说合成数据有用，但没说清在多大程度上依赖它。评测只在 EgoExo4D 上进行，这个数据集以厨房、自行车维修等结构化场景为主，泛化到户外或大范围移动场景的能力未知。另外相机重定位算法被描述为「实质提升所有指标」，这暗示原始 baseline 的一部分差距其实来自数据处理缺陷而非方法本身，与 SOTA 的比较中这部分收益应当被单独看待。 5. Libra：视觉与语言各走各的路再架桥 Decoupled Vision-Language System for Multimodal Understanding and Generation | 中科院自动化所 MAIS、中国科学院大学、鹏城实验室 | arXiv:2608.20382 关键词：生成理解一体化,解耦架构,Switch Attention,跨模态桥,中科院 前序问题：生成理解一体化的多模态大模型现在基本都走一条路：把图像 token 和文本 token 拼进同一个 Transformer，共享全部参数。这么做简单，但隐含了一个未经检验的假设——视觉和语言的表征需求是相同的，可以用同一套注意力和 FFN 权重来建模。实践中大家反复观察到理解与生成两个目标互相拖累：加强生成能力往往损害理解性能，反之亦然。问题的根源可能在于自模态建模（视觉内部的空间关系、语言内部的语法结构）和跨模态交互（图文对齐）本来就是两类不同的计算，硬塞进同一套参数里会产生干扰。 本文贡献：Libra 的做法是把两者显式分开：一个视觉系统、一个语言系统，中间用跨模态桥（cross-modal bridge）连接。解耦主要落在两个模块上——switch attention 和 switch FFN，它们根据当前处理的是自模态建模还是跨模态交互，动态路由计算流。这样每个模态能学到自己独有的表征，同时保持有效的跨模态理解。作者给出了两个配置：Libra-1 用于纯理解的图生文设定，Libra-2 用于理解与文生图统一的设定。除了架构本身，论文还讨论了 tokenization、位置编码和监督信号上的多项改进——比如混合图像 tokenization 把 CLIP 的连续信号与 VQGAN 的离散 ID 通过 LFQ 结合，因为直接把 VQGAN 的图像编码器换成 CLIP 会扭曲视觉信息。 An overview of the Libra architecture. The core design is the switch attention and the switch FFN that decoupling self-modal modeling and cross-modal interaction. We build two variants, Libra-1 and Libra-2, to discuss several improvements in tokenization, positional encoding, and supervision. 实验效果：实验表明专门的 Libra 设计让多模态理解与生成互相促进（而非互相拖累），在理解与生成两类基准上都取得了强性能。文生图的定性对比中，面对「悉尼歌剧院旁边是埃菲尔铁塔，蓝色夜空下爆炸的黄色星星和旋转的蓝色光晕」这种多要素长 prompt，SDXL 漏掉了铁塔、Show-O 把歌剧院画成了抽象色块，Libra-2 则把歌剧院、铁塔、星芒、蓝色漩涡都放进了画面；「一张脸左半边是爱因斯坦、右半边是机器人剖面」这条更考验组合能力的指令上，Libra-2 的结果左右分界清晰、机械结构细节完整。tokenizer 的消融图也直观显示直接用 CLIP 替换 VQGAN 编码器会让重建图像严重失真，而 Libra-1 的混合方案大幅缓解了这一点。 Comparison on text-to-image generation. We highlight the key parts of the text prompts, where Libra-2 demonstrates strong prompt-following capacity. % shows several text-to-image generation results of Libra-2. More results are presented in Sec.. In Fig, we compare the text-to-image generation results of Libra-2 with two baselines, StableDiffusionXL and Show-O, where StableDiffusionXL is a widely-used strong text-to-image generation model, and Show-O is a unified MLLM that use the most closed training 批判点评：摘要里的性能表述全是「strong performance」这类定性词，没有给出任何绝对数字或与具体基线的对比，无法判断领先幅度——这在一篇主打架构设计的论文里是个不小的信息缺失。解耦架构的直接代价是参数量：一个视觉系统加一个语言系统再加跨模态桥，参数规模相比同等能力的共享架构必然更大，论文没有报告参数量对齐后的公平比较，「互相促进」的结论也就有可能部分来自额外容量而非解耦本身。定性对比选的基线 SDXL 和 Show-O 都不是当前最强的文生图或统一模型，说服力有限。另外 switch attention/FFN 的路由是根据「当前是自模态还是跨模态」这个二元判断来做的，这个划分在实际的混合序列里如何精确界定，摘要层面没有交代。 6. DiffVC-ONE：一步扩散做视频压缩后处理 DiffVC-ONE: Diffusion-based Generative Video Compression with One-Step Video Diffusion Transformer | 武汉大学遥感信息工程学院 | arXiv:2608.20515 关键词：生成式视频压缩,一步扩散,视频DiT,时序一致性,武汉大学 前序问题：生成式视频压缩能在极低码率下恢复丰富的视觉细节——这是传统编码器做不到的，因为传统方法在低码率下只能丢细节，而生成模型可以「补」出合理的细节。但这条路上同时满足高时序一致性和低推理成本一直很困难：基于图像的方法逐帧处理，帧间容易闪烁；基于视频的方法能保证一致性，但多步扩散的推理成本在视频这个数据量级上难以承受。 本文贡献：DiffVC-ONE 建立在一步视频扩散 Transformer 之上，三个组件依次解决三个问题。统一单向 latent 压缩器（U2LC）用一个共享模型高效且统一地压缩紧凑的 latent 切片，避免为不同参考结构设计不同的压缩器。视频 DiT 的一步扩散增强器把重建出的 latent 切片当作内容锚点，对整个图像组（GOP）做单步的时空感知增强——注意这里是对整个 GOP 一起做，时序一致性因此有结构性保证，而不是靠逐帧后处理再想办法对齐。混合条件生成器从重建内容和量化信息里抽取结构、强度、语义三类条件：结构条件保留应当忠实还原的区域，强度条件控制生成增强的程度（这一点很重要——不是所有区域都该被生成模型「发挥」），语义条件在一步增强中补充内容感知的感知细节。 The framework of the proposed DiffVC-ONE. 实验效果：在多个标准基准上达到 SOTA 的感知质量和时序一致性，同时保持低推理成本。视觉对比给出了同一场景下各方法的码率（BPP）与放大细节：videoSRC15 的教堂穹顶场景中，DiffVC-ONE 的 BPP 是 0.0126（作为 1.00 倍基准），而 DiffVC 需要 0.0321（2.55 倍）、DiffVC-OSD 需要 0.0355（2.82 倍）才能达到相当的观感；鹦鹉羽毛的例子里 DiffVC-ONE 用 0.0059 BPP，对比 PLVC 的 0.0158（2.68 倍）和 VTM-17.0-LD 的 0.0074（1.25 倍），红黄羽毛的边界过渡更清晰。也就是说在相同感知质量下，码率大约只需要竞品的三分之一到二分之一。 Visual comparison between the proposed DiffVC-ONE and other representative methods. 批判点评：这是一篇工程完成度很高但方向偏窄的论文——生成式视频压缩距离实际部署还有距离，主要障碍是解码端需要跑一个视频 DiT，这个成本在终端设备上并不现实，「低推理成本」是相对于多步扩散而言的，不是相对于传统编解码器。论文只有两位作者，实验体量看起来主要靠 RD 曲线堆砌（6 个数据集 × 6 个指标 = 36 张子图），但这种密集的曲线图很难让读者判断在哪个码率区间优势最明显。另外生成式压缩有一个根本性的争议这篇没有正面回应：解码出的细节是模型「编」出来的而非真实存在的，在监控、医疗、取证这类场景下这是不可接受的属性，而 LPIPS/DISTS/FID 这类感知指标恰恰会奖励这种行为。强度条件的设计看起来是对这个问题的部分回应，但论文没有把它作为一个安全机制来讨论和验证。 7. MultiCube：拿包围盒指挥每个零件长在哪 MultiCube: Compositional 3D Generation With Part-Level Semantic and Spatial Control | Roblox、卡内基梅隆大学 (CMU)、斯坦福大学 | arXiv:2608.20448 关键词：组合式3D生成,部件级控制,布局适配器,两阶段扩散,Roblox 前序问题：游戏和动画里用的 3D 资产通常需要是组合式的——拆分成有语义意义的部件，这样才能单独换材质、做动画、改结构。最近的 3D 生成方法已经能从图像或文本 prompt 生成高质量的组合式物体，但这类全局条件缺少专业创作流程真正需要的部件级可控性：你可以说「一门带黄铜炮管和木轮底座的加农炮」，但没法指定炮管具体多长、轮子放在哪个位置。 本文贡献：MultiCube 的输入设计很直白：一个全局文本 prompt、一份指定期望部件的文本 schema、以及一个用包围盒标出各部件空间位置的布局。输出是由多个独立网格组成的 3D 物体，一个部件一个网格，且同时满足语义和空间条件。方法用两阶段扩散：第一阶段生成与 schema 和布局对齐的整体网格（monolithic shape），第二阶段把这个网格同时分解成各个部件——注意是同时而非逐个，因为部件之间存在相互约束。核心组件是 Part Layout Adapter，它独立于其他部件来编码每个部件的条件（文本标签走 Qwen-VL，包围盒走 Fourier + Linear），这个独立性保证了改动一个部件的条件不会牵动其他部件。第二阶段的多部件 DiT 之间插入 Cross-Part Attention，让各部件在生成时互相感知、保证接缝处的几何一致。 MultiCube uses a two-stage diffusion-based architecture. In Stage 1, it synthesizes a monolithic object conditioned on the input text prompt and part layout (a). In Stage 2, it takes the object latents produced in Stage 1 and decomposes them into multiple shapes, one for each specified part, guided by the part labels and bounding boxes (b). Spatial conditions are encoded with a Part Layout Adapter in Stage 1 and a lightweight embedding in Stage 2. 实验效果：实验显示方法能生成高质量的组合式 3D 物体并实现精确的部件级控制，包括那些仅靠文本或图像 prompt 难以达到的独特布局。定性结果覆盖面很广：婴儿车（车架/把手/座椅/顶篷/轮子五部件）、滑板（板面/桥/轮）、手电筒、树蛙、工具箱、摩托艇（船体/舷外机/螺旋桨/方向舵/挡风/座椅六部件）、黄铜提灯，以及喷气背包、加特林、火箭、军用水壶、飞碟、腕式弹弓、长剑等。每个例子里生成的形状都能看出与输入包围盒布局的对应关系——比如飞碟的「旋转外环」确实是一圈环绕结构、「诱捕光束发射器」在底部。 Full pipeline generation results. MultiCube generates compositional 3D objects from input text prompts and part layouts. Here, the part bounding box layouts are automatically generated using GPT-5.1; hence, the generation process from prompt to output shape is fully automatic. 批判点评：对创作者来说，手工摆包围盒本身就是一项不轻的工作量——这套方法把「描述物体」的负担转移成了「搭建粗模」的负担，是否真的降低了创作门槛取决于具体工作流。摘要没有给出任何量化指标（几何质量、部件分割准确率、布局遵循度都没有数字），也没有与 CubePart、PatchAlign3D 等基线的定量比较，「高质量」的判断只能靠看图。展示的例子都是结构相对规整的人造物体（工具、载具、武器），部件边界清晰；有机形体（树蛙那个例子是唯一的例外，且它的部件划分——身体/头/舌头/腿——也相当粗粒度）和部件间存在复杂拓扑连接的物体表现如何，从现有材料看不出来。另外包围盒作为空间条件只能表达轴对齐的粗略位置，无法表达旋转、弯曲等更细的姿态要求。 8. Xemo-Talker：把情绪监督放到次主成分上 Xemo-Talker: Unlock Emotions Explicitly for Audio-Driven Talking Portrait Synthesis | 利物浦大学、西交利物浦大学、昆山杜克大学、CMU、蚂蚁集团、平安科技 | arXiv:2608.14700 关键词：说话人视频,情绪控制,主成分分析,唇形同步,蚂蚁集团 前序问题：音频驱动的说话人头像里，精确的情绪控制一直做不好，因为现有系统依赖隐式的情绪调节——情绪信号混在整体条件里，控制间接且不充分。而如果直接在整个运动空间上加显式的情绪相关损失，又会撞上一个内在的权衡：唇形同步需要运动空间的主要能量方向被音频严格约束，情绪控制则要求这些方向能被情绪标签改动，两个目标在同一组维度上打架。 本文贡献：论文的核心发现是一个关于运动空间结构的观察：虽然情绪线索散布在整个运动空间中，但把判别性监督集中在次主成分（less-principal components）上，反而能取得更好的情绪-唇形平衡——因为主成分主要编码高能量的发音动作和头部姿态变化，情绪信息在这些方向上的占比被淹没了。基于这个洞察，Xemo-Talker 先学一个中性的语音到运动映射，保证稳定的发音和唇形同步（这一支冻结），再引入一个由次主子空间监督引导的轻量情绪分支（可训练）。为了强化情绪控制，他们设计了 Tri-Loss：类间分离、类内紧凑、以及次主对比学习三项。推理时输入音频、参考图像和情绪标签即可。 Overview of Xemo-Talker. (a) The Geometry Motion Predictor learns emotion-agnostic audio-driven motion through diffusion reconstruction, producing the complete 70-D facial motion sequence. (b) With the predictor frozen, the Geometry Emotion Branch encodes the target emotion and injects multi-scale residual features through zero-initialized adapters to refine the motion prediction. (c) The subspace-aware Tri-Loss organizes global emotion representations using classification and prototype alignment, while applying contrastive discrimination to the less-principal PCA projection. The predicted motion is converted into deformed keypoints and rendered by the frozen LivePortrait renderer. 实验效果：在情绪分类准确率上达到 SOTA，同时保持有竞争力的唇形同步和高推理效率，性能接近在真实视频上测得的水平。定性对比里最有说服力的是 Fear 与 Surprised 这一对——这两种情绪在面部表情上高度相似（都是睁大眼睛、张嘴），是情绪控制里最容易混淆的一对。图中同一身份在两种标签下生成的结果确实呈现出可区分的差异：Fear 时眉毛内侧上扬、嘴角向下、整体表情收紧，Surprised 时眉毛整体上抬、嘴张得更圆、眼睛睁得更大。男女两个身份上这个区分都成立。 Visual comparison of Fear and Surprised expressions from MEAD. 批判点评：「情绪分类准确率 SOTA」这个指标本身值得警惕：它衡量的是一个分类器能否认出生成视频的情绪，而 Tri-Loss 里的类间分离和类内紧凑恰恰是在直接优化这个可分性——存在把情绪做成夸张刻板表情来取悦分类器的风险，而人类观感上的自然度未必同步提升。论文没有报告用户研究，这个疑虑无法排除。次主成分承载情绪信息这个发现是基于 70 维运动空间的 PCA 方差谱得出的，这个运动表示来自 LivePortrait，结论是否依赖这个特定的运动表征、换一套 3DMM 或隐式表示还成不成立，没有验证。情绪标签是离散的类别（happy/sad/fear/...），这与真实表达中情绪的连续性和混合性不符，强度控制也不在建模范围内。另外机构列表横跨六家单位，实际的实验规模从 9 页的篇幅看应该有限。 9. OccluRank：给每个框加个序号定遮挡 OccluRank: Controllable Occlusion-Aware Layout-to-Image Generation by Adding Just an Ordinal Rank | 合肥工业大学、中国科学技术大学、字节跳动、中科院软件所 | arXiv:2608.20932 关键词：布局生成,遮挡顺序,序数条件,可控生成,字节跳动 前序问题：布局到图像生成通过包围盒实现显式的空间控制，但包围盒只能指定实例的位置，无法表达它们之间的遮挡关系——两个框重叠时，谁在前谁在后是未定义的。现有方法要么额外依赖深度图等几何条件（增加了输入负担），要么用复杂的推理阶段优化流程，要么把各实例的表征独立构建后简单聚合、完全不建模遮挡带来的相互作用。 本文贡献：OccluRank 的设计极简：给每个包围盒只加一个序数 rank。这个用户指定的遮挡顺序通过轻量的基于 rank 的条件注入编码进模型，配套的 Order-aware Instance Interaction（OII）模块在聚合前对 rank 条件化的实例表征做联合更新——具体是在每个空间位置 p 上取该位置的有效性掩码，把落在这里的多个实例特征送进一个 Transformer 做位置级的跨实例交互，让指定的顺序引导重叠实例之间的信息交换。整个过程不需要额外的几何输入，也不需要推理时的专门优化。数据侧他们构建了 OccluLayout：一个合成训练数据集，遮挡顺序和 amodal 标注直接从已知的场景几何导出，而不是用辅助预测模型从部分遮挡的图像里估计——这是个关键差别，估计出来的标注在遮挡严重时本身就不可靠。评测侧提出 OccluLayout-Bench，用多个多模态大模型评测器分别评估实例存在性、空间布局、属性和遮挡顺序，再加 FID 衡量整体图像质量。训练目标除了全局去噪损失还加了前景并集掩码上的局部去噪损失。 Overview of OccluRank. OccluRank constructs spatially aligned instance features, incorporates ordinal rank embeddings, and performs location-wise cross-instance interaction before aggregating into an Instance Semantic Map (ISM). The masked ISM is residually injected into selected cross-attention layers of SDXL. 实验效果：实验显示 OccluRank 更可靠地保留目标实例、遵循指定布局、实现期望的遮挡关系，同时属性一致性和整体图像质量与基线相当。定性对比中的差异相当明显：「猿在前、羊在后、鸡在最后、狐狸最远」这组布局里，CreatiLayout 把猿和羊糊成了一个畸形生物、LaRender 直接漏掉了羊和鸡，OccluRank 则四个实例齐全且前后关系正确；「大象/长颈鹿/斑马/斑马」那组里 OcclusionFormer 漏掉了长颈鹿、IFAdapter 的斑马与长颈鹿位置错乱，OccluRank 的四个动物按指定顺序排布。反向消融图进一步验证了控制力：把实例顺序反过来后，没有 rank embedding 的变体输出几乎不变（说明它根本没接收到顺序信号），完整模型则正确翻转了前后关系。 Qualitative comparison under overlapping layouts. $^\dagger$ denotes the official checkpoint without OccluLayout training. 批判点评：用多模态大模型当评测器来判断「遮挡顺序是否正确」是个方便但风险不小的选择——MLLM 本身对遮挡关系的判断能力就未经充分验证，用它评一个专门优化遮挡的模型，存在评测器与被评对象共享失败模式的可能。OccluLayout 是合成数据集，遮挡顺序从已知几何导出确实比估计可靠，但合成场景的物体摆放分布与真实照片差距多大、训练在合成数据上的模型在真实布局上的泛化如何，需要看正文的实验设计。序数 rank 只能表达全序的前后关系，现实中常见的交错遮挡（A 遮 B 的左半、B 遮 A 的右半，比如交叉的手臂）无法用一个标量序号表达。骨干用的是 SDXL，在当前时点已经不算前沿，这套 rank 条件化机制能否迁移到 DiT 架构的现代模型上是个开放问题。 10. CamWorldQA：给运镜可控的世界视频打分 CamWorldQA: Perceptual Quality Assessment of Camera-Controlled World Video Generation | 上海交通大学、埃因霍温理工大学 | arXiv:2608.18710 关键词：视频质量评测,相机控制,世界模型,无参考VQA,上海交大 前序问题：生成式视频模型现在已经能做相机可控的世界视频生成——用户给定一条相机轨迹，模型据此合成视频。但评估这类视频的质量没有合适的工具：现有的视频质量评估方法都是为自然视频设计的，捕捉不到相机可控生成特有的感知特性，比如视角一致性、运动连贯性和内容保持度。换句话说，这个方向的进展缺少一把合适的尺子。 本文贡献：作者构建了 CamWorldQA，第一个针对相机可控世界视频生成的感知质量评测基准。规模是 720 个生成视频，来自 6 种代表性生成方法、20 个多样化的源视频、6 种相机轨迹（Truck Left/Right、Dolly In/Out、Pedestal Up/Down）的组合，每个视频都通过主观实验获得了人工标注的感知质量分。在此基础上他们提出 CWQA，一个无参考的质量评估网络，用三个互补分支分别提取特征：光流分支用 RAFT 抽运动轨迹特征（1×512），运动分支用 SlowFast 的双通路抽运动特征（1×2304），空间分支用 ResNet-50 加多层级池化抽空间特征（1×7168）。三路特征经 Projection MLP 后通过自适应门控加权融合，再送进质量回归头输出分数。 Overview of the proposed CWQA method. 实验效果：实验表明 CWQA 在 CamWorldQA 数据集上显著超越现有的质量评估方法。demo 图给出了两个具体例子：一段 Truck Right 运镜的人物视频，人工打分 61.18，SimpleVQA 给 51.45（明显低估），CWQA 给 63.75，与人工判断接近；另一段 Pedestal Down 的风景视频人工只给 25.65（画面在下摇过程中出现了明显的内容坍塌），SimpleVQA 给 40.33（严重高估），CWQA 给 23.56。这两个例子恰好展示了通用 VQA 方法的典型失效模式——它们对生成视频里那种「画面清晰但内容不合理」的退化不敏感。MOS 分布图还显示不同生成方法、不同轨迹、不同内容类别之间的质量差异都相当显著。 Qualitative comparison of quality predictions from different VQA methods and CWQA. 批判点评：720 个视频、20 个源视频的规模在 VQA 基准里偏小，尤其是源视频只有 20 个，内容多样性有限，训练出的模型容易过拟合到这些特定场景。「显著超越现有方法」的比较对象是 SimpleVQA 这类为自然视频设计的通用方法，在专门数据集上被专门模型超过是预期内的结果，真正有意义的对比应该是与其他为生成视频设计的评测方法（如 VBench 的相关维度）比，摘要里没有提到。CWQA 的架构是三个现成骨干（RAFT/SlowFast/ResNet-50）加门控融合，方法层面的新意有限，价值主要在数据集。另外基准覆盖的 6 种相机轨迹都是单一的基本运镜，真实创作中的复合轨迹（边推边摇、弧形环绕）不在评测范围内，而这恰恰是相机控制最容易失效的地方。 趋势观察 优化器这一层终于被认真当成扩散模型的加速位点 — 过去两年扩散模型的提速几乎全部发生在推理侧——蒸馏减步数、缓存复用特征、量化降精度，训练侧则默认「AdamW 就够了」。今天 Meta 的这篇 Muon-DiT 把注意力挪回了训练：他们在 1.3B 到 15B 的 DiT 上系统跑通了 Muon 的 scaling 行为，确认它相对 AdamW 的生成质量优势（12.9%~19.1%）不随规模消失。更有价值的是他们诚实地承认了 Muon 在大规模下的代价——每步都做的 5 步 Newton-Schulz 迭代加上全量动量物化，会把 Muon 省下的步数优势重新吃掉。Periodic Row-wise Muon 的解法很朴素：昂贵的谱更新每 K 步做一次，其余步用便宜的行归一化更新顶上，再配合分片动量上直接算、bucketed all-gather 与通信计算重叠。结果是优化器时间砍掉 46.9%~54.3%，逻辑通信量降 66.7%。这提示一个被忽视的事实：当模型规模足够大时，优化器本身的算力与通信开销已经不是可以忽略的常数项了。 「缓存」正在从推理技巧升级为架构设计的一部分 — 可灵这篇 TextAnchor 的问题设定很典型：多参考图编辑里每张参考图带来数千 token，算力随参考图数量线性甚至更快地涨。现有做法用结构化稀疏注意力来砍——把参考图的 K/V 与去噪目标解耦，于是可以算一次复用到所有步。代价是参考图看不到文本指令了，指令跟随和参考保真度双双下滑。这篇的破法不在算子层面而在序列层面：加一段时间步固定在 t=0 的静态文本锚点，让参考分支在构建缓存时就能读到指令，同时保持 K/V 与去噪目标无关这个可缓存的前提。这个「改架构换缓存」的思路带来的副作用是生成质量掉了，他们又用教师强制的速度蒸馏加一段 on-policy 阶段把它补回来——据作者说这是扩散模型里第一次用 on-policy 蒸馏做架构恢复。5 张参考图下 40 步全流程加速 3.92 倍，10 张时到 5.47 倍。加速比随参考图数量增长而增长，这才是这类方法真正的价值所在。 视频生成的条件正在从「一段完整视频」变成「一个持续到来的流」 — 阿里的 InfinityEdit 指出了现有指令式视频编辑一个被默认接受的假设：原地编辑（in-place editing）。给定一段固定时长的源视频，逐帧对齐地改写它。这在直播换风格、给正在拍摄的镜头加运镜这类场景下直接失效——编辑必须延伸到还没到来的未来帧上。他们把这个设定命名为无限视频编辑，并配了一个只在编辑指令到达的那个 chunk 才激活的轻量适配器：历史交叉注意力锚住前序内容、时序因果自注意力保证信息只从早往晚流、编辑交叉注意力注入指令；后续 chunk 交回原模型并重置锚定帧，从而在施加编辑的同时不损害原模型的无限生成能力。超过 1000 帧的长序列上仍能稳定实现每一条指令。有意思的是今天还有一篇 NVIDIA 的 Grounded-Exo2Ego，走的是完全不同的技术路线（双分支视频扩散 + 3D 重建锚定 + 物体级语义补全），但两者面对的其实是同一类困难：当条件信号在大范围上不可靠或根本不存在时，生成模型该拿什么去锚定。 人工智能炼丹君 整理 | 2026-08-25 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-05-25|字节Bernini让MLLM规划DiT渲染视频 今日 AIGC 论文速览 今日共 11 篇 · 统一视频生成与编辑 2 篇 · Unified Audio 与音乐生成 2 篇 · 文生图基础架构与高清解码 3 篇 · 视频世界模型与可控生成 2 篇 · 高效推理与长上下文 2 篇 重点论文标题列表 Bernini：MLLM做语义规划DiT做像素渲染 StepAudio 2.5：单一音频基础模型三任务全SOTA ⚡ PiD：512潜变量→2048图像 <1秒解码 SCOPE：首个跨游戏FPS世界模型zero-shot迁移 DecQ：8个查询+3.9%算力把RAE重建拉满 今日论文速览 1. Bernini：MLLM做语义规划DiT做像素渲染 Bernini: Latent Semantic Planning for Video Diffusion | 字节跳动 Bernini Team | arXiv:2605.22344 关键词：统一视频生成·MLLM 规划·DiT 渲染·SA-3D RoPE·CoT ⚠️ 前序问题：MLLM 擅长跨模态推理与语义对齐，扩散模型擅长高保真像素合成——但目前两条路线要么混入一个端到端 unified model（损失各自强项），要么靠 adapter 松耦合（语义传递不充分）。视频生成与编辑亟需一种新分工，能把 MLLM 的语义规划能力和 DiT 的像素渲染能力同时榨干 本文贡献：提出 Bernini 统一视频生成与编辑框架：MLLM 规划器直接在 ViT embedding 空间预测目标语义表征（不是文本），DiT 渲染器以这个语义 plan 为主条件，文本特征 + 编辑场景下的源视频 VAE 特征做辅助引导。规划器和渲染器分开训练 + 轻量协同微调，保住各自预训练能力。引入 SA-3D RoPE（Segment-Aware 3D RoPE）处理多视觉输入，并在规划器中引入 CoT reasoning 把「理解」翻译成「生成指令」 实验效果：在多项视频生成与视频编辑 benchmark 上达到 SOTA；编辑任务上 MLLM 的预训练理解力可直接迁移为强泛化能力——挑战性编辑场景下尤其明显 批判点评：「MLLM 当规划器、扩散模型当渲染器」是非常合理的下一代统一架构分工——既避免了端到端 unified model 的能力打架，也比 adapter 路线传递了更丰富的语义。但论文用 ViT embedding 而非文本作为接口让组件互换性变差，规划器换到其他 MLLM 需要重新对齐；SA-3D RoPE 在多视觉输入场景的扩展上限（如 5+ 参考图）未充分测试 2. StepAudio 2.5：单一音频基础模型三任务全SOTA StepAudio 2.5 Technical Report | 阶跃星辰 StepFun | arXiv:2605.23463 关键词：Unified Audio·ASR·TTS·实时对话·RLHF ⚠️ 前序问题：Unified audio-language model 是大趋势，可现实是它们在 ASR/TTS/实时对话三件事上常常打不过专用系统——语义理解、生成合成、低延迟对话天生有结构与目标差异。如何让一个 backbone 同时压过三个专用 SOTA 是开放挑战 本文贡献：StepAudio 2.5 把「模态接口统一」与「目标分化」分两层处理：文本与音频共享多模态表征空间作为底座，任务特化由「数据构造 + 优化目标 + 解码策略」三件事决定。重头戏是把 post-training 从标准 SFT 升级为「任务定制 RLHF」——ASR 用可验证 multi-token decoding 提速、TTS 用 preference-based RLHF + context-rich supervision 保表现力、Realtime 用 generative reward modeling 框架优化人格一致与低延迟 实验效果：在 ASR / TTS / Realtime 三个方向的标准 benchmark 上同时达到 SOTA，证明「单一音频语言基础模型在三个目标上压过专用系统」是可行的——RLHF 是统一 backbone「分化部署」的关键钥匙 批判点评：把「目标分化交给 RLHF」是非常聪明的分工——既保住统一架构的训练效率，又给三个任务留出独立优化空间。但论文的 RLHF 训练成本巨大且对各任务的奖励信号设计依赖深，落地复现门槛高；与 GPT-4o / Gemini 这种闭源多模态对话模型的实时对话直接对比缺失 3. PiD：512潜变量→2048图像 <1秒解码 PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion | NVIDIA, 多伦多大学, Vector Institute | arXiv:2605.23902 关键词：Pixel Diffusion·高清解码·DMD2 蒸馏·6× 加速·RAE ⚠️ 前序问题：T2I 主流采用「潜空间扩散 + decoder 还原像素」两段式，但 decoder 是重建优化的——只学逆向 encoder，并不主动合成细节。当目标分辨率拉到百万级（megapixel），decoder 的计算变得非常昂贵，画质上限也被牢牢锁死 本文贡献：提出 PiD（Pixel Diffusion Decoder）：把「latent → pixel」decoding 改写成「条件像素扩散」，统一了解码与超分两步。直接在高分辨率像素空间去噪，原生支持 4× / 8× 上采样；通过轻量 sigma-aware adapter 把含噪 latent 注入像素扩散 backbone，使 PiD 能在 latent 还没去噪完时提前接手，让上游 latent diffusion 提前停步。再用 DMD2 蒸馏把推理压到 4 步。同时支持普通 VAE latent 和语义 latent（SigLIP/DINOv2，给 RAE 模型用） 实验效果：512×512 latent 解码为 2048×2048 像素在消费级 RTX 5090 上 <1 秒（峰值 13GB），在 GB200 上最快 210ms——比 cascaded diffusion-based super-resolution 快约 6×，视觉保真度也更好。直接把「高清文生图」的推理成本拉到接近实用区间 批判点评：把 decoder 从「重建优化」改为「条件生成优化」是非常正确的方向——这是 RAE 路线之外又一条反思 latent decoding 的工作。<1 秒 2K 解码 + 6× 加速是少有的同时省时又提质的硬数字；但 PiD 与原生 pixel-space 扩散（如 PixArt-Σ pixel）之间的对比仍未完全展开，DMD2 4-step 蒸馏的稳定性如何随分辨率扩展仍需观察 4. SCOPE：首个跨游戏FPS世界模型zero-shot迁移 SCOPE: Simulating Cross-game Operations in Playable Environments for FPS World Models | 国科大 UCAS-Terminus AI Lab, 新加坡国立 NUS, 浙江大学, 港科大广州 | arXiv:2605.23345 关键词：FPS 世界模型·视频扩散·跨游戏迁移·CrossFPS·per-pixel 条件 ⚠️ 前序问题：FPS（第一人称射击）游戏的可玩世界模型，每一帧都要响应高频重叠的多种操作信号，同时还不能扰动屏幕中无关区域。已有方案要么全图注入动作信号（粒度太粗），要么只在单款游戏上训（无法跨游戏迁移） 本文贡献：观察到 FPS 操作具有「空间选择性」：开火/换弹只影响武器周围的局部 scope，而镜头/移动指令影响全局背景。SCOPE 在预训练视频扩散 transformer 的每个 block 插入条件模块，把特征重塑成 per-pixel 时序序列，每个位置根据本地视觉内容计算自己的动作响应——不依赖任何分割标注就把 in-scope 效果与 out-of-scope 生成分开。同时构建 CrossFPS：首个多游戏 FPS 数据集（7 款游戏、69K 帧对齐 10-DoF 控制信号片段），让模型学到游戏无关的视觉-动作映射 实验效果：训得的世界模型在多个未见场景上 zero-shot 迁移成功，动作响应度强、scope 分离精确，跨游戏泛化效果优——首次让 FPS 世界模型走出「单游戏专门训」的范式 批判点评：「scope 局部 vs 全局」的解构是非常贴近 FPS 物理直觉的观察，per-pixel 时序条件注入比全图条件优雅得多。CrossFPS 数据集让 FPS 世界模型有了 ImageNet 时刻的基础；但 10-DoF 控制信号离真实玩家的复杂连招仍有距离，对长 horizon 一致性（数百帧战斗）效果论文未充分披露 5. DecQ：8个查询+3.9%算力把RAE重建拉满 DecQ: Detail-Condensing Queries for Enhanced Reconstruction and Generation in Representation Autoencoders | 复旦大学, 上海 AI Lab | arXiv:2605.22777 关键词：RAE·DINOv2·细节 Query·重建生成解耦·3.9% 算力 ⚠️ 前序问题：Representation Autoencoder（RAE，把视觉基础模型当 tokenizer encoder）能让 latent diffusion 收敛更快、生成更好——但 VFM 必须冻住，限制了细粒度重建能力。如果反过来微调 VFM 解锁重建，又会破坏预训练语义空间、拖累生成。重建 vs 生成长期是 trade-off 本文贡献：DecQ 思路简单优雅：用一组轻量「detail-condensing queries」通过 condenser 模块从中间层 VFM 特征里抽取细粒度信息，再把这些 query 拼到 decoder 端辅助重建，同时在生成建模阶段与 patch token 一起被预测。深浅两层信息都被聚合，无需碰 VFM 主权重，重建-生成 trade-off 被巧妙绕开 实验效果：DINOv2-based RAE 上仅加 8 个 query 和 3.9% 额外算力，PSNR 从 19.13 dB 提到 22.76 dB（重建端 +3.6dB）；生成端比 RAE 收敛快 3.3×，无 guidance FID 1.41、有 guidance FID 1.05——重建与生成同时提升且开销可忽略 批判点评：「不碰冻结 VFM、只加一组 query 当辅助通道」是非常 ROI 高的设计，是「冻结 vs 微调」之外的第三条路。从 PSNR / FID 数字看是确凿的正向贡献；但 8 个 query 是否够撑起更大分辨率（512+）下的细节量级仍待验证，与最新 token-merging / FlexQuery 等类似工作的对比略浅 6. SEGA：DiT训练免微调按频段动态缩放注意力 SEGA: Spectral-Energy Guided Attention for Resolution Extrapolation in Diffusion Transformers | 多伦多大学, Vector Institute | arXiv:2605.22668 关键词：DiT·分辨率外推·RoPE·训练免微调·频段自适应 ⚠️ 前序问题：DiT 在训练分辨率之外生成时画质显著掉，目前 training-free 方案常用 RoPE 外推 + 注意力 scaling 修正，但 scaling 都是一刀切——对 RoPE 各分量（含不同频段）施加同样的缩放，导致「全局结构 vs 细节恢复」此消彼长 本文贡献：提出 SEGA：完全 training-free，根据每个去噪步 latent 的空间-频段结构，动态地对 RoPE 不同分量分别 scaling。低频分量保结构、高频分量恢细节，按内容自适应分配——而不是固定常数 实验效果：多个目标分辨率上一致提升 DiT 高分辨率合成质量，超过现有 training-free 基线；不需要重训，可即插即用 批判点评：「不同频段差别 scaling 而不是常数」是经过谱分析后的小而正确的改进，对 DiT 高清生成是廉价收益。但论文主要在 SD3/FLUX 系列上验证，更激进外推倍率（如 4×）下是否仍稳健没充分展开；与 ScaleCrafter / FreeU 等同类训练免微调方案的端到端定量对比较少 7. Gated DeltaNet-2：线性注意力擦写解耦1.3B全面胜出 Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention | NVIDIA | arXiv:2605.22791 关键词：线性注意力·Gated DeltaNet·擦写解耦·长上下文·NVIDIA ⚠️ 前序问题：线性注意力把无界 softmax cache 压缩成固定 recurrent state，难点不在于「忘掉什么」而在于「怎么编辑这个压缩记忆而不打乱已有联系」。已有 Delta-rule 模型用 scalar gate 同时控制 key 端的擦除和 value 端的写入——一个标量做两件事，能力被绑死 本文贡献：Gated DeltaNet-2（GDN-2）泛化了 Gated DeltaNet 与 KDA：把 erase 与 write 解耦成两个 channel-wise gate（擦除门 b_t / 写入门 w_t）；两者塌缩到同一 scalar 时退化为 KDA，再叠加 decay 塌缩则退化为 Gated DeltaNet。配套给出 fast-weight 更新视角、chunkwise WY 算法（channel-wise decay 吸收到非对称 erase 因子）、gate-aware backward——保住了高效并行训练 实验效果：1.3B 参数在 100B FineWeb-Edu tokens 上训完，在语言建模/常识推理/检索上综合超过 Mamba-2 / GDN / KDA / Mamba-3 变体；在 RULER 长上下文 needle-in-a-haystack 多 key retrieval 上优势最大，纯循环与混合架构都强。代码开源 批判点评：「擦除/写入解耦」是 linear attention 设计上一个本应早被做的细节修正——一个 gate 控两件事本来就是工程妥协。GDN-2 是少有「同时改写规则又保住并行训练」的设计；但论文聚焦语言建模，对视觉生成场景（视频扩散 / 多模态 backbone）线性注意力替换的实际收益尚需后续验证，1.3B 规模在 7B+ 是否仍领先 Mamba-3 也是开放问题 8. Geo-Align：首个相机控制视频生成RL几何奖励 Geo-Align: Video Generation Alignment via Metric Geometry Reward | 中科大, 上海 AI Lab, 浙大 | arXiv:2605.23903 关键词：相机控制视频·RL 对齐·metric 3D 奖励·video re-rendering ⚠️ 前序问题：相机控制视频生成（video-to-video re-rendering）此前几乎全靠合成数据上的 SFT，真实多视角同步视频极度稀缺，模型在真实 OOD 视频上对物理尺度与相机轨迹的遵循非常差——「能拍但不像」一直没解决 本文贡献：Geo-Align 首次为相机控制视频再渲染提出 RL 框架：基于预训练模型，用「尺度感知感知奖励」对齐。具体而言引入 metric 3D estimator 从生成视频中抽取精确相机轨迹，对 rotation / translation 偏差显式惩罚；数据 pipeline 精心设计——以真实条件视频 + 合成数据派生的目标相机轨迹训练，消除对 paired data 的依赖 实验效果：相机可控性与视觉保真度同时优于现有 SFT 基线，验证 metric geometry 奖励是补救「合成 → 真实」迁移损耗的有效手段——是 video re-rendering 的下一步 批判点评：把 video re-rendering 从 SFT 推进到 RL + 几何奖励是必然的下一步，metric 3D estimator 当 reward model 思路漂亮；但 metric 3D estimator 本身的精度上限直接决定奖励质量，对动态场景（人物快速运动、遮挡）的估计误差如何不被奖励放大需要后续验证 9. LMDM：消费级笔记本跑实时音乐扩散 Live Music Diffusion Models: Efficient Fine-Tuning and Post-Training of Interactive Diffusion Music Generators | UC San Diego, CMU, Mila, Northeastern | arXiv:2605.22717 关键词：音乐扩散·实时生成·KV Cache·ARC-Forcing·consumer GPU ⚠️ 前序问题：现在最强的「实时流式音乐生成」走的是 discrete-AR（离散自回归）路线，训练和推理都要工业级算力。开源社区强势的音频扩散是双向、非流式的——理论上不能做实时演奏 本文贡献：LMDM 重新审视 block-wise outpainting 扩散管线：识别出诸多推理瓶颈是它比 discrete-AR 慢的根因，提出 block-wise KV Caching 补回；进一步引入 ARC-Forcing post-training，无需 RL 或 reward model 就能稳健做对齐，缓解 error accumulation 实验效果：扩散模型首次在推理复杂度上反超离散 AR 路线，能在消费级游戏本上本地实时跑——支持文条件生成、草图条件音乐合成、jamming；论文还展示了 LMDM 作为「generative delay」在真人音乐家即兴演奏中的真实艺术家-AI 合作 批判点评：把扩散从「非流式」拉到「实时演奏」是开源社区音频生成的关键一步——把 KV Cache 思路从语言模型迁过来很合理。但和 Suno/Udio 这类闭源系统直接对比缺失，对极长（>10 分钟）持续演奏的稳定性论文未深入讨论；ARC-Forcing 替代 RLHF 的 robustness 在不同流派/复杂编曲下的表现仍需更多实验 10. ETCHR：图像编辑器即多模态推理助手 ETCHR: Editing To Clarify and Harness Reasoning | 上海 AI Lab, 港中文 | arXiv:2605.23897 关键词：Think with Images·图像编辑·推理增强·VLM 奖励·MLLM 解耦 ⚠️ 前序问题：MLLM「think with images」范式越来越火，但 toolkit 路线被固定动作束缚，unified 路线产生的中间图常常很噪。如果想用「专用图像编辑器」当 MLLM 的视觉推理助手，会遇到两个 gap：(1) language-side，被动指令跟随的编辑器无法把抽象问题映射成合适的视觉变换；(2) generation-side，推理深度增加时编辑正确性快速退化 本文贡献：ETCHR 提出一个「question-conditioned, reasoning-aware」图像编辑器，与下游 understanding model 完全解耦。两阶段训练：第一阶段 Reasoning Imitation（在编辑轨迹上 SFT），第二阶段 Reasoning Enhancement（用 VLM-derived 奖励同时优化编辑正确性 + 下游推理准确率）。解耦让 ETCHR 可以 plug into 任意开闭源 MLLM 而无需重训 实验效果：覆盖细粒度感知/图表理解/逻辑推理/拼图复原/3D 理解 5 类任务，Pass@1 平均提升：Qwen3-VL-8B +4.82（55.95→60.77）、Gemini-3.1-Flash-Lite +5.47（65.08→70.55）、1T MoE Kimi K2.5 +4.61（76.55→81.16）——证明 reasoning-aware editor 通用有效 批判点评：「编辑器作为 MLLM 的可插拔视觉推理助手」是非常正确的下一步分工，比 toolkit / unified 两条路线都更模块化。但 ETCHR 训练强依赖 VLM-derived rewards，奖励信号的偏差可能复制到编辑器；与最新 unified MLLM（如 GPT-4o Image / Bagel）端到端的 think-with-image 能力对比还需要更全面 11. Swift Sampling：泰勒展开找时序惊奇帧0.02倍开销 Swift Sampling: Selecting Temporal Surprises via Taylor Series | Microsoft Research India | arXiv:2605.22678 关键词：长视频·帧选择·预测编码·Taylor 展开·训练免微调 ⚠️ 前序问题：长视频里大部分帧冗余，关键信息藏在「时序惊奇」——视觉特征偏离了预测轨迹的瞬间。已有 training-free 帧选择要么靠辅助网络（额外算力），要么靠视频特化的超参（不通用） 本文贡献：受脑科学预测编码启发，Swift Sampling 把视频建模成视觉 latent 空间里可微的轨迹，计算 velocity 和 acceleration，用 Taylor 展开预测后续帧的「预期路径」。偏离预期最猛的帧 = 时序惊奇帧 = 应被采样的关键帧。训练免微调、几乎零额外开销 实验效果：比基线只多 0.02× 算力开销（比领先方法的 overhead 还低 30×）。3 个长视频 QA benchmark + 10 个下游任务上一致优于 uniform sampling 与其他 query-agnostic 基线；长视频小预算场景下提升最大（+12.5 分准确率） 批判点评：「预测编码 → Taylor 外推 → 惊奇帧」的链条简洁且物理直觉强，几乎零成本是工程上极少见的免费收益。但 Swift Sampling 是 query-agnostic 的——任务相关的关键帧（需要 query-conditional）仍是它的盲区，未来与 query-aware 方法的组合空间巨大 趋势观察 统一架构出现新分工：MLLM 当语义规划器，扩散/像素模型当渲染器 — Bernini 用 MLLM 在 ViT embedding 空间预测目标语义，DiT 拿这个 plan 当主条件渲染像素；ETCHR 把编辑器训成 MLLM 可插拔的视觉推理助手——「端到端 unified」之外，「语义规划 + 像素渲染」的分工路线正在成型。这条路线把各组件的预训练能力都榨干，比 adapter 更深、比端到端更模块化 像素空间扩散解码器替代传统 VAE：高清/高效解码的新范式 — PiD 把 latent→pixel 改成条件像素扩散，512 latent <1 秒解到 2048 像素（消费级 RTX 5090），比 cascaded SR 快 6× 且画质更好；DecQ 不动 RAE 冻结 VFM 只加 8 个 query + 3.9% 算力就让重建 PSNR +3.6dB、生成收敛快 3.3×——「decoder 该重建还是该生成」的争论开始让位给「decoder 应同时承担解码与上采样」的新范式 Unified Audio 模型靠任务定制 RLHF 同时压过专用系统 — StepAudio 2.5 把 ASR/TTS/Realtime 三件事架在共享 backbone 上，让任务分化交给「数据 + RLHF reward + 解码策略」三件套——ASR 用可验证 multi-token decoding、TTS 用 preference RLHF、Realtime 用 generative reward modeling，最终三项 benchmark 同时 SOTA。证明「unified 不必妥协」的关键钥匙是 RLHF 视频生成对齐从 SFT 走向几何/物理约束的强化学习 — Geo-Align 首次给相机可控视频再渲染加 RL：用 metric 3D estimator 抽取相机轨迹，对 rotation/translation 偏差显式给奖励，不再依赖稀缺的 paired 真实多视角数据。SCOPE 的 per-pixel 时序条件设计也隐含「空间选择性」的物理直觉——视频生成的对齐方式开始引入几何/物理约束 推理期免训练优化在文生图/长视频/长上下文遍地开花 — SEGA 给 DiT 做按频段自适应注意力 scaling 解决高分辨率外推；Swift Sampling 用 Taylor 展开找时序惊奇帧选关键帧（0.02× 开销 +12.5 分）；GDN-2 把线性注意力的 erase/write 解耦改善长上下文检索——「免训练 + 信号利用」的范式从图像扩散扩到视频/语言全场景，给落地侧带来快速收益 人工智能炼丹君 整理 | 2026-05-25 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-05-14|视频扩散从少步到任意步AnyFlow 今日 AIGC 论文速览 今日共 6 篇 · 视频扩散与推理加速 2 篇 · 图像生成与表征 2 篇 · 图像编辑与对齐评测 1 篇 · RL 后训练方法论 1 篇 重点论文标题列表 AnyFlow：——首个基于 flow map AsymFlow：rank-asymmetric ⚡ Qwen-Image-VAE-2.0：高压缩 VAE 套件 Edit-Compass：EditReward-Compass Orthrus：双视图框架 今日论文速览 1. AnyFlow：——首个基于 flow map AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation | 新加坡国立大学 Show Lab, MIT, NVIDIA | arXiv:2605.13724 关键词：视频扩散·Flow Map·On-Policy 蒸馏·Any-Step·推理加速 ⚠️ 前序问题：近一年的少步视频生成几乎被一致性蒸馏（Consistency Distillation）统治，4-8 步即可出图，但只要把采样步数从 4 加到 16/32 画质反而塌——CD 用一致性轨迹替换了原始 PF-ODE 轨迹，破坏了 ODE 采样在测试时的可扩展行为，无法服务「任意步数」推理需求 本文贡献：提出 AnyFlow——首个基于 flow map 的任意步数视频扩散蒸馏框架：(1) 把蒸馏目标从端点一致性映射 z_t→z_0 升级为流图过渡 z_t→z_r，让学生学会任意时间区间的跳跃；(2) Flow Map Backward Simulation 把完整 Euler rollout 拆为多段 shortcut，用 on-policy rollout 替代 off-policy 配对蒸馏，缓解少步采样的离散化误差和因果生成的 exposure bias 实验效果：在双向 DiT 与因果两类视频扩散骨干、1.3B 到 14B 全规模区间一致达到或超越 consistency baseline；当步数从 4 提升到 16/32 时性能不再退化、反而单调上升，重新恢复了 ODE 采样的 test-time scaling 优势 批判点评：把蒸馏目标从端点一致性升级到任意区间流图是范式级创新，FMBS 的 on-policy 反向模拟在视频域是首次系统化提出；但论文未公开 VBench/UCF-FVD 等具体数值，复现门槛在 1B-14B 教师 + 大规模 on-policy rollout，数据与算力两端都不低 2. AsymFlow：rank-asymmetric Asymmetric Flow Models | Stanford, ETH | arXiv:2605.12964 关键词：Flow Matching·像素扩散·非对称参数化·FLUX.2·文生图 ⚠️ 前序问题：高维像素空间下做 flow matching 速度预测时，模型必须建模与图像同维的高维噪声，即使数据本身有强低秩结构也只能用满秩参数化硬扛，导致像素扩散与潜空间模型间长期存在显著质量差距 本文贡献：提出 AsymFlow：rank-asymmetric 速度参数化——噪声预测限制在低秩子空间、数据预测保持满维，不改网络结构与训练/采样流程即可解析恢复完整速度；首次给出潜空间预训练→像素空间微调的可行路径，让 FLUX.2 klein 9B 的潜空间先验直接初始化像素生成 实验效果：ImageNet 256×256 取得 1.57 FID，大幅超越同类 DiT/JiT 像素扩散；从 FLUX.2 klein 9B 微调出的像素文生图模型在 HPSv3、DPG-Bench、GenEval 上全面超越其潜空间基模，主观真实感显著提升 批判点评：rank-asymmetric 视角直击像素扩散的本质瓶颈，无侵入式参数化是工程甜点；但低秩子空间的秩选择、与 FLUX.2 这种顶级模型的耦合是否过强、跨数据集泛化能力都还需更大规模验证 3. Qwen-Image-VAE-2.0：高压缩 VAE 套件 Qwen-Image-VAE-2.0 Technical Report | Alibaba Qwen Team | arXiv:2605.13565 关键词：图像 VAE·高压缩·文本渲染·扩散兼容·视觉分词器 ⚠️ 前序问题：高压缩比 VAE 在重建保真度和 diffusability 之间长期难以兼得——压得越狠下游 DiT 越难训，文本密集场景（文档、海报）的字符更是首当其冲糊掉 本文贡献：提出 Qwen-Image-VAE-2.0 高压缩 VAE 套件：架构上引入 Global Skip Connections + 扩展潜空间通道；训练上用十亿级图像 + 合成渲染引擎专项强化文本场景；潜空间用增强语义对齐策略让其更适合扩散建模；编解码器采用非对称 + attention-free 主干降低编码开销 实验效果：在公开重建基准上达到 SOTA；提出 OmniDoc-TokenBench 文档专项评测，在高压缩比下兼顾通用与文本场景；下游 DiT 实验显示其 diffusability 显著优于现有高压缩基线，收敛速度明显加快 批判点评：把 VAE 当成独立产品打磨——文档专项 benchmark + 文本渲染合成数据是务实的工程亮点；但相对其他高压缩 VAE 的提升幅度需等论文公开数值后比较，「diffusability」的量化定义仍偏经验 4. Edit-Compass：EditReward-Compass Edit-Compass & EditReward-Compass: A Unified Benchmark for Image Editing and Reward Modeling | 字节跳动 Doubao Team 等 | arXiv:2605.13062 关键词：图像编辑·Reward Model·多维评测·RL 对齐·Benchmark ⚠️ 前序问题：现有图像编辑 benchmark 难度不足、评测维度粗放，已无法区分前沿模型；与此同时图像编辑 RL 越来越依赖 reward model，但 reward model 评测仍停留在脱离实际 RL 场景的设定上，导致编辑模型与 reward model 都缺少可靠裁判 本文贡献：提出 Edit-Compass + EditReward-Compass 统一评测套件：前者含 2,388 条精标实例，覆盖世界知识推理、视觉推理、多图编辑等六级递进任务，采用结构化推理 + 细粒度 rubric 多维评分；后者含 2,251 对偏好对，模拟真实 RL 优化中的 reward 场景 实验效果：为前沿编辑模型提供了能拉开差距的多维难度梯度，配套的 reward model 评测能反映 RL 训练中 reward model 的真实表现，为后续编辑模型与 reward model 的迭代提供统一坐标系 批判点评：把「编辑能力」和「reward model 能力」两条评测线收编进同一套 benchmark 是踏实的基础工作；2,251 对偏好对的标注一致性、reward 评测对真实 RL 收益的预测力，是这类工作走向社区共识的关键门槛 5. Orthrus：双视图框架 Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion | Adobe Research, University of Oregon | arXiv:2605.12825 关键词：并行解码·扩散语言模型·KV Cache·推理加速·双视图 ⚠️ 前序问题：自回归 LLM 生成保真度高但串行解码慢，扩散语言模型可并行却质量退化、训练贵、收敛缺乏严格保证——视觉/多模态 token 生成场景同样面临「快」与「准」难以兼得 本文贡献：提出 Orthrus 双视图框架：在冻结的 AR LLM 上挂载一个轻量可训练扩散并行视图，两视图共用同一份高保真 KV Cache——AR 头负责 prefill 构建准确表征、扩散头负责并行解码；通过两视图共识机制保证无损推理，把扩散并行解码移植到 Transformer 几乎零侵入 实验效果：在保证完全等价生成（lossless）的前提下，相比纯自回归提供最高 7.8x 加速，KV Cache 内存仅增加 O(1)，参数增量极小；为视觉/多模态自回归 token 生成提供直接可用的并行加速路线 批判点评：把扩散当成 AR 的「并行外设」而不是替代品，借共识机制保留 AR 保真度，工程上很优雅；但 7.8x 加速属上限值，真实任务下并行步内的拒绝率与吞吐曲线值得进一步给出，扩散头训练成本也未充分披露 6. Beyond-GRPO：奖励分配原则 Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training | Meta | arXiv:2605.12483 关键词：LLM 后训练·GRPO·On-Policy 蒸馏·奖励密度·稀疏到稠密 ⚠️ 前序问题：在「可验证标注极其稀缺」的后训练场景下，主流做法（在部署模型本身上跑 GRPO）忽视了一个奖励密度原则：稀疏的序列级奖励应该用在能产生有效探索的强模型上、稠密的 token 级奖励才适合把行为压缩进小模型，这一直觉对生成模型的 RL 对齐同样关键 本文贡献：提出 Sparse-to-Dense 奖励分配原则：把宝贵的可验证数据先「上游」给强 teacher 跑 GRPO 做探索，再以稠密蒸馏的形式「下游」灌给小学生，最后在学生侧再补一段稀疏 RL；具体配方为 forward-KL warmup → OPD on-policy → 学生侧 GRPO 的三段桥 实验效果：在 Qwen3-1.7B 学生固定的前提下，先在 8B teacher 上 RL 再蒸馏全面优于直接在学生上 GRPO；学生侧后续 GRPO 把 MATH 从 75.4% 提升到 78.5%、比 replay baseline 高 2.8 分，AIME 端点也最强 批判点评：「奖励密度」的视角让 GRPO 与 OPD 不再对立而成同一光谱的两端，对资源紧张团队的实践指导价值很高；但结论建立在数学这一可验证任务上，对图像/多模态生成等弱验证任务能否平移仍待验证 趋势观察 视频扩散从「少步」走向「任意步」 — AnyFlow 把蒸馏目标从端点一致性升级到任意区间的 flow map，叠加 on-policy 反向模拟，让一个学生模型在 1/4/16/32 步上都呈现良性 scaling——少步视频生成第一次有了真正的「test-time 预算自由度」 像素扩散借势潜空间预训练 — AsymFlow 用 rank-asymmetric 速度参数化把高维噪声预测限制在低秩子空间，并首次跑通了「FLUX.2 klein 9B 潜空间→像素空间」的微调路径——像素扩散与潜空间扩散开始走向「初始化共享、后期分化」的新协作方式 VAE 不再是配角，而是产品 — Qwen-Image-VAE-2.0 把高压缩 VAE 当作独立产品打磨：Global Skip Connections + 扩展通道 + 文档专项 benchmark，承认了「VAE 决定 DiT 上限」的事实，VAE 进入「文本可读、扩散友好、推理便宜」的三维竞赛 编辑模型与 reward model 同台同尺 — Edit-Compass 把「图像编辑能力」和「reward model 能力」并入同一评测套件，并把 reward model 评测从脱节场景改造成贴合 RL 实战的偏好对——前沿编辑模型的 RL 对齐第一次有了配套的统一坐标系 稀疏-稠密奖励分配成为后训练新共识 — Beyond-GRPO 给出一条简单规则：稀缺可验证数据先在强 teacher 上做稀疏 RL，再以稠密蒸馏下沉到小学生，最后学生侧补稀疏 RL；这一原则同样适用于多模态生成模型的 reward 分配，正在成为下一代 alignment pipeline 的骨架 人工智能炼丹君 整理 | 2026-05-14