标签搜索
侧边栏壁纸
博主昵称
Jefxiong

  • 累计撰写 205 篇文章
  • 累计收到 8 条评论
AIGC Daily Papers

AIGC 周末专题|2026-08-16|NVIDIA领衔 On-Policy 蒸馏让学生反超教师

人工智能炼丹君
人工智能炼丹君
2026-08-16 / 0 评论 / 9 阅读 / 正在检测是否收录...

AIGC 周末专题深度解读：On-Policy 蒸馏：生成模型后训练从「模仿终点」转向「纠正过程」

人工智能炼丹君 整理 | 2026年8月16日（周日）
覆盖时间：2026-08-07 ~ 2026-08-15

本期概述

本期 AIGC 周末专题聚焦On-Policy 蒸馏：生成模型后训练从「模仿终点」转向「纠正过程」方向，精选 7 篇代表性论文进行深度解读。

方向分布：

  • 少步视频蒸馏的策略与因果对齐 2 篇 (HPSD, CMD)
  • 超越教师的外推式后训练 2 篇 (DreOPD, FlowErase-OPD)
  • 特权信息蒸馏与 LUPI 范式 2 篇 (TRACE-GS, HPSD)
  • 免训练缓存加速的另一条路线 2 篇 (GCache, GeoCache)

含 NVIDIA × 1、上海AI Lab × 1、港中文/复旦 × 1

技术路线与时间线

离线蒸馏时代（2022.06 — 2024.06）

描述：监督来自教师预先生成的轨迹或终点，学生做纯回归。范式简洁、可预计算，但从设计上就不覆盖学生自己会走到的状态。

关键节点：

  • 2022.06：Progressive Distillation：渐进折半采样步数
  • 2023.03：Consistency Models：端点一致性映射
  • 2023.11：LCM / LCM-LoRA：少步生成走向实用
  • 2024.05：DMD2：分布匹配蒸馏成为主流框架

On-Policy 萌芽（2024.07 — 2026.03）

描述：研究者开始意识到 exposure bias，把学生 rollout 引入监督环路，同时 RL 后训练（DPO/GRPO 系）为生成模型提供了另一条突破教师上界的路径。

关键节点：

  • 2024.09：扩散模型 DPO 系列：偏好对齐后训练兴起
  • 2025.01：Self-Forcing 类方法：自回归视频引入 on-policy rollout
  • 2025.08：GRPO 等 RLVR 方法迁入视觉生成
  • 2026.02：OPD/SDPO：on-policy 稠密监督在 agent 与 LLM 上验证

OPD 集中爆发（2026.08.07 — 2026.08.13）

描述：一周内 9 篇以 on-policy 蒸馏为核心的论文横跨视频、图像、3D、安全对齐四个任务，且共同转向「修正教师自身缺陷」这一更深的问题层次。

关键节点：

  • 08.07：FlowErase-OPD：OPD 用于多概念安全擦除
  • 08.10：DreOPD / TRACE-GS：外推超越教师 + 特权几何
  • 08.13：HPSD / CMD：混合策略自蒸馏 + 因果教师对齐
  • 08.13：LOPD：把特权上下文本身做成可学习隐 token

免训练加速并行线（2026.08.13 — 未来）

描述：缓存加速同期给出另一种答案：不改模型权重，只优化推理时的计算复用决策，且同样强调「对齐最终目标而非局部代理」。

关键节点：

  • 08.13：GCache：双层优化对齐画质的缓存策略
  • 08.13：GeoCache：跨视角几何搬运替代时间跳步
  • 待观察：蒸馏与缓存能否叠加，仍是开放问题

1. HPSD：混合策略自蒸馏让 TI2V 模型把「看过首帧」的能力内化进纯文生视频：上海AI Lab 与上交、NTU S-Lab 联手，用同一个模型分别当师生，T2V 与 TI2V 双双提升

论文: HPSD：混合策略自蒸馏让 TI2V 模型把「看过首帧」的能力内化进纯文生视频
arXiv: 2608.13205
机构: 上海AI Lab, 上海交通大学, NTU S-Lab, 复旦大学, Adobe Research, 港中文

1.1 研究动机

核心问题： TI2V 模型在特权条件（高质量首帧+增强提示词）下质量明显更好，但这份能力无法在纯 T2V 模式下被调用

TI2V（文本+图像到视频）是新兴的统一架构：一个模型同时支持 T2V 和 I2V。实践中人们发现，给它一张高质量首帧或一段精细提示词，生成质量会明显好于纯 T2V 模式。这就引出一个很自然的问题——这种被「特权条件」激发出来的能力，能不能内化成模型自己的基础生成能力？最直接的做法是自蒸馏（self-distillation），但监督微调这条路是 off-policy 的：监督只覆盖教师生成的终点，来自固定的离线分布，而非学生实际访问的状态，缺乏针对演化策略的精确纠正。而现有 on-policy 蒸馏方法又有条件-状态不匹配（condition-state mismatch）的毛病：监督被给定的首帧牵着走，而不是对准学生真正生成的内容，反而误导了纠正方向。

前序工作及局限：

  • Off-Policy SFT 自蒸馏：监督只覆盖教师终点，不对准学生演化中的策略
  • On-Policy 蒸馏：监督位置对了但被首帧条件带偏，产生条件-状态不匹配

与前序工作的本质区别： 混合策略：学生继承教师轨迹点作锚点，再向自身策略局部精修 K 步，最后在自生成 roll-out 上做速度级监督

1.2 方法原理

三种蒸馏范式对比与效果展示：(a) Off-Policy SFT 只在教师加噪终点监督；(b) On-Policy Distillation 教师在学生轨迹上预测；(c) HPSD 混合策略——学生从教师锚点轨迹出发走子轨迹，教师在子轨迹上给预测；(d) 原始 T2V 与 HPSD 后的定性对比（火光、金属反射等高频细节明显改善）
Introduction to HPSD. (a) Off-policy SFT supervises on fixed teacher endpoints, which drift from the evolving student policy. (b) On-policy distillation queries the teacher at student-visited states, yet suffers from condition-state mismatch in TI2V models. (c) HPSD anchors the student on the teacher trajectory and supervises roll-outs evolved under its own policy. (d) HPSD substantially boosts the base generation quality of TI2V models (WAN-2.2-TI2V-5B in this figure), especially in cinematic lighting, fine details, and balanced composition. Prompts in the Appendix.

HPSD 要解决的核心矛盾是：off-policy 的监督位置不对，纯 on-policy 的监督方向不对。它的折中方案是「锚点 + 局部精修」。具体来说，教师在特权条件（增强提示词 + T2I 生成的高质量首帧）下 rollout 出一条完整轨迹，学生不直接回归这条轨迹的终点，而是把轨迹上的点当作起始锚点，从锚点出发用自己的策略走 K 步，得到一段「混合策略子轨迹」——起点来自教师（off-policy 成分），路径来自学生（on-policy 成分）。监督加在子轨迹末端：此时把模型切回 TI2V 模式获得教师预测，与学生在 T2V 模式下的预测做速度级（velocity）匹配。这样监督既落在学生真实会访问的状态附近，又通过锚点继承了教师的高质量先验。教师权重由学生 EMA 更新，整个流程只需一个模型，不引入额外参数。

1.3 核心创新

  • 提出 Hybrid-Policy Self-Distillation（HPSD），核心设计是让单个 TI2V 模型在不同条件下同时扮演师生两角：教师跑 TI2V 模式，拿到高质量首帧和增强后的提示词；学生跑基础 T2V 模式，只有原始提示词。关键在「混合策略」这个折中——学生先继承教师的 off-policy 轨迹点作为锚点（anchor），再在锚点附近向自己的策略做局部精修（locally refines），最后在这些自生成的 roll-out 上接受速度级（velocity-level）监督。这样既吸收了教师的特权先验，又保留了 on-policy 的精确策略纠正，避开了纯 off-policy 的分布错位和纯 on-policy 的条件-状态不匹配。

1.4 实验结果

HPSD 完整流程：离线阶段用 LLM 改写器生成增强提示词、T2I 模型生成高质量首帧；在线阶段冻结教师以特权条件 rollout 出 off-policy 锚点轨迹（红），学生在 T2V 模式下从锚点走 K 步生成混合策略子轨迹（绿），末端切回 TI2V 取教师预测做蒸馏，教师由学生 EMA 更新
Overview of HPSD. (a) Offline Stage: Privileged conditions (enhanced prompt and first frame) are synthesized using auxiliary models. (b) Online Stage: The student evolves hybrid-policy sub-trajectories starting from the teacher's off-policy anchor states. Distillation on these states provides the student with precise policy correction anchored by the teacher's privileged content priors. Varying gray shading denotes the noise level over time, while solid white indicates clean frames.
  • 实验显示 HPSD 显著提升 T2V 性能，同时 TI2V 模式也获得可观增益——这一点值得注意，说明它不是简单地把 TI2V 的能力搬到 T2V（那样 TI2V 应该持平或下降），而是整体强化了模型的基础生成能力。论文提供了项目主页与代码。定性对比（teaser 图 d 部分）显示，原始 T2V 结果在光影、材质、动态细节上明显平淡，HPSD 后的结果在火光、烟雾、金属反射等高频细节上有实质改善。

1.5 关键洞察

  • 「内化特权信息」的机理未澄清 — 如果高质量首帧带来的是模型本不具备的新信息，理论上无法通过自蒸馏内化；如果只是激发了模型已有却未被普通提示词充分调用的能力，那本质是条件空间的对齐而非能力提升。论文用 T2V/TI2V 双提升来佐证后者，但缺少直接的表征层面证据
  • 计算开销未与 off-policy 基线做等算力对比 — 每个训练步都要教师 rollout 完整锚点轨迹 + 学生走 K 步 + 教师再前向一次，成本远高于离线预计算轨迹的 SFT。论文报告了效果增益，但没给出相同 GPU 时预算下与 off-policy 自蒸馏的对比曲线
  • 依赖外部 T2I 与 LLM 改写器 — 特权首帧由外部 T2I 模型生成、增强提示词由 LLM 改写，最终 T2V 质量的天花板部分由这两个外部组件决定。若 T2I 模型本身有风格偏好，可能被一并蒸馏进 T2V 模式

技术演进定位： TI2V 统一架构上的自蒸馏方案，T2V 与 TI2V 双双提升

可能的后续方向：

  • 锚点比例自适应调度
  • 扩展到音视频联合生成的多模态特权条件

2. CMD：NVIDIA 让因果教师给因果学生打分，堵住自回归视频蒸馏的「未来信息泄漏」：NVIDIA 指出双向教师评分让学生偷看未来帧，改用因果教师后长视频与相机控制双双 SOTA

论文: CMD：NVIDIA 让因果教师给因果学生打分，堵住自回归视频蒸馏的「未来信息泄漏」
arXiv: 2608.13391
机构: NVIDIA, SketchX CVSSP 萨里大学

2.1 研究动机

核心问题： 少步因果视频学生被「能看到完整 clip」的双向教师监督，教师评分依赖了学生生成时不存在的未来帧与未来控制

交互式自回归视频生成有两个硬约束：低延迟 rollout 和精确的在线控制。少步蒸馏负责前者，而在线控制施加了一条因果约束——每一帧、每一块都只应依赖生成时已经拿到的历史和控制信号。问题在于，现有的视频分布匹配蒸馏（DMD）流水线普遍用「双向教师给完整 clip 打分」的方式来监督因果少步学生。这就出现了信息集错位：教师给某个目标块的评分，可能依赖了学生生成它时根本还不存在的未来帧和未来控制信号。学生因此在训练时被一个「能看到未来」的评委打分，推理时却只能看历史，两者的信息边界不一致。

前序工作及局限：

  • DMD / DMD2：提供分布匹配蒸馏的评分函数框架，但为双向设定
  • Self Forcing：把 on-policy rollout 引入自回归视频，仍用双向教师全 clip 打分

与前序工作的本质区别： 因果教师逐块条件评分 s_real(Bt|B<t, I_0) + Prefix Scoring 对准学生真实缓存前缀 + Prefix Corruption 稳定早期训练

2.2 方法原理

CMD 与 Self Forcing 的评分方式对比：上半 Self Forcing 用双向教师对完整 clip B_1:4 打分，第 3 块的梯度依赖了未来块 B_4；下半 CMD 用因果教师只在前缀条件下评分 s_real(B_3|B_<3, I_0)，并展示 Base CMD、Clean Prefix、Prefix Corruption 三种前缀处理
Context-Matched Distillation. A causal student first generates an autoregressive rollout. Self-Forcing scores its complete noised rollout with a bidirectional teacher, allowing the score of a target to depend on future blocks. CMD instead uses a causal teacher: Base CMD conditions on preceding noised DMD blocks, Prefix Scoring uses the cached clean student prefix that produced the target, and Prefix Corruption perturbs this prefix to stabilize supervision when early rollouts are unreliable.

CMD 的技术核心是把 DMD 的评分函数改造成因果形式。原本 Self Forcing 一类方法让双向教师对完整 clip B_1:4 打分，再取其中第 3 块的梯度，此时该梯度实际上依赖了 B_4（未来块）。CMD 换成因果教师，直接计算条件评分 s_real(B3 | B<3, I_0)，未来块完全不参与。在此基础上，Prefix Scoring 进一步要求评分所用的前缀就是学生 rollout 时实际缓存的那个前缀（而非重新加噪的独立样本），实现「上下文匹配」。由于训练早期学生生成的前缀质量差，直接用会让教师评分不可靠，因此引入 Prefix Corruption：对前缀施加扰动（图中的 Corrupted Prefix / Prefix Corruption 分支），既避免教师被劣质前缀带偏，又不破坏目标与上下文的对应关系。因为整个公式化只依赖「历史可见」这一条约束，它天然适配帧级和块级生成、长视频蒸馏，以及相机等时变控制条件的蒸馏。

2.3 核心创新

  • 提出 Context-Matched Distillation（CMD），一个因果 DMD 框架，核心原则是让教师监督与「每个目标被生成时可获得的信息」严格对齐。三个层次的设计：(1) 用因果教师替代双向全 clip 评分，教师评估每个目标时不访问未来帧与未来控制；(2) 用同一个因果教师初始化少步学生，让教师训练、学生蒸馏、推理三个阶段共享一致的因果公式化；(3) Prefix Scoring——不只对齐时间信息边界，还把监督对准学生真实 rollout 的上下文，即在「产生该目标的那个缓存学生前缀」下评估它；(4) Prefix Corruption——训练早期学生前缀不可靠，对其加扰动来稳定训练，同时保持目标-上下文对齐。

2.4 实验结果

CMD 三步训练流程：Step 1 因果学生 on-policy rollout 并缓存干净前缀；Step 2 用块状注意力掩码把损坏前缀与加噪目标块拼成 query/key-value 结构；Step 3 Context Matched DMD 用 s_real 与 s_fake 之差得到每个块的梯度
Efficient Prefix Scoring. The causal student first generates an on-policy rollout and caches the clean prefix used to produce each block. Corrupted prefixes and their corresponding noised DMD targets are then packed under a block-causal attention mask, allowing all targets to be scored in parallel. Finally, the real and fake scores are evaluated under the same prefix--target context to form the context-matched DMD update.
  • 在短视频和长视频基准上，CMD 在自回归方法中取得 SOTA 综合性能，同时对时变相机控制的遵循度有大幅改善（substantially improved adherence to time-varying camera controls）。论文包含 chunk1 vs chunk4 的用户研究偏好对比。相机控制这一项的提升尤其能佐证方法动机——正是因为原来的双向教师会泄漏未来的控制信号，学生才学不好「只根据当前控制做出反应」这件事。

2.5 关键洞察

  • 因果教师本身能力弱于双向教师 — 换成因果教师意味着教师评分时可用的信息更少，其分数估计的绝对质量必然低于双向教师。CMD 赌的是「信息集一致」的收益大于「教师变弱」的损失，论文用最终指标证明了净收益，但没有拆解这两个相反作用各自的量级
  • Prefix Corruption 的扰动强度是新的调参负担 — 扰动太弱则教师被劣质前缀带偏，太强则破坏上下文对齐。论文提出该机制但对扰动 schedule 的敏感性分析有限，实际迁移到新模型时可能需要重新搜索
  • 延迟收益未量化 — 论文主打质量与控制遵循度，但交互式生成的核心诉求是延迟。Prefix Scoring 需要缓存并复用学生前缀，训练开销明确增加，推理端的 FPS/首帧延迟数字在摘要中未给出

技术演进定位： 自回归视频蒸馏中因果信息集对齐的系统性方案，相机控制遵循度大幅改善

可能的后续方向：

  • 刻画因果教师容量损失与信息对齐收益的相对量级
  • 扩展到动作/音频/文本流等多种时变控制

3. DreOPD：用「降质参考」造出排斥方向，让学生在多数指标上超过它的所有教师：哈工深与浙大把隐式奖励外推转成闭式速度回归，多教师设定下超越各专精教师

论文: DreOPD：用「降质参考」造出排斥方向，让学生在多数指标上超过它的所有教师
arXiv: 2608.09233
机构: 哈尔滨工业大学(深圳), 浙江大学, 哈尔滨工业大学

3.1 研究动机

核心问题： 传统 on-policy 蒸馏的教师匹配本质是模仿，学生上界被教师锁死；而 RL 虽能超越却有高方差梯度与跨任务干扰

流匹配模型已是图像生成主流，但适配到多样的下游场景通常依赖后训练，而不同任务的优化目标之间会互相冲突。强化学习可以直接优化任务奖励、突破原模型上限，但轨迹级优化带来高方差梯度和跨任务干扰。On-policy 蒸馏（OPD）能在学生 rollout 上提供稠密稳定的监督，可惜传统的教师匹配本质仍是模仿（imitation-based）——学生的上界就是教师，无法超越。于是问题变成：能不能既保留 OPD 的稳定性，又获得 RL 那种「超越原模型」的外推能力？

前序工作及局限：

  • OPD：学生 rollout 上的稠密监督，稳定但只能插值到教师之间
  • DPO / 隐式奖励：用偏好对隐式定义奖励方向，但走轨迹级策略梯度

与前序工作的本质区别： 引入轻度降质参考构成排斥区，吸引与排斥合力指向教师之外；把隐式奖励外推写成闭式速度回归而非策略梯度

3.2 方法原理

DreOPD 外推机制示意：左图常规多教师 OPD 中学生只能插值到 OCR/美学/GenEval 三个教师围成的区域内（Interpolated Student）；右图加入降质参考后空间分为排斥区与吸引区，排斥与吸引合力指向教师之外，得到 Extrapolated Student（Beyond Teachers）
Conceptual comparison in the multi-task setting. Left: Standard OPD regresses a shared student toward task-specific teacher velocities, encouraging interpolation among the teachers. Right: DreOPD uses a shared degraded reference to construct targets that extrapolate through each task-specific teacher. Joint regression toward these targets moves the student beyond each teacher along the corresponding teacher-reference directions.

DreOPD 的核心几何图景可以从论文的示意图直接读出：左图是常规多教师 OPD，学生被 OCR/美学/GenEval 三个教师同时吸引，结果只能落在教师围成的凸包内（Interpolated Student，Between Teacher）；右图加入降质参考后，空间被划分成排斥区（Repulsive Zone）与吸引区（Attractive Zone），学生一方面被各教师吸引，另一方面被降质参考排斥，两股力合成的总方向（图中黄色箭头）指向教师之外，得到 Extrapolated Student（Beyond Teachers）。技术上，这套外推没有走 RL 的策略梯度，而是把隐式奖励差转写成速度场的闭式回归目标，因此保留了 OPD 逐状态稠密监督、低梯度方差的特性。降质参考只需「轻度」降质——降得太狠会让排斥方向脱离有意义的语义流形，降得不够则对比度不足、外推方向不清晰。

3.3 核心创新

  • 提出 DreOPD（Degraded-reference extrapolative OPD），把两个范式桥接起来。关键有两点：(1) 把隐式的奖励外推转化为闭式的速度回归（closed-form velocity regression），使外推式后训练能享受 OPD 的稳定性，不必走高方差的策略梯度；(2) 引入一个「轻度降质的参考」（mildly degraded reference）来强化教师-参考之间的对比，从而得到更清晰的外推方向。直观理解就是：只知道「好的方向」时学生最多插值到教师之间；同时知道「差的方向」后，学生可以沿着差→好这条向量继续往外走，抵达教师本身都没到过的区域。

3.4 实验结果

八维指标雷达图：DreOPD 学生（红）在 GenEval 0.968、OCR 0.936、Aesthetic 6.29、PickScore 24.04、HPSv2.1 0.349、ClipScore 0.296、ImageReward 1.52、Average 0.994 上几乎完全包住 GenEval 教师（蓝）、OCR 教师（绿）、美学教师（橙）三条曲线，各专精教师仅在自身擅长轴突出
Visualization of multi-task DreOPD performance. We compare the student trained by DreOPD with the corresponding task-specific teachers across metrics.
  • 在单教师和多教师两种设定下，DreOPD 的平均表现都优于 OPD 和多任务 RL 基线，并在多数指标上超过各个专精教师。论文的雷达图很直观：学生（红色）在 GenEval 0.968、OCR 0.936、Aesthetic 6.29、PickScore 24.04、HPSv2.1 0.349、ClipScore 0.296、ImageReward 1.52、Average 0.994 这八个维度上几乎完全包住了 GenEval 教师、OCR 教师、美学教师三条曲线，而每个专精教师只在自己擅长的那一到两个轴上突出、其他轴明显凹陷。

3.5 关键洞察

  • 外推的线性假设在目标冲突时可能失效 — 「远离差的方向 ≈ 靠近好的方向」在奖励地形平缓处成立。但当多个目标本身互斥（如 OCR 精度与美学评分），合成的外推方向可能指向两者都退化的区域。论文展示了成功的雷达图，未展示外推步长过大时的失效模式
  • 降质参考的构造缺乏原则性 — 「轻度降质」的程度直接决定排斥方向的质量，但如何选择降质方式与强度，论文未给出可迁移的准则，实际应用中可能需要针对每个任务重新调
  • 评测集中在自动指标 — 八项指标全部是自动奖励模型或规则评测。奖励模型本身可被过拟合，「超越教师」的结论若无人类偏好实验佐证，存在 reward hacking 的解释空间

技术演进定位： 流匹配 on-policy 蒸馏中首个让学生突破教师上界的外推式方案

可能的后续方向：

  • 外推步长自适应控制与失效检测
  • 结合人类偏好数据以减少对自动奖励模型的依赖

4. TRACE-GS：把「多看几个视角」的特权几何蒸馏进稀疏视图学生，推理时只留学生：Concordia 与 Mila、上交提出首个用特权几何做 on-policy 监督的稀疏视图 3DGS 修复框架

论文: TRACE-GS：把「多看几个视角」的特权几何蒸馏进稀疏视图学生，推理时只留学生
arXiv: 2608.10286
机构: Concordia University, Mila 魁北克 AI 研究所, 上海交通大学

4.1 研究动机

核心问题： 稀疏视图下欠约束几何让扩散从一开始就偏，偏差沿 rollout 累积；而监督加在独立加噪状态上，不覆盖推理真正到达的状态

稀疏视图 3D 高斯泼溅（3DGS）修复的常规思路是不断堆更复杂的修复架构，但这篇论文指出了一个更根本的共性缺陷：基于扩散先验的方法，其监督发生在独立加噪的状态上，而这些状态并不覆盖推理时真正到达的状态。在稀疏视图场景下这个问题被放大——欠约束的几何从一开始就让去噪产生偏差，而这些偏差沿 rollout 逐步累积（compound along the rollout）。这正是本期专题的理论根基：off-policy 监督位置错了，误差就永远得不到纠正。

前序工作及局限：

  • 扩散先验稀疏视图重建：off-policy 监督导致 accumulated drift
  • LUPI（Vapnik）：训练时用特权信息、推理时丢弃的经典框架

与前序工作的本质区别： 教师以额外训练视角的丰富几何为条件，沿学生 rollout 在每个访问状态上对齐去噪方向与跨视角响应；部署只留学生

4.2 方法原理

Off-Policy 与 On-Policy 监督对比：左侧 off-policy 的监督状态与学生实际访问状态是两条平行点列，中间标注 mismatch，rollout 终点标为 accumulated drift；右侧 on-policy 两者重合。下方定性对比显示 off-policy 修复在栏杆、阀门手柄等细杆结构上模糊断裂，TRACE-GS 保持清晰边缘并更接近 GT
Off-policy mismatch in sparse-view 3DGS restoration. Top: supervision at independently forward-noised states misses rollout states, letting deviations accumulate; on-policy supervision covers visited states. Bottom: on-policy restoration recovers sharper detail from 6 views.

TRACE-GS 的技术叙事非常干净。它的 teaser 图把 off-policy 与 on-policy 的差别画得比大多数论文清楚：off-policy 一侧，监督状态（supervision states）与学生实际访问状态（visited states）是两条平行的点列，中间用虚线标注 mismatch，学生沿 rollout 走向的终点被标为 accumulated drift；on-policy 一侧，监督状态与访问状态重合，rollout 箭头直接连在被监督的状态上。落到实现，教师的「特权」是额外训练视角提供的几何约束——这在训练集上是免费的（数据本来就有更多视角），但在推理时按定义不可得。监督不只对齐单视角的去噪方向，还对齐跨视角响应（cross-view responses），这对 3D 一致性尤其关键。最终产物是一个只吃稀疏视图的学生，它的输出被当作额外观测送进 3DGS 优化，从而绕过稀疏视图下 3DGS 本身欠约束的问题。

4.3 核心创新

  • 提出 TRACE-GS，做 on-policy 轨迹蒸馏（on-policy trajectory distillation）：教师以额外训练视角带来的更丰富几何为条件，沿稀疏视图学生自己的 rollout 提供目标，在每个访问过的状态上对齐去噪方向和跨视角响应。这份额外几何只在训练时可用，因此 TRACE-GS 属于 LUPI（learning using privileged information）设定；部署时只保留稀疏视图学生，其修复后的渲染结果作为伪观测（pseudo-observations）反哺 3DGS 精化。论文声称这是首个从特权几何导出 on-policy 监督用于稀疏视图 3DGS 修复的工作。

4.4 实验结果

DL3DV 数据集上与 GSFixer 的三组定性对比（含放大细节框）：GSFixer 在玻璃幕墙边缘、植物与办公椅等区域出现明显拖影与结构模糊，TRACE-GS（Ours）在同一区域保持清晰边缘与正确几何，接近 GT
Qualitative comparison on DL3DV. GSFixer blurs reflective and under-observed regions (zoomed), whereas TRACE-GS restores sharper detail closer to the GT.
  • 论文报告在多个数据集和多种稀疏视图设定下都有一致增益（consistent gains）和较强的泛化性（strong generalization），包含 DL3DV、Mip-NeRF 等数据集上的定性对比与消融。teaser 的下半部分给出直观对比：off-policy 修复结果在细杆状物体（栏杆、阀门手柄）上出现明显模糊与结构断裂，TRACE-GS 的结果在同一区域保持了清晰边缘，与 GT 更接近。

4.5 关键洞察

  • 特权视角的数量与选择策略未充分探讨 — 教师能看到「额外训练视角」，但额外多少个视角、如何挑选，直接决定教师的几何优势大小，也决定师生差距是否过大导致蒸馏困难。摘要层面未见这方面的系统消融
  • 增益来源存在混淆项 — 最终质量提升同时来自 (a) on-policy 监督位置的修正与 (b) 教师拥有更好几何这两个因素。要证明前者的贡献，需要一个「同样特权几何但 off-policy 监督」的对照组，摘要中未明确提及
  • 伪观测的误差会进入 3DGS 优化 — 学生修复结果作为伪观测参与 3DGS 精化，若学生在某些视角系统性产生幻觉几何，误差会被固化进 3D 表示，且比 2D 层面的错误更难察觉

技术演进定位： 首个用特权几何导出 on-policy 监督的稀疏视图 3DGS 修复框架

可能的后续方向：

  • 特权几何的自适应选择与课程式调度
  • 扩展到动态场景 / 4D 重建

5. FlowErase-OPD：把多个单概念擦除模型蒸成一个 LoRA，用保留教师守住生成能力：哈工深与清华深研院、鹏城实验室用锚定多教师蒸馏解决多概念擦除的擦-保权衡

论文: FlowErase-OPD：把多个单概念擦除模型蒸成一个 LoRA，用保留教师守住生成能力
arXiv: 2608.07620
机构: 哈尔滨工业大学(深圳), 清华大学深圳国际研究生院, 鹏城实验室

5.1 研究动机

核心问题： 流匹配模型的多概念擦除中，各概念擦除目标互相干扰，且擦得越狠正常生成能力损失越大

流匹配模型让文生图质量大幅提升，同时也带来了安全隐忧——它们可能生成有害或不期望的内容。现有针对流匹配模型的概念擦除方法大多只处理单个概念，而同时有效擦除多个概念仍然困难：不同概念的擦除目标会互相干扰，而且擦得越狠、模型的正常生成能力损失越大，这个「擦除 vs 保留」的权衡是核心难点。

前序工作及局限：

  • ESD / UCE 等概念擦除：主要面向单概念，多概念同时擦除仍困难
  • 多教师蒸馏 + LoRA 合并：提供把多个专精模型合成单一模块的路径

与前序工作的本质区别： AMTD 把多个单概念擦除教师蒸进统一 LoRA 并加保留教师；ARC 动态调节各擦除教师的采样频率、损失权重与擦-保配比 ρ

5.2 方法原理

FlowErase-OPD 框架：(a) 共享文本编码器下，带 LoRA 的学生与 n 个单概念擦除教师（梵高星空、裸体等）及锚点保留教师（a child playing soccer）分别前向，逐一计算 KL 得到 ℓ_1..ℓ_n 与 ℓ_anchor；(b) Adaptive Retention Control 用权重 w、采样概率 s、保留比例 ρ 动态合成总损失
Overview of FlowErase-OPD. (a) illustrates the framework of our approach. Each mini-epoch we input a prompt contain a specific target concept to the student, corresponding teachers, and the anchor teacher. Then we compute the KL divergence and employ ARC to calculate the final loss and update the weight of each teacher models for the current mini-epoch. (b) details the Adaptive Retention Control. RAC dynamically adjusts the mini-epoch occupancy ratios between each concept erasure teachers and the anchor teacher based on the erasure efficacy for each individual concept.

从框架图可以看清 FlowErase-OPD 的结构：左侧是共享文本编码器，学生是一个带 LoRA 适配器的流匹配主干（Double Stream Blocks + Single Stream Blocks）；中间是 n 个概念擦除教师（各自也是 LoRA 适配器，分别对应「梵高星空」「裸体」等概念）；下方是锚点教师（以「a child playing soccer」这类正常提示词为条件），负责界定不该被破坏的生成行为。学生输出 μ_θ 与各教师输出 μ_φ 逐一计算 KL 散度，得到 ℓ_1..ℓ_n 与 ℓ_anchor。右半部分是 Adaptive Retention Control 的计算逻辑：每个擦除损失乘以权重 w_i、乘以采样概率 si、再乘以 (1-ρ)，锚点损失乘以 w{n+1} 与 ρ，最后取期望合成总目标。ρ 即擦除与保留的动态配比，w 与 s 则让训练过程能自动把算力分配给当前还没擦干净的概念，避免某个概念主导优化。

5.3 核心创新

  • 提出 FlowErase-OPD，基于 on-policy 蒸馏做多概念擦除。两个关键组件：(1) Anchored Multi-Teacher Distillation（AMTD）——先把多个单概念擦除模型蒸馏进一个统一的 LoRA 模块，并额外引入一个保留教师（retention teacher）来缓解擦除与生成能力保留之间的权衡；(2) Adaptive Retention Control（ARC）——动态调整每个擦除教师的采样频率和损失权重，同时动态调节擦除教师与保留教师之间的相对贡献，从而协调多个擦除目标。

5.4 实验结果

梵高艺术风格擦除对比：FLUX 原模型完整保留梵高标志性漩涡笔触与配色，ESD / EraseAnything / DVE / FlowErase-RL 只做到部分削弱（星空构图或笔触仍可辨识），FlowErase-OPD（Ours）最彻底地移除风格特征同时保留画面语义内容
Visual results of Van Gogh erasure results.
  • 在裸体、物体、艺术风格三类擦除任务上，FlowErase-OPD 一致改善了「擦除效果 - 图像质量 - 语义对齐」三者的权衡，在多种多概念擦除设定下达到 SOTA。此外得到的模型对对抗攻击表现出较强鲁棒性。论文据此主张 on-policy 蒸馏可以作为流匹配模型安全可控生成的一个有原则的框架（principled framework）。

5.5 关键洞察

  • 教师数量线性增长带来的成本 — 每个待擦概念都需要先训练一个单概念擦除教师，概念数增加时前置成本线性上升。面向真实内容安全场景（数百个敏感概念）时这套流程的可扩展性存疑
  • 鲁棒性评测的攻击面有限 — 论文称对对抗攻击鲁棒，但概念擦除的攻防是快速演进的领域，针对性的越狱提示词、LoRA 权重回退等攻击手段是否覆盖，摘要层面无法判断
  • ρ、w、s 三组超参的交互复杂 — ARC 引入三组动态量共同决定损失配比，虽然自适应减轻了手工调参，但三者的交互动力学缺乏分析，训练不稳定时难以定位是哪一路失衡

技术演进定位： on-policy 蒸馏作为流匹配模型安全可控生成的统一框架

可能的后续方向：

  • 免单概念教师的直接多概念擦除
  • 与更强的越狱攻击基准联合评测

6. GCache：缓存复用不该看局部相似度，应该直接对齐最终画质：港中文与复旦用双层优化搜缓存策略，Wan2.1 上 2.17 倍加速还把 LPIPS 从 0.1095 降到 0.0316

论文: GCache：缓存复用不该看局部相似度，应该直接对齐最终画质
arXiv: 2608.13043
机构: 香港中文大学, 复旦大学

6.1 研究动机

核心问题： 现有缓存策略用局部特征相似度决定是否复用，但该启发式与最终生成质量显著错位，因为误差沿轨迹的传播累积是非均匀的

扩散模型在视觉生成上性能占优但推理开销巨大。基于缓存的加速是一条有希望的路线，但现有策略都依赖局部相似度启发式——看当前步与上一步的特征差异是否够小来决定是否复用缓存。论文指出这类局部指标与最终生成质量存在显著错位（significantly misaligned with final generation quality），根源在于误差沿去噪轨迹的传播和累积是非均匀的：同样大小的局部误差，发生在不同时间步对最终画面的影响可能差好几倍。

前序工作及局限：

  • DeepCache / FasterDiffusion：开创特征缓存复用加速
  • TeaCache / ERTACache：基于局部相似度的自适应缓存，仍是局部代理指标

与前序工作的本质区别： 先推误差传播严格上界，再用 Bernstein 形式重参数化传播指数放松保守性，最后把策略搜索写成双层优化对齐画质损失

6.2 方法原理

局部相似度与最终画质错位的证据：逐步 Rel-L1（蓝）在第 21 步出现尖锐峰值，而同位置的 LPIPS（红）几乎无波动；去噪末段 Rel-L1 明显回升但 LPIPS 依然平稳，证伪「局部特征变化大即不可复用」的启发式
% Comparison between local mismatch and global impact (lower is better). % We conduct a series of independent experiments in which a cached residual is reused at exactly one specific timestep. % For each timestep, the blue marker (Rel-L1) measures the local discrepancy between the ground-truth residual and the cached residual from the preceding step, while the red marker (LPIPS) reflects the resulting impact on final generation quality. % As shown, local mismatch is not a reliable proxy for global impact, as large Rel-L1 values around step~19 and in the final denoising stages correspond to only minor increases in LPIPS, i.e., a relatively small degradation in final output quality. % Note that the prominent Rel-L1 spike around step~19 is a known characteristic of Flux-dev~1.0 when using the Euler ODE solver. % Similar spike behaviors in different diffusion models have also been reported in prior work~DBLP:conf/cvpr25:TeaCache. %

GCache 的动机由两张分析图支撑，值得单独说明。第一张图把逐步的局部 Rel-L1 与最终 LPIPS 画在同一横轴上：可以看到 Rel-L1 在第 21 步附近出现一个尖锐峰值，而同一位置的 LPIPS 几乎没有波动；反过来在去噪末段（timestep 5→0），Rel-L1 明显回升但 LPIPS 依然平稳。这直接证伪了「局部特征变化大 = 不能复用」的启发式。第二张图从另一个角度验证：在不同时间步注入等量噪声，特征偏差（Feature Deviation）的最终累积量差异显著——早期注入（timestep 50）的偏差一路放大到最高，晚期注入（timestep 10）的影响则小得多。既然影响非均匀，缓存决策就应该按「全局影响」而非「局部相似度」来做。技术实现上，GCache 先推严格上界，再用 Bernstein 形式重参数化传播指数以避免上界过于保守，最后把策略搜索写成双层优化：内层解「给定误差权重下的最优复用策略」，外层学「让误差权重与真实画质损失对齐」。

6.3 核心创新

  • 提出 Global-Impact Cache（GCache）。技术路径分三层：(1) 先给误差传播建立严格的理论上界刻画；(2) 意识到这个上界对复杂高度非凸的扩散模型过于保守，于是用 Bernstein 形式重参数化传播指数；(3) 把缓存策略搜索重构为双层优化（bilevel optimization）问题——内层目标寻找最优复用策略，外层目标让误差加权函数与生成质量损失对齐。这样既保留了理论严谨性，又贴合实证表现，学会把算力优先投给最影响视觉保真度的地方。

6.4 实验结果

缓存策略累积误差对比：GCache 优化后策略（绿）在整个去噪过程中误差都低于 ERTACache（蓝），且低于理论上界（橙），说明原始上界过于保守、Bernstein 重参数化是必要的；实心点为全量计算步、空心方块为缓存复用步
Comparison of different cache policies.
  • 在视频与图像生成上，GCache 一致优于此前的缓存策略。最亮眼的数字在 Wan2.1 视频扩散模型上：保持 2.17 倍加速的同时显著提升生成质量，LPIPS 从 0.1095 降到 0.0316（降低约 71%）。论文的策略对比图显示，GCache 优化后的策略（绿线）在整个去噪过程中累积误差都明显低于 ERTACache（蓝线），甚至低于理论上界（橙线）——后者正说明原始上界确实过于保守，Bernstein 重参数化是必要的。

6.5 关键洞察

  • 策略搜索的离线成本未披露 — 双层优化需要在目标模型上做策略搜索，这笔一次性成本有多大、换模型或换分辨率后是否需要重搜，摘要未说明。若每个新模型都要重搜，实用性会打折
  • 外层目标依赖 LPIPS 一类代理指标 — 外层把误差权重对齐到「生成质量损失」，实际实现大概率用 LPIPS。LPIPS 本身是感知代理而非人类偏好，过度对齐单一指标存在指标过拟合风险，而报告的主结果恰好也是 LPIPS
  • 与少步蒸馏的关系未讨论 — 缓存加速与少步蒸馏是两条竞争路线。在已经蒸馏到 4 步的模型上，缓存还有多少可复用冗余？两者能否叠加？这个问题对实际选型很关键但未涉及

技术演进定位： 首个把缓存决策与最终画质显式对齐的策略搜索框架

可能的后续方向：

  • 把离线策略搜索改为免搜索的在线自适应
  • 与少步蒸馏模型联合优化

7. GeoCache：多视角纹理生成跳步会毁一致性，那就沿几何对应搬运更新：免训练插件在 Hunyuan3D-2.1 上取得 2.21 倍加速，MV-PSNR 33.60 dB 为 2 倍以上最佳保真度

论文: GeoCache：多视角纹理生成跳步会毁一致性，那就沿几何对应搬运更新
arXiv: 2608.13255
机构: 亚利桑那大学, 东卡罗来纳大学, 加州州立大学长滩分校

7.1 研究动机

核心问题： 多视角纹理扩散中跳过去噪步会同时跳过跨视角交互，而正是该交互在持续对齐同一表面的不同观测，一致性因此快速退化

几何条件下的多视角扩散能生成高质量 3D 纹理，但要对每个视角反复评估去噪器，计算开销很大。现有免训练加速器主要利用时间冗余——跨去噪步复用计算。可是在多视角纹理生成里，跳过一步同时也跳过了跨视角交互，而正是这种交互在持续对齐同一表面的不同观测；结果就是一致性与保真度快速退化。换句话说，通用的时间缓存方法在这个任务上水土不服。

前序工作及局限：

  • DeepCache 系列：只利用时间维冗余，在多视角任务上破坏跨视角一致性
  • SyncMVD / MVPainter / Hunyuan3D：几何条件多视角纹理生成管线，本就提供位置图

与前序工作的本质区别： 发现几何对应表面点的预测干净信号具有可迁移演化；每步只算轮换锚视角，再用位置图把 Δx_0 搬运到非锚视角，周期性全量控误差

7.2 方法原理

GeoCache 三层设计：(a) 生成管线耗时拆解（形状 21.7s、预处理 13.8s、多视角去噪循环 6.5s、上采样 2.5s、烘焙 20.9s，paint 阶段占端到端 67%）；(b) 去噪调度——10 步中 4 步全量、6 步只跑轮换锚对 {0,3}/{1,4}/{2,5}，前向次数 60→36；(c) 单个缓存步细节，锚视角的 Δx_0 经位置图映射 G_{A→v} 搬运到非锚视角
The attachment point of , and one cached step. The denoising loop is 14.7% of the paint stage and the only component a neural cache can act on. Views occupy the batch axis, so restricting the forward to the $a$ anchor rows is the natural unit of saving; the anchors' per-step change in $\xz$ is transported through correspondence and added to each other view's own previous $\xz$.

GeoCache 的方法图分三层，把设计讲得很清楚。(a) 生成管线：形状生成 21.7 秒 → 预处理 13.8 秒 → 多视角去噪循环 6.5 秒 → 上采样 2.5 秒 → 烘焙 20.9 秒，其中 paint 阶段占端到端 67%，去噪循环是 GeoCache 的作用点。(b) 去噪调度：10 个采样步里 4 步是全量（开头两步 head、中间一步 refresh、末尾一步 tail），其余 6 步只跑轮换的锚视角对（{0,3}、{1,4}、{2,5} 循环），使去噪器前向次数从 10N 降到 4N+6α（6 视角下即 60→36）。(c) 单个缓存步的细节：以锚对 {0,3} 为例，批切片去噪器只对锚视角计算，得到 per-step 变化量 Δx0^(A)(t)，再通过位置图定义的几何映射 G{A→v} 搬运到每个非锚视角 v，即 x_0^(v)(t) = x0^(v)(t-1) + G{A→v}[Δx_0^(A)(t)]。这个式子的关键性质是：非锚视角保留自己的内容与噪声，只继承共享表面的演化——搬运后的视角在采样器自身的参数化下被重新合成，因此多步历史保持一致。

7.3 核心创新

  • 论文的分析找到了一个互补的冗余来源：尽管中间特征是视角特有的，但几何上对应的表面点，其预测的干净信号（predicted clean signals）呈现出可迁移的演化。基于这一观察提出 GeoCache——一个免训练插件，每步只评估一个轮换的锚视角子集（rotating subset of anchor views），再把它们几何对齐的逐步 x_0 更新搬运（transport）到其余视角。周期性的全视角计算控制累积误差，采样器一致的重建（sampler-consistent reconstruction）保持去噪轨迹不被破坏。它不需要重训练也不改架构，用的只是几何条件纹理管线里本就有的位置图（position maps）。

7.4 实验结果

速度-保真度权衡曲线：GeoCache 在 2 倍以上加速区间取得优于时间缓存与减步法的保真度
Speed--fidelity ladders on the three backbones leads. Shading marks ${\geq}2\times$; the bottom right is best. Table~tab:main_results carries the headline rows.
  • 在 Hunyuan3D-2.1、SyncMVD、MVPainter 三个管线上，GeoCache 在 2 倍以上的工作点取得比时间缓存和减步法更好的速度-保真权衡。Hunyuan3D-2.1 上实现 2.21 倍去噪循环加速，MV-LPIPS 0.0293、MV-PSNR 33.60 dB，是所有测试方法在 2 倍以上区间的最佳保真度。同一套迁移配置在 SyncMVD 上取得最高加速比与最低 FLOPs，在 MVPainter 上则在被加速方法中取得最低 FLOPs 与最佳保真度。论文由此主张跨视角几何是多视角纹理扩散的一条有效加速轴。

7.5 关键洞察

  • 加速比受限于管线其他阶段 — 方法图自己给出的数字显示，去噪循环只有 6.5 秒，而形状生成 21.7 秒、烘焙 20.9 秒。即使去噪循环加速 2.21 倍，端到端收益也被非去噪阶段严重摊薄，论文主打的是循环内加速比
  • 依赖几何条件管线提供的位置图 — 几何搬运的前提是有准确的位置图建立跨视角对应。对无几何条件的多视角生成（如纯图像域的一致性生成）方法不适用，适用范围比通用时间缓存窄
  • 锚视角轮换策略是固定的 — 调度中锚对按 {0,3}/{1,4}/{2,5} 固定轮换，未考虑不同视角的纹理复杂度差异。纹理细节集中的视角可能需要更高的全量计算频率，固定调度留下了自适应空间

技术演进定位： 把加速冗余从时间维拓展到跨视角几何维的免训练插件

可能的后续方向：

  • 自适应锚视角选择与全量步调度
  • 扩展到视频生成中的跨帧几何对应

横向对比与技术脉络总结

横向对比：本期 On-Policy 蒸馏与加速路线技术对比

论文 任务领域 教师的「特权」/信息优势 核心机制 能否超越教师 关键数字 机构
HPSD 文生视频 (T2V/TI2V) 高质量首帧 + LLM 增强提示词 锚点继承 + 局部精修 + 速度级监督 自蒸馏，目标是内化而非超越 T2V 与 TI2V 双双提升 上海AI Lab / 上交 / NTU
CMD 自回归视频蒸馏 无（反而主动削弱教师为因果） 因果教师评分 + Prefix Scoring/Corruption 对齐优先，不追求超越 短/长视频 AR 方法 SOTA，相机遵循度大幅提升 NVIDIA / 萨里大学
DreOPD 流匹配图像后训练 多个专精教师 + 降质参考 闭式速度回归实现奖励外推 是，多数指标超过各专精教师 GenEval 0.968 / OCR 0.936 / Aes 6.29 哈工深 / 浙大
TRACE-GS 稀疏视图 3DGS 修复 额外训练视角的几何 (LUPI) 沿学生 rollout 对齐去噪方向与跨视角响应 内化特权几何，不超越 多数据集一致增益 + 强泛化 Concordia / Mila / 上交
FlowErase-OPD 文生图概念擦除 n 个单概念擦除教师 + 保留锚点教师 AMTD 多教师蒸进单 LoRA + ARC 动态配比 目标是擦-保权衡最优 裸体/物体/风格三类擦除 SOTA + 抗攻击 哈工深 / 清华深研院 / 鹏城
GCache 扩散推理加速 (图像+视频) 不适用（免训练） 误差传播上界 + Bernstein 重参数 + 双层优化 不适用 Wan2.1 上 2.17× 加速，LPIPS 0.1095→0.0316 港中文 / 复旦
GeoCache 多视角纹理扩散加速 不适用（免训练） 轮换锚视角 + 位置图几何搬运 Δx_0 不适用 Hunyuan3D-2.1 上 2.21×，MV-PSNR 33.60 dB 亚利桑那 / 东卡罗来纳 / CSULB

核心技术趋势

监督对象从「终点」转向「轨迹」

本周 7 篇工作无一例外地把监督信号从教师生成的终点，改到学生自己 rollout 访问过的状态上。TRACE-GS 明确指出 off-policy 监督不覆盖推理状态，HPSD 称之为「缺乏针对演化策略的精确纠正」，CMD 则叫「监督与学生的因果信息集错位」。三个不同任务、三套不同术语，指向的是同一个诊断。

教师不再被当作正确答案，而是被当作有偏的参考

过去蒸馏的隐含假设是「教师是对的，学生模仿就行」。本周多篇工作正面质疑这一点：CMD 指出双向教师给因果学生打分时泄漏了未来帧；HPSD 指出以首帧为条件的教师会把监督引向给定图像而非学生实际内容；ADOPD 指出教师可能凭语言先验而非真实视觉证据给出「看似合理」的回答。识别并绕开教师自身的偏差，成了本周的共同技术动作。

从「逼近教师」到「外推超越教师」

DreOPD 是本周最具范式意义的一篇：它引入一个「轻度降质的参考」构成排斥方向，把隐式奖励外推转化为闭式速度回归，让学生在多数指标上超过各个专精教师。FlowErase-OPD 的锚点保留教师本质也是同一思路——用额外教师定义学生该远离/该保留的方向，而不只是该靠近的目标。蒸馏的上界不再是教师。

特权信息（LUPI）成为通用的教师构造手法

本周至少 4 篇工作采用同一模板：给教师一些学生在推理时拿不到的「特权条件」，再把这份能力内化进学生参数。HPSD 的特权是高质量首帧+增强提示词，TRACE-GS 是额外训练视角的几何，ADOPD 是参考图像，LOPD 更进一步把特权上下文本身做成可学习的隐 token。这套 LUPI（Learning Using Privileged Information）范式正在成为生成模型自蒸馏的标准配方。

免训练缓存是同一目标下的另一条路线

与蒸馏并行，本周还有两篇缓存加速工作，思路上形成有趣的呼应：GCache 指出局部特征相似度这种启发式与最终画质严重错位，改用双层优化直接对齐生成质量损失；GeoCache 指出多视角纹理生成中跳步会破坏跨视角交互，转而利用几何对应做跨视角搬运。二者都在说同一件事——加速决策必须对齐最终目标，而不是局部代理指标。

核心技术难点与开放问题

四大核心难点

1. on-policy 的算力账没人算

on-policy 蒸馏要求教师在学生 rollout 的每个访问状态上前向打分，训练开销远高于离线预计算轨迹的 off-policy 方案。本期 5 篇蒸馏工作全部只报告效果增益，无一给出等 GPU 时预算下与 off-policy 基线的对比。当师生都是 14B 级视频模型时，这笔开销可能吃掉方法收益。LOPD 声称用不到 GRPO 30% 的 rollout 预算就能超过它，但那是 agent 任务的结论，未必迁移到视频扩散。

2. 外推的失效边界未知

外推式后训练缺一套失效检测机制。DreOPD 的排斥方向由「降质参考 → 教师」这条向量决定，但论文既没给降质强度的选择准则，也没有在训练中监控外推是否已经越界——学生一旦走出有效语义流形，自动指标可能还在涨（因为奖励模型本身可被过拟合），画质却已崩坏。对比来看，RL 后训练至少有 KL 约束把策略拉回参考分布附近，而闭式速度回归形式的外推目前没有等价的正则项。这是把「超越教师」做成可靠工程手段之前必须补上的一环。

3. 自蒸馏能内化多少信息

特权信息蒸馏缺少「特权强度」与「可内化上限」的量化关系。本期 4 篇 LUPI 类工作各自选定了一种特权（首帧、额外视角、参考图、隐 token），但都没有回答一个可操作的问题：特权信息给得越多，学生能内化的比例是单调上升还是先升后降？直觉上师生差距过大时蒸馏反而更难，存在一个最优特权强度。TRACE-GS 的额外视角数、HPSD 的首帧质量都是天然的调节旋钮，却都没做扫描实验。缺了这条曲线，LUPI 在新任务上只能靠试。

4. 教师变弱与信息对齐的净收益难拆解

CMD 把双向教师换成因果教师，代价是教师本身可用信息变少、评分质量下降，收益是信息集与学生一致。最终指标证明净收益为正，但这两个相反作用各自的量级没有被拆开测量。同理 TRACE-GS 的增益同时来自 on-policy 位置修正与教师更好的几何，缺少「同特权几何但 off-policy」的对照组。

5. 蒸馏与缓存两条加速路线互不对话

GCache/GeoCache 通过优化推理时计算复用来加速，HPSD/CMD 通过压缩采样步数来加速，两者解的是同一个开销问题，但论文之间互不引用。关键的实际问题无人回答：在已经蒸馏到 4 步的模型上还剩多少可复用冗余？两条路能否叠加，还是会互相抵消？

今日讨论

On-Policy 蒸馏这一周的集中爆发，本质上是生成模型后训练在补一门早该补的课：监督必须发生在模型真正会去的地方。但把这批工作放在一起看，会浮现几个尚未解决的问题。

第一，on-policy 的代价是什么？每一步监督都要教师在学生 rollout 上前向一次，训练成本远高于离线预计算轨迹。LOPD 声称用不到 GRPO 30% 的 rollout 预算就能超过它，但这是在 agent 任务上测的；视频扩散上的 HPSD、CMD 都没有给出与 off-policy 基线的等算力对比。当教师和学生都是 14B 级模型时，这笔开销可能吃掉方法本身的收益。

第二，「超越教师」的边界在哪里？DreOPD 用降质参考构造外推方向，本质是假设「远离差的方向 ≈ 靠近好的方向」。这个线性假设在奖励地形平缓处成立，但在多目标冲突时（比如 OCR 精度与美学评分互斥）外推方向可能指向两者都差的区域。论文的雷达图很漂亮，但没有展示外推步长过大时的失效模式。

第三，自蒸馏的信息从哪来？HPSD 让同一个 TI2V 模型分别以 TI2V 和 T2V 模式充当师生，声称把特权条件下的能力「内化」进基础能力。这在信息论上需要解释——如果首帧带来的是模型本身不具备的新信息，那它无法被内化；如果只是激发了模型已有但未被 T2V 提示词充分调用的能力，那本质是在做提示词/条件空间的对齐，而非能力提升。这个区分决定了自蒸馏的天花板，本周几篇工作都绕开了它。

你更看好哪条路线：把教师做得更聪明（特权条件、因果对齐），还是把学生的探索做得更自由（外推、RL）？欢迎在评论区讨论。

人工智能炼丹君 整理 | 数据来源：arXiv 2026-08-07 ~ 2026-08-15

更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」

每日更新 · 论文精选 · 深度解读 · 技术脉络

微信搜索 人工智能炼丹君 或扫描下方二维码关注

扫码关注「人工智能炼丹君」

0
版权属于： 人工智能炼丹君
本文链接： https://jefxiong.cn/index.php/archives/aigc-daily-papers-20260816.html
作品采用： 《 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 》许可协议授权
相关推荐
AIGC 每日速读|2026-10-06|加州理工稳住镜头外场景LoGo
AIGC 每日速读|2026-10-06|加州理工稳住镜头外场景LoGo
 AIGC 每日速读|2026-10-05|NeurIPS省七成token保孔洞SILSA
AIGC 每日速读|2026-10-05|NeurIPS省七成token保孔洞SILSA
 AIGC 基本功|扩散模型的跨步缓存复用-DiffCache
AIGC 基本功|扩散模型的跨步缓存复用-DiffCache
 AIGC 每日推送目录
AIGC 每日推送目录

评论 (0)

取消
粤ICP备2021042327号