AIGC 周末专题深度解读：视频扩散 Transformer 高效推理

专题方向：视频 DiT 中的稀疏注意力、线性注意力与推理加速
覆盖时间：2026年3月2日 — 2026年3月13日
整理：人工智能炼丹师
日期：2026年3月14日（周六）

---

一、专题概览

本周是视频扩散 Transformer（Video DiT）高效推理方向的"论文爆发周"。短短一周内，arXiv 上出现了 9 篇 高度聚焦于视频 DiT 注意力加速与推理优化的论文，覆盖了从稀疏注意力、线性注意力、结构化注意力，到蒸馏压缩、缓存+剪枝、系统级并行优化的完整技术栈。

核心背景

当前主流视频生成模型（Wan 2.1/2.2、HunyuanVideo、Mochi 等）均采用 Diffusion Transformer（DiT）架构，其核心瓶颈在于 全注意力（Full 3D Attention）的 O(N²) 复杂度。一段 5 秒 720P 视频的 token 序列长度可达数十万，全注意力的计算量和显存占用极其惊人。因此，如何在保持生成质量的前提下大幅降低注意力计算成本，成为本周研究的核心主题。

本周论文全景

#	论文	方法类别	核心思路	加速比	提交日期
1	CalibAtt	稀疏注意力（免训练）	离线校准块级稀疏模式	1.58x E2E	3月5日
2	SVG-EAR	稀疏注意力 + 线性补偿（免训练）	误差感知路由 + 聚类质心补偿	1.77-1.93x	3月9日
3	SODA	缓存 + 剪枝（免训练）	敏感度导向的动态加速	SOTA fidelity	3月7日
4	FrameDiT	结构化注意力（需训练）	帧级矩阵注意力	~Local FA	3月10日
5	VMonarch	结构化注意力（轻量微调）	Monarch 矩阵分解	5x attn, 17.5x FLOPs↓	1月29日
6	SALAD	稀疏 + 线性混合（轻量微调）	门控线性注意力并行分支	1.72x, 90%稀疏	1月23日
7	SLA	稀疏 + 线性融合（微调）	三级权重分类 + 自定义 kernel	2.2x E2E, 13.7x attn	2025.9 (ICLR'26)
8	FastLightGen	蒸馏 + 剪枝	步数+参数同时压缩	4步+30%剪枝	3月2日
9	Diagonal Distillation	自回归蒸馏	对角蒸馏 + 隐式光流	277.3x, 31 FPS	3月10日

---

二、重点论文深度解读

论文 1：CalibAtt — 校准稀疏注意力加速视频生成

标题：Accelerating Text-to-Video Generation with Calibrated Sparse Attention
作者：Shai Yehezkel, Shahar Yadin, Noam Elata 等
机构：以色列理工
日期：2026年3月5日
arXiv：2603.05503
关键词：稀疏注意力 免训练 离线校准 块级模式 Wan 2.1 Mochi

研究动机

视频 DiT 中的全注意力计算是推理速度的主要瓶颈。已有的稀疏注意力方法要么需要训练（如 SLA、SALAD），要么是在线动态判断每个 token 的重要性（开销大）。作者观察到一个关键现象：大量 token-to-token 连接在不同输入上一致地产生可忽略的注意力分数，且这些模式在不同查询间重复出现。

方法原理

CalibAtt 采用"离线校准 + 在线高效推理"的两阶段策略：

1. 离线校准阶段：在少量参考视频上运行全注意力，统计每一层、每个注意力头、每个扩散时间步的块级（block-level）稀疏模式和重复模式
2. 模式编译：将稳定的稀疏模式编译为优化的注意力操作（类似于"稀疏注意力的 JIT 编译"）
3. 在线推理：只计算被选中的输入相关连接，以硬件友好的方式跳过未选中的连接

核心创新

• 块级粒度：不做 token 级稀疏（开销大），而是以 token block 为单位，兼顾精度和效率
• 跨输入稳定性：发现稀疏模式对输入不敏感，可以离线固定
• 层-头-时间步三维校准：不同层/头/时间步的稀疏模式不同，细粒度适配

实验结果

• 在 Wan 2.1 14B、Mochi 1 及其蒸馏版本上测试
• 实现 1.58x 端到端加速
• 在视频生成质量和文本-视频对齐度上优于已有免训练方法
• 支持多种分辨率

技术脉络

Sparse VideoGen (2024) → Sparse VideoGen2 (2025.5) → CalibAtt (2026.3)。从在线动态稀疏 → 离线校准静态稀疏，核心洞察是"稀疏模式跨输入稳定"。

批判性点评

• 优势：完全免训练，直接即插即用；离线校准成本低；硬件友好
• 局限：1.58x 的加速比在本周论文中并不突出；块级粒度可能丢失细粒度信息；对新架构需要重新校准
• 创新性评分：3/5 — 洞察有价值但方法相对直接

---

论文 2：SVG-EAR — 无参数线性补偿的误差感知路由

标题：SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing
作者：Xuanyi Zhou, Qiuyang Mang, Shuo Yang 等 (UC Berkeley, Ion Stoica 组)
日期：2026年3月9日
arXiv：2603.08982
关键词：稀疏注意力 线性补偿 误差感知路由 聚类质心 免训练 Wan 2.2 HunyuanVideo

研究动机

现有稀疏注意力方法面临两难：(1) 直接丢弃被跳过的注意力块会丢失信息；(2) 用学习型预测器来近似它们又引入训练开销和分布偏移。能否在不训练的情况下恢复被跳过块的贡献？

方法原理

SVG-EAR 的核心洞察：经过语义聚类后，同一块内的 key 和 value 具有高度相似性，可以用少量聚类质心准确概括。

1. 聚类质心补偿：对被跳过的注意力块，用 key/value 的聚类质心做线性（O(N)）近似，恢复其对输出的贡献
2. 误差感知路由：传统方法按注意力分数选择需要精确计算的块，但高注意力分数 ≠ 高近似误差。SVG-EAR 用一个轻量探测器估计每个块的补偿误差，选择"误差-成本比"最高的块做精确计算
3. 理论保证：提供了注意力重建误差与聚类质量之间的理论上界

核心创新

• 误差感知 vs 分数感知：颠覆了传统"高注意力分数 = 重要"的假设，改为"高近似误差 = 需要精确计算"
• 无参数线性补偿：用聚类质心做 O(N) 补偿，不需要任何训练
• 帕累托最优：在所有免训练方法中建立了新的帕累托前沿

实验结果

• Wan 2.2：1.77x 加速，PSNR 29.759
• HunyuanVideo：1.93x 加速，PSNR 31.043
• 显著优于 Sparse VideoGen2 和 CalibAtt

技术脉络

Sparse VideoGen → SVG2 → SVG-EAR（同一系列的第三代，Ion Stoica / Berkeley 团队的持续推进）

批判性点评

• 优势：免训练、有理论保证、误差感知路由的思路很优雅
• 局限：聚类质心计算本身有开销；实际 wall-clock 加速受限于聚类效率；PSNR 不是视频生成的最佳指标
• 创新性评分：4/5 — 误差感知路由是本周最有洞察的方法论创新

---

论文 3：SODA — 敏感度导向的动态加速

标题：SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer
作者：Tong Shao, Yusen Fu 等
日期：2026年3月7日
arXiv：2603.07057
关键词：缓存 剪枝 敏感度分析 动态规划 免训练 DiT-XL PixArt-α OpenSora

研究动机

特征缓存（caching）和 token 剪枝（pruning）是两种互补的加速手段：缓存加速效率高但影响保真度，剪枝相反。现有方法用固定的启发式策略组合两者，无法捕捉模型对加速操作的细粒度敏感度变化。

方法原理

1. 离线敏感度建模：构建跨时间步、层、模块的敏感度误差模型，量化每个计算单元对缓存/剪枝操作的敏感程度
2. 动态规划优化缓存间隔：以敏感度误差为代价函数，用 DP 求解最优缓存时间点
3. 自适应剪枝：在缓存复用阶段，根据 token 敏感度动态决定剪枝时机和比例

核心创新

• 敏感度误差建模：不是简单地均匀缓存/剪枝，而是"在最不敏感处缓存，在最不敏感的 token 处剪枝"
• DP 最优化：缓存间隔不再是超参数，而是通过动态规划自动求解

实验结果

• 在 DiT-XL/2、PixArt-α、OpenSora 上实现 SOTA 生成保真度
• 在可控加速比下保真度显著优于 PAB、∆-DiT 等基线

技术脉络

FasterCache (2024) → ∆-DiT (2024) → PAB → SODA (2026.3)

批判性点评

• 优势：缓存+剪枝的统一框架，敏感度建模理论扎实
• 局限：离线敏感度分析需要额外推理开销；DP 只优化缓存间隔，未联合优化剪枝策略；仅测试了较小的模型（DiT-XL/2），未在 Wan/HunyuanVideo 等大模型上验证
• 创新性评分：3.5/5

---

论文 4：VMonarch — Monarch 矩阵结构化注意力

标题：VMonarch: Efficient Video Diffusion Transformers with Structured Attention
作者：Cheng Liang, Haoxian Chen, Liang Hou 等 (南京大学 + 腾讯)
日期：2026年1月29日
arXiv：2601.22275
关键词：Monarch矩阵 结构化稀疏 交替最小化 FlashAttention 在线熵 5x加速

研究动机

视频 DiT 的注意力模式天然具有高度稀疏的时空结构，但现有稀疏方法（Top-K、局部窗口）要么不灵活，要么丢失全局信息。能否找到一种数学上优雅的方式来表示这些稀疏模式？

方法原理

VMonarch 将视频 DiT 的稀疏注意力模式建模为 Monarch 矩阵 —— 一类具有灵活稀疏性的结构化矩阵。

1. 时空 Monarch 分解：将全注意力矩阵分解为帧内（空间）和帧间（时间）两组 Monarch 因子，分别捕捉空间和时间相关性
2. 交替最小化：通过交替优化两组因子来逼近原始全注意力
3. 重计算策略：解决交替最小化不稳定导致的伪影问题
4. 在线熵算法：融入 FlashAttention 的在线熵计算，支持长序列高效更新

核心创新

• Monarch 矩阵在视频 DiT 中的首次应用：优雅地统一了稀疏和结构化的优势
• 在线熵 + FlashAttention 融合：使得 Monarch 矩阵更新在长序列上也可行

实验结果

• 注意力 FLOPs 减少 17.5 倍
• 注意力计算加速 5 倍以上
• 在 VBench 上轻量微调后质量与全注意力相当
• 90% 稀疏度下超越所有 SOTA 稀疏注意力方法

技术脉络

Monarch Mixer (2023) → Monarch in LLM → VMonarch (视频 DiT 首次应用)

批判性点评

• 优势：数学上最优雅的方案；17.5x FLOPs 减少是本周最极端的数字；与 FlashAttention 兼容
• 局限：交替最小化的收敛性依赖初始化；需要轻量微调（非完全免训练）；实际 wall-clock 加速（5x）远小于理论 FLOPs 减少（17.5x），说明实现上有瓶颈
• 创新性评分：4.5/5 — 本周最具理论深度的工作

---

论文 5：SLA — 稀疏-线性注意力融合

标题：SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention
作者：Jintao Zhang 等 (清华 + Berkeley)
日期：2025年9月28日（ICLR 2026 Oral）
arXiv：2509.24006
关键词：稀疏注意力 线性注意力 融合 自定义GPU kernel 95%计算减少 ICLR 2026

研究动机

注意力权重可以分为两部分：少量大权重（高秩）和大量小权重（低秩）。这天然暗示：对大权重用稀疏注意力（O(N²) 但只算少量），对小权重用线性注意力（O(N)）。

方法原理

1. 三级分类：将注意力权重分为 Critical（O(N²) 精确计算）、Marginal（O(N) 线性注意力）、Negligible（跳过）
2. 融合 GPU kernel：将稀疏和线性注意力的计算融合到单个 GPU kernel 中，支持前向和反向传播
3. 轻量微调：仅需少量微调步就能适配

核心创新

• 稀疏+线性的系统性融合：不是简单的 fallback，而是基于权重分布的最优分配
• 自定义 GPU kernel：工程实现极其扎实，直接转化为实际加速

实验结果

• 注意力计算减少 95%（20 倍）
• 注意力加速 13.7 倍
• 端到端加速 2.2 倍（Wan 2.1-1.3B）
• 生成质量无损

技术脉络

稀疏注意力 + 线性注意力两条独立技术路线 → SLA 首次统一融合（ICLR 2026 Oral）

批判性点评

• 优势：ICLR 2026 Oral，学术认可度最高；2.2x E2E 加速是免训练之外的最佳实际数字；自定义 kernel 可直接落地
• 局限：需要微调（虽然很轻量）；目前只在 1.3B 模型上测试，14B 模型的效果未知；kernel 需要针对不同硬件调优
• 创新性评分：4.5/5

---

论文 6：SALAD — 高稀疏度线性注意力微调

标题：SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer
作者：Tongcheng Fang 等 (清华 + 腾讯)
日期：2026年1月23日
arXiv：2601.16515
关键词：线性注意力 门控机制 高稀疏度 轻量微调 2000样本

研究动机

免训练稀疏注意力受限于有限的稀疏度（通常 50-70%），而训练型方法需要大量数据和计算。能否用极轻量的微调达到极高稀疏度？

方法原理

1. 双分支并行：在稀疏注意力旁边添加一个轻量线性注意力分支
2. 输入依赖门控：用门控机制动态平衡两个分支的贡献
3. 极轻量微调：仅需 2000 个视频样本和 1600 步训练

实验结果

• 90% 稀疏度，1.72x 推理加速
• 生成质量与全注意力基线相当

批判性点评

• 思路与 SLA 类似但更轻量；微调效率极高（2000 样本）；但 1.72x 加速低于 SLA 的 2.2x
• 创新性评分：3.5/5

---

论文 7：FastLightGen — 步数 + 参数同时压缩

标题：FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters
作者：Shitong Shao, Yufei Gu, Zeke Xie
日期：2026年3月2日
arXiv：2603.01685
关键词：蒸馏 剪枝 步数压缩 参数压缩 HunyuanVideo WanX

研究动机

以往的加速研究要么减少采样步数（蒸馏），要么减少模型参数（剪枝），但从未同时压缩两者。

方法原理

FastLightGen 的核心：构建一个"最优教师模型"，在协同框架中同时蒸馏步数和参数。

1. 协同蒸馏框架：同时优化步数减少和参数剪枝
2. 最优教师构建：教师模型本身经过优化，以最大化学生模型的性能

实验结果

• 4 步采样 + 30% 参数剪枝 = 最佳视觉质量（在约束推理预算下）
• 在 HunyuanVideo-ATI2V 和 WanX-TI2V 上优于所有竞争方法

批判性点评

• 首次探索步数+参数的联合压缩，填补了研究空白
• 但 30% 剪枝比较保守；缺少与纯蒸馏方法的详细对比
• 创新性评分：3.5/5

---

论文 8：Diagonal Distillation — 对角蒸馏实现流式视频生成

标题：Streaming Autoregressive Video Generation via Diagonal Distillation
作者：Jinxiu Liu 等 (HKUST, Ming-Hsuan Yang)
日期：2026年3月10日
arXiv：2603.09488
关键词：自回归 蒸馏 流式生成 光流建模 277x加速 31 FPS

研究动机

扩散蒸馏将多步模型压缩为少步变体，但现有方法主要针对图像设计，忽略了视频的时间依赖性，导致运动不连贯和长序列误差累积。

方法原理

1. 对角蒸馏：不同于传统的逐 chunk 独立蒸馏，Diagonal Distillation 沿"视频 chunk × 去噪步"的对角线方向进行蒸馏
2. 非对称生成策略：前面的 chunk 用更多步、后面的 chunk 用更少步。后面的 chunk 可以继承前面已充分处理的外观信息
3. 隐式光流建模：在严格步数约束下保持运动质量

核心创新

• 对角蒸馏：沿时间-步数对角线操作，充分利用时间上下文
• 非对称步数分配：打破"每个 chunk 步数相同"的假设
• 曝光偏差缓解：将训练时的噪声条件与推理时对齐

实验结果

• 5 秒视频 2.61 秒生成（31 FPS）
• 相比原始模型 277.3 倍加速
• 运动连贯性和长序列质量显著优于图像蒸馏方法

批判性点评

• 优势：277x 是本周最震撼的加速数字；流式生成对实时应用极其重要
• 局限：目前仅适用于自回归视频模型；生成质量与原始多步模型仍有差距；FPS 数字的分辨率条件未详细说明
• 创新性评分：4/5

---

论文 9：FrameDiT — 帧级矩阵注意力

标题：FrameDiT: Diffusion Transformer with Frame-Level Matrix Attention for Efficient Video Generation
作者：Minh Khoa Le 等
日期：2026年3月10日
arXiv：2603.09721
关键词：帧级注意力 矩阵注意力 时空结构 Local Factorized

研究动机

现有方法面临 Full 3D Attention（强但贵）vs Local Factorized Attention（快但丢失全局信息）的两难。

方法原理

1. Matrix Attention：将整帧作为矩阵处理，通过矩阵原生操作生成 Q/K/V
2. 帧间注意力：在帧级别而非 token 级别做跨帧注意力，保持全局时空结构
3. FrameDiT-H：混合 Matrix Attention + Local Factorized Attention，同时捕捉大运动和小运动

实验结果

• 多个视频生成 benchmark 上达到 SOTA
• 效率与 Local Factorized Attention 相当

批判性点评

• 帧级注意力的粒度介于 Full 3D 和 Local Factorized 之间，是一个有趣的中间地带
• 但"矩阵注意力"的具体实现细节（矩阵原生操作是什么？）缺乏清晰的数学定义
• 创新性评分：3/5

---

三、横向对比分析

3.1 方法分类体系

本周的 9 篇论文可以按 "是否需要训练" 和 "加速策略" 两个维度分类：

                     免训练            轻量微调           训练/蒸馏
                    ┌─────────┐      ┌─────────┐      ┌─────────┐
稀疏注意力          │CalibAtt │      │ SALAD   │      │  SLA    │
                    │SVG-EAR  │      │VMonarch │      │         │
                    ├─────────┤      ├─────────┤      ├─────────┤
缓存+剪枝          │ SODA    │      │         │      │         │
                    ├─────────┤      ├─────────┤      ├─────────┤
蒸馏+压缩          │         │      │         │      │FastLight│
                    │         │      │         │      │DiagDist │
                    ├─────────┤      ├─────────┤      ├─────────┤
结构化注意力        │         │      │         │      │FrameDiT │
                    └─────────┘      └─────────┘      └─────────┘

3.2 性能对比

方法	注意力加速	端到端加速	需要训练？	测试模型	质量保持
CalibAtt	-	1.58x	否	Wan 2.1 14B, Mochi	★★★★
SVG-EAR	-	1.77-1.93x	否	Wan 2.2, HunyuanVideo	★★★★
SODA	-	可控	否	DiT-XL, PixArt-α, OpenSora	★★★★★
VMonarch	5x	-	轻量微调	VBench	★★★★
SALAD	-	1.72x	2000样本	-	★★★★
SLA	13.7x	2.2x	少量微调	Wan 2.1 1.3B	★★★★★
FastLightGen	-	显著	蒸馏	HunyuanVideo, WanX	★★★★
Diagonal Dist.	-	277.3x	蒸馏	自回归模型	★★★
FrameDiT	~FA级	~FA级	训练	多个benchmark	★★★★

3.3 技术路线演进

本周的论文清晰地展现了四条技术路线的演进：

路线 A：免训练稀疏注意力

• 核心思想：发现并利用注意力的天然稀疏性
• 演进：Token-level Top-K → Block-level 静态模式 (CalibAtt) → 误差感知动态路由 (SVG-EAR)
• 加速上限：~2x（受限于稀疏度无法无限提高）

路线 B：稀疏 + 线性注意力融合

• 核心思想：对不同重要性的注意力权重使用不同计算策略
• 演进：纯稀疏 / 纯线性 → 并行双分支 (SALAD) → 融合 kernel (SLA) → Monarch 结构化 (VMonarch)
• 加速上限：~2-5x（取决于 kernel 效率）

路线 C：缓存 + 剪枝

• 核心思想：利用扩散过程中相邻时间步的特征相似性
• 演进：均匀缓存 → 启发式组合 → 敏感度导向 DP 优化 (SODA)
• 加速上限：~2-3x（缓存复用比例有限）

路线 D：蒸馏 + 压缩

• 核心思想：用小模型/少步数逼近大模型/多步数
• 演进：步数蒸馏 → 参数剪枝 → 联合压缩 (FastLightGen) → 对角蒸馏 (Diagonal Distillation)
• 加速上限：100x+（但质量损失更大）

3.4 关键洞察与趋势

1. 免训练方法的天花板在 ~2x：CalibAtt (1.58x) 和 SVG-EAR (1.93x) 代表了免训练稀疏注意力的当前上限。突破需要引入轻量训练。

2. 稀疏 + 线性融合是最佳平衡点：SLA 通过自定义 kernel 实现 2.2x E2E 加速且质量无损，是目前注意力加速的最优解。ICLR 2026 Oral 的认可也说明了这一点。

3. 蒸馏方法的加速比远超注意力优化：Diagonal Distillation 的 277x 说明，如果能接受一定质量损失，蒸馏是最强力的加速手段。但注意力优化的优势是"质量无损"。

4. 多种方法可叠加：注意力优化 + 蒸馏可以叠加使用。CalibAtt 已在蒸馏模型上验证有效。理论上 SLA + 步数蒸馏可能实现 5-10x 无损加速。

5. Wan 和 HunyuanVideo 成为标准测试平台：本周几乎所有论文都在这两个模型上测试，说明它们已成为视频生成的事实标准。

6. 从算法到系统的全栈优化：SODA 的序列并行推理提醒我们，纯算法优化之外，系统级优化（多 GPU 并行、算子融合等）同样重要。

---

四、总结与展望

本周最值得关注的 3 篇

1. SLA (ICLR 2026 Oral)：稀疏-线性融合的里程碑工作，自定义 kernel 的工程深度令人印象深刻
2. SVG-EAR：误差感知路由的洞察非常深刻，免训练方法的新标杆
3. VMonarch：Monarch 矩阵的引入为结构化注意力开辟了全新方向

未来研究方向预判

1. 注意力优化 + 蒸馏的联合框架：将 SLA/SVG-EAR 与 FastLightGen/Diagonal Distillation 结合
2. 更大规模模型验证：SLA 仅在 1.3B 上测试，14B+ 模型上的表现待验证
3. 长视频生成的特化优化：随着视频长度增长到分钟级，注意力优化的重要性进一步凸显
4. 硬件协同设计：自定义 kernel（SLA）和结构化矩阵（VMonarch）需要与硬件特性深度适配

---

人工智能炼丹师 整理 | 2026-03-14