标签搜索

Jefxiong

累计撰写 203 篇文章
累计收到 8 条评论

首页
/
AIGC Daily Papers
/
正文

AIGC Daily Papers

AIGC 周末专题|2026-05-02|13.7-18.6x注意力加速，稀疏注意力撕开视频Di…

人工智能炼丹君

2026-05-02 / 0 评论 / 10 阅读 / 正在检测是否收录...

05/02

AIGC 周末专题深度解读：稀疏注意力在视频生成中的应用：从免训练加速到可训练融合

人工智能炼丹君整理 | 2026年5月2日（周六）
覆盖时间：2025年5月 — 2026年4月

本期概述

本期 AIGC 周末专题聚焦稀疏注意力在视频生成中的应用：从免训练加速到可训练融合方向，精选 10 篇代表性论文进行深度解读。

方向分布：

稀疏+线性融合 3篇 3 篇 (SLA, SLA2, SALAD)
免训练稀疏注意力 3篇 3 篇 (SVG-EAR, CalibAtt, AdaSpa)
结构化/Pattern稀疏 2篇 2 篇 (Sparse-vDiT, VMonarch)
可训练/AR稀疏 2篇 2 篇 (VSA, Light Forcing)
其余工作 14篇 1 篇 (SVG/SVG2/STA/BSA/NABLA/SSTA/TempCache/SODA/EasyCache/FasterCache/FastLightGen/FrameDiT/DiagDist/Survey)

含 ICLR 2026 Oral × 1, ICLR 2026 × 1, NeurIPS 2025 × 1, AAAI 2026 × 1, ICCV 2025 × 1

技术路线与时间线

基础探索（2024.06 — 2025.02）

描述：Sparse Attention 从 LLM 领域迁移到视频 DiT，研究者发现 3D 全注意力中天然存在的稀疏性。

关键节点：

2024.06–2025.02：LLM 稀疏注意力技术向视频扩散模型迁移

免训练加速（2025.02 — 2025.05）

描述：Sparse VideoGen 系列开创免训练框架，系统性利用 3D 全注意力天然稀疏性。

关键节点：

2025.02：SVG：首个免训练稀疏注意力加速框架
2025.05：SVG2：语义聚类驱动稀疏模式发现

可训练突破（2025.05 — 2025.09）

描述：VSA 首次证明可训练稀疏注意力可在预训练阶段全程替代全注意力。

关键节点：

2025.05：VSA（NeurIPS 2025）：训练+推理全程稀疏

融合范式确立（2025.09 — 2026.01）

描述：SLA（ICLR 2026 Oral）确立稀疏+线性融合范式，SALAD 和 VMonarch 从不同角度验证。

关键节点：

2025.09：SLA（ICLR 2026 Oral）：13.7x 注意力加速
2026.01：SALAD：2000 样本微调达 90% 稀疏度
2026.01：VMonarch：Monarch 矩阵 17.5x FLOPs 减少

极致推进（2026.01 — 2026.04）

描述：SLA2 将加速比推向 18.6x，SVG-EAR 刷新免训练帕累托前沿，Light Forcing 开辟 AR 方向。

关键节点：

2026.02：SLA2：可学习路由 + QAT，18.6x 加速
2026.02：Light Forcing：首个 AR 视频扩散稀疏注意力
2026.03：SVG-EAR：误差感知路由，1.93x 免训练加速
2026.02：AdaSpa（ICCV 2025）：LSE 缓存搜索

1. SLA：稀疏-线性注意力融合——自定义GPU Kernel实现13.7倍注意力加速（ICLR 2026 Oral）

论文: SLA
arXiv: 2509.24006
机构: 清华大学, UC Berkeley

1.1 研究动机

核心问题： 视频DiT中全注意力O(N²)复杂度导致推理延迟极高

注意力权重可分为两部分：少量大权重(高秩)和大量小权重(低秩)。这天然暗示：对大权重用稀疏注意力(O(N²)但只算少量)，对小权重用线性注意力(O(N))。现有方法要么纯稀疏（丢失低秩信息）要么纯线性（无法捕捉局部关键依赖），SLA首次将两者系统融合。

前序工作及局限：

稀疏注意力(Top-K/局部窗口)：丢失信息或不灵活
线性注意力(Linear Transformer)：表达能力不足

与前序工作的本质区别： SLA首次系统性融合稀疏+线性注意力，通过三级分类+自定义GPU kernel实现最优分配

1.2 方法原理

SLA的核心设计：\n\n(1) 三级分类：将注意力权重按大小分为Critical(精确计算)、Marginal(线性注意力近似)、Negligible(跳过)三个级别。\n\n(2) 融合GPU Kernel：将稀疏注意力和线性注意力的前向/反向计算融合到单个自定义GPU kernel中，消除额外显存开销和kernel launch延迟。\n\n(3) 轻量微调：仅需少量步即可在目标视频DiT模型上完成适配。

1.3 核心创新

首次系统性融合稀疏注意力与线性注意力\n提出三级权重分类：Critical(O(N²)精确)+Marginal(O(N)线性)+Negligible(跳过)\n实现自定义GPU kernel支持前向+反向传播融合计算\n95%注意力计算减少，13.7倍注意力加速，2.2倍端到端加速\nICLR 2026 Oral——学术最高认可

1.4 实验结果

注意力计算减少95%（20倍）\n注意力加速13.7倍\n端到端加速2.2倍（Wan 2.1-1.3B）\n生成质量无损（VBench指标保持）\nICLR 2026 Oral接收

1.5 关键洞察

优势：ICLR 2026 Oral验证了方法的学术价值；自定义kernel可直接工业落地；2.2x E2E加速是质量无损方法的最优数字。局限：目前仅在1.3B模型上验证，14B+模型效果未知；kernel需针对不同硬件调优。

技术演进定位： 稀疏-线性融合范式的奠基工作(ICLR 2026 Oral)

可能的后续方向：

更大模型验证(14B+)
与蒸馏/缓存叠加

2. SLA2：可学习路由+量化感知训练——97%稀疏度实现18.6倍注意力加速

论文: SLA2
arXiv: 2602.12675
机构: 清华大学, UC Berkeley

2.1 研究动机

核心问题： SLA固定分类边界无法适应动态变化，且未利用量化压缩空间

SLA采用固定的三级分类边界，无法适应不同层/头/时间步的动态变化。SLA2提出：能否让模型自己学习最优的稀疏-线性分配比例？同时，SLA未利用量化技术进一步压缩计算，存在额外压缩空间。

前序工作及局限：

SLA：固定三级分类，ICLR 2026 Oral
量化感知训练(QAT)：LLM领域成熟技术

与前序工作的本质区别： SLA2引入可学习路由器实现层级自适应+QAT进一步压缩，将加速比从13.7x提升到18.6x

2.2 方法原理

SLA2的核心改进：\n\n(1) 可学习路由器：每层每头配备轻量路由网络，动态预测每个注意力块应使用稀疏、线性还是跳过策略。\n\n(2) 改进注意力公式：重新设计稀疏+线性混合公式，更好地贴合原始SLA的分解动机，减少近似误差。\n\n(3) 量化感知训练(QAT)：联合训练路由器和量化参数，在INT4/INT8精度下保持质量。

2.3 核心创新

突破SLA固定分类上限，引入可学习路由器动态调节稀疏/线性比例\n提出贴合原始分解动机的改进注意力公式\n量化感知训练(QAT)进一步压缩推理成本\n97%注意力稀疏度，18.6倍注意力加速\n质量保持与全注意力几乎无差距

2.4 实验结果

97%注意力稀疏度（仅3%计算量）\n18.6倍注意力加速\n视频生成质量与全注意力几乎无差距\n支持INT4量化进一步压缩

2.5 关键洞察

优势：在SLA基础上进一步将加速比提升35%，可学习路由实现层级自适应。局限：需要训练路由器（非免训练）；QAT引入额外训练复杂性。

技术演进定位： SLA范式的极致推进

可能的后续方向：

与稀疏+蒸馏联合优化
消费级设备部署

3. SVG-EAR：误差感知路由+无参数线性补偿——免训练1.93倍端到端加速

论文: SVG-EAR
arXiv: 2603.08982
机构: UC Berkeley

3.1 研究动机

核心问题： 免训练稀疏注意力丢弃块后信息损失且传统路由不精确

现有稀疏注意力面临两难：直接丢弃被跳过块会丢失信息；用学习型预测器近似又引入训练开销和分布偏移。SVG-EAR提出关键洞察：经过语义聚类后，同一块内的key/value具有高度相似性，可用少量聚类质心准确概括。

前序工作及局限：

Sparse VideoGen/SVG2：在线稀疏模式识别
CalibAtt：离线校准静态模式

与前序工作的本质区别： SVG-EAR用聚类质心无参数恢复被跳过块+误差感知路由替代传统注意力分数路由

3.2 方法原理

SVG-EAR的核心设计：\n\n(1) 聚类质心补偿：对被跳过的注意力块，用key/value的聚类质心做线性(O(N))近似，恢复其对输出的贡献。\n\n(2) 误差感知路由：不按注意力分数选择块，而是用轻量探测器估计每个块的补偿误差，选择'误差-成本比'最高的块做精确计算。\n\n(3) 理论保证：提供注意力重建误差与聚类质量之间的理论上界。

3.3 核心创新

颠覆传统'高注意力分数=重要'的假设，改为'高近似误差=需要精确计算'\n无参数线性补偿：用聚类质心O(N)恢复被跳过块的贡献\n误差感知路由：选择误差-成本比最高的块做精确计算\n提供注意力重建误差的理论上界

3.4 实验结果

Wan 2.2：1.77x端到端加速，PSNR 29.759\nHunyuanVideo：1.93x端到端加速，PSNR 31.043\n显著优于Sparse VideoGen2和CalibAtt\n完全免训练

3.5 关键洞察

优势：免训练、有理论保证、误差感知路由思路优雅。局限：聚类质心计算本身有开销；PSNR不是视频生成的最佳指标；加速上限受限于免训练范式。

技术演进定位： 免训练稀疏注意力的帕累托前沿

可能的后续方向：

与可训练方法结合
聚类效率优化

4. VSA：端到端可训练稀疏注意力——从预训练阶段替换全注意力（NeurIPS 2025）

论文: VSA
arXiv: 2505.13389
机构: UC Berkeley, FastVideo

4.1 研究动机

核心问题： 稀疏注意力仅用于推理，训练仍需全注意力导致训练-推理不一致

现有稀疏注意力主要用于推理加速，训练仍需全注意力。这导致训练-推理不一致和训练成本居高不下。VSA提出核心问题：能否设计一种从训练到推理全程使用的稀疏注意力，彻底替代全注意力？

前序工作及局限：

所有推理时稀疏方法：训练仍用全注意力
FlashAttention：全注意力的高效实现

与前序工作的本质区别： VSA首次证明可训练稀疏注意力可从预训练阶段全程替代全注意力

4.2 方法原理

VSA采用层次化两阶段设计：\n\n(1) 粗粒度阶段：将token序列划分为3D cubes并池化为粗粒度表示，用低成本全注意力预测每个cube的重要性分数，选出关键token区域。\n\n(2) 细粒度阶段：仅在预测的关键区域执行token级精确注意力，形成块稀疏计算模式。\n\n(3) 硬件对齐：cube大小和块大小均对齐GPU的执行粒度，最大化并行效率。

4.3 核心创新

首个在预训练阶段就替换全注意力的可训练稀疏注意力\n层次化设计：粗粒度cube池化预测关键token+细粒度块稀疏注意力\n硬件对齐：所有操作均对齐GPU warp/SM执行模式\n训练和推理双加速——不仅加速推理，还加速训练\n建立可训练稀疏注意力作为全注意力实用替代的里程碑

4.4 实验结果

训练和推理同时加速\n在视频生成质量上与全注意力基线持平\n显著降低训练GPU小时数\n建立可训练稀疏注意力作为全注意力的实用替代\nNeurIPS 2025接收

4.5 关键洞察

优势：训练+推理双加速是独特卖点；硬件对齐设计实用性强；NeurIPS 2025验证了学术质量。局限：粗粒度预测可能丢失细粒度关键信息；需要从头预训练或大量微调。

技术演进定位： 训练范式变革的先驱(NeurIPS 2025)

可能的后续方向：

更大规模模型验证
社区标准化

5. Sparse-vDiT：三模式稀疏Pattern识别+定制Kernel——视频DiT注意力图的系统性利用（AAAI 2026）

论文: Sparse-vDiT
arXiv: 2506.03065
机构: 多机构合作

5.1 研究动机

核心问题： 统一稀疏策略未充分利用视频DiT注意力图的结构特征

此前的稀疏注意力方法大多采用统一的稀疏策略（如Top-K或块级稀疏），未充分利用视频DiT注意力图的结构特征。Sparse-vDiT通过详细分析注意力图，发现三种反复出现的稀疏模式，并为每种模式定制高效计算方案。

前序工作及局限：

通用稀疏注意力：统一Top-K或块级策略
FlashAttention：稠密注意力优化

与前序工作的本质区别： Sparse-vDiT系统识别三种稀疏Pattern并为每种设计专用kernel

5.2 方法原理

Sparse-vDiT的核心设计：\n\n(1) 稀疏模式识别：通过统计分析发现视频DiT注意力图中三种主导模式——对角线(diagonal)反映时间邻近性、多对角线(multi-diagonal)反映空间局部性、竖条纹(vertical-stripe)反映全局anchor token。\n\n(2) Pattern-Optimized Sparse Kernels：为每种模式设计专用的CUDA kernel，将稠密注意力替换为结构化稀疏计算。\n\n(3) 自适应模式选择：根据每层每头的注意力分布自动选择最匹配的稀疏模式。

5.3 核心创新

系统性识别视频DiT注意力图中的三种稀疏模式：对角线、多对角线、竖条纹\n为每种模式设计定制的高效计算kernel\n同时减少理论FLOPs和实际推理延迟\n即插即用框架，适配多种视频DiT模型\nAAAI 2026接收

5.4 实验结果

理论FLOPs大幅减少\n实际推理速度显著提升\n视觉质量保持\n适配HunyuanVideo等主流模型\nAAAI 2026接收

5.5 关键洞察

优势：对注意力图的结构化分析深入，三种模式的识别有启发性；定制kernel实现到位。局限：固定的三种模式可能无法覆盖所有场景；模式选择的开销需考虑。

技术演进定位： Pattern-aware稀疏注意力的开拓者(AAAI 2026)

可能的后续方向：

更多Pattern发现
自动Pattern选择

6. SALAD：门控线性注意力并行分支——仅2000样本微调实现90%稀疏度

论文: SALAD
arXiv: 2601.16515
机构: 清华大学, 腾讯

6.1 研究动机

核心问题： 免训练稀疏度受限于50-70%，而训练型方法计算成本高

免训练稀疏注意力受限于有限的稀疏度（通常50-70%），突破稀疏度上限需要训练。但训练型方法通常需要大量数据和计算。SALAD提出：能否用极轻量的微调达到极高稀疏度？

前序工作及局限：

免训练稀疏方法：稀疏度上限有限
SLA：需要较多微调步数

与前序工作的本质区别： SALAD用极轻量微调(2000样本)在稀疏注意力旁添加线性分支达到90%稀疏度

6.2 方法原理

SALAD的核心设计：\n\n(1) 双分支并行：在原始稀疏注意力旁边添加一个轻量线性注意力分支，线性分支负责捕捉被稀疏注意力丢弃的低秩信息。\n\n(2) 输入依赖门控：用可学习门控机制根据输入内容动态调节两个分支的贡献权重。\n\n(3) 极轻量微调：仅新增线性注意力层和门控网络的参数，用2000个视频样本1600步即可完成训练。

6.3 核心创新

在稀疏注意力旁添加轻量线性注意力并行分支\n输入依赖门控机制动态平衡两分支贡献\n极轻量微调：仅需2000个视频样本和1600步训练\n90%稀疏度下质量与全注意力基线相当\n1.72x推理加速

6.4 实验结果

90%稀疏度，1.72x推理加速\n生成质量与全注意力基线相当\n仅需2000样本微调\n适配多种视频DiT模型

6.5 关键洞察

优势：微调效率极高（2000样本），工程门槛低；门控机制优雅。局限：1.72x加速低于SLA的2.2x；线性注意力的表达能力有限。

技术演进定位： 工程门槛最低的稀疏-线性融合方案

可能的后续方向：

门控机制改进
与VSA思路融合

7. VMonarch：Monarch矩阵结构化注意力——17.5倍FLOPs减少的数学最优解

论文: VMonarch
arXiv: 2601.22275
机构: 南京大学, 腾讯

7.1 研究动机

核心问题： 现有稀疏方法缺乏数学最优性保证

视频DiT的注意力模式天然具有高度稀疏的时空结构，但现有稀疏方法(Top-K/局部窗口)要么不灵活要么丢失全局信息。VMonarch发现Monarch矩阵——一类具有灵活稀疏性的结构化矩阵——可以优雅地表示这些模式。

前序工作及局限：

Monarch Mixer(2023)：结构化矩阵在Mixer中的应用
Monarch in LLM：LLM注意力压缩

与前序工作的本质区别： VMonarch首次将Monarch矩阵引入视频DiT，提供时空注意力的数学最优分解

7.2 方法原理

VMonarch的核心设计：\n\n(1) 时空Monarch分解：将全注意力矩阵分解为帧内(空间)和帧间(时间)两组Monarch因子，分别捕捉空间和时间相关性。\n\n(2) 交替最小化：通过交替优化两组因子来逼近原始全注意力，配合重计算策略解决收敛不稳定问题。\n\n(3) 在线熵算法：融入FlashAttention的在线计算范式，使Monarch矩阵更新在长序列上高效可行。

7.3 核心创新

首次将Monarch矩阵引入视频DiT注意力\n时空Monarch分解：帧内(空间)+帧间(时间)两组结构化因子\n交替最小化+重计算策略解决不稳定问题\n在线熵算法融入FlashAttention支持长序列\n17.5倍FLOPs减少，5倍以上注意力加速

7.4 实验结果

注意力FLOPs减少17.5倍\n注意力计算加速5倍以上\n90%稀疏度下超越所有SOTA稀疏注意力方法\n轻量微调后VBench质量与全注意力相当

7.5 关键洞察

优势：数学上最优雅的方案；FlashAttention兼容；理论深度最强。局限：交替最小化收敛依赖初始化；实际wall-clock加速(5x)远小于理论FLOPs减少(17.5x)，存在实现瓶颈。

技术演进定位： 理论深度最强的结构化注意力方案

可能的后续方向：

工程优化缩小理论-实际差距
与FlashAttention深度融合

8. Light Forcing：首个面向自回归视频扩散的稀疏注意力——Chunk-Aware Growth机制

论文: Light Forcing
arXiv: 2602.04789
机构: 多机构合作

8.1 研究动机

核心问题： 现有稀疏注意力面向双向扩散模型，忽视自回归视频生成的因果特性

现有稀疏注意力主要面向双向扩散模型(如Wan/HunyuanVideo)，而自回归视频扩散模型(如GameGen/Oasis/CogVideoX-AR)的因果结构与双向模型截然不同。Light Forcing首次为AR视频扩散定制稀疏注意力方案。

前序工作及局限：

双向扩散稀疏方法：SVG/CalibAtt/SLA等
AR视频扩散模型：CogVideoX-AR/GameGen

与前序工作的本质区别： Light Forcing首次为AR视频扩散定制Chunk-Aware Growth稀疏注意力

8.2 方法原理

Light Forcing的核心设计：\n\n(1) AR注意力模式分析：发现AR视频扩散中注意力呈现因果增长的独特模式——新生成帧主要关注临近帧和关键锚帧。\n\n(2) Chunk-Aware Growth机制：将视频序列划分为因果chunk，稀疏注意力范围随chunk增长动态扩展，保持对历史的选择性回顾。\n\n(3) 锚帧保留策略：自动识别并保留关键参考帧的全注意力计算，确保长程一致性。

8.3 核心创新

首个专门面向自回归(AR)视频生成模型的稀疏注意力\n提出Chunk-Aware Growth机制适应AR生成的因果增长特性\n发现AR视频扩散中独特的注意力稀疏模式\n兼顾质量提升和效率加速\n开源代码和模型

8.4 实验结果

AR视频生成质量提升（质量和效率双赢）\n推理速度显著加速\n长视频生成的一致性提升\n代码开源

8.5 关键洞察

优势：AR视频生成方向的首个稀疏注意力方案，填补空白；Chunk-Aware Growth设计与AR范式天然匹配。局限：AR视频生成模型本身尚未成为主流；方法可推广性受限于AR架构。

技术演进定位： AR视频生成稀疏加速的开创者

可能的后续方向：

AR范式普及后的标准化
与KV缓存压缩联合

9. CalibAtt：离线校准+在线高效推理——跨输入稳定的块级稀疏模式

论文: CalibAtt
arXiv: 2603.05503
机构: 以色列理工

9.1 研究动机

核心问题： 免训练方法需要在线动态判断token重要性，开销大

已有稀疏注意力方法要么需要训练，要么在线动态判断token重要性(开销大)。CalibAtt发现核心洞察：稀疏模式在不同输入上惊人地稳定，可以离线一次校准、在线直接复用。

前序工作及局限：

Sparse VideoGen：在线3%样本分析
动态稀疏方法：运行时判断开销

与前序工作的本质区别： CalibAtt发现稀疏模式跨输入稳定，可离线固定复用

9.2 方法原理

CalibAtt采用两阶段策略：\n\n(1) 离线校准阶段：在少量参考视频上运行全注意力，统计每一层、每个头、每个扩散时间步的块级稀疏模式和重复模式。\n\n(2) 模式编译：将稳定的稀疏模式编译为优化的注意力操作(类似JIT编译)。\n\n(3) 在线推理：只计算被选中的输入相关连接，以硬件友好方式跳过未选中连接。

9.3 核心创新

发现关键洞察：大量token-to-token连接在不同输入上一致地产生可忽略的注意力分数\n离线校准+在线推理两阶段策略\n层-头-时间步三维稀疏模式校准\n块级粒度兼顾精度和硬件效率\n完全免训练，1.58x端到端加速

9.4 实验结果

Wan 2.1 14B、Mochi 1及其蒸馏版本上实现1.58x端到端加速\n视频生成质量和文本-视频对齐度优于已有免训练方法\n支持多种分辨率\n完全免训练

9.5 关键洞察

优势：完全免训练、直接即插即用；离线校准成本低；硬件友好。局限：1.58x加速比在近期方法中不突出；对新架构需重新校准；块级粒度可能丢失细粒度信息。

技术演进定位： 离线校准范式的开创者

可能的后续方向：

模式自动更新
新架构快速适配

10. AdaSpa：动态模式+在线精确搜索——面向长视频的自适应稀疏注意力（ICCV 2025）

论文: AdaSpa
arXiv: 2502.21079
机构: 字节跳动, 北京大学

10.1 研究动机

核心问题： 动态模式和在线搜索难以兼顾，现有方法牺牲其一

现有免训练稀疏方法要么用固定模式(无法适应动态变化)，要么在线搜索开销大。AdaSpa提出：能否将动态模式与在线精确搜索结合，实现既准确又高效的自适应稀疏注意力？

前序工作及局限：

固定模式方法：CalibAtt等，无法动态适应
在线搜索方法：开销大

与前序工作的本质区别： AdaSpa利用FlashAttention的LSE副产品零开销实现在线精确搜索

10.2 方法原理

AdaSpa的核心设计：\n\n(1) 块化模式(Blockified Pattern)：将注意力矩阵划分为层次化block结构，高效表示DiT中的多尺度稀疏性。\n\n(2) LSE缓存搜索：利用FlashAttention计算过程中的LogSumExp副产品作为block重要性信号，零额外开销精确定位关键token区域。\n\n(3) 自适应稀疏决策：根据每步动态计算的重要性信号决定哪些block需要精确计算，实现自适应稀疏。

10.3 核心创新

首个结合动态模式和在线精确搜索的稀疏注意力方法\n块化模式(Blockified Pattern)高效表示DiT的层次稀疏性\nLSE(LogSumExp)缓存搜索实现精确重要token定位\n免训练、免数据、即插即用\n面向长视频生成加速\nICCV 2025接收

10.4 实验结果

长视频生成速度显著提升\n视觉质量与原始模型几乎相同\n免训练、免数据\nICCV 2025接收\n适配OpenSora等模型

10.5 关键洞察

优势：LSE缓存搜索零开销，设计极其优雅；免训练免数据实用性最强。局限：依赖FlashAttention实现，对其他注意力实现不通用。

技术演进定位： 免训练免数据方案的最优解(ICCV 2025)

可能的后续方向：

推广到更多注意力实现
与缓存方法叠加