人工智能炼丹师 - AIGC论文速读 - 稀疏注意力
type: channel
link: https://jefxiong.cn/index.php/tag/稀疏注意力/
items: AIGC 每日速读|2026-04-24|Wan-Image
items: AIGC 每日速读|2026-04-24|GSI-Bench
items: AIGC 每日速读|2026-04-22|解耦记忆长视频 MemWN
items: AIGC 每日速读|2026-04-21|Qwen3.5-Omni全模态215项SOTA
items: AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
items: AIGC 周末专题深度解读：视频扩散 Transformer 高效推理

AIGC 每日速读|2026-04-24|Wan-Image
type: item
date: 2026-04-24T11:51:41+08:00
description: 今日核心看点 阿里 Wan-Image 统一视觉生成 Google Vision Banana 生成即理解 LLaDA2.0 离散扩散统一多模态 DynamicRad 视频扩散 2.5x 加速 字节 MMCORE 轻量统一框架 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 生成理解一体化 — 3 篇（LLaDA2.0-Uni、Vision Banana、MMCORE） 图像生成与编辑 — 4 篇（万象图像系统、编辑定位、扩散幻觉检测、空间智能基准） 视频生成 — 1 篇（长视频稀疏注意力加速） 音频与语音 — 1 篇（流式目标说话人提取） 生成模型训练与优化 — 1 篇（半监督流匹配遥感融合） 涵盖 arXiv 最新 127 篇候选中精选 今日论文速览 1. Wan-Image：提出 Wan-Image 统一视觉生成系统 Wan-Image: Pushing the Boundaries of Generative Visual Intelligence | Alibaba Group (Tongyi Lab) | arXiv:2604.19858 关键词： 统一视觉生成·文字渲染·多主体保持·4K合成 前序工作问题： 当前扩散模型在专业设计场景中缺乏绝对可控性，尤其在复杂排版渲染、多主体身份保持和精细交互编辑方面力不从心 贡献： 提出 Wan-Image 统一视觉生成系统，融合 LLM 认知能力与 DiT 像素合成，通过大规模多模态数据扩展和强化学习训练，解锁超长文本渲染、调色板引导、多主体保持、原生 Alpha 通道等专业功能 效果： 在多项人类评估中超越 Seedream 5.0 Lite 和 GPT Image 1.5，在高难度任务中与 Nano Banana Pro 持平，支持原生 4K 高效合成 批判点评： 模型参数量和训练成本未公开，「专业级生产力工具」的定位缺少与 Adobe Firefly 等商业工具的定量用户研究；多主体保持在相似外观角色间的区分能力未充分测试 2. LLaDA2.0-Uni：提出基于离散扩散的统一大语言模型 LLaDA2.0-Uni LLaDA2.0-Uni: Unifying Multimodal Understanding and Generation with Diffusion Large Language Model | Inclusion AI, Westlake University, Zhejiang University | arXiv:2604.20796 关键词： 离散扩散LLM·多模态统一·MoE·交错生成 前序工作问题： 现有多模态模型难以在统一框架内同时实现高质量的视觉理解和图像生成，自回归与扩散范式各有局限 贡献： 提出基于离散扩散的统一大语言模型 LLaDA2.0-Uni，结合语义离散分词器 SigLIP-VQ、MoE 主干和扩散解码器，支持块级掩码扩散同时处理文本和视觉输入，并通过前缀感知优化和少步蒸馏提速 效果： 在多模态理解上匹配专用 VLM 水平，图像生成和编辑表现出色，原生支持交错生成和推理，代码和模型已开源 批判点评： 离散扩散 LLM 的并行解码虽然快但牺牲了自回归模型的逐步纠错能力；SigLIP-VQ 的量化损失对精细纹理和小物体的影响需要更多消融实验 3. Vision Banana：证明图像生成预训练可以学到强大通用视觉表征 Image Generators are Generalist Vision Learners | Google DeepMind | arXiv:2604.20329 关键词： 生成预训练·视觉理解·统一模型·指令微调 前序工作问题： 图像生成模型是否真正学会了视觉理解一直缺乏有力证据，生成与理解的关系尚不明确 贡献： 证明图像生成预训练可以学到强大通用视觉表征，通过将视觉任务输出参数化为 RGB 图像实现感知即生成，在 Nano Banana Pro 基础上指令微调得到 Vision Banana 通才模型 效果： 在分割（超越 SAM3）、深度估计（超越 Depth Anything）等 2D 和 3D 视觉任务上达到 SOTA，且不牺牲图像生成能力 批判点评： 将所有视觉任务输出编码为 RGB 图像是一种巧妙但有局限的参数化方式，对检测框回归等需要精确数值的任务可能力不从心；实验依赖 Nano Banana Pro 这一未开源的强基座，可复现性受限 4. MMCORE：提出 MMCORE 轻量统一框架 MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings | ByteDanc…

AIGC 每日速读|2026-04-24|GSI-Bench
type: item
date: 2026-04-24T08:04:29+08:00
description: 今日核心看点 阿里 Wan-Image 统一视觉生成 Google Vision Banana 生成即理解 LLaDA2.0 离散扩散统一多模态 DynamicRad 视频扩散 2.5x 加速 流式说话人提取 CISAR 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 图像生成与编辑 — 4 篇（空间智能基准、万象图像系统、编辑定位、扩散幻觉检测） 视频生成 — 1 篇（长视频稀疏注意力加速） 音频与语音 — 1 篇（流式目标说话人提取） 生成理解一体化 — 3 篇（LLaDA2.0-Uni、Vision Banana、MMCORE） 生成模型训练与优化 — 1 篇（半监督流匹配遥感融合） 涵盖 arXiv 最新 127 篇候选中精选 今日论文速览 1. GSI-Bench：提出首个生成式空间智能基准 GSI-Bench Exploring Spatial Intelligence from a Generative Perspective | Zhejiang University | arXiv:2604.20570 关键词： 空间智能·生成式评测·3D约束·图像编辑 前序工作问题： 现有多模态模型基准仅从理解角度评估空间智能，忽略了生成模型在 3D 空间约束下的图像生成能力 贡献： 提出首个生成式空间智能基准 GSI-Bench，包含真实数据集 GSI-Real（3D 先验引导过滤）和合成数据集 GSI-Syn（可控空间操作+自动标注），统一评估空间合规性和编辑保真度 效果： 在 GSI-Syn 上微调统一多模态模型后，合成和真实任务均显著提升，且首次证明生成式训练能增强空间理解能力 批判点评： GSI-Syn 的合成数据与真实场景仍存在域差距，微调增益能否泛化到 GSI-Real 之外的开放场景未充分验证；评估协议的「空间合规性」指标定义偏简化，难以覆盖复杂多物体遮挡场景 2. Wan-Image：提出 Wan-Image 统一视觉生成系统 Wan-Image: Pushing the Boundaries of Generative Visual Intelligence | Alibaba Group (Tongyi Lab) | arXiv:2604.19858 关键词： 统一视觉生成·文字渲染·多主体保持·4K合成 前序工作问题： 当前扩散模型在专业设计场景中缺乏绝对可控性，尤其在复杂排版渲染、多主体身份保持和精细交互编辑方面力不从心 贡献： 提出 Wan-Image 统一视觉生成系统，融合 LLM 认知能力与 DiT 像素合成，通过大规模多模态数据扩展和强化学习训练，解锁超长文本渲染、调色板引导、多主体保持、原生 Alpha 通道等专业功能 效果： 在多项人类评估中超越 Seedream 5.0 Lite 和 GPT Image 1.5，在高难度任务中与 Nano Banana Pro 持平，支持原生 4K 高效合成 批判点评： 模型参数量和训练成本未公开，「专业级生产力工具」的定位缺少与 Adobe Firefly 等商业工具的定量用户研究；多主体保持在相似外观角色间的区分能力未充分测试 3. SSFM-Fusion：提出半监督流匹配框架 Semi-Supervised Flow Matching for Mosaiced and Panchromatic Fusion Imaging | Harbin Institute of Technology (Shenzhen) | arXiv:2604.20128 关键词： 流匹配·半监督·图像融合·高光谱 前序工作问题： 低分辨率马赛克高光谱图像与高分辨率全色图像的融合是严重病态问题，现有扩散方法受限于特定协议和人工假设 贡献： 提出半监督流匹配框架，将无监督先验网络与条件流匹配模型两阶段结合，引入随机投票机制迭代精炼和无冲突梯度引导策略，实现光谱和空间一致的高分辨率重建 效果： 在多个基准数据集上大幅超越代表性基线方法，生成质量和效率显著提升 批判点评： 遥感融合是相对小众的应用场景，流匹配在此领域的优势相比传统方法的边际增益需要实际部署验证；两阶段训练管线增加了工程复杂度 4. LLaDA2.0-Uni：提出基于离散扩散的统一大语言模型 LLaDA2.0-Uni LLaDA2.0-Uni: Unifying Multimodal Understanding and Generation with Diffusion Large Language Model | Inclusion AI, Westlake University, Zhejiang University | arXiv:2604.20796 关键词： 离散…

AIGC 每日速读|2026-04-22|解耦记忆长视频 MemWN
type: item
date: 2026-04-22T17:38:00+08:00
description: 今日核心看点 解耦记忆长视频 MemWN 一步文本生成 EMF 投机解码加速 2.09x 多事件视频+33.5% 编辑 RLHF 后训练 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 视频生成（4篇）：长视频空间一致性 MemWN、多事件生成 TS-Attn、人体视频 ReImagine、视频到音乐 Video-Robin 推理加速（3篇）：投机解码 SDVG、稀疏注意力聚类 AdaCluster、Patch 级自适应采样 Patch Forcing 图像生成与编辑（3篇）：一步文本生成 EMF、人类偏好编辑 HP-Edit、扩散引导检测 DGSSM 含 CVPR 2026 接收，多篇开源代码，覆盖视频/图像/音频三大生成方向 今日论文速览 1. MemWN：提出解耦记忆控制框架 MemWN Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation | Wuhan University | arXiv:2604.18215 关键词： 长视频生成·空间一致性·解耦记忆·相机轨迹·按需记忆 前序工作问题： 现有长视频生成方法将记忆建模与生成过程耦合，导致场景重访时空间一致性差，相机运动下物体位置和外观不连贯。 贡献： 提出解耦记忆控制框架 MemWN，将记忆建模与视频生成分离。混合记忆表示捕获时间+空间双重线索，逐帧交叉注意力精准注入记忆，相机感知门控智能判断何时使用记忆。 效果： 在长视频生成基准上取得 SOTA，场景重访空间一致性大幅提升，训练成本显著降低。 2. EMF：首次将 MeanFlow 框架从类别标签扩展到文本条件 EMF: Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation | Nankai University, Alibaba AMAP-ML | arXiv:2604.18168 关键词： 一步生成·MeanFlow·文本条件·LLM编码器·图像合成 前序工作问题： MeanFlow 等一步生成框架仅支持类别标签条件，无法处理开放文本描述；直接套用文本编码器会因特征区分度不足导致生成质量骤降。 贡献： 首次将 MeanFlow 框架从类别标签扩展到文本条件，实现高效的一步文本到图像生成。揭示了 MeanFlow 少步生成中文本特征需要高区分度的关键洞察，开发了基于 LLM 文本编码器的解决方案。 效果： 在 MeanFlow 框架下首次实现文本条件的一步图像生成，同时在扩散模型上也展示了显著的生成性能提升。代码已开源。 3. TS-Attn：提出免训练的时间可分离注意力机制（TS-Attn） TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation | PKU, ZJU, Nankai, MIT, NJU, UCSB | arXiv:2604.19473 关键词： 多事件视频·免训练·时间注意力·Wan2.1·即插即用 前序工作问题： 多事件视频生成中，全局时间注意力导致不同事件的动作特征相互干扰，造成动作保真度与时间连贯性难以兼顾。 贡献： 提出免训练的时间可分离注意力机制（TS-Attn），解决多事件视频生成中动作保真度与时间一致性的固有矛盾。可即插即用到 Wan2.1-T2V-14B 等预训练模型中。 效果： 在 Wan2.1-T2V-14B 上 StoryEval-Bench 提升 33.5%，在 Wan2.2-T2V-A14B 上提升 16.4%，推理开销仅 +2%。代码已开源。 4. SDVG：首次将投机解码引入自回归视频扩散模型加速 Speculative Decoding for Autoregressive Video Generation | Independent Research | arXiv:2604.17397 关键词： 投机解码·自回归视频·加速推理·ImageReward·免训练 前序工作问题： 自回归视频扩散模型逐帧生成速度极慢，LLM 领域成熟的投机解码策略尚未被引入视频生成场景。 贡献： 首次将投机解码引入自回归视频扩散模型加速。用 1.3B 小模型起草候选块，ImageReward 路由器以最差帧评分筛选，实现免训练、无需架构修改的视频生成加速。 效果： 在 MovieGenVideoBench 上，保持 98.1% 质量实现 1.59× 加速，或…

AIGC 每日速读|2026-04-21|Qwen3.5-Omni全模态215项SOTA
type: item
date: 2026-04-21T14:43:11+08:00
description: 今日核心看点 全模态215项SOTA(Qwen3.5-Omni) 音视频联合生成(Seedance 2.0) ImageNet生成新纪录(GRN) 灵活视频Token化(VideoFlexTok) 推理式奖励模型(RationalRewards) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 全模态理解与生成一体化: 3篇 (Qwen3.5-Omni, Audio-Omni, Seedance 2.0) 图像生成与风格迁移: 2篇 (GRN, MAST) 视频生成推理加速: 2篇 (PASA, EfficientVideoDiffusion综述) 视频Token化与高效表示: 1篇 (VideoFlexTok) 视觉生成评测与奖励模型: 1篇 (RationalRewards) 矢量动画生成: 1篇 (LottieGPT) 重点论文深度解读 1. Qwen3.5-Omni 通义千问新旗舰——百亿参数全模态理解与生成一体化，215项评测SOTA | Alibaba | arXiv:2604.15804 关键词： 全模态模型, 生成理解一体化, Thinker-Talker, TMRoPE, 音视频交互, MoE, SOTA 研究动机 核心问题： 如何在单一模型中同时实现文本/图像/视频/音频的顶级理解与生成能力 现有多模态大模型通常在某些模态上表现优异但在其他模态上性能退化，难以做到'全能不偏科'。以往的全模态模型要么理解强但生成弱，要么文本强但语音弱。Qwen团队希望构建一个真正统一的端到端模型，同时实现所有模态的顶级理解与生成能力，特别是实时流式语音交互——这对于下一代人机交互至关重要。前代Qwen2.5-Omni虽然开创了Thinker-Talker架构，但在模型规模和多模态推理深度上仍有提升空间。Qwen3.5-Omni将模型规模扩展到百亿参数级别，并在训练方法论上做出重大改进。 前序工作及局限： GPT-4o：开创端到端全模态交互，但闭源且细节未公开 Gemini Pro系列：Google全模态模型，多模态理解强但音频生成相对弱 Qwen2.5-Omni：首创Thinker-Talker架构，但模型规模和性能有提升空间 Mixtral MoE：MoE在语言模型中的成功应用，启发了多模态场景的专家设计 与前序工作的本质区别： 首个在所有模态上同时达到SOTA且无偏科的全模态模型，TMRoPE时间对齐和MoE理解/生成分离是关键创新 方法原理 Qwen3.5-Omni采用Thinker-Talker双核架构设计： (1) Thinker模块（大脑）：接收文本、图像、视频、音频等多模态输入，使用统一的Transformer编码器处理所有模态。视觉编码器和音频编码器均采用分块处理(block-wise)策略实现实时流式输入。输出高层语义表征和对应文本内容。引入MoE混合专家机制，为理解和生成任务分配独立专家组。 (2) Talker模块（发声器官）：以流式方式接收Thinker实时输出的语义表征和文本token，流畅合成离散语音单元(speech tokens)，再通过解码器转换为自然语音波形。整个过程是端到端的，延迟极低。 (3) TMRoPE位置编码：创新性地在RoPE基础上引入时间对齐机制，使视频帧和音频片段在同一时间轴上精准对齐。这对于理解音视频同步内容（如带字幕的视频、会议录音配PPT）至关重要。 (4) 三阶段预训练：第一阶段视觉与音频编码器独立训练；第二阶段联合全参数训练与多模态整合；第三阶段长序列数据训练提升理解能力。后训练阶段对Thinker和Talker分别进行SFT和DPO优化。 (5) 模型系列包含Base和Plus两个版本，Plus版本进一步增大参数量和训练数据。 核心创新 提出Qwen3.5-Omni，新一代全模态大模型，首次在文本/图像/视频/音频四模态理解与生成中同时达到SOTA 采用Thinker-Talker双核架构：Thinker负责多模态推理生成高层语义表征，Talker以流式方式合成自然语音 提出TMRoPE(Time-aligned Multimodal RoPE)位置编码，通过时间轴对齐实现音视频输入精准同步 引入MoE混合专家设计，在推理和生成各自使用独立专家组，避免能力冲突 Qwen3.5-Omni-Plus在215项音频和音视频理解/推理/交互子任务上达到SOTA，超越Gemini-3.1 Pro 支持256K超长上下文窗口，113种语言识别，完全实时的音视频交互 实验结果 Qwen3.5-Omni-Plus性能亮点： 音频理解：在215项音频和音视频理解/推理/交互子任务和基准上达到SOTA，在关键音频任务上超越Gem…

AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
type: item
date: 2026-03-22T08:32:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-22 | 视频生成与编辑前沿进展 人工智能炼丹师 整理 | 本期专题聚焦 2026 年 3 月第三周（3.15-3.22）视频生成与编辑领域的最新突破，涵盖物理一致生成、无训练编辑、高分辨率合成、推理加速、联合音视频生成等多个前沿方向。 专题概述 视频生成与编辑是当前 AIGC 领域最活跃的研究方向之一。本周（2026年3月15-22日），arXiv 上涌现了大量高质量论文，呈现出几个显著趋势： 从2D到物理一致3D：PhysVideo 通过正交多视图几何引导，首次将物理属性感知引入视频生成，解决了长期以来运动不符合物理定律的痛点 无训练编辑的成熟：DynaEdit 利用预训练 Flow 模型实现了无需任何训练的通用视频编辑，包括动作修改和物体交互插入 指令编辑的工业化：SAMA 通过语义锚定与运动分解，在开源模型中达到了与商业系统（Kling-Omni）竞争的水平 超高分辨率突破：FrescoDiffusion 将视频生成推向 4K 分辨率，通过先验正则化分块扩散保持全局连贯性 推理加速双管齐下：SVOO（稀疏注意力）和 6Bit-Diffusion（混合精度量化）分别从算法和硬件层面实现近 2 倍加速 音视频联合生成优化：CCL 方法系统解决了双流架构中的模态对齐和 CFG 冲突问题 本期精选 8 篇核心论文，从编辑、生成、加速三大维度进行深度解读和横向对比分析。 1. SAMA：分解语义锚定与运动对齐的指令引导视频编辑 论文信息 标题：SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing 作者：Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang 等（字节跳动/清华大学） arXiv：2603.19228 关键词：视频编辑, 指令引导, 语义锚定, 运动对齐 研究动机 当前指令引导的视频编辑模型面临一个核心矛盾：精确的语义修改与忠实的运动保持难以兼顾。现有方法依赖注入外部先验（VLM 特征、结构条件）来缓解这一问题，但外部先验的引入严重限制了模型的鲁棒性和泛化能力。SAMA 提出了一个根本性的解决思路——将视频编辑分解为两个正交的子任务。 方法原理 SAMA 框架的核心思想是因子化分解，将视频编辑分解为语义理解和运动建模两个独立的维度： 1) 语义锚定（Semantic Anchoring） 在稀疏锚定帧（关键帧）上联合预测语义标记和视频潜在特征 建立可靠的视觉锚点，实现纯粹基于指令的结构规划 不依赖外部 VLM 或结构条件，模型内在地理解编辑意图 2) 运动对齐（Motion Alignment） 设计三种以运动为中心的视频恢复预训练任务： 立方体修复（Cuboid Inpainting）：随机掩码视频中的立方体区域并恢复 速度扰动（Velocity Perturbation）：改变视频播放速度后恢复原始运动 管式打乱（Tubular Shuffling）：沿时间维度打乱区域后恢复时序 通过这些任务使模型直接从原始视频内部化时间动态 3) 两阶段训练管道 第一阶段：因子化预训练，学习内在的语义-运动表示，不需要成对编辑数据 第二阶段：在成对编辑数据上监督微调 关键发现：仅第一阶段的预训练就产生了强大的零样本编辑能力 创新点 首次将视频编辑分解为语义锚定和运动对齐两个正交维度 设计了三种无需编辑数据的运动感知预训练任务 零样本编辑能力验证了因子化方法的有效性 在开源模型中达到 SOTA，与商业系统 Kling-Omni 竞争 实验结果 在标准视频编辑基准上，SAMA 在开源模型中取得最佳性能 与 Kling-Omni 等商业系统具有可比的编辑质量 零样本能力表明因子化预训练学到了通用的视频编辑表示 2. DynaEdit：无训练的通用视频内容、动作与动态编辑 论文信息 标题：Versatile Editing of Video Content, Actions, and Dynamics without Training 作者：Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli（Google Research / Technion） arXiv：2603.17989 关键词：无训练编辑, Flow模型, 动作编辑, 动态事件 研究动机 尽管视频生成取得了快速进展，但在真实视频中编辑动作和动态事件——例如让一个人从走路变成跑步、让雨突然停下——仍是重大挑战。现有训练方法受限于编辑数据的…

AIGC 周末专题深度解读：视频扩散 Transformer 高效推理
type: item
date: 2026-03-14T09:19:00+08:00
description: AIGC 周末专题深度解读：视频扩散 Transformer 高效推理 专题方向：视频 DiT 中的稀疏注意力、线性注意力与推理加速 覆盖时间：2026年3月2日 — 2026年3月13日 整理：人工智能炼丹师 日期：2026年3月14日（周六） 一、专题概览 本周是视频扩散 Transformer（Video DiT）高效推理方向的"论文爆发周"。短短一周内，arXiv 上出现了 9 篇 高度聚焦于视频 DiT 注意力加速与推理优化的论文，覆盖了从稀疏注意力、线性注意力、结构化注意力，到蒸馏压缩、缓存+剪枝、系统级并行优化的完整技术栈。 核心背景 当前主流视频生成模型（Wan 2.1/2.2、HunyuanVideo、Mochi 等）均采用 Diffusion Transformer（DiT）架构，其核心瓶颈在于 全注意力（Full 3D Attention）的 O(N²) 复杂度。一段 5 秒 720P 视频的 token 序列长度可达数十万，全注意力的计算量和显存占用极其惊人。因此，如何在保持生成质量的前提下大幅降低注意力计算成本，成为本周研究的核心主题。 本周论文全景 # 论文 方法类别 核心思路 加速比 提交日期 1 CalibAtt 稀疏注意力（免训练） 离线校准块级稀疏模式 1.58x E2E 3月5日 2 SVG-EAR 稀疏注意力 + 线性补偿（免训练） 误差感知路由 + 聚类质心补偿 1.77-1.93x 3月9日 3 SODA 缓存 + 剪枝（免训练） 敏感度导向的动态加速 SOTA fidelity 3月7日 4 FrameDiT 结构化注意力（需训练） 帧级矩阵注意力 ~Local FA 3月10日 5 VMonarch 结构化注意力（轻量微调） Monarch 矩阵分解 5x attn, 17.5x FLOPs↓ 1月29日 6 SALAD 稀疏 + 线性混合（轻量微调） 门控线性注意力并行分支 1.72x, 90%稀疏 1月23日 7 SLA 稀疏 + 线性融合（微调） 三级权重分类 + 自定义 kernel 2.2x E2E, 13.7x attn 2025.9 (ICLR'26) 8 FastLightGen 蒸馏 + 剪枝 步数+参数同时压缩 4步+30%剪枝 3月2日 9 Diagonal Distillation 自回归蒸馏 对角蒸馏 + 隐式光流 277.3x, 31 FPS 3月10日 二、重点论文深度解读 论文 1：CalibAtt — 校准稀疏注意力加速视频生成 标题：Accelerating Text-to-Video Generation with Calibrated Sparse Attention 作者：Shai Yehezkel, Shahar Yadin, Noam Elata 等 机构：以色列理工 日期：2026年3月5日 arXiv：2603.05503 关键词：稀疏注意力 免训练 离线校准 块级模式 Wan 2.1 Mochi 研究动机 视频 DiT 中的全注意力计算是推理速度的主要瓶颈。已有的稀疏注意力方法要么需要训练（如 SLA、SALAD），要么是在线动态判断每个 token 的重要性（开销大）。作者观察到一个关键现象：大量 token-to-token 连接在不同输入上一致地产生可忽略的注意力分数，且这些模式在不同查询间重复出现。 方法原理 CalibAtt 采用"离线校准 + 在线高效推理"的两阶段策略： 离线校准阶段：在少量参考视频上运行全注意力，统计每一层、每个注意力头、每个扩散时间步的块级（block-level）稀疏模式和重复模式 模式编译：将稳定的稀疏模式编译为优化的注意力操作（类似于"稀疏注意力的 JIT 编译"） 在线推理：只计算被选中的输入相关连接，以硬件友好的方式跳过未选中的连接 核心创新 块级粒度：不做 token 级稀疏（开销大），而是以 token block 为单位，兼顾精度和效率 跨输入稳定性：发现稀疏模式对输入不敏感，可以离线固定 层-头-时间步三维校准：不同层/头/时间步的稀疏模式不同，细粒度适配 实验结果 在 Wan 2.1 14B、Mochi 1 及其蒸馏版本上测试 实现 1.58x 端到端加速 在视频生成质量和文本-视频对齐度上优于已有免训练方法 支持多种分辨率 技术脉络 Sparse VideoGen (2024) → Sparse VideoGen2 (2025.5) → CalibAtt (2026.3)。从在线动态稀疏 → 离线校准静态稀疏，核心洞察是"稀疏模式跨输入稳定"。 批判性点评 优势：完全免训练，直接即插即用；离线校准成本低；硬件友好 局限：1.58x 的加速比在本周论文中并不突出；块级粒度可能…