标签搜索

Jefxiong

累计撰写 203 篇文章
累计收到 8 条评论

首页
/
AIGC Daily Papers
/
正文

AIGC Daily Papers

AIGC 每日速读|2026-09-10|90%稀疏视频DiT加速2.63倍-RoLA

人工智能炼丹君

2026-09-10 / 0 评论 / 22 阅读 / 正在检测是否收录...

09/10

今日 AIGC 论文速览

今日共 10 篇 · 高效与流式视频生成 3 篇 · 可控动作与手语生成 2 篇 · 生成基础设施与评测 3 篇 · 图像生成与编辑 2 篇

重点论文标题列表

RoLA（北京大学、清华大学、电子科技大学、阿里巴巴等）：90%稀疏视频DiT加速2.63倍
Mask Forcing（香港科技大学（广州）、香港科技大学、加州大学圣迭戈分校等）：给自回归蒸馏注入干净令牌
FlexMoGen（布朗大学、Epic Games、加州大学戴维斯分校、犹他大学）：文字定内容，参考动作定风格
Decoupled SF（Yanru An 等）：流式数字人15.4FPS且延迟1.3秒
Miles v0.1（RadixArk）：744B模型异步RL跑上64张GB300

今日论文速览

1. RoLA：90%稀疏视频DiT加速2.63倍

RoLA: Rotary-Positioned Low-Rank Linear Attention for Efficient Diffusion Transformers | 北京大学、清华大学、电子科技大学、阿里巴巴等 | arXiv:2609.06712

关键词：视频生成,稀疏注意力,线性注意力,扩散Transformer

前序问题：视频扩散 Transformer 的时空令牌很长，稠密自注意力随序列长度平方增长。稀疏分支可以省计算，却会丢掉维持场景、运动和语义一致性的远程联系；现有低秩全局补偿又难同时保留 3D RoPE 的相对位置结构与可复用的线性摘要。
本文贡献：RoLA 将注意力拆成固定稀疏局部分支与低秩全局分支。它先把查询和键投影到低秩空间并通过非线性，再施加截断后的预训练 3D RoPE；这样旋转不会被非线性打乱，全局键值摘要可对所有查询复用。令牌级门控负责把局部尖峰与平滑全局背景重新融合，无需新增位置参数。

RoLA稀疏与旋转低秩双分支架构 — Architecture overview of the proposed method. (a) Dense 3D-RoPE attention decomposes into sparse top-$k$ spikes and a residual background. (b) The method replaces dense attention in pre-trained DiT blocks with sparse--low-rank branches and gated fusion, reusing backbone RoPE without additional positional embeddings. The right part shows the rotary low-rank branch and distribution-aware gated fusion.

实验效果：在 Wan2.1-14B 的 720p、81 帧设置上，RoLA 在 90% 稀疏率下仍保持有竞争力的生成质量，并在单张 NVIDIA H100 上取得 2.63 倍端到端推理加速。机制实验中，截断秩 r=64 的时间与高度相对位置余弦相似度都达到 0.93。

RoLA部署延迟与长序列加速结果 — Deployment-oriented efficiency summary on RTX 5090 (different from the benchmark evaluation setting). Panel (a) shows representative fixed-setting deployment latency, panel (b) shows theoretical self-attention FLOPs per denoising step, and panel (c) shows long-sequence deployment latency.

批判点评：RoLA 需要对替换注意力后的完整骨干做单阶段全参数微调，部署收益并非零训练获得。低秩分支只解决高稀疏率下的全局补偿，稀疏局部分支本身沿用既有方案；更长视频、不同 RoPE 划分和消费级 GPU 上的质量—速度曲线仍需验证。

2. Mask Forcing：给自回归蒸馏注入干净令牌

Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout | 香港科技大学（广州）、香港科技大学、加州大学圣迭戈分校等 | arXiv:2609.09123

关键词：视频生成,自回归扩散,分布匹配蒸馏,模式坍塌

前序问题：用反向 KL 的分布匹配蒸馏把双向视频扩散教师压成因果学生时，目标偏向追逐少数高概率模式。学生在自回滚中容易越来越饱和、平滑，并把早期误差持续传给后续片段。
本文贡献：Mask Forcing 在学生自回滚期间沿空间和时间轴随机遮罩，用更干净、较低噪声的令牌替换部分高噪声输入。扰动让学生探索教师分布中尚未覆盖的区域，同时干净令牌给邻近噪声令牌提供去噪参照，从而缓解模式坍塌与长时误差积累。方法可插入多种 DMD 自回归蒸馏流程，不需要真实视频或额外后训练阶段。

Mask Forcing双噪声遮罩回滚框架

实验效果：在 30 秒 LongLive 设置上，加入 Mask Forcing 后 HPSv3 从 8.44 提升到 9.11，VBench 总分从 83.91 提升到 84.51，语义分从 80.70 提升到 81.44。论文还报告它在逐帧和分块设置下普遍改善视觉质量与指令遵循。

Mask Forcing长视频训练实验结果图

批判点评：收益依赖遮罩比例、噪声窗口和更新粒度，表明它仍是一套需要按骨干与任务调参的训练策略。论文主要在既有因果视频蒸馏管线上验证，尚未说明对完全不同教师、极长序列或交互式状态更新是否同样稳定。

3. FlexMoGen：文字定内容，参考动作定风格

Flexible Motion Generation from Language and Style References | 布朗大学、Epic Games、加州大学戴维斯分校、犹他大学 | arXiv:2609.08032

关键词：人体动作生成,文本到动作,风格迁移,潜扩散

前序问题：文本很适合描述“做什么”，却难精确表达节奏、肢体发力和情绪动态；离散风格标签又无法覆盖未见风格、长动作或同一序列里的风格切换。
本文贡献：FlexMoGen 同时输入自然语言与风格动作片段，用无风格标签监督的变分编码器提取连续风格，再通过轻量适配模块调制文本到动作的潜扩散模型。统一预训练、相对位置编码和时变风格控制使模型可以合成长序列、多风格过渡以及未见过的文本—风格组合。

FlexMoGen文本内容与动作风格联合生成框架 — Overview of our style-adapted text-to-motion framework. The input content motion $x_c$ is encoded by a pretrained motion encoder, and Gaussian noise is added to its latent embedding. The text-to-motion (T2M) model (top right) consists of $7$ Transformer encoder layers that take motion, text, and time embeddings as inputs. Each self-attention block incorporates relative positional encoding into the key and value projections. During style finetuning, the T2M backbone is frozen, and only the weight matrices $W_s^{K}$ and $W_s^{V}$ in the Style Adaptation Module (SAM) are trained. SAM encodes a style example $x_s$ and injects its outputs as additive biases to the $K$ and $V$ vectors in the attention layers, guiding the network to preserve the semantics of $x_c$ while reflecting the style of $x_s$.

实验效果：22 名参与者给出 330 次成对判断。相对 SMooDi，FlexMoGen 在内容保持、风格反映和整体动作质量上的偏好率分别为 61.1%、67.7% 和 71.3%；相对 T2M+MP，内容和质量偏好率达到 82.1% 与 94.0%。

FlexMoGen用户偏好实验 — User study results (pairwise preference, % favoring ours). Left: FlexMoGen vs. T2M+MP. Middle: FlexMoGen vs. SMooDi. Right: FlexMoGen vs. LoRA-MDM. Criteria are content preservation, style reflection, and motion quality.

批判点评：风格参考本身可能同时携带动作内容，编码器是否真正解耦仍难完全证明。用户研究规模较小，长序列测试只含一次风格过渡；快速连续切换、接触物理和手部细节还需要更严格评测。

4. Decoupled SF：流式数字人15.4FPS且延迟1.3秒

Decoupled Self-Forcing Distillation for Streaming Talking Head Generation | Yanru An 等 | arXiv:2609.10317

关键词：说话人视频,流式生成,自强制蒸馏,动作潜变量

前序问题：端到端音频驱动视频扩散把音频条件融合到整幅视频潜变量，而身份、背景和外观大多与音频无关，既浪费容量也容易模糊细节。便宜的两阶段方法先生成动作，再渲染视频，却常因动作空间监督不足而损失画质。
本文贡献：该方法先在与身份解耦的低维动作空间里融合音频和动作字幕，由小型因果自回归 Transformer 生成动作潜变量，再交给预训练扩散渲染器。解耦自强制蒸馏用同一个冻结视频教师监督两条流：有动作条件时蒸馏因果渲染器，无条件时以真实视频给渲染回滚打分，反向约束动作生成器。

解耦自强制流式数字人生成框架 — Overview of Motar. (a) An AR motion transformer models causal dependencies over motion latents, with an efficient diffusion head producing continuous-valued latents; a user-written motion caption and the driving audio are fused into a global condition query by a Q-Former projector. (b) Hierarchical conditioning: the global query is injected by full cross-attention for coarse, sequence-level control, while raw audio embeddings are injected by windowed cross-attention for frame-level lip articulation. (c) Decoupled self-forcing distillation: the frozen bidirectional teacher $G$ supervises both branches by distribution matching. Conditioned on motion, it distills $G$ into a block-causal student $G_\phi$; unconditionally, it matches the rendered motion rollout against the distribution of real talking videos.

实验效果：动作生成与视频渲染两条因果流并行运行，论文报告达到 15.4 FPS、首段延迟 1.3 秒，并称相对非流式教师没有质量退化。

流式数字人音画同步定性对比 — Qualitative comparison with Wan-based end-to-end methods. For each result we show five frames with the spoken word beneath; the phoneme being articulated is highlighted in red (e.g. the “oo” in “look”), so that lip shape can be checked against the sound at each frame. Our method produces the tightest audio--lip alignment and the sharpest facial detail.

批判点评：动作空间没有天然的双向教师，论文借渲染结果间接监督，效果会受动作表示和渲染器上限共同影响。身份解耦在极端表情、遮挡与头部大幅运动下是否成立，以及跨语言口型和长时间漂移，仍需更大规模验证。

5. Miles v0.1：744B模型异步RL跑上64张GB300

Miles v0.1: Production-Level Post-Training | RadixArk | arXiv:2609.08368

关键词：大模型后训练,强化学习,SGLang,分布式训练

前序问题：前沿模型的强化学习已经包含多轮工具调用、超长回滚和异步环境，生成、训练与权重同步任一环节的不一致都会让 on-policy 假设失效；现有框架往往只覆盖某种后端或缺少生产级可观测性。
本文贡献：Miles 以 SGLang 负责回滚，训练端可选 Megatron-LM 或 PyTorch FSDP，并提供点对点、共享桶和磁盘增量等三类权重同步路径。系统统一支持全参数与 LoRA 强化学习、on-policy 蒸馏、SFT、真正的 rollout—training 对齐，并把同一架构扩展到扩散模型。

Miles大模型强化学习全栈架构

实验效果：端到端案例在 64 张 NVIDIA GB300 上对 GLM-5.2 744B-A40B 做终端编码任务的全异步智能体强化学习，前 30 个统计步骤的中位耗时为 263 秒。项目已开源代码与部署文档。

GLM-5.2异步强化学习实验结果图

批判点评：64 张 GB300 的案例展示了规模上限，也意味着复现门槛很高。异步回滚会带来策略陈旧度、环境版本和样本重放偏差，系统提供校正机制，但不同任务下的稳定边界仍需独立验证。

6. VI-Bench：反推视频提示词最高仅得0.632

VI-Bench: Benchmarking Prompt Inversion from AIGC Videos | 中国科学院自动化研究所、弗吉尼亚大学、新加坡国立大学等 | arXiv:2609.08079

关键词：视频理解,提示词反演,生成评测,多模态模型

前序问题：视频描述只需说出画面内容，能够复现的提示词还要恢复风格、镜头运动和多镜头结构。现有视频理解基准没有测试“反推提示词后重新生成，能否回到原视频”，也难评估提示泄露风险。
本文贡献：VI-Bench 从 1610 万条真实用户提示中清洗出约 390 万条，构建 900 个经人工核验的 AIGC 视频，覆盖单镜头语义、风格与镜头控制、多镜头组合三档难度。它让 18 个视觉语言模型反推提示，再用原生成器回放，并联合原提示对齐与回放视频保真计算 Inversion Score。

VI-Bench数据构成与评测框架图

实验效果：最强模型的总体 Inversion Score 只有 0.632；难度从单镜头升到多镜头后表现明显下降。主题与风格的“文本看似正确、回放却不像”差距最大，说明视频字幕能力不能替代可执行的生成控制恢复。

VI-Bench提示理解与回放实验结果图

批判点评：提示反演同时涉及创作复用与隐私攻击，分数更高并非在所有场景都更好。基准把开放式提示压成五个维度，仍可能漏掉负面提示、采样器与种子等无法从画面稳定恢复的控制因素。

7. RelightFormer：9万物体训练多视角直接换光

RelightFormer: Feed-forward Generative Transformer for Multiview Object Relighting | 香港理工大学 | arXiv:2609.07414

关键词：图像重光照,多视角生成,生成Transformer,环境光照

前序问题：逆渲染要从图像分解几何、材质和光照，是高度欠定的优化问题；单图生成式重光照又忽略跨视角线索，难以在镜面、透明和毛发材质上保持一致。
本文贡献：RelightFormer 从视频基础模型改造出前馈生成 Transformer，用光照交叉注意力把目标环境贴图动态注入空间特征，并用对输入顺序不敏感的位置编码对称处理无序多视角。训练数据 LOD 包含 9 万个 Objaverse 物体与 3.9 万种独特光照，不显式估计法线、反照率等内在属性。

RelightFormer多视角重光照架构 — Architecture of RelightFormer. Input modalities (noise, reference images, and an environment map) are first patchified into token sequences, with ray embeddings added to encode stereo geometric priors. Noise and reference tokens are concatenated and processed through two parallel attention pathways: a multi-view self-attention module for intra- and cross-view feature aggregation, and an illumination attention module that dynamically injects lighting cues into spatial features. The outputs of both branches are element-wise summed and passed through an FFN. After the final layer, reference tokens are discarded, and the updated noise tokens are used to predict the flow-matching velocity field. For clarity, VAE encoding and decoding stages are omitted.

实验效果：在真实 OLATverse 材质分组上，RelightFormer 在多数类别取得最高前景指标；例如金属物体 sPSNR/PSNR 为 22.84/19.88，毛发物体为 17.75/14.28，并支持单视角、多视角和新视角的零样本重光照。

RelightFormer真实物体重光照对比 — Qualitative results for multi-view image relighting in real-world OLATverse Dataset.

批判点评：绕过显式物理分解提升了易用性，却也降低了光照与材质参数的可解释性。9 万合成物体的材质分布与真实拍摄存在域差，复杂遮挡、非刚体和未知相机标定下的多视角一致性仍是风险。

8. AV-SafetyBench：只看视频会漏掉近半音画风险

AV-SafetyBench: A Safety Benchmark for Text-to-Audio-Video Generation | Suah Choi 等 | arXiv:2609.06991

关键词：音视频生成,安全评测,跨模态风险,生成基准

前序问题：文字到音视频模型同时生成画面、语音、音效和环境声，危险内容可能只藏在音轨，或由无害画面与无害声音组合后产生。只评视频或只评音频会系统性漏检。
本文贡献：AV-SafetyBench 建立四个轴、13 类风险的分类体系与 5200 条人工复核提示，分别从完整音画、仅视频、仅音频三种视角判定输出，再把完整音画风险归因到视频、音频、双模态各自危险或跨模态组合危险。
实验效果：五个开源音视频生成模型的完整音画不安全率为 25.1% 至 49.4%。在四个模型中，音频独有与音画联合风险占可归因不安全样本的 41.6% 至 48.3%；跨模态伤害类别中，87.5% 来自音画组合后才出现的风险。
批判点评：风险比例依赖提示集分布、生成拒答策略和裁判阈值，不应直接解释成真实产品事故率。基准主要覆盖公开模型与英语语境，多语言语音、方言暗示和长时叙事风险仍可能不足。

9. Concept Brittleness：用稀疏特征定位生图概念盲点

Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models | 复旦大学、深圳大学等 | arXiv:2609.09909

关键词：文生图,可解释性,稀疏自编码器,推理时修复

前序问题：同一风格或属性在大多数对象上能生成，却会对少数对象稳定失败。这类“对象依赖的概念脆弱性”不是换随机种子就能解释，也难从原始去噪特征中定位缺失了哪一条概念证据。
本文贡献：作者把逐步去噪轨迹投到稀疏自编码器空间，对比成功与失败样本，寻找缺失、变弱或出现过晚的概念维度，并从同类成功样本建立概念原型。推理时把失败样本的特征轻量插值到原型方向，用修复效果反证诊断是否抓住了真实缺口。
实验效果：跨多个扩散骨干的风格与属性失败案例中，原型插值显著改善概念一致性、文本保真和修复成功率。分析还显示越深层的去噪表示概念结构越清晰，而越早期介入通常有更强纠正作用。
批判点评：方法先要收集可靠的同类成功样本来构造原型，对长尾概念或没有清晰成功对照的情况较弱。SAE 的稀疏特征并不天然等于人类可读因果概念，插值改善结果也不能完全排除其他相关方向共同起作用。

10. SignRefine：局部适配器把手语手部精度提高30%

SignRefine: Adapting Foundational Video Models for Sign Language Generation | 萨里大学 | arXiv:2609.08496

关键词：手语生成,视频扩散,局部适配器,关键点控制

前序问题：通用视频扩散模型主要在口语人物视频上训练，能生成自然人物，却经常把手指、嘴形和眉眼做错；对手语而言，这些小区域正承载语言信息，画质好但动作错仍不可理解。
本文贡献：SignRefine 冻结预训练视频 DiT 主干，只为左手、右手和脸部分别加入带空间掩码的局部适配器，把高分辨率区域条件注入指定 Transformer 层。系统只需二维关键点与一张人物参考图，并使用原生手语视频数据集 NVSign 训练区域控制。
实验效果：相对最强基线，SignRefine 的手部姿态精度指标最高提升 30%；手语用户在视觉质量与可理解性成对比较中超过 80% 的情况下选择 SignRefine。模型还展示了跨人物外观与视觉条件的泛化。
批判点评：二维关键点没有完整编码手形、接触关系和非手部语法，生成可理解性仍取决于关键点质量。当前数据的语言种类、地区变体和签署者覆盖决定了泛化边界，必须持续由聋人社群参与评测。

趋势观察

视频效率开始补齐全局结构

RoLA在90%稀疏下保留旋转位置全局分支，Mask Forcing则从训练分布侧减少自回滚模式坍塌；速度优化正在从少算注意力扩展到稳定学生分布。

条件控制向低维与局部区域收缩

Decoupled SF把音频先落到动作潜变量，SignRefine只强化手脸区域，说明让条件作用于真正相关的表示比全图注入更节省容量。

生成评测进入可回放和跨模态阶段

VI-Bench要求反推提示后重新生成，AV-SafetyBench同时检查画面、音轨及其组合；只看文本相似或单一模态已不足以评价生成系统。

基础设施成为算法可信度的一部分

Miles把回滚、训练和权重同步放在同一套可验证系统里，提醒大规模后训练的算法结论必须连同 on-policy 对齐与运行拓扑一起审查。

人工智能炼丹君整理 | 2026-09-10

更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」

每日更新 · 论文精选 · 深度解读 · 技术脉络

微信搜索 人工智能炼丹君 或扫描下方二维码关注

扫码关注「人工智能炼丹君」

0

版权属于：人工智能炼丹君

本文链接： https://jefxiong.cn/index.php/archives/aigc-daily-papers-20260910.html

作品采用：《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 》许可协议授权

相关推荐

AIGC 每日速读|2026-10-05|NeurIPS省七成token保孔洞SILSA

AIGC 每日速读|2026-10-05|NeurIPS省七成token保孔洞SILSA

AIGC 基本功|扩散模型的跨步缓存复用-DiffCache

AIGC 基本功|扩散模型的跨步缓存复用-DiffCache

AIGC 每日推送目录

AIGC 基本功知识树

评论 (0)

取消

粤ICP备2021042327号