人工智能炼丹君 - 扩散模型
type: channel
link: https://jefxiong.cn/index.php/tag/扩散模型/
items: AIGC 每日速读|2026-05-21|智能编辑成统一模型通用任务Uni-Edit
items: AIGC 周末专题|2026-05-17|实时自回归视频生成加速
items: AIGC 每日速读|2026-05-15|实时视频2步出帧Causal Forcing++

AIGC 每日速读|2026-05-21|智能编辑成统一模型通用任务Uni-Edit
type: item
date: 2026-05-21T13:24:56+08:00
description: 今日 AIGC 论文速览 今日共 13 篇 · 统一多模态与图像编辑 2 篇 · 视频生成与编辑 5 篇 · 高效推理与稀疏注意力 3 篇 · 安全与可控生成 2 篇 · 图像复原与评测 2 篇 重点论文标题列表 Uni-Edit：智能编辑成为统一模型唯一训练任务 FullFlow：只训LoRA把T2I升级成双向多模态 ⚡ DVG：时空联合自适应HunyuanVideo提速7倍 BA-Att：块预降采样稀疏注意力提速7倍 FlowLong：滑窗加流形约束推理期出长视频 今日论文速览 1. Uni-Edit：智能编辑成为统一模型唯一训练任务 Uni-Edit: Intelligent Editing Is A General Task For Unified Model Tuning | CUHK MMLab | arXiv:2605.21487 关键词：UMM 统一多模态·智能图像编辑·通用任务·BAGEL·Janus-Pro ⚠️ 前序问题：统一多模态模型（UMM，理解+生成+编辑三件事一起做）当前主要靠混合多任务训练。但任务之间天生冲突，逼出了复杂的多阶段 pipeline、海量数据混合和各种平衡 trick——结果只是性能折中而非真正互相增强 本文贡献：提出 Uni-Edit：智能图像编辑作为 UMM tuning 的「第一个通用任务」。一个任务、一个训练阶段、一个数据集就能同时提升理解/生成/编辑三种能力。为此构建首个自动化可扩展智能编辑数据合成 pipeline：把多样 VQA 数据转化为带嵌入问题和嵌套逻辑的复杂编辑指令，得到 Uni-Edit-148k 数据集（reasoning-intensive 指令 + 高质量编辑图像） 实验效果：BAGEL 与 Janus-Pro 上仅用 Uni-Edit 单任务训练即获得三种能力的全面增强，无需任何辅助操作；模型/数据/代码已开源在 HuggingFace 和 GitHub 批判点评：「编辑作为通用任务」的洞察是范式级——编辑天生需要「理解 + 生成」两件事，这是其作为通用任务的根本理由；但 Uni-Edit-148k 是 VQA 数据合成的，复杂场景下指令质量上限仍受 VQA 数据集决定；BAGEL/Janus-Pro 之外能否泛化到更多 UMM（OmniGen/UniGen）需要后续验证 2. FullFlow：只训LoRA把T2I升级成双向多模态 FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision-Language Generation | ETH Zürich, Google Zurich | arXiv:2605.20316 关键词：统一多模态·LoRA 升级·Rectified Flow·双向生成·参数高效 ⚠️ 前序问题：现代 T2I 扩散模型有强视觉先验，但只暴露在单向 text→image 生成。从 T2I 衍生的统一视觉语言模型要么靠大规模联合预训练，要么大幅重训文本通路——两者都浪费了 T2I backbone 已经学到的强图像先验 本文贡献：提出 FullFlow 参数高效配方：只训 LoRA 适配器和轻量 text head 就把预训练的 rectified-flow T2I 模型升级成双向 vision-language 生成器。图像保持原生连续 flow，文本走离散 insertion 过程；图像/文本独立 timestep 让推理变成「二维生成空间」中的轨迹选择，单 backbone 同时支持 text→image / image→text / 联合采样 / partial-text 预测 实验效果：在 SD3 上同等可训参数和 LoRA rank 下，T2I FID 62.7 → 31.6，I2T CIDEr 2.0 → 99.4（远超之前 SOTA Dual Diffusion）；峰值 VRAM 从 ~84GB 降到 ~38GB，吞吐 8×（双 RTX A5000 训 24h，仅训 ~5% backbone 参数）；同样配方迁移到 FLUX.1-dev 并支持 partial-text 做下游 VQA 批判点评：5% 参数开销实现双向多模态是非常高 ROI 的工程贡献——把扩散视觉先验「升级 vs 重建」拉到了正确选择；但 image→text CIDEr 99.4 vs Dual Diffusion 2.0 的对比量级悬殊，可能反映 baseline 设置问题；与原生统一模型（BAGEL/Janus）的端到端能力对比缺失 3. DVG：时空联合自适应HunyuanVideo提速7倍 Dynamic Video Generati…

AIGC 周末专题|2026-05-17|实时自回归视频生成加速
type: item
date: 2026-05-16T16:14:40+08:00
description: AIGC 周末专题深度解读：实时自回归视频生成：从蒸馏加速到流式交互的范式突破 人工智能炼丹君 整理 | 2026年5月17日（周日） 覆盖时间：2026-05-11 ~ 2026-05-16 本期概述 本期 AIGC 周末专题聚焦实时自回归视频生成：从蒸馏加速到流式交互的范式突破方向，精选 8 篇代表性论文进行深度解读。 方向分布： 自回归蒸馏加速 4 篇 (Causal Forcing++, AnyFlow, RAVEN, CDM) 流式推理与 KV Cache 优化 3 篇 (Forcing-KV, SWIFT, HSA) 世界模型与多镜头叙事 2 篇 (SANA-WM, CausalCine) 含 NVIDIA/MIT 联合 × 2 技术路线与时间线 基础蒸馏时代（2022.06 — 2024.06） 描述：Progressive Distillation 开创渐进蒸馏路线，Consistency Models 提出端点一致性映射，少步生成从理论走向实践。 关键节点： 2022.06：Progressive Distillation：渐进蒸馏开山作 2023.03：Consistency Models：一步生成理论突破 2023.12：DMD/DMD2：分布匹配蒸馏 2024.06：SD-Turbo/SDXL-Turbo：1-4 步商用 因果 AR 蒸馏兴起（2024.06 — 2025.12） 描述：Self Forcing 开创 AR 视频蒸馏范式，Causal Forcing 将 chunk-wise 4 步推向可用，流式视频生成原型出现。 关键节点： 2024.09：Self Forcing：AR 视频蒸馏开创 2025.02：Causal Forcing：chunk-wise 4 步实用 2025.06：Genie3：action-conditioned 世界模型 2025.12：LongLive：长视频流式生成 实时化爆发期（2026.01 — 2026.05） 描述：Frame-wise 蒸馏、KV Cache 压缩、无训练加速三线并进，实时交互式视频生成从实验室走向产品。 关键节点： 2026.03：CDM：连续时间分布匹配突破离散瓶颈 2026.05：Causal Forcing++：frame-wise 2 步实时 2026.05：AnyFlow：Flow Map 恢复步数可扩展性 2026.05：Forcing-KV/SWIFT：单卡 20-29 FPS 世界模型与叙事融合（2026.03 — 未来） 描述：实时 AR 视频生成与世界模型、多镜头叙事融合，从'生成画面'走向'仿真世界'。 关键节点： 2026.05：SANA-WM：消费级 GPU 分钟级世界模型 2026.05：CausalCine：多镜头叙事 AR 生成 未来：实时世界仿真 + 用户交互式导演 1. Causal Forcing++：因果一致性蒸馏实现 Frame-wise 2 步实时视频生成：清华 TSAIL 将因果 AR 蒸馏从 chunk-wise 4 步推进到 frame-wise 2 步，首帧延迟降低 50% 论文: Causal Forcing++：因果一致性蒸馏实现 Frame-wise 2 步实时视频生成 arXiv: 2605.15141 机构: Tsinghua TSAIL, 生数科技 (Shengshu) 1.1 研究动机 核心问题： Frame-wise AR 蒸馏的初始化策略与少步目标错位 实时交互式视频生成需要低延迟、流式、可控的 rollout。Causal Forcing 等先驱已经证明 chunk-wise 4 步蒸馏的可行性，但 chunk 粒度过粗——每生成 16 帧需 4 步 DiT forward pass，首帧延迟仍以秒计。如果能做到 frame-wise 1-2 步，每帧只需 1-2 次 forward pass，延迟可再降一个量级。问题是：现有蒸馏初始化策略要么目标错位、要么不能少步生成、要么算力大到无法 scale。 前序工作及局限： Causal Forcing：Chunk-wise 4 步成功但延迟仍高 Consistency Models：提供一致性蒸馏理论基础 与前序工作的本质区别： Causal CD 只需一次教师 ODE 步在线监督，三阶段初始化解决冷启动 1.2 方法原理 Causal Forcing++ 解决的核心问题是：如何在 frame-wise 粒度做高效的因果 AR 蒸馏？关键观察：Causal Consistency Distillation 学的流图与 Causal ODE 蒸馏完全等价，但训练信号更简洁——只需教师模型做一步 ODE 更新，学生学习匹…

AIGC 每日速读|2026-05-15|实时视频2步出帧Causal Forcing++
type: item
date: 2026-05-15T13:04:25+08:00
description: 今日 AIGC 论文速览 今日共 8 篇 · 实时 AR 视频与世界模型 3 篇 · 相机控制与视频生成 2 篇 · 图像编辑持续学习 1 篇 · 扩散模型 RL 后训练 1 篇 · 视频世界模型评测 1 篇 重点论文标题列表 Causal Forcing++：因果一致性蒸馏 Warp-as-History：把相机引起的形变直接转化为「相机扭曲 ACE-LoRA：动态正则化框架 RefDecoder：参考条件视频 VAE decoder DiffusionOPD：多任务训练范式 今日论文速览 1. Causal Forcing++：因果一致性蒸馏 Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation | 清华 TSAIL, 生数科技 | arXiv:2605.15141 关键词：少步AR视频·因果一致性蒸馏·实时交互生成·世界模型·Genie3 前序问题：实时交互式视频生成需要低延迟、流式、可控的 rollout。现有自回归扩散蒸馏在 chunk-wise 4 步取得了不错效果，但 chunk 粒度过粗、采样延迟仍然不可忽略；当尝试更激进的 frame-wise 1-2 步时，少步 AR 学生的初始化策略要么目标错位、要么不能少步生成、要么算力代价大到无法 scale 本文贡献：提出 Causal Forcing++ 因果一致性蒸馏（Causal CD）流水线：核心观察是 Causal CD 学习与 Causal ODE 蒸馏相同的 AR-条件流图，但只需在相邻时间步之间用一次教师 ODE 步在线提供监督，无需预先计算并存储完整 PF-ODE 轨迹——既高效又易优化；进一步把流水线扩展到 Genie3 风格的 action-conditioned 世界模型 实验效果：在 frame-wise 2 步设定下，全面超越 SOTA 4 步 chunk-wise Causal Forcing：VBench Total +0.1、VBench Quality +0.3、VisionReward +0.335，同时首帧延迟降低 50%、Stage 2 训练成本降至约 1/4 批判点评：把蒸馏从 chunk-wise 4 步推进到 frame-wise 2 步，是实时交互式视频生成可用性上的关键一步——把瓶颈识别为「初始化」是非常贴切的诊断；但 1-2 步生成对教师 ODE 误差的放大效应、以及在更复杂 action 条件下的稳定性还需更多压力测试 2. Warp-as-History：把相机引起的形变直接转化为「相机扭曲 Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video | 上海交大, 上海 AI Lab | arXiv:2605.15182 关键词：相机控制·视频生成·零样本·伪历史·LoRA 微调 前序问题：相机可控视频生成已经很成熟，但现有方法普遍需要在大规模带相机标注的视频上做后训练（额外的 camera encoder、控制分支、注意力/位置编码改造）；training-free 方案则把代价转嫁到测试时优化或 denoising 时的额外 guidance，依然不便宜 本文贡献：提出 Warp-as-History：把相机引起的形变直接转化为「相机扭曲后的伪历史」，在 frozen 视频生成模型自带的「视觉历史」通路中喂进去——目标帧位置编码对齐、剔除没有有效观测来源的 token，无需训练或架构改动即可零样本服从相机轨迹；可选用一段相机标注视频做轻量 LoRA 微调进一步提升泛化能力 实验效果：在多个数据集上的实验显示：完全 training-free 即可让冻结视频生成模型获得不平凡的相机轨迹跟随能力；只用「一段」相机标注视频做 LoRA 微调，即可在未见视频上同时改善相机贴合度、画质与运动动态 批判点评：把相机可控问题视作「历史 warp」是一个非常优雅的视角，几乎不增加任何训练成本；但 zero-shot 能力依赖底模的「视觉历史」通路是否足够强，没有该通路的扩散视频模型迁移性可能受限；另外极端轨迹下的孔洞填充质量值得关注 3. ACE-LoRA：动态正则化框架 ACE-LoRA: Adaptive Orthogonal Decoupling for Continual Image Editing | 上海交大, vivo AI Lab | arXiv:2605.14948 关键词：持续学习·图像编辑·LoRA·正…