人工智能炼丹师 - AIGC论文速读 - generation
type: channel
link: https://jefxiong.cn/index.php/tag/generation/
items: AIGC 每日速读|2026-04-22|Memorize When Needed: De…[M…
items: AIGC 每日速读|2026-04-22|一步生成到投机解码-视频加速多路并进
items: AIGC 每日速读|2026-04-22|解耦记忆控制长视频一致性-MemWN
items: AIGC 每日速读|2026-04-21|Qwen3.5-Omni全模态215项SOTA
items: AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路

AIGC 每日速读|2026-04-22|Memorize When Needed: De…[M…
type: item
date: 2026-04-22T17:38:04+08:00
description: 今日核心看点 解耦记忆长视频 MemWN 一步文本生成 EMF 投机解码加速 2.09x 多事件视频+33.5% 编辑 RLHF 后训练 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 视频生成（4篇）：长视频空间一致性 MemWN、多事件生成 TS-Attn、人体视频 ReImagine、视频到音乐 Video-Robin 推理加速（3篇）：投机解码 SDVG、稀疏注意力聚类 AdaCluster、Patch 级自适应采样 Patch Forcing 图像生成与编辑（3篇）：一步文本生成 EMF、人类偏好编辑 HP-Edit、扩散引导检测 DGSSM 含 CVPR 2026 接收，多篇开源代码，覆盖视频/图像/音频三大生成方向 今日论文速览 1. MemWN：提出解耦记忆控制框架 MemWN Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation | Wuhan University | arXiv:2604.18215 关键词： 长视频生成·空间一致性·解耦记忆·相机轨迹·按需记忆 前序工作问题： 现有长视频生成方法将记忆建模与生成过程耦合，导致场景重访时空间一致性差，相机运动下物体位置和外观不连贯。 贡献： 提出解耦记忆控制框架 MemWN，将记忆建模与视频生成分离。混合记忆表示捕获时间+空间双重线索，逐帧交叉注意力精准注入记忆，相机感知门控智能判断何时使用记忆。 效果： 在长视频生成基准上取得 SOTA，场景重访空间一致性大幅提升，训练成本显著降低。 2. EMF：首次将 MeanFlow 框架从类别标签扩展到文本条件 EMF: Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation | Nankai University, Alibaba AMAP-ML | arXiv:2604.18168 关键词： 一步生成·MeanFlow·文本条件·LLM编码器·图像合成 前序工作问题： MeanFlow 等一步生成框架仅支持类别标签条件，无法处理开放文本描述；直接套用文本编码器会因特征区分度不足导致生成质量骤降。 贡献： 首次将 MeanFlow 框架从类别标签扩展到文本条件，实现高效的一步文本到图像生成。揭示了 MeanFlow 少步生成中文本特征需要高区分度的关键洞察，开发了基于 LLM 文本编码器的解决方案。 效果： 在 MeanFlow 框架下首次实现文本条件的一步图像生成，同时在扩散模型上也展示了显著的生成性能提升。代码已开源。 3. TS-Attn：提出免训练的时间可分离注意力机制（TS-Attn） TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation | PKU, ZJU, Nankai, MIT, NJU, UCSB | arXiv:2604.19473 关键词： 多事件视频·免训练·时间注意力·Wan2.1·即插即用 前序工作问题： 多事件视频生成中，全局时间注意力导致不同事件的动作特征相互干扰，造成动作保真度与时间连贯性难以兼顾。 贡献： 提出免训练的时间可分离注意力机制（TS-Attn），解决多事件视频生成中动作保真度与时间一致性的固有矛盾。可即插即用到 Wan2.1-T2V-14B 等预训练模型中。 效果： 在 Wan2.1-T2V-14B 上 StoryEval-Bench 提升 33.5%，在 Wan2.2-T2V-A14B 上提升 16.4%，推理开销仅 +2%。代码已开源。 4. SDVG：首次将投机解码引入自回归视频扩散模型加速 Speculative Decoding for Autoregressive Video Generation | Independent Research | arXiv:2604.17397 关键词： 投机解码·自回归视频·加速推理·ImageReward·免训练 前序工作问题： 自回归视频扩散模型逐帧生成速度极慢，LLM 领域成熟的投机解码策略尚未被引入视频生成场景。 贡献： 首次将投机解码引入自回归视频扩散模型加速。用 1.3B 小模型起草候选块，ImageReward 路由器以最差帧评分筛选，实现免训练、无需架构修改的视频生成加速。 效果： 在 MovieGenVideoBench 上，保持 98.1% 质量实现 1.59× 加速，或…

AIGC 每日速读|2026-04-22|一步生成到投机解码-视频加速多路并进
type: item
date: 2026-04-22T13:16:07+08:00
description: 今日核心看点 解耦记忆长视频 MemWN 一步文本生成 EMF 投机解码加速 2.09x 多事件视频+33.5% 编辑 RLHF 后训练 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 视频生成（4篇）：长视频空间一致性 MemWN、多事件生成 TS-Attn、人体视频 ReImagine、视频到音乐 Video-Robin 推理加速（3篇）：投机解码 SDVG、稀疏注意力聚类 AdaCluster、Patch 级自适应采样 Patch Forcing 图像生成与编辑（3篇）：一步文本生成 EMF、人类偏好编辑 HP-Edit、扩散引导检测 DGSSM 含 CVPR 2026 接收，多篇开源代码，覆盖视频/图像/音频三大生成方向 今日论文速览 1. MemWN：提出解耦记忆控制框架 MemWN Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation | Wuhan University | arXiv:2604.18215 关键词： 长视频生成·空间一致性·解耦记忆·相机轨迹·按需记忆 贡献： 提出解耦记忆控制框架 MemWN，将记忆建模与视频生成分离。混合记忆表示捕获时间+空间双重线索，逐帧交叉注意力精准注入记忆，相机感知门控智能判断何时使用记忆。 效果： 在长视频生成基准上取得 SOTA，场景重访空间一致性大幅提升，训练成本显著降低。 2. EMF：首次将 MeanFlow 框架从类别标签扩展到文本条件 EMF: Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation | Nankai University, Alibaba AMAP-ML | arXiv:2604.18168 关键词： 一步生成·MeanFlow·文本条件·LLM编码器·图像合成 贡献： 首次将 MeanFlow 框架从类别标签扩展到文本条件，实现高效的一步文本到图像生成。揭示了 MeanFlow 少步生成中文本特征需要高区分度的关键洞察，开发了基于 LLM 文本编码器的解决方案。 效果： 在 MeanFlow 框架下首次实现文本条件的一步图像生成，同时在扩散模型上也展示了显著的生成性能提升。代码已开源。 3. TS-Attn：提出免训练的时间可分离注意力机制（TS-Attn） TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation | PKU, ZJU, Nankai, MIT, NJU, UCSB | arXiv:2604.19473 关键词： 多事件视频·免训练·时间注意力·Wan2.1·即插即用 贡献： 提出免训练的时间可分离注意力机制（TS-Attn），解决多事件视频生成中动作保真度与时间一致性的固有矛盾。可即插即用到 Wan2.1-T2V-14B 等预训练模型中。 效果： 在 Wan2.1-T2V-14B 上 StoryEval-Bench 提升 33.5%，在 Wan2.2-T2V-A14B 上提升 16.4%，推理开销仅 +2%。代码已开源。 4. SDVG：首次将投机解码引入自回归视频扩散模型加速 Speculative Decoding for Autoregressive Video Generation | Independent Research | arXiv:2604.17397 关键词： 投机解码·自回归视频·加速推理·ImageReward·免训练 贡献： 首次将投机解码引入自回归视频扩散模型加速。用 1.3B 小模型起草候选块，ImageReward 路由器以最差帧评分筛选，实现免训练、无需架构修改的视频生成加速。 效果： 在 MovieGenVideoBench 上，保持 98.1% 质量实现 1.59× 加速，或 2.09× 加速保持 95.7% 质量，始终比纯 Draft 高 >17%。 5. ReImagine：提出先图像后视频的人体视频生成范式 ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis | CUHK(SZ), SSE, FNii | arXiv:2604.18300 关键词： 人体视频·SMPL-X·图像先验·视角控制·免训练精炼 贡献： 提…

AIGC 每日速读|2026-04-22|解耦记忆控制长视频一致性-MemWN
type: item
date: 2026-04-22T12:12:54+08:00
description: 今日核心看点 解耦记忆控制 长视频空间一致性新范式 一步图像生成 MeanFlow扩展到文本条件 投机解码首次用于视频生成加速 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 视频生成（4篇）：长视频空间一致性、多事件生成、人体视频、视频到音乐 推理加速（3篇）：投机解码、稀疏注意力聚类、Patch级自适应采样 图像生成与编辑（3篇）：一步文本生成、人类偏好编辑、扩散引导检测 含多篇开源代码，覆盖视频/图像/音频三大生成方向 重点论文深度解读 1. Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation 解耦记忆控制——用轻量级独立记忆分支实现空间一致性长视频生成 | HKPU, ByteDance | arXiv:2604.18215 关键词： 长视频生成, 空间一致性, 解耦记忆, 相机轨迹 研究动机 核心问题： 长视频生成中场景重访的空间不一致问题 沿预定义相机轨迹生成空间一致的长视频是当前视频生成领域的重要挑战。现有方法大多将记忆建模与视频生成耦合在一起，导致场景重访时出现内容不一致，而在探索新区域时生成能力下降。即使在大规模标注数据上训练，这些问题仍然存在。因此，亟需一种能同时保持空间一致性和新场景生成能力的新框架。 前序工作及局限： WorldDreamer (2024)：无法保持场景重访时的空间一致性 SEVA (2025)：记忆与生成耦合导致新场景生成能力下降 DFoT (2025)：全局记忆注入干扰了不相关区域的生成 AC3D (2025)：训练数据需求大，仍存在重访不一致问题 与前序工作的本质区别： 将记忆与生成彻底解耦，用轻量独立分支和门控机制实现按需记忆 方法原理 提出解耦框架，将记忆条件与生成过程分离。核心设计包括三个组件： 混合记忆表示（Hybrid Memory Representation）：从已生成帧中捕获互补的时间与空间线索，构建丰富的历史信息表示。 逐帧交叉注意力（Per-Frame Cross-Attention）：确保每一帧仅基于与其空间最相关的历史信息进行条件生成，精准注入记忆到生成模型中。 相机感知门控机制（Camera-Aware Gating）：在生成新场景时，动态调节记忆模块与生成模块的交互，仅当存在有意义的历史参考时才启用记忆条件，避免无用记忆干扰新区域的探索。 轻量级独立记忆分支从生成过程中学习精确的空间一致性，训练成本大幅降低。 核心创新 首次将记忆条件与视频生成彻底解耦，用独立的轻量记忆分支替代耦合建模 混合记忆表示捕获时间+空间双重线索，比单一表示更全面 相机感知门控机制（Camera-Aware Gating）智能判断何时使用记忆、何时自由生成 高数据效率：相比现有方法在训练数据需求上大幅减少 实验结果 在长视频生成基准上取得 SOTA 表现：视觉质量和空间一致性均优于现有方法。相比耦合式方法，训练成本显著降低，同时在新场景探索和已见场景重访两方面均表现出色。 图表详解 概念对比图：解耦记忆控制 vs. 耦合式框架 图示展示三种框架对比：(a) 标准预训练视频生成模型无记忆能力，(b) 现有方法将记忆与生成耦合导致一致性问题，(c) 本文解耦框架用独立记忆分支实现按需记忆。右侧对比了两种方法在场景重访时的一致性表现。 解耦框架完整架构：混合记忆 + 交叉注意力 + 相机感知门控 完整方法架构图：左上角输入之前生成的帧和相机位姿，通过 FOV 引导检索和编码器生成混合记忆表示。记忆控制分支通过逐帧交叉注意力机制让每帧仅关注最相关的历史信息，相机感知门控决定是否注入到预训练 DiT 视频生成模型中。 与多种方法的视觉对比：前向探索 + 回访一致性 Visual comparison. Our method generates clearly structured staircases in unseen regions (pink boxes) and faithfully reproduces fine-grained details such as the two chairs when revisiting the original scene (red boxes). 与 WorldPlay、VMem、SEVA、DFoT、AC3D 五种方法的详细视觉对比。在前向旋转探索阶段所有方法都能生成合理内容，但在回访已见场景时本文方法保持了精确的空间一致性。 批判性点评 新颖性： 解耦记忆+门控的设计理念新颖，Camera-Aware Gating 是关键创新点 可复现性…

AIGC 每日速读|2026-04-21|Qwen3.5-Omni全模态215项SOTA
type: item
date: 2026-04-21T14:43:11+08:00
description: 今日核心看点 全模态215项SOTA(Qwen3.5-Omni) 音视频联合生成(Seedance 2.0) ImageNet生成新纪录(GRN) 灵活视频Token化(VideoFlexTok) 推理式奖励模型(RationalRewards) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 全模态理解与生成一体化: 3篇 (Qwen3.5-Omni, Audio-Omni, Seedance 2.0) 图像生成与风格迁移: 2篇 (GRN, MAST) 视频生成推理加速: 2篇 (PASA, EfficientVideoDiffusion综述) 视频Token化与高效表示: 1篇 (VideoFlexTok) 视觉生成评测与奖励模型: 1篇 (RationalRewards) 矢量动画生成: 1篇 (LottieGPT) 重点论文深度解读 1. Qwen3.5-Omni 通义千问新旗舰——百亿参数全模态理解与生成一体化，215项评测SOTA | Alibaba | arXiv:2604.15804 关键词： 全模态模型, 生成理解一体化, Thinker-Talker, TMRoPE, 音视频交互, MoE, SOTA 研究动机 核心问题： 如何在单一模型中同时实现文本/图像/视频/音频的顶级理解与生成能力 现有多模态大模型通常在某些模态上表现优异但在其他模态上性能退化，难以做到'全能不偏科'。以往的全模态模型要么理解强但生成弱，要么文本强但语音弱。Qwen团队希望构建一个真正统一的端到端模型，同时实现所有模态的顶级理解与生成能力，特别是实时流式语音交互——这对于下一代人机交互至关重要。前代Qwen2.5-Omni虽然开创了Thinker-Talker架构，但在模型规模和多模态推理深度上仍有提升空间。Qwen3.5-Omni将模型规模扩展到百亿参数级别，并在训练方法论上做出重大改进。 前序工作及局限： GPT-4o：开创端到端全模态交互，但闭源且细节未公开 Gemini Pro系列：Google全模态模型，多模态理解强但音频生成相对弱 Qwen2.5-Omni：首创Thinker-Talker架构，但模型规模和性能有提升空间 Mixtral MoE：MoE在语言模型中的成功应用，启发了多模态场景的专家设计 与前序工作的本质区别： 首个在所有模态上同时达到SOTA且无偏科的全模态模型，TMRoPE时间对齐和MoE理解/生成分离是关键创新 方法原理 Qwen3.5-Omni采用Thinker-Talker双核架构设计： (1) Thinker模块（大脑）：接收文本、图像、视频、音频等多模态输入，使用统一的Transformer编码器处理所有模态。视觉编码器和音频编码器均采用分块处理(block-wise)策略实现实时流式输入。输出高层语义表征和对应文本内容。引入MoE混合专家机制，为理解和生成任务分配独立专家组。 (2) Talker模块（发声器官）：以流式方式接收Thinker实时输出的语义表征和文本token，流畅合成离散语音单元(speech tokens)，再通过解码器转换为自然语音波形。整个过程是端到端的，延迟极低。 (3) TMRoPE位置编码：创新性地在RoPE基础上引入时间对齐机制，使视频帧和音频片段在同一时间轴上精准对齐。这对于理解音视频同步内容（如带字幕的视频、会议录音配PPT）至关重要。 (4) 三阶段预训练：第一阶段视觉与音频编码器独立训练；第二阶段联合全参数训练与多模态整合；第三阶段长序列数据训练提升理解能力。后训练阶段对Thinker和Talker分别进行SFT和DPO优化。 (5) 模型系列包含Base和Plus两个版本，Plus版本进一步增大参数量和训练数据。 核心创新 提出Qwen3.5-Omni，新一代全模态大模型，首次在文本/图像/视频/音频四模态理解与生成中同时达到SOTA 采用Thinker-Talker双核架构：Thinker负责多模态推理生成高层语义表征，Talker以流式方式合成自然语音 提出TMRoPE(Time-aligned Multimodal RoPE)位置编码，通过时间轴对齐实现音视频输入精准同步 引入MoE混合专家设计，在推理和生成各自使用独立专家组，避免能力冲突 Qwen3.5-Omni-Plus在215项音频和音视频理解/推理/交互子任务上达到SOTA，超越Gemini-3.1 Pro 支持256K超长上下文窗口，113种语言识别，完全实时的音视频交互 实验结果 Qwen3.5-Omni-Plus性能亮点： 音频理解：在215项音频和音视频理解/推理/交互子任务和基准上达到SOTA，在关键音频任务上超越Gem…

AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路
type: item
date: 2026-04-12T15:59:00+08:00
description: AIGC 周末专题深度解读：多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致 人工智能炼丹师 整理 | 2026年4月12日（周日） 覆盖时间：2023年8月 — 2026年4月（含经典评测与 2025–2026 方法爆发期） 本期概述 本期 AIGC 周末专题聚焦多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致方向，精选 8 篇代表性论文进行深度解读。 方向分布： 整体式双向生成: 1篇 — HoloCine (CVPR 2026) 自回归 next-shot: 3篇 — OneStory (CVPR 2026), ShotStream, StoryMem 电影级转场控制: 1篇 — CineTrans (ICLR 2026) 故事板锚定: 1篇 — STAGE (CVPR 2026) 世界一致+多主体过渡: 1篇 — InfinityStory 人像垂直场景: 1篇 — EchoShot (NeurIPS 2025) 其余参考: 19篇（含 ShotAdapter CVPR'25, Mask²DiT CVPR'25, Gloria CVPR'26, Spatia CVPR'26, SkyReels-V2, MSVBench 等） 含 CVPR 2026 × 4 篇 (HoloCine, OneStory, STAGE, + 其余 Gloria/Spatia)；ICLR 2026 × 1 篇 (CineTrans)；NeurIPS 2025 × 1 篇 (EchoShot)；CVPR 2025 × 2 篇 (ShotAdapter, Mask²DiT) 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 HoloCine HKUST / Ant Group / ZJU / CUHK / NTU 首个分钟级整体式多镜头生成框架 2510.20822 2 OneStory Meta AI / University of Copenhagen Frame Selection 模块选取语义最相关历史帧构建全局记忆 2512.07802 3 ShotStream CUHK MMLab / Kuaishou Technology 首个因果流式多镜头生成系统——亚秒延迟、16 FPS 2603.25746 4 CineTrans 复旦大学 / 上海人工智能实验室 首次揭示扩散模型注意力图与镜头转场的对应关系 2508.11484 5 STAGE 北京理工大学 / 北京大学 将关键帧范式重新建模为首尾帧对预测（STEP2） 2512.12372 6 StoryMem ByteDance Intelligent Creation / NTU S-Lab M2V 范式：关键帧记忆经 3D VAE 编码后与噪声潜变量拼接 2512.19539 7 InfinityStory Adobe Research / Virginia Tech / Dolby Labs / UMD / Cisco 等 位置锚定背景一致性：预生成场所参考图并在生成时注入 2603.03646 8 EchoShot 西安交通大学 / 阿里云 Shot-aware RoPE：TcRoPE 保持跨镜头时间连续性建模身份关联 + TaRoPE 分配独立时间起点防止内 2506.15838 1. HoloCine：整体式生成电影级多镜头长叙事——Window Cross-Attention + Sparse Inter-Shot Self-Attention 论文: HoloCine arXiv: 2510.20822 机构: HKUST / Ant Group / ZJU / CUHK / NTU 1.1 研究动机 核心问题： 单镜头 T2V 无法生成跨镜头连贯的叙事长视频 解耦范式（先关键帧再插值/逐镜头独立拼接）难以保证全局一致，整体式生成有望从根本上解决跨镜头连贯性。 前序工作及局限： 单镜头 T2V：Wan2.2, HunyuanVideo 拼接/级联方案：VideoStudio, MovieFactory 与前序工作的本质区别： HoloCine 整体式生成所有镜头，Window Cross-Attn + Sparse Inter-Shot SA 保证全局一致 1.2 方法原理 The architecture of our holistic generation pipeline, where all shot latents are processed jointly. The Window Cross-Attention provides precise directorial control by aligning each …