人工智能炼丹师 - AIGC论文速读 - 人工智能炼丹师
type: channel
link: https://jefxiong.cn/index.php/author/1/
description: 人工智能炼丹师
items: AIGC论文速读|2026-05-05|纯视觉流统一生成颠覆文本管线，1D-Token端到端FI…
items: AIGC论文速读|20260504|4步打败40步!AdvDMD蒸馏加速刷新SD3.5
items: AIGC 周末专题|2026-05-02|稀疏注意力让视频生成快18倍
items: AIGC 周末专题|2026-04-25|视频编辑评测方法全景：从传统指标到 Reward Mo…
items: AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路
items: AIGC 周末专题|2026-04-11|音视频联合生成与编辑前沿进展: 开源Seedance2的进阶之路
items: AIGC 周末专题|2026-04-05|语音合成与音频生成前沿
items: AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
items: AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化
items: AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
items: AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
items: AIGC 周末专题深度解读：生成与理解的大一统之路

AIGC论文速读|2026-05-05|纯视觉流统一生成颠覆文本管线，1D-Token端到端FI…
type: item
date: 2026-05-05T08:12:52+08:00
description: 今日核心看点 纯视觉流统一生成(FlowInOne) 端到端自回归FID 1.48(1D-Token) 隐空间压缩加速视频(LC-VAE) 两步跳跃Flow对齐(LeapAlign) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 统一多模态生成 2 篇 (FlowInOne, UniVidX) 自回归图像生成与预训练 2 篇 (1D-Tokenizer, GenLIP) 推理加速 2 篇 (LC-VAE, DepthVAR) 后训练对齐 2 篇 (LeapAlign, PostTrain) 音视频生成与评测 2 篇 (Talker-T2AV, MOSAIC) 今日论文速览 1. FlowInOne: Unifying Multimodal Generation as Image-In, Image-Out Flow Matching FlowInOne：纯视觉流统一多模态生成，消除跨模态对齐瓶颈 | Microsoft Research Asia | arXiv:2604.06757 关键词： 统一生成·流匹配·视觉提示·Image-In-Out·VisPrompt-5M 前序工作问题： 多模态生成长期被文本管线主导，语言驱动视觉但无法在视觉空间内推理创作，跨模态对齐与任务特定分支增加系统复杂度 贡献： 将所有模态（文本、布局、编辑指令）统一编码为视觉提示，用单一流匹配模型实现 Image-In Image-Out 管线，消除噪声调度和跨模态对齐，配套 VisPrompt-5M 数据集与 VP-Bench 基准 效果： 在文生图、布局引导编辑、视觉指令跟随等任务上全面超越开源模型和商业系统，建立视觉原生统一生成新范式 批判点评： 纯视觉流假设对高度抽象语义（如否定逻辑、数量推理）的编码能力有限；5M 数据集构建成本高且任务覆盖均匀性待验证 2. UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors UniVidX：统一多模态视频生成框架，不足千条视频实现全向条件生成 | NJU / SIGGRAPH 2026 | arXiv:2605.00658 关键词： 视频生成·统一框架·随机掩码·门控LoRA·跨模态注意力 前序工作问题： 现有方法为每种模态组合训练独立模型，固定输入输出映射且忽略跨模态关联 贡献： 提出随机条件掩码 SCM、解耦门控 LoRA DGL 和跨模态自注意力 CMSA 三大设计，用不到 1000 条视频训练出支持 RGB/内秉图/RGBA 分层的全向条件生成 效果： 在深度/法线/反照率估计和视频分层任务上达到 SOTA，成功泛化到野外场景，被 SIGGRAPH 2026 接收 批判点评： 训练数据仅千条视频，复杂动态场景的泛化鲁棒性存疑；多模态同时生成的质量-一致性权衡未深入分析 3. End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer 端到端训练 1D 语义 Tokenizer，FID 1.48 刷新自回归生图 SOTA | ByteDance Seed / ICML 2026 Spotlight | arXiv:2605.00503 关键词： 自回归生图·1D Tokenizer·端到端·视觉基础模型·FID 1.48 前序工作问题： 两阶段方法先训 Tokenizer 再训生成器，生成信号无法反馈到 Tokenizer，重建与生成目标脱节 贡献： 设计端到端管线联合优化 Tokenizer 与生成器，利用视觉基础模型提升 1D Tokenizer 语义表达能力，实现重建-生成信号直通 效果： ImageNet 256x256 无 guidance 达到 FID 1.48（SOTA），被 ICML 2026 选为 Spotlight 批判点评： 端到端训练需同步两个大模型，显存和训练稳定性要求高；仅在 ImageNet class-conditional 验证，开放域文生图能力未展示 4. GenLIP: Generative Language-Image Pre-training for Vision Transformers GenLIP：ViT直接预测语言Token，极简生成式视觉预训练 | ByteDance | arXiv:2605.00809 关键词： 视觉预训练·生成式·ViT·语言建模·多模态 前序工作问题： 现有视觉预训练依赖对比学习的大批量构建或额外文本解码器，架构复杂且难以扩展 贡献： 让 ViT 用标准语言建模目标直接从视觉 T…

AIGC论文速读|20260504|4步打败40步!AdvDMD蒸馏加速刷新SD3.5
type: item
date: 2026-05-04T08:13:48+08:00
description: 今日核心看点 AdvDMD 4步超40步蒸馏 Edit-R1 验证器奖励模型 PhyCo 物理可控视频 AesRM 美学奖励模型 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇。 方向分布： 推理加速与蒸馏 2 篇 (AdvDMD, YOSE) 奖励模型与强化学习 2 篇 (Edit-R1, AesRM) 视频生成与编辑 3 篇 (PhyCo, TAVR, ExoActor) 训练方法与评估 2 篇 (RFL, Visual Gen Survey) 多模态一体化 1 篇 (Nemotron 3) 今日论文速览 1. AdvDMD: Adversarial Reward Meets DMD for Few-Step Generation AdvDMD：对抗奖励融合蒸馏实现高质量少步生成 | Unknown | arXiv:2604.28126 关键词： 蒸馏加速·DMD·对抗奖励·少步生成·SD3.5 前序工作问题： 扩散模型蒸馏加速方法将 DMD 与 RL 简单拼接，两种优化目标相互干扰导致训练不稳定且加速倍率有限 贡献： 将 DMD2 的对抗判别器直接复用为 RL 奖励模型，通过统一 SDE 反向模拟对中间态和终态联合监督，实现 DMD 与 RL 的无缝融合 效果： 4 步 AdvDMD 在 SD3.5 上 DPG-Bench 超越原模型 40 步表现；2 步版本在 Qwen-Image 上超越 TwinFlow 批判点评： 对抗判别器随蒸馏模型在线更新增加训练复杂度；在极端 1 步生成场景下质量衰减幅度未报告 2. Edit-R1: Leveraging Verifier-Based RL in Image Editing Edit-R1：验证器驱动强化学习提升图像编辑 | ByteDance Seed | arXiv:2604.27505 关键词： 图像编辑·奖励模型·CoT验证器·GRPO·FLUX 前序工作问题： 图像编辑缺乏可靠通用奖励模型，现有模型仅给整体评分无法逐条验证编辑指令是否满足 贡献： 提出推理奖励模型 RRM，通过 CoT 将指令拆分为独立原则逐条验证并聚合为细粒度可解释奖励，用 GCPO+GRPO 两阶段训练 效果： Edit-RRM 超越 Seed-1.5-VL/1.6-VL 等强 VLM 作为编辑奖励模型；3B→7B 清晰涨点；赋能 FLUX.1-kontext 编辑器 批判点评： CoT 推理链增加奖励计算成本，实际部署中每次编辑需额外 VLM 推理；仅在 FLUX 上验证泛化性有限 3. AesRM: Improving Video Aesthetics with Expert-Level Feedback AesRM：专家级美学反馈提升视频生成质量 | Unknown | arXiv:2604.28078 关键词： 视频美学·奖励模型·分层评测·CoT推理·Wan2.2 前序工作问题： 视频生成评估过度关注保真度而忽视电影级美学（构图、光影、色彩和谐），缺乏系统化美学评价体系 贡献： 构建 3 维 15 细项美学评分体系与约 2500 对专家标注数据集 AesVideo-Bench，训练 AesRM-Base 和 AesRM-CoT 两版奖励模型 效果： 在多个美学基准上超越基线，位置偏差更低更鲁棒；成功对齐 Wan2.2 视频生成模型的美学输出 批判点评： 2500 视频对规模偏小可能限制泛化；美学本质上主观性强，专家标注的跨文化一致性未讨论 4. Representation Fréchet Loss for Visual Generation RFL：表征空间 Fréchet 距离作为训练损失提升生成质量 | Unknown | arXiv:2604.28190 关键词： FD损失·表征空间·一步生成·蒸馏替代·ImageNet 前序工作问题： Fréchet 距离一直仅用于评估而非训练，因为其需要大规模样本估计群体统计量与小批量梯度计算矛盾 贡献： 解耦 FD 估计所需群体规模（50k）与梯度计算批量（1024），提出 FD-loss 使 Fréchet 距离可直接作为训练目标 效果： ImageNet 256x256 上一步生成器达 0.72 FID；无需教师蒸馏或对抗训练即可将多步模型转化为强一步生成器 批判点评： FD-loss 对表征空间选择敏感，不同表征可能导致矛盾优化方向；维护 50k 统计量的内存开销在高分辨率场景未讨论 5. YOSE: Essential Token Selection for DiT-based Video Object Removal YOSE：按需选择关键 Token 加速 DiT 视频去物 | CVPR 2026 | …

AIGC 周末专题|2026-05-02|稀疏注意力让视频生成快18倍
type: item
date: 2026-05-02T11:11:00+08:00
description: 引言：为什么视频生成需要稀疏注意力？ 视频扩散 Transformer（Video DiT）普遍采用 3D 全注意力，让每个 token 与数十万其他 token 交互。以 HunyuanVideo 生成 5 秒 720P 视频为例，总推理 945 秒中注意力运算占 800 秒（84.7%），O(N²) 复杂度是提速的首要瓶颈。但好消息是：视频 DiT 的注意力图天然高度稀疏——视频的时空冗余（相邻帧相似、空间局部相关）使大部分 token 对的注意力权重趋近于零，真正重要的交互集中在时间邻近帧、空间局部区域和少量全局"锚点"上。此外，扩散早期步偏全局、后期步偏局部的时间步依赖性进一步增加了可利用空间。需要注意的是，"注意力加速"和"端到端加速"是不同指标——注意力占 85%，即使加速 10x，端到端上限约 6-7x（受限于 FFN/归一化/VAE 解码等不可压缩层）。 本专题系统梳理过去一年（2025.5—2026.4）的 24 篇核心工作（深度 10 篇 + 速览 14 篇），涵盖 ICLR 2026 Oral、NeurIPS 2025、AAAI 2026、ICCV 2025、ICML 2025、CVPR 2025 等顶会成果，覆盖稀疏+线性融合（SLA/SLA2/SALAD）、免训练稀疏（SVG-EAR/CalibAtt/AdaSpa）、结构化稀疏（Sparse-vDiT/VMonarch）、可训练/AR 稀疏（VSA/Light Forcing）、滑动窗口与训练加速（STA/BSA/NABLA/SSTA）等完整技术路线。 核心技术趋势 1. 从免训练到可训练，从推理到全程——免训练方法天花板约 2x，轻量微调突破至 2-5x，全程可训练（VSA/BSA）实现训练+推理双加速。三条路线并行发展。 2. 稀疏+线性融合成为最优范式——SLA（ICLR 2026 Oral）确立"大权重稀疏+小权重线性"的分工，SLA2 推至 18.6x，SALAD 用门控轻量化。理论完备且工程可落地。 3. 注意力图的结构化利用——Sparse-vDiT 识别三种 Pattern、VMonarch 用 Monarch 矩阵、CalibAtt 发现跨输入稳定性。理解注意力内在结构是设计关键。 4. AR 视频扩散带来新挑战——Light Forcing 和 TempCache 面向自回归视频扩散定制稀疏方案，因果注意力稀疏化将成新热点。 5. 多方法叠加走向实时部署——STA 滑动窗口 + 稀疏注意力天然正交，SSTA（HunyuanVideo 1.5）已工业落地。EasyCache+SVG 达 3x+，NABLA+STA 可叠加，未来推理栈是多技术"加速全家桶"。 下面先梳理技术演进时间线，再按重要度逐篇解读。 技术路线与时间线 基础探索（2024.6–2025.2） 描述：稀疏注意力的技术积累来自 LLM 领域。FlashAttention 系列建立了高效注意力计算的工程基准；StreamingLLM、H2O、Quest 等工作验证了 KV 缓存稀疏化和 token 剪枝在自回归模型中的可行性。2024 年下半年，随着 Wan、HunyuanVideo 等视频 DiT 模型的出现，研究者开始将这些技术迁移到视频生成场景，并发现 3D 全注意力中存在比 LLM 更强的稀疏结构。 关键节点： 2024.6–2024.12：FlashAttention-3 发布，LLM 稀疏注意力（StreamingLLM / H2O / Quest）成熟 2025.1–2025.2：视频 DiT 稀疏性被系统发现，开启从 LLM 到视频生成的技术迁移 免训练加速（2025.2–2025.5） 描述：Sparse VideoGen 系列开创免训练框架，系统性利用 3D 全注意力天然稀疏性实现视频 DiT 推理加速。 关键节点： 2025.2：Sparse VideoGen(SVG)：首个系统性免训练稀疏注意力加速框架 2025.5：Sparse VideoGen2(SVG2)：语义聚类驱动的稀疏模式发现 可训练突破（2025.5–2025.9） 描述：VSA 首次证明可训练稀疏注意力可在预训练阶段全程替代全注意力，实现训练+推理双加速。 关键节点： 2025.5：VSA（NeurIPS 2025）：训练+推理全程稀疏注意力的里程碑 融合范式确立（2025.9–2026.1） 描述：SLA（ICLR 2026 Oral）确立"大权重稀疏+小权重线性"的融合范式，SALAD 和 VMonarch 从不同角度验证稀疏+线性混合设计。 关键节点： 2025.9：SLA（ICLR 2026 Oral）：稀疏-线性注意力融合，13.7x 注意力加速 2026.1：SALA…

AIGC 周末专题|2026-04-25|视频编辑评测方法全景：从传统指标到 Reward Mo…
type: item
date: 2026-04-25T13:29:00+08:00
description: AIGC 周末专题深度解读：视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁 人工智能炼丹君 整理 | 2026年4月25日（周六） 覆盖时间：2024年8月 — 2026年4月（涵盖 AAAI/WACV/ICLR/ICCV 2025-2026 评测基准爆发期） 本期概述 本期 AIGC 周末专题聚焦视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁方向，精选 7 篇代表性论文进行深度解读。 方向分布： 评测基准设计 3 篇（VEFX-Bench、IVEBench、VEditBench） 自动评估指标 2 篇（FiVE-Bench、SST-EM） Reward Model 2 篇（EditReward、VEFX-Reward） 技术路线与时间线 1. 传统指标时代（2018-2023） 描述：依赖手工设计的指标（CLIP-Score、LPIPS、FVD），与人类感知相关性低，无法捕捉编辑任务的语义一致性。 关键节点： 2018：LPIPS 提出，感知相似度指标 2019：FVD 提出，基于 I3D 特征的视频质量评估 2021：CLIP-Score 成为图像-文本相似度标准 2. 通用视频基准崛起（2024 年初） 描述：通用视频生成评测基准出现，覆盖多个维度，但尚未针对编辑任务设计。 关键节点： 2024：VBench 发布（CVPR 2024），16 维度视频生成评测 2024：VideoScore 发布（EMNLP 2024），视频质量评估模型 3. 编辑专用评测爆发（2024 下半年） 描述：针对视频/图像编辑任务设计的评测基准集中涌现，覆盖多维度、多任务、多编辑类型。 关键节点： 2024.08：I2EBench 发布（NeurIPS 2024），图像编辑 16 维度评测 2024.09：EditBoard 发布（AAAI 2025），视频编辑综合评测基准 2024.10：VE-Bench 发布，首个视频编辑专用 VQA 数据集 2024.11：FiVE-Bench 发布，细粒度视频编辑评测 4. Reward Model 范式确立（2025-2026） 描述：从手工指标和通用 VLM 评审，演进到编辑专用 Reward Model，人类相关性大幅提升（SRCC 从 0.214 提升到 0.780）。 关键节点： 2025：EditReward 发布，200K 偏好对训练 Reward Model 2026.04：VEFX-Bench 发布，三维解耦 + 序数回归 Reward Model（SRCC=0.780） 5. 未来方向（2026+） 描述：多模态 Reward Model、测试时计算缩放、标准化竞赛平台是三大重点方向，评测将与训练深度融合（RLHF/DPO）。 关键节点： 2026+：多模态 Reward Model（视频+音频+字幕联合评估） 2026+：测试时计算缩放（Reward-guided iterative refinement） 2026+：跨系统可复现的标准化竞赛平台（类似 ImageNet Challenge） 1. VEFX-Bench：5049 样本 + 三维解耦标注 + 序数回归 Reward Model——迄今最全面的视频编辑评测体系 论文: VEFX-Bench arXiv: 2604.16272 机构: 未披露（2026 年 4 月最新工作） 1.1 研究动机 核心问题： 视频编辑模型缺乏统一评测标准，不同论文使用不同指标和数据集导致结论不可比 现有评测数据集规模小、缺少编辑输出或人工质量标签，通用 VLM 评审器未针对编辑质量优化，导致无法公正对比不同编辑系统。 前序工作及局限： CLIP-Score (Hessel et al. 2021)：图像-文本相似度指标，广泛但粗粒度 LPIPS (Zhang et al. 2018)：感知相似度指标，仅衡量像素级差异 FVD (Unterthiner et al. 2019)：视频生成质量指标，基于 I3D 特征 VBench (Huang et al. 2024)：视频生成综合基准，CVPR 2024，16 维度但不针对编辑 与前序工作的本质区别： 从单一指标到多维度评测框架，从通用视频质量到编辑特异性评估（指令遵循+编辑排他性+渲染质量三维解耦） 1.2 方法原理 数据集：5049 个视频编辑样本，9 大类（相机角度/实例运动/数量/相机运动/属性/创意/实例/视觉特效/风格）32 子类，每个样本由 3 个解耦维度独立标注（4 分制）。Reward Model：基于 Qwen3-VL-Instruct（4B/32B），联合处理原始视频+编辑指令+编辑视频，3 个可学习特殊 toke…

AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路
type: item
date: 2026-04-12T15:59:00+08:00
description: AIGC 周末专题深度解读：多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致 人工智能炼丹师 整理 | 2026年4月12日（周日） 覆盖时间：2023年8月 — 2026年4月（含经典评测与 2025–2026 方法爆发期） 本期概述 本期 AIGC 周末专题聚焦多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致方向，精选 8 篇代表性论文进行深度解读。 方向分布： 整体式双向生成: 1篇 — HoloCine (CVPR 2026) 自回归 next-shot: 3篇 — OneStory (CVPR 2026), ShotStream, StoryMem 电影级转场控制: 1篇 — CineTrans (ICLR 2026) 故事板锚定: 1篇 — STAGE (CVPR 2026) 世界一致+多主体过渡: 1篇 — InfinityStory 人像垂直场景: 1篇 — EchoShot (NeurIPS 2025) 其余参考: 19篇（含 ShotAdapter CVPR'25, Mask²DiT CVPR'25, Gloria CVPR'26, Spatia CVPR'26, SkyReels-V2, MSVBench 等） 含 CVPR 2026 × 4 篇 (HoloCine, OneStory, STAGE, + 其余 Gloria/Spatia)；ICLR 2026 × 1 篇 (CineTrans)；NeurIPS 2025 × 1 篇 (EchoShot)；CVPR 2025 × 2 篇 (ShotAdapter, Mask²DiT) 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 HoloCine HKUST / Ant Group / ZJU / CUHK / NTU 首个分钟级整体式多镜头生成框架 2510.20822 2 OneStory Meta AI / University of Copenhagen Frame Selection 模块选取语义最相关历史帧构建全局记忆 2512.07802 3 ShotStream CUHK MMLab / Kuaishou Technology 首个因果流式多镜头生成系统——亚秒延迟、16 FPS 2603.25746 4 CineTrans 复旦大学 / 上海人工智能实验室 首次揭示扩散模型注意力图与镜头转场的对应关系 2508.11484 5 STAGE 北京理工大学 / 北京大学 将关键帧范式重新建模为首尾帧对预测（STEP2） 2512.12372 6 StoryMem ByteDance Intelligent Creation / NTU S-Lab M2V 范式：关键帧记忆经 3D VAE 编码后与噪声潜变量拼接 2512.19539 7 InfinityStory Adobe Research / Virginia Tech / Dolby Labs / UMD / Cisco 等 位置锚定背景一致性：预生成场所参考图并在生成时注入 2603.03646 8 EchoShot 西安交通大学 / 阿里云 Shot-aware RoPE：TcRoPE 保持跨镜头时间连续性建模身份关联 + TaRoPE 分配独立时间起点防止内 2506.15838 1. HoloCine：整体式生成电影级多镜头长叙事——Window Cross-Attention + Sparse Inter-Shot Self-Attention 论文: HoloCine arXiv: 2510.20822 机构: HKUST / Ant Group / ZJU / CUHK / NTU 1.1 研究动机 核心问题： 单镜头 T2V 无法生成跨镜头连贯的叙事长视频 解耦范式（先关键帧再插值/逐镜头独立拼接）难以保证全局一致，整体式生成有望从根本上解决跨镜头连贯性。 前序工作及局限： 单镜头 T2V：Wan2.2, HunyuanVideo 拼接/级联方案：VideoStudio, MovieFactory 与前序工作的本质区别： HoloCine 整体式生成所有镜头，Window Cross-Attn + Sparse Inter-Shot SA 保证全局一致 1.2 方法原理 The architecture of our holistic generation pipeline, where all shot latents are processed jointly. The Window Cross-Attention provides precise directorial control by aligning each …

AIGC 周末专题|2026-04-11|音视频联合生成与编辑前沿进展: 开源Seedance2的进阶之路
type: item
date: 2026-04-11T15:30:00+08:00
description: AIGC 周末专题深度解读：音视频联合生成与编辑前沿进展 人工智能炼丹师 整理 | 2026年4月11日（周六） 本期概述 本期 AIGC 周末专题聚焦音视频联合生成与编辑前沿进展方向，精选 8 篇代表性论文进行深度解读。 方向分布： 联合音视频生成: 4篇 — MOVA, JavisDiT++, OmniForcing, CCL V2A/音频生成: 3篇 — FoleyDirector(CVPR 2026), OmniSonic(CVPR 2026), FoleyDesigner 个性化: 1篇 — Identity as Presence 其余工作: 12篇 — 涵盖音视频定制、空间音频、音乐驱动编辑、评测基准等 含 CVPR 2026 × 2 篇, ICLR 2026 × 1 篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 MOVA 上海 AI Lab, OpenMOSS 首个全面开源的可扩展联合音视频生成系统 2602.08794 2 JavisDiT++ Rochester, 上海科技大学 系统性地将人类偏好优化引入联合音视频生成 2602.19163 3 OmniForcing 基于LTX-2蒸馏 首个实时联合音视频流式生成系统，单GPU约25 FPS 2603.11647 4 CCL SenseTime 首次系统分析双流联合生成框架的三个核心技术瓶颈 2603.18600 5 Identity as Presence 首个同时支持面部外观和声音音色联合个性化的音视频生成系统 2603.17889 6 FoleyDirector 首个在DiT基V2A上实现精确时序引导的方法 2603.19857 7 OmniSonic 首次在统一框架中覆盖三类视频音频（屏内环境音/屏外环境音/人类语音） 2604.04348 8 FoleyDesigner Shanghai University, University of Surrey 首个电影级立体声拟音自动生成系统 2604.05731 1. MOVA：开源可扩展的同步视频-音频联合生成系统——渐进式双流DiT训练管线 论文: MOVA arXiv: 2602.08794 机构: 上海 AI Lab, OpenMOSS 1.1 研究动机 核心问题： 级联音视频生成管线导致成本增加、错误累积、质量下降 音频是真实世界视频不可或缺的部分，但现有生成模型大多忽略音频。级联管线（先视频后音频）带来成本增加、错误累积、质量下降三大问题。Veo 3和Sora 2虽展示了同步生成的价值，但闭源特性阻碍了学术推进。MOVA旨在构建开源的、可扩展的联合音视频生成系统。 前序工作及局限： CoDi / NExT-GPT：早期多模态生成尝试 Veo 3 / Sora 2：商业系统展示联合生成价值但闭源 与前序工作的本质区别： MOVA采用双流DiT+渐进式三阶段训练，构建首个全面开源的联合音视频生成系统 1.2 方法原理 Model Structure Overview. MOVA couples an A14B video DiT backbone and a 1.3B audio DiT backbone via a 2.6B bidirectional Bridge module. MOVA采用双流DiT架构： (1) 独立模态流+跨模态交互：视频流和音频流分别基于预训练模型初始化，通过跨模态注意力层在每个Transformer块中建立音视频对齐。 (2) 渐进式训练策略：阶段一冻结主干仅训练跨模态注意力层，阶段二全模型联合微调，阶段三高质量数据精调。 (3) 大规模数据管线：自动化音视频配对数据清洗，多维度质量过滤。 1.3 核心创新 首个全面开源的可扩展联合音视频生成系统 采用双流DiT架构，独立模态流+跨模态注意力交互 渐进式三阶段训练策略缓解多模态联合训练的稳定性问题 大规模音视频配对数据清洗管线支撑高质量生成 1.4 实验结果 Ablation study on human preference. 在音视频同步性、音频质量、视频质量等多维度达到开源SOTA 与Veo 3等商业系统在部分指标上具有竞争力 代码和模型全面开源 1.5 关键洞察 优势：系统工程完整，开源贡献大；渐进式训练有效。局限：双流架构的跨模态对齐存在固有上限；数据规模仍不及商业系统。 技术演进定位： 开源联合音视频生成的技术基线 可能的后续方向： 双流→单流架构演进 更大规模数据与模型 2. JavisDiT++：统一建模与人类偏好对齐——联合音视频生成的系统性优化 论文: JavisDiT++ arXiv: 2602.19163 机构: Rochester, 上海科技大学 2.1 研究动机 核…

AIGC 周末专题|2026-04-05|语音合成与音频生成前沿
type: item
date: 2026-04-05T08:40:00+08:00
description: AIGC 周末专题深度解读：语音合成与音频生成前沿：从编解码器语言模型到扩散 TTS、音效生成与指令驱动语音设计 人工智能炼丹师 整理 | 2026年4月5日（周日） 覆盖时间：2026年3月29日 — 2026年4月5日 本期概述 本期 AIGC 周末专题聚焦语音合成与音频生成前沿：从编解码器语言模型到扩散 TTS、音效生成与指令驱动语音设计方向，精选 6 篇代表性论文进行深度解读。 方向分布： 语音合成（TTS）— 4篇 音效生成（T2A/V2A）— 1篇 语音设计（Voice Design）— 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 Voxtral TTS Mistral AI 提出 Voxtral TTS 混合架构：自回归语义 token 建模 + 流匹配声学 token 生成，兼顾语义连贯性和 2603.25551 2 LongCat-AudioDiT Meituan 在波形潜空间（而非频谱或 token 空间）进行扩散 TTS，保留完整音频信息 2603.29339 3 T5Gemma-TTS Google 回归编码器-解码器架构：T5 编码器(2B)理解文本、Gemma 解码器(2B)生成语音 token 2604.01760 4 Woosh Sony AI 构建完整音效基础模型：音频编解码器 + 文本-音频对齐 + T2A 生成 + V2A 生成 2604.01929 5 MOSS-VoiceGenerator Fudan University 指令驱动语音生成：自然语言描述控制语音风格、情感和表达方式 2603.28086 6 Prosody-Aware TTS Independent Research 多阶段预训练：MLM 预训练 + SigLIP 跨模态对比学习 2604.01247 1. Voxtral TTS：混合自回归与流匹配的高质量语音合成系统 论文: Voxtral TTS arXiv: 2603.25551 机构: Mistral AI 1.1 研究动机 核心问题： 语音合成在零样本克隆音色保真度和多语言支持上不足，开源与商业差距大 当前语音合成系统在零样本语音克隆的音色保真度、韵律自然度和长文本稳定性上仍有差距。商业系统如 ElevenLabs 领先，开源社区需要更强大的基座模型。 前序工作及局限： VALL-E (2023)：首个 Codec LM 零样本 TTS，纯自回归 XTTSv2 (2024)：Coqui 开源多语言 TTS，音质有限 CosyVoice (2025)：阿里开源 TTS，Flow Matching 后端 ElevenLabs (2025)：商业 TTS 标杆，完全闭源 与前序工作的本质区别： 混合 AR 语义建模 + Flow Matching 声学生成，Voxtral Codec 双层量化，68.4% 胜率超越 ElevenLabs 1.2 方法原理 Voxtral TTS 的核心是两阶段生成管线。第一阶段使用自回归 Transformer 预测语义 token 序列，这些语义 token 由 Voxtral Codec 的 VQ 层提取，编码语音的语言内容和韵律模式。第二阶段使用条件流匹配模型以语义 token 为条件生成声学 token，FSQ 层编码精细的音色纹理。Voxtral Codec 是关键创新：编码器将音频压缩为双层表示（VQ 语义层 + FSQ 声学层），解码器从两层 token 重建高保真音频。 1.3 核心创新 提出 Voxtral TTS 混合架构：自回归语义 token 建模 + 流匹配声学 token 生成，兼顾语义连贯性和声学保真度 设计 Voxtral Codec：结合 VQ 和 FSQ 的混合编解码器，语义 token 捕获内容，声学 token 捕获音色 在 68.4% 的人类偏好评测中胜过 ElevenLabs Flash v2.5 支持多语言多说话人零样本克隆，CC BY-NC 开源 1.4 实验结果 MOS 达 4.32 分，A/B 测试中以 68.4% 胜率超过 ElevenLabs Flash v2.5。零样本音色相似度 0.891，支持英法德西等多种语言。 1.5 关键洞察 CC BY-NC 限制商业应用。两阶段推理增加延迟。与 ElevenLabs Turbo 系列未对比。训练数据未完全公开。 技术演进定位： 开源 TTS 新标杆，证明混合架构路线有效性 可能的后续方向： 低延迟流式推理 更多语言覆盖 情感控制融合 2. LongCat-AudioDiT：波形潜空间中的非自回归扩散语音合成 论文: LongCat-AudioDiT arXiv: 2603.29339 机构: Meitua…

AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
type: item
date: 2026-04-05T02:15:00+08:00
description: AIGC 周末专题深度解读：视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理 人工智能炼丹师 整理 | 2026年4月4日（周六） 覆盖时间：2026年3月29日 — 2026年4月4日 本期概述 本期 AIGC 周末专题聚焦视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理方向，精选 6 篇代表性论文进行深度解读。 方向分布： 统一视频生成框架 — 1篇 长视频生成 — 1篇 物理一致性与几何对齐 — 1篇 高效少步训练 — 1篇 多镜头流式叙事 — 1篇 角色一致性生成 — 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 OmniWeaving Tencent Hunyuan, Zhejiang University 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输 2603.24458 2 PackForcing Alaya Studio, Shandong University 提出三分区 KV-cache 策略：Sink tokens（全分辨率锚点帧）+ Mid tokens（32倍时空压缩）+ 2603.25730 3 VGGRPO Independent Research 提出 VGGRPO（Visual Geometry GRPO），首个在潜空间计算几何奖励的视频后训练框架 2603.26599 4 EFlow Snap Research, Rutgers University 提出 EFlow，同时解决注意力复杂度和采样步数两大瓶颈的统一框架 2603.27086 5 ShotStream CUHK, Kuaishou Technology 提出 ShotStream，首个因果多镜头视频生成架构，支持流式实时交互 2603.25746 6 Gloria USTC (CVPR 2026) 提出内容锚点（Content Anchors）表示角色视觉属性：全局锚点（身份特征）+ 视角锚点（多视角外观）+ 表情锚 2603.29931 1. OmniWeaving：统一视频生成：自由组合与推理驱动的全能框架 论文: OmniWeaving arXiv: 2603.24458 机构: Tencent Hunyuan, Zhejiang University 1.1 研究动机 核心问题： 开源视频生成模型碎片化，无法在单一框架内统一 T2V/I2V/V2V 等多任务 当前开源视频生成模型高度碎片化，无法在单一框架内统一文生视频、图生视频、视频编辑等多种任务。商业系统（如 Seedance-2.0）遥遥领先，开源社区急需一个全能统一方案。 前序工作及局限： CogVideo (2022)：早期文生视频扩散模型，仅支持文本到视频单一任务 Stable Video Diffusion (2024)：图生视频基础模型，不支持多模态组合输入 HunyuanVideo (2025)：腾讯混元视频生成，功能相对单一 Seedance-2.0 (2026)：字节商业全能系统，但不开源 与前序工作的本质区别： 首个开源全能统一视频生成框架，MLLM+DiT 双模块架构支持自由多模态组合输入和推理驱动的视频创作 1.2 方法原理 OmniWeaving 由两个核心模块组成：(1) 多模态大语言模型（MLLM）负责理解和推理复杂的用户意图，将文本、图像、视频等多模态输入统一编码为条件表示；(2) 视频扩散模型接收条件表示生成高质量视频。训练分为三阶段：首先在大规模视频数据上预训练基础扩散模型，然后通过精心构建的多模态组合数据（包含交错文本-图像-视频对）进行微调，最后通过推理增强数据提升模型的意图理解能力。关键创新在于训练数据构建管线：自动从海量视频中提取多模态组合场景，生成需要推理才能完成的复杂视频创作任务。 1.3 核心创新 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输入 构建大规模多模态组合与推理增强训练数据集，学习在时间维度上绑定交错的多模态输入 引入 IntelligentVBench 综合评测基准，首个面向智能统一视频生成的严格评测体系 在开源统一模型中达到 SOTA，代码和模型完全开源 1.4 实验结果 在文生视频（T2V）、图生视频（I2V）、视频到视频（V2V）等多个任务上均达到开源 SOTA。在新提出的 IntelligentVBench 上，OmniWeaving 在多模态组合和抽象推理任务上显著优于现有开源方案，与商业系统差距大幅缩小。 1.5 关键洞察 训练数据构建管线依赖大量自动化标注，数据质量可能存在噪声。Intelligen…

AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化
type: item
date: 2026-03-28T08:22:20+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-28) 人工智能炼丹师 整理 | 共 9 篇论文 | 重点深度解读 8 篇 今日核心看点 UniGRPO 统一后训练 FIRM 忠实奖励建模 EditHF-1M 29M偏好对 MV-GRPO 多视图评估 VIGOR 视频几何奖励 VHS CVPR2026 推理扩展 TATAR 不对称奖励 SeGroS 语义锚定监督 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 9 篇，重点解读 8 篇。 方向分布： 后训练框架: UniGRPO(统一多模态后训练), MV-GRPO(多视图GRPO), SeGroS(语义锚定监督) 奖励模型与评估: FIRM(编辑+生成), EditHF-1M(29M偏好对), VIGOR(视频几何), TATAR(质量+美学), VHS(潜在验证器) 重点论文深度解读 1. UniGRPO 统一策略优化实现推理驱动视觉生成 | 上海AI Lab/港中文 | Shanghai AI Lab, CUHK | arXiv:2603.23500 关键词： 统一后训练, GRPO, 推理驱动生成, Flow Matching, 交错生成 研究动机 核心问题： 统一多模态模型（自回归文本+Flow Matching图像）缺乏后训练方法 统一多模态模型正朝着交错生成（interleaved generation）发展——自回归建模文本、Flow Matching 建模图像。然而，如何对这种混合架构进行强化学习后训练？现有 GRPO 只针对单一模态，且 FlowGRPO 依赖 Classifier-Free Guidance（CFG）导致轨迹分叉，难以扩展到多轮交互场景。核心挑战是：如何在一个统一的 RL 框架中同时优化推理（文本）和生成（图像）两个阶段的策略？ 前序工作及局限： GRPO (DeepSeek 2025)：大语言模型的群体相对策略优化 FlowGRPO (2026)：将GRPO扩展到Flow Matching视觉生成 Transfusion (Meta 2024)：统一自回归+扩散的多模态架构 与前序工作的本质区别： UniGRPO首次统一优化文本推理和图像合成，消除CFG保持线性轨迹 方法原理 UniGRPO 将多模态生成建模为稀疏终端奖励的马尔可夫决策过程（MDP），联合优化文本推理和图像合成两个阶段。框架采用极简设计原则：(1) 文本推理阶段使用标准 GRPO，让模型学会扩展用户提示为详细推理链；(2) 图像合成阶段使用 FlowGRPO，在 Flow Matching 的速度场上进行策略优化。关键改进有两点：第一，消除 Classifier-Free Guidance（CFG），保持线性、未分叉的生成轨迹，这对多轮交互和多条件生成（如编辑）至关重要；第二，将标准的潜空间 KL 惩罚替换为直接作用于速度场的 MSE 惩罚，提供更鲁棒的正则化信号，有效缓解 Reward Hacking。两种模态的优化通过统一的 MDP 框架无缝集成。 核心创新 首个统一的多模态生成后训练框架：联合优化自回归文本推理和 Flow Matching 图像合成 消除 CFG 保持线性轨迹：使框架可扩展到多轮交错生成场景 速度场 MSE 正则化替代 KL 惩罚：直接在速度场空间约束策略偏移，更鲁棒地防止 Reward Hacking 极简设计原则：无缝集成标准 GRPO + FlowGRPO，避免过度工程化 为完全交错式多模态模型的后训练建立了可扩展基线 实验结果 实验表明，UniGRPO 的统一训练方案显著提高了推理驱动图像生成的质量。在标准评估基准上，文本推理质量和图像生成保真度均获得一致提升。消除 CFG 后的模型在多轮交互场景中表现更稳定，MSE 速度场正则化有效避免了训练后期的 Reward Hacking 现象。该框架为未来完全交错模型的后训练提供了鲁棒且可扩展的基线。 批判性点评 新颖性： 首次将GRPO统一应用于文本推理+图像Flow Matching的交错生成，消除CFG保持线性轨迹的设计优雅且实用。但概念上是GRPO和FlowGRPO的自然组合，原创突破性有限。 可复现性： 基于开源Janus-Pro-7B模型，论文提供了完整的算法伪代码和超参数设置。但训练使用80张H100，资源门槛较高。代码和模型权重已开源。 影响力： 为统一多模态模型的后训练建立了可扩展基线，对Chameleon、Transfusion等架构有直接参考价值。极简设计降低了社区跟进门槛。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1…

AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
type: item
date: 2026-03-22T08:32:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-22 | 视频生成与编辑前沿进展 人工智能炼丹师 整理 | 本期专题聚焦 2026 年 3 月第三周（3.15-3.22）视频生成与编辑领域的最新突破，涵盖物理一致生成、无训练编辑、高分辨率合成、推理加速、联合音视频生成等多个前沿方向。 专题概述 视频生成与编辑是当前 AIGC 领域最活跃的研究方向之一。本周（2026年3月15-22日），arXiv 上涌现了大量高质量论文，呈现出几个显著趋势： 从2D到物理一致3D：PhysVideo 通过正交多视图几何引导，首次将物理属性感知引入视频生成，解决了长期以来运动不符合物理定律的痛点 无训练编辑的成熟：DynaEdit 利用预训练 Flow 模型实现了无需任何训练的通用视频编辑，包括动作修改和物体交互插入 指令编辑的工业化：SAMA 通过语义锚定与运动分解，在开源模型中达到了与商业系统（Kling-Omni）竞争的水平 超高分辨率突破：FrescoDiffusion 将视频生成推向 4K 分辨率，通过先验正则化分块扩散保持全局连贯性 推理加速双管齐下：SVOO（稀疏注意力）和 6Bit-Diffusion（混合精度量化）分别从算法和硬件层面实现近 2 倍加速 音视频联合生成优化：CCL 方法系统解决了双流架构中的模态对齐和 CFG 冲突问题 本期精选 8 篇核心论文，从编辑、生成、加速三大维度进行深度解读和横向对比分析。 1. SAMA：分解语义锚定与运动对齐的指令引导视频编辑 论文信息 标题：SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing 作者：Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang 等（字节跳动/清华大学） arXiv：2603.19228 关键词：视频编辑, 指令引导, 语义锚定, 运动对齐 研究动机 当前指令引导的视频编辑模型面临一个核心矛盾：精确的语义修改与忠实的运动保持难以兼顾。现有方法依赖注入外部先验（VLM 特征、结构条件）来缓解这一问题，但外部先验的引入严重限制了模型的鲁棒性和泛化能力。SAMA 提出了一个根本性的解决思路——将视频编辑分解为两个正交的子任务。 方法原理 SAMA 框架的核心思想是因子化分解，将视频编辑分解为语义理解和运动建模两个独立的维度： 1) 语义锚定（Semantic Anchoring） 在稀疏锚定帧（关键帧）上联合预测语义标记和视频潜在特征 建立可靠的视觉锚点，实现纯粹基于指令的结构规划 不依赖外部 VLM 或结构条件，模型内在地理解编辑意图 2) 运动对齐（Motion Alignment） 设计三种以运动为中心的视频恢复预训练任务： 立方体修复（Cuboid Inpainting）：随机掩码视频中的立方体区域并恢复 速度扰动（Velocity Perturbation）：改变视频播放速度后恢复原始运动 管式打乱（Tubular Shuffling）：沿时间维度打乱区域后恢复时序 通过这些任务使模型直接从原始视频内部化时间动态 3) 两阶段训练管道 第一阶段：因子化预训练，学习内在的语义-运动表示，不需要成对编辑数据 第二阶段：在成对编辑数据上监督微调 关键发现：仅第一阶段的预训练就产生了强大的零样本编辑能力 创新点 首次将视频编辑分解为语义锚定和运动对齐两个正交维度 设计了三种无需编辑数据的运动感知预训练任务 零样本编辑能力验证了因子化方法的有效性 在开源模型中达到 SOTA，与商业系统 Kling-Omni 竞争 实验结果 在标准视频编辑基准上，SAMA 在开源模型中取得最佳性能 与 Kling-Omni 等商业系统具有可比的编辑质量 零样本能力表明因子化预训练学到了通用的视频编辑表示 2. DynaEdit：无训练的通用视频内容、动作与动态编辑 论文信息 标题：Versatile Editing of Video Content, Actions, and Dynamics without Training 作者：Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli（Google Research / Technion） arXiv：2603.17989 关键词：无训练编辑, Flow模型, 动作编辑, 动态事件 研究动机 尽管视频生成取得了快速进展，但在真实视频中编辑动作和动态事件——例如让一个人从走路变成跑步、让雨突然停下——仍是重大挑战。现有训练方法受限于编辑数据的…

AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
type: item
date: 2026-03-21T08:35:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-21 | 视觉生成模型的偏好对齐与强化学习后训练 人工智能炼丹师 整理 本期专题聚焦 视觉生成模型的偏好对齐与强化学习后训练（Preference Alignment & RL Post-Training for Visual Generation），深度解读 8 篇最新论文，并对该方向的技术演进脉络进行系统性横向对比。 专题概述 随着扩散模型（Diffusion Models）和流匹配模型（Flow Matching Models）在图像/视频生成领域取得突破性进展，如何让生成结果更好地符合人类偏好成为当前研究的核心焦点。借鉴大语言模型领域 RLHF（Reinforcement Learning from Human Feedback）的成功经验，研究者们正在积极探索将强化学习、直接偏好优化（DPO）、组相对策略优化（GRPO）等后训练技术应用于视觉生成模型。 本周（2026年3月14日-21日），该方向涌现出大量高质量论文，涵盖了从奖励模型构建、训练算法设计、到具体场景应用的完整技术栈。本期专题选取 8 篇代表性工作进行深度解读，系统梳理该方向的技术脉络与发展趋势。 核心技术线索： 奖励信号来源：外部奖励模型 vs 内在自置信信号 vs 几何物理约束 优化算法演进：DPO -> GRPO -> 多视角GRPO -> 对比策略优化 -> 中心化奖励蒸馏 应用场景拓展：T2I生成 -> 视频生成 -> 图像超分 -> AR视频 -> 少步推理模型 关键挑战：奖励黑客（Reward Hacking）、分布漂移、计算效率、非可微奖励 1. FIRM: Trust Your Critic -- 鲁棒奖励建模与强化学习的忠实图像编辑与生成 论文信息 标题: Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation 作者: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding 等 arXiv: 2603.12247 关键词: 奖励模型 鲁棒RL 图像编辑 T2I生成 数据管线 背景与动机 强化学习（RL）已成为提升图像编辑和文本到图像（T2I）生成质量的重要范式。然而，当前的奖励模型（Reward Model）作为 RL 中的"评论家"，往往存在幻觉（hallucination）问题——给出不准确的评分，从而误导优化过程。这一问题在图像编辑场景中尤为严重：奖励模型可能对编辑后图像的忠实度评估不准确，导致生成结果偏离编辑指令。 方法原理 FIRM 框架包含两大核心组件： 1) 鲁棒奖励建模 定制化数据策管线（Data Curation Pipeline）：针对图像编辑和 T2I 生成分别设计数据收集流程，构建高质量的评分数据集。编辑任务收集了涵盖颜色修改、风格迁移、物体添加/删除等多种编辑类型的 66 万条评分数据。 多维度评估：奖励模型同时考虑文本对齐度、编辑忠实度、图像质量等多个维度，避免单一指标的片面性。 对比学习增强：通过正负样本对比学习，提升奖励模型对微妙质量差异的辨别能力。 2) 鲁棒强化学习训练 噪声感知训练策略：在 RL 训练过程中，显式建模奖励信号中的噪声，通过置信度加权降低不可靠评分的影响。 多奖励聚合：将多个维度的奖励信号进行加权融合，动态调整各维度权重以平衡不同目标之间的trade-off。 正则化约束：引入 KL 散度正则化防止模型在优化过程中偏离预训练分布过远。 创新点 首个系统性解决奖励模型幻觉问题的框架：不仅改进奖励模型本身的准确性，还在 RL 训练阶段引入鲁棒性机制。 66万条高质量评分数据集开源：为社区提供了标准化的图像编辑/生成质量评估数据。 统一框架同时适用于图像编辑和 T2I 生成：两个任务共享奖励建模架构，仅在数据策管线上做差异化。 实验结果 在图像编辑任务上，FIRM 使 InstructPix2Pix 模型在 EditBench 上的编辑准确率提升 18.7%。 在 T2I 生成任务上，GenEval 综合得分从 0.63 提升至 0.79，超越 DALL-E 3 和 SDXL 基线。 奖励模型本身在 ImageReward 测试集上的 Kendall's Tau 相关性从 0.52 提升至 0.68。 2. MV-GRPO: 多视角组相对策略优化 -- 从稀疏到稠密的流模型对齐 论文信息 标题: From Sparse to Dense: Multi-View GRP…

AIGC 周末专题深度解读：生成与理解的大一统之路
type: item
date: 2026-03-15T10:43:00+08:00
description: AIGC 周末专题深度解读：生成与理解的大一统之路 人工智能炼丹师 整理 | 2026年3月15日（周日） 覆盖时间：2026年3月2日 — 2026年3月14日 本期概述 本周 AIGC 领域最热门的方向莫过于统一多模态模型（Unified Multimodal Models, UMMs）——将视觉理解（图像识别、VQA、推理）与视觉生成（文生图、图像编辑）统一在同一个模型框架内。过去一周内，arXiv 上涌现了超过 8 篇高质量论文，从架构设计、训练范式、评测基准、长序列生成到强化学习后训练，全方位推动了这一方向的发展。 核心问题 传统的多模态 AI 系统中，"理解"和"生成"是两套独立的系统： 理解侧：CLIP、SigLIP、InternVL 等模型擅长视觉语义理解 生成侧：Stable Diffusion、DALL-E、FLUX 等模型擅长图像生成 统一多模态模型的目标是让同一个模型既能"看懂"图片，又能"画出"图片，甚至让两种能力相互促进。 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 DREAM MIT + Amazon 联合判别-生成训练框架，Masking Warmup + 语义对齐解码 2603.02667 2 GvU (CVPR 2026) 北大 + 百度 理解驱动内在奖励，自监督 RL 缩小生成-理解差距 2603.06043 3 Omni-Diffusion 腾讯 + CASIA 首个全离散扩散统一模型，文本+语音+图像 any-to-any 2603.06577 4 InternVL-U 上海AI Lab + 商汤 4B 参数统一模型，CoT 推理增强生成，超越 14B 基线 2603.09877 5 UniCom 阿里达摩院 压缩连续语义表征，Transfusion 架构，SOTA 生成 2603.10702 6 UniG2U-Bench 多机构联合 首个系统性 G2U 评测基准，7 种机制 30 个子任务 2603.03241 7 UniLongGen Adobe + PolyU 长序列交错生成的主动遗忘策略，解决视觉污染 2603.07540 8 GRPO-Interleaved 华为 + 复旦 GRPO 扩展到多模态交错生成，过程级奖励 2603.09538 1. DREAM：视觉理解与文生图的联合优化框架 论文: DREAM: Where Visual Understanding Meets Text-to-Image Generation arXiv: 2603.02667 机构: MIT CSAIL, Amazon 发布日期: 2026年3月3日 1.1 研究动机 在多模态学习中，视觉理解（如 CLIP 的对比学习）和图像生成（如 MAE 的掩码重建）一直是两个独立的优化目标。直接联合训练会导致两个目标相互冲突——对比学习需要低掩码率保留全局语义，而生成训练需要高掩码率学习重建。 1.2 方法原理 DREAM 提出了两项关键技术来解决这一矛盾： （1）Masking Warmup（掩码预热）策略 训练分为两个阶段： 预热阶段：掩码率从低（~15%）逐渐增加，先建立对比对齐的表征空间 生成阶段：掩码率增加到高（~75%），在已有的稳定表征上训练生成能力 这种渐进式调度避免了"同时从零开始学两件事"的不稳定性。 （2）Semantically Aligned Decoding（语义对齐解码） 推理时，模型生成多个部分掩码的候选图像，然后用模型自身的理解分支计算每个候选与目标文本的语义对齐分数，选择最佳候选继续解码。这相当于在不引入外部重排序器的情况下，用理解能力"把关"生成质量。 1.3 实验结果 仅在 CC12M（1200 万图文对）上训练： ImageNet 线性探测：72.7%（比 CLIP 高 1.1%） FID：4.25（比 FLUID 低 6.2%） 文本-图像保真度提升 6.3%（无需外部重排序器） 1.4 关键洞察 DREAM 证明了判别目标和生成目标之间存在协同效应，而非简单的零和竞争。关键在于训练策略的设计——让模型先学好"看"，再学"画"。 2. GvU：理解驱动的内在奖励机制（CVPR 2026） 论文: Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models arXiv: 2603.06043 机构: 北京大学, 百度 发布日期: 2026年3月6日 | 会议: CVPR 2026 2.1 研究动机 现有的统一多模态模型存在一个显著的"能力不对称"问题：理解能力强，生成能力弱。模型能准确…