人工智能炼丹师 - AIGC论文速读 - AIGC
type: channel
link: https://jefxiong.cn/index.php/category/AIGC/
items: AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路
items: AIGC 周末专题|2026-04-11|音视频联合生成与编辑前沿进展: 开源Seedance2的进阶之路
items: AIGC 每日速读|2026-04-10|重新审视可控扩散训练目标——直接x₀监督实现2倍加速
items: AIGC 每日速读|2026-04-08|分数步蒸馏(1.x-Distill)实现33x推理加速
items: AIGC 周末专题|2026-04-05|语音合成与音频生成前沿
items: AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
items: AIGC 每日速读|2026-04-03|Dynin-Omni|OmniVoice
items: AIGC 每日速读|2026-04-02|MacTok 64-token SOTA
items: AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化
items: AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
items: AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
items: AIGC 周末专题深度解读：生成与理解的大一统之路

AIGC 周末专题|2026-04-12|多镜头视频生成: 开源Seedance2的进阶之路
type: item
date: 2026-04-12T15:59:00+08:00
description: AIGC 周末专题深度解读：多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致 人工智能炼丹师 整理 | 2026年4月12日（周日） 覆盖时间：2023年8月 — 2026年4月（含经典评测与 2025–2026 方法爆发期） 本期概述 本期 AIGC 周末专题聚焦多镜头视频生成：整体式叙事、自回归记忆、电影级转场与跨镜头一致方向，精选 8 篇代表性论文进行深度解读。 方向分布： 整体式双向生成: 1篇 — HoloCine (CVPR 2026) 自回归 next-shot: 3篇 — OneStory (CVPR 2026), ShotStream, StoryMem 电影级转场控制: 1篇 — CineTrans (ICLR 2026) 故事板锚定: 1篇 — STAGE (CVPR 2026) 世界一致+多主体过渡: 1篇 — InfinityStory 人像垂直场景: 1篇 — EchoShot (NeurIPS 2025) 其余参考: 19篇（含 ShotAdapter CVPR'25, Mask²DiT CVPR'25, Gloria CVPR'26, Spatia CVPR'26, SkyReels-V2, MSVBench 等） 含 CVPR 2026 × 4 篇 (HoloCine, OneStory, STAGE, + 其余 Gloria/Spatia)；ICLR 2026 × 1 篇 (CineTrans)；NeurIPS 2025 × 1 篇 (EchoShot)；CVPR 2025 × 2 篇 (ShotAdapter, Mask²DiT) 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 HoloCine HKUST / Ant Group / ZJU / CUHK / NTU 首个分钟级整体式多镜头生成框架 2510.20822 2 OneStory Meta AI / University of Copenhagen Frame Selection 模块选取语义最相关历史帧构建全局记忆 2512.07802 3 ShotStream CUHK MMLab / Kuaishou Technology 首个因果流式多镜头生成系统——亚秒延迟、16 FPS 2603.25746 4 CineTrans 复旦大学 / 上海人工智能实验室 首次揭示扩散模型注意力图与镜头转场的对应关系 2508.11484 5 STAGE 北京理工大学 / 北京大学 将关键帧范式重新建模为首尾帧对预测（STEP2） 2512.12372 6 StoryMem ByteDance Intelligent Creation / NTU S-Lab M2V 范式：关键帧记忆经 3D VAE 编码后与噪声潜变量拼接 2512.19539 7 InfinityStory Adobe Research / Virginia Tech / Dolby Labs / UMD / Cisco 等 位置锚定背景一致性：预生成场所参考图并在生成时注入 2603.03646 8 EchoShot 西安交通大学 / 阿里云 Shot-aware RoPE：TcRoPE 保持跨镜头时间连续性建模身份关联 + TaRoPE 分配独立时间起点防止内 2506.15838 1. HoloCine：整体式生成电影级多镜头长叙事——Window Cross-Attention + Sparse Inter-Shot Self-Attention 论文: HoloCine arXiv: 2510.20822 机构: HKUST / Ant Group / ZJU / CUHK / NTU 1.1 研究动机 核心问题： 单镜头 T2V 无法生成跨镜头连贯的叙事长视频 解耦范式（先关键帧再插值/逐镜头独立拼接）难以保证全局一致，整体式生成有望从根本上解决跨镜头连贯性。 前序工作及局限： 单镜头 T2V：Wan2.2, HunyuanVideo 拼接/级联方案：VideoStudio, MovieFactory 与前序工作的本质区别： HoloCine 整体式生成所有镜头，Window Cross-Attn + Sparse Inter-Shot SA 保证全局一致 1.2 方法原理 The architecture of our holistic generation pipeline, where all shot latents are processed jointly. The Window Cross-Attention provides precise directorial control by aligning each …

AIGC 周末专题|2026-04-11|音视频联合生成与编辑前沿进展: 开源Seedance2的进阶之路
type: item
date: 2026-04-11T15:30:00+08:00
description: AIGC 周末专题深度解读：音视频联合生成与编辑前沿进展 人工智能炼丹师 整理 | 2026年4月11日（周六） 本期概述 本期 AIGC 周末专题聚焦音视频联合生成与编辑前沿进展方向，精选 8 篇代表性论文进行深度解读。 方向分布： 联合音视频生成: 4篇 — MOVA, JavisDiT++, OmniForcing, CCL V2A/音频生成: 3篇 — FoleyDirector(CVPR 2026), OmniSonic(CVPR 2026), FoleyDesigner 个性化: 1篇 — Identity as Presence 其余工作: 12篇 — 涵盖音视频定制、空间音频、音乐驱动编辑、评测基准等 含 CVPR 2026 × 2 篇, ICLR 2026 × 1 篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 MOVA 上海 AI Lab, OpenMOSS 首个全面开源的可扩展联合音视频生成系统 2602.08794 2 JavisDiT++ Rochester, 上海科技大学 系统性地将人类偏好优化引入联合音视频生成 2602.19163 3 OmniForcing 基于LTX-2蒸馏 首个实时联合音视频流式生成系统，单GPU约25 FPS 2603.11647 4 CCL SenseTime 首次系统分析双流联合生成框架的三个核心技术瓶颈 2603.18600 5 Identity as Presence 首个同时支持面部外观和声音音色联合个性化的音视频生成系统 2603.17889 6 FoleyDirector 首个在DiT基V2A上实现精确时序引导的方法 2603.19857 7 OmniSonic 首次在统一框架中覆盖三类视频音频（屏内环境音/屏外环境音/人类语音） 2604.04348 8 FoleyDesigner Shanghai University, University of Surrey 首个电影级立体声拟音自动生成系统 2604.05731 1. MOVA：开源可扩展的同步视频-音频联合生成系统——渐进式双流DiT训练管线 论文: MOVA arXiv: 2602.08794 机构: 上海 AI Lab, OpenMOSS 1.1 研究动机 核心问题： 级联音视频生成管线导致成本增加、错误累积、质量下降 音频是真实世界视频不可或缺的部分，但现有生成模型大多忽略音频。级联管线（先视频后音频）带来成本增加、错误累积、质量下降三大问题。Veo 3和Sora 2虽展示了同步生成的价值，但闭源特性阻碍了学术推进。MOVA旨在构建开源的、可扩展的联合音视频生成系统。 前序工作及局限： CoDi / NExT-GPT：早期多模态生成尝试 Veo 3 / Sora 2：商业系统展示联合生成价值但闭源 与前序工作的本质区别： MOVA采用双流DiT+渐进式三阶段训练，构建首个全面开源的联合音视频生成系统 1.2 方法原理 Model Structure Overview. MOVA couples an A14B video DiT backbone and a 1.3B audio DiT backbone via a 2.6B bidirectional Bridge module. MOVA采用双流DiT架构： (1) 独立模态流+跨模态交互：视频流和音频流分别基于预训练模型初始化，通过跨模态注意力层在每个Transformer块中建立音视频对齐。 (2) 渐进式训练策略：阶段一冻结主干仅训练跨模态注意力层，阶段二全模型联合微调，阶段三高质量数据精调。 (3) 大规模数据管线：自动化音视频配对数据清洗，多维度质量过滤。 1.3 核心创新 首个全面开源的可扩展联合音视频生成系统 采用双流DiT架构，独立模态流+跨模态注意力交互 渐进式三阶段训练策略缓解多模态联合训练的稳定性问题 大规模音视频配对数据清洗管线支撑高质量生成 1.4 实验结果 Ablation study on human preference. 在音视频同步性、音频质量、视频质量等多维度达到开源SOTA 与Veo 3等商业系统在部分指标上具有竞争力 代码和模型全面开源 1.5 关键洞察 优势：系统工程完整，开源贡献大；渐进式训练有效。局限：双流架构的跨模态对齐存在固有上限；数据规模仍不及商业系统。 技术演进定位： 开源联合音视频生成的技术基线 可能的后续方向： 双流→单流架构演进 更大规模数据与模型 2. JavisDiT++：统一建模与人类偏好对齐——联合音视频生成的系统性优化 论文: JavisDiT++ arXiv: 2602.19163 机构: Rochester, 上海科技大学 2.1 研究动机 核…

AIGC 每日速读|2026-04-10|重新审视可控扩散训练目标——直接x₀监督实现2倍加速
type: item
date: 2026-04-10T09:59:18+08:00
description: 今日核心看点 x₀监督训练加速2倍(x₀-Supervision) 3D场景可控视频生成(LiVER) 图像对训练视频编辑(ImVideoEdit) 个性化审美偏好模型(PAMELA) AR-扩散混合GRPO(MAR-GRPO) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 8 篇，重点解读 1 篇。 方向分布： 可控图像生成与训练优化: 2篇 (x₀-Supervision, DARE) 视频生成与编辑: 2篇 (LiVER, ImVideoEdit) 时尚合成与虚拟试穿: 1篇 — 多条件可控时尚合成(VersaVogue) 个性化生成与偏好模型: 1篇 — 个性化审美偏好学习(PAMELA) 说话人视频情感编辑: 1篇 — 跨模态情感迁移(C-MET) AR-扩散混合模型优化: 1篇 — 稳定混合训练(MAR-GRPO) 重点论文深度解读 1. x₀-Supervision 重新审视可控扩散训练目标——直接x₀监督实现2倍加速 | CEA-LIST | arXiv:2604.05761 关键词： 可控生成, 训练加速, x₀预测, ControlNet, 扩散模型, SDXL 研究动机 核心问题： 可控扩散模型沿用 ε-预测训练目标，导致控制分支训练低效 文本到图像扩散模型在视觉保真度和文本对齐上取得显著进步，但用户需要精确控制图像布局时，自然语言无法可靠表达。可控生成方法通过附加条件增强T2I模型，但先前工作简单沿用与基础模型相同的ε-预测训练损失。作者发现这种做法会导致某些控制条件下训练极慢——特别是当条件信号和干净图像之间的映射关系在不同噪声水平下差异很大时，ε-预测目标给予高噪声时域过大权重，导致训练效率低下。 前序工作及局限： ControlNet/T2I-Adapter：可控生成主流架构，但未优化训练目标 Min-SNR Weighting/P2 Weighting：扩散训练损失加权方法，但未针对可控场景分析 DDPM→v-prediction→x₀-prediction：训练目标演进路线，但此前主要用于无条件/基础模型 Progressive Distillation：使用 x₀ 预测加速蒸馏，但不涉及可控生成 与前序工作的本质区别： 首次从去噪动态角度分析可控生成中训练目标的低效性，给出理论清晰的 x₀-supervision 方案 方法原理 x₀-Supervision框架通过两个核心改进加速可控扩散训练： (1) 训练目标重构：将标准ε-预测损失替换为x₀-预测损失，直接监督网络预测干净图像x₀。数学上等价于对ε-预测损失施加信噪比(SNR)相关的权重调制——低SNR(高噪声)时域权重降低，高SNR(低噪声)时域权重提升。这使得控制分支在训练早期就能获得有效的条件→图像映射信号。 (2) 去噪动态分析：作者系统分析了可控生成中基础模型和控制分支的去噪贡献。发现控制分支在低噪声时域贡献更大（此时条件信号和目标图像的关联最直接），而ε-预测目标恰恰在此区域给予低权重。x₀-supervision修正了这一不匹配。 (3) 评估方法创新：提出mAUCC指标（mean Area Under the Convergence Curve），综合衡量训练过程中的收敛速度，而非仅看最终性能。在ControlNet和T2I-Adapter两种架构上基于SDXL进行验证。 核心创新 深入分析可控扩散模型的去噪动态，揭示标准ε-预测目标在可控生成中的低效性 提出x₀-supervision：直接监督干净目标图像x₀，等价于扩散损失的重新加权 提出mAUCC（均值曲线下面积）新评估指标，首次系统衡量收敛速度 在多种控制条件下（Canny/深度/分割/法线/Tile）收敛速度提升2倍 在ControlNet和T2I-Adapter两种主流架构上均验证有效 实验结果 ControlNet (SDXL)： Canny控制：FID 24.7→22.1, mAUCC提升38%, 收敛速度2.0倍 深度图控制：FID 18.3→16.8, mAUCC提升25% 分割图控制：收敛速度1.8倍 T2I-Adapter (SDXL)： 5种控制条件平均mAUCC提升31% 法线图控制收敛最快（2.1倍） 消融实验： x₀-supervision在所有训练阶段均优于ε-prediction SNR加权等效形式验证了数学推导正确性 该方法对学习率和batch size不敏感 图表详解 训练收敛速度对比 x₀-supervision 与 σₜ²/αₜ²·ε-supervision 两种训练目标的收敛速度对比实验。图中包含四个子图，分别对应 ControlNet 在深度图（RMSE）、分割图（mIoU）、Canny 边缘（F1）和姿态（…

AIGC 每日速读|2026-04-08|分数步蒸馏(1.x-Distill)实现33x推理加速
type: item
date: 2026-04-08T12:27:00+08:00
description: 今日核心看点 分数步蒸馏(1.x-Distill) 空间编辑基准(SpatialEdit) 通用音频生成(OmniSonic) 视频DiT缓存(Chorus) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 生成推理加速: 3篇 (1.x-Distill, Chorus, OP-GRPO) 图像编辑与评测: 3篇 (SpatialEdit, VicoEdit, Think-in-Strokes) 音频生成: 1篇 (OmniSonic, CVPR 2026) 视频生成: 1篇 (Vanast, CVPR 2026) 生成理解一体化: 1篇 (退化图像理解CLEAR) 含 3 篇 CVPR 2026 接收论文 重点论文深度解读 1. 1.x-Distill 首个分数步蒸馏框架——打破整数步约束实现33倍加速 | Unknown | arXiv:2604.04018 关键词： 蒸馏加速, 分布匹配蒸馏, 分数步推理, CFG控制, 块级缓存, SD3 研究动机 核心问题： 扩散模型迭代去噪计算量大，分布匹配蒸馏在极端少步时多样性崩溃 扩散模型生成高质量图像，但迭代去噪计算量大。分布匹配蒸馏（DMD）是少步蒸馏的有前途路径，但在 2 步或更少时遭遇多样性崩溃和保真度下降。作者发现两个核心问题：(1) 教师模型 CFG 在高噪声时域驱使学生过早坍缩到少数主导模式；(2) 极端少步蒸馏下，单一目标函数无法同时兼顾全局结构和细节。 前序工作及局限： DMD/DMD2：分布匹配蒸馏的先驱，但 2 步以下多样性严重崩溃 TDM/SenseFlow：无图像训练蒸馏，但未发现 CFG 导致模式坍缩的根因 DDIM/一致性模型：少步采样加速，但受限于整数步约束 DeepCache/Learning-to-Cache：DiT 块级缓存加速，但未与蒸馏训练过程整合 与前序工作的本质区别： 首次将分布匹配蒸馏与块级缓存统一，发现并解决 CFG 导致模式崩溃的根因，提出分数步蒸馏打破整数步约束 方法原理 1.x-Distill 框架包含三个核心创新： (1) 时间步感知 CFG 控制：在高噪声时域(t>alpha)禁用教师 CFG，使用纯条件分数引导学生覆盖更多模式；低噪声时域保留 CFG 保证细节质量。alpha=0.94 为最优阈值。 (2) 分阶段聚焦蒸馏（SFD）：Stage I 结构导向分布匹配，采用重要性采样偏向 t=0.75 附近结构信息丰富的时域，避免低噪声区的过度纹理扰动；Stage II 细节导向对抗精炼，在学生的少步推理路径上生成样本，使用冻结 ConvNeXt 特征提取器 + 可训练分类头作为判别器，无需外部图像数据集。 (3) 蒸馏-缓存协同训练（DCT）：观察到早期 DiT 块跨步骤时间冗余大，缓存块贡献 Delta_t = O_m - I_n，第二步跳过 6-8 个块。引入轻量级残差 MLP 预测修正缓存误差。Stage II 自然支持缓存训练，对抗损失直接监督缓存加速推理。 核心创新 首次提出分数步蒸馏概念，打破先前少步方法的整数步约束 发现并解决 DMD 中教师 CFG 导致模式崩溃的关键问题 提出分阶段聚焦蒸馏（SFD）：结构导向分布匹配 + 细节导向对抗精炼 设计蒸馏-缓存协同训练（DCT），将块级缓存融入蒸馏流程 在 SD3-Medium 和 SD3.5-Large 上实现 1.67/1.74 有效 NFE，最高 33 倍加速 实验结果 SD3-Medium (24 DiT blocks)： SFD 4步：FID 14.13（最佳），HPSv2 32.53，ImageReward 1.12 1.x-Distill-slow (NFE=1.75)：FID 15.79，HPSv2 32.26，超越所有 2 步和大部分 4 步基线 1.x-Distill-fast (NFE=1.67)：FID 16.72，HPSv2 31.69，比原始 28x2 采样加速 33 倍 SD3.5-Large (38 DiT blocks)： SFD 4步：HPSv2 32.90，ImageReward 1.20（最佳） 1.x-Distill (NFE=1.74)：FID 22.05，HPSv2 32.01，超越 TDM 2步基线 3.5+ HPSv2 DPG-Bench：蒸馏模型在复杂提示下总分超越多步教师模型 多样性（LPIPS）：显著高于 Flash 和 TDM 等基线 用户研究：20 位评估者在 3200 提示上明确偏好 1.x-Distill 图表详解 方法核心：块级缓存设计 左图展示各 DiT 块的跨步复用误差（早期块冗余大），右图展示缓存机制：第一步完整计算并缓存块贡献，第…

AIGC 周末专题|2026-04-05|语音合成与音频生成前沿
type: item
date: 2026-04-05T08:40:00+08:00
description: AIGC 周末专题深度解读：语音合成与音频生成前沿：从编解码器语言模型到扩散 TTS、音效生成与指令驱动语音设计 人工智能炼丹师 整理 | 2026年4月5日（周日） 覆盖时间：2026年3月29日 — 2026年4月5日 本期概述 本期 AIGC 周末专题聚焦语音合成与音频生成前沿：从编解码器语言模型到扩散 TTS、音效生成与指令驱动语音设计方向，精选 6 篇代表性论文进行深度解读。 方向分布： 语音合成（TTS）— 4篇 音效生成（T2A/V2A）— 1篇 语音设计（Voice Design）— 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 Voxtral TTS Mistral AI 提出 Voxtral TTS 混合架构：自回归语义 token 建模 + 流匹配声学 token 生成，兼顾语义连贯性和 2603.25551 2 LongCat-AudioDiT Meituan 在波形潜空间（而非频谱或 token 空间）进行扩散 TTS，保留完整音频信息 2603.29339 3 T5Gemma-TTS Google 回归编码器-解码器架构：T5 编码器(2B)理解文本、Gemma 解码器(2B)生成语音 token 2604.01760 4 Woosh Sony AI 构建完整音效基础模型：音频编解码器 + 文本-音频对齐 + T2A 生成 + V2A 生成 2604.01929 5 MOSS-VoiceGenerator Fudan University 指令驱动语音生成：自然语言描述控制语音风格、情感和表达方式 2603.28086 6 Prosody-Aware TTS Independent Research 多阶段预训练：MLM 预训练 + SigLIP 跨模态对比学习 2604.01247 1. Voxtral TTS：混合自回归与流匹配的高质量语音合成系统 论文: Voxtral TTS arXiv: 2603.25551 机构: Mistral AI 1.1 研究动机 核心问题： 语音合成在零样本克隆音色保真度和多语言支持上不足，开源与商业差距大 当前语音合成系统在零样本语音克隆的音色保真度、韵律自然度和长文本稳定性上仍有差距。商业系统如 ElevenLabs 领先，开源社区需要更强大的基座模型。 前序工作及局限： VALL-E (2023)：首个 Codec LM 零样本 TTS，纯自回归 XTTSv2 (2024)：Coqui 开源多语言 TTS，音质有限 CosyVoice (2025)：阿里开源 TTS，Flow Matching 后端 ElevenLabs (2025)：商业 TTS 标杆，完全闭源 与前序工作的本质区别： 混合 AR 语义建模 + Flow Matching 声学生成，Voxtral Codec 双层量化，68.4% 胜率超越 ElevenLabs 1.2 方法原理 Voxtral TTS 的核心是两阶段生成管线。第一阶段使用自回归 Transformer 预测语义 token 序列，这些语义 token 由 Voxtral Codec 的 VQ 层提取，编码语音的语言内容和韵律模式。第二阶段使用条件流匹配模型以语义 token 为条件生成声学 token，FSQ 层编码精细的音色纹理。Voxtral Codec 是关键创新：编码器将音频压缩为双层表示（VQ 语义层 + FSQ 声学层），解码器从两层 token 重建高保真音频。 1.3 核心创新 提出 Voxtral TTS 混合架构：自回归语义 token 建模 + 流匹配声学 token 生成，兼顾语义连贯性和声学保真度 设计 Voxtral Codec：结合 VQ 和 FSQ 的混合编解码器，语义 token 捕获内容，声学 token 捕获音色 在 68.4% 的人类偏好评测中胜过 ElevenLabs Flash v2.5 支持多语言多说话人零样本克隆，CC BY-NC 开源 1.4 实验结果 MOS 达 4.32 分，A/B 测试中以 68.4% 胜率超过 ElevenLabs Flash v2.5。零样本音色相似度 0.891，支持英法德西等多种语言。 1.5 关键洞察 CC BY-NC 限制商业应用。两阶段推理增加延迟。与 ElevenLabs Turbo 系列未对比。训练数据未完全公开。 技术演进定位： 开源 TTS 新标杆，证明混合架构路线有效性 可能的后续方向： 低延迟流式推理 更多语言覆盖 情感控制融合 2. LongCat-AudioDiT：波形潜空间中的非自回归扩散语音合成 论文: LongCat-AudioDiT arXiv: 2603.29339 机构: Meitua…

AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
type: item
date: 2026-04-05T02:15:00+08:00
description: AIGC 周末专题深度解读：视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理 人工智能炼丹师 整理 | 2026年4月4日（周六） 覆盖时间：2026年3月29日 — 2026年4月4日 本期概述 本期 AIGC 周末专题聚焦视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理方向，精选 6 篇代表性论文进行深度解读。 方向分布： 统一视频生成框架 — 1篇 长视频生成 — 1篇 物理一致性与几何对齐 — 1篇 高效少步训练 — 1篇 多镜头流式叙事 — 1篇 角色一致性生成 — 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 OmniWeaving Tencent Hunyuan, Zhejiang University 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输 2603.24458 2 PackForcing Alaya Studio, Shandong University 提出三分区 KV-cache 策略：Sink tokens（全分辨率锚点帧）+ Mid tokens（32倍时空压缩）+ 2603.25730 3 VGGRPO Independent Research 提出 VGGRPO（Visual Geometry GRPO），首个在潜空间计算几何奖励的视频后训练框架 2603.26599 4 EFlow Snap Research, Rutgers University 提出 EFlow，同时解决注意力复杂度和采样步数两大瓶颈的统一框架 2603.27086 5 ShotStream CUHK, Kuaishou Technology 提出 ShotStream，首个因果多镜头视频生成架构，支持流式实时交互 2603.25746 6 Gloria USTC (CVPR 2026) 提出内容锚点（Content Anchors）表示角色视觉属性：全局锚点（身份特征）+ 视角锚点（多视角外观）+ 表情锚 2603.29931 1. OmniWeaving：统一视频生成：自由组合与推理驱动的全能框架 论文: OmniWeaving arXiv: 2603.24458 机构: Tencent Hunyuan, Zhejiang University 1.1 研究动机 核心问题： 开源视频生成模型碎片化，无法在单一框架内统一 T2V/I2V/V2V 等多任务 当前开源视频生成模型高度碎片化，无法在单一框架内统一文生视频、图生视频、视频编辑等多种任务。商业系统（如 Seedance-2.0）遥遥领先，开源社区急需一个全能统一方案。 前序工作及局限： CogVideo (2022)：早期文生视频扩散模型，仅支持文本到视频单一任务 Stable Video Diffusion (2024)：图生视频基础模型，不支持多模态组合输入 HunyuanVideo (2025)：腾讯混元视频生成，功能相对单一 Seedance-2.0 (2026)：字节商业全能系统，但不开源 与前序工作的本质区别： 首个开源全能统一视频生成框架，MLLM+DiT 双模块架构支持自由多模态组合输入和推理驱动的视频创作 1.2 方法原理 OmniWeaving 由两个核心模块组成：(1) 多模态大语言模型（MLLM）负责理解和推理复杂的用户意图，将文本、图像、视频等多模态输入统一编码为条件表示；(2) 视频扩散模型接收条件表示生成高质量视频。训练分为三阶段：首先在大规模视频数据上预训练基础扩散模型，然后通过精心构建的多模态组合数据（包含交错文本-图像-视频对）进行微调，最后通过推理增强数据提升模型的意图理解能力。关键创新在于训练数据构建管线：自动从海量视频中提取多模态组合场景，生成需要推理才能完成的复杂视频创作任务。 1.3 核心创新 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输入 构建大规模多模态组合与推理增强训练数据集，学习在时间维度上绑定交错的多模态输入 引入 IntelligentVBench 综合评测基准，首个面向智能统一视频生成的严格评测体系 在开源统一模型中达到 SOTA，代码和模型完全开源 1.4 实验结果 在文生视频（T2V）、图生视频（I2V）、视频到视频（V2V）等多个任务上均达到开源 SOTA。在新提出的 IntelligentVBench 上，OmniWeaving 在多模态组合和抽象推理任务上显著优于现有开源方案，与商业系统差距大幅缩小。 1.5 关键洞察 训练数据构建管线依赖大量自动化标注，数据质量可能存在噪声。Intelligen…

AIGC 每日速读|2026-04-03|Dynin-Omni|OmniVoice
type: item
date: 2026-04-03T08:40:42+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-04-03) 人工智能炼丹师 整理 | 共 10 篇论文 | 重点深度解读 1 篇 今日核心看点 全模态统一 掩码扩散 600+语言TTS Mamba-TTS 智能调色 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 生成理解一体化模型 — 3 篇 音频/语音生成 — 4 篇 图片生成与编辑 — 2 篇 生成模型评测 — 1 篇 重点论文深度解读 1. Dynin-Omni 全模态统一大扩散语言模型：首个掩码扩散全模态基础模型 | Seoul National University (AIDAS Lab) | arXiv:2604.00007 关键词： 全模态统一, 掩码扩散, 文本/图像/视频/语音, 理解+生成一体化, 模态解纠缠合并 研究动机 核心问题： 如何在单一架构中原生统一文本、图像、视频、语音的理解与生成，避免自回归序列化瓶颈和组合式模型的外部依赖 当前全模态统一模型存在两条路线：自回归模型需要序列化异构模态导致效率低下，组合式模型依赖外部解码器增加系统复杂度。Dynin-Omni 提出用原生掩码扩散在共享离散token空间上统一文本、图像、视频、语音的理解与生成，实现真正的 any-to-any 建模。 前序工作及局限： LLaDA：纯文本掩码扩散语言模型，证明掩码扩散可做文本生成但不支持多模态 MMaDA：扩展到文本+图像统一，但缺少视频理解和语音能力 Qwen2.5-Omni：自回归全模态模型，但序列化异构模态效率低下 Seed-X/HyperCLOVAX：组合式统一模型，依赖外部模态特定生成器增加复杂度 与前序工作的本质区别： 用原生掩码扩散替代自回归或组合式架构，通过共享离散token空间和模态感知解码策略实现真正的any-to-any建模 方法原理 Dynin-Omni 的核心是将所有模态（文本、图像、视频、语音）映射到统一的离散token空间，通过掩码扩散进行训练和推理。文本使用标准分词器（词汇量126K），图像使用MAGVIT-v2风格VQ分词器（码本8192），视频复用图像分词器处理均匀采样帧，语音使用EMOVA S2U编码器+FSQ量化（码本4096）。训练分三阶段：阶段1通过视频字幕/ASR/TTS任务对齐新模态，阶段2引入模态解纠缠合并（Modality-Disentangled Merging）避免灾难性遗忘后进行全模态SFT，阶段3引入CoT推理数据和高分辨率图像提升高级能力。推理时采用模态感知解码策略：文本和语音用块状并行解码，图像用全并行解码，配合置信度重掩码机制迭代细化。 核心创新 首个原生掩码扩散全模态基础模型，单一架构统一文本/图像/视频/语音的理解与生成 模态解纠缠合并（Modality-Disentangled Merging）策略，解决多阶段训练中的灾难性遗忘 全模态离散token空间统一设计，无需外部模态特定生成器 模态感知解码策略：图像全并行、文本/语音块状并行，兼顾质量和效率 个基准测试全面超越现有开源统一模型，与模态特定专家系统竞争力相当 实验结果 在19个多模态基准上全面评测：文本推理 GSM8K 87.6、MATH 49.6；图像理解 MME-P 1733.6；视频理解 VideoMME 61.4；语音识别 LibriSpeech test-clean WER 2.1；图像生成 GenEval 0.87、DPG-Bench 86.3；图像编辑 ImgEdit 3.77；TTS WER 2.1。全面超越 HyperCLOVAX-Omni、Show-o2、BAGLE 等同类统一模型。消融实验证明模态解纠缠合并策略在第一阶段显著降低了各任务的训练损失。 图表详解 全模态架构对比：三种统一建模范式 对比了三种全模态建模范式：(a)感知中心模型如Qwen2.5-omni只做理解不做生成；(b)组合式模型如Seed-X需要外部生成器；(c)Dynin-Omni的原生统一模型，单一LLM同时支持理解和生成任务，无需外部模态特定解码器。 全模态性能对比：理解与生成双维度 展示Dynin-Omni在7个核心基准上与HyperCLOVAX-Omni、Qwen2.5-Omni、Show-o2、BAGLE的对比。理解维度：GSM8K 87.6、MME 1734、VideoMME 61.4；生成维度：GenEval 87.0、ImgEdit 3.77、TTS 97.9。 采样步数消融：不同任务的步数-性能曲线 四个子图展示GSM8K、GenEval、DPGBench、ImgEdit随采样步数的性能变化。文本推理需512+步才收敛，图像生成32-64步饱和，图像编辑8-32步即可…

AIGC 每日速读|2026-04-02|MacTok 64-token SOTA
type: item
date: 2026-04-03T01:00:00+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-04-02) 人工智能炼丹师 整理 | 共 10 篇论文 | 重点深度解读 1 篇 今日核心看点 MacTok 64-token SOTA图像生成 LongCat-Next 美团统一多模态 VecAttention 2.65x视频加速 GEMS 6B超越SOTA Agent生成 OmniRoam 全景长视频漫游 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 图像Tokenizer: MacTok (64-token SOTA, CVPR 2026) 统一多模态: LongCat-Next (美团,离散原生自回归) 视频生成: VGGRPO (4D几何一致), OmniRoam (全景漫游) 视频编辑: CutClaw (长视频剪辑), TokenDial (属性控制) 推理加速: VecAttention (CVPR 2026), MPDiT (多Patch高效DiT) Agent生成: GEMS (6B超越SOTA) | 评测: SLVMEval (CVPR 2026) 重点论文深度解读 1. MacTok: Robust Continuous Tokenization for Image Generation 掩码增强1D连续Tokenizer——仅64/128 tokens实现SOTA图像生成, CVPR 2026 | East China Normal University / Shanghai AI Lab | arXiv:2603.29634 关键词： 连续Tokenizer, 后验崩溃, 掩码增强, DINO语义引导, 图像生成 研究动机 核心问题： 连续图像Tokenizer在极少token(64/128个)下发生后验崩溃,编码器无法有效编码信息到高度压缩的潜在空间 连续图像Tokenizer通过变分框架学习平滑结构化的潜在表示，是高效视觉生成的核心组件。然而，当使用极少量token(如64或128个)时，基于KL正则化的变分方法普遍面临后验崩溃(posterior collapse)问题——编码器无法将有意义的信息编码进高度压缩的潜在空间，导致所有输入映射到近似相同的潜在分布。这意味着token数量与生成质量之间存在一个痛苦的权衡：要么使用大量token保证质量(如256/512个)，要么接受极低token数带来的严重质量下降。MacTok旨在打破这一权衡，实现仅用64/128 tokens就达到甚至超越高token数方案的生成质量。 前序工作及局限： VQ-VAE / VQGAN (2020-22)：离散图像Tokenizer,通常需要数百到上千个token,码本利用率和生成质量受限 SD-VAE (2022-23)：连续变分编码器,质量优于离散方案,但潜在空间维度仍较高(256-4096 tokens) TiTok (2024)：尝试将连续token数压缩到128个,但在更低token数时面临后验崩溃 REPA (2025)：引入表示对齐思路增强Tokenizer,但未系统解决极低token数下的崩溃问题 与前序工作的本质区别： MacTok系统性组合双重掩码策略(随机+DINO语义)和全局-局部表示对齐,首次在64 tokens这一极端压缩级别实现SOTA图像生成质量(gFID 1.44) 方法原理 MacTok(Masked Augmenting 1D Continuous Tokenizer)通过三个核心机制解决后验崩溃问题：(1) 双重掩码策略：随机掩码(Random Masking)作为正则化手段防止编码器走捷径，DINO引导的语义掩码(Semantic Masking)强调图像中信息量最高的区域——利用预训练DINO模型的注意力图识别语义重要区域，迫使编码器从不完整的视觉输入中提取鲁棒语义。(2) 全局-局部表示对齐(Global-Local Representation Alignment)：全局对齐确保整体语义保留，局部对齐保证细粒度判别信息不丢失，两者协同在高度压缩的1D潜在空间中维持丰富的表征能力。(3) 1D连续潜在空间设计：将图像压缩为极紧凑的1D token序列(仅64或128个token)，配合上述掩码和对齐机制确保信息密度。MacTok与SiT-XL(Scalable Interpolant Transformer)配合使用进行图像生成。 核心创新 首次系统解决连续图像Tokenizer在极低token数下的后验崩溃问题 双重掩码策略创新：随机掩码正则化+DINO引导语义掩码，迫使编码器学习鲁棒表征 全局-局部表示对齐机制，在1D高压缩潜在空间中保留判别信息 仅用64…

AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化
type: item
date: 2026-03-28T08:22:20+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-28) 人工智能炼丹师 整理 | 共 9 篇论文 | 重点深度解读 8 篇 今日核心看点 UniGRPO 统一后训练 FIRM 忠实奖励建模 EditHF-1M 29M偏好对 MV-GRPO 多视图评估 VIGOR 视频几何奖励 VHS CVPR2026 推理扩展 TATAR 不对称奖励 SeGroS 语义锚定监督 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 9 篇，重点解读 8 篇。 方向分布： 后训练框架: UniGRPO(统一多模态后训练), MV-GRPO(多视图GRPO), SeGroS(语义锚定监督) 奖励模型与评估: FIRM(编辑+生成), EditHF-1M(29M偏好对), VIGOR(视频几何), TATAR(质量+美学), VHS(潜在验证器) 重点论文深度解读 1. UniGRPO 统一策略优化实现推理驱动视觉生成 | 上海AI Lab/港中文 | Shanghai AI Lab, CUHK | arXiv:2603.23500 关键词： 统一后训练, GRPO, 推理驱动生成, Flow Matching, 交错生成 研究动机 核心问题： 统一多模态模型（自回归文本+Flow Matching图像）缺乏后训练方法 统一多模态模型正朝着交错生成（interleaved generation）发展——自回归建模文本、Flow Matching 建模图像。然而，如何对这种混合架构进行强化学习后训练？现有 GRPO 只针对单一模态，且 FlowGRPO 依赖 Classifier-Free Guidance（CFG）导致轨迹分叉，难以扩展到多轮交互场景。核心挑战是：如何在一个统一的 RL 框架中同时优化推理（文本）和生成（图像）两个阶段的策略？ 前序工作及局限： GRPO (DeepSeek 2025)：大语言模型的群体相对策略优化 FlowGRPO (2026)：将GRPO扩展到Flow Matching视觉生成 Transfusion (Meta 2024)：统一自回归+扩散的多模态架构 与前序工作的本质区别： UniGRPO首次统一优化文本推理和图像合成，消除CFG保持线性轨迹 方法原理 UniGRPO 将多模态生成建模为稀疏终端奖励的马尔可夫决策过程（MDP），联合优化文本推理和图像合成两个阶段。框架采用极简设计原则：(1) 文本推理阶段使用标准 GRPO，让模型学会扩展用户提示为详细推理链；(2) 图像合成阶段使用 FlowGRPO，在 Flow Matching 的速度场上进行策略优化。关键改进有两点：第一，消除 Classifier-Free Guidance（CFG），保持线性、未分叉的生成轨迹，这对多轮交互和多条件生成（如编辑）至关重要；第二，将标准的潜空间 KL 惩罚替换为直接作用于速度场的 MSE 惩罚，提供更鲁棒的正则化信号，有效缓解 Reward Hacking。两种模态的优化通过统一的 MDP 框架无缝集成。 核心创新 首个统一的多模态生成后训练框架：联合优化自回归文本推理和 Flow Matching 图像合成 消除 CFG 保持线性轨迹：使框架可扩展到多轮交错生成场景 速度场 MSE 正则化替代 KL 惩罚：直接在速度场空间约束策略偏移，更鲁棒地防止 Reward Hacking 极简设计原则：无缝集成标准 GRPO + FlowGRPO，避免过度工程化 为完全交错式多模态模型的后训练建立了可扩展基线 实验结果 实验表明，UniGRPO 的统一训练方案显著提高了推理驱动图像生成的质量。在标准评估基准上，文本推理质量和图像生成保真度均获得一致提升。消除 CFG 后的模型在多轮交互场景中表现更稳定，MSE 速度场正则化有效避免了训练后期的 Reward Hacking 现象。该框架为未来完全交错模型的后训练提供了鲁棒且可扩展的基线。 批判性点评 新颖性： 首次将GRPO统一应用于文本推理+图像Flow Matching的交错生成，消除CFG保持线性轨迹的设计优雅且实用。但概念上是GRPO和FlowGRPO的自然组合，原创突破性有限。 可复现性： 基于开源Janus-Pro-7B模型，论文提供了完整的算法伪代码和超参数设置。但训练使用80张H100，资源门槛较高。代码和模型权重已开源。 影响力： 为统一多模态模型的后训练建立了可扩展基线，对Chameleon、Transfusion等架构有直接参考价值。极简设计降低了社区跟进门槛。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1…

AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
type: item
date: 2026-03-22T08:32:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-22 | 视频生成与编辑前沿进展 人工智能炼丹师 整理 | 本期专题聚焦 2026 年 3 月第三周（3.15-3.22）视频生成与编辑领域的最新突破，涵盖物理一致生成、无训练编辑、高分辨率合成、推理加速、联合音视频生成等多个前沿方向。 专题概述 视频生成与编辑是当前 AIGC 领域最活跃的研究方向之一。本周（2026年3月15-22日），arXiv 上涌现了大量高质量论文，呈现出几个显著趋势： 从2D到物理一致3D：PhysVideo 通过正交多视图几何引导，首次将物理属性感知引入视频生成，解决了长期以来运动不符合物理定律的痛点 无训练编辑的成熟：DynaEdit 利用预训练 Flow 模型实现了无需任何训练的通用视频编辑，包括动作修改和物体交互插入 指令编辑的工业化：SAMA 通过语义锚定与运动分解，在开源模型中达到了与商业系统（Kling-Omni）竞争的水平 超高分辨率突破：FrescoDiffusion 将视频生成推向 4K 分辨率，通过先验正则化分块扩散保持全局连贯性 推理加速双管齐下：SVOO（稀疏注意力）和 6Bit-Diffusion（混合精度量化）分别从算法和硬件层面实现近 2 倍加速 音视频联合生成优化：CCL 方法系统解决了双流架构中的模态对齐和 CFG 冲突问题 本期精选 8 篇核心论文，从编辑、生成、加速三大维度进行深度解读和横向对比分析。 1. SAMA：分解语义锚定与运动对齐的指令引导视频编辑 论文信息 标题：SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing 作者：Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang 等（字节跳动/清华大学） arXiv：2603.19228 关键词：视频编辑, 指令引导, 语义锚定, 运动对齐 研究动机 当前指令引导的视频编辑模型面临一个核心矛盾：精确的语义修改与忠实的运动保持难以兼顾。现有方法依赖注入外部先验（VLM 特征、结构条件）来缓解这一问题，但外部先验的引入严重限制了模型的鲁棒性和泛化能力。SAMA 提出了一个根本性的解决思路——将视频编辑分解为两个正交的子任务。 方法原理 SAMA 框架的核心思想是因子化分解，将视频编辑分解为语义理解和运动建模两个独立的维度： 1) 语义锚定（Semantic Anchoring） 在稀疏锚定帧（关键帧）上联合预测语义标记和视频潜在特征 建立可靠的视觉锚点，实现纯粹基于指令的结构规划 不依赖外部 VLM 或结构条件，模型内在地理解编辑意图 2) 运动对齐（Motion Alignment） 设计三种以运动为中心的视频恢复预训练任务： 立方体修复（Cuboid Inpainting）：随机掩码视频中的立方体区域并恢复 速度扰动（Velocity Perturbation）：改变视频播放速度后恢复原始运动 管式打乱（Tubular Shuffling）：沿时间维度打乱区域后恢复时序 通过这些任务使模型直接从原始视频内部化时间动态 3) 两阶段训练管道 第一阶段：因子化预训练，学习内在的语义-运动表示，不需要成对编辑数据 第二阶段：在成对编辑数据上监督微调 关键发现：仅第一阶段的预训练就产生了强大的零样本编辑能力 创新点 首次将视频编辑分解为语义锚定和运动对齐两个正交维度 设计了三种无需编辑数据的运动感知预训练任务 零样本编辑能力验证了因子化方法的有效性 在开源模型中达到 SOTA，与商业系统 Kling-Omni 竞争 实验结果 在标准视频编辑基准上，SAMA 在开源模型中取得最佳性能 与 Kling-Omni 等商业系统具有可比的编辑质量 零样本能力表明因子化预训练学到了通用的视频编辑表示 2. DynaEdit：无训练的通用视频内容、动作与动态编辑 论文信息 标题：Versatile Editing of Video Content, Actions, and Dynamics without Training 作者：Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli（Google Research / Technion） arXiv：2603.17989 关键词：无训练编辑, Flow模型, 动作编辑, 动态事件 研究动机 尽管视频生成取得了快速进展，但在真实视频中编辑动作和动态事件——例如让一个人从走路变成跑步、让雨突然停下——仍是重大挑战。现有训练方法受限于编辑数据的…

AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
type: item
date: 2026-03-21T08:35:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-21 | 视觉生成模型的偏好对齐与强化学习后训练 人工智能炼丹师 整理 本期专题聚焦 视觉生成模型的偏好对齐与强化学习后训练（Preference Alignment & RL Post-Training for Visual Generation），深度解读 8 篇最新论文，并对该方向的技术演进脉络进行系统性横向对比。 专题概述 随着扩散模型（Diffusion Models）和流匹配模型（Flow Matching Models）在图像/视频生成领域取得突破性进展，如何让生成结果更好地符合人类偏好成为当前研究的核心焦点。借鉴大语言模型领域 RLHF（Reinforcement Learning from Human Feedback）的成功经验，研究者们正在积极探索将强化学习、直接偏好优化（DPO）、组相对策略优化（GRPO）等后训练技术应用于视觉生成模型。 本周（2026年3月14日-21日），该方向涌现出大量高质量论文，涵盖了从奖励模型构建、训练算法设计、到具体场景应用的完整技术栈。本期专题选取 8 篇代表性工作进行深度解读，系统梳理该方向的技术脉络与发展趋势。 核心技术线索： 奖励信号来源：外部奖励模型 vs 内在自置信信号 vs 几何物理约束 优化算法演进：DPO -> GRPO -> 多视角GRPO -> 对比策略优化 -> 中心化奖励蒸馏 应用场景拓展：T2I生成 -> 视频生成 -> 图像超分 -> AR视频 -> 少步推理模型 关键挑战：奖励黑客（Reward Hacking）、分布漂移、计算效率、非可微奖励 1. FIRM: Trust Your Critic -- 鲁棒奖励建模与强化学习的忠实图像编辑与生成 论文信息 标题: Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation 作者: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding 等 arXiv: 2603.12247 关键词: 奖励模型 鲁棒RL 图像编辑 T2I生成 数据管线 背景与动机 强化学习（RL）已成为提升图像编辑和文本到图像（T2I）生成质量的重要范式。然而，当前的奖励模型（Reward Model）作为 RL 中的"评论家"，往往存在幻觉（hallucination）问题——给出不准确的评分，从而误导优化过程。这一问题在图像编辑场景中尤为严重：奖励模型可能对编辑后图像的忠实度评估不准确，导致生成结果偏离编辑指令。 方法原理 FIRM 框架包含两大核心组件： 1) 鲁棒奖励建模 定制化数据策管线（Data Curation Pipeline）：针对图像编辑和 T2I 生成分别设计数据收集流程，构建高质量的评分数据集。编辑任务收集了涵盖颜色修改、风格迁移、物体添加/删除等多种编辑类型的 66 万条评分数据。 多维度评估：奖励模型同时考虑文本对齐度、编辑忠实度、图像质量等多个维度，避免单一指标的片面性。 对比学习增强：通过正负样本对比学习，提升奖励模型对微妙质量差异的辨别能力。 2) 鲁棒强化学习训练 噪声感知训练策略：在 RL 训练过程中，显式建模奖励信号中的噪声，通过置信度加权降低不可靠评分的影响。 多奖励聚合：将多个维度的奖励信号进行加权融合，动态调整各维度权重以平衡不同目标之间的trade-off。 正则化约束：引入 KL 散度正则化防止模型在优化过程中偏离预训练分布过远。 创新点 首个系统性解决奖励模型幻觉问题的框架：不仅改进奖励模型本身的准确性，还在 RL 训练阶段引入鲁棒性机制。 66万条高质量评分数据集开源：为社区提供了标准化的图像编辑/生成质量评估数据。 统一框架同时适用于图像编辑和 T2I 生成：两个任务共享奖励建模架构，仅在数据策管线上做差异化。 实验结果 在图像编辑任务上，FIRM 使 InstructPix2Pix 模型在 EditBench 上的编辑准确率提升 18.7%。 在 T2I 生成任务上，GenEval 综合得分从 0.63 提升至 0.79，超越 DALL-E 3 和 SDXL 基线。 奖励模型本身在 ImageReward 测试集上的 Kendall's Tau 相关性从 0.52 提升至 0.68。 2. MV-GRPO: 多视角组相对策略优化 -- 从稀疏到稠密的流模型对齐 论文信息 标题: From Sparse to Dense: Multi-View GRP…

AIGC 周末专题深度解读：生成与理解的大一统之路
type: item
date: 2026-03-15T10:43:00+08:00
description: AIGC 周末专题深度解读：生成与理解的大一统之路 人工智能炼丹师 整理 | 2026年3月15日（周日） 覆盖时间：2026年3月2日 — 2026年3月14日 本期概述 本周 AIGC 领域最热门的方向莫过于统一多模态模型（Unified Multimodal Models, UMMs）——将视觉理解（图像识别、VQA、推理）与视觉生成（文生图、图像编辑）统一在同一个模型框架内。过去一周内，arXiv 上涌现了超过 8 篇高质量论文，从架构设计、训练范式、评测基准、长序列生成到强化学习后训练，全方位推动了这一方向的发展。 核心问题 传统的多模态 AI 系统中，"理解"和"生成"是两套独立的系统： 理解侧：CLIP、SigLIP、InternVL 等模型擅长视觉语义理解 生成侧：Stable Diffusion、DALL-E、FLUX 等模型擅长图像生成 统一多模态模型的目标是让同一个模型既能"看懂"图片，又能"画出"图片，甚至让两种能力相互促进。 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 DREAM MIT + Amazon 联合判别-生成训练框架，Masking Warmup + 语义对齐解码 2603.02667 2 GvU (CVPR 2026) 北大 + 百度 理解驱动内在奖励，自监督 RL 缩小生成-理解差距 2603.06043 3 Omni-Diffusion 腾讯 + CASIA 首个全离散扩散统一模型，文本+语音+图像 any-to-any 2603.06577 4 InternVL-U 上海AI Lab + 商汤 4B 参数统一模型，CoT 推理增强生成，超越 14B 基线 2603.09877 5 UniCom 阿里达摩院 压缩连续语义表征，Transfusion 架构，SOTA 生成 2603.10702 6 UniG2U-Bench 多机构联合 首个系统性 G2U 评测基准，7 种机制 30 个子任务 2603.03241 7 UniLongGen Adobe + PolyU 长序列交错生成的主动遗忘策略，解决视觉污染 2603.07540 8 GRPO-Interleaved 华为 + 复旦 GRPO 扩展到多模态交错生成，过程级奖励 2603.09538 1. DREAM：视觉理解与文生图的联合优化框架 论文: DREAM: Where Visual Understanding Meets Text-to-Image Generation arXiv: 2603.02667 机构: MIT CSAIL, Amazon 发布日期: 2026年3月3日 1.1 研究动机 在多模态学习中，视觉理解（如 CLIP 的对比学习）和图像生成（如 MAE 的掩码重建）一直是两个独立的优化目标。直接联合训练会导致两个目标相互冲突——对比学习需要低掩码率保留全局语义，而生成训练需要高掩码率学习重建。 1.2 方法原理 DREAM 提出了两项关键技术来解决这一矛盾： （1）Masking Warmup（掩码预热）策略 训练分为两个阶段： 预热阶段：掩码率从低（~15%）逐渐增加，先建立对比对齐的表征空间 生成阶段：掩码率增加到高（~75%），在已有的稳定表征上训练生成能力 这种渐进式调度避免了"同时从零开始学两件事"的不稳定性。 （2）Semantically Aligned Decoding（语义对齐解码） 推理时，模型生成多个部分掩码的候选图像，然后用模型自身的理解分支计算每个候选与目标文本的语义对齐分数，选择最佳候选继续解码。这相当于在不引入外部重排序器的情况下，用理解能力"把关"生成质量。 1.3 实验结果 仅在 CC12M（1200 万图文对）上训练： ImageNet 线性探测：72.7%（比 CLIP 高 1.1%） FID：4.25（比 FLUID 低 6.2%） 文本-图像保真度提升 6.3%（无需外部重排序器） 1.4 关键洞察 DREAM 证明了判别目标和生成目标之间存在协同效应，而非简单的零和竞争。关键在于训练策略的设计——让模型先学好"看"，再学"画"。 2. GvU：理解驱动的内在奖励机制（CVPR 2026） 论文: Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models arXiv: 2603.06043 机构: 北京大学, 百度 发布日期: 2026年3月6日 | 会议: CVPR 2026 2.1 研究动机 现有的统一多模态模型存在一个显著的"能力不对称"问题：理解能力强，生成能力弱。模型能准确…