人工智能炼丹师 - AIGC论文速读 - 人工智能炼丹师
type: channel
link: https://jefxiong.cn/index.php/author/1
description: 人工智能炼丹师
items: AIGC每日速读|2026-03-26|UniGRPO统一强化学习
items: AIGC每日速读｜2026-03-25｜ScaleEdit·CTCal·DiT-BlockSkip
items: AIGC 每日速读｜2026-03-24｜CubiD·扩散加速·FoleyDirector
items: AIGC每日速读｜2026-03-23｜MOSS-TTS·ColourCraft·Q-Drift
items: AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
items: AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
items: AIGC 每日速读|2026-03-20|DynaEdit|Identity as Presence|Few-Step
items: AIGC 每日速读|2026-03-19|EchoGen|TINA|AR-CoPO|
items: AIGC 每日速读|2026-03-18|Tri-Prompting|VeloEdit|LADR|
items: AIGC生成 每日热点论文速读@20260317
items: AIGC生成 每日热点论文速读@20260316
items: AIGC 周末专题深度解读：生成与理解的大一统之路

AIGC每日速读|2026-03-26|UniGRPO统一强化学习
type: item
date: 2026-03-26T09:26:00+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-26) 人工智能炼丹师 整理 | 共 12 篇论文 | 重点深度解读 3 篇 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇，重点解读 3 篇。 方向分布： 生成理解一体化: 1 篇 (UniGRPO 统一 GRPO 框架) 视频生成: 4 篇 (ViBe 超高分辨率 + RealMaster 渲染提升 + InterDyad 语音到视频 + FG-Portrait 肖像动画) 图像编辑: 3 篇 (InverFill 少步修复 + GroupEditing 多图编辑 + Dress-ED 试穿编辑) 图像生成: 1 篇 (Zero-Shot Personalization 零样本个性化) 评测方法: 2 篇 (MuQ-Eval 音乐质量 + Q-Tacit 图像质量) 推理加速: 1 篇 (VHS 潜在验证器) CVPR 2026 × 3 篇 (InverFill, GroupEditing, FG-Portrait) 重点论文深度解读 1. UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation 统一推理驱动视觉生成 | Shanghai AI Lab / The University of Sydney | arXiv:2603.23500 关键词： 统一生成模型, GRPO, FlowGRPO, 推理驱动生成, 强化学习 研究动机 统一生成模型（交错文本和图像生成）已成为多模态AI的重要范式，但如何有效地进行后训练优化以同时提升推理和视觉生成质量仍是开放挑战。现有的强化学习方法要么只针对文本推理，要么只针对视觉生成，缺乏统一的优化框架来联合优化两种模态。 方法原理 提出 UniGRPO，将交错生成建模为具有稀疏终端奖励的马尔可夫决策过程，联合优化文本推理和视觉生成策略。无缝集成文本推理的标准 GRPO 和视觉合成的 FlowGRPO。引入两个关键改进：(1) 消除 Classifier-Free Guidance 以维持线性非分支轨迹，使框架可扩展到多轮交互和条件生成（如编辑）；(2) 用速度场上的 MSE 惩罚替代标准潜在 KL 惩罚，提供更稳健的正则化信号来缓解奖励黑客攻击。 核心创新 首个统一优化文本推理和视觉生成的强化学习框架 消除 CFG 实现线性非分支轨迹，支持多轮交互和编辑等复杂场景 速度场 MSE 惩罚替代 KL 散度，更有效缓解奖励黑客攻击 极简设计理念，为未来交错模型后训练提供可扩展基线 实验结果 统一训练配方显著增强了推理驱动的图像生成质量，为完全交错模型的后训练提供了稳健且可扩展的基线方案。 方法流程 交错输入 — 文本提示 + 推理扩展 文本GRPO — 优化推理链质量 FlowGRPO — 优化视觉生成质量 无CFG线性轨迹 MSE惩罚 — 速度场正则化 防奖励黑客 联合输出 — 高质量推理+图像 技术脉络 核心问题： 如何统一优化交错文本推理和视觉生成 前序工作及局限： GRPO (DeepSeek 2024)：文本推理的群组相对策略优化 FlowGRPO (2025)：Flow Matching 模型的策略优化 与前序工作的本质区别： UniGRPO 首次将两者无缝集成，消除 CFG 实现线性轨迹，速度场 MSE 替代 KL 惩罚 技术演进定位： 统一生成模型后训练优化的开拓性基线工作 可能的后续方向： 多轮交错生成优化 视频+音频的统一生成优化 更高效的奖励信号设计 批判性点评 新颖性： 极简设计理念值得赞赏——无缝集成已有 GRPO 和 FlowGRPO，速度场 MSE 惩罚替代 KL 散度是巧妙的工程创新。但理论贡献有限。 可复现性： 消除 CFG 的决策对不同模型架构的通用性需要更多验证，且实验对比基线不够全面。 影响力： 为统一模型后训练提供了重要基线，但能否成为标准范式还取决于多轮场景下的表现。 2. ViBe: Ultra-High-Resolution Video Synthesis Born from Pure Images 纯图像驱动超高分辨率视频合成 | SJTU | arXiv:2603.23326 关键词： 超高分辨率, 视频合成, Relay LoRA, 高频感知, 纯图像训练 研究动机 基于 Transformer 的视频扩散模型依赖 3D 空间-时间注意力，其二次方复杂度使得超高分辨率视频的端到端训练成本极高。直接用高分辨率图像微调视频模型会因图像-视频模态差距引入明显噪声。如何在不使用任何视频训练数据的情况下，让预训练的视频扩散模型生成超高分辨率视频？ 方法原理 提出纯图像适应框…

AIGC每日速读｜2026-03-25｜ScaleEdit·CTCal·DiT-BlockSkip
type: item
date: 2026-03-25T08:14:27+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-25) 人工智能炼丹师 整理 | 共 12 篇论文 | 重点深度解读 3 篇 今日核心看点 ScaleEdit-12M CTCal DiT-BlockSkip InjectFlow OmniCodec 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇，重点解读 3 篇。 方向分布： 图像编辑/生成: ScaleEdit-12M, CTCal, Premier, InjectFlow, SGG, DiffMark, MFSR (7篇) 推理加速/高效微调: DiT-BlockSkip, MFSR (2篇) 音频生成: OmniCodec, SqueezeComposer, SelfTTS, EARTalking (4篇) CVPR 2026 × 2 | 新方法 × 10 重点论文深度解读 1. ScaleEdit-12M: Open-Source Image Editing Data via Multi-Agent 最大开源图像编辑数据集 | 上交/港中文 | arXiv:2603.20644 关键词： 图像编辑数据集, 多智能体, 1200万样本, 23个任务族 研究动机 基于指令的图像编辑是统一多模态模型(UMM)的关键能力，但构建大规模、多样化且高质量的编辑数据集面临两大挑战：依赖闭源API（如GPT-4V）标注成本极高，固定合成流水线质量有限且泛化能力差。现有开源编辑数据集规模和多样性远不能满足训练需求。 方法原理 ScaleEditor 是一个完全开源的分层多智能体框架，实现端到端的大规模图像编辑数据集构建。整个流水线包含三个关键组件：(1) 融入世界知识的源图像扩展——通过多智能体协作从互联网和合成数据中收集覆盖多样场景的高质量源图像；(2) 自适应多智能体编辑指令-图像合成——多个专业化智能体分别负责生成编辑指令、执行图像变换、进行质量验证，根据不同编辑类型自适应选择最优工作流；(3) 任务感知的数据质量验证机制——针对23个编辑任务族设计差异化质量校验标准，确保每个样本的编辑准确性和自然度。最终整理出 ScaleEdit-12M，跨越23个任务族（包括颜色编辑、风格迁移、物体添加/删除、背景替换等），涵盖真实和合成域。 核心创新 首个完全开源的大规模图像编辑数据生成框架 万样本覆盖23个任务族——迄今最大开源编辑数据集 分层多智能体架构：自适应选择最优编辑工作流 任务感知质量验证：23个任务族差异化质量标准 在 ImgEdit 和 GEdit 基准上提升 10.4% 和 35.1% 实验结果 在 UniWorld-V1 和 Bagel 模型上微调验证：通用编辑基准 ImgEdit 提升 10.4%、GEdit 提升 35.1%；知识注入基准 RISE 提升 150.0%、KRIS-Bench 提升 26.5%。证明开源智能体流水线可达到商业级数据质量。框架和数据集均将开源。 方法流程 源图像扩展 — 多智能体从互联网+合成数据收集高质量源图 编辑指令生成 — 智能体根据图像内容自适应生成编辑指令 多智能体合成 — 专业化智能体执行23种不同编辑类型 任务感知验证 — 差异化质量标准逐样本校验准确性和自然度 ScaleEdit-12M — 1200万高质量编辑样本 横跨23个任务族 下游微调 — ImgEdit +10.4% GEdit +35.1% 技术脉络 核心问题： 开源图像编辑数据集规模有限且依赖闭源API 前序工作及局限： UltraEdit (Zhao 2024)：400万自动生成编辑数据，但依赖闭源 API GalaxyEdit (2024)：大规模编辑数据集，固定流水线泛化差 InstructPix2Pix (Brooks 2023)：GPT-4 生成编辑指令，成本极高 与前序工作的本质区别： ScaleEdit-12M 用全开源多智能体框架替代闭源API，规模扩大3x+，覆盖23个任务族 技术演进定位： 开源编辑数据集的新里程碑，降低整个社区的数据壁垒 可能的后续方向： 数据质量自动化评估 任务族继续扩展 视频编辑数据集构建 批判性点评 实验评估： 在 UniWorld-V1 和 Bagel 上微调，ImgEdit +10.4%、GEdit +35.1% 验证充分 新颖性： 全开源多智能体框架替代闭源 API，23 个任务族差异化质量验证 可复现性： 框架和数据集均将开源，但 1200 万数据的生成成本需评估 影响力： 可能成为编辑数据领域的 ImageNet 级标杆，降低全社区数据壁垒 2. CTCal: Cross-Timestep Self-Calibration for T2I Diffusion 跨时间步自校…

AIGC 每日速读｜2026-03-24｜CubiD·扩散加速·FoleyDirector
type: item
date: 2026-03-24T08:29:36+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-24) 人工智能炼丹师 整理 | 共 12 篇论文 | 重点深度解读 3 篇 今日核心看点 高维离散扩散 统一生成理解 通用扩散加速 V2A时序控制 个性化视频生成 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇，重点解读 3 篇。 方向分布： 图像生成与编辑 — 4 篇（CubiD、妆容迁移、I2I整流流、统一多模态） 视频生成 — 2 篇（LumosX 个性化、MME-CoF-Pro 评测） 音频生成 — 3 篇（FoleyDirector V2A、Borderless Long Speech、MOSS-TTSD） 生成模型加速 — 1 篇（时间步感知块掩码） 评测与质量评估 — 2 篇（TATAR 统一IQA+IAA、PGD-EIQA 去偏） 含 2 篇 CVPR 2026 + 1 篇 ICLR 2026 重点论文深度解读 1. CubiD: Cubic Discrete Diffusion for High-Dim Tokens 首个高维离散扩散生成 | HKU + Google + ByteDance | arXiv:2603.19232 关键词： 离散扩散, 高维表示, 统一生成理解, ImageNet SOTA 研究动机 离散 Token 视觉生成因能与语言模型共享统一的 Token 预测范式而备受关注，但当前方法局限于低维潜在 Token（通常 8-32 维），牺牲了对理解任务至关重要的语义丰富性。高维预训练表示（768-1024 维）理论上可弥补这一鸿沟，然而其离散化生成面临根本性挑战——维度爆炸导致码本大小和生成步数均不可控。 方法原理 CubiD 提出在高维离散表示上进行「细粒度掩码扩散」。核心思想是：对高维离散表示的任意维度、任意位置都可以独立掩码和预测。具体包括：(1) 将预训练的 768/1024 维连续表示通过残差向量量化离散化；(2) 在扩散过程中，每个空间位置的每个维度都可被独立掩码，模型从部分观测中预测缺失维度；(3) 这使模型能学习空间位置内部和跨位置的丰富关联，且生成步数固定为 T（T 远小于 h×w×d），不随维度增长；(4) 从 900M 扩展到 3.7B 参数展现出强 Scaling 行为。 核心创新 首个面向高维（768-1024维）表示的离散扩散生成模型 细粒度维度级掩码策略：任意维度任意位置可独立掩码预测 生成步数与特征维度解耦（T << h×w×d） 验证离散化 Token 同时支持理解和生成任务 M-3.7B 参数强 Scaling 行为 实验结果 ImageNet-256 上达到离散生成方法 SOTA，从 900M 到 3.7B 展现强 Scaling 行为。关键验证：离散化后的 Token 保留了原始表示的理解能力，证明同一组离散 Token 可同时服务于理解和生成任务。代码已开源。 方法流程 预训练表示 — 768/1024维连续特征（如DINOv2/CLIP） 残差向量量化 — RVQ离散化为高维Token序列 细粒度维度掩码 — 任意位置任意维度独立掩码 条件扩散预测 — 从部分观测预测缺失维度 位置内+跨位置关联 — 同时建模局部和全局依赖 固定T步生成 — 步数与维度解耦 T<<hwd 技术脉络 核心问题： 离散 Token 生成局限于低维（8-32维），无法利用高维预训练表示 前序工作及局限： MaskGIT (Chang 2022)：掩码图像建模范式，但限于低维 VQ-VAE Token MAGVIT-v2 (Yu 2024)：改进离散 Tokenizer，仍为 32 维以下 MAR (Li 2024)：掩码自回归模型，连续/离散混合但维度受限 LlamaGen (Sun 2024)：用 LLM 架构做视觉生成，仍依赖低维码本 与前序工作的本质区别： CubiD 首次突破维度限制，在 768-1024 维上实现细粒度维度级掩码扩散，且生成步数不随维度增长 技术演进定位： 开辟了「高维离散扩散」新赛道，为 vision-language 统一架构提供了新范式 可能的后续方向： 更高分辨率（512+）的高维离散生成 视频领域的高维离散扩散 与 LLM 的原生融合统一架构 批判性点评 实验评估： 在 ImageNet-256 上对比了多种离散生成方法，展示了 Scaling 行为。但缺少 FID/IS 等具体数值对比表，也未在 T2I 场景下与 SDXL/DALL-E 3 等连续方法直接对比。 新颖性： 首次将离散扩散扩展到高维表示（768-1024维），维度级掩码策略新颖度高。但 RVQ 离散化本身是已有技术，核心贡献在于将掩码扩散泛化到高维。 可复现性： 代码已开源（GitH…

AIGC每日速读｜2026-03-23｜MOSS-TTS·ColourCraft·Q-Drift
type: item
date: 2026-03-23T08:25:42+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-23) 人工智能炼丹师 整理 | 共 12 篇论文 | 重点深度解读 3 篇 今日核心看点 MOSS-TTS 语音基础模型 ColourCrafter 区域色彩编辑 Q-Drift 量化漂移校正 TexEditor 纹理编辑 Diff-SIT 视频扩散压缩 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇，重点解读 3 篇。 方向分布： 语音生成基础模型 — 1篇 (MOSS-TTS) 图像编辑与色彩控制 — 2篇 (ColourCrafter, TexEditor) 扩散模型加速与量化 — 1篇 (Q-Drift) 视频扩散压缩 — 1篇 (Diff-SIT) 生成内容评测 — 2篇 (GenVideoLens, IAA) 特殊领域生成 — 4篇 (声学/异常/面部/Sim2Real) 合成数据增强 — 1篇 (R&D) CVPR 2026 x2 (O2MAG, FLAC) | ECCV 2026 x1 (GenVideoLens) 重点论文深度解读 1. MOSS-TTS: Speech Generation Foundation Model 语音生成基础模型 | arXiv:2603.18090 关键词： TTS, 语音克隆, 自回归建模, 离散Token, 基础模型 研究动机 当前语音合成模型在零样本语音克隆、跨语言代码切换和长文本稳定生成方面仍面临挑战。如何构建一个统一的语音生成基础模型，既具备结构简洁性和可扩展性，又能支持精细控制（时长、发音、语言切换），是 TTS 领域的核心问题。 方法原理 MOSS-TTS 基于「离散音频 Token + 自回归建模 + 大规模预训练」的可扩展配方构建： MOSS-Audio-Tokenizer：因果 Transformer 分词器，将 24kHz 音频压缩为 12.5 fps，采用可变比特率 RVQ 实现语义-声学统一表示 MOSS-TTS 主生成器：强调结构简洁性和可扩展性，支持长上下文和控制导向部署 MOSS-TTS-Local-Transformer：引入帧级局部自回归模块，提升建模效率、说话人保持能力，缩短首音延迟 核心创新 统一语义-声学表示的音频 Tokenizer，12.5fps 极低帧率 双生成器互补架构（全局+局部自回归） Token 级时长控制和音素/拼音级发音控制 支持平滑代码切换和稳定长篇生成 实验结果 在多语言和开放域设置中支持零样本语音克隆、token 级时长控制、音素/拼音级发音控制、平滑代码切换和稳定长篇生成。模型和代码已开源。 方法流程 24kHz音频 — 原始语音输入 MOSS-Audio Tokenizer — 因果Transformer 可变比特率RVQ 12.5fps 离散Token — 语义-声学统一表示 自回归 Transformer — 全局长上下文建模 帧级局部AR(可选) — 提升效率和说话人保持 Token解码 — 高质量语音输出 技术脉络 核心问题： 开源 TTS 模型缺乏统一的基础模型配方，在零样本语音克隆、跨语言切换和长文本稳定生成方面表现不足 前序工作及局限： Tacotron 2 (Shen 2018)：端到端频谱预测，但需要声码器二阶段合成 VITS (Kim 2021)：端到端变分推理实现高自然度，但扩展性有限 VALL-E (Wang 2023)：首个大规模自回归语音 Token 建模，但开源实现不完整 CosyVoice (Du 2024)：开源可控 TTS，但 Tokenizer 和生成器未统一设计 与前序工作的本质区别： 提供完整的基础模型配方——统一语义-声学 Tokenizer（12.5fps 极低帧率）+ 双生成器互补架构 + 精细控制能力，且完全开源 技术演进定位： 集大成者——整合离散 Token + 自回归 + 大规模预训练的完整配方，为开源 TTS 基础模型树立标杆 可能的后续方向： 更低帧率 Tokenizer（<10fps）在情感保真度上的权衡 与大语言模型深度融合的端到端对话式语音生成 多语言统一 Tokenizer 设计 批判性点评 实验评估： 实验覆盖零样本语音克隆、跨语言代码切换和长篇生成等多项任务。12.5fps 极低帧率在 WER 和说话人相似度上表现优秀，但情感和副语言信息的保真度在极端情况下缺乏定量评估。开源模型使复现容易。 新颖性： 统一语义-声学 Tokenizer 和双生成器互补架构（全局+局部自回归）的设计思路新颖。12.5fps 帧率在已知开源 TTS 模型中最低。创新性评分：★★★★☆ 可复现性： 模型和代码完全开源，训练配方描述完整。Tokenizer、双生成器架构清晰易实现…

AIGC 周末专题深度解读：视频生成与编辑前沿进展|2026-03-22|SAMA|DynaEdit|PhysVideo|
type: item
date: 2026-03-22T08:32:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-22 | 视频生成与编辑前沿进展 人工智能炼丹师 整理 | 本期专题聚焦 2026 年 3 月第三周（3.15-3.22）视频生成与编辑领域的最新突破，涵盖物理一致生成、无训练编辑、高分辨率合成、推理加速、联合音视频生成等多个前沿方向。 专题概述 视频生成与编辑是当前 AIGC 领域最活跃的研究方向之一。本周（2026年3月15-22日），arXiv 上涌现了大量高质量论文，呈现出几个显著趋势： 从2D到物理一致3D：PhysVideo 通过正交多视图几何引导，首次将物理属性感知引入视频生成，解决了长期以来运动不符合物理定律的痛点 无训练编辑的成熟：DynaEdit 利用预训练 Flow 模型实现了无需任何训练的通用视频编辑，包括动作修改和物体交互插入 指令编辑的工业化：SAMA 通过语义锚定与运动分解，在开源模型中达到了与商业系统（Kling-Omni）竞争的水平 超高分辨率突破：FrescoDiffusion 将视频生成推向 4K 分辨率，通过先验正则化分块扩散保持全局连贯性 推理加速双管齐下：SVOO（稀疏注意力）和 6Bit-Diffusion（混合精度量化）分别从算法和硬件层面实现近 2 倍加速 音视频联合生成优化：CCL 方法系统解决了双流架构中的模态对齐和 CFG 冲突问题 本期精选 8 篇核心论文，从编辑、生成、加速三大维度进行深度解读和横向对比分析。 1. SAMA：分解语义锚定与运动对齐的指令引导视频编辑 论文信息 标题：SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing 作者：Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang 等（字节跳动/清华大学） arXiv：2603.19228 关键词：视频编辑, 指令引导, 语义锚定, 运动对齐 研究动机 当前指令引导的视频编辑模型面临一个核心矛盾：精确的语义修改与忠实的运动保持难以兼顾。现有方法依赖注入外部先验（VLM 特征、结构条件）来缓解这一问题，但外部先验的引入严重限制了模型的鲁棒性和泛化能力。SAMA 提出了一个根本性的解决思路——将视频编辑分解为两个正交的子任务。 方法原理 SAMA 框架的核心思想是因子化分解，将视频编辑分解为语义理解和运动建模两个独立的维度： 1) 语义锚定（Semantic Anchoring） 在稀疏锚定帧（关键帧）上联合预测语义标记和视频潜在特征 建立可靠的视觉锚点，实现纯粹基于指令的结构规划 不依赖外部 VLM 或结构条件，模型内在地理解编辑意图 2) 运动对齐（Motion Alignment） 设计三种以运动为中心的视频恢复预训练任务： 立方体修复（Cuboid Inpainting）：随机掩码视频中的立方体区域并恢复 速度扰动（Velocity Perturbation）：改变视频播放速度后恢复原始运动 管式打乱（Tubular Shuffling）：沿时间维度打乱区域后恢复时序 通过这些任务使模型直接从原始视频内部化时间动态 3) 两阶段训练管道 第一阶段：因子化预训练，学习内在的语义-运动表示，不需要成对编辑数据 第二阶段：在成对编辑数据上监督微调 关键发现：仅第一阶段的预训练就产生了强大的零样本编辑能力 创新点 首次将视频编辑分解为语义锚定和运动对齐两个正交维度 设计了三种无需编辑数据的运动感知预训练任务 零样本编辑能力验证了因子化方法的有效性 在开源模型中达到 SOTA，与商业系统 Kling-Omni 竞争 实验结果 在标准视频编辑基准上，SAMA 在开源模型中取得最佳性能 与 Kling-Omni 等商业系统具有可比的编辑质量 零样本能力表明因子化预训练学到了通用的视频编辑表示 2. DynaEdit：无训练的通用视频内容、动作与动态编辑 论文信息 标题：Versatile Editing of Video Content, Actions, and Dynamics without Training 作者：Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli（Google Research / Technion） arXiv：2603.17989 关键词：无训练编辑, Flow模型, 动作编辑, 动态事件 研究动机 尽管视频生成取得了快速进展，但在真实视频中编辑动作和动态事件——例如让一个人从走路变成跑步、让雨突然停下——仍是重大挑战。现有训练方法受限于编辑数据的…

AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
type: item
date: 2026-03-21T08:35:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-21 | 视觉生成模型的偏好对齐与强化学习后训练 人工智能炼丹师 整理 本期专题聚焦 视觉生成模型的偏好对齐与强化学习后训练（Preference Alignment & RL Post-Training for Visual Generation），深度解读 8 篇最新论文，并对该方向的技术演进脉络进行系统性横向对比。 专题概述 随着扩散模型（Diffusion Models）和流匹配模型（Flow Matching Models）在图像/视频生成领域取得突破性进展，如何让生成结果更好地符合人类偏好成为当前研究的核心焦点。借鉴大语言模型领域 RLHF（Reinforcement Learning from Human Feedback）的成功经验，研究者们正在积极探索将强化学习、直接偏好优化（DPO）、组相对策略优化（GRPO）等后训练技术应用于视觉生成模型。 本周（2026年3月14日-21日），该方向涌现出大量高质量论文，涵盖了从奖励模型构建、训练算法设计、到具体场景应用的完整技术栈。本期专题选取 8 篇代表性工作进行深度解读，系统梳理该方向的技术脉络与发展趋势。 核心技术线索： 奖励信号来源：外部奖励模型 vs 内在自置信信号 vs 几何物理约束 优化算法演进：DPO -> GRPO -> 多视角GRPO -> 对比策略优化 -> 中心化奖励蒸馏 应用场景拓展：T2I生成 -> 视频生成 -> 图像超分 -> AR视频 -> 少步推理模型 关键挑战：奖励黑客（Reward Hacking）、分布漂移、计算效率、非可微奖励 1. FIRM: Trust Your Critic -- 鲁棒奖励建模与强化学习的忠实图像编辑与生成 论文信息 标题: Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation 作者: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding 等 arXiv: 2603.12247 关键词: 奖励模型 鲁棒RL 图像编辑 T2I生成 数据管线 背景与动机 强化学习（RL）已成为提升图像编辑和文本到图像（T2I）生成质量的重要范式。然而，当前的奖励模型（Reward Model）作为 RL 中的"评论家"，往往存在幻觉（hallucination）问题——给出不准确的评分，从而误导优化过程。这一问题在图像编辑场景中尤为严重：奖励模型可能对编辑后图像的忠实度评估不准确，导致生成结果偏离编辑指令。 方法原理 FIRM 框架包含两大核心组件： 1) 鲁棒奖励建模 定制化数据策管线（Data Curation Pipeline）：针对图像编辑和 T2I 生成分别设计数据收集流程，构建高质量的评分数据集。编辑任务收集了涵盖颜色修改、风格迁移、物体添加/删除等多种编辑类型的 66 万条评分数据。 多维度评估：奖励模型同时考虑文本对齐度、编辑忠实度、图像质量等多个维度，避免单一指标的片面性。 对比学习增强：通过正负样本对比学习，提升奖励模型对微妙质量差异的辨别能力。 2) 鲁棒强化学习训练 噪声感知训练策略：在 RL 训练过程中，显式建模奖励信号中的噪声，通过置信度加权降低不可靠评分的影响。 多奖励聚合：将多个维度的奖励信号进行加权融合，动态调整各维度权重以平衡不同目标之间的trade-off。 正则化约束：引入 KL 散度正则化防止模型在优化过程中偏离预训练分布过远。 创新点 首个系统性解决奖励模型幻觉问题的框架：不仅改进奖励模型本身的准确性，还在 RL 训练阶段引入鲁棒性机制。 66万条高质量评分数据集开源：为社区提供了标准化的图像编辑/生成质量评估数据。 统一框架同时适用于图像编辑和 T2I 生成：两个任务共享奖励建模架构，仅在数据策管线上做差异化。 实验结果 在图像编辑任务上，FIRM 使 InstructPix2Pix 模型在 EditBench 上的编辑准确率提升 18.7%。 在 T2I 生成任务上，GenEval 综合得分从 0.63 提升至 0.79，超越 DALL-E 3 和 SDXL 基线。 奖励模型本身在 ImageReward 测试集上的 Kendall's Tau 相关性从 0.52 提升至 0.68。 2. MV-GRPO: 多视角组相对策略优化 -- 从稀疏到稠密的流模型对齐 论文信息 标题: From Sparse to Dense: Multi-View GRP…

AIGC 每日速读|2026-03-20|DynaEdit|Identity as Presence|Few-Step
type: item
date: 2026-03-20T11:53:40+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-20) 人工智能炼丹师 整理 | 共 12 篇论文 | 重点深度解读 3 篇 今日核心看点 DynaEdit: 无训练视频动态编辑 身份音视频联合个性化生成 实例感知扩散加速采样 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇，重点解读 3 篇。 方向分布： 视频编辑 / 无训练方法 — 3 篇 音视频联合 / 个性化生成 — 2 篇 采样加速 / 效率优化 — 2 篇 视频生成 / 世界模型 — 3 篇 生成评估与设计 — 2 篇 共计 12 篇，重点解读 3 篇 重点论文深度解读 1. DynaEdit: Versatile Editing of Video Content, Actions, and Dynamics without Training 无训练多功能视频编辑 | arXiv:2603.17989 关键词： 视频编辑, 无训练, 动作修改, 动态编辑, Flow Model 研究动机 受控视频生成取得了显著进展，但在编辑真实视频中的动作、动态事件或插入会影响场景中其他物体行为的内容方面仍然是巨大挑战。现有训练方法因缺乏合适的训练数据而难以处理复杂编辑，无训练方法则仅限于结构和运动保留的简单编辑，不支持修改运动或物体交互。 方法原理 提出 DynaEdit，利用预训练的 Text-to-Video Flow Model 实现通用视频编辑： 采用 inversion-free 方法（不干预模型内部），完全模型无关 识别并解决了两个关键问题：低频失配（场景整体色调/亮度偏移）和高频抖动（帧间闪烁） 引入新机制克服这些现象：低频校准恢复场景一致性，高频平滑消除闪烁 支持修改动作、插入与场景交互的物体、引入全局效果等复杂编辑 核心创新 首个支持动作修改和动态交互编辑的无训练视频编辑方法 深入分析了 inversion-free 编辑的两大失败模式（低频失配+高频抖动）并提出针对性解决方案 完全模型无关，可直接应用于任何 Text-to-Video Flow Model 在复杂编辑任务上首次达到 SOTA 实验结果 在动作修改、物体插入交互、全局效果添加等复杂编辑任务上达到 SOTA 大量实验验证了编辑的时间一致性和视觉质量 支持基于文本的精细化视频编辑控制 方法流程 输入视频+编辑Prompt — 原始视频 + 目标编辑指令 Inversion-Free 处理 — 不做反转，不干预模型 保持模型无关性 低频校准 — 修正色调/亮度偏移 恢复场景一致性 高频平滑 — 消除帧间闪烁 保持时间连贯 Flow Model 采样 — 预训练 T2V 模型 生成编辑结果 编辑输出 — 动作修改/物体插入 /全局效果 技术脉络 核心问题： 视频编辑中动作修改和动态交互编辑缺乏无训练解决方案 前序工作及局限： TokenFlow (2023)：训练无关但仅支持外观编辑，不能修改运动 FateZero (2023)：注意力操控但受限于结构保留编辑 Pix2Video (2023)：逐帧编辑但缺乏时间一致性保障 Rave (2024)：随机化注意力但不支持动态交互 与前序工作的本质区别： 首次通过 inversion-free 方法实现动作修改和物体交互编辑，深入分析并解决了低频失配和高频抖动两个核心问题 技术演进定位： 范式扩展——将无训练视频编辑从外观编辑推广到动作和动态编辑 可能的后续方向： 更长视频的动态编辑 物理一致性约束下的交互编辑 与 LLM 结合的多轮交互式编辑 批判性点评 实验评估： 定性实验涵盖动作修改、物体插入和全局效果三类复杂编辑。但缺少与 Fairy (2024) 等最新训练方法的定量对比。低频校准和高频平滑的消融实验有说服力。 新颖性： 从 failure mode 出发的方法设计思路清晰有力。inversion-free 加 frequency-aware correction 的组合是新颖的。创新性评分：★★★★☆ 可复现性： 方法描述清晰，依赖预训练 T2V Flow Model 即可运行。但不同 Flow Model 上的泛化性需要更多验证。 影响力： 影响力评分 4/5 — 将无训练编辑扩展到动态场景是重要突破，实用价值高。但受限于 T2V 模型的基础生成质量。 2. Identity as Presence: Appearance and Voice Personalized Joint Audio-Video Generation 身份感知联合音视频个性化生成 | arXiv:2603.17889 关键词： 音视频联合生成, 身份保持, 外观+声音, 多主体, 个性化 研究动机 近期进展已展示了将真实个体合成到生成视…

AIGC 每日速读|2026-03-19|EchoGen|TINA|AR-CoPO|
type: item
date: 2026-03-19T15:05:05+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-19) 人工智能炼丹师 整理 | 共 12 篇论文 | 重点深度解读 3 篇 今日核心看点 EchoGen: 循环 RL 统一生成理解 TINA: 概念擦除安全漏洞揭示 AR-CoPO: 流式视频 RLHF 对齐 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 12 篇，重点解读 3 篇。 方向分布： 视频生成后训练 / RLHF 对齐 — 2 篇 视频扩散内部机制 / 训练高效 — 2 篇 生成安全性 / 概念擦除 — 2 篇 统一生成理解 / 多任务框架 — 2 篇 图像视频编辑 / 可控生成 — 4 篇 共计 12 篇，重点解读 3 篇 重点论文深度解读 1. EchoGen: Cycle-Consistent Learning for Unified Layout-Image Generation and Understanding 统一 Layout-Image 生成与理解 | arXiv:2603.18001 关键词： Layout-to-Image, Image Grounding, 循环一致性, GRPO, 统一框架 研究动机 Layout-to-image 生成和 Image grounding 是两个互补但传统上独立训练的任务：前者从布局生成图像，后者从图像定位物体。生成任务具有强大的视觉创造力但布局准确性有限，而 grounding 任务具有精确的文本和布局理解能力但缺乏生成能力。联合训练可以互相补偿，但现有方法在优化时面临严重的任务冲突和性能受限问题。 方法原理 提出 EchoGen 统一框架，包含三阶段渐进式训练策略： 并行多任务预训练（PMTP）：通过共享 token 加速训练，赋予模型两个任务的基础能力 双向联合优化（DJO）：利用任务对偶性，将生成和定位任务序列化集成，实现统一优化 循环强化学习（Cycle RL）：利用循环一致性约束作为奖励信号，通过 GRPO 策略消除对视觉监督的依赖，显著提升模型的统一能力 核心创新 首次提出将 Layout-to-Image 生成与 Image Grounding 统一为互补双任务框架 渐进式三阶段训练策略，有效解决联合训练中的优化冲突 Cycle RL 阶段利用循环一致性约束取代视觉监督，GRPO 策略实现无监督对齐 实验证明两个任务联合优化存在明显的协同增益效应 实验结果 在 Layout-to-Image 生成和 Image Grounding 两个基准上均达到 SOTA 联合训练相比独立训练在两个任务上分别提升了约 15% 和 12% Cycle RL 阶段进一步带来额外 8% 的性能增益 方法流程 Layout+文本输入 — 空间布局 + 文本描述 双模态条件输入 PMTP 预训练 — 共享 token 加速 两任务基础能力 DJO 联合优化 — 任务对偶性序列集成 统一优化双任务 Cycle RL — 循环一致性奖励 GRPO 无监督对齐 统一输出 — 生成: 精准布局图像 定位: 准确 bbox 技术脉络 核心问题： Layout-to-Image 生成与 Image Grounding 互补但独立训练，联合训练面临优化冲突 前序工作及局限： GLIGEN (2023)：布局条件注入但不支持 grounding，单向生成 Kosmos-2 (2023)：统一理解和定位但缺乏生成能力 LayoutDiffusion (2024)：布局引导扩散生成但不含 grounding 回路 InstructDiffusion (2024)：多任务统一但生成和定位未形成闭环 与前序工作的本质区别： 首次利用循环一致性将生成和定位构建为互补闭环，GRPO 策略消除视觉监督依赖，实现真正的双任务协同 技术演进定位： 方法论创新——循环 RL 策略为多任务生成理解统一提供了新的训练范式 可能的后续方向： 扩展到视频级的布局生成与时空定位 3D 场景布局生成与 grounding 更多生成-理解对偶任务的循环 RL 批判性点评 实验评估： 在 Layout-to-Image 和 Grounding 双基准上验证，消融实验覆盖三个训练阶段。但缺少与最新 Layout-Diffusion 变体的全面对比，Cycle RL 的奖励信号设计可能对布局复杂度敏感。 新颖性： 循环一致性约束作为 RL 奖励是新颖的技术贡献，GRPO 在此场景的应用具有启发性。创新性评分：★★★★☆ 可复现性： 三阶段训练流程清晰，但各阶段的超参数转换点（何时切换阶段）需要更多细节。GRPO 的实现依赖特定的奖励函数设计。 影响力： 影响力评分 4/5 — 双任务协同增益的发现对统一模型设计有重要启示。循环 RL 策略可推广…

AIGC 每日速读|2026-03-18|Tri-Prompting|VeloEdit|LADR|
type: item
date: 2026-03-18T08:21:33+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-18) 人工智能炼丹师 整理 | 共 13 篇论文 | 重点深度解读 5 篇 今日核心看点 Tri-Prompting 统一控制 Anchor Forcing 流式视频 VeloEdit 速度场编辑 COT-FM 最优传输 LADR 扩散LLM加速 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 13 篇，重点解读 5 篇。 方向分布： 扩散模型理论与加速 — 3 篇 文本到图像 / 评测 — 2 篇 图像编辑 — 1 篇 3D 生成与重建 — 4 篇 多模态 / 智能体 — 2 篇 顶会收录： CVPR 2026 x 3 篇 + ICLR 2026 x 1 篇 重点论文深度解读 1. Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion 场景/主体/运动统一控制 | Adobe Research | arXiv:2603.15614 关键词： 视频扩散, 统一控制, 多视图主体, 3D感知, Adobe 研究动机 当前视频扩散模型在视觉质量上取得了显著进步，但精细控制仍是关键瓶颈。AI视频创作者需要三种关键控制：场景构图、多视图主体定制、和相机/物体运动调整。现有方法通常孤立处理这些维度，缺乏统一架构支持多维联合控制。 方法原理 提出 Tri-Prompting 统一框架和两阶段训练范式，集成场景构图、多视图主体一致性和运动控制。核心是双条件运动模块：使用 3D 跟踪点控制背景场景，使用下采样 RGB 线索控制前景主体。进一步提出推理时 ControlNet 尺度调度策略，平衡可控性与视觉真实感。支持 3D 感知主体插入任意场景、操纵图像中已有主体等全新工作流。 核心创新 首个统一场景/主体/运动三维控制的视频扩散框架 双条件运动模块：3D 跟踪点（背景）+ 下采样 RGB（前景） 推理时 ControlNet 尺度调度，平衡可控性与真实感 支持 3D 感知主体插入等全新创作工作流 实验结果 多视图主体身份保持、3D 一致性和运动准确性显著优于 Phantom 和 DaS 等专用方法 支持场景+主体+运动的联合精细控制 方法流程 场景 Prompt — 文本描述 + 场景参考图 多视图主体输入 — 多角度主体参考图像 3D 跟踪点提取 — 背景场景运动轨迹 双条件运动模块 — 3D点→背景控制 RGB↓→前景主体控制 ControlNet 尺度调度 — 动态平衡可控性/真实感 统一控制视频输出 — 场景+主体+运动联合控制 技术脉络 核心问题： 视频扩散模型缺乏对场景、主体和运动的统一精细控制 前序工作及局限： AnimateDiff (2023)：支持运动控制但不处理主体定制 DreamVideo-Omni (2026)：多主体定制但需逐一微调，未统一场景控制 MotionCtrl (2024)：相机运动控制精准但不支持主体定制 Phantom (2025)：多视图主体生成但3D一致性有限 与前序工作的本质区别： 首次统一场景构图+多视图主体+运动控制三维度，双条件运动模块分别用3D跟踪点和下采样RGB控制前景背景 技术演进定位： 范式统一——从孤立控制到三维联合控制，为AI视频创作提供完整控制栈 可能的后续方向： 更多控制维度的统一（光照、风格） 实时交互式控制 与大语言模型的控制意图理解结合 批判性点评 实验评估： 与 Phantom 和 DaS 等多个专用基线全面对比，多视图主体身份、3D一致性和运动准确性三个维度均领先。消融实验验证了双条件模块和尺度调度的必要性。 新颖性： 三维统一控制是视频生成的重要里程碑，但Adobe闭源可能限制学术影响。创新性：★★★★★ 可复现性： 代码未开源，项目页面已上线。Adobe内部实现可能难以完全复现。 影响力： 影响力 5/5 -- 定义了视频精细控制的完整框架，产业价值极高。 2. Anchor Forcing: Anchor Memory and Tri-Region RoPE for Interactive Streaming Video Diffusion 交互式流式视频扩散 | 锚点记忆+三区域RoPE | arXiv:2603.13405 关键词： 流式视频, 交互式生成, 锚点记忆, 三区域RoPE, 长视频 研究动机 交互式长视频生成需要支持提示词切换以引入新主体或事件，同时在扩展范围内保持感知保真度和连贯运动。现有蒸馏流式视频扩散模型通过滚动 KV 缓存实现长程生成，但存在两个核心失败模式：提示词切换时缓存维护无法同时保留语义上下文和近期潜在线索；蒸馏过程中无界时间索引导致位置…

AIGC生成 每日热点论文速读@20260317
type: item
date: 2026-03-17T08:20:53+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-17) 人工智能炼丹师 整理 | 共 13 篇论文 | 重点深度解读 5 篇 今日核心看点 无限视频生成 MemRoPE DiT 美学加速 2.11x 实时音视频联合 25FPS 四智能体组合生成 CVPR'26 多视图 GRPO 偏好对齐 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 13 篇，重点解读 5 篇。 方向分布： 扩散模型理论与加速 — 3 篇 文本到图像 / 评测 — 2 篇 图像编辑 — 1 篇 3D 生成与重建 — 4 篇 多模态 / 智能体 — 2 篇 顶会收录： CVPR 2026 x 3 篇 + ICLR 2026 x 1 篇 重点论文深度解读 1. MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens 无训练无限视频生成 | USC | arXiv:2603.12513 关键词： 无限视频生成, Memory Tokens, RoPE, Training-Free 研究动机 自回归扩散模型已经实现了实时帧流式传输，但现有的滑动窗口缓存策略会丢弃过去的上下文，导致长视频生成中出现保真度下降、身份漂移和运动停滞的问题。现有方法保留一组固定的早期 token 作为注意力汇，但这种静态锚点无法反映不断增长的视频内容的演变。 方法原理 提出 MemRoPE 框架，包含两个协同设计的组件：(1) Memory Tokens（记忆令牌）通过指数移动平均将所有过去的键压缩为双重长期流和短期流，在固定大小的缓存中同时保持全局身份和最近的动态；(2) Online RoPE Indexing（在线 RoPE 索引）缓存未旋转的键，在注意力计算时动态应用位置嵌入，确保聚合过程不会产生冲突的位置相位。两个机制相互促进：位置解耦使时间聚合定义明确，聚合使固定缓存可用于无限生成。 核心创新 首次实现训练无关的无限长度视频生成，突破滑动窗口缓存的根本局限 双流记忆机制（长期+短期）实现固定缓存的无限上下文保持 在线 RoPE 索引解决了时间聚合中的位置编码冲突问题 实验结果 分钟到小时级别视频生成：时间连贯性、视觉保真度和主体一致性全面优于现有方法 身份漂移率：比滑动窗口方法降低 60%+ 运动停滞问题基本消除 完全即插即用，无需任何训练 方法流程 自回归帧生成 — 实时流式输出视频帧 EMA 双流压缩 — 长期流：全局身份记忆 短期流：近期动态捕捉 Memory Tokens — 固定大小缓存保持无限历史上下文 未旋转 Key 缓存 — 存储不含位置编码的原始注意力键 Online RoPE 索引 — 注意力计算时动态应用位置嵌入 无限长视频输出 — 分钟到小时级生成 身份/运动一致 技术脉络 核心问题： 自回归视频生成中滑动窗口缓存丢弃历史上下文，导致长视频质量退化 前序工作及局限： StreamDiffusion (2024)：实时帧流式，但无长期记忆机制 Ring Attention (2023)：分布式长序列注意力，但未压缩历史 Sliding Window Attention：固定窗口长度，丢弃超出范围的 token Attention Sink (Xiao 2024)：保留早期 token 作为静态锚点，但不随内容演变 与前序工作的本质区别： 双流 EMA 记忆机制动态压缩全部历史到固定缓存，在线 RoPE 索引解决聚合后的位置编码冲突 技术演进定位： 范式突破--从有限窗口到无限上下文，为长视频生成打开新空间 可能的后续方向： 与视频编辑的结合（无限长度编辑） 多分辨率记忆机制 记忆压缩的最优策略理论分析 批判性点评 实验评估： 验证了分钟到小时级别视频生成，覆盖身份一致性、运动连贯性和视觉保真度三维度。消融实验设计合理。 新颖性： 双流 EMA 记忆压缩与在线 RoPE 索引的组合全新。创新性：★★★★★ 可复现性： 方法描述清晰，项目页面已上线但代码尚未开源。 影响力： 影响力 5/5 -- 无限视频生成是产业刚需。 2. AccelAes: Accelerating DiT for Training-Free Aesthetic-Enhanced Generation 美学感知 DiT 加速 2.11x | Sydney | arXiv:2603.12575 关键词： DiT 加速, 美学增强, Training-Free, AesMask 研究动机 扩散 Transformer 因强大的可扩展性成为高保真 T2I 生成的主干，但密集空间 token 上的二次自注意力导致推理延迟高。关键发现：去噪在空间上是不均匀的——与美学描述符关联的区…

AIGC生成 每日热点论文速读@20260316
type: item
date: 2026-03-16T09:25:08+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-16) 人工智能炼丹师 整理 | 共 13 篇论文 | 重点深度解读 5 篇 今日核心看点 DiT 弹性加速 ELIT: FID +35% 多主体视频定制 + 全方位运动控制 视觉生成 RLHF: 66 万评分数据开源 电影级多镜头相机控制 ShotVerse 扩散模型内源思维链推理 92.1% 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 13 篇，重点解读 5 篇。 方向分布： 扩散模型理论与加速 — 3 篇 文本到图像 / 评测 — 2 篇 图像编辑 — 1 篇 3D 生成与重建 — 4 篇 多模态 / 智能体 — 2 篇 顶会收录： CVPR 2026 x 3 篇 + ICLR 2026 x 1 篇 重点论文深度解读 1. ELIT: Elastic Latent Interfaces for Diffusion Transformers 弹性潜在接口 | Snap Research | DiT 通用加速 | arXiv:2603.12245 关键词： DiT 加速, 弹性推理, 跨架构通用, Snap Research 研究动机 Diffusion Transformer (DiT) 的计算量与图像分辨率强绑定，无法灵活地在延迟与质量之间做权衡。更关键的是，DiT 对所有空间位置均匀分配计算资源，忽视了不同区域的重要性差异，导致大量算力浪费在低信息量区域。 方法原理 提出 ELIT (Elastic Latent Interface Transformer)：在 DiT 架构中插入一组可学习的、长度可变的潜在 Token 序列作为「潜在接口」。标准 Transformer 块在这组潜在 Token 上运算，而非直接处理空间 Token。通过轻量的 Read/Write 跨注意力层在空间 Token 和潜在 Token 之间传递信息，并自动优先处理重要区域。训练时随机丢弃尾部潜在 Token，迫使模型学会按重要性排序表示——前部 Token 编码全局结构，后部 Token 负责细节精修。推理时可动态调整潜在 Token 数量以匹配算力预算。 核心创新 即插即用：仅增加两个跨注意力层，不修改 DiT 主体和 rectified flow 训练目标 重要性排序表示：通过尾部 Token 随机丢弃训练，自动学习全局到细节的分层编码 跨架构通用：兼容 DiT、U-ViT、HDiT、MM-DiT 四种主流架构 动态推理预算：同一个模型适配从低算力到高算力的多种部署场景 实验结果 ImageNet-1K 512px: FID 提升 35.3%, FDD 提升 39.6% 跨架构验证: DiT, U-ViT, HDiT, MM-DiT 均有一致增益 算力节省: 潜在 Token 数减半时质量仅微降，实现接近 2x 加速 方法流程 输入空间 Token — 图像/视频的空间特征序列 Read Cross-Attn — 空间 Token -> 潜在 Token 自动聚焦重要区域 潜在 Token 序列 — 可变长度 重要性排序 DiT Transformer 块 — 标准 Self-Attention + FFN Write Cross-Attn — 潜在 Token -> 空间 Token 信息回写 弹性输出 — 根据算力预算截断尾部 技术脉络 核心问题： DiT 计算量与分辨率强绑定，无法灵活权衡延迟与质量 前序工作及局限： Token Merging：合并相似 token 但损失信息 JiT：动态跳过但仍在空间 token 上运算 Perceiver：潜在 token 但未针对扩散优化 DiTFastAttn：固定模式稀疏化 与前序工作的本质区别： 将空间 token 和计算完全解耦，通过可学习潜在接口实现按重要性排序的信息压缩 技术演进定位： 范式创新——从在空间 token 上省计算转变为在潜在接口上做计算 可能的后续方向： 与 token 合并/跳过组合 视频 DiT 时空弹性接口 与 KV 缓存压缩联合优化 批判性点评 实验评估： 跨 4 种 DiT 架构验证扎实。但缺少真实 T2I 模型端到端评估。 新颖性： 潜在接口+重要性排序+弹性推理是扎实新贡献。创新性：4/5 可复现性： 方法清晰架构改动最小。 影响力： 影响力 5/5 — 一个模型多预算对工业部署极有价值。 2. DreamVideo-Omni: Multi-Subject Video Customization with Omni-Motion Control 全方位运动控制视频定制 | 潜在身份强化学习 | arXiv:2603.12257 关键词： 视频定制, 多主体, 运动控制,…

AIGC 周末专题深度解读：生成与理解的大一统之路
type: item
date: 2026-03-15T10:43:00+08:00
description: AIGC 周末专题深度解读：生成与理解的大一统之路 人工智能炼丹师 整理 | 2026年3月15日（周日） 覆盖时间：2026年3月2日 — 2026年3月14日 本期概述 本周 AIGC 领域最热门的方向莫过于统一多模态模型（Unified Multimodal Models, UMMs）——将视觉理解（图像识别、VQA、推理）与视觉生成（文生图、图像编辑）统一在同一个模型框架内。过去一周内，arXiv 上涌现了超过 8 篇高质量论文，从架构设计、训练范式、评测基准、长序列生成到强化学习后训练，全方位推动了这一方向的发展。 核心问题 传统的多模态 AI 系统中，"理解"和"生成"是两套独立的系统： 理解侧：CLIP、SigLIP、InternVL 等模型擅长视觉语义理解 生成侧：Stable Diffusion、DALL-E、FLUX 等模型擅长图像生成 统一多模态模型的目标是让同一个模型既能"看懂"图片，又能"画出"图片，甚至让两种能力相互促进。 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 DREAM MIT + Amazon 联合判别-生成训练框架，Masking Warmup + 语义对齐解码 2603.02667 2 GvU (CVPR 2026) 北大 + 百度 理解驱动内在奖励，自监督 RL 缩小生成-理解差距 2603.06043 3 Omni-Diffusion 腾讯 + CASIA 首个全离散扩散统一模型，文本+语音+图像 any-to-any 2603.06577 4 InternVL-U 上海AI Lab + 商汤 4B 参数统一模型，CoT 推理增强生成，超越 14B 基线 2603.09877 5 UniCom 阿里达摩院 压缩连续语义表征，Transfusion 架构，SOTA 生成 2603.10702 6 UniG2U-Bench 多机构联合 首个系统性 G2U 评测基准，7 种机制 30 个子任务 2603.03241 7 UniLongGen Adobe + PolyU 长序列交错生成的主动遗忘策略，解决视觉污染 2603.07540 8 GRPO-Interleaved 华为 + 复旦 GRPO 扩展到多模态交错生成，过程级奖励 2603.09538 1. DREAM：视觉理解与文生图的联合优化框架 论文: DREAM: Where Visual Understanding Meets Text-to-Image Generation arXiv: 2603.02667 机构: MIT CSAIL, Amazon 发布日期: 2026年3月3日 1.1 研究动机 在多模态学习中，视觉理解（如 CLIP 的对比学习）和图像生成（如 MAE 的掩码重建）一直是两个独立的优化目标。直接联合训练会导致两个目标相互冲突——对比学习需要低掩码率保留全局语义，而生成训练需要高掩码率学习重建。 1.2 方法原理 DREAM 提出了两项关键技术来解决这一矛盾： （1）Masking Warmup（掩码预热）策略 训练分为两个阶段： 预热阶段：掩码率从低（~15%）逐渐增加，先建立对比对齐的表征空间 生成阶段：掩码率增加到高（~75%），在已有的稳定表征上训练生成能力 这种渐进式调度避免了"同时从零开始学两件事"的不稳定性。 （2）Semantically Aligned Decoding（语义对齐解码） 推理时，模型生成多个部分掩码的候选图像，然后用模型自身的理解分支计算每个候选与目标文本的语义对齐分数，选择最佳候选继续解码。这相当于在不引入外部重排序器的情况下，用理解能力"把关"生成质量。 1.3 实验结果 仅在 CC12M（1200 万图文对）上训练： ImageNet 线性探测：72.7%（比 CLIP 高 1.1%） FID：4.25（比 FLUID 低 6.2%） 文本-图像保真度提升 6.3%（无需外部重排序器） 1.4 关键洞察 DREAM 证明了判别目标和生成目标之间存在协同效应，而非简单的零和竞争。关键在于训练策略的设计——让模型先学好"看"，再学"画"。 2. GvU：理解驱动的内在奖励机制（CVPR 2026） 论文: Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models arXiv: 2603.06043 机构: 北京大学, 百度 发布日期: 2026年3月6日 | 会议: CVPR 2026 2.1 研究动机 现有的统一多模态模型存在一个显著的"能力不对称"问题：理解能力强，生成能力弱。模型能准确…