人工智能炼丹师 - AIGC论文速读 - 多模态
type: channel
link: https://jefxiong.cn/index.php/tag/多模态/
items: AIGC 每日速读|2026-04-21|Qwen3.5-Omni全模态215项SOTA
items: AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
items: AIGC 每日速读|2026-04-03|Dynin-Omni|OmniVoice
items: AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化

AIGC 每日速读|2026-04-21|Qwen3.5-Omni全模态215项SOTA
type: item
date: 2026-04-21T14:43:11+08:00
description: 今日核心看点 全模态215项SOTA(Qwen3.5-Omni) 音视频联合生成(Seedance 2.0) ImageNet生成新纪录(GRN) 灵活视频Token化(VideoFlexTok) 推理式奖励模型(RationalRewards) 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 全模态理解与生成一体化: 3篇 (Qwen3.5-Omni, Audio-Omni, Seedance 2.0) 图像生成与风格迁移: 2篇 (GRN, MAST) 视频生成推理加速: 2篇 (PASA, EfficientVideoDiffusion综述) 视频Token化与高效表示: 1篇 (VideoFlexTok) 视觉生成评测与奖励模型: 1篇 (RationalRewards) 矢量动画生成: 1篇 (LottieGPT) 重点论文深度解读 1. Qwen3.5-Omni 通义千问新旗舰——百亿参数全模态理解与生成一体化，215项评测SOTA | Alibaba | arXiv:2604.15804 关键词： 全模态模型, 生成理解一体化, Thinker-Talker, TMRoPE, 音视频交互, MoE, SOTA 研究动机 核心问题： 如何在单一模型中同时实现文本/图像/视频/音频的顶级理解与生成能力 现有多模态大模型通常在某些模态上表现优异但在其他模态上性能退化，难以做到'全能不偏科'。以往的全模态模型要么理解强但生成弱，要么文本强但语音弱。Qwen团队希望构建一个真正统一的端到端模型，同时实现所有模态的顶级理解与生成能力，特别是实时流式语音交互——这对于下一代人机交互至关重要。前代Qwen2.5-Omni虽然开创了Thinker-Talker架构，但在模型规模和多模态推理深度上仍有提升空间。Qwen3.5-Omni将模型规模扩展到百亿参数级别，并在训练方法论上做出重大改进。 前序工作及局限： GPT-4o：开创端到端全模态交互，但闭源且细节未公开 Gemini Pro系列：Google全模态模型，多模态理解强但音频生成相对弱 Qwen2.5-Omni：首创Thinker-Talker架构，但模型规模和性能有提升空间 Mixtral MoE：MoE在语言模型中的成功应用，启发了多模态场景的专家设计 与前序工作的本质区别： 首个在所有模态上同时达到SOTA且无偏科的全模态模型，TMRoPE时间对齐和MoE理解/生成分离是关键创新 方法原理 Qwen3.5-Omni采用Thinker-Talker双核架构设计： (1) Thinker模块（大脑）：接收文本、图像、视频、音频等多模态输入，使用统一的Transformer编码器处理所有模态。视觉编码器和音频编码器均采用分块处理(block-wise)策略实现实时流式输入。输出高层语义表征和对应文本内容。引入MoE混合专家机制，为理解和生成任务分配独立专家组。 (2) Talker模块（发声器官）：以流式方式接收Thinker实时输出的语义表征和文本token，流畅合成离散语音单元(speech tokens)，再通过解码器转换为自然语音波形。整个过程是端到端的，延迟极低。 (3) TMRoPE位置编码：创新性地在RoPE基础上引入时间对齐机制，使视频帧和音频片段在同一时间轴上精准对齐。这对于理解音视频同步内容（如带字幕的视频、会议录音配PPT）至关重要。 (4) 三阶段预训练：第一阶段视觉与音频编码器独立训练；第二阶段联合全参数训练与多模态整合；第三阶段长序列数据训练提升理解能力。后训练阶段对Thinker和Talker分别进行SFT和DPO优化。 (5) 模型系列包含Base和Plus两个版本，Plus版本进一步增大参数量和训练数据。 核心创新 提出Qwen3.5-Omni，新一代全模态大模型，首次在文本/图像/视频/音频四模态理解与生成中同时达到SOTA 采用Thinker-Talker双核架构：Thinker负责多模态推理生成高层语义表征，Talker以流式方式合成自然语音 提出TMRoPE(Time-aligned Multimodal RoPE)位置编码，通过时间轴对齐实现音视频输入精准同步 引入MoE混合专家设计，在推理和生成各自使用独立专家组，避免能力冲突 Qwen3.5-Omni-Plus在215项音频和音视频理解/推理/交互子任务上达到SOTA，超越Gemini-3.1 Pro 支持256K超长上下文窗口，113种语言识别，完全实时的音视频交互 实验结果 Qwen3.5-Omni-Plus性能亮点： 音频理解：在215项音频和音视频理解/推理/交互子任务和基准上达到SOTA，在关键音频任务上超越Gem…

AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
type: item
date: 2026-04-05T02:15:00+08:00
description: AIGC 周末专题深度解读：视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理 人工智能炼丹师 整理 | 2026年4月4日（周六） 覆盖时间：2026年3月29日 — 2026年4月4日 本期概述 本期 AIGC 周末专题聚焦视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理方向，精选 6 篇代表性论文进行深度解读。 方向分布： 统一视频生成框架 — 1篇 长视频生成 — 1篇 物理一致性与几何对齐 — 1篇 高效少步训练 — 1篇 多镜头流式叙事 — 1篇 角色一致性生成 — 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 OmniWeaving Tencent Hunyuan, Zhejiang University 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输 2603.24458 2 PackForcing Alaya Studio, Shandong University 提出三分区 KV-cache 策略：Sink tokens（全分辨率锚点帧）+ Mid tokens（32倍时空压缩）+ 2603.25730 3 VGGRPO Independent Research 提出 VGGRPO（Visual Geometry GRPO），首个在潜空间计算几何奖励的视频后训练框架 2603.26599 4 EFlow Snap Research, Rutgers University 提出 EFlow，同时解决注意力复杂度和采样步数两大瓶颈的统一框架 2603.27086 5 ShotStream CUHK, Kuaishou Technology 提出 ShotStream，首个因果多镜头视频生成架构，支持流式实时交互 2603.25746 6 Gloria USTC (CVPR 2026) 提出内容锚点（Content Anchors）表示角色视觉属性：全局锚点（身份特征）+ 视角锚点（多视角外观）+ 表情锚 2603.29931 1. OmniWeaving：统一视频生成：自由组合与推理驱动的全能框架 论文: OmniWeaving arXiv: 2603.24458 机构: Tencent Hunyuan, Zhejiang University 1.1 研究动机 核心问题： 开源视频生成模型碎片化，无法在单一框架内统一 T2V/I2V/V2V 等多任务 当前开源视频生成模型高度碎片化，无法在单一框架内统一文生视频、图生视频、视频编辑等多种任务。商业系统（如 Seedance-2.0）遥遥领先，开源社区急需一个全能统一方案。 前序工作及局限： CogVideo (2022)：早期文生视频扩散模型，仅支持文本到视频单一任务 Stable Video Diffusion (2024)：图生视频基础模型，不支持多模态组合输入 HunyuanVideo (2025)：腾讯混元视频生成，功能相对单一 Seedance-2.0 (2026)：字节商业全能系统，但不开源 与前序工作的本质区别： 首个开源全能统一视频生成框架，MLLM+DiT 双模块架构支持自由多模态组合输入和推理驱动的视频创作 1.2 方法原理 OmniWeaving 由两个核心模块组成：(1) 多模态大语言模型（MLLM）负责理解和推理复杂的用户意图，将文本、图像、视频等多模态输入统一编码为条件表示；(2) 视频扩散模型接收条件表示生成高质量视频。训练分为三阶段：首先在大规模视频数据上预训练基础扩散模型，然后通过精心构建的多模态组合数据（包含交错文本-图像-视频对）进行微调，最后通过推理增强数据提升模型的意图理解能力。关键创新在于训练数据构建管线：自动从海量视频中提取多模态组合场景，生成需要推理才能完成的复杂视频创作任务。 1.3 核心创新 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输入 构建大规模多模态组合与推理增强训练数据集，学习在时间维度上绑定交错的多模态输入 引入 IntelligentVBench 综合评测基准，首个面向智能统一视频生成的严格评测体系 在开源统一模型中达到 SOTA，代码和模型完全开源 1.4 实验结果 在文生视频（T2V）、图生视频（I2V）、视频到视频（V2V）等多个任务上均达到开源 SOTA。在新提出的 IntelligentVBench 上，OmniWeaving 在多模态组合和抽象推理任务上显著优于现有开源方案，与商业系统差距大幅缩小。 1.5 关键洞察 训练数据构建管线依赖大量自动化标注，数据质量可能存在噪声。Intelligen…

AIGC 每日速读|2026-04-03|Dynin-Omni|OmniVoice
type: item
date: 2026-04-03T08:40:42+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-04-03) 人工智能炼丹师 整理 | 共 10 篇论文 | 重点深度解读 1 篇 今日核心看点 全模态统一 掩码扩散 600+语言TTS Mamba-TTS 智能调色 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 10 篇，重点解读 1 篇。 方向分布： 生成理解一体化模型 — 3 篇 音频/语音生成 — 4 篇 图片生成与编辑 — 2 篇 生成模型评测 — 1 篇 重点论文深度解读 1. Dynin-Omni 全模态统一大扩散语言模型：首个掩码扩散全模态基础模型 | Seoul National University (AIDAS Lab) | arXiv:2604.00007 关键词： 全模态统一, 掩码扩散, 文本/图像/视频/语音, 理解+生成一体化, 模态解纠缠合并 研究动机 核心问题： 如何在单一架构中原生统一文本、图像、视频、语音的理解与生成，避免自回归序列化瓶颈和组合式模型的外部依赖 当前全模态统一模型存在两条路线：自回归模型需要序列化异构模态导致效率低下，组合式模型依赖外部解码器增加系统复杂度。Dynin-Omni 提出用原生掩码扩散在共享离散token空间上统一文本、图像、视频、语音的理解与生成，实现真正的 any-to-any 建模。 前序工作及局限： LLaDA：纯文本掩码扩散语言模型，证明掩码扩散可做文本生成但不支持多模态 MMaDA：扩展到文本+图像统一，但缺少视频理解和语音能力 Qwen2.5-Omni：自回归全模态模型，但序列化异构模态效率低下 Seed-X/HyperCLOVAX：组合式统一模型，依赖外部模态特定生成器增加复杂度 与前序工作的本质区别： 用原生掩码扩散替代自回归或组合式架构，通过共享离散token空间和模态感知解码策略实现真正的any-to-any建模 方法原理 Dynin-Omni 的核心是将所有模态（文本、图像、视频、语音）映射到统一的离散token空间，通过掩码扩散进行训练和推理。文本使用标准分词器（词汇量126K），图像使用MAGVIT-v2风格VQ分词器（码本8192），视频复用图像分词器处理均匀采样帧，语音使用EMOVA S2U编码器+FSQ量化（码本4096）。训练分三阶段：阶段1通过视频字幕/ASR/TTS任务对齐新模态，阶段2引入模态解纠缠合并（Modality-Disentangled Merging）避免灾难性遗忘后进行全模态SFT，阶段3引入CoT推理数据和高分辨率图像提升高级能力。推理时采用模态感知解码策略：文本和语音用块状并行解码，图像用全并行解码，配合置信度重掩码机制迭代细化。 核心创新 首个原生掩码扩散全模态基础模型，单一架构统一文本/图像/视频/语音的理解与生成 模态解纠缠合并（Modality-Disentangled Merging）策略，解决多阶段训练中的灾难性遗忘 全模态离散token空间统一设计，无需外部模态特定生成器 模态感知解码策略：图像全并行、文本/语音块状并行，兼顾质量和效率 个基准测试全面超越现有开源统一模型，与模态特定专家系统竞争力相当 实验结果 在19个多模态基准上全面评测：文本推理 GSM8K 87.6、MATH 49.6；图像理解 MME-P 1733.6；视频理解 VideoMME 61.4；语音识别 LibriSpeech test-clean WER 2.1；图像生成 GenEval 0.87、DPG-Bench 86.3；图像编辑 ImgEdit 3.77；TTS WER 2.1。全面超越 HyperCLOVAX-Omni、Show-o2、BAGLE 等同类统一模型。消融实验证明模态解纠缠合并策略在第一阶段显著降低了各任务的训练损失。 图表详解 全模态架构对比：三种统一建模范式 对比了三种全模态建模范式：(a)感知中心模型如Qwen2.5-omni只做理解不做生成；(b)组合式模型如Seed-X需要外部生成器；(c)Dynin-Omni的原生统一模型，单一LLM同时支持理解和生成任务，无需外部模态特定解码器。 全模态性能对比：理解与生成双维度 展示Dynin-Omni在7个核心基准上与HyperCLOVAX-Omni、Qwen2.5-Omni、Show-o2、BAGLE的对比。理解维度：GSM8K 87.6、MME 1734、VideoMME 61.4；生成维度：GenEval 87.0、ImgEdit 3.77、TTS 97.9。 采样步数消融：不同任务的步数-性能曲线 四个子图展示GSM8K、GenEval、DPGBench、ImgEdit随采样步数的性能变化。文本推理需512+步才收敛，图像生成32-64步饱和，图像编辑8-32步即可…

AIGC 周末专题|2026-03-28|视觉生成后训练与偏好优化
type: item
date: 2026-03-28T08:22:20+08:00
description: AIGC 视觉生成领域 · 每日论文解读 (2026-03-28) 人工智能炼丹师 整理 | 共 9 篇论文 | 重点深度解读 8 篇 今日核心看点 UniGRPO 统一后训练 FIRM 忠实奖励建模 EditHF-1M 29M偏好对 MV-GRPO 多视图评估 VIGOR 视频几何奖励 VHS CVPR2026 推理扩展 TATAR 不对称奖励 SeGroS 语义锚定监督 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 9 篇，重点解读 8 篇。 方向分布： 后训练框架: UniGRPO(统一多模态后训练), MV-GRPO(多视图GRPO), SeGroS(语义锚定监督) 奖励模型与评估: FIRM(编辑+生成), EditHF-1M(29M偏好对), VIGOR(视频几何), TATAR(质量+美学), VHS(潜在验证器) 重点论文深度解读 1. UniGRPO 统一策略优化实现推理驱动视觉生成 | 上海AI Lab/港中文 | Shanghai AI Lab, CUHK | arXiv:2603.23500 关键词： 统一后训练, GRPO, 推理驱动生成, Flow Matching, 交错生成 研究动机 核心问题： 统一多模态模型（自回归文本+Flow Matching图像）缺乏后训练方法 统一多模态模型正朝着交错生成（interleaved generation）发展——自回归建模文本、Flow Matching 建模图像。然而，如何对这种混合架构进行强化学习后训练？现有 GRPO 只针对单一模态，且 FlowGRPO 依赖 Classifier-Free Guidance（CFG）导致轨迹分叉，难以扩展到多轮交互场景。核心挑战是：如何在一个统一的 RL 框架中同时优化推理（文本）和生成（图像）两个阶段的策略？ 前序工作及局限： GRPO (DeepSeek 2025)：大语言模型的群体相对策略优化 FlowGRPO (2026)：将GRPO扩展到Flow Matching视觉生成 Transfusion (Meta 2024)：统一自回归+扩散的多模态架构 与前序工作的本质区别： UniGRPO首次统一优化文本推理和图像合成，消除CFG保持线性轨迹 方法原理 UniGRPO 将多模态生成建模为稀疏终端奖励的马尔可夫决策过程（MDP），联合优化文本推理和图像合成两个阶段。框架采用极简设计原则：(1) 文本推理阶段使用标准 GRPO，让模型学会扩展用户提示为详细推理链；(2) 图像合成阶段使用 FlowGRPO，在 Flow Matching 的速度场上进行策略优化。关键改进有两点：第一，消除 Classifier-Free Guidance（CFG），保持线性、未分叉的生成轨迹，这对多轮交互和多条件生成（如编辑）至关重要；第二，将标准的潜空间 KL 惩罚替换为直接作用于速度场的 MSE 惩罚，提供更鲁棒的正则化信号，有效缓解 Reward Hacking。两种模态的优化通过统一的 MDP 框架无缝集成。 核心创新 首个统一的多模态生成后训练框架：联合优化自回归文本推理和 Flow Matching 图像合成 消除 CFG 保持线性轨迹：使框架可扩展到多轮交错生成场景 速度场 MSE 正则化替代 KL 惩罚：直接在速度场空间约束策略偏移，更鲁棒地防止 Reward Hacking 极简设计原则：无缝集成标准 GRPO + FlowGRPO，避免过度工程化 为完全交错式多模态模型的后训练建立了可扩展基线 实验结果 实验表明，UniGRPO 的统一训练方案显著提高了推理驱动图像生成的质量。在标准评估基准上，文本推理质量和图像生成保真度均获得一致提升。消除 CFG 后的模型在多轮交互场景中表现更稳定，MSE 速度场正则化有效避免了训练后期的 Reward Hacking 现象。该框架为未来完全交错模型的后训练提供了鲁棒且可扩展的基线。 批判性点评 新颖性： 首次将GRPO统一应用于文本推理+图像Flow Matching的交错生成，消除CFG保持线性轨迹的设计优雅且实用。但概念上是GRPO和FlowGRPO的自然组合，原创突破性有限。 可复现性： 基于开源Janus-Pro-7B模型，论文提供了完整的算法伪代码和超参数设置。但训练使用80张H100，资源门槛较高。代码和模型权重已开源。 影响力： 为统一多模态模型的后训练建立了可扩展基线，对Chameleon、Transfusion等架构有直接参考价值。极简设计降低了社区跟进门槛。 深度点评： GRPO 全面入侵视觉生成 — 从 UniGRPO 到 MV-GRPO 到 TATAR，GRPO 已成为视觉生成后训练的标准范式 百万级偏好数据 — EditHF-1…