人工智能炼丹师 - AIGC论文速读 - 扩散模型
type: channel
link: https://jefxiong.cn/index.php/tag/扩散模型/
items: AIGC 每日速读|2026-04-28|20FPS实时数字人Hallo-Live
items: AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
items: AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|

AIGC 每日速读|2026-04-28|20FPS实时数字人Hallo-Live
type: item
date: 2026-04-28T11:52:40+08:00
description: 今日核心看点 Hallo-Live 20FPS实时 Z²零成本采样 REDEdit无掩码编辑 V-GRPO偏好对齐 EAD-Net情感Talking Head 今日概览 共 10 篇 | 覆盖 4 个方向 | 含 Fudan / ETH / MIT / Baidu 等机构 方向 篇数 代表论文 视频/数字人 5 Hallo-Live(实时流式)、Talker-T2AV、EAD-Net、BurstGP、MotionHiFlow 采样优化 2 Z2-Sampling(零成本锯齿)、Oracle Noise(球面对齐) 图片编辑 2 REDEdit(无掩码局部编辑)、Geometry-Conditioned Diffusion 模型对齐 1 V-GRPO(在线RL偏好对齐) 今日论文速览 1. Hallo-Live：提出 Hallo-Live 框架 Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation | Shanghai Innovation Institute, Fudan University, University of Science and Technology of China, Nanjing University, Baidu 关键词： 实时生成, 音视频数字人, 双流扩散, 偏好蒸馏 前序工作问题： 现有音视频扩散模型推理速度太慢，无法满足实时交互式数字人生成的需求，激进加速后质量严重退化。 贡献： 提出 Hallo-Live 框架，通过异步双流扩散架构（视频流与音频流独立去噪 + Future-Expanding Attention）和以人为本偏好蒸馏（HP-DMD），实现首个实时流式联合音视频数字人生成。 效果： 在两块 H200 GPU 上达到 20.38 FPS、0.94 秒延迟，较教师模型吞吐量提升 16 倍、延迟降低 99.3 倍。VideoAlign 整体分数和 Sync 分数均超越教师模型。 批判点评： 双H200的硬件门槛不低，20FPS实时性令人印象深刻但工程复杂度高，偏好蒸馏的泛化性有待更多场景验证 2. BurstGP：提出 BurstGP BurstGP: Enhancing Raw Burst Image Super Resolution with Generative Priors | ETH 关键词： 突发超分, 扩散先验, 退化感知 前序工作问题： 传统 Burst 超分方法在复杂纹理上过度平滑，难以从多帧低分辨率图像重建精细视觉细节。 贡献： 提出 BurstGP，利用预训练视频扩散模型的生成先验来增强多帧突发（Burst）图像超分辨率，解决传统方法在复杂纹理上过度平滑的问题。 效果： 引入退化感知条件机制控制细节合成力度，以及鲁棒的 sRGB-to-lRGB 反转模块以利用视频先验。在感知指标（MUSIQ、LPIPS）上达到 SOTA，纹理恢复和结构细节显著提升。 批判点评： 视频扩散先验用于Burst超分思路新颖，但退化感知机制的鲁棒性在极端退化场景下可能受限 3. $Z^2$-Sampling：理论证明 Z-Sampling 的显式锯齿轨迹可拓扑约简 $Z^2$-Sampling: Zero-Cost Zigzag Trajectories for Semantic Alignment in Diffusion Models | MIT, ETH 关键词： 采样优化, CFG增强, 零成本 前序工作问题： 标准 CFG 仅利用瞬时梯度，忽略历史去噪轨迹中的语义对齐信息，限制了扩散模型的生成质量。 贡献： 理论证明 Z-Sampling 的显式锯齿轨迹可拓扑约简，提出 Z²-Sampling（零成本锯齿采样），在不增加 NFE 开销的情况下显著提升扩散模型的语义对齐质量。 效果： 利用概率流 ODE 的时间连续性，将隐式代数坍缩与动态缓存结合，零额外计算成本实现与 Z-Sampling 相当的语义对齐提升，消除离流形评估误差。 批判点评： 零成本提升语义对齐的理论贡献扎实，但实际增益幅度需看具体任务和模型架构 4. Oracle Noise：提出 Oracle Noise 方法 Oracle Noise: Faster Semantic Spherical Alignment for Interpretable Latent Optimization | MIT, ETH 关键词： 噪声优化, 球面对齐, 语义增强 前序工作问题： 文生图扩散模型在复杂…

AIGC 周末专题|2026-04-04|视频生成前沿|统一框架|长视频|物理一致性
type: item
date: 2026-04-05T02:15:00+08:00
description: AIGC 周末专题深度解读：视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理 人工智能炼丹师 整理 | 2026年4月4日（周六） 覆盖时间：2026年3月29日 — 2026年4月4日 本期概述 本期 AIGC 周末专题聚焦视频生成与编辑前沿：从统一框架到长视频、物理一致性与高效推理方向，精选 6 篇代表性论文进行深度解读。 方向分布： 统一视频生成框架 — 1篇 长视频生成 — 1篇 物理一致性与几何对齐 — 1篇 高效少步训练 — 1篇 多镜头流式叙事 — 1篇 角色一致性生成 — 1篇 本期论文一览 # 论文 机构 核心贡献 arXiv ID 1 OmniWeaving Tencent Hunyuan, Zhejiang University 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输 2603.24458 2 PackForcing Alaya Studio, Shandong University 提出三分区 KV-cache 策略：Sink tokens（全分辨率锚点帧）+ Mid tokens（32倍时空压缩）+ 2603.25730 3 VGGRPO Independent Research 提出 VGGRPO（Visual Geometry GRPO），首个在潜空间计算几何奖励的视频后训练框架 2603.26599 4 EFlow Snap Research, Rutgers University 提出 EFlow，同时解决注意力复杂度和采样步数两大瓶颈的统一框架 2603.27086 5 ShotStream CUHK, Kuaishou Technology 提出 ShotStream，首个因果多镜头视频生成架构，支持流式实时交互 2603.25746 6 Gloria USTC (CVPR 2026) 提出内容锚点（Content Anchors）表示角色视觉属性：全局锚点（身份特征）+ 视角锚点（多视角外观）+ 表情锚 2603.29931 1. OmniWeaving：统一视频生成：自由组合与推理驱动的全能框架 论文: OmniWeaving arXiv: 2603.24458 机构: Tencent Hunyuan, Zhejiang University 1.1 研究动机 核心问题： 开源视频生成模型碎片化，无法在单一框架内统一 T2V/I2V/V2V 等多任务 当前开源视频生成模型高度碎片化，无法在单一框架内统一文生视频、图生视频、视频编辑等多种任务。商业系统（如 Seedance-2.0）遥遥领先，开源社区急需一个全能统一方案。 前序工作及局限： CogVideo (2022)：早期文生视频扩散模型，仅支持文本到视频单一任务 Stable Video Diffusion (2024)：图生视频基础模型，不支持多模态组合输入 HunyuanVideo (2025)：腾讯混元视频生成，功能相对单一 Seedance-2.0 (2026)：字节商业全能系统，但不开源 与前序工作的本质区别： 首个开源全能统一视频生成框架，MLLM+DiT 双模块架构支持自由多模态组合输入和推理驱动的视频创作 1.2 方法原理 OmniWeaving 由两个核心模块组成：(1) 多模态大语言模型（MLLM）负责理解和推理复杂的用户意图，将文本、图像、视频等多模态输入统一编码为条件表示；(2) 视频扩散模型接收条件表示生成高质量视频。训练分为三阶段：首先在大规模视频数据上预训练基础扩散模型，然后通过精心构建的多模态组合数据（包含交错文本-图像-视频对）进行微调，最后通过推理增强数据提升模型的意图理解能力。关键创新在于训练数据构建管线：自动从海量视频中提取多模态组合场景，生成需要推理才能完成的复杂视频创作任务。 1.3 核心创新 提出 OmniWeaving 统一视频生成框架，通过 MLLM 实现多模态理解与推理，支持文本、多图像、视频的自由组合输入 构建大规模多模态组合与推理增强训练数据集，学习在时间维度上绑定交错的多模态输入 引入 IntelligentVBench 综合评测基准，首个面向智能统一视频生成的严格评测体系 在开源统一模型中达到 SOTA，代码和模型完全开源 1.4 实验结果 在文生视频（T2V）、图生视频（I2V）、视频到视频（V2V）等多个任务上均达到开源 SOTA。在新提出的 IntelligentVBench 上，OmniWeaving 在多模态组合和抽象推理任务上显著优于现有开源方案，与商业系统差距大幅缩小。 1.5 关键洞察 训练数据构建管线依赖大量自动化标注，数据质量可能存在噪声。Intelligen…

AIGC 周末专题深度解读：RL后训练进展|2026-03-21|偏好对齐|SOLACE|CRAFT|CRD|VIGOR|
type: item
date: 2026-03-21T08:35:00+08:00
description: AIGC 周末专题深度解读 | 2026-03-21 | 视觉生成模型的偏好对齐与强化学习后训练 人工智能炼丹师 整理 本期专题聚焦 视觉生成模型的偏好对齐与强化学习后训练（Preference Alignment & RL Post-Training for Visual Generation），深度解读 8 篇最新论文，并对该方向的技术演进脉络进行系统性横向对比。 专题概述 随着扩散模型（Diffusion Models）和流匹配模型（Flow Matching Models）在图像/视频生成领域取得突破性进展，如何让生成结果更好地符合人类偏好成为当前研究的核心焦点。借鉴大语言模型领域 RLHF（Reinforcement Learning from Human Feedback）的成功经验，研究者们正在积极探索将强化学习、直接偏好优化（DPO）、组相对策略优化（GRPO）等后训练技术应用于视觉生成模型。 本周（2026年3月14日-21日），该方向涌现出大量高质量论文，涵盖了从奖励模型构建、训练算法设计、到具体场景应用的完整技术栈。本期专题选取 8 篇代表性工作进行深度解读，系统梳理该方向的技术脉络与发展趋势。 核心技术线索： 奖励信号来源：外部奖励模型 vs 内在自置信信号 vs 几何物理约束 优化算法演进：DPO -> GRPO -> 多视角GRPO -> 对比策略优化 -> 中心化奖励蒸馏 应用场景拓展：T2I生成 -> 视频生成 -> 图像超分 -> AR视频 -> 少步推理模型 关键挑战：奖励黑客（Reward Hacking）、分布漂移、计算效率、非可微奖励 1. FIRM: Trust Your Critic -- 鲁棒奖励建模与强化学习的忠实图像编辑与生成 论文信息 标题: Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation 作者: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding 等 arXiv: 2603.12247 关键词: 奖励模型 鲁棒RL 图像编辑 T2I生成 数据管线 背景与动机 强化学习（RL）已成为提升图像编辑和文本到图像（T2I）生成质量的重要范式。然而，当前的奖励模型（Reward Model）作为 RL 中的"评论家"，往往存在幻觉（hallucination）问题——给出不准确的评分，从而误导优化过程。这一问题在图像编辑场景中尤为严重：奖励模型可能对编辑后图像的忠实度评估不准确，导致生成结果偏离编辑指令。 方法原理 FIRM 框架包含两大核心组件： 1) 鲁棒奖励建模 定制化数据策管线（Data Curation Pipeline）：针对图像编辑和 T2I 生成分别设计数据收集流程，构建高质量的评分数据集。编辑任务收集了涵盖颜色修改、风格迁移、物体添加/删除等多种编辑类型的 66 万条评分数据。 多维度评估：奖励模型同时考虑文本对齐度、编辑忠实度、图像质量等多个维度，避免单一指标的片面性。 对比学习增强：通过正负样本对比学习，提升奖励模型对微妙质量差异的辨别能力。 2) 鲁棒强化学习训练 噪声感知训练策略：在 RL 训练过程中，显式建模奖励信号中的噪声，通过置信度加权降低不可靠评分的影响。 多奖励聚合：将多个维度的奖励信号进行加权融合，动态调整各维度权重以平衡不同目标之间的trade-off。 正则化约束：引入 KL 散度正则化防止模型在优化过程中偏离预训练分布过远。 创新点 首个系统性解决奖励模型幻觉问题的框架：不仅改进奖励模型本身的准确性，还在 RL 训练阶段引入鲁棒性机制。 66万条高质量评分数据集开源：为社区提供了标准化的图像编辑/生成质量评估数据。 统一框架同时适用于图像编辑和 T2I 生成：两个任务共享奖励建模架构，仅在数据策管线上做差异化。 实验结果 在图像编辑任务上，FIRM 使 InstructPix2Pix 模型在 EditBench 上的编辑准确率提升 18.7%。 在 T2I 生成任务上，GenEval 综合得分从 0.63 提升至 0.79，超越 DALL-E 3 和 SDXL 基线。 奖励模型本身在 ImageReward 测试集上的 Kendall's Tau 相关性从 0.52 提升至 0.68。 2. MV-GRPO: 多视角组相对策略优化 -- 从稀疏到稠密的流模型对齐 论文信息 标题: From Sparse to Dense: Multi-View GRP…