人工智能炼丹君 - 对齐
type: channel
link: https://jefxiong.cn/index.php/tag/对齐/
items: AIGC 每日速读|2026-05-29|生数科技minWM开源实时交互视频世界模型
items: AIGC 每日速读|2026-05-28|北大OSP-Next视频生成跨硬件加速
items: AIGC 每日速读|2026-05-26|百度ERNIE-Image开源8B DiT追平闭源
items: AIGC 每日速读|2026-05-18|14B视频对齐单步训练Flash-GRPO
items: AIGC 周末专题|2026-05-17|实时自回归视频生成加速

AIGC 每日速读|2026-05-29|生数科技minWM开源实时交互视频世界模型
type: item
date: 2026-05-29T13:32:54+08:00
description: 今日 AIGC 论文速览 今日共 8 篇 · 视频世界模型 3 篇 · 流式视频生成 1 篇 · 音视频联合生成 1 篇 · 可控图像生成与数据 2 篇 · 大模型记忆与微调 1 篇 重点论文标题列表 minWM：实时交互视频世界模型全栈开源 NAVA：原生音视频对齐联合生成6.3B Gamma-World：多智能体生成式世界模型 AdaState：流式视频生成自演化锚点 YoCausal：视频生成因果性认知基准 今日论文速览 1. minWM：实时交互视频世界模型全栈开源 minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models | 生数科技, 清华大学 | arXiv:2605.30263 关键词：视频世界模型·实时交互·自回归蒸馏·开源·生数科技 前序问题：视频扩散基础模型已能高质量出片，但把它变成实时交互视频世界模型仍然难：交互世界模型需要可控、因果、低延迟的 rollout，实践上要打通数据构造、可控微调、自回归训练、少步蒸馏、流式推理整条链路，而开源社区一直缺一套能跑通的端到端 recipe 本文贡献：minWM：全栈开源框架，把现成的双向 T2V/TI2V 视频基础模型转成「相机可控 + 少步自回归」的世界模型。先对双向扩散做相机控制微调，再用 Causal Forcing / Causal Forcing++ 流程（AR diffusion 训练 + causal ODE/consistency 蒸馏 + 非对称 DMD）蒸成少步自回归生成器做低延迟 rollout。框架模块化、架构可扩展：在 Wan2.1-T2V-1.3B（cross-attention 条件注入）和 HY1.5-TI2V-8B（MMDiT）上分别实例化，还能把 HY-WorldPlay 等已有世界模型适配到新数据分布、训练配方与延迟目标 实验效果：不止放出可运行脚本、checkpoint、文档和推理代码，还给出相机轨迹质量、可控性训练步数、最小 batch size 等实战 ablation——是这个方向少见的「能跑起来、可复现、可扩展」的实时交互视频世界模型配方 (github.com/shengshu-ai/minWM) 批判点评：「全栈开源 + 跨两种主流架构（Wan2.1 cross-attn / HY1.5 MMDiT）实例化 + 可适配已有世界模型」三点让它成为这个方向稀缺的工程基建，对想做实时交互视频的团队意义重大。但框架 / recipe 类工作的核心价值在工程完整度而非单点创新；Causal Forcing++ 与非对称 DMD 联训的稳定性、长 rollout 的累积漂移控制还可以披露更多 2. NAVA：原生音视频对齐联合生成6.3B Native Audio-Visual Alignment for Generation | 百度 ERNIE | arXiv:2605.30073 关键词：音视频联合生成·原生对齐·MMDiT·音色可控·百度 前序问题：联合音视频生成要做到时序同步 + 语义连贯，但现有开源方案要么走「双塔 + 后验对齐」（弱化细粒度音视频协同演化），要么走「三模态全统一」（把语义条件和底层同步耦死在一起）——两条路线都有结构性缺陷 本文贡献：NAVA：context-conditioned 的原生音视频对齐框架。先在专用交互空间建立音视频对应关系，再用外部 context 条件化联合去噪。用 Align-then-Fuse MMDiT 架构实例化，从「模态感知的音视频对齐」平滑过渡到「模态共享的联合去噪」；并提出 Timbre-in-Context Conditioning，把参考音色线索关联到对应语音片段，实现可控语音音色 实验效果：在 Verse-Bench 和 Seed-TTS 上配合用户研究表明：仅用 6.3B 参数即取得更优视频质量、精确的音视频同步、有竞争力的音频质量，以及更强的参考音色可控性 批判点评：「先对齐后融合」而非「一上来全统一」的设计直击双塔 / 三模态两条路线的痛点，6.3B 拿下多项指标性价比很高；Timbre-in-Context 把音色可控做进 context 是干净的设计。但「专用交互空间 + 联合去噪」的两阶段是否引入额外训练复杂度、对更长音视频的扩展性仍需观察 3. Gamma-World：多智能体生成式世界模型 Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players | NVIDIA, 清华大学 | arXiv:2605.28816 关键词：多智能体·世界模型·Ro…

AIGC 每日速读|2026-05-28|北大OSP-Next视频生成跨硬件加速
type: item
date: 2026-05-28T13:10:07+08:00
description: 今日 AIGC 论文速览 今日共 11 篇 · 视频生成全栈加速 4 篇 · 视频生成新能力 2 篇 · 音频统一生成 2 篇 · 语音合成与编辑 2 篇 · 扩散模型对齐 1 篇 重点论文标题列表 OSP-Next：稀疏+量化+RL全栈视频生成1.64x PARE：视频DiT结构剪枝+动态路由 ⚡ Quantized Keys Steal Attention：KV缓存量化的Jensen偏差校正 SVDQuant-GPTQ：W4A4量化Wan2.2-I2V省内存59.3% Dasheng AudioGen：首个文生混合音频场景统一模型 今日论文速览 1. OSP-Next：稀疏+量化+RL全栈视频生成1.64x OSP-Next: Efficient High-Quality Video Generation with Sparse Sequence Parallelism, HiF8 Quantization, and Reinforcement Learning | 北大袁粒组, 华为 | arXiv:2605.28691 关键词：视频生成·稀疏注意力·序列并行·HiF8·北大袁粒组 ⚠️ 前序问题：Diffusion Transformer 在视频生成上已经能出好东西，但 full attention 二次开销死死压住效率。前人方案各做一段（稀疏 / 量化 / 蒸馏），缺一套能同时打通通信、计算、精度的端到端方案——尤其在「多卡序列并行」上和「跨国产硬件」上 本文贡献：OSP-Next：把稀疏注意力 + 序列并行 + 量化 + RL 后训练全栈打通的高效 T2V 框架。Skiparse-2D Attention 在空间维做 token-wise + group-wise 稀疏并保留 FlashAttention 兼容；提出 Sparse Sequence Parallelism (SSP) 用一次 All-to-All 切换稀疏模式，相比 Ulysses SP 通信量降低 75%；HiF8 量化支持 8-bit 联合训练 + 稀疏 fine-tune；Mix-GRPO 后训练弥补稀疏模型的质量回退 实验效果：VBench 总分 83.73% 超越 Wan2.1 基线；5 秒 720P/768P 设置下，H200 单 GPU 加速 1.64×，8 GPU 加速 1.52×；OSP-Next-HiF8 仅掉 0.4% 分数即可在国产昇腾 Ascend 950PR 上拿到 1.69× 和 2.27× 加速——是少见的同时验证国际/国产硬件的视频生成加速方案 批判点评：「稀疏注意力 + 序列并行 + 量化 + RL」四件套全栈打通，每一件单独不算新，但 SSP 把通信量直接打掉 75% 是非常硬的工程数字；跨 H200 + 昇腾的双硬件验证为国产硬件视频生成提供了稀缺的实证。但 Skiparse-2D 是 fixed pattern，对极复杂运动场景的可适配性需要看；Mix-GRPO 与 SSP 联训的稳定性细节披露还可以更多 2. PARE：视频DiT结构剪枝+动态路由 PARE: Pruning and Adaptive Routing for Efficient Video Generation | 港中文 CUHK, 上海 AI Lab, 悉尼大学 | arXiv:2605.27336 关键词：视频 DiT·结构剪枝·动态路由·Wan2.1-14B·上海 AI Lab ⚠️ 前序问题：Video DiT 又宽（block 宽）又深（架构深）又要多步采样，部署成本极高。前人通过压宽/压深/压步数减成本，但都 commit 到固定架构——不能针对单个输入或不同去噪阶段动态调整 本文贡献：PARE：把宽度剪枝和深度自适应路由联合做。宽度上观察到 attention head 自然分化为空间 vs 时序角色，设计区分两类的 importance scoring 避免「运动关键的 temporal head」被过早剪掉；深度上训轻量 router 以 denoising timestep + 视觉内容为条件，动态选择每步执行哪些 block——实现「按输入动态计算」而非静态删除。两阶段 progressive pipeline 先用蒸馏修复宽度剪枝的质量损失，再联合优化 student + router 解耦学习目标 实验效果：在 Wan2.1-14B 上对 I2V 和 T2V 都大幅降低每步算力且保住 VBench 各维度质量；与 step 蒸馏天然可组合进一步加速——把「静态剪枝」时代翻篇成「动态路由按需算」 批判点评：「区分空间/时序 head 重要性 + denoising-step 条件的 block router」两个…

AIGC 每日速读|2026-05-26|百度ERNIE-Image开源8B DiT追平闭源
type: item
date: 2026-05-26T12:52:29+08:00
description: 今日 AIGC 论文速览 今日共 11 篇 · 国产开源文生图基础模型 1 篇 · 音视频联合生成与编辑 3 篇 · 视频生成训练范式革新 2 篇 · few-step 蒸馏与自回归视频蒸馏 2 篇 · 推理时自适应与视频编辑 3 篇 重点论文标题列表 ERNIE-Image：百度8B DiT开源逼近闭源SOTA Baton：首引语义蓝图驱动音视频联合生成 ⚡ SpongeBob：首个端到端音视频联合编辑Sync+30% StreamChar：长时流式角色音视频实时生成 PixelWizard：原生2K/4K视频生成10倍加速 今日论文速览 1. ERNIE-Image：百度8B DiT开源逼近闭源SOTA ERNIE-Image Technical Report | 百度 Baidu ERNIE Team | arXiv:2605.25347 关键词：ERNIE-Image·百度·8B DiT·MT-DMD 蒸馏·industrial-grade ⚠️ 前序问题：开源文生图模型与闭源顶级系统在指令跟随、文字渲染、美学质量上仍有明显差距。差距主要来自两件事：预训练数据噪声大且长尾概念覆盖差；后训练人类偏好对齐的稳定性不足，蒸馏期间还会出现 capability drift（蒸馏前能做的事，蒸馏后做不到了） 本文贡献：ERNIE-Image：8B 单流 DiT 架构开源文生图基础模型。预训练用 bottom-up 数据管线（细粒度分类 + 富 caption + 美学评估 + 分层采样）压噪同时保长尾；后训练 top-down 高需求场景 + 多样化 prompt + 稳定化 DPO；ERNIE-Image-Turbo 实现 8-NFE 高效生成，配套 MT-DMD 蒸馏算法缓解 capability drift。配套发布 industrial-grade ERNIE-Image-Aes 美学模型和 ERNIE-Image-Aes-1K benchmark（首个针对真实场景的美学评测基准） 实验效果：开源模型中达到 leading 表现，在指令跟随/文字渲染/美学三项接近顶级闭源商业模型；模型权重和美学评测资源全部开源，覆盖完整工业流水线（包括 Prompt Enhancer 把简短意图扩展为结构化视觉描述） 批判点评：「8B DiT + bottom-up 预训练 + top-down 后训练 + 稳定 DPO + Turbo 蒸馏」是教科书级的工业开源大模型训法，单独哪一项都不算新颖，但全部端到端打通、配套基础设施 + 评测开源是最大贡献。但闭源 SOTA（GPT-Image / Imagen 4 / Midjourney v7）的差距具体几何缺乏精确量化对比，且 industrial-grade aesthetic model 的偏好可能强烈反映中文用户审美，国际场景适用性需观察 2. Baton：首引语义蓝图驱动音视频联合生成 Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation | 复旦大学, 腾讯混元 | arXiv:2605.25195 关键词：音视频联合生成·explicit planning·VA-Planner·腾讯混元·Relative RoPE ⚠️ 前序问题：开源扩散模型做音视频联合生成时，两个模态的去噪轨迹各自为政，导致音画不同步、长时一致性差。根因：现有方法用现成 encoder 的粗粒度 text embedding 引导音/视频去噪——这丢掉了细粒度语义，更关键的是缺少一个跨模态的「长 horizon 共享规划」 本文贡献：提出 Baton：首个引入 explicit semantic planning 的音视频联合生成框架。VA-Planner（带双语义对齐塔的多模态 LLM）让可学习 query 同时 cross-attend 视频和音频特征，吐出一对语义对齐的音/视频 planned token（关键帧级蓝图）；这些 plan token 通过 cross-attention 注入扩散 backbone，与粗 text embedding 互补；进一步提出 Relative Semantic RoPE 把 planned token 和 latent 映射到共享时空坐标系，让 latent 准确 attend 到对应语义线索 实验效果：在标准音视频联合生成 benchmark 上定性定量都显著超过基线；首次把「先规划后渲染」的范式从单模态扩散扩展到跨模态联合扩散——和昨天 Bernini「MLLM 规划 + DiT 渲染」是同向延续 批判点评：「explicit semantic planning」做跨模态…

AIGC 每日速读|2026-05-18|14B视频对齐单步训练Flash-GRPO
type: item
date: 2026-05-18T11:32:41+08:00
description: 今日 AIGC 论文速览 今日共 7 篇 · 视频扩散对齐与定制 2 篇 · 图像生成几何与少步推理 2 篇 · 多镜头视频与实体一致性 1 篇 · 3D 重建与世界模型 2 篇 重点论文标题列表 Flash-GRPO：14B 视频对齐单步训练即超全轨迹 Spherical-FM：球面插值贴合潜空间路径 ⚡ Sphere-Latent-Enc：解耦图像编码器与球面去噪 EntityBench：多镜头视频实体一致性基准 FashionChameleon：单卡 23.8 FPS 实时换装 今日论文速览 1. Flash-GRPO：14B 视频对齐单步训练即超全轨迹 Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization | 浙江大学, 京东 | arXiv:2605.15980 关键词：视频扩散·GRPO 对齐·单步训练·时间步分组·14B 大模型 ⚠️ 前序问题：GRPO 已成为对齐视频扩散模型与人类偏好的关键工具，但训练 14B 视频扩散模型动辄需要数百 GPU 天；现有效率方法靠在时间步上做滑动窗口子采样，根本上破坏了优化稳定性，且无法逼近全轨迹训练的对齐质量 本文贡献：提出 Flash-GRPO 单步训练框架：(1) Iso-Temporal Grouping 通过 prompt 内部的时间一致性消除时间步混淆方差，把策略表现与时间步难度解耦；(2) Temporal Gradient Rectification 中和不同时间步的尺度因子，防止梯度幅值跨时间步剧烈漂移；最终单步 GRPO 即可超越全轨迹训练的对齐质量 实验效果：在 1.3B 到 14B 视频扩散模型上验证：训练显著加速、稳定性优于全轨迹基线，对齐质量达到 SOTA，让 14B 视频对齐从「数百 GPU 天」级实验变得可负担 批判点评：把视频 GRPO 的瓶颈精准定位到「时间步混淆 + 梯度尺度漂移」并各个击破，工程上极具实用性；但单步训练对教师 reward 噪声的鲁棒性、与 Causal Forcing 类少步 AR 视频的兼容性还需进一步验证 2. Spherical-FM：球面插值贴合潜空间路径 Aligning Latent Geometry for Spherical Flow Matching in Image Generation | Virginia Tech, fal | arXiv:2605.15193 关键词：Flow Matching·球面几何·潜空间·slerp·图像生成 ⚠️ 前序问题：潜空间 flow matching 通常在高斯噪声与 VAE 潜在变量之间走线性路径，但两端点都集中在薄薄的球壳上，欧式弦线在每一步都「离开了壳」——即使预处理对齐了半径，路径仍然不在真实的数据流形上 本文贡献：把每个潜在 token 分解为「径向 + 角度」两个分量，用 swap 探针证明感知和语义内容主要由方向承载、径向贡献远小于此；据此把数据潜变量投影到固定 token 半径，用高斯噪声的径向投影作为球面先验，冻结 encoder 微调 decoder，并把线性插值替换为球面插值（slerp）——测速目标因此在构造上变成纯角度，路径全程贴在球面上 实验效果：在多种图像 tokenizer 下一致改善 ImageNet-256 的类条件 FID；扩散网络结构无需改动、不引入辅助 encoder 或表征对齐目标，是一条极简但有效的几何修复路径 批判点评：回到流形几何本身解决「半径漂移」问题，理论清晰、实现极简——这是少有的「几乎零代码改动就涨点」的范式工作；但球面假设是否对所有 VAE 潜空间都成立、对 video latent 这种时空联合分布是否仍适用，还需更广验证 3. Sphere-Latent-Enc：解耦图像编码器与球面去噪 Efficient Image Synthesis with Sphere Latent Encoder | MBZUAI | arXiv:2605.15592 关键词：少步图像生成·球面潜空间·解耦训练·Sphere Encoder·推理加速 ⚠️ 前序问题：consistency 与 meanflow 类少步生成虽然推理便宜，但训练不稳定、可扩展性差；近期 Sphere Encoder 能少步出图，却需要在像素空间和潜空间间反复切换，重建与生成挤在同一架构里互相打架 本文贡献：把框架解耦为「固定预训练图像编码器 + 独立的球面潜在去噪模型」，完全在球面潜空间里训练去噪模型——训练和推理都不再需要反复跨像素/潜空间切换，重建和生成各自专精，互不掣肘 实验效果：在 Animal-Faces、Oxfo…

AIGC 周末专题|2026-05-17|实时自回归视频生成加速
type: item
date: 2026-05-16T16:14:40+08:00
description: AIGC 周末专题深度解读：实时自回归视频生成：从蒸馏加速到流式交互的范式突破 人工智能炼丹君 整理 | 2026年5月17日（周日） 覆盖时间：2026-05-11 ~ 2026-05-16 本期概述 本期 AIGC 周末专题聚焦实时自回归视频生成：从蒸馏加速到流式交互的范式突破方向，精选 8 篇代表性论文进行深度解读。 方向分布： 自回归蒸馏加速 4 篇 (Causal Forcing++, AnyFlow, RAVEN, CDM) 流式推理与 KV Cache 优化 3 篇 (Forcing-KV, SWIFT, HSA) 世界模型与多镜头叙事 2 篇 (SANA-WM, CausalCine) 含 NVIDIA/MIT 联合 × 2 技术路线与时间线 基础蒸馏时代（2022.06 — 2024.06） 描述：Progressive Distillation 开创渐进蒸馏路线，Consistency Models 提出端点一致性映射，少步生成从理论走向实践。 关键节点： 2022.06：Progressive Distillation：渐进蒸馏开山作 2023.03：Consistency Models：一步生成理论突破 2023.12：DMD/DMD2：分布匹配蒸馏 2024.06：SD-Turbo/SDXL-Turbo：1-4 步商用 因果 AR 蒸馏兴起（2024.06 — 2025.12） 描述：Self Forcing 开创 AR 视频蒸馏范式，Causal Forcing 将 chunk-wise 4 步推向可用，流式视频生成原型出现。 关键节点： 2024.09：Self Forcing：AR 视频蒸馏开创 2025.02：Causal Forcing：chunk-wise 4 步实用 2025.06：Genie3：action-conditioned 世界模型 2025.12：LongLive：长视频流式生成 实时化爆发期（2026.01 — 2026.05） 描述：Frame-wise 蒸馏、KV Cache 压缩、无训练加速三线并进，实时交互式视频生成从实验室走向产品。 关键节点： 2026.03：CDM：连续时间分布匹配突破离散瓶颈 2026.05：Causal Forcing++：frame-wise 2 步实时 2026.05：AnyFlow：Flow Map 恢复步数可扩展性 2026.05：Forcing-KV/SWIFT：单卡 20-29 FPS 世界模型与叙事融合（2026.03 — 未来） 描述：实时 AR 视频生成与世界模型、多镜头叙事融合，从'生成画面'走向'仿真世界'。 关键节点： 2026.05：SANA-WM：消费级 GPU 分钟级世界模型 2026.05：CausalCine：多镜头叙事 AR 生成 未来：实时世界仿真 + 用户交互式导演 1. Causal Forcing++：因果一致性蒸馏实现 Frame-wise 2 步实时视频生成：清华 TSAIL 将因果 AR 蒸馏从 chunk-wise 4 步推进到 frame-wise 2 步，首帧延迟降低 50% 论文: Causal Forcing++：因果一致性蒸馏实现 Frame-wise 2 步实时视频生成 arXiv: 2605.15141 机构: Tsinghua TSAIL, 生数科技 (Shengshu) 1.1 研究动机 核心问题： Frame-wise AR 蒸馏的初始化策略与少步目标错位 实时交互式视频生成需要低延迟、流式、可控的 rollout。Causal Forcing 等先驱已经证明 chunk-wise 4 步蒸馏的可行性，但 chunk 粒度过粗——每生成 16 帧需 4 步 DiT forward pass，首帧延迟仍以秒计。如果能做到 frame-wise 1-2 步，每帧只需 1-2 次 forward pass，延迟可再降一个量级。问题是：现有蒸馏初始化策略要么目标错位、要么不能少步生成、要么算力大到无法 scale。 前序工作及局限： Causal Forcing：Chunk-wise 4 步成功但延迟仍高 Consistency Models：提供一致性蒸馏理论基础 与前序工作的本质区别： Causal CD 只需一次教师 ODE 步在线监督，三阶段初始化解决冷启动 1.2 方法原理 Causal Forcing++ 解决的核心问题是：如何在 frame-wise 粒度做高效的因果 AR 蒸馏？关键观察：Causal Consistency Distillation 学的流图与 Causal ODE 蒸馏完全等价，但训练信号更简洁——只需教师模型做一步 ODE 更新，学生学习匹…