AIGC 每日速读|2026-07-22|华为40万美元逼近闭源Boogu-Image

今日 AIGC 论文速览

今日共 10 篇 · 统一图像生成与编辑 2 篇 · 视频编辑与长视频一致性 5 篇 · 视频插帧与生成效率 1 篇 · 情绪语音生成 1 篇 · 像素扩散技术综述 1 篇

重点论文标题列表

• Boogu-Image-0.1（华为香港AI Lab·港大·港科大）：40万美元逼近闭源图像模型
• D2DF（西交·国家电网AI Lab·浙工大·百度）：视频消物一秒只需一步
• SlotMem（港大·清华）：按角色寻址记住长片人物
• ReBind（快手可灵·港科大·南大·北大）：显式绑定多参考视频编辑
• FlowMimic（字节）：图片编辑数据实时变视频

今日论文速览

1. Boogu-Image-0.1：40万美元逼近闭源图像模型

Boogu-Image-0.1: Boosting Open Agentic Multimodal Generation via Understanding under a Minimal Budget | 华为香港AI Lab·港大·港科大 | arXiv:2607.13125

关键词：统一多模态,文生图,图像编辑,Agent推理,开源模型

• 前序问题：Nano-Banana-Pro、GPT-Image-2 等闭源系统靠模型理解、提示改写与推理时编排形成系统级优势，但内部配方不公开；开源社区如何在有限数据和算力下同时做好文生图、快速推理、指令编辑和中英文字渲染，缺少可复现路线。
• 本文贡献：发布 Boogu-Image-0.1 开源统一理解生成模型族，含 Base、Turbo、Edit、Edit-Turbo。核心不是只堆生成骨干，而是强化多模态编码器、Agent 式提示重写、数据质量和训练管线，并用 Agentic inference-time scaling 把理解能力转成生成与编辑质量；权重、代码和训练配方均以 Apache 2.0 开源。
• 实验效果：仅使用 2.0862 亿张去重图像，Base 理论训练成本约 40 万美元；标准基准上持续匹敌或超过其他开源模型，结果逼近领先闭源系统，并覆盖高质量文生图、快速推理、指令编辑和中英文字渲染。
• 批判点评：「华为团队用 40 万美元把开源模型推近闭源系统」兼具机构信号与成本冲击力，且把系统级配方完整开放，比单点榜单更有价值。但“理论训练成本”未必包含数据、失败实验与基础设施总成本；逼近闭源的结论也依赖所选基准，真实复杂编辑和生产稳定性仍需社区复验。

2. D2DF：视频消物一秒只需一步

From Draft to Draft-Free: One-Step Video Object Removal via Privileged Distillation and Fast Planting | 西交·国家电网AI Lab·浙工大·百度 | arXiv:2607.14976

关键词：视频编辑,物体移除,一步生成,一致性蒸馏,视频修复

• 前序问题：视频物体移除中，光流/注意力传统方法容易留伪影、结果不自然；扩散方法更真实却需要多步去噪，速度难以实用，而且常依赖外部粗糙移除稿作为输入。
• 本文贡献：提出 D2DF 三阶段框架：先训练教师把低质移除草稿多步精修成高保真视频；再用先验特权一致性蒸馏(PPCD)将能力压到一步学生；最后以基于时序掩码 Transformer 的自引导快速植入(SGFP)，在潜空间自动生成场景一致伪草稿，得到完全不依赖外部草稿的一步模型。
• 实验效果：有草稿和无草稿两版在多项指标上均达 SOTA，质量与效率超过传统及多步生成方法；单个视频的去噪过程约 1 秒。
• 批判点评：从“多步精修草稿”蒸馏到“无草稿一步消物”，既解决速度又去掉外部依赖，1 秒数字极具产品价值。但 SGFP 伪草稿的场景推断仍可能在大面积遮挡、复杂动态背景中失真，一步模型的失败可修复性也弱于多步迭代。

3. SlotMem：按角色寻址记住长片人物

SlotMem: Character-Addressable Internal Memory for Narrative Long Video Generation | 港大·清华 | arXiv:2607.15772

关键词：长视频生成,角色一致性,内部记忆,DiT,叙事视频

• 前序问题：叙事长视频中角色跨场景、隔很久再出现时容易换脸。全局记忆的检索线索并不针对身份，现有角色方法又把身份和姿态、背景等偶然因素混在粗粒度帧级 KV 中，有限容量下还缺少持续更新。
• 本文贡献：提出可按角色寻址的内部记忆 SlotMem：Character-Semantic Probe 从交叉注意力中定位角色相关 token；Memory Encoder 把 DiT token 压成紧凑的逐角色 slot；Memory Writer 随生成保守更新每个角色的新观察；Character-Wise Cross-Attention 只把对应角色记忆注入同一人物的局部 token。
• 实验效果：在多个叙事长视频基准上，相比现有方法显著改善跨长时间间隔的角色一致性，同时维持相当的视频总体质量；代码已开源。
• 批判点评：把“记住整帧”改成“按角色地址读写”，对多角色长片身份漂移非常对症，内存也更省。但角色探针一旦漏检或多人遮挡、换装，错误可能写回并长期污染；如何处理新角色、身份合并与开放世界角色数量仍是难点。

4. ReBind：显式绑定多参考视频编辑

ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships | 快手可灵·港科大·南大·北大 | arXiv:2607.14681

关键词：视频编辑,多参考,结构化指令,可灵,视觉绑定

• 前序问题：多参考图条件视频编辑需要明确“哪个参考提供哪个属性”，但自然语言指令通常不写清参考关系，通用 MLLM 也难稳定生成，导致人物、材质、灯光等来源互相串线。
• 本文贡献：提出 ReBind，以在语义位置嵌入 reference token 的结构化指令作为中间表示，显式绑定视觉属性与来源。ReBind-Instruct 通过两阶段渐进训练学习生成精确参考关系；ReBind-Edit 则轻量适配文生视频模型，按绑定关系协调多个参考源。
• 实验效果：ReBind-Instruct 的指令质量显著超过通用 MLLM；ReBind-Edit 在参考图条件视频编辑中达到开源方法 SOTA，能更准确组合多视觉来源。
• 批判点评：把多参考歧义从“模型自己猜”变成结构化显式绑定，是复杂编辑走向可控生产的关键一步，可灵团队也有真实产品场景。但需要专用 MLLM 先生成中间指令，链路更长；参考关系正确不代表遮挡、几何和时间一致性一定正确。

5. FlowMimic：图片编辑数据实时变视频

FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry | 字节 | arXiv:2607.18227

关键词：视频编辑,数据生成,光流,图像视频统一,免Mask

• 前序问题：视频编辑数据采集依赖人工 mask、I2V/ControlNet 合成和 VLM 过滤，不仅耗时、易引错，任务多样性也远落后图像编辑；推理时还常需外部 MLLM 或显式 mask 才能定位编辑区域。
• 本文贡献：提出像素对时序扭曲流场，可从图像编辑样本实时生成对应视频编辑样本，并证明仅用这类数据即可学习多层级视频编辑。将图像视作视频特例，以生成/编辑两种 modality mimic loss 让图像与视频能力互相模仿；再加入指代表达分割等感知任务和区域感知潜空间、注意力损失，让模型内化“理解指令—定位区域—只改该处”的能力。
• 实验效果：无需人工视频 mask 与传统重型合成管线，即可在线扩展多种视频编辑任务；同一模型统一图像/视频生成与编辑，并实现推理期免 mask 的区域感知编辑。
• 批判点评：把海量图像编辑数据通过流场实时“升格”为视频数据，直击视频编辑数据荒，字节背景也说明工程价值。但扭曲流场能模拟的运动与遮挡仍有限，由图像任务迁移出的时序规律未必覆盖真实长视频和复杂镜头运动。

6. STBridge：让模型说的和画的一致

STBridge: Shared-Target Alignment for Bridging Understanding and Generation in UMMs | 腾讯优图·吉林大学 | arXiv:2607.17140

关键词：统一多模态,理解生成对齐,图像编辑,强化学习,腾讯优图

• 前序问题：统一多模态模型虽然共用架构，却可能正确描述目标、实际编辑出另一回事；语言输出与视觉输出分居不同空间，在细粒度实体、属性、空间关系和局部细节上尤其缺乏同一目标约束。
• 本文贡献：提出共享目标对齐 STBridge：在图像编辑中，让目标 caption 表达期望视觉结果、编辑图像实现同一结果，以共同目标状态串起理解和生成。训练采用 align-then-optimize：先监督微调建立共享目标通道，再以序列强化学习优化围绕目标的跨任务协同。
• 实验效果：在视觉理解、图像生成和图像编辑基准上均持续优于初始化模型；对齐分析确认“模型描述的目标”和“模型生成的结果”之间差距明显缩小。
• 批判点评：指出“共架构不等于共语义”，并用共享目标把说与画绑在一起，是统一模型后训练的重要方向。但依赖高质量目标 caption 和顺序 RL，目标文本可能成为新的信息瓶颈；复杂视觉变化也未必能被一句 caption 完整表达。

7. TANGO：测试时绕开长视频死路

Test-Time Noise Guided Adaptation for Realistic Autoregressive Video Generation | CERTH·阿姆斯特丹大学 | arXiv:2607.15849

关键词：自回归视频,测试时适配,长视频,噪声引导,FVD

• 前序问题：自回归视频扩散可生成任意长视频，却会累积误差并逐渐偏离训练条件分布；即使每帧看起来都在真实流形上，某些轨迹也可能走到模型无法继续的“终点”，后续必然崩坏。
• 本文贡献：提出测试时终点规避 TANGO：假设可良好延续的未来轨迹，其预测噪声应匹配前向加噪的各向同性高斯分布。模型先向前预测一步，用自身充当输出批评器；一旦预测噪声偏离期望分布，就搜索替代轨迹，避免驶入终点，无需重新训练骨干。
• 实验效果：相对 SOTA，VBench 绝对提升 3.1%，15 秒视频上的平均 FVD 降低 28.3%；代码已开放。
• 批判点评：让扩散模型用噪声分布自检未来能不能走通，比只把当前帧拉回真实流形更深入，测试时即可插入。但前瞻搜索增加推理开销，各向同性噪声假设未必适合所有内容，且只能绕路、不能补足模型缺失的动态知识。

8. SPEED：一步像素扩散插帧快63%

SPEED: One-Step Pixel Diffusion for High-quality Video Frame Interpolation | ACM MM 2026·复旦·B站 | arXiv:2607.15585

关键词：视频插帧,像素扩散,一步生成,4K,ACM MM

• 前序问题：扩散视频插帧有两大瓶颈：潜空间经 VAE 解码不可避免丢失细节，多步采样又带来高显存与高延迟；尤其 4K 插帧中，精细纹理与效率难兼得。
• 本文贡献：提出一步像素扩散 SPEED：渐进多阶段架构配动态 patch 缩放，学习多尺度运动、结构和外观；Noise-Update-Only Attention 只更新噪声、保护干净条件帧语义并把计算降近 50%；漂移感知时间步采样与定制目标直接在像素空间预测图像，实现不降质的一步推理。
• 实验效果：SNU-FILM 上 LPIPS 降低 8.8%，推理加快 63.3%、显存降低 10.6%；在高难 4K 基准上 LPIPS 最多优于先前方法 51.5%，达到 SOTA。
• 批判点评：一步、像素空间、4K 三个难点同时拿下，复旦+B站且获 ACM MM 2026，数字很硬。但像素扩散训练成本可能转移到离线阶段，动态 patch 与多阶段结构更复杂；插帧 SOTA 不等同于通用视频生成可直接受益。

9. AuEmoChat：离散情绪token让对话更真

AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis | ACM MM 2026·内蒙古大学·港中文深圳 | arXiv:2607.15755

关键词：对话语音合成,情绪生成,Flow Matching,Token合并,TTS

• 前序问题：对话语音合成要理解多轮上下文并表现像人的细腻情绪，但现有方法常把情绪压成七类等有限标签；同时历史中的冗余多模态 token 干扰上下文理解，导致声音情感僵硬或前后不一致。
• 本文贡献：提出 AuEmoChat：AuEmoCodec 用有限标量量化从大规模情绪语音学习离散真实情绪 token 空间；AuEmoToMe 在保留情绪相关上下文的同时合并冗余多轮 token；自回归文本-语音模型预测目标情绪与语音 token，最后用 Authentic Emotion Flow Matching 联合对话上下文、情绪和声学先验渲染语音。
• 实验效果：在 NCSSD-EmCap 上超过 SOTA 对话语音合成基线，生成语音的情绪表达更丰富、更真实；代码与语音演示计划开放。
• 批判点评：从少数人工情绪标签转向数据驱动的离散情绪空间，并同时处理多轮冗余，贴近真实对话产品。但“真实情绪”评价主观且受数据文化偏差影响，离散 token 也可能把连续情绪重新切碎；跨语言、跨说话人泛化仍是关键。

10. Pixel-Space DiT：像素DiT绕开VAE细节瓶颈

Pixel-Space Diffusion Transformers | 北大·Stanford·Cornell·南大 | arXiv:2607.17585

关键词：像素扩散,DiT,VAE,生成综述,统一多模态

• 前序问题：潜扩散靠 VAE 压缩实现高效高分辨率生成，但固定视觉 tokenizer 会丢纹理和结构细节，重建目标与生成目标分离也限制端到端优化；直接像素扩散则面临高维建模、噪声调度、损失加权和 token 效率难题。
• 本文贡献：系统综述 Pixel-Space Diffusion Transformer，从模型架构、连续生成机制和统一多模态建模三条线梳理直接在原始像素上扩散的方法，讨论如何去掉 VAE 瓶颈，并让像素、文本与任务条件进入共享 token 空间由同一 Transformer 处理。
• 实验效果：归纳当前像素 DiT 的代表方法、核心挑战与技术路线，指出其在高保真单阶段生成及理解生成一体化视觉基座上的潜力，并给出未来研究方向。
• 批判点评：像素空间正在重新成为生成主线，这篇综述适合建立全景认知；但它不是新算法、没有单一实验突破，且像素 DiT 的巨大训练成本与 token 数仍是现实约束，应放在今日列表末尾而非主推。

趋势观察

1. 开源图像模型开始公开系统级配方 — Boogu-Image 不只开权重，还公开强编码器、Agent 提示改写、数据与训练管线，以约 40 万美元理论成本逼近闭源系统，竞争从单模型走向完整生成系统。
2. 视频编辑同时冲刺一步化与免标注数据 — D2DF 把视频消物压到一步约 1 秒，FlowMimic 则把图像编辑样本实时变成视频数据；一个砍推理成本，一个砍数据成本。
3. 长视频从全局缓存转向结构化记忆与自检 — SlotMem 按角色地址读写身份记忆，TANGO 在测试时用预测噪声自检轨迹死路，长视频一致性开始从粗粒度历史帧走向可解释内部状态。
4. 复杂编辑把视觉来源和目标语义显式绑定 — ReBind 用 reference token 绑定多参考来源，STBridge 用共享目标绑定模型说的与画的，可控编辑正在减少让模型自行猜测的隐式接口。
5. 生成底座向像素空间与真实情绪扩展 — SPEED 以一步像素扩散实现 4K 插帧，Pixel-Space DiT 总结绕开 VAE 的技术路线；AuEmoChat 则把生成边界扩到多轮对话中的细腻情绪语音。

人工智能炼丹君 整理 | 2026-07-22

更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」

每日更新 · 论文精选 · 深度解读 · 技术脉络

微信搜索 人工智能炼丹君 或扫描下方二维码关注