AIGC 每日速读|2026-03-29|GIDE|ScaleEdit-12M|Calibri| AIGC 视觉生成领域 · 每日论文解读 (2026-03-29) 人工智能炼丹师 整理 | 共 8 篇论文 | 重点深度解读 8 篇 今日核心看点 GIDE 免训练DLLM编辑 ScaleEdit-12M 最大开源数据集 VeloEdit 速度场分解编辑 Calibri 100参数DiT校准 HAM 异构注意力风格迁移 CTCal 跨时间步自校准 DepthArb 遮挡感知生成 MACRO 多参考图生成 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 8 篇，重点解读 8 篇。 方向分布： 免训练图像编辑: 3篇 (GIDE, VeloEdit, HAM) 数据规模化: 2篇 (ScaleEdit-12M, MACRO) 参数高效优化: 2篇 (Calibri, CTCal) 免训练组合生成: 1篇 (DepthArb) CVPR 2026 x 3 (Calibri, HAM, CTCal) | 开源数据+代码 x 5 重点论文深度解读 1. GIDE 解锁Diffusion LLM精确免训练图像编辑 | 港中文/西交 | CUHK, Xi'an Jiaotong University | arXiv:2603.21176 关键词： 免训练编辑, Diffusion LLM, 离散噪声反转, GIDE-Bench, 多模态输入 研究动机 核心问题： Diffusion LLM（DLLM）使用离散Token化，标准DDIM Inversion等连续反转技术完全不适用，导致此类模型无法进行免训练图像编辑 基于扩散的大语言模型（DLLM，如Janus、SEED-X等）已展现强大的多模态生成能力，但在精确的免训练图像编辑上仍是开放挑战。核心困难在于：DLLM内部采用离散Token化（discrete tokenization），与传统连续扩散模型截然不同——标准的DDIM Inversion等噪声反转技术无法直接应用于离散Token空间，强行使用会导致编辑后的图像结构严重退化（背景破坏、未编辑区域变形）。这是一个既有理论深度又有实际影响力的问题：如何在不重训练的前提下，让DLLM具备精确可控的编辑能力？ 前序工作及局限： DDIM Inversion：连续噪声空间反转的标准范式，但不适用于离散Token模型 Prompt-to-Prompt：基于注意力操控的编辑方法，但仅适用于连续扩散模型 SDEdit：添加噪声再去噪的编辑范式，但缺乏精确的源图像保持能力 与前序工作的本质区别： GIDE提出了全新的离散噪声反转机制，在离散Token序列上记录每步去噪的状态转移轨迹，首次实现了DLLM的免训练精确编辑 方法原理 GIDE（Grounded Inversion for Diffusion LLM Editing）提出了一个统一的三阶段编辑框架： 第一阶段：定位（Grounding） — 根据用户提供的多模态编辑指令（文本、点击点、边界框），精确定位需要编辑的区域，生成编辑掩码。支持文本/点/框三种输入方式的统一处理。 第二阶段：反转（Inversion） — 这是核心创新。提出离散噪声反转机制（Discrete Noise Inversion），专门为离散Token空间设计。关键思路是：不在连续潜空间做反转，而是在DLLM的离散Token序列上建模噪声模式。通过记录每一步去噪过程中Token的状态转移轨迹，实现精确的源图像重建。这保证了未编辑区域的高保真度恢复。 第三阶段：精修（Refinement） — 在编辑区域应用目标编辑指令驱动的生成，同时用Inversion阶段记录的Token轨迹约束保留区域，确保编辑和保留的无缝融合。引入区域级Token混合策略，在编辑边界实现平滑过渡。 核心创新 首个专为Diffusion LLM设计的免训练图像编辑框架 离散噪声反转机制：突破离散Token空间无法做标准Inversion的技术瓶颈 统一三阶段流程（定位→反转→精修）支持文本/点/框多模态输入 GIDE-Bench：805种组合编辑场景的严格评测基准 语义正确性+51.83%，感知质量+50.39% 实验结果 在GIDE-Bench上的广泛实验表明，GIDE显著超越所有先前免训练方法：语义正确性提升51.83%，感知质量提升50.39%。在ImgEdit-Bench上的额外评估证实了强泛化能力——无需任何训练，GIDE即可实现与经过训练的专用编辑模型相媲美的照片级真实感输出。多模态输入方式（文本+点+框）的灵活性使其在实际应用中具有很高的实用价值。 批判性点评 新颖性： 首次为DLLM设计免训练图像编辑框架，离散噪声反转机制是全新的技术突破，开创性强。 可复现性： 方法描述详细，但暂未开源代码。GIDE-Bench的公开将有助于后续复现。 影响力： 为DLLM开辟了编辑新路径，随着DLLM模型日趋成熟，GIDE的影响力将持续增长。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 开创了DLLM免训练编辑的新方向，填补了离散扩散模型编辑的技术空白 可能的后续方向： DLLM编辑将从免训练走向可训练：GIDE的离散反转技术有望成为DLLM原生编辑训练的基础 离散反转技术可扩展到离散视频生成模型的帧间编辑 2. ScaleEdit-12M 最大开源图像编辑数据集：多Agent规模化生成1200万样本 | CUHK, Shanghai AI Lab | arXiv:2603.20644 关键词： 编辑数据集, 12M规模, 多Agent框架, 23任务族, 开源 研究动机 核心问题： 现有图像编辑数据集规模仅在十万级别，任务类型覆盖有限，严重制约了编辑模型的泛化能力 指令式图像编辑已成为统一多模态模型的核心能力，但高质量编辑数据的获取仍是瓶颈。现有方案两极分化：闭源API标注成本高昂且不可持续，开源合成管线质量有限且覆盖面窄。业界迫切需要一种完全开源、可规模化、且覆盖多样化编辑任务的数据生产方案。 前序工作及局限： MagicBrush：早期编辑数据集，但规模仅10万级且任务覆盖有限 InstructPix2Pix：用GPT-4生成编辑对，但数据多样性不足 Emu Edit：Meta提出的编辑基准，但非开源且规模较小 与前序工作的本质区别： ScaleEdit-12M通过多Agent自动化框架将开源编辑数据规模推至1200万级别，覆盖15种编辑任务类型 方法原理 ScaleEditor是一个完全开源的分层多Agent框架，实现端到端的大规模编辑数据生产： 第一层：源图像扩展 — 融入世界知识的图像源选择和增强。不仅使用现有数据集，还通过知识增强的图像生成扩展源图像多样性。 第二层：自适应多Agent编辑 — 多个专业化Agent协作完成编辑指令生成和图像合成。每个Agent负责特定类型的编辑任务（如物体替换、风格变换、属性修改等），通过协商机制确保指令-图像对的一致性。 第三层：任务感知质量验证 — 自动化的质量控制系统，针对不同编辑任务类型设计差异化的验证标准，过滤低质量样本。 最终产出ScaleEdit-12M数据集：1200万编辑样本，覆盖23个任务族，涵盖真实和合成域。 核心创新 迄今最大的完全开源图像编辑数据集（12M样本，23个任务族） 分层多Agent框架：源图像扩展→自适应编辑→任务感知验证 不依赖闭源API，完全开源可复现 UniWorld-V1 通用编辑+10.4%，知识注入+150.0% 跨域覆盖：真实图像+合成图像，23种编辑类型 实验结果 在ScaleEdit-12M上微调UniWorld-V1和Bagel带来持续收益：通用编辑基准（ImgEdit）+10.4%，GEdit +35.1%；知识注入基准（RISE）+150.0%，KRIS-Bench +26.5%。这证明开源Agent管线可以接近商业级数据质量，同时保持成本效益和可扩展性。 批判性点评 新颖性： 多Agent自动化数据生成框架是工程创新，核心贡献在于规模而非算法。但12M级开源数据本身就是重大贡献。 可复现性： 承诺开源数据集和框架，复现门槛极低，一旦发布将极大推动领域发展。 影响力： 可能成为图像编辑领域最有影响力的工作之一——大规模开源数据将显著降低整个领域的训练门槛。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 可能成为图像编辑领域的ImageNet时刻——大规模开源数据将显著降低编辑模型的训练门槛 可能的后续方向： 编辑数据规模可能突破亿级：ScaleEdit的多Agent框架为全自动化数据生产铺平道路 数据质量验证和自动过滤将成为下一步关键 3. VeloEdit 速度场分解实现免训练一致连续图像编辑 | Xiamen University | arXiv:2603.13388 关键词： 速度场分解, 免训练编辑, Flow Matching, 连续控制, 一致性保持 研究动机 核心问题： Flow Matching模型的编辑方法主要操作注意力层，忽略了速度场本身蕴含的丰富编辑信号 基于Flow Matching的图像编辑方法正在兴起（如Flux.1 Kontext、Qwen-Image-Edit），但存在两大核心痛点：(1) 去噪过程中的重建误差导致未编辑区域漂移（背景不一致），(2) 缺乏对编辑强度的细粒度控制——只能「编辑/不编辑」二选一，无法平滑调节编辑程度。现有方法通常依赖复杂的注意力操作或辅助训练模块来缓解这些问题，引入了额外计算开销。 前序工作及局限： RF-Inversion：Flow Matching反转编辑的先驱工作，但灵活性受限 FlowEdit：基于Flow的编辑方法，但未利用速度场的几何特性 P2P-Bridge：桥接模型编辑，但依赖配对训练数据 与前序工作的本质区别： VeloEdit从速度场的几何层面直接进行编辑操控，提出速度分解、重组和引导三阶段编辑框架，理论优雅且实用 方法原理 VeloEdit直接在Flow Matching的速度场（velocity field）层面操作，提出速度场分解方法： 动态区域识别 — 量化源图像恢复速度场（reconstruction velocity）与编辑速度场（editing velocity）的差异，差异大的区域标识为编辑区域，差异小的标识为保留区域。这种基于速度场差异的分区比基于注意力图的分区更精确。 一致性保持 — 在保留区域，用源图像的恢复速度场替换编辑速度场，从而在ODE积分过程中严格保证保留区域像素不偏移。 连续强度控制 — 在编辑区域，通过恢复速度场和编辑速度场的线性插值实现连续的编辑强度调节（0%→100%无级变速），用户可精确控制编辑程度。 核心创新 首个直接在速度场层面操作的免训练编辑方法 速度场差异驱动的动态区域识别 恢复速度场替换保证保留区域一致性 速度场插值实现编辑强度0-100%连续控制 在Flux.1 Kontext和Qwen-Image-Edit上验证，计算开销几乎为零 实验结果 在Flux.1 Kontext和Qwen-Image-Edit两个前沿模型上的实验表明，VeloEdit显著改善了视觉一致性和编辑连续性。关键优势：(1) 背景保持度大幅提升，(2) 编辑强度可连续调节，(3) 额外计算开销几乎为零（不需要训练、不需要额外模型）。代码已开源。 批判性点评 新颖性： 从速度场几何层面进行编辑操控的思路极其巧妙，速度分解+重组+引导的三阶段框架理论优雅。 可复现性： 代码已开源，复现友好。速度场分解的实现细节清晰。 影响力： 为Flow Matching编辑开辟了新范式，速度场视角可能被广泛借鉴。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 为Flow Matching编辑开辟了基于速度场的全新技术路径，补充了注意力操控之外的编辑范式 可能的后续方向： 速度场编辑可扩展到视频Flow Matching模型 与LoRA等参数高效方法结合可降低推理成本 4. Calibri 参数高效校准提升DiT生成质量 | CVPR 2026 | Visual Generative AI group | arXiv:2603.24800 关键词： 参数高效, DiT校准, 进化算法, CVPR 2026, 100参数 研究动机 核心问题： DiT模型生成质量可通过后处理校准提升，但现有方法需要大量额外参数和训练 Diffusion Transformer（DiT）已成为图像生成的主流架构，但如何以最小代价提升其生成质量仍是开放问题。现有优化方法要么需要大规模微调（成本高），要么需要修改架构（兼容性差）。一个有趣的问题是：DiT的去噪过程中，是否存在简单的参数调整就能显著改善的瓶颈点？ 前序工作及局限： Guidance Distillation：通过蒸馏减少采样步数，但改变了模型结构 CFG (Classifier-Free Guidance)：无分类器引导提升质量，但需双倍推理成本 DPO for Diffusion：用偏好学习优化扩散模型，但需要配对偏好数据和微调 与前序工作的本质区别： Calibri用进化算法搜索仅约100个缩放/偏移参数即可显著提升DiT生成质量，极简且高效 方法原理 Calibri基于一个关键发现：在DiT的去噪过程中，引入单个学习缩放参数即可显著提升DiT模块的性能。基于此，Calibri将DiT校准建模为黑盒奖励优化问题： 问题定义 — 为DiT的每个关键模块（注意力层、FFN层等）寻找最优的缩放系数，使得生成质量最大化。 求解方法 — 使用进化算法（Evolutionary Algorithm）高效搜索约100个缩放参数的最优组合。进化算法的优势在于：不需要梯度计算，不需要反向传播，仅通过前向推理+质量评估即可迭代优化。 效果叠加 — Calibri不仅提升质量，还自然减少了推理所需的去噪步数——更好的缩放参数使得每步去噪更高效，达到相同质量所需步数更少。 核心创新 揭示DiT去噪过程中缩放参数的关键作用 仅约100个参数即可显著提升生成质量 进化算法黑盒优化，无需梯度、无需反向传播 同时提升质量和减少推理步数 CVPR 2026接收，模型无关可适用于各种DiT 实验结果 实验证明Calibri在各种文本到图像模型上都能持续提升性能，包括FLUX、SD3.5等主流模型。值得注意的是，Calibri还能减少图像生成所需的推理步骤——例如在某些模型上用20步达到原来30步的质量。仅修改约100个参数，就能获得可观的质量-效率双重收益。CVPR 2026接收。 批判性点评 新颖性： 用进化算法搜索约100个缩放/偏移参数的极简设计令人惊喜，挑战了「更多参数=更好效果」的传统认知。CVPR 2026接收。 可复现性： 基于进化算法搜索，复现门槛低。搜索空间和适应度函数定义明确。 影响力： 极简参数校准思路可被广泛应用于各类DiT模型的部署优化，实用价值极高。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 提出了参数效率的极致追求：用最少参数实现最大质量提升，为模型部署优化树立新范式 可能的后续方向： 进化搜索可能与在线学习结合实现动态校准 可扩展到视频DiT和音频DiT的质量校准 5. HAM 异构注意力调制实现免训练风格迁移 | CVPR 2026 | Hangzhou Dianzi University | arXiv:2603.24043 关键词： 风格迁移, 注意力调制, 免训练, CVPR 2026, 身份保护 研究动机 核心问题： 风格迁移和图像编辑中需要同时保持内容结构和注入目标风格，现有注意力操控方法难以平衡两者 扩散模型风格迁移面临根本性的风格-内容平衡难题：过度迁移风格会破坏内容身份信息（人物面部变形、场景结构丢失），保守迁移则风格效果不明显。现有免训练方法多采用统一的注意力操作策略，无法同时兼顾全局风格氛围和局部身份细节。 前序工作及局限： StyleAligned：风格对齐生成，但缺乏细粒度控制 IP-Adapter：图像提示适配器，但注入风格时容易丢失内容 InstantStyle：即时风格迁移，但对复杂风格表现不佳 与前序工作的本质区别： HAM提出异构注意力调制机制，对不同注意力头使用不同的调制策略，实现风格与内容的精细解耦 方法原理 HAM提出异构注意力调制（Heterogeneous Attention Modulation）——对全局风格和局部身份使用不同的注意力操作策略： 全局注意力调节（GAR） — 在全局层面调制自注意力权重，注入风格参考图的整体氛围（色调、笔触、光影风格），影响图像的全局视觉感受。 局部注意力移植（LAT） — 在局部层面移植关键的身份注意力图，保护内容图像中的核心身份信息（面部特征、物体结构、空间关系）不被风格迁移破坏。 两种策略在不同的注意力头上并行执行，实现风格-身份的解耦处理。这种异构设计使得系统能在充分捕获复杂风格参考的同时保持内容身份完整。 核心创新 异构注意力调制：全局风格调节+局部身份移植双策略 不同注意力头承担不同任务，实现风格-身份解耦 完全免训练，即插即用 在保持身份的同时捕获复杂风格参考 CVPR 2026接收 实验结果 在多项定量指标上达到SOTA性能。用户研究表明HAM在风格一致性和内容保持两个维度上均优于现有方法。特别在人像风格迁移中，HAM成功保持了面部身份信息的同时实现了多样化风格效果。CVPR 2026接收。 批判性点评 新颖性： 对不同注意力头使用不同调制策略的异构设计有一定新意，但注意力操控编辑的大框架已比较成熟。CVPR 2026接收。 可复现性： 方法描述清晰，但代码开源状态待确认。 影响力： 推进了注意力机制在风格迁移中的精细化应用，对实际产品有参考价值。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 推进了注意力机制在风格迁移中的精细化应用，CVPR 2026接收验证了其学术价值 可能的后续方向： 异构注意力调制可扩展到视频风格迁移 与LoRA结合可实现更灵活的风格组合 6. CTCal 跨时间步自校准提升T2I文本对齐 | CVPR 2026 | Beihang University | arXiv:2603.20741 关键词： 跨时间步校准, 文本对齐, CVPR 2026, 显式监督, 模型无关 研究动机 核心问题： 扩散模型蒸馏缺少跨时间步的显式对齐监督，导致学生模型在不同去噪阶段的输出不一致 文本到图像扩散模型在语义对齐上仍存在顽固瓶颈——模型经常忽略prompt中的某些语义元素或生成不符合描述的内容。深层原因在于：传统扩散损失仅提供隐式监督，缺乏对文本-图像细粒度对应关系的显式约束。一个关键观察是：随着噪声时间步增大，建立准确的文本-图像对齐变得指数级困难。 前序工作及局限： Progressive Distillation：渐进蒸馏减少采样步数，但缺乏跨步对齐 Consistency Models：一致性模型追求一步生成，但牺牲了部分质量 LCM (Latent Consistency Models)：潜空间一致性模型，但训练效率有待提升 与前序工作的本质区别： CTCal引入跨时间步自校准机制，通过不同时间步输出的显式对齐约束提升蒸馏质量 方法原理 CTCal基于一个精妙的观察：在小时间步（低噪声）时，交叉注意力图已经形成了可靠的文本-图像对齐；而在大时间步（高噪声）时，这种对齐严重退化。CTCal的核心思路是「以低噪声指导高噪声」： 跨时间步蒸馏 — 将小时间步形成的可靠交叉注意力图作为「教师」，校准大时间步的表示学习。这为扩散训练引入了显式的文本-图像对齐监督。 自适应加权 — 设计时间步感知的自适应加权机制，动态平衡CTCal校准损失和标准扩散损失的权重。在噪声大的时间步给予更强的校准指导，在噪声小的时间步让标准损失主导。 模型无关性 — CTCal可无缝集成到各种T2I架构中，包括基于扩散的（SD 2.1）和基于流匹配的（SD 3），不改变原有架构。 核心创新 揭示跨时间步对齐退化现象 以低噪声交叉注意力校准高噪声表示学习 时间步感知自适应加权平衡双损失 模型无关：兼容扩散模型和流匹配模型 CVPR 2026接收，代码已开源 实验结果 在T2I-Compbench++和GenEval基准上的广泛实验证明CTCal的有效性和通用性。在SD 2.1上，CTCal将组合生成准确率提升了显著幅度；在SD 3上同样有效，证明了跨架构的泛化能力。代码已开源。CVPR 2026接收。 批判性点评 新颖性： 跨时间步显式对齐监督是蒸馏领域的新颖思路，但核心思想相对直觉，缺少更深层的理论分析。 可复现性： 代码已开源，复现友好。训练流程和超参数设置详细。 影响力： 为扩散模型蒸馏提供了新的监督维度，可能被后续蒸馏工作广泛引用。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 为扩散模型蒸馏引入了新的监督维度，CVPR 2026接收证明了其有效性 可能的后续方向： 跨时间步校准可扩展到视频扩散模型的时间一致性蒸馏 与Calibri等参数高效方法结合可进一步降低部署成本 7. DepthArb 深度仲裁免训练遮挡感知图像合成 + OcclBench | Xi'an Jiaotong University | arXiv:2603.23924 关键词： 遮挡生成, 深度仲裁, 免训练, 注意力调制, OcclBench 研究动机 核心问题： 组合图像生成中多个物体的前后遮挡关系难以准确建模，导致不自然的层次感 文本到图像扩散模型在处理物体遮挡关系时存在严重缺陷——特别是在密集重叠区域，经常出现概念混合（两个物体融为一体）或不合逻辑的遮挡（前景被背景覆盖）。现有免训练布局引导方法依赖深度顺序无关的刚性空间先验，无法建模物体间的前后关系。 前序工作及局限： MultiDiffusion：多区域组合生成，但忽略了深度遮挡关系 Attend-and-Excite：注意力激活增强，但无法控制物体层次 ControlNet：条件控制生成，但深度控制精度有限 与前序工作的本质区别： DepthArb通过深度感知的注意力仲裁机制，在组合生成过程中自动解决物体间的遮挡优先级 方法原理 DepthArb通过仲裁交互物体之间的注意力竞争来解决遮挡歧义： 注意力仲裁调制（AAM） — 在重叠区域中，根据预设的深度排序关系，抑制背景物体的注意力激活。当两个物体在空间上重叠时，前景物体的注意力权重被增强，背景物体的注意力权重被压制，从而自然形成正确的遮挡关系。 空间紧致度控制（SCC） — 抑制注意力分布的空间发散，保持每个物体在指定布局区域内的结构完整性。防止物体注意力「溢出」到其他区域导致形状变形。 这两个机制协同工作，无需任何训练即可实现鲁棒的遮挡感知生成。 核心创新 首个系统解决扩散模型遮挡生成问题的免训练框架 AAM注意力仲裁：基于深度排序抑制背景激活 SCC空间紧致度：抑制注意力发散保持结构完整 OcclBench：多样化遮挡场景评测基准 即插即用增强扩散主干的组合能力 实验结果 在OcclBench上的广泛评估表明，DepthArb在遮挡准确性和视觉保真度上始终优于SOTA基线方法。作为即插即用方法，DepthArb无缝增强了SDXL、FLUX等主流扩散模型的空间组合能力。 批判性点评 新颖性： 深度感知的注意力仲裁机制有一定新意，但核心思路——利用深度信息引导注意力——并不算突破性。 可复现性： 方法描述较详细，但代码开源状态待确认。 影响力： 对多物体场景生成有实际应用价值，但影响范围相对局限于组合生成子领域。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 填补了组合生成中深度遮挡建模的空白，提升了多物体场景的视觉真实感 可能的后续方向： 深度仲裁机制可扩展到3D感知的场景生成 与布局控制方法结合可实现更精准的场景构图 8. MACRO 结构化长上下文数据驱动的多参考图像生成 | 港大 | The University of Hong Kong | arXiv:2603.25319 关键词： 多参考生成, 长上下文, 40万数据集, 跨任务协同, MacroBench 研究动机 核心问题： 多参考图像生成（基于多张参考图组合生成新图像）缺乏系统性的数据集和评测基准 多参考图像生成在实际应用中至关重要——多主体组合、叙事插图、新视角合成等场景都需要基于多张参考图生成新图像。然而，随着输入参考数量增加，现有模型性能急剧下降。根本原因在于数据瓶颈：现有数据集以单参考或少参考对为主，缺乏密集参考间依赖关系的「结构化长上下文」监督。 前序工作及局限： DreamBooth：个性化生成先驱，但仅支持单概念 Custom Diffusion：多概念组合，但需要微调且概念冲突 Subject-Diffusion：主体驱动生成，但多参考场景表现不佳 与前序工作的本质区别： MACRO首次系统定义了多参考图像生成任务，构建了包含多样场景的大规模数据集和评测基准 方法原理 MACRO从数据和评测两个层面系统解决多参考生成问题： MacroData数据集 — 40万个样本，每个样本最多包含10张参考图像。数据按四个互补维度系统组织： 定制化（Customization）：个性化生成场景 插图（Illustration）：叙事和故事插画场景 空间推理（Spatial Reasoning）：多视角和空间关系场景 动态（Dynamics）：运动和变化捕捉场景 MacroBench评测基准 — 4000个评测样本，覆盖多任务维度和不同输入规模，评估生成连贯性。 消融研究揭示了跨任务协同训练的有效性——不同维度的数据互相增益。 核心创新 首个大规模多参考图像生成数据集（40万样本，最多10张参考） 四维度系统组织：定制化/插图/空间推理/动态 MacroBench：4000样本标准化多参考评测基准 揭示跨任务协同训练的互增益效应 数据集和基准将开源 实验结果 在MacroData上微调后，多参考生成效果显著提升。消融研究揭示了两个重要发现：(1) 跨任务协同训练比单任务训练更有效，不同维度的数据产生互增益；(2) 处理长上下文（多张参考图）需要专门的训练策略。数据集和基准将公开发布。 批判性点评 新颖性： 首次系统定义多参考图像生成任务并构建标准化基准，填补了该方向的基础设施空白。 可复现性： 承诺公开数据集和基准，复现友好。任务定义和评测协议清晰。 影响力： 为多参考图像生成建立了标准化研究框架，将催生该方向的后续工作。 深度点评： 创新亮点：离散Token空间的噪声反转突破 — GIDE首次解决了Diffusion LLM因离散Token化而无法做标准Inversion的技术瓶颈。这不仅为DLLM开辟了编辑路径，更为离散生成模型的可控性研究提供了全新的技术基础。 数据影响：12M开源编辑数据改变游戏规则 — ScaleEdit-12M的多Agent生产框架和12M开源数据集可能深刻改变编辑领域的竞争格局——当高质量数据不再是壁垒，模型创新和应用创新将成为核心竞争力。 工程启示：100个参数的极简主义力量 — Calibri用约100个参数和进化算法就提升了DiT质量并减少推理步数，是参数高效优化的典范。这种'大模型+微调节'的思路值得在更多场景中探索。 技术演进定位： 为多参考图像生成建立了标准化的研究框架，将推动该方向的快速发展 可能的后续方向： 多参考生成将与视频模型融合：MACRO的多参考范式天然适配视频帧间一致性建模 数据集将催生新一代多概念组合生成模型 其余论文 · 贡献与效果总结 # 论文 机构 关键词 主要贡献 效果 趋势观察 免训练方法成为图像编辑的主流范式 — GIDE、VeloEdit、HAM、DepthArb四篇论文均采用免训练策略，分别从离散Token反转、速度场分解、异构注意力、深度仲裁四个全新角度实现编辑/生成增强。免训练方法的优势在于即插即用、零额外训练成本、可适配各种底座模型。 数据规模化正在重塑编辑模型能力边界 — ScaleEdit-12M（12M样本、23任务族）和MACRO（40万多参考样本）代表了数据工程从「小而精」向「大而全」的范式转变。ScaleEdit的多Agent生产框架证明了完全开源管线可以接近商业级数据质量。 参数高效优化：用最少参数获取最大收益 — Calibri仅用约100个参数就显著提升DiT质量并减少推理步数；CTCal通过跨时间步自校准引入显式监督而不改变架构。这种极简主义优化思路正在成为工程化的新趋势。 从「能生成」到「能组合」：空间关系成为新战场 — DepthArb解决遮挡关系、MACRO处理多参考依赖、ScaleEdit覆盖复杂编辑场景——生成模型正从单一主体生成走向复杂空间关系的精确建模。 人工智能炼丹师 整理 | 2026-03-29 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描文末二维码关注

AIGC 每日速读|2026-03-18|Tri-Prompting|VeloEdit|LADR| AIGC 视觉生成领域 · 每日论文解读 (2026-03-18) 人工智能炼丹师 整理 | 共 13 篇论文 | 重点深度解读 5 篇 今日核心看点 Tri-Prompting 统一控制 Anchor Forcing 流式视频 VeloEdit 速度场编辑 COT-FM 最优传输 LADR 扩散LLM加速 今日概览 今日 arXiv cs.CV 视觉生成相关论文共 13 篇，重点解读 5 篇。 方向分布： 扩散模型理论与加速 — 3 篇 文本到图像 / 评测 — 2 篇 图像编辑 — 1 篇 3D 生成与重建 — 4 篇 多模态 / 智能体 — 2 篇 顶会收录： CVPR 2026 x 3 篇 + ICLR 2026 x 1 篇 重点论文深度解读 1. Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion 场景/主体/运动统一控制 | Adobe Research | arXiv:2603.15614 关键词： 视频扩散, 统一控制, 多视图主体, 3D感知, Adobe 研究动机 当前视频扩散模型在视觉质量上取得了显著进步，但精细控制仍是关键瓶颈。AI视频创作者需要三种关键控制：场景构图、多视图主体定制、和相机/物体运动调整。现有方法通常孤立处理这些维度，缺乏统一架构支持多维联合控制。 方法原理 提出 Tri-Prompting 统一框架和两阶段训练范式，集成场景构图、多视图主体一致性和运动控制。核心是双条件运动模块：使用 3D 跟踪点控制背景场景，使用下采样 RGB 线索控制前景主体。进一步提出推理时 ControlNet 尺度调度策略，平衡可控性与视觉真实感。支持 3D 感知主体插入任意场景、操纵图像中已有主体等全新工作流。 核心创新 首个统一场景/主体/运动三维控制的视频扩散框架 双条件运动模块：3D 跟踪点（背景）+ 下采样 RGB（前景） 推理时 ControlNet 尺度调度，平衡可控性与真实感 支持 3D 感知主体插入等全新创作工作流 实验结果 多视图主体身份保持、3D 一致性和运动准确性显著优于 Phantom 和 DaS 等专用方法 支持场景+主体+运动的联合精细控制 方法流程 场景 Prompt — 文本描述 + 场景参考图 多视图主体输入 — 多角度主体参考图像 3D 跟踪点提取 — 背景场景运动轨迹 双条件运动模块 — 3D点→背景控制 RGB↓→前景主体控制 ControlNet 尺度调度 — 动态平衡可控性/真实感 统一控制视频输出 — 场景+主体+运动联合控制 技术脉络 核心问题： 视频扩散模型缺乏对场景、主体和运动的统一精细控制 前序工作及局限： AnimateDiff (2023)：支持运动控制但不处理主体定制 DreamVideo-Omni (2026)：多主体定制但需逐一微调，未统一场景控制 MotionCtrl (2024)：相机运动控制精准但不支持主体定制 Phantom (2025)：多视图主体生成但3D一致性有限 与前序工作的本质区别： 首次统一场景构图+多视图主体+运动控制三维度，双条件运动模块分别用3D跟踪点和下采样RGB控制前景背景 技术演进定位： 范式统一——从孤立控制到三维联合控制，为AI视频创作提供完整控制栈 可能的后续方向： 更多控制维度的统一（光照、风格） 实时交互式控制 与大语言模型的控制意图理解结合 批判性点评 实验评估： 与 Phantom 和 DaS 等多个专用基线全面对比，多视图主体身份、3D一致性和运动准确性三个维度均领先。消融实验验证了双条件模块和尺度调度的必要性。 新颖性： 三维统一控制是视频生成的重要里程碑，但Adobe闭源可能限制学术影响。创新性：★★★★★ 可复现性： 代码未开源，项目页面已上线。Adobe内部实现可能难以完全复现。 影响力： 影响力 5/5 -- 定义了视频精细控制的完整框架，产业价值极高。 2. Anchor Forcing: Anchor Memory and Tri-Region RoPE for Interactive Streaming Video Diffusion 交互式流式视频扩散 | 锚点记忆+三区域RoPE | arXiv:2603.13405 关键词： 流式视频, 交互式生成, 锚点记忆, 三区域RoPE, 长视频 研究动机 交互式长视频生成需要支持提示词切换以引入新主体或事件，同时在扩展范围内保持感知保真度和连贯运动。现有蒸馏流式视频扩散模型通过滚动 KV 缓存实现长程生成，但存在两个核心失败模式：提示词切换时缓存维护无法同时保留语义上下文和近期潜在线索；蒸馏过程中无界时间索引导致位置分布偏移。 方法原理 提出 Anchor Forcing 缓存中心框架。第一，锚点引导重缓存机制：在锚点缓存中存储 KV 状态，每次提示词切换时从锚点热启动重缓存，减少切换后的证据损失并稳定感知质量。第二，三区域 RoPE：设计区域特定的参考原点，配合 RoPE 重对齐蒸馏，将无界流式索引与预训练 RoPE 体制协调，更好地保留运动先验。 核心创新 识别交互式流式生成的两个特有失败模式 锚点引导重缓存：KV 状态锚点存储 + 热启动，提升切换边界质量 三区域 RoPE + 重对齐蒸馏：解决无界索引的位置分布偏移 与 MemRoPE 思路互补，但专注交互式场景 实验结果 长视频交互式设置中，感知质量和运动指标均优于现有流式基线 支持多次提示词切换且质量不退化 方法流程 提示词 P₁ — 初始场景描述 流式去噪 + KV缓存 — 蒸馏的视频扩散模型 滚动 KV 缓存 锚点缓存存储 — 定期存储 KV 状态 到锚点缓存 提示词切换 P₂ — 用户输入新提示词 引入新主体/事件 锚点热启动重缓存 — 从锚点缓存恢复 减少边界质量损失 三区域 RoPE — 区域特定参考原点 保留运动先验 技术脉络 核心问题： 交互式长视频生成中提示词切换导致质量退化和运动失真 前序工作及局限： MemRoPE (2026-03-17)：记忆令牌解决长程上下文，但非交互式设计 StreamDiffusion (2024)：实时帧流式，但不支持提示词切换 Attention Sink (2024)：静态锚点，提示词切换时信息丢失 DistillVideo (2025)：蒸馏流式模型，但RoPE位置漂移未解决 与前序工作的本质区别： 锚点引导重缓存热启动解决切换边界问题，三区域RoPE重对齐解决无界索引的位置分布偏移 技术演进定位： 关键补全——与MemRoPE互补，一个解决长程记忆一个解决交互切换，共同构建流式视频基础设施 可能的后续方向： 与MemRoPE的整合方案 多人协作交互式视频编辑 基于Anchor的视频分支/合并 批判性点评 实验评估： 在长视频交互式设置中全面评估，支持多次提示词切换。与现有流式基线对比感知质量和运动指标均提升。但缺少与MemRoPE的直接对比。 新颖性： 锚点缓存和三区域RoPE是流式视频的基础设施级创新。创新性：★★★★☆ 可复现性： 项目页面已上线，方法描述详细。 影响力： 影响力 4/5 -- 与MemRoPE互补，共同构建流式视频生成基础设施。 3. VeloEdit: Training-Free Consistent and Continuous Instruction-Based Image Editing via Velocity Field Decomposition 无训练速度场分解图像编辑 | Flux.1 Kontext | arXiv:2603.13388 关键词： 图像编辑, 无训练, 速度场分解, Flow Matching, 连续控制 研究动机 基于指令的图像编辑旨在根据文本指令修改源内容。然而，基于 Flow Matching 的现有方法常因去噪重建误差导致非编辑区域漂移，难以保持一致性。此外，它们通常缺乏对编辑强度的细粒度控制。 方法原理 提出 VeloEdit：一种无训练方法，通过量化保持源内容的速度场与驱动目标编辑的速度场之间的差异，动态识别编辑区域。基于此分区，在保留区域用源恢复速度替代编辑速度以强制一致性，在目标区域通过速度插值实现编辑强度的连续调制。直接操作速度场，不依赖复杂注意力操纵或辅助可训练模块。 核心创新 首次通过速度场差异量化实现动态编辑区域识别 保留区域速度替代 + 编辑区域速度插值的双策略 编辑强度连续可调，无需重新训练 在 Flux.1 Kontext 和 Qwen-Image-Edit 上验证 实验结果 在 Flux.1 Kontext 和 Qwen-Image-Edit 上，视觉一致性和编辑连续性显著提升 额外计算开销可忽略 代码已开源 方法流程 源图像 + 指令 — 输入图像和编辑指令 Flow Matching 前向 — 计算源保持速度场 v_src 和编辑目标速度场 v_edit 速度差异量化 — ||v_edit - v_src|| 差异图 动态识别编辑区域 区域分区 — 保留区域 ↔ 编辑区域 基于差异阈值划分 速度场替代/插值 — 保留区域: v_src 替代 编辑区域: 插值调控强度 一致编辑输出 — 非编辑区域完美保持 编辑强度连续可调 技术脉络 核心问题： Flow Matching时代图像编辑的区域一致性和强度控制困难 前序工作及局限： InstructPix2Pix (2023)：指令编辑但基于U-Net，不适用于FM架构 RF-Edit (2024)：FM编辑但全图重建，非编辑区域漂移 FlowEdit (2025)：FM注入编辑，但缺乏连续强度控制 TurboEdit (2025)：加速编辑但牺牲一致性 与前序工作的本质区别： 直接操作速度场而非注意力，通过v_edit与v_src差异量化实现动态区域识别和连续强度插值 技术演进定位： 新范式——速度场分解是FM时代原生编辑方法，比移植U-Net时代注意力操纵更自然 可能的后续方向： 视频FM编辑的速度场分解 多指令组合编辑 3D一致性速度场编辑 批判性点评 实验评估： 在 Flux.1 Kontext 和 Qwen-Image-Edit 两个最新模型上验证，视觉一致性和编辑连续性显著提升。但仅在图像编辑测试，未扩展到视频。 新颖性： 速度场分解是FM时代原生的编辑方法论，简洁优雅。创新性：★★★★☆ 可复现性： 代码已开源，直接可复现。 影响力： 影响力 4/5 -- FM编辑的范式性方法，预计会被广泛采用。 4. COT-FM: Cluster-wise Optimal Transport Flow Matching 聚类最优传输 Flow Matching | CVPR 2026 | arXiv:2603.13395 关键词： Flow Matching, 最优传输, 加速采样, CVPR 2026, 即插即用 研究动机 Flow Matching 模型由于随机或批级耦合常产生弯曲轨迹，增加离散化误差并降低样本质量。如何让生成轨迹更直从而减少采样步数，是加速 FM 的核心问题。 方法原理 提出 COT-FM 通用框架，通过聚类目标样本并为每个聚类分配专用源分布（通过反转预训练 FM 模型获得）来重塑概率路径。这种分而治之策略产生更精确的局部传输和显著更直的向量场，且不改变模型架构。作为即插即用方法，可直接应用于任何预训练 FM 模型。 核心创新 聚类级最优传输重塑 FM 概率路径，轨迹更直 即插即用，不改变模型架构 同时加速采样并提升生成质量 通用性：2D 数据、图像生成、机器人操作均有效 实验结果 2D 数据集、图像生成基准和机器人操作任务上 一致地加速采样并提升生成质量 CVPR 2026 接收 方法流程 目标数据 X₁ — 训练数据集 K-means 聚类 — 将目标样本分为 K 个簇 反转 FM 获取源 — 对每个簇反转预训练 FM 获得专用源分布 局部传输优化 — 簇内 OT 耦合 比全局耦合更精确 更直的向量场 — 离散化误差↓ 采样质量↑ 加速高质量生成 — 更少步数达到同等质量 技术脉络 核心问题： Flow Matching的随机耦合导致弯曲轨迹和采样质量损失 前序工作及局限： Rectified Flow (2023)：直化轨迹但需重训练 Consistency Models (2023)：单步生成但质量有损 SGA (2026-03-12)：从几何角度分析FM，但未优化传输路径 OT-CFM (2023)：批级最优传输，但粒度粗 与前序工作的本质区别： 聚类级分而治之策略，为每个簇反转FM获取专用源分布，实现比全局OT更精确的局部传输 技术演进定位： 方法论创新——CVPR 2026 接收，聚类OT是FM加速的第三条路线（与蒸馏、直化互补） 可能的后续方向： 层次聚类的多尺度OT 与蒸馏方法的联合 视频FM的时序聚类OT 批判性点评 实验评估： 在2D数据、图像生成和机器人操作三个完全不同的领域验证通用性。CVPR 2026 接收。但图像生成基准的提升幅度需关注。 新颖性： 聚类OT重塑概率路径简洁有力，即插即用特性极好。创新性：★★★★☆ 可复现性： 方法论清晰，可复现性高。 影响力： 影响力 4/5 -- FM加速的新路线，CVPR 2026 认可。 5. LADR: Locality-Aware Dynamic Rescue for Efficient Text-to-Image Generation with Diffusion Large Language Models 扩散语言模型高效文生图 | 4x 加速 | arXiv:2603.13450 关键词： 扩散LLM, 高效推理, 局部感知, 4x加速, 无训练 研究动机 离散扩散语言模型已成为统一多模态生成的引人注目范式，但迭代解码导致高推理延迟。现有加速策略要么需要昂贵重训练，要么未能利用视觉数据固有的 2D 空间冗余性。 方法原理 提出 LADR（局部感知动态拯救），利用图像的空间马尔可夫性质加速推理。优先恢复'生成前沿'处的标记（与已观察像素空间相邻的区域），最大化信息增益。集成形态学邻居识别定位候选标记、有界风险过滤防止错误传播、流形一致逆调度加速掩码密度与扩散轨迹对齐。 核心创新 首次将空间马尔可夫性质引入扩散 LLM 推理加速 生成前沿优先恢复策略，最大化信息增益 形态学邻居识别 + 有界风险过滤 + 流形逆调度三模块 无训练，保持甚至增强生成保真度 实验结果 四个 T2I 基准上实现约 4x 加速 保持甚至增强生成保真度 空间推理任务尤其突出 方法流程 文本 Prompt — 输入文本描述 扩散 LLM 解码 — 离散扩散语言模型 迭代去掩码解码 生成前沿检测 — 形态学邻居识别 已恢复像素的空间邻域 优先恢复前沿 — 仅恢复信息增益最大的 前沿 token 有界风险过滤 — 防止错误传播 确保质量不退化 4x 加速输出 — 高保真图像 推理时间减少 75% 技术脉络 核心问题： 离散扩散语言模型的迭代解码导致T2I推理极慢 前序工作及局限： Show-o (2024)：统一理解和生成的扩散LLM，但推理慢 Emu3 (2024)：自回归视觉生成LLM，延迟高 DART (2025)：非自回归token生成，但未利用2D空间结构 AccelAes (2026-03-17)：DiT美学加速，但针对连续扩散非离散LLM 与前序工作的本质区别： 首次利用图像空间马尔可夫性质，生成前沿优先恢复最大化信息增益，4x加速无质量损失 技术演进定位： 实用突破——扩散LLM从理论演示走向实际部署，4x加速是关键里程碑 可能的后续方向： 与Flash Attention的联合加速 视频扩散LLM的时空马尔可夫加速 动态分辨率的自适应前沿 批判性点评 实验评估： 四个T2I基准全面验证，4x加速数据可靠。空间推理任务甚至质量提升是亮点。但仅在T2I上验证，未扩展到T2V。 新颖性： 空间马尔可夫性质的发现和利用是精彩的洞察。创新性：★★★★★ 可复现性： 方法描述清晰，无训练方法易于复现。 影响力： 影响力 5/5 -- 扩散LLM部署的关键里程碑。 批判性点评精选 1. 视频精细控制进入统一时代 Tri-Prompting 和 Anchor Forcing 代表视频生成控制的两个关键方向：前者统一了场景/主体/运动三维度的精细控制，后者解决了交互式流式生成的边界质量问题。结合昨天的 MemRoPE，我们看到一个完整的流式视频控制栈正在形成：MemRoPE 负责长程记忆，Anchor Forcing 负责交互切换，Tri-Prompting 负责精细控制。 2. Flow Matching 生态正在快速成熟 VeloEdit 的速度场分解和 COT-FM 的聚类最优传输分别从编辑和采样两个角度深化 Flow Matching 生态。VeloEdit 表明 FM 的速度场可以直接操作来实现编辑（比移植注意力操纵更自然），COT-FM 则为 FM 加速开辟了蒸馏和直化之外的第三条路线。FM 正从'替代扩散'走向'建立自己的方法论体系'。 3. 扩散 LLM 的部署瓶颈正在被突破 LADR 的 4x 无训练加速表明离散扩散 LLM 的推理效率问题正被认真对待。空间马尔可夫性质是一个精彩的发现——图像 token 的空间局部性可以被利用来避免冗余恢复。这与 DiT 连续扩散的加速（JiT、AccelAes）形成互补，两条技术路线共同推动视觉生成模型的实际部署。 其余论文 · 贡献与效果总结 # 论文 关键词 主要贡献 效果 1 LibraGen (Playing a Balance Game in Subject-Driven Video Generation) 主体驱动 . S2V . DPO . 平衡博弈 将S2V视为平衡博弈，Consis-DPO + Real-Fake DPO + 时间依赖动态CFG 仅千量级数据超越开源和商业S2V模型 2 NumColor (Precise Numeric Color Control in Text-to-Image Generation) 精确颜色 . 数字控制 . Lab空间 . 零样本 Color Token Aggregator + 6707个可学习ColorBook嵌入，CIE Lab空间映射 数字颜色准确度提升4-9x，零样本迁移5个模型 3 EVD (Event-Driven Video Generation) 事件驱动 . 交互幻觉 . 门控采样 . DiT 事件头预测token级活动，事件门控采样减少交互幻觉 状态持久/空间准确/支撑关系/接触稳定全面改善 4 FlashMotion (Few-Step Controllable Video Generation with Trajectory Guidance (CVPR 2026)) 轨迹引导 . 少步生成 . CVPR 2026 . 蒸馏 轨迹适配器+联合蒸馏实现少步可控视频生成 CVPR 2026，代码已开源 5 GlyphPrinter (Region-Grouped DPO for Glyph-Accurate Visual Text Rendering (CVPR 2026)) 文本渲染 . DPO . 字形准确 . CVPR 2026 区域分组DPO文本渲染，无需显式奖励模型 CVPR 2026，字形准确渲染SOTA 6 Spectrum Matching (A Unified Perspective for Superior Diffusability in Latent Diffusion) VAE . 扩散性 . 频谱匹配 . 潜在扩散 频谱匹配假说统一理解VAE在潜在扩散中的可学习性 两个实用方法显著提升VAE扩散性 7 SERUM (Simple Efficient Robust Unifying Marking for Diffusion Image Gen (ICLR 2026)) 水印 . 扩散标记 . ICLR 2026 . 鲁棒 初始噪声中添加水印噪声，训练轻量检测器 ICLR 2026，1% FPR下最高TPR，支持多用户 8 DC-Diffusion (High-Fidelity T2I from VLM via Distribution-Conditioned Diffusion Decoding) VLM . 扩散解码 . 分布条件 . 高保真 Logit-to-Code分布映射将VLM token logits转连续条件信号 仅ImageNet-1K短训练即提升VLM视觉保真度 趋势观察 视频生成精细控制 — Tri-Prompting/Anchor Forcing/LibraGen 分别从场景-主体-运动联合控制/交互式流式/主体定制三个维度推进 Flow Matching 理论深化 — COT-FM 和 Spectrum Matching 分别从传输路径优化和 VAE 扩散性角度深化 FM 基础 扩散 LLM 走向实用 — LADR 4x 加速表明离散扩散 LLM 的推理效率瓶颈正在被攻克 无训练编辑方法涌现 — VeloEdit 速度场分解代表 Flow Matching 时代编辑方法的新范式 生成内容安全与可控 — SERUM 水印 + NumColor 精确颜色 + EVD 事件驱动，多维度提升生成可控性 人工智能炼丹师 整理 | 2026-03-18