AIGC 周末专题|2026-11-14|Agent视频：代码、Blender与虚幻 AIGC 周末专题深度解读：面向 Agent 的视频生成：代码、Blender白模与虚幻引擎 人工智能炼丹君 | 2026年11月14日（周六） 覆盖时间：2024-11-14 至 2026-11-14（仅收录此期间首发的研究或产品版本） 本期概述 本期 AIGC 周末专题聚焦面向 Agent 的视频生成：代码、Blender白模与虚幻引擎方向，精选 10 项代表工作进行深度解读。 2026 年 11 月，Fable 5.2 发布时，Ethan Mollick 给了它一个开放式任务：做出一件能嵌入文章、迅速吸引读者、展示模型能力的作品。他随后在文章中展示了一段用代码制作的影片，并表示自己只给了初始要求，没有追加反馈。一个原本需要创意、动画和制作工具共同参与的任务，被交给了通用 Agent。这个案例值得追问的，是从一句创作要求到一段可播放作品，中间的制作过程如何组织起来。 理解这件事，可以先看 Fable 5.2 在流程中的位置。官方规格列出的输出是文字；它可以生成代码、组织工具调用，把场景、相机、动画和声音的要求落实到可执行工程，再由浏览器或三维引擎渲染画面。这里，Agent 负责把创意转化为制作步骤，渲染工具负责把这些步骤变成视频。Mollick 的展示提供了一个具体入口，也把问题引向更广的范围：哪些视频适合这样做，哪些环节又需要生成模型参与？ 沿着这个问题，会遇到几条不同的路线。数学讲解、信息图和品牌动画，可以把文字、图形与时间安排写成代码；需要稳定几何和连续机位的作品，可以让 Agent 操作三维场景、资产与时间轨道；希望保留动作和镜头、再丰富材质与风格的作品，可以先渲染白模，再用 diffusion 等生成模型重绘；面向更开放的叙事和画面探索，也可以由 Agent 拆分剧本、组织分镜，调用视频模型并审阅结果。它们都能产出视频，却把控制权放在不同的地方。 这种差别在修改第二版时最具体：字幕向左移一点，能否只改一个坐标？产品换成侧面镜头，能否保留同一套几何和材质？角色的动作已经满意，能否只换外观？答案取决于创作要求保存在代码、场景、时间轨道、运动条件，还是提示词与参考图里。选择路线时，需要同时考虑画面效果、哪些内容必须保持不变，以及一次局部修改会牵动多少制作环节。 本期从 Fable 5.2 的代码制作案例出发，选取近两年的十项代表工作，梳理代码渲染、三维片场、白模加生成式编辑，以及视频模型制片与审片之间的联系。下面先用路线图和时间线建立全局，再逐项讨论它们的机制、控制能力、制作成本与失败场景。 方向分布： 代码与程序化视频 3 篇 (Fable 5.2, TheoremExplainAgent, Code2Video) Blender白模与生成式编辑 1 篇 (VideoCoCo) 虚幻工具链与三维拍摄 4 篇 (Unreal Engine Agent工作流, Cutscene Agent, CineU, FilmAgent) 生成模型制片与审片 2 篇 (MovieAgent, VISTA) 2024-11-14—2026-11-14：8项研究与2项产品/工具链，比较可控性、制作成本与适用任务 技术路线总览 四条路线按 Agent 修改的对象区分：代码参数、三维场景、运动草稿、分镜与参考。图中同时标出输出优势与主要代价；它们可在同一作品中组合。 四条路线按 Agent 修改的对象区分：代码参数、三维场景、运动草稿、分镜与参考。图中同时标出输出优势与主要代价；它们可在同一作品中组合。 技术路线与时间线 2025 年的五项工作展示了两种进展：先把创意拆成可执行计划，再让画面或视听反馈参与修改。颜色对应前图路线；节点按首发月份排列，不代表直接继承。FilmAgent 使用 Unity 片场。 2025 年的五项工作展示了两种进展：先把创意拆成可执行计划，再让画面或视听反馈参与修改。颜色对应前图路线；节点按首发月份排列，不代表直接继承。FilmAgent 使用 Unity 片场。 2026 年的五项工作进一步强调时间轨道、运动与外观分工、共享状态和局部修复。研究、产品版本与实验性工具接口分别标注；UE 5.9 为预览版。 2026 年的五项工作进一步强调时间轨道、运动与外观分工、共享状态和局部修复。研究、产品版本与实验性工具接口分别标注；UE 5.9 为预览版。 1. Fable 5.2：闭源编码 Agent 怎样交付代码视频 工作: Claude Fable 5.2 来源: Fable 5.2 官方发布与代码视频案例 机构: Anthropic 关键词: 代码视频, 编码Agent, Three.js, 渲染工程, 场景编排 相关资料： Anthropic官方发布：2026-11-09 · Fable官方：代码动画与三维设计能力 · 官方平台规格：文字与图像输入，文字输出 · Ethan Mollick代码影片与场景工程 · Mollick公开Portals工程（独立于开场影片） · Portals第三方依赖声明 1.1 研究动机 核心问题： 怎样把一个视听创意组织成可以持续修改的代码工程？ 讲解一段算法、制作品牌动画或演示三维结构时，创作者往往既要控制文字和几何，又要反复修改节奏。把这些要求交给通用编码 Agent，意味着它可以把创意落实为可执行工程：改一句文案、一个参数或一段时间安排，再由渲染器重新出画面。Fable 5.2 的案例展示了这条路线正在从短小动画走向更完整的视听制作。 前序工作及局限： 手工动画制作：对象、布局和时间都可控制，但建立和修改工程需要较多操作。 单次生成动画程序：长脚本中的依赖、布局和时间关系容易彼此冲突。 与前序工作的本质区别： 用通用编码 Agent 编排场景、动画与音轨，将运行反馈和画面检查用于修改工程。 1.2 方法原理 Diagram or chart prepared from the cited method and results. 图表详解：Fable 5.2：用代码与工具交付视频 Fable 5.2生成代码与工具指令，渲染器执行场景、动画和音轨，最终组合为视频。代码控制内容与时间参数，素材和渲染后端决定可实现的视觉风格。 1. 用程序表示画面和时间。 Fable 5.2 于 2026 年 11 月 9 日发布，官方规格为文字与图像输入、文字输出。它通过代码和工具指令组织几何、材质、相机、动画与声音，再由浏览器或三维引擎生成画面。视频的可控性来自工程中的对象与时间参数。 2. 让通用编码能力承担制作编排。 一个完整任务可以拆成场景搭建、动画、镜头、音轨和导出；代码执行和画面检查为下一轮修改提供反馈。相较专用视频网络，这种方式更容易接入已有字体、绘图库和工程资产，但模型也必须处理依赖、运行环境与跨模块协调。 3. 从 Portals 理解可复用的场景结构。 Mollick 公开的这一独立三维漫游项目使用 Three.js：场景模块返回三维场景、相机路径和时长，由公共引擎驱动播放，声音在浏览器中合成。把场景内容与播放逻辑分开后，可以替换一个世界而复用相机调度和界面。Portals 是三维工程案例；同文的开场代码影片是另一件作品。 1.3 核心创新 它把视频创作扩展为通用软件制作任务：Agent 可以编辑生成画面的规则，而不仅是请求另一段像素。对于有明确结构、需要重复改稿的内容，代码同时承担制作工具和可复用资产两种角色。这里展示的是编码与工具协作能力，不是新的视频生成网络。 1.4 实验结果 Diagram or chart prepared from the cited method and results. 图表详解：代码视频的收益：修改有明确落点 文字、公式与图形适合参数化修改；场景与镜头可以复用代码和资产；自然表演与叙事仍需要动画资源和视觉判断。系列内容能摊薄模板制作成本，一次性的高自由度探索则未必值得建立同样复杂的工程。 官方列出的用途包括代码动画、带声音的教育视频和三维世界。Mollick 展示了代码制作的发布影片，并公开 Portals 的场景、相机和声音工程；他将前者描述为一次用户提示后完成的作品。这个案例说明了可实现的制作形态，但一次创作中的工具执行和内部修改仍可很多，不能据此估计稳定交付率或平均制作成本。 1.5 关键洞察 优势在于可寻址修改：文字、颜色、位置、曲线和镜头时长都能对应代码。适合知识讲解、数据动画、几何演示及系列化视觉包装；同一模板可以替换内容反复使用。 画面复杂度会转化为工程复杂度。自然人物表演、衣料与毛发、复杂接触和写实布景需要动画系统、模拟器或外部资产，仅靠增加程序行数不会自然获得高质量表演。 执行正确只说明渲染规则可以运行。一个完全合法的程序仍可能表达错误因果、让对象穿模，或把关键动作放在镜头外；检查需要同时理解脚本目标、三维状态和画面随时间的变化。 需要明确资产来源和制作成本的团队，应把模型调用、外部素材、渲染及返工放在同一条成本链中。编码 Agent 能降低操作门槛，但不能消除素材准备和视觉设计的工作。 下一步的关键是让 Agent 围绕稳定的对象标识和时间线进行局部修改，并把画面问题定位回代码中的对象或参数。这样才能从完成一次演示走向可持续迭代的制作工具。 技术演进定位： 通用代码生成 → 可运行的场景与动画工程 → 工具执行和画面反馈。Fable 5.2 代表通用编码 Agent 进入视听制作的产品路线，可与专用动画框架、Blender 或游戏引擎组合；其价值取决于工程控制与审阅能力。 可能的后续方向： 建立跨场景的对象与时间关联，将视觉修改落到具体参数，同时保留无需修改的素材与镜头。 2. TheoremExplainAgent：让代码报错成为视频生成的反馈 工作: TheoremExplainAgent: Towards Video-based Multimodal Explanations for LLM Theorem Understanding 来源: ACL 2025 主会论文 机构: University of Waterloo；Votee AI；Vector Institute 关键词: 教学视频, Manim, 规划与编码, 执行反馈, TheoremExplainBench 相关资料： ACL 2025正式论文 · ACL 2025论文全文 · 官方项目及生成视频 · OpenAlex 学术引用记录（2026-11-14） 2.1 研究动机 核心问题： 怎样把长篇知识解释拆成可执行、可修复的动画制作步骤？ 解释勾股定理时，模型可以把文字说得很流畅，却在动画里画错对应边，或让公式变化快于旁白。教学视频把抽象推理变成了一组必须相互吻合的对象：讲解步骤、数学符号、几何图形和播放时间。TheoremExplainAgent 用这个更具体的任务检验模型：能否把自己声称理解的定理，转成别人可以跟着看懂的长篇解释？ 前序工作及局限： Manim 等程序化动画工具：提供图形和动画原语，但讲解顺序与内容仍由作者设计。 一次生成完整动画代码：讲解规划与程序实现混在一起，长程序出错后难以修复。 与前序工作的本质区别： 将讲解计划与动画编码分开，以真实运行错误驱动有限次修复。 2.2 方法原理 TheoremExplainAgent 由两个大语言模型 Agent 组成。输入一个定理后，规划 Agent 制定执行计划，编码 Agent 随后生成用于制作视觉内容与音频的 Python 脚本。 图表详解：方法框架（原论文图 2） TheoremExplainAgent 由两个大语言模型 Agent 组成。输入一个定理后，规划 Agent 制定执行计划，编码 Agent 随后生成用于制作视觉内容与音频的 Python 脚本。 先决定怎样讲，再决定怎样画。 Planner 把定理与背景组织成多个场景，为每个场景安排概念、可视化、动画、转场与旁白。这样，编码者面对的是有边界的讲解任务，而不是一次生成整部视频的长程序。 把表达落到 Manim 代码。 Coder 将场景计划写成 Python 动画，语音合成负责旁白；公式、图形和出现顺序成为可执行指令。渲染器实际运行这些指令，异常会返回编码者，最多进行五次修复尝试。 闭环首先解决“做得出来”。 执行错误提供了具体反馈：哪个调用无效、哪里缺少对象、程序为何中断。但一个公式盖住另一个公式，或者动画说明了错误的数学关系，未必触发异常。因此，程序修复保证的是进入成片阶段的机会，教学质量仍取决于前面的解释计划和画面表达。 2.3 核心创新 它把教学解释变成了可执行的中间表示：先有场景计划，再有动画代码，最后接受运行环境的约束。相比直接要求模型输出完整视频，错误更容易被定位到一个场景或一次调用；相比只让模型写证明，空间关系和时间顺序又暴露出文字中不明显的理解缺口。 2.4 实验结果 结构化视觉解释可以让复杂概念更直观，同时把文字解释中不易发现的推理错误暴露出来；图中以排序过程展示文字描述与逐步可视化的区别。 图表详解：可视化结果（原论文图 1） 结构化视觉解释可以让复杂概念更直观，同时把文字解释中不易发现的推理错误暴露出来；图中以排序过程展示文字描述与逐步可视化的区别。 TheoremExplainBench 包含数学、物理、化学和计算机科学的 240 个定理。o3-mini medium 的完整视频生成成功率为 93.8%，成功成片的综合评分约为 0.77，论文也展示了可达十分钟的输出。这里应同时看两层结果：93.8% 表明大多数任务能够完成制作，0.77 则反映生成出来的解释仍有质量差异。运行成功不等于推导和可视化都正确。 2.5 关键洞察 布局错误是这条路线的直接短板。对象错位、遮挡和尺寸不一致通常不会让 Python 报错，依靠异常修复无法消除这类问题。教学视频需要额外检查符号关系、可读性和旁白节奏。 检索到代码也不一定更好用。不相关的 Manim 示例会诱发错误调用，并增加 token 与制作时间；素材和示例必须服务当前讲解，而不是越多越好。 工程判断：它适合几何推导、算法过程等能用符号和图形表达的讲解。真人表演、复杂材质和开放场景不是 Manim 的优势；高风险教学内容还需要数学或领域专家把关，自动评分难以替代这一步。 技术演进定位： 代码视频从工具调用走向长篇教学流程：首先解决内容组织与执行可靠性。 可能的后续方向： 将代码检查、数学关系检查和画面可读性检查结合，分别处理运行错误、解释错误与视觉错误。 3. Code2Video：从修程序，走向看画面再改代码 工作: Code2Video: A Code-centric Paradigm for Educational Video Generation 来源: 2025 arXiv；2026 ICML 机构: Show Lab, National University of Singapore 关键词: 代码视频, 视觉反馈, Manim, 布局锚点, TeachQuiz 相关资料： arXiv摘要 · arXiv v1全文 · ICML 2026正式论文集（标题为Educational Video Creation） · 官方生成案例 · OpenAlex 学术引用记录（2026-11-14） 3.1 研究动机 核心问题： 程序执行成功之后，怎样根据观众实际看到的画面继续修复？ 让动画代码运行起来以后，下一道难题是让观众跟得上：字幕不能压住示意图，公式需要在解释到它时出现，几个章节也不能各用一套符号。Code2Video 直接处理这种“程序成功、表达失败”的落差，把讲解结构、画面布局和渲染后的视觉反馈纳入同一条制作流程。 前序工作及局限： TheoremExplainAgent：通过计划与执行反馈提高长篇动画的制作完成率。 直接让视觉模型评价视频：能指出画面问题，但意见不容易转换为准确的代码修改。 与前序工作的本质区别： 以视觉锚点和占用表连接画面元素与代码位置，把审片意见落实到可编辑区域。 3.2 方法原理 Figure 4: Illustration of Code2Video. Given a user inquiry, Code2Video aims to render an educational video via Manim code writing: (i) the Planner converts a learning topic into a storyboard and retrieves visual assets; (ii) the Coder performs parallel code synthesis with scope-guided refinement to ensure efficiency and temporal consistency; (iii) the Critic uses visual anchor prompts to iteratively adjust spatial layout and clarity, yielding reproducible, educationally structured videos. 图表详解：方法框架（原论文图 4） Code2Video 的整体流程。给定用户问题，Planner 将学习主题转成分镜并检索视觉素材；Coder 并行合成代码并进行作用域引导的修复，以保证效率和时间一致性；Critic 使用视觉锚点提示反复调整空间布局与清晰度，生成可复现、结构化的教学视频。 用提纲维持讲解顺序。 Planner 根据主题和受众安排章节，再细化成逐句旁白与配套动画；图片和图标放入共享素材缓存，使不同片段沿用同一套视觉资源。 并行制作，逐步扩大修复范围。 各章节独立生成 Manim 程序。遇到错误时，ScopeRefine 先修出错行附近的代码，再扩展到对应讲解块，最后才重写整节。这个顺序尽量保住已经正确的部分。 让视觉意见能找到代码。 系统把画布离散成 6×6 锚点网格，为小元素分配点位，为大元素分配区域，并记录占用位置、缩放和代码行。Critic 同时看渲染视频和程序，发现遮挡或布局失衡后，通过这份对应关系调整局部代码。关键不是简单增加一个“打分模型”，而是让“公式挡住图了”变成可执行的修改。 3.3 核心创新 Code2Video 把画面与程序之间的对应关系显式保存下来。执行异常能定位错误调用，视觉锚点则帮助定位错误摆放；两种反馈分别处理“能不能运行”和“能不能看清”。章节并行与共享素材又把局部效率和整片一致性联系起来，使视觉返修不必总从整部程序重新开始。 3.4 实验结果 Figure 6: Qualitative comparison between Code2Video and Veo3 . Our approach generates videos with coherent logic flow, consistent semantics, and interpretable layouts. 图表详解：可视化结果（原论文图 6） Code2Video 与 Veo3 的定性比较。作者展示代码路线在所选教学案例中保持连贯的逻辑顺序、语义一致性和可解释布局的能力；这是论文所选案例，不是所有视频任务的统一排名。 arXiv v1 表 1 中，在同样使用 Claude Opus 4.1 的配置下，自动 TeachQuiz 从直接代码生成的 40.0 升至 86.0，美学均分从 37.8 升至 87.9。这说明该基准上，增加规划与反馈后，改善的不只是外观。TeachQuiz 测量的是模型屏蔽既有知识后，观看视频得到的答题增益；它提供了知识传递的代理指标，真实学生的理解、记忆与迁移仍需人类学习实验评价。 3.5 关键洞察 工程判断：锚点降低了布局搜索难度，也限定了表达方式。对于需要自由排版或复杂连续运动的场景，固定点位不能自动解决全部空间冲突，仍可能需要更细的布局约束。 视觉评委可能漏掉一闪而过的遮挡，人评对布局错误也比自动评分更敏感。一次成片总分难以说明每个时间点都清楚，短暂但关键的公式变化尤其值得检查。 工程判断：它适合可分章节、可复用图形素材的知识视频，并且比只靠异常修复更接近实际制作流程；代价是多轮生成、渲染与审片。若只需要几秒简单动画，这套流程的组织成本可能超过收益。 技术演进定位： 代码视频从执行修复走向视觉返修，并进一步评价知识传递效果。 可能的后续方向： 加强逐时刻布局检查与真实学习者评价，区分画面清楚、知识正确和真正学会三种目标。 4. VideoCoCo：Agent写Blender白模，再让生成模型补外观 工作: VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System 来源: 2026-07 首发，2026-08 修订 机构: CUHK、USTC 等联合团队 关键词: Blender, 白模, Code-as-CoT, 视频编辑, 物理一致性 相关资料： VideoCoCo 原论文 · VideoCoCo 官方代码与示例 · BlenderMCP 社区工具入口 4.1 研究动机 核心问题： 怎样既保留动作过程的可控性，又获得生成模型的写实外观？ 一个物体先受撞击再破裂，与先破裂再被碰到，单帧都可能逼真，视频表达的因果却完全不同。VideoCoCo 把这种过程先写成 Blender 程序并渲染成白模，让生成模型主要负责外观。它试图降低一个模型同时猜测运动过程和生成写实画面的负担。 前序工作及局限： 文字分镜与关键帧：描述过程，但对相邻时刻的运动和接触约束较弱。 直接三维渲染：场景过程可编辑，精细外观需要资产、材质和灯光制作。 与前序工作的本质区别： 以 Blender 程序生成连续白模草稿，再由适配的编辑器处理外观，让过程控制与外观生成分工。 4.2 方法原理 Figure 2 summary: runnable Blender scenes provide temporal drafts; the editor transforms their appearance. See source for the original caption. 图表详解：VideoCoCo：Blender白模到生成视频（原论文图2） VideoCoCo 双引擎流程。第一阶段中，代码 Agent 根据提示规划并编写独立 Blender 程序，规定场景及其时间演化，在沙箱执行后得到低保真的时空草稿。第二阶段中，指令 Agent 根据原始提示和草稿生成编辑指令，与草稿一起输入视频编辑模型，得到最终高保真视频；草稿提供动态过程，编辑模型提供写实外观。 1. 先固定完整过程。 编码 Agent 根据提示编写 Blender Python，声明物体、属性及随时间的变化，再执行程序得到低保真白模视频。相较文字分镜或稀疏关键帧，每一帧都有明确的场景状态，动作先后和相机运动可以在上色前调整。 2. 再补外观。 指令 Agent 同时读取原提示和白模，描述材质、光照与视觉风格，避免重新定义已有运动。视频编辑器以白模和指令为条件生成成片。为弥合白模与真实视频的外观差异，论文用 VideoCoCo-3K 的 3,000 组三元组适配 OmniWeaving；Seedance 2.0 用于构造训练目标。 3. 分清 Blender 的两种出口。 直接渲染保留三维工程对对象和镜头的控制；白模加生成式编辑用部分确定性换取更丰富的外观。BlenderMCP 是让 Agent 执行 Python、读场景和看视图的社区接口，不是完整视频方法。作者工程用预览检查过程、修改脚本，交互检查与最终批量渲染也各有职责。 4.3 核心创新 白模成为两类系统共享的时间过程：程序引擎明确发生什么，生成式编辑器负责呈现成什么样。收益不仅来自增加 Agent，还来自连续的中间视频和针对白模条件的编辑器适配；仅把任意白模送进普通视频模型，不能假定获得同样效果。 4.4 实验结果 Diagram or chart prepared from the cited method and results. 图表详解：VideoCoCo：过程约束与编辑器适配的物理任务收益 数据：论文表 1、表 2。橙色为基础生成器，青色为加入VideoCoCo后的结果。左图采用0到1的一致性量表；右图为选定物理维度的百分制结果，未包括VBench的全部评价维度。两个面板分别读数，关注各自基线到完整方法的变化。 论文中，OmniWeaving 在 PhyGenBench 的平均物理一致性分数由 0.475 提升到 0.558；在 VBench-2.0 所选物理维度的平均分由 52.18% 提升到 77.88%，均为越高越好。后一数字是物理维度的结果，不是全部视频质量的总分。这组对照支持的是过程约束与编辑器适配对物理任务的帮助，不直接衡量人物表演、长篇叙事或制作效率。 4.5 关键洞察 适合动作顺序、轨迹和接触关系重要，而原始外观较简单的短片，例如机制演示和物理过程可视化。白模将动作问题提前到外观制作之前，便于先发现和修改过程错误；之后仍需重新运行编辑器。 程序显式表达过程，并不自动证明过程符合物理。Agent 可能把错误轨迹写成关键帧，静态合法的程序也可能产生错误动画；需要物理求解、接触约束或领域检查，而不能把可执行直接当作物理正确。 白模是生成条件，未必是最终像素必须遵守的硬约束。编辑器增加纹理、阴影和细节时，仍可能改变物体边界、接触瞬间或遮挡关系；越要求精确尺寸和可量测运动，越应优先考虑直接渲染。 成本包含程序构建、白模预览、生成式编辑和失败后的返工。只有当过程能稳定复用、外观需要变化时，前期建模投入才更容易摊薄；对一次性的复杂自然场景，这条链路可能比直接生成更重。 后续挑战是把接触、身份和事件时间从软条件变成可检查约束，并区分错误来自程序过程还是外观重绘。只有能定位到具体阶段，自动返修才不会把正确的部分重新做坏。 技术演进定位： 文字分镜或关键帧规划 → 可执行的连续白模视频 → 针对白模条件适配的生成式编辑。VideoCoCo 连接代码控制与扩散外观，但最终成片对时序和接触的忠实程度仍受编辑器约束能力影响。 可能的后续方向： 把接触与事件时序变成可检查约束，减少外观编辑对既有运动的破坏。 5. Unreal Engine Agent工作流：把场景、时间线与渲染交给Agent 工作: Unreal Engine 5.9 MegaJam Preview 来源: 2026-11 Epic 官方预览发布与渲染文档 机构: Epic Games 关键词: Unreal Engine, MCP, Level Sequence, Movie Render Graph, Agent工具链 相关资料： Epic 2026-11-09 UE 5.9 MegaJam Preview · Epic Movie Render Graph 脚本与完成回调 5.1 研究动机 核心问题： 怎样让创作指令持续对应到三维场景、镜头和动画轨道？ 如果一个项目要持续修改角色、机位和剪辑，生成一段视频还不够，制作系统需要保留这些对象的身份和相互关系。Unreal 的作用是提供可编辑的场景与时间线，让 Agent 的操作落到具体资产、轨道和渲染任务上，而不是每轮重新猜测整段画面。 前序工作及局限： 传统三维编辑器：控制细致，操作和跨工具协调成本较高。 仅用提示生成镜头：外观变化灵活，精确复拍与局部返修较难。 与前序工作的本质区别： 把编辑器中的对象与渲染能力交给 Agent 操作，在同一工程内保留资产和时空关系。 5.2 方法原理 Diagram or chart prepared from the cited method and results. 图表详解：Unreal：Agent 可以把计划落实为引擎镜头 Agent通过Unreal工具与Python接口处理资产、场景和时间轴，再把渲染任务交给MRQ/MRG。创作目标需要对应到具体对象与轨道；UE5.9预览中的相关Agent能力仍为实验功能。 1. 把操作落到编辑器对象。 2026 年 11 月 9 日发布的 UE 5.9 MegaJam Preview 扩展了 Unreal MCP、编辑器内的 Unreal Assistant 及 Python API。Agent 可通过工具操作场景、资产、动画与渲染；MCP 和 Assistant 等相关功能仍标为 Experimental。 2. 用场景和时间线维持一致性。 Level 保存场景，Level Sequence 保存角色、相机与动画轨道。相机位置、焦距、角色运动和切镜时间都是独立的修改对象；换一个机位时，同一角色与布景可以继续使用。 3. 让渲染配置也可编排。 Movie Render Graph 用图管理渲染设置，脚本可修改暴露参数并接收执行完成回调。它负责将既定场景转成输出画面，创作规划和视觉审阅仍需上层系统完成。 4. 按任务选择画面后端。 实验性的 Unreal Canvas 可用提示、参考图或已有场景连接外部模型，生成图像、网格和视频。引擎渲染从几何生成像素，外部视频模型根据条件合成像素；二者可以互补，但具有不同的控制强度和误差来源。 5.3 核心创新 近期变化是将 Agent 接口接入已有三维制作环境，使资产、镜头、时间线和渲染设置都能进入工具调用链。相比重新生成视频，可编辑工程能承接持续改稿；相比只输出脚本，上层 Agent 也有机会读取修改后的实际状态。 5.4 实验结果 Diagram or chart prepared from the cited method and results. 图表详解：Unreal 的两条出口：直接渲染，或连接生成模型 同一场景有两条输出路径：直接渲染保留对几何、镜头和时间的工程控制；通过实验性Unreal Canvas连接外部模型，可以扩展外观变化，但增加生成约束保持与再生成成本。 官方公开了编辑器 Agent 连接、扩展 Python API、Unreal Canvas 以及渲染编程入口。这些接口扩大了可自动化的操作范围，但不构成一套已完成的自动导演系统，也没有给出与各视频生成论文同条件的画质或任务成功率对照。 5.5 关键洞察 适合已有三维资产的团队、游戏过场、虚拟拍摄及需要多版镜头的产品演示。同一工程能换角度、改时长并继续复用角色和布景，尤其有利于需求反复变化的制作。 前期资产、骨骼动画、材质与灯光决定效果上限。对于没有模型、只需要一次性自然场景的用户，搭工程的投入可能高于直接视频生成；接口增加不会自行补齐这些资产。 三维控制与最终审美是两层问题。镜头可以精确重复，但构图仍可能平庸，动画仍可能僵硬；上层系统需要理解动作与叙事，而不能只检查轨道存在和渲染完成。 UE 5.9 MegaJam Preview 是预览版本，相关 Agent 功能仍为实验性。工作流依赖具体 API、插件及资产兼容性，生产采用需固定版本并隔离升级，否则一次接口变化可能使整条制作链失效。 外部模型可以补充风格与细节，也可能改变几何和角色外观。未来更有价值的融合是保留场景、相机和时间约束，让生成结果能回到可编辑工程中，而不只是把引擎截图当作一次性参考图。 技术演进定位： 传统三维编辑器与脚本 → Agent 可调用的对象、时间线和渲染接口 → 引擎与外部生成模型协同。它提供制作基础设施；具体的规划、反馈和返修策略由 Cutscene Agent、CineU 等系统进一步实现。 可能的后续方向： 围绕持久场景状态设计上层规划和局部返修，使外部生成模型遵循工程中的镜头与时间约束。 6. Cutscene Agent：把对白、表演和镜头写进 Unreal 时间轴 工作: Cutscene Agent: An LLM Agent Framework for Automated 3D Cutscene Generation 来源: 2026 技术报告、官方项目与代码 机构: Kuaishou GameMind Lab 关键词: 视频生成Agent, Unreal Engine, MCP, Level Sequence, 视觉反馈, Cutscene Agent 相关资料： arXiv v1：体系、CutsceneBench 与限制 · 官方项目：演示资产与美术参与说明 · 官方代码与 UE 5.6 环境说明 · Photographer：已实现截图反馈循环 · 视角工具实际调用：编辑器视口相机 6.1 研究动机 核心问题： 怎样把对白、表演和摄影协调到可以继续精修的同一条时间线上？ 对白从三秒变成五秒后，嘴型、动作、对方的反应和切镜点都可能需要调整。Cutscene Agent 把这类对白型三维过场落到 Unreal 的原生时间轴中，让角色、表演、声音和镜头能够协同修改，也为动画师继续加工保留入口。 前序工作及局限： 虚拟片场中的计划互评：能协调拍摄意图，但动作、声音与镜头仍需落实到具体时间段。 单独生成的短镜头：角色身份、口型和前后动作不易稳定连接。 与前序工作的本质区别： 让导演和专门角色共同编排原生轨道；视口反馈用于观察场景，成片摄影由时间线中的相机轨道控制。 6.2 方法原理 Diagram or chart prepared from the cited method and results. 图表详解：Cutscene Agent：Agent 在引擎里搭建可编辑镜头 导演分配动画、摄影与声音任务，在Unreal中组织可编辑的Level Sequence。每轮读取时间轴状态，协调角色动作、音轨和镜头。Photographer通过视口截图调整观察视角；成片摄影由时间线中的相机轨道控制。 1. 先读真实场景，再做下一步。 导演 Agent 通过 Cutscene Toolkit 查询角色、动画和音频资源，每轮决策前重新读取 Level Sequence 的轨道与时间段，减少文字计划与实际工程脱节。 2. 围绕同一时间轴分工。 场景、动画、摄影和声音专家分别处理站位、表演、机位以及对白和面部动画。语音生成、音轨挂载、面部动画生成与挂载有明确先后；相机模板以角色骨骼位置为参照，初始化过肩、主观、推拉和环绕等机位。 3. 区分观察与拍摄。 Photographer 根据视口截图调整编辑器观察视角，帮助看清对象和空间关系；成片机位由 Level Sequence 的相机轨道控制。这种局部视觉反馈有用，但不能等同于审阅整片并自动重写拍摄方案。 4. 留下可编辑的表演工程。 输出是原生角色、动画、声音和相机轨道，可继续渲染与加工。官方演示使用 MetaHuman，灯光和最终渲染由美术完成。 6.3 核心创新 重点是把导演分工、资源约束和真实时间轴状态连在一起，让对白制作中的长依赖链可执行、可修改。CutsceneBench 进一步分开评价工具操作、轨道完整性和最终视听效果，揭示了技术完成与艺术完成之间的距离。 6.4 实验结果 Diagram or chart prepared from the cited method and results. 图表详解：Cutscene Agent：会调用工具，还不等于会拍好 Opus 4.6 / GPT-5.4 的调用完成度为 100.0 / 95.7，摄影机覆盖为 96.4 / 93.5，叙事与摄影总分为 50.2 / 42.4。L1/L2 在每模型 65 场景上评价；L3 仅覆盖七个入选模型，每个抽取 25 段视频（五个层级各五段），由 Gemini 3.1 Pro 自动评分、满分 100。Qwen 2.5-72B 因结构完整性不足未纳入 L3；该分数不是人工偏好或成功率。 成片评分忽略环境保真度，重点在角色、对白、动作与摄影。 每个模型在 65 个场景中接受工具与结构评估。Opus 4.6 的轨道完整率、镜头覆盖率和时间一致性分别为 100.0%、96.4% 和 99.5%。进入成片评价的七个模型各取 25 段视频，由 Gemini 3.1 Pro 按剧本、角色、摄影与时间连贯性评分，每项 25 分；Opus 4.6、GPT-5.4、Sonnet 4.6 分别为 50.2、42.4、41.7。后者是模型评审量表，不是观众满意率；它与结构指标共同说明，轨道齐全之后仍有很大的镜头表达空间。 成片评分有意忽略环境保真度，重点评价角色、对白、动作与摄影，因此并非全画面美术质量评分。 6.5 关键洞察 最适合角色和动作库明确的对白过场、叙事原型和预演。通过改时间轴而不是重生成整个场景，可以保留角色身份、资产引用以及后续人工精修空间。 系统更多是在选择和组织已有表演资源。对复杂打斗、群体调度或细腻的情绪转折，动作库中缺少的表演不会因为导演指令更详细就自动出现；资产覆盖决定可拍题材。 多轨道同步具有连锁依赖。语音变化会影响口型和动作时长，继而影响反应镜头；单轨合法仍可能整体错位。因此关键检查对象应是轨道间的关系，而不只是调用成功或对象存在。 视口反馈帮助观察，不等于拥有完整电影判断。跨镜头连续性、节奏、视线关系和情感表达需要比较一段时间里的多镜头；论文列出的更广泛视觉专家仍是后续方向，最终美术工作也不能省略。 发展重点应是让台词、动作和镜头修改能够传播到直接依赖它们的轨道，同时保留其他已完成内容。这样的可控返修，比不断增加角色型 Agent 更能决定实际制作效率。 技术演进定位： 对白脚本与角色分工 → 引擎原生时间轴 → 真实状态回读与局部视口反馈。它承接虚拟制片的资产复用思路，把自动化重点放在表演编排及多轨道协调。 可能的后续方向： 把对白时长的变化传递给口型、动作和反应镜头；补充跨镜头的视线、节奏与连续性判断。 7. CineU：用引擎状态修复可编辑的多镜头视频 工作: Cinematize from Unreal: Agentic Choreography for Controllable World Simulation 来源: 2026 技术报告 机构: Tongji University；Microsoft Research Asia 关键词: 视频生成Agent, Unreal Engine, Sequencer, 多镜头编排, 局部修复, CineU 相关资料： arXiv 首发、作者与准确标题 · arXiv v1：方法、定性多镜头结果与消融 7.1 研究动机 核心问题： 修改一个对象或镜头时，怎样保留已有场景中仍然正确的部分？ “让角色在屋顶行走，同时推拉变焦，再切到远景”包含空间、动作、镜头和时间的多重依赖。即使每个操作单独能执行，组合后也可能角色滑行、站位悬空或镜头错拍。CineU 把 Unreal 工程作为持续存在的世界状态，并围绕依赖关系安排执行和局部返修。 前序工作及局限： 独立镜头生成：不同镜头缺少共享实体和时间状态，局部要求容易破坏前后关系。 整段引擎代码重生成：已经正确的资产和镜头也会随重写而变化。 与前序工作的本质区别： 使用持续的世界状态、时间线与依赖关系定位失败，把修改限制在相关函数、对象与轨道。 7.2 方法原理 Diagram or chart prepared from the cited method and results. 图表详解：CineU：把任务拆开，把正确状态保留下来 CineU 将指令拆成有依赖的引擎操作，分工检索资产并生成代码。静态检查、执行轨迹和状态回读共同定位失败，再局部修订函数。多镜头共享场景与时间轴，保留正确资产和时序；创意判断不等同于自动验证。 1. 把需求拆成有关联的任务。 编排 Agent 管理环境、实体、摆放、动画和镜头；Sequencer 专家提供共同时间轴，让相机、动作和位移共享时长与轨道引用。 2. 在已有能力内构造操作。 论文配置有 300 多个验证资产和 60 多个代码模板。资源先从本地检索，再查外部市场；各专家只读取与自身任务相关的模板，减少误用 API 与不兼容资产的机会。 3. 把镜头意图转成关系约束。 包围盒近似支持“在屋顶上”“在旁边”等放置关系；推拉变焦同步相机距离与焦距，移动轨道与行走动画共享时间，避免对象只平移而不迈步。 4. 根据失败位置修复依赖范围。 系统依次检查程序、执行完成情况及引擎实际状态，修改导致失败的函数并保留已完成部分。换贴图通常只影响外观，换实体可能影响支撑几何，换动作则需重新同步位移；局部修改的范围由这些关系决定。 7.3 核心创新 它将持续存在的场景、明确的能力库和依赖感知返修结合。局部编辑不再等于只改一行代码，而是更新一个对象及其直接相关的空间、时间关系；这一点决定了多轮制作能否积累成果。 7.4 实验结果 Diagram or chart prepared from the cited method and results. 图表详解：CineU：知识、验证与局部修订分别贡献多少？ 任务完成率：无/统一/专业知识为 18.4%/31.2%/47.8%；无/单阶段/多阶段验证为 16.8%/29.5%/47.8%；全量重生成/最小改动为 38.1%/47.8%。成功需执行、资产和时空约束同时满足；验证组首轮程序正确率均为 56.2%。不同配置的完成率不能代替视频美学评分。 论文表 4 中，完整配置的任务成功率为 47.8%，首次代码正确率为 56.2%，修正轮数为 5.6；单 Agent 对应为 11.5%、19.4% 和超过 10 轮。局部修复相对整段重生成，将成功率由 38.1% 提升至 47.8%，修正轮数由 7.8 降至 5.6。结果支持保留正确操作的价值；这些是配置级消融，不宜外推为任意资产和提示的成功率，也不能把修正轮数直接换算成时间成本。 7.5 关键洞察 适合需要重复修改的三维预演、相机运动设计和多镜头原型。与每轮重生成像素相比，角色、场景和相机仍有稳定身份，能够保留已确定的创作决策。 模板和资源库既提高可靠性，也限制表达范围。超出支持的动画、引擎接口或资产组合后，已有成功率未必保持；论文使用 UE 5.5 及更早版本，跨版本迁移仍需处理兼容性。 包围盒只近似对象的外形。它能约束大致站位，却难以表达凹面、细小接触、关节和柔性物体，因此几何摆放通过检查后，画面仍可能悬空、穿插或缺少可信动作。 状态正确与视觉意图正确之间仍有缺口。角色按时走完路径，相机也可以正好看向无关区域；系统的自动验证主要判断执行与约束，构图、节奏和情感仍需要另一层视觉判断。 最有希望的后续方向，是把画面中的关系错误映射回场景依赖，再做受约束的局部修复。困难在于避免修复振荡：调整站位改善接触，却又破坏取景，必须共同检查相关约束。 技术演进定位： 语言驱动三维操作 → 持久场景与多镜头时间轴 → 能力检索、关系检查和局部返修。相较对白型过场编排，CineU 更强调空间与时间依赖下的持续修改。 可能的后续方向： 把接触、遮挡和构图等视觉关系接到场景约束，协调彼此冲突的局部修复。 8. FilmAgent：把虚拟片场交给多Agent剧组 工作: FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces 来源: 2025 论文与官方 Unity 演示 机构: Harbin Institute of Technology (Shenzhen)；Tsinghua University 关键词: 虚拟制片, Unity, 多Agent协作, 镜头规划, 角色连续性 相关资料： arXiv v1全文 · 官方项目与Unity视频 · OpenAlex 学术引用记录（2026-11-14） 8.1 研究动机 核心问题： 怎样协调剧本、演员与摄影，让拍摄计划在同一个三维片场执行？ 同一句台词，用近景拍表情，还是用中景交代肢体动作，会改变观众对剧情的理解。人物站位、动作、对白和摄影无法各自独立决定。FilmAgent 把这类相互约束放进一个共享的 Unity 虚拟片场，让导演、编剧、演员和摄影 Agent 围绕同一场戏协作。 前序工作及局限： 单 Agent 生成剧本与镜头：需要同时处理人设、叙事和摄影，多种目标容易相互冲突。 传统虚拟制片：用场景和动作资产稳定执行拍摄，创作决策主要依赖人工。 与前序工作的本质区别： 用编剧修改、演员反馈和摄影讨论协调制作决策，再将计划映射为 Unity 的具体站位、动作与镜头。 8.2 方法原理 Original workflow diagram based on FilmAgent Figure 1 and method section. Not an experimental comparison. 图表详解：FilmAgent 的制作角色与三阶段流程 创意发展阶段把创作目标变成故事提纲；剧本阶段具体安排对白与角色动作，通过反馈检查动作能否在既有环境中实现；摄影阶段由摄影角色提出镜头，导演比较并确定拍摄方案，最后在虚拟三维片场执行。角色通过中间结果反馈和修订协作。流程依赖预建片场和动作库，复杂场景仍需要额外的资产准备。 先给剧组一个能拍摄的世界。 系统提供预建场景、站位、动作与摄影选项。Agent 的计划必须落到这些可执行的选择上，而不是只写出听起来专业的镜头描述。 剧本经历有分工的修改。 导演从创意组织角色与场景；编剧补充台词、站位和动作。导演检查情节与动作是否合理，演员从角色性格出发提出意见，再由编剧修改、导演确认。 摄影讨论服务叙事。 两个摄影 Agent 分别提出镜头方案，讨论分歧，再由导演裁决。最后，每句台词都绑定演员位置、动作和摄影机选项；语音长度决定对应片段的时间，在 Unity 中执行成片。这里的反馈主要发生在剧本和拍摄计划上，实际画面的视觉错误仍需要另外检查。 8.3 核心创新 多角色的作用不只是把一个长提示拆成几段。编剧关注叙事，演员检查人设，摄影关注可见信息，导演协调冲突；共同的三维环境又把讨论约束在同一组人物和地点上。角色连续性因此有了持久场景作为基础，而不是每个镜头重新猜测人物长什么样、站在哪里。 8.4 实验结果 Figure 2: A vertical view of one of the 3D spaces (the living room) in FilmAgent built with Unity. The environment is pre-configured with designated positions for actors and various camera setups for cinematography. These include static shots from multiple distances and dynamic shots that either follow or orbit around characters. Full camera setup of this space is provided in Figure 8 . 图表详解：可视化结果（原论文图 2） FilmAgent 在 Unity 中搭建的客厅俯视图。环境预先设置演员位置与摄影机方案，包含多种距离的静态镜头，以及跟随或环绕角色的动态镜头；完整摄影配置见论文附录图8。 论文以 15 个创意进行人评。GPT-4o 协作版的动作准确率为 0.88，情节、人设匹配和镜头评分分别为 3.53、4.44、3.53，后三项满分为 5 分。与单 Agent 版本的比较支持了分工与讨论在这个虚拟片场中的价值，也显示人设匹配比情节和摄影更容易做好。动作准确率与主观评分衡量不同问题，应分别看待。 8.5 关键洞察 控制范围来自资产库。15 个预建地点、21 类动作和预设镜头让计划容易执行，也限制了故事能发生在哪里、角色能做什么。扩大题材时，新增资产和动作的制作成本仍然存在。 以台词为单位绑定动作与镜头，对连续表演过于粗糙。一句长台词可能包含犹豫、转身、拿取物体和反应镜头，简单的一句一组安排难以表达这些节奏。 工程判断：这条路线适合资产可复用的对白短剧和预演，需要精细表演或开放写实场景时局限明显。多轮讨论增加调用成本，而计划层达成一致也不保证成片没有穿模、遮挡或剪辑问题。 技术演进定位： 多 Agent 协作与持久三维片场结合的代表，主要优化生成前的拍摄组织。 可能的后续方向： 细化到台词内部的动作与摄影节奏，并把实际画面的视觉反馈接回制作决策。 9. MovieAgent：把故事拆成可调用生成模型的镜头 工作: Automated Movie Generation via Multi-Agent CoT Planning 来源: 2025 技术报告与官方演示 机构: Show Lab, National University of Singapore 关键词: 多镜头生成, 分层规划, 角色参考, 工具编排, MoviePrompts 相关资料： arXiv v1全文 · 官方项目与视频 · 官方代码 9.1 研究动机 核心问题： 怎样把全片故事拆成彼此关联的场景与镜头，而不是孤立生成多个短片？ 多镜头视频的困难常出现在两段之间：上一镜人物刚拿起杯子，下一镜杯子不见了；每段都好看，观众却不知道故事为什么这样发展。MovieAgent 尝试把全片的叙事关系先组织成层次清楚的计划，再让不同生成工具完成镜头。它处理的核心是长目标如何变成一串彼此有关的生成请求。 前序工作及局限： 短视频生成模型：能生成局部片段，但不自动维护全片的叙事目的与跨镜头身份。 人工分镜后逐镜调用模型：可以组织长视频，但需要持续手动传递角色与剧情信息。 与前序工作的本质区别： 通过故事、场景和镜头三级计划传递角色资料与叙事要求，再调用图像、视频和音频工具。 9.2 方法原理 Figure 2 : The Overall Pipeline for MovieAgent . The proposed framework employs a hierarchical CoT reasoning process with director, scene plan, and shot plan agents to automate long-form movie generation. 图表详解：方法框架（原论文图 2） MovieAgent 整体流程。框架使用导演、场景规划和镜头规划 Agent，通过分层推理自动组织长视频，再将结构化镜头要求交给后续生成工具。 角色资料贯穿全片。 输入包括故事梗概与角色库，角色库保存名字、参考图，需要对白时还提供声音样本，让后续镜头有共同的身份依据。 按叙事层次逐级细化。 Director Agent 先划分关键故事单元；Scene Plan Agent 依据地点、时间和冲突变化确定场景；Shot Plan Agent 再指定每镜中的人物、动作、景别、运镜与对白。每一级都把上一层的叙事意图转成更具体的制作要求。 用计划驱动不同后端。 系统可先生成角色定制的关键帧，再生成视频，也可调用一阶段定制视频模型；对白镜头还要组合语音和说话人动画。最终按计划拼接镜头。分层计划为生成提供上下文，但像素、动作和口型仍取决于各个后端是否遵循这些条件。 9.3 核心创新 它把故事、场景、镜头这三种尺度的决策分开：故事层解释为什么需要这场戏，场景层交代发生在哪里，镜头层决定观众看到什么。角色资料和叙事意图沿层级传递，使单镜头生成不再完全孤立。对于失败分析，这份计划也提供了区分“要求没有写清楚”与“生成模型没有做到”的依据。 9.4 实验结果 Figure 6 : Visualization Comparison for Different Methods. 图表详解：可视化结果（原论文图 6） 不同方法的生成结果可视化比较。图中展示角色、场景和镜头连续性的案例差别；应结合论文指定的模型组合与测试集解读，不将样例当作普遍保证。 MoviePrompts 包含 10 个故事梗概，并由两名专家评价。表 2 报告 MovieAgent 的主体一致性为 94.72%、运动平滑度为 97.84%、背景一致性为 93.52%；这些是论文指定工具组合下的指标，部分指标仍有更高的基线。它们说明多场景组织与较好的单项质量可以同时出现，但完整叙事还要检查镜头之间的因果、动作衔接与人物身份。 9.5 关键洞察 参考图传递的是身份条件，不是持续存在的三维人物。论文案例仍出现脸部失真、小人物身份混淆和复杂交互不跟随提示；结构化计划无法直接修正这些像素级失败。 层级拆分也会丢失过渡。一个场景可以描述清楚，相邻镜头却省略关键动作，让冲突或空间关系突然跳变。生成前的规划需要覆盖这些连接，生成后仍要看整段叙事是否成立。 工程判断：适合允许筛选与重做的故事样片、视觉预演和多场景创意探索。要求物体位置连续、表演严格衔接或精确口型时，仅靠提示和角色参考不够；多个生成与音频模块也增加等待和排错成本。测试集较小，其中八个梗概来自知名电影，原创长故事仍是更严格的检验。 技术演进定位： 生成模型之上的长视频组织层，重点是拍什么以及镜头如何相连。 可能的后续方向： 把跨镜头动作、物体状态与身份的检查接回返修流程，让计划与实际成片相互校正。 10. VISTA：看完视频再改提示词的真实闭环 工作: VISTA: A Test-Time Self-Improving Video Generation Agent 来源: 2025 技术报告与官方演示 机构: Google；National University of Singapore 关键词: 视频生成Agent, 多模态审片, 提示优化, 推理时计算, VISTA 相关资料： arXiv v1 全文与实验口径 · 官方项目与生成示例 · OpenAlex 引用记录（2026-11-14） 10.1 研究动机 核心问题： 怎样用已经生成的视频发现错误，并让下一轮生成更有方向？ 同一条视频提示采样几次，可能一版动作正确但声音混乱，另一版画面漂亮却偏离故事。生成之前写得再详细，也看不到这些实际错误。VISTA 把问题改成一个迭代任务：先看片，指出最值得修正的地方，再调整下一次生成请求。 前序工作及局限： 生成前的分镜与提示扩写：能明确意图，但看不到这次采样实际出现的问题。 多次采样后选片：可以挑较好的一版，却未必利用失败原因改善下一次请求。 与前序工作的本质区别： 把候选比较、视觉与声音等多维批评、提示优化和重生成串成反馈闭环。 10.2 方法原理 The workflow of our proposed multi-agent framework, VISTA. [icon]: MLLM Agent; [icon]: Adversarial MLLM Agent; [icon]: Video Generation Agent. 图表详解：方法框架（论文图 1） 原 Figure 1 展示 VISTA 多 Agent 框架，图例区分多模态 LLM Agent、对抗式多模态 LLM Agent 与视频生成 Agent。根据第 2 节，本图显示先将用户意图改写成结构化场景 prompt，生成多个候选；以交换顺序的双向两两比较进行淘汰，选择最佳视频。随后在视觉、音频和语境三个维度分别由常规评委、对抗评委和汇总评委给出批评，推理 Agent 据此改写 prompt，重生成并与当前最佳结果重选；满足停止条件或迭代上限后交付最佳视频及其 prompt。 先产生可以比较的候选。 规划者将目标展开成带时间、人物、动作、镜头和声音的场景，也保留原始提示作为候选。多个视频生成后，通过交换左右顺序的两两比较选出当前最佳结果，减少单次比较的位置偏好。 把模糊的“不够好”拆开。 视觉、声音和语境各自设普通评委、对抗评委与裁决者，检查实际视频。这样可以分别讨论画面是否成立、声音是否匹配，以及成片是否遵循用户意图，而不是让一个总分掩盖不同问题。 修改请求，重新生成。 推理 Agent 汇总批评，改写提示，再调用视频模型，与保留的最佳候选比较，直到达到轮次或停滞条件。闭环作用于生成请求：新一轮会重新采样视频，并不是直接在原片上修改出错的某个对象。 10.3 核心创新 它把生成后的多模态观察变成下一轮优化依据。与只负责分镜的 Agent 相比，VISTA 能针对实际失败调整要求；与盲目多采样相比，它试图把额外计算用在有方向的修改上。多维批评提供错误描述，候选保留则避免每次改写都被迫接受更差结果。 10.4 实验结果 Summary of human results. The individual annotators’ results are in Appx.-Table 7. 图表详解：结果对比（论文图 4） 原图汇总人工评估，个人结果见附录表 7。第 4.2 节抽取 50 个 prompt，25 个单场景将 VISTA 与 VSR++ 比较，25 个多场景与 VSR 比较；5 位有 prompt 优化经验的标注员强制二选一，VISTA 获得 66.4% 偏好，对照为 33.6%。另外 3 位专家对完整迭代轨迹给出满分 5 分的改进评分：VISTA 为 3.78，VSR(++) 为 3.33；与直接 prompt（DP）比较，视觉质量为 3.77 对 3.36，音频质量为 3.47 对 3.21。补充成本来自 Figure 5：跨两个数据集的每轮均值约 0.7M 输入输出 token、28 个新采样视频，不含视频生成器内部 token。人工偏好不等于任务成功率，结果仅适用于论文设置。 主实验使用 Gemini 2.5 Flash 与 Veo 3。50 个提示由五名标注者做二选一评价：25 个单场景提示对比 VSR++，25 个多场景提示对比 VSR，比较第 5 轮结果。VISTA 获得 66.4% 偏好，基线为 33.6%，衡量的是这一设置下更受偏好的视频。收益伴随明显计算代价：跨两个数据集，每轮平均约 0.7M tokens、28 个新视频，且 token 数不包括视频生成器内部开销。 10.5 关键洞察 重生成提供的是重新尝试的机会，不是精确局部修改。修好声音可能同时改变原本正确的动作或构图；最佳候选可以保底，但无法保证所有改进累积在同一版视频上。 多个评委仍可能共享盲点。物理规律、细微身份变化和用户隐含意图都可能被误判，优化过程也可能更迎合评委偏好而非真实观看需求。50 个提示的人评提供了证据，但覆盖范围有限。 工程判断：适合愿意增加预算、以最终观感优先的短片探索，尤其是底层视频模型只能通过提示调用时。严格时间线、指定物体轨迹和可重复的局部返修更适合显式场景或代码控制；每轮的大量采样也不适合低延迟制作。 技术演进定位： 黑盒视频生成器之上的结果优化层，以更多推理与采样预算换取成片偏好的提升。 可能的后续方向： 提高批评的可靠性与修改效率，并结合局部编辑，让已正确的部分能够保留下来。 横向对比与技术脉络总结 选型取决于必须保持的内容、修改频率与资产条件。精确图文、多机位几何、运动与外观分工、氛围探索对应不同的优势，也各有制作成本和失败模式。 选型取决于必须保持的内容、修改频率与资产条件。精确图文、多机位几何、运动与外观分工、氛围探索对应不同的优势，也各有制作成本和失败模式。 核心技术趋势 从自然语言要求走向可编辑的场景与时间约束 同一个角色、物体和动作需要跨镜头保持对应关系。更有用的中间表示应连接脚本、场景对象、轨道和生成条件，让空间与时间要求能被执行、修改和追踪。 把精确过程与丰富外观分开处理 引擎保存几何、动作与相机，生成模型提供外观变化。发展重点是让生成条件真正保留关键约束，同时给材质、光照和细节留下自由度。 从整段重生成走向理解依赖的局部修改 修改台词、动作或角色尺寸会影响不同轨道。更可信的返修流程应知道变化会传到哪里，并尽量保留其他正确结果。 用分层反馈分配制作预算 先检查脚本、布局和粗动画，再投入最终渲染与生成，最后评价音画、表演和叙事。成本应覆盖候选筛选、返修与人工介入，并落到最终采用的成片上。 总结与展望 选型之后，还要算修改与复用的账 四条路线的差别，在第二版和第十版里尤其明显。下面比较的是修改的落点与代价，而不只是第一版画面是否漂亮。 代码渲染：精确表达可以复用，感染力仍需设计。 TheoremExplainAgent把讲解规划接到 Manim，Code2Video进一步把画面问题映射到代码位置。公式出现时间、箭头指向和数据都能直接修改，系列内容可以摊薄模板成本；但程序能执行，不等于讲解顺序合理或动画自然。复杂质感与表演仍依赖素材、动作和美术设计，通用编码 Agent 也绕不开这些制作工作。 三维引擎：复拍同一个世界，成本先花在资产上。 FilmAgent在预建片场安排拍摄，Cutscene Agent把分工落到原生时间轴，CineU强调共享状态与局部修复。产品换五个机位，可以复用几何；但延长台词会牵动口型、动作和反应镜头，改变角色身高会影响接触与构图。已有合适资产时复用收益较大，从零建模、绑定、布光时，准备工程可能比渲染更费力。 白模＋生成：省下精细资产，不等于省下约束检查。 VideoCoCo先用 Blender 程序表达过程，再由适配的编辑器丰富外观。约束弱，模型可能重写动作；约束强，粗糙轮廓和僵硬运动也可能被保留。因而需要分别检查草稿运动是否合理，以及重绘是否保留接触、遮挡与时序；草稿错误可能向后传递，外观编辑还可能引入新的偏差。 生成模型编排：探索外观方便，精确返修更不确定。 MovieAgent分层规划故事与镜头，VISTA用视听语境反馈调整请求与候选。它们适合不值得先建完整三维世界的创意探索；但“动作再快一点”也可能同时改变脸、衣服或背景。多轮筛选的成本应按最终采用的成片计算，计入废弃候选、等待和人工精修。 实际制作可以按镜头混用：商标和字幕交给代码，产品特写保留三维几何，运动明确的镜头尝试白模重绘，开放的氛围镜头采用生成模型。核心问题是哪些内容必须保持，以及下一轮修改能否只动该动的部分。 主要挑战：从能生成，走向能准确修改 修改要求需要落到可编辑对象，再检查受影响的空间、时间和叙事依赖。这是对文中方法的综合分析与发展方向，不代表所有系统已经实现整个闭环。 完整的局部返修仍需将对象、时序与依赖检查连接成闭环。 1. 创作意图怎样落到可执行约束？ “更有压迫感”涉及景别、运动、节奏与声音；“站在台阶上”涉及几何接触。前者需要观看结果和理解叙事，后者可以检查空间关系。Agent 必须区分这些要求，选择对应的表示与反馈，不能用同一个评分替代所有判断。 2. 多镜头怎样维护持续状态？ 同一张角色参考图不足以记录刚拿起的杯子、视线方向或动作进度。场景工程能保存对象状态，仍需把剧本事件、时间轴与生成片段连接起来，否则换镜头后仍可能出现连续性错误。 3. 反馈怎样变成正确的局部修改？ 遮挡可能来自站位、相机或剪辑时机；改站位又可能破坏接触。执行检查、场景验证、视觉判断和叙事理解各有作用。有效返修要定位对象、时间段和修改操作，并复查依赖，而不只是增加评委或重试次数。 4. 结构到外观怎样避免信息损失？ 白模重绘可补充纹理，也可能改变边界、遮挡和接触。条件接口必须区分哪些约束不可变、哪些外观允许探索；仅凭泛化提示，很难同时做到保留运动和自由换风格。 5. 怎样衡量真正的交付质量与成本？ 教学片看解释，产品片看外形和标识，叙事片看表演与剪辑；漂亮的单镜头不保证连起来成立。成本也应覆盖建模、废弃候选、重试与人工修整。只比单次调用价格，无法回答哪条路线更适合一部反复改稿的作品。 发展前景：让不同后端共享创作状态 共同的创作表示。 将剧本中的人物、道具和事件对应到场景实体、时间段与生成条件，让不同后端接续处理同一镜头。需要共享的是身份、动作和依赖关系，不要求所有后端具有相同内部结构。 约束下的局部编辑。 代码与三维工程已有明确的修改对象，生成模型还需要更强的区域、身份和时间保持能力。将编辑限制在指定对象或片段，并检查相关依赖，才能逐步接近实际剪辑和动画制作中的可控返修。 分阶段分配预算。 先用草图、白模和低分辨率视频解决故事、布局与时序，再精细渲染入选镜头。在创意分歧大或失败代价高的节点引入人工判断，由 Agent 承担可检验的执行与修复。系统的价值会越来越取决于能否稳定保留满意部分，完成第二版、第三版。 今日讨论 假如同一产品短片要反复更换卖点、机位和画风，你会把哪些内容保存在代码或三维工程中，哪些交给生成模型？你最希望下一版修改时保持哪一部分不变？ 参考资料 Epic近期Agent工具链发布 DaS：2025年白模到视频条件示例 VideoCoCo 官方代码与示例 BlenderMCP 社区工具入口 人工智能炼丹君 | 2026-11-14 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日推送目录 关注公众号，不错过每一篇 每天精选 AIGC 论文速读、深度解读与周末专题，把「值得读」的那几篇送到你面前。扫码或微信搜一搜 人工智能炼丹君，第一时间收到更新。 微信搜一搜 · 人工智能炼丹君 下方为博客归档目录：点击日期即可进入对应推送全文。 当前共收录 149 期，按时间倒序排列。 2026 年 11 月 2026-11-13｜清华流式视频指令偏好净胜30%-APEX 2026-11-12｜阿里多参考长视频换指令不断档-TaoMate-R1 2026-11-11｜悉尼大学让人物跨场景不丢-SceneShifter 2026-11-10｜巴黎萨克雷免反演流式改片AR-Edit 2026-11-09｜NeurIPS 借视频换光FlashRelight 2026-11-06｜港中文连续改图少跑偏TailSteer 2026-11-05｜吉大换主角也留下原表情ReXMo 2026-11-04｜Adobe跨镜头改片先打草稿MoviEdit 2026-11-03｜普渡拿相册修视频保住本人AlbumVSR 2026-11-02｜首尔大只锁末帧该改处Partial 2026 年 10 月 2026-10-30｜小米只给局部视频换画风LociArt 2026-10-29｜新国大新角色入场保住原镜头ReferStream 2026-10-28｜浙大首帧改动带着整段走EditDistill 2026-10-27｜高通换机位也让动作对齐SyncVid 2026-10-26｜腾讯混元删物添物连影一起改UniVOE 2026-10-24｜深度解读|Spark-H3：从注意力几何到稀疏内核代码 2026-10-23｜南京大学腾讯ARC用未来块监督视频生成FCP 2026-10-22｜快手换人换声一起对口型AVE 2026-10-21｜字节擦字幕保住原场景DeOverlay 2026-10-20｜Adobe多参考视频编辑OmniXRef 2026-10-19｜Meta让图像token先学特征FeaTok 2026-10-16｜首尔大学先修图再一步生成Priming 2026-10-15｜微软把生成压到4次评估SMD 2026-10-14｜斯坦福让图像少误导文本SFG 2026-10-13｜上海AI Lab接力画图InstantFusion 2026-10-12｜Google把token留给细节BudgetPix 2026-10-09｜KAIST视频生成快11.1倍GRACE 2026-10-08｜Stanford视频生成快3.53倍LoT 2026-10-07｜腾讯原生2K音画训练快2.5倍Prism 2026-10-06｜加州理工稳住镜头外场景LoGo 2026-10-04｜商汤小模型绕圈反超6.5倍大模型，Looped-DiT 2026-10-02｜NVIDIA砍掉视觉编码器，PixelUMM图像视频同模 2026-10-01｜一次蒸馏插遍54个模型，LongLive-Plug 2026-10-01｜深度解读|字节Seed×UCSD VSA2|砍掉95%注意力计算 720p端到端快4.62倍 2026 年 9 月 2026-09-30｜港科大先写谱再唱，YuE2 逼近 Suno 2026-09-29｜阿里双Agent语音涨10.4分，Qwen-Audio 2026-09-28｜阿里 397B 只改提示词就涨 50 分，WanPE 2026-09-25｜快手开源修图登顶，GEdit仍输GPT 2026-09-24｜阿里Qwen3.8-Omni发布，视频推理输Gemini 2026-09-23｜NVIDIA像素扩散FID 1.46，仍输latent 2026-09-22｜阶跃星辰全双工98.9登顶，清华W4A4逼近FP16 2026-09-21｜伯克利线性注意力让H3视频快14.5倍-VDN 2026-09-18｜高通揪出长视频KV错配-Recency Forcing 2026-09-17｜Meta一个模型既写歌又改歌-SongCraft 2026-09-16｜22帧视频377毫秒-LynnReal-Omni 2026-09-15｜阿里五路音频控制-DiffSynth-Music 2026-09-14｜SenseNova 8B原生视觉直出4K-SN-U15 2026-09-11｜阿里13模型不会专业剪辑-CutCraft 2026-09-10｜90%稀疏视频DiT加速2.63倍-RoLA 2026-09-09｜阿里两步口型配音跑到7.13FPS-TBDub 2026-09-08｜蚂蚁从零训6B开源生图-LLaDA-Image 2026-09-07｜腾讯3B活跃参数逼近万亿代理-WeAgent 2026-09-06｜长视频世界模型的记忆与状态概览 2026-09-04｜港中深5秒训练撑起一小时世界推演-SolarWM 2026-09-03｜Runway让界面直接生成而不再写代码-Solaris 2026-09-02｜阿里7B原生音视频生成硬刚33B大模型-DreamX 2026-09-01｜西湖大学让写代码的智能体当世界大脑CWM 2026 年 8 月 2026-08-31｜复旦GameWAM同时生成画面和键鼠动作 2026-08-29｜字节斯坦福让视频记住走远的人RingForcing 2026-08-28｜京东JoyAI-Echo-1.5给长视频装上跨镜头记忆 2026-08-27｜浙大清华19B音视频4步2.5秒出片TurboT2VA 2026-08-26｜京东开源世界模型边走边生720p视听EchoWM 2026-08-25｜Meta让15B DiT优化器时间砍半Muon-DiT 2026-08-24｜快手可灵证明奖励劫持源于流形漂移ThermoDPO 2026-08-23｜3DGS工程化转折：传得动跑得起管得住 2026-08-22｜阿里6B小模型编辑分反超20B的Swift-Image 2026-08-21｜中科大揪出蒸馏后数字人变木头人DynaForcing 2026-08-20｜LumaAI首证扩散缩放定律要10倍数据(Abra) 2026-08-19｜阿里像素空间T2I反超潜空间Z-Image-Pixel 2026-08-18｜港科大数字人比LTX-2快33倍还能连说一分钟Omni… 2026-08-17｜AlayaLab世界模型连跑两小时画面不塌Evoke 2026-08-16｜NVIDIA领衔 On-Policy 蒸馏让学生反超教师 2026-08-14｜阿里14B数字人实时跑三分钟LiveAnimate 2026-08-14｜深度解读|NVIDIA Sol-Engine|Agent自动调栈视频推理快2.77倍 2026-08-13｜Adobe视频世界模型首次外推物理定律LDR 2026-08-12｜阿里DUET两步视频质量多样性双赢 2026-08-11｜NVIDIA免训练治好世界模型失忆WorldTrace 2026-08-10｜阿里Wan-Animate-2角色动画冲进实时24FPS 2026-08-07｜Meta实测视觉懒惰生成数据只留5%反而更强 2026-08-07｜深度解读|Sand.ai MAGI-2|114B视频MoE把token切12份挑专家 2026-08-06｜京东22B音画同修让百年老片复活OmniVR 2026-08-03｜深度解读|MiniMax H3|33B统一音视频与2K链路拆解 2026 年 7 月 2026-07-31｜Adobe混合DiT算效提升7.3倍Chimera 2026-07-30｜Adobe世界模型16FPS实时生成分钟视频 2026-07-29｜Apple端侧Siri语音16倍实时仅21MB 2026-07-28｜Meta单H200实时视频22.84帧MsForcing 2026-07-27｜NVIDIA单卡视频生成提速120倍SANA2.0 2026-07-25｜深度解读|清华SLA2|97%稀疏对比DeepSeek DSA 2026-07-23｜阿里高德5090单卡实时世界模型ABot-World-0 2026-07-22｜华为40万美元逼近闭源Boogu-Image 2026-07-21｜腾讯混元4步视频胜50步强化扩散MeanFlowNFT 2026-07-16｜字节Seed读回提示当奖励SpectraReward 2026-07-14｜DeepMind断言视频生成即通用视觉底座 2026-07-10｜高通MobileWan让5B视频扩散上手机16FPS 2026-07-03｜北航ETH免训练让FLUX画图提速25倍MrFlow 2026-07-02｜快手可灵MemLearner可学习记忆视频世界模型 2026 年 6 月 2026-06-29｜清华LiveEdit实时流式视频编辑12.66FPS 2026-06-22｜近两周精选-MaineCoon实时音视频世界模型 2026-06-02｜微软实时流式数字人视频比肩大模型 2026-06-01｜英伟达SANA单卡24FPS实时流式视频编辑 2026 年 5 月 2026-05-29｜生数科技minWM开源实时交互视频世界模型 2026-05-28｜北大OSP-Next视频生成跨硬件加速 2026-05-27｜美团LongCat-Avatar 1.5开源逼近闭源数字人 2026-05-26｜百度ERNIE-Image开源8B DiT追平闭源 2026-05-25｜字节Bernini让MLLM规划DiT渲染视频 2026-05-21｜智能编辑成统一模型通用任务Uni-Edit 2026-05-20｜视频生成补物理常识NEWTON 2026-05-19｜长视频生成FP4训推全栈LongLive-2.0 2026-05-18｜14B视频对齐单步训练Flash-GRPO 2026-05-17｜实时自回归视频生成加速 2026-05-15｜实时视频2步出帧Causal Forcing++ 2026-05-14｜视频扩散从少步到任意步AnyFlow 2026-05-13｜INSET图像即词汇开启统一视觉生成新范式 2026-05-12｜Forcing-KV 视频扩散2.82倍加速突破实时 2026-05-11｜Cola DLM 扩散语言模型挑战自回归范式 2026-05-09｜视频编辑最新进展 2026-05-08｜JoyAI统一模型唤醒空间智能,通义D-OPSD破解少步… 2026-05-06｜DiT-MoE统一多模态模型25B仅激活3B，运动感知缓… 2026-05-05｜纯视觉流统一生成颠覆文本管线，1D-Token端到端FI… 2026-05-04｜20260504｜4步打败40步!AdvDMD蒸馏加速刷新SD3.5 2026-05-02｜13.7-18.6x注意力加速，稀疏注意力撕开视频Di… 2026-05-01｜20秒训练7x加速DiT，SAMG零开销解锁空间自适应… 2026 年 4 月 2026-04-30｜V-GRPO让RL对齐提速3倍，64token暴力生图 2026-04-28｜20FPS实时数字人Hallo-Live 2026-04-27｜多目标Pareto后训练ParetoSlider 2026-04-26｜统一多模态生成大爆发：Omni五模态SOTA碾压Qwen 2026-04-25｜视频编辑评测方法全景：从传统指标到 Reward Model 的范式跃迁 2026-04-24｜Wan-Image 2026-04-23｜淘宝试穿上线-Google城市视频-GRPO优化扩散 2026-04-22｜武大MemWN按需记忆撑起长视频一致性 2026-04-21｜Qwen3.5-Omni全模态215项SOTA 2026-04-10｜重新审视可控扩散训练目标——直接x₀监督实现2倍加速 2026-04-09｜一图多改不再崩-MIRAGE并行编辑 2026-04-08｜分数步蒸馏新范式1.x-Distill 2026-04-07｜SC-DMD蒸馏2-4步高质量视频生成Salt 2026-04-06｜VOID因果推理视频编辑｜DynaVid CVPR2026｜SteerFlow免训练编辑 2026-04-05｜Mistral Voxtral TTS胜ElevenLabs 2026-04-04｜视频生成前沿｜统一框架｜长视频｜物理一致性 2026-04-03｜Dynin-Omni｜OmniVoice 2026-04-02｜MacTok 64-token SOTA 2026 年 3 月 2026-03-30｜BiFM｜Wan-Weaver｜PackForcing｜Voxtral TTS 2026-03-29｜GIDE｜ScaleEdit-12M｜Calibri 2026-03-28｜视觉生成后训练与偏好优化 2026-03-27｜ScrollScape｜OmniWeaving 2026-03-25｜上交ScaleEdit-12M+CVPR跨时间步自校准 2026-03-24｜CubiD高维离散扩散｜扩散通用加速｜FoleyDirector V2A 2026-03-23｜MOSS-TTS｜ColourCrafter｜Q-Drift 2026-03-22｜视频生成与编辑前沿进展 2026-03-21｜偏好对齐｜RL后训练｜SOLACE｜CRAFT｜CRD｜VIGOR 最后更新：2026-11-13 11:08

AIGC 每日速读|2026-11-13|清华流式视频指令偏好净胜30%-APEX 今日 AIGC 论文速览 今日共 10 篇 · 流式视频与偏好对齐 2 篇 · 生成加速 3 篇 · 几何视频与压缩重建 2 篇 · 图文生成 1 篇 · 语音与三维头像生成 2 篇 概览导读：三分钟流式视频中途改指令，人物仍要按要求行动。首篇 APEX 用同一网络兼做生成和假分数估计，70 例成对人工评测的指令遵循净偏好比 S2-Avatar 高 30 个百分点。接着看图像编辑与视频扩散缓存、稀疏注意力和语义 KV 压缩如何省计算；后半篇讨论视频偏好奖励、相机控制与压缩重建，再到文字图像、局部语音编辑和双人 3D 头像。不同论文的速度、质量和偏好口径不直接横比。 重点论文标题列表 APEX（清华）：长视频指令偏好净胜30% IdealCache（电子科大）：图像编辑缓存提速5.84倍 ESTRA（悉尼大学）：视频注意力稀疏到5%仍清晰 SemanticKV（厦大）：按指令保留视频记忆 GenRM-Flow（浙大）：让视频生成器自己打偏好分 选读入口：想做会随指令变化的三分钟流式视频，先读 APEX；要给 Qwen-Image-Edit 或 HunyuanVideo 省推理时间，读 IdealCache；低密度注意力和长视频缓存预算分别看 ESTRA、SemanticKV。给视频生成器做偏好奖励读 GenRM-Flow；相机轨迹控制新画面看 UGG，极低码率重建看 ADE-GVC。海报中文字总拼错读 Four-Step DiT；多轮只改语音局部风格读 DialInstruct-TTS；双人虚拟头像的互动读 DiaHeads。 今日论文速览 1. APEX：长视频指令偏好净胜30% Few-Step Streaming Video Generation via Condition Shifting | 清华大学；生数科技；西湖大学 | arXiv:2611.14033 关键词：流式视频生成, 少步蒸馏, 条件偏移, 长视频, 指令遵循 前序问题：连续生成三分钟视频时，每个片段都要反复调用生成主干；常见分布匹配蒸馏另养一张“假分数”网络，增加训练显存和迭代时间。 方法直觉：同一生成器换一套文本条件，就让它在生成和估计自身分布之间切换；省掉独立假分数网络，仍保留冻结教师和生成历史回放。 本文贡献：把 APEX 的 condition shifting 扩展到流式视频：原文本条件负责出片，偏移后的条件负责估计生成分布的速度场；训练沿用 Self-Replay Forcing 和感知正则。这里的 NFE 是每片段对视频主干的调用次数，实验用 3 次，再接一次空间 Refiner。 Figure 2 : DMD and APEX in Self-Replay Forcing. DMD uses independent fake parameters η \eta ; APEX shares generator and fake parameters θ \theta and, by default, AdamW states. Teacher parameters ϕ \phi are frozen. Left: θ \mathbf{x}_{\theta} is the rollout/replay output, t ′ t^{\prime} the scoring time, ~ t ′ \widetilde{\mathbf{d}}_{t^{\prime}} the normalized correction, and sg \mathop{{\color[rgb]{1,0,0}\operatorname{sg}}}\nolimits stop-gradient. The correction contributes ∇ θ ℒ score \nabla_{\theta}\mathcal{L}_{\mathrm{score}} ; ℒ \mathcal{L} is the full generator objective. The fake-velocity subscript θ \theta identifies the generated distribution. Right: \mathbf{H} and out \mathbf{H}_{\mathrm{out}} denote input and output hidden states; C \mathbf{H}_{C} contains projected text tokens \mathbf{c} . Within each row, , , \mathbf{Q},\mathbf{K},\mathbf{V} are queries, keys, and values, and attn = softmax ⁡ ( ⊤ / d h ) \mathbf{A}_{\mathrm{attn}}=\operatorname{softmax}(\mathbf{Q}\mathbf{K}^{\top}/\sqrt{d_{h}}) , with head dimension d h d_{h} . Superscript shift \mathrm{shift} marks states under shift = − \mathbf{c}_{\mathrm{shift}}=-\mathbf{c} . The single-head example uses fixed weights and omits the causal mask and other transformer operations; values are schematic. 实验效果：70 例、每例 180 秒的成对人工评测中，APEX 相对 S2-Avatar 的“指令遵循”净偏好为 +30.0%（胜率减败率），一致性和整体画质各 +4.3%；320 例 StreamAV-Bench 的 Progressive 指令分从 3.831 到 3.856。匹配训练设置下，峰值单卡分配显存低 4.4%，平均迭代时间短 9.2%，这是训练成本而非推理速度。 Figure 3 : Paired examples at 3 backbone NFE. (a) APEX retains both bags late in the sequence, while S2-Avatar shows one. (b) APEX brings the tube to the other hand for the applying instruction; S2-Avatar continues holding it at its side. Each pair uses the same reference and timestamps, with a common one-step 2 × 2\times Refiner. 批判点评：人工评测里运动质量偏向 S2-Avatar，音画同步多为平局；70 例三分钟长流和 3 NFE 加共同 Refiner 的结论不能外推到任意主干或时长。论文没有把少步采样写成相对 S2-Avatar 的端到端推理倍数。 2. IdealCache：图像编辑缓存提速5.84倍 IdealCache: Rethinking Cache Scheduling in Diffusion Transformers via Ideal Trajectories | 电子科技大学；独立研究者 | arXiv:2611.10340 关键词：图像编辑, 视频生成, 扩散加速, 特征缓存, 最短路径 前序问题：扩散 Transformer（DiT）的缓存通常模仿原始逐步去噪轨迹；但中间状态接近原轨迹，不保证最终编辑结果最好，还会把原轨迹当成隐形质量上限。 方法直觉：先定义希望到达的理想输出，再衡量跳过若干完整计算后偏离理想轨迹多少；把“在哪些步更新缓存”变成受计算预算约束的最短路径。 本文贡献：IdealCache 为每个输入构造候选目标形成理想轨迹集合，以缓存偏差作为图边权，离线搜索非均匀更新日程；推理时直接复用日程，不重训 DiT。ℬ 表示保留完整更新的预算，不是生成步数。原文覆盖 Qwen-Image、Qwen-Image-Edit 和 HunyuanVideo。 Figure 2: Cache deviation as edge weight. Starting from x t ∗ x_{t}^{*} on the ideal trajectory, a single full pass populates the cache with residuals Δ ​ t , Δ ​ t \Delta\mathbf{h}_{t},\Delta\mathbf{e}_{t} . We then take t − k t{-}k Euler updates that all reuse those residuals (red dashed), arriving at x ^ k \hat{x}_{k} . The squared distance to the ideal endpoint x k ∗ x_{k}^{*} is the cache-deviation edge weight w ⁡ ( k → t ) w(k\to t) used in our graph. 实验效果：Qwen-Image-Edit 的 GEdit-Bench 上，ℬ=7 时批量为 1 的端到端墙钟速度为原 50 步的 5.84 倍，整体分 7.59；FlowEdit 上 ℬ=25 的背景保留 SSIM 从原流程 0.665 到 0.687，SSIM 越高表示与输入背景越相似。HunyuanVideo 在表内 ℬ=10 时为 4.32 倍。 Figure 3: Qualitative editing results on Qwen-Image-Edit. Our method achieves better background preservation in some cases while maintaining comparable editing quality. IdealCache with ℬ = 10 \mathcal{B}{=}10 ( ∼ \sim 4.2 × 4.2\times speedup) achieves visual quality comparable to the vanilla 50-step baseline. 批判点评：速度含文本编码、VAE 图像解码等固定开销，不等于单个 DiT 内核提速。FlowEdit 的 ℬ=10 背景 SSIM 0.679 仍较高，但 ImageReward 由原流程 1.054 降到 0.991；不同预算须在编辑保真和速度间取舍，离线理想轨迹构造也有成本。 3. ESTRA：视频注意力稀疏到5%仍清晰 ESTRA: Enabling Extreme Attention Sparsity for Training-Free Video Diffusion Acceleration | 悉尼大学；澳大利亚联邦科学与工业研究组织 | arXiv:2611.10448 关键词：视频扩散, 稀疏注意力, 无训练加速, H20, 画质保真 前序问题：视频扩散 Transformer（DiT） 的长时空 token 让注意力昂贵；现有免训练稀疏法在密度很低时，近似误差会迅速破坏生成画面。 方法直觉：把计算预算留给真正重要的单个 key-value token；其余 token 由聚类代表近似，并根据组内离散程度修正代表权重。 本文贡献：ESTRA 先聚合相似 query 给单个 key 打分，再在 5% 或 1% 的精确交互预算内挑选 token；余下 key 用均值和方差校正模块（VCM） 表示。这里“密度”是精确计算的视频 query-key 交互占比，稀疏阶段之外还存在固定处理成本。 Figure 2: ESTRA overview. (a) Independent query and key clusters provide query centroids and K/V means. (b) Each centroid scores individual keys for selection shared by its query cluster. (c) VCM uses remaining-key spread and query norms to calibrate representative weights. (d) Original queries attend jointly to selected tokens and fixed cluster means, with log-count and VCM biases on representative logits. Colors identify clusters. Attention scaling is omitted. 实验效果：原文在 NVIDIA H20、720p、无密集预热的 Wan2.1-14B（81 帧）上，5% 密度端到端从 6838 秒到 2097 秒，即 3.26 倍；HunyuanVideo-13B（129 帧）从 6490 到 1378 秒，即 4.71 倍。其与密集输出的 Wan 画面 SSIM 为 0.489，高于 Sol-Attn 12.8% 密度时的 0.283；SSIM 越高表示结构越接近密集参考。 Figure 1: High-quality video generation at up to 99% attention sparsity. At 5% exact-interaction density, ESTRA more closely preserves the composition and appearance of the dense references than the baselines shown, while using higher sparsity and achieving greater end-to-end speedups. At 1%, the videos remain visually coherent, with particularly small changes in the HunyuanVideo example. Density denotes the fraction of video query–key interactions evaluated exactly; speedups are end to end on an NVIDIA H20. Additional examples are provided in Appendix D . 批判点评：把 5% 密度误读成整体计算量仅 5% 会夸大收益；在 1% 密度，Wan 的 VBench 动态程度从密集参考 66.98 降到 61.87。该时间受 H20、帧数、分辨率和具体内核影响，跨机器不可直接照搬。 4. SemanticKV：按指令保留视频记忆 Semantically Aligned KV Cache Compression for Efficient Agentic Autoregressive Video Generation | 厦门大学 | arXiv:2611.11452 关键词：自回归视频生成, KV 缓存, 语义约束, 长视频, 显存 前序问题：自回归视频越生成越长，历史帧的 键值（KV）缓存占满显存；普通压缩只看注意力热度，可能删掉对提示词中人物、动作和物件仍重要的状态。 方法直觉：先从计划中抽取必须遵循的语义约束，再找各约束关注的历史位置；每组都能为某个缓存 token 投票，避免少数约束被平均淹没。 本文贡献：SemanticKV 不重训生成器：文本交叉注意力定位语义相关视频位置，收集其自注意力 query；组内平均、组间取最大后做一次 top-k 保留，并维持剩余键值与位置不变。这里保留预算按字节约束，0.7 压缩率指约删去 70% KV。 Figure 2: Overview of SemanticKV . Semantic constraints ℛ \mathcal{R} are matched to prompt tokens. Text cross-attention identifies related video positions, from which we collect the generator’s self-attention queries. Their attention to each KV entry is averaged within groups and maximized across groups. A single top- k k selection retains high-scoring entries within the byte budget, together with states required by the backbone. Retained keys, values, and positions remain unchanged. 实验效果：Causal Forcing 的 5 秒视频综合评测 VBench、0.7 压缩率下，综合分 Total Score 为 84.10，对比最强压缩基线 84.05 和 Full KV 83.99；DiT-only FPS 提升 1.22 倍，KV 从 6.04 GB 到 1.81 GB。LongLive 2.0 的 60 秒实验中，KV 从 20.76 GB 到 6.23 GB，但 VBenchLong 总分从 80.12 降到 78.84。 Figure 4: Paired semantic fidelity on matched prompt–seed tuples. (a) Tie-aware superiority rates. (b) Mean paired differences with prompt-clustered bootstrap 95% confidence intervals. Positive differences favor SemanticKV ; Full KV is the uncompressed reference. 批判点评：方法依赖规划器提出的约束，漏掉的细节未必获保留；5 秒的分数优势很小，也不能等同于所有长视频质量提升。速度数字是 DiT-only，未含规划、筛选和验证全链路。 5. GenRM-Flow：让视频生成器自己打偏好分 GenRM-Flow: Generators are Process-aware Reward Models in Flow Matching | 浙江大学；Joy Future Academy；厦门大学；清华大学 | arXiv:2611.11421 关键词：视频生成, 偏好对齐, 流匹配, 奖励模型, FlowAWR 前序问题：视频偏好对齐常靠外部视觉语言模型或附加判别头评分；评分器没有直接使用视频生成器在噪声潜空间里的预测能力。 方法直觉：偏好微调后的生成器与冻结原模型，对同一视频的速度预测误差差值，本身可读成逐时刻奖励；用这份奖励替代外部判官指导再训练。 本文贡献：GenRM-Flow 从离线偏好目标推导隐式过程奖励：在流匹配噪声状态上比较当前策略与参考策略的速度预测误差，不新增打分头；将它接入按奖励加权微调视频生成器的 FlowAWR。文中不同偏好训练目标都是到目标策略的路径，不是附加奖励网络。 Figure 2: The pipeline of GenRM-Flow . (Panel A) Traditional paradigms rely on representational capacity , utilizing a frozen backbone (e.g., a VLM or base generator) as a feature extractor coupled with an auxiliary discriminative head. (Panel B) The proposed framework sources the reward directly from generative capacity . Following preference optimization, the implicit reward R D ​ ( , c ) R^{D}(\mathbf{x},c) is algebraically extracted from the velocity-prediction errors. The scalar score is computed natively by contrasting the active policy (flame, θ ⋆ \theta^{\star} ) against a frozen reference (snowflake, θ ref \theta_{\mathrm{ref}} ), requiring no architectural modifications or auxiliary heads. 实验效果：原文留出偏好对比集上，Wan2.1-T2V-1.3B 的平均成对预测准确率为 86.79%，PAVRM 为 76.06%；同主干接入 FlowAWR 后，VBench 的动态程度从 PAVRM 的 67.83 到 73.46。14B 主干对应动态程度为 71.82 到 74.87；这些是作者协议内结果。 Figure 4: Qualitative comparison between PAVRM and GenRM-Flow as the per-step reward signal in FlowAWR with a 1.3B backbone. Both runs use FlowAWR with the same configuration, differing only in the reward signal. Red boxes mark localized structural deformations, spatial inconsistencies, and temporal artifacts produced by PAVRM. Across scenes, our reward yields visibly fewer geometric defects and better spatial and temporal continuity. 批判点评：奖励要运行当前与参考生成器的速度预测，不能把“无附加头”误写成零额外计算；奖励依赖已微调策略及参考策略。论文的原始奖励不做组内归一化时约 250 步出现策略坍塌，训练稳定性需要单独处理。 6. UGG：相机轨迹控制视频也补几何 UGG: Unified Generative Geometry Model | 麻省理工学院；加州大学圣迭戈分校；剑桥大学 | arXiv:2611.14440 关键词：相机控制视频, 4D 场景生成, 深度预测, 相机姿态, 条件补全 前序问题：给视频第一帧和相机轨迹，要补出连贯的中间画面；单独训练视频生成与几何预测模型，常让画面、深度和相机姿态彼此不一致。 方法直觉：把已看到的 RGB、深度和相机射线设为干净 token，缺失部分设为带噪 token；同一模型以“补空缺”完成视频生成或几何预测。 本文贡献：UGG（Unified Generative Geometry Model）将 RGB、深度及用密集射线图表示的相机姿态放进统一 transformer；各模态有专属投影和前馈层，共享多模态自注意力。还可采样多个可能场景并用可观测图像的几何证据选择。原文已接收 NeurIPS 2026。 Figure 2: Generative-predictive transformer. We model RGB, depth, and camera pose as spatially aligned tokens, with camera pose represented as dense ray maps. Partial observations are zero-noise context tokens, while missing modalities are noisy tokens to be denoised. A unified transformer processes all tokens with modality-specific projections and feed-forward layers together with shared multimodal self-attention, enabling information exchange across modalities. The decoded RGB, depth, and ray maps form a complete 4D scene representation for cross-modal generation, geometric prediction, and inference-time consistency search. 实验效果：RealEstate10K 双端点帧加目标相机轨迹的视频补全中，UGG 的 峰值信噪比 PSNR 为 25.73 dB、感知距离 LPIPS 为 0.061，对照 SEVA 为 25.25 dB、0.081；PSNR 越高、LPIPS 越低通常表示与真值更接近。但 DL3DV 同设定中，UGG 的 PSNR 16.61 dB 低于 SEVA 的 17.61 dB。 Figure 4: Qualitative comparison of camera-controlled generation. Given the first and last RGB frames and a target camera trajectory, we compare generated intermediate frames against ground truth and baseline video generation methods. UGG better preserves scene identity and dynamic content compared with the generic video completion baselines. 批判点评：“统一”不意味着每个数据集都最好；DL3DV 是明确反例。画面指标依赖真值和给定相机轨迹，也不直接证明开放世界长视频的物理一致性；测试时多样本搜索会增加推理成本。 7. Four-Step DiT：四步画海报字更准 Four-Step Text-Bearing Image Generation via Distillation with Local Response Regularization and Teacher-Guided Training | 清华大学 | arXiv:2611.12042 关键词：图文生成, 扩散蒸馏, 文字渲染, GLM-Image, 四步采样 前序问题：文字海报要同时画好场景和拼对字；把 50 步图像模型压成四步后，字符细节往往先坏掉。 方法直觉：让学生模型的局部去噪响应更平稳，同时用教师图像和合成字符串分阶段喂给它，使少数几步既管布局又管字形。 本文贡献：研究在 GLM-Image 的扩散 Transformer（DiT） 的分布匹配蒸馏中加入局部响应路径长度正则，并保留冻结的自回归视觉先验、字形编码器与 VAE；文字训练从短字符串逐步走到密集布局。四步是学生去噪转移次数，教师是 50 步，不能直接当成端到端 12.5 倍。 Figure 2: Four-step distillation with complementary response and data supervision. Frozen autoregressive and glyph encoders retain semantic and character conditions. Distribution matching transfers teacher synthesis behavior, while the path-length term regularizes the student’s local response. Teacher-guided progressive training combines explicit text examples with visually integrated typography; the VAE remains fixed. 实验效果：原文 1024×1024、NVIDIA A100 的单图推理从教师 5.818 秒到学生 1.742 秒，端到端快 3.34 倍，两者仍需 40 GB GPU 内存。CVTG-2K 单词准确率为 0.5045，四步 TDM 为 0.1690；图像组合生成评测 GenEval Overall 为 0.84 对 0.81。单词准确率是所生成文字与目标文本匹配的比例。 Figure 6: Qualitative comparison of four-step GLM-Image students. Within each three-column group, outputs are ordered as the student without text training, TDM, and our complete framework. Cases cover (a) an English poster, (b) a Chinese poster, (c) a bilingual sign, (d) product packaging, (e) multiline text, (f) a bilingual display, (g) object counting, and (h) spatial relations. The examples illustrate differences in literal text preservation, object counts, and spatial arrangement while retaining coherent scene appearance. 批判点评：加速来自蒸馏与专门文字训练，付出教师生成数据和训练成本；推理显存没有下降。数值只覆盖文中主干、A100 和评测集，不能据此保证任意长文本都不拼错。 8. ADE-GVC：按画面失真选视频去噪起点 When to Start Denoising? Adaptive Denoising Entry for Generative Video Compression | 北京航空航天大学；阿里巴巴集团；香港科技大学 | arXiv:2611.13620 关键词：生成式视频压缩, 扩散重建, 自适应去噪, 视频保真, 码率 前序问题：超低码率视频压缩会丢掉细节；扩散模型从固定噪声时刻开始重建，对失真轻重不同的片段常在保真与真实感之间失衡。 方法直觉：让轻度和重度压缩失真走不同的去噪起点，再把压缩痕迹作为时序条件输入视频扩散 Transformer（DiT）；这样重建力度可随内容调整。 本文贡献：ADE-GVC 由潜变量压缩网络、时间适配器、起点预测器和视频扩散模型组成；预测器从压缩潜变量估计起始时刻 τ，适配器提供压缩感知条件。它输出的是原视频的压缩重建，不是从文本自由生成新视频。 Figure 3 : The overall architecture of ADE-GVC consists of a latent compression network (LCN), temporal adaptor (TA), timestep predictor (TP), and video diffusion model. The input video g \bm{V}_{g} is encoded into the clean latent 1 \bm{x}_{1} , which is compressed by the LCN into c \bm{x}_{c} and a compression-aware feature t \bm{f}_{t} . The TP predicts the denoising entry τ \tau from c \bm{x}_{c} , while the TA converts t \bm{f}_{t} into the visual context v \bm{c}_{v} . Conditioned on v \bm{c}_{v} , the VideoDiT denoises τ c \bm{x}^{c}_{\tau} , into ^ 1 \hat{\bm{x}}_{1} , which is decoded to reconstruct ^ 1 \hat{\bm{V}}_{1} . 实验效果：以 S²VC 为 BD-Rate 零点，HEVC-B 的感知距离 DISTS 口径 BD-Rate（等质量平均码率差） 为 −56.4%，GLC-Video 为 −13.4%；负值表示在相同感知失真水平下平均所需码率更低。论文另对 1920×1080、96 帧平均解码计时：优化后的 0.831 秒对原始 4.341 秒，约 5.11 倍，但这是其自身实现优化对照。 Figure 7 : Qualitative comparisons on a single frame in terms of representative VVC, PLVC, GLC-Video and our ADE-GVC methods. We also report the Bpp/DISTS metrics to quantify compression efficiency. 批判点评：不同指标口径会得出不同节省值，不能把 DISTS 与 PSNR 下的百分比混成一个总收益。起点预测和时间适配器需要训练；表中解码加速是并行化、编译和 bf16 累积作用，不是仅由自适应去噪带来。 9. DialInstruct-TTS：多轮只改一句话的语气 DialInstruct-TTS: Interactive Expressive Speech Generation via Multi-Turn Dialogue with Fine-Grained Temporal Control | 奈良先端科学技术大学院大学 | arXiv:2611.13875 关键词：语音生成, 多轮语音编辑, 局部风格控制, TTS, 内容保留 前序问题：一次性文本转语音（TTS）指令往往给整句话同一种语气；想只把中间一段改成低声说，通常要重写指令并重生成全句，已满意部分也会变化。 方法直觉：对话规划器每轮汇总最新要求和历史，形成按时间定位的风格计划；只修订目标潜变量，锁定其余片段。 本文贡献：DialInstruct-TTS 用 Qwen 系列规划器形成标出时间段与风格的 TemporalPlan，再由时序声学控制模块调整情绪、语速、音量和发声方式；reference-latent revision 负责保留非目标区域。它是生成语音的交互式局部编辑，不是通用对话代理。 Figure 2: Architecture of DialInstruct-TTS 实验效果：原文全局风格主观评测中，指令匹配均分为 4.283，对照 Qwen3-TTS 为 3.077；五轮语速修改中，“目标控制与内容都成功”为 15/20，有无非目标锁定的对照为 6/20。30 次最终偏好比较，多轮修订获 29 票，完整重述获 1 票；都是论文的指定主观协议。 Figure 4: Mean subjective ratings and final preference for full-restatement and multi-turn revision. Final preference is 1/30 versus 29/30, with no ties. Means are shown without error bars; numerical results are in Appendix E.4 . 批判点评：局部控制并不各项都稳：同一消融里音量修改成功仅 4/20。多轮流程引入规划和反复合成开销，论文偏好票数不能换算为统一的端到端编辑成功率。 10. DiaHeads：双人对话头像一起动 DiaHeads: Jointly Generating Coordinated 3D Dialogue Heads with Non-verbal Cues from Dual Audio | 中国科学技术大学 | arXiv:2611.06970 关键词：3D 头像生成, 音频驱动, 双人对话, 非语言动作, 注视 前序问题：各自按音频生成说话头像，容易得到两张嘴都动却没有互相看、点头或等待反馈的双人画面。 方法直觉：把两人的音轨放进同一条件，再让注视、摇头、点头、微笑四类离散提示和连续头部动作共享潜空间；模型一次生成两个人的动作。 本文贡献：DiaHeads 冻结双路 HuBERT 编码音频，用变分编码器融合连续 FLAME 头部参数与四类非语言 cue；时间相关的 flow prior 替代独立高斯先验，共享解码器同时输出两位参与者。FLAME 是 3D 人头参数模型。 Fig. 2: Overview of the proposed DiaHeads. The audio streams of both interlocutors are encoded by two frozen HuBERT backbones and fused into a conditioning vector c c by a transformer. A dual-branch variational encoder processes the continuous parameters ( F , G ) (F,G) and the discrete cues N N in separate branches, each conditioned on c c through FiLM modulation, and the two branches are combined through a product-of-experts posterior z ∼ ⁡ ( μ , e σ / 2 ) z\sim\mathcal{N}(\mu,e^{\sigma/2}) , shown as the “Low-level Motion Encoder” and “High-level Cue Encoder”. A flow-based prior built from five residual coupling blocks, each consisting of a flip operation and a Conv1D coupling layer, replaces the standard Gaussian prior, and a shared VAE decoder, conditioned on c c through FiLM, jointly reconstructs the head parameters Y ^ \hat{Y} and the discrete cues of both interlocutors. The units at the bottom right detail the two SyncNet encoders, which are built from 1D convolution, batch normalization, and ReLU. 实验效果：CANDOR-FG 双人数据上，交互 DTW（两人动作时序不匹配程度，越低越好）为 0.3171，对照双人基线 DIM 为 0.7526；盲选中 DiaHeads 获 58 票，SadTalker 33 票、DIM 17 票。但单人头部 FLAME MSE 为 0.6662，高于 SadTalker 的 0.5523，精细动作保真并非全胜。 Fig. 5: Qualitative comparison of generated 3D head animations over a 30 s dialogue clip. Participant A is shown in blue and participant B in orange. Each method occupies two rows labeled A and B, sampled every 2.5 s. Our method produces appropriate mouth movements during overlapping speech at 8 s, marked by the purple box, and responsive nodding with mutual gaze at 20–23 s, marked by the yellow box, while the baselines show incorrect lip-sync and lack interactive behaviors. 批判点评：论文展示的是 3D 头像动画参数，不是直接输出真人视频；双人数据和四种 cue 限制了外推范围。交互协调改善与单人几何误差存在取舍；原文仅称准备投稿 IEEE Transactions on Multimedia，未写成已接收。 趋势观察 视频生成的计算预算不再只数采样步 APEX 省掉训练时的独立假分数网络；ESTRA 压低注意力精确交互，SemanticKV 精简历史缓存。三者改变的是不同成本，不能把倍数直接相加。 编辑和生成更看最终条件满足 IdealCache 用理想输出搜索缓存日程，UGG 用相机轨迹和几何共同约束中间帧，DialInstruct-TTS 则锁住语音中不需修改的区间。 评测必须保留反例和口径 APEX 的运动质量并非胜出；UGG 在 DL3DV 双端点帧设置的 PSNR 落后 SEVA；SemanticKV 的 60 秒总分低于 Full KV。 今日讨论 APEX 在 70 例三分钟视频中得到指令遵循 +30.0% 净偏好，但运动质量偏向 S2-Avatar。若为一条中途多次换商品动作的直播片段选生成器，你会怎样同时检验指令执行、人物连续性和动作自然度，何时不应为了指令偏好牺牲运动质量？ 人工智能炼丹君 整理 | 2026-11-13 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-11-12|阿里多参考长视频换指令不断档-TaoMate-R1 今日 AIGC 论文速览 今日共 10 篇 · 多参考与广告视频审修 2 篇 · 多场景视频与生成加速 3 篇 · 几何控制与图文生成 2 篇 · 三维动作生成 1 篇 · 生成结果评测 2 篇 重点论文标题列表 TaoMate-R1（阿里）：多参考长视频换指令不断档 Review-and-Edit（Anoki）：广告视频问题一键找到修复入口 OneReel（伊利诺伊大学香槟分校）：多场景视频只共享少量关键帧 MG-Cache（北京邮电大学）：视频去噪按时间层级双重缓存 FADE（四川大学）：预测弯曲去噪轨迹少算视频 选读入口：要用多张参考图连续拍人和商品，先读 TaoMate-R1；要从广告成片定位错误并派给修复工具，读 Review-and-Edit。想控制跨场景一致性读 OneReel；要在既有 DiT 上提速，对照 MG-Cache 的缓存内存和 FADE 的离线校准。要画准钟表与披萨比例读 Angular Control；要让图文长文配图对位读 UniWeaver；做长序列 3D 动作看 FlashMotion。评估改图判官和视频物理常识，分别读 EditJudge-Bench 与 PhyRubric。 今日论文速览 1. TaoMate-R1：多参考长视频换指令不断档 TaoMate-R1: Temporal Role Specialization for Streaming Multi-Reference Video Generation | 阿里巴巴集团 | arXiv:2611.14307 关键词：视频生成, 多参考生成, 流式生成, LoRA, 场景连续性 前序问题：指定人物和商品后连续拍两分钟，提示词中途换动作或物品；按片段生成常在接缝处换掉人物、房间或亮度。 方法直觉：把“开场建景”和“后续延续”当成两种时间职责，各自用一套低秩适配器；同一职责既生成当前片段，也写入下一段要看的历史。 本文贡献：TaoMate-R1 在冻结的 MiniMax H3 主干上配两组 LoRA，而非按去噪与写历史两种操作分组。Self Gradient Forcing 让开场和延续适配器沿自己生成的历史联合训练。32 个多参考案例采用相同两适配器预算比较。 Figure 2: TaoMate-R1: generation and context writing through temporal role specialization. The absolute chunk index selects an adapter for both denoising and clean-context writing. The resulting audiovisual keys and values condition subsequent chunks; video latents are decoded for display. The reference images and four stacked output frames come from an evaluated product-interaction sequence. 实验效果：在 10 条约两分钟、指令会变化且共用教师音频条件的长流上，相对按操作分组，接缝平均亮度跳变从 1.96 降至 0.613；接缝 DINO 特征相似度从 0.973 到 0.990。DINO 是图像特征相似度，数值越高通常表示相邻帧外观更接近。该比较没有统一报告端到端推理延迟。 Figure 6: Scene continuity over a two-minute interaction. Each row combines the first frame’s left half, centre columns sampled every 0.5 s, and the last frame’s right half (case 006, 119 s). Grey ticks mark instruction changes; endpoints retain native aspect ratios. The bands contrast composition changes in clip-wise generation with stable presenter and table geometry in the TaoMate-R1 stream. 批判点评：这是按参考生成新音视频，不是对现成视频直接编辑。接缝更平稳不等于所有指令都执行成功：长流的问答遵循分为 0.980，按操作分组为 1.00；结论依赖这套主干、两适配器预算和共享音频条件。 2. Review-and-Edit：广告视频问题一键找到修复入口 Multimodal Judges Flag, Humans Decide: A Review-and-Edit Framework for AI-Generated Product Video Ads | Anoki 公司 | arXiv:2611.13178 关键词：生成视频审阅, 视频编辑, 商品一致性, 多模态评测, 人工复核 前序问题：电商商品页自动变成短广告后，镜头里商品形状、文案、旁白或字幕可能错；只给整条广告打一个好坏分，编辑者不知道该修哪一幕。 方法直觉：把广告按场景和六类问题拆开，让多模态 judge 先指出时间点与依据，再由人确认；每条确认的问题直达对应编辑工具。 本文贡献：系统检查商品、场景质量、发音、脚本、声音和字幕。门户把模型发现与商品照片、事实资料并列给审阅者；确认后可借别条广告的镜头、重生镜头、做视频到视频编辑或局部高分辨率修复。这里的核心是审修流程，视频生成与修复工具作为可替换后端。 Figure 3 : The production portal. Panels (a) to (c) show the review and panel (d) the edit page. (a) The review page for one ad: 1 the ad and its scenes, 2 the six questions, collapsed, each tagged when a judge flagged it, and 3 the evidence: the catalog photos, product facts, brand kit and script. (b) 4 A judge’s finding sits inside the question with its scene, kind and evidence; the reviewer accepts or rejects each with a thumbs up or down and 5 answers below, where “Product wrong” then asks which scenes are at fault. (c) 6 The scene judges’ finding above 7 the per-scene grid, with keep, swap out or no opinion for each scene, and 8 the secondary options for the kind of problem. (d) On the edit page: 9 the scenes with confirmed issues; 10 a confirmed issue opens the scene tool on its scene, with 11 the scene’s versions and 12 ways to change it: another ad’s scene of the same product, a new scene, or Repair, which fixes the scene in place, today by regenerating its clip at higher resolution. 实验效果：在自家流水线的 120 条广告、562 个场景中，辅助审阅标记约 60% 的场景有商品问题。对其中 60 条广告，辅助审阅的多数标记率为 58%，隐藏 judge 后两名审阅者为 26%；两组不能直接视作随机对照。另在盲标的 120 个场景上，商品 judge 的 AUC 为 0.84；它召回 29 个缺陷中的 26 个，但 56 个告警中仅 26 个是真缺陷。 Figure 2 : One generated 15 s ad ( video in our release) as judges and reviewers reviewed it, one row per question. Reviewers accepted the judges’ product findings and rejected nearly all of their pronunciation findings. They also marked the S3 and S4 captions and added two problems the judges missed in S2: an impossible motion in the scene and an unsupported claim in its line. 批判点评：高召回带来较多误报，必须保留人工决定；实验证据来自单一市场、英语旁白和一条内部生成流水线。研究没有证明全自动编辑或审核耗时一定缩短。 3. OneReel：多场景视频只共享少量关键帧 OneReel: Efficient Multi-Scene Video Generation with Scene-Structured Attention | 伊利诺伊大学香槟分校；得州大学奥斯汀分校；斯坦福大学 | arXiv:2611.10594 关键词：多场景视频生成, 稀疏注意力, 共享记忆, 多GPU 前序问题：多场景视频若所有帧彼此全连接，注意力成本随场景数迅速膨胀；分场景单独生成又容易让人物和物体跨场景变样。 方法直觉：场景内部保持完整注意力，跨场景只交换被挑出的代表帧；提示词和时长先划定每个场景的作用范围。 本文贡献：OneReel 无需再训练生成主干：对每个场景保留本地注意力，把聚类选出的潜变量代表帧放进有界共享记忆；再把本地及共享 K/V 打包为连续的可变长注意力输入，并按通信成本选择多 GPU 分工。理论上的跨场景注意力随场景数由平方变线性。 Figure 5: Scene-structured attention across model architectures. Rows denote queries and columns denote keys. Purple denotes scene-local interactions; orange denotes selected foreign video K/V from a shared memory. The example shows one head; text queries remain local. 实验效果：四种生成模型的实验相对稠密注意力报告端到端 1.7–4.9 倍加速。40 个多场景请求中，HunyuanVideo-1.5 480p 的文本遵循分从稠密的 27.7 提至 61.9；同表的动作分从 34.5 到 64.1。分数只在论文这套多场景提示与评测协议下可比，性能还依赖共享记忆和多 GPU 打包实现。 Figure 10: Minute-long generation with HunyuanVideo-1.5. OneReel captures the requested scene changes, while dense generation remains visually repetitive. 批判点评：需事先给出场景提示及持续时间；代表帧太少会漏掉跨场景细节，太多则削弱加速。作者对一分钟长视频另加场景局部 RoPE，说明注意力作用域之外的时间位置编码同样影响效果。 4. MG-Cache：视频去噪按时间层级双重缓存 MG-Cache: Multi-Granularity Caching for Accelerating Diffusion Transformer Inference | 北京邮电大学 | arXiv:2611.11365 关键词：视频生成加速, 图像生成加速, Diffusion Transformer, 多粒度缓存 前序问题：扩散 Transformer 要重复计算几十次；各时间步和各层变化程度不同，统一跳过容易积累误差，高清长视频尤其耗时。 方法直觉：先用小批校准样本找出可跳过的去噪时间步，在线再按各层输入变化和重要性决定是否复用注意力或 MLP 的中间特征。 本文贡献：MG-Cache 的第一阶段离线分析时间步冗余，第二阶段对层内模块按稳定度与敏感度动态缓存；无需重新训练生成模型。论文在 HunyuanVideo 与 FLUX.1-dev 上同时测速度、画质和相对未缓存输出的保真度。 Figure 2 : Overview of the Multi-Granularity Cache (MG-Cache). We design a two-stage strategy to exploit computational redundancy during inference. Stage 1 performs a static offline analysis to identify and preserve critical timesteps based on a timestep feature table [ M ^ t ] [\hat{M}_{t}] constructed from a small batch of calibration dataset. Stage 2 introduces a dynamic layer-wise caching mechanism that computes layer importance scores and input stability to adaptively determine whether to reuse cached features. 实验效果：HunyuanVideo 文生视频、544×960、129 帧、原始 50 步条件下，慢档由 982.03 秒降至 358.86 秒，即 2.74 倍；VBench 从 75.45% 到 75.14%，PSNR 27.44 dB 是相对原始输出的像素保真度。bf16 层缓存对该分辨率需 49.8 GB，论文使用内存卸载；因此速度收益不能脱离缓存容量与数据搬运谈。 Figure 1 : Visual quality comparison. While achieving a higher speedup than baselines, our method also maintains superior fidelity to the original output. For instance, in the first row (Prompt 1), other methods exhibit blurring on the text "stop," whereas our method preserves text sharpness. 批判点评：离线校准和高分辨率层缓存是额外成本。快档可进一步提速，但同表 VBench 降到 74.13%；部署需按显存、内存和质量目标调阈值。 5. FADE：预测弯曲去噪轨迹少算视频 FADE: Fractional Anomalous Dynamics Extrapolation for Training-Free Diffusion Transformers Acceleration | 四川大学 | arXiv:2611.10514 关键词：视频生成加速, 图像生成加速, Diffusion Transformer, 特征预测 前序问题：缓存法在跳过多个去噪步时通常按直线或整数阶变化外推特征；遇到弯曲且随时间变化的轨迹，误差会累积。 方法直觉：用分数阶动力学描述特征轨迹的弯曲程度；先离线测好各阶段和层的参数，在线按查表结果在完整计算和预测步之间交替。 本文贡献：FADE 用 Mittag–Leffler 分数阶算子外推 DiT 中间特征，离线校准最合适的阶数并存入多维查找表；推理时按时空位置取参数，减少被跳过步骤的计算且不微调主干。 Figure 2 : Overall framework of FADE. FADE consists of an offline profiling stage and an online inference stage. The offline stage calibrates and stores the optimal fractional orders in a static LUT, while the online stage alternates between full-compute and prediction steps using LUT-retrieved orders for feature forecasting. The upper-right panel illustrates the geometric contrast between the FADE trajectory and the integer-order trajectory in the latent space. 实验效果：HunyuanVideo 文生视频的同表条件下，原始 50 步耗时 190.2 秒、VBench 80.68%；FADE 在 N=6、m=1 设置下耗时 37.9 秒、VBench 80.12%。按列出的延迟相除，墙钟加速约 5.02 倍；表中 Spd. 列的 5.56 倍与 FLOPs 比 29,773/5,359 一致，两个口径不应混写。同预算 HiCache 为 37.8 秒和 79.93%，FADE 主要改善该表的质量而非进一步缩短时延。 Figure 5 : Qualitative comparison on text-to-video generation. 批判点评：收益依赖离线校准的查找表及具体主干；换架构或采样预算需重新标定。VBench 相对原始生成仍下降 0.56 个百分点，不能把“保真”写成无损。 6. Angular Control：让画出来的时钟真指向指定时刻 Continuous Angular Control in Text-to-Image Generation via Geometric Token Encoding | 毕尔肯特大学；CISPA 亥姆霍兹信息安全中心；弗赖堡大学 | arXiv:2611.13172 关键词：图像生成, 几何控制, 扩散模型, 角度编码 前序问题：让文生图模型画 10:10 很容易，要求 1:45 时两根针常常还是落回惯见姿势；要求披萨只剩指定圆弧比例也有类似问题。 方法直觉：把时针、分针或扇区边界的角度编码成周期性的正弦和余弦 token，直接放进提示词；训练时由局部约束逐步放松到整物体约束，让数字位置落到正确部件。 本文贡献：该法在冻结文本编码器前插入角色专属几何 token，并用 LoRA 调整 SD 2.1 去噪器。Stochastic Localization Relaxation（SLR）混合部件框、物体框和无定位三种训练监督；推理无需输入框。另用指针互换偏好损失防止时针和分针角度对调。 Figure 2 : Left: Overview of our geometric token encoding framework, illustrated for clock-time control. The target clock time ( h , m ) (h,m) or fraction-sector boundaries are encoded as sinusoidal pairs and mapped through the projection network P P to produce role-specific geometric tokens h , m \mathbf{e}_{h},\mathbf{e}_{m} (or s , e \mathbf{e}_{s},\mathbf{e}_{e} ) injected into the prompt before the frozen text encoder. Both tasks share the same MLP architecture and condition a LoRA-adapted SD 2.1 denoising U-Net. Right: Stochastic Localization Relaxation (SLR). Training samples one of three localization regimes (55/30/15%): component-level CALL using component boxes, object-level CALL using a shared object box, and unconstrained standard cross-attention. No localization input is required at inference. 实验效果：时钟 Acc@6° 指两针都在目标角度 6° 内；四种未微调基线均低于 1%，本法在不同读图器下约 63–78%。圆形物体比例误差不超过 0.10 的 Acc@0.10，训练类为 89.5%，未见过的物体类为 88.8%，未见过的比例为 84.9%；基线约 20%。这些数字来自带精确角度标注的任务数据。 Figure 8 : Qualitative comparison of the original periodic encoding and the augmented encoding with the scalar fraction f f near the angular boundaries. The periodic encoding produces small sectors near 0 ∘ 0^{\circ} but may generate narrow slices even for complete-sector targets ( 360 ∘ 360^{\circ} ), reflecting its endpoint ambiguity. Adding f f distinguishes the endpoints and enables complete-object generation, but can produce oversized sectors for small target angles ( 1 ∘ 1^{\circ} – 5 ∘ 5^{\circ} ). Results are shown for pizza, pie, and cake. 批判点评：必须有任务专用的几何标注与训练；复杂场景或部件不清时精度会下降。0° 与 360° 的周期编码端点相同，附录增加比例标量虽能区分整圆，却可能放大小角度扇区。 7. UniWeaver：把文字和配图按任务一起编排 UniWeaver: Harnessing Unified Multimodal Models for Interleaved Text-Image Generation | 俄亥俄州立大学；伦敦大学学院；香港中文大学；香港科技大学（广州）；香港大学 | arXiv:2611.13530 关键词：图文交错生成, 多模态生成, 规划, 视觉反馈 前序问题：用户只说“做一份操作指南”，统一多模态模型常先写完一段再补图，图与步骤错位，关键步骤也可能没有画面。 方法直觉：先确定每一段要讲什么、配什么图和共享风格，生成后再按可观察清单检查图片是否支持文字；失败时修正局部。 本文贡献：UniWeaver 是模型无关的图文交错生成工作流，包含任务范围、文字与图片规划、参考图分配和视觉复核。作者用该流程构造覆盖 20 类任务的 1 万条训练轨迹，并建立 120 条留出任务的 UniWeaver-Bench，从文字覆盖、写作质量、视觉覆盖与图文对齐评估终稿。 Figure 3: Overview of UniWeaver. ① UniWeaver introduces a structured workflow for interleaved text-image generation, with execution trajectories providing supervision for fine-tuning (Section 3.1 ). ② UniWeaver-10K Dataset provides 10,000 goal-only tasks paired with structured planning trajectories across 20 task families (Section 3.2 ). ③ UniWeaver-Bench systematically evaluates final interleaved outputs on 120 held-out tasks (Section 3.3 ). 实验效果：在同一 120 任务消融协议中，基于 BAGEL 的完整方法综合分 58.89；去掉共享视觉风格为 48.21，去掉任务目标为 53.01。分数按任务门禁通过率加权，只对过门任务计算；不能直接解读为每张图片质量提高 10.68 分。论文未给统一的额外模型调用成本与端到端耗时。 Figure 5: Qualitative comparison on two representative tasks. UniWeaver produces more coherent, actionable instructions with task-relevant visuals, while baselines exhibit repetitive content, missing details, or ineffective visual support. Zoom in for better view. 批判点评：这一流程依赖规划与视觉 judge，长文可能增加调用与返工成本；评测本身也依赖模型判分。图文能力提升并不自动代表单张图的生成模型更强。 8. FlashMotion：一万帧动作也能快生成 FlashMotion: Ultra-Fast Long-Term 3D Motion Generation | 腾讯 IEG Motus Group；中国人民大学；清华大学；得州大学达拉斯分校；武汉大学；南开大学；香港大学 | arXiv:2611.13626 关键词：3D动作生成, 文生动作, 音乐舞蹈, 语音手势, 少步采样 前序问题：游戏和虚拟人的长动作既要跟文本、音乐或语音走，又要少采样、少显存；长序列常出现脚滑、抖动或推理跟不上交互。 方法直觉：同时缩短“要采几步”和“每步有多贵”：用少步平均速度预测完整动作，再用轻量双向时序模块看前后动作与条件。 本文贡献：FlashMotion 将带运动学和动力学约束的 3D motion-space MeanFlow 与约 6000 万参数的 BiMamba/CoBiMamba 组合，支持文生动作、音乐生舞蹈和语音生手势；Adaptive Soft mask 用于动作中间段编辑。这里生成的是 3D 运动表示，后续骨骼绑定与渲染另算。 Fig. 2: Overview of FlashMotion . (a) Inference flow with clean-motion prediction and MeanFlow updates. (b) Training model inputs and output: noisy motion, conditions, and timesteps are mapped to the clean-motion target. (c) Shared BiMamba/CoBiMamba block. Dashed purple paths denote optional conditioning, omitted in BiMamba and used in CoBiMamba for condition-guided state selection. 实验效果：BABEL 长序列文生动作实验中，四步版 R@1 为 29.134%，对 DART 的 26.105%；R@1 是文本查询时正确动作排在第一的比例。RTX 3090、batch=1 的一万帧动作输出，论文报 46,303 FPS，对 DART 的 75 FPS；这是运动序列吞吐，不是最终视频渲染帧率。一阶段更快但 FID 更差，反映速度与分布质量取舍。 Fig. 3: Text-to-motion comparison under a shared sequence of 3 prompts. 批判点评：仿真中的动作可用于角色动画，但机器人执行和真实人体安全性不能由这些分数推导。速度比较受动作长度、硬件和只计模型生成的口径影响。 9. EditJudge-Bench：先测判官会不会看错改图 EditJudge-Bench: Auditing VLM Image-Edit Judges with Synthetic Ground Truth | 丹麦技术大学；Pioneer Centre for AI | arXiv:2611.12524 关键词：图像编辑评测, VLM判官, 合成真值, 反事实 前序问题：图像编辑榜常请视觉语言模型判断“改对了吗”，但真实改图既有意外副作用又没有精确真值，判官判错时很难归因。 方法直觉：用 Blender 场景参数生成编辑前后对，哪一物体、位置、材质或形状被改过都有确定答案；再让 VLM 判断编辑指令是否真的执行。 本文贡献：EditJudge-Bench 有 1,382 对合成图，覆盖九类编辑并配错误方向、错对象、无编辑等反事实指令；以 25 种判官配置检验指令核验可靠性，并比较不同提示模板和图文顺序。它评测的是编辑判官，不是推出新的图像编辑模型。 Figure 2: Overview of the nine edit types in EditJudge-Bench . The central inset shows the underlying Blender scene parameter modified by each edit: object position \mathbf{x} , rotation \mathbf{r} , scale \mathbf{s} , shape parameter θ \mathbf{\theta} , articulation joint ψ \mathbf{\psi} , material \mathbf{m} , visibility \mathbf{v} , lighting state \mathbf{l} , and camera state \mathbf{c} . Surrounding images show one rendered edit from the source image per category. Because each edit is a deterministic parameter change, magnitude and direction are known exactly. 实验效果：论文报告 GPT-4o 使用常见 VIEScore 模板的整体 AUROC 为 69.0%；AUROC 是随机抽一正一负时把正确编辑排得更高的概率。若干微调判官为 51.7–66.3%，图文顺序等提示格式可改变结果最多 14.1 个百分点。尽管测试图是合成的，判官排名与两项真人偏好榜的 Spearman 相关分别为 0.95 和 0.71。 Figure 3: Example image pairs in EditJudge-Bench . For each edit type, we show three original/edited image pairs from our benchmark. 批判点评：Blender 场景与真实照片仍有域差；排名相关高不表示任何单一判官在真实编辑上都可靠。旋转、形状等空间编辑尤其难判，应逐类审计。 10. PhyRubric：逐条指出生成视频违反哪条物理 PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation | 伊利诺伊大学芝加哥分校 | arXiv:2611.13576 关键词：视频生成评测, 物理常识, 细项量表, 时间戳诊断 前序问题：文生视频若小勺瞬间跳位、按钮还没按灯就亮，单个“物理分”说不清问题发生在哪一秒，也不利于修提示词。 方法直觉：在看到生成视频前，先把每条提示词拆成语义与物理预期；播放后逐项给出是否达成及对应时间戳。 本文贡献：PhyRubric 包含五个物理领域、34 类情境；PhyRubric-Bench 对十种文生视频模型做细项诊断，另用 3,788 条视频训练开源 PhyRubric-Judge。判官分别报语义遵循 SA、物理是否可评、物理分 PC，并给违反预期的证据。 Figure 2 : Overview of PhyRubric. (1) Rubric formulation : each caption is paired with a rubric covering semantic adherence (SA) and physical commonsense (PC), constructed before any video is seen and reused to score videos from all models. (2) PhyRubric-Bench : captions spanning five physical domains and their rubrics are drafted by LLMs and reviewed by humans. Videos from 10 T2V models are pre-annotated by an agent and verified by humans. (3) Train & Judge : an agentic annotator labels training videos to build PhyRubric-Train, on which we train PhyRubric-Judge. Given a video and its caption, the judge outputs an SA score, whether PC is assessable, a PC score, and a diagnosis of the violated expectation with timestamped evidence. 实验效果：在该榜单，JP 是全部视频中 SA 与 PC 都至少 4/5 的比例；Seedance 2.5 平均 JP 44.20%，Veo 3.1 为 36.20%，但并非跨数据集总排名。判官相对真人物理分的 Pearson r 为 0.32，Gemini 4 Argon 为 0.31；两者物理通过判别 AUC 均 0.68，说明自动诊断仍有明显误差。 Figure 7 : Two failure cases from PhyRubric-Bench. (a) A small squirt of ketchup becomes a full bowl and the spoon jumps between 1.50 s and 1.62 s. (b) The roof light is lit from the first frame, before the finger reaches the button at 2.30 s. 批判点评：PC 只对“物理可评”的视频平均，单看它会漏掉根本没生成目标事件的失败；JP 更适合合看。细项量表和时间戳需人审，诊断改写提示词的示例不能直接当作普遍修复率。 趋势观察 把长视频的共同信息压到必要位置 TaoMate-R1 按时间职责训练适配器，OneReel 只交换场景代表帧；一个处理生成历史角色，一个处理跨场景注意力。 加速仍要算额外状态成本 MG-Cache 在高分辨率视频需要大型层缓存；FADE 需要离线校准分数阶。两者速度数字均不可脱离各自硬件和采样设置。 可控生成与评测都转向可定位证据 Angular Control 把角度直接编码进 prompt，Review-and-Edit 按场景定位问题，EditJudge-Bench 与 PhyRubric 追问判官和物理诊断的可靠性。 今日讨论 TaoMate-R1 在十条两分钟长流上把接缝亮度跳变从 1.96 降到 0.613，但长流问答遵循分略低于按操作分组。若按开场与延续分组拍一条中途连续换五次商品指令的广告，哪些指标能同时验证接缝、人物身份和指令执行，何时该放弃这套分组？ 人工智能炼丹君 整理 | 2026-11-12 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-11-11|南京大学给长视频扩画找回旧镜头-LongSCOP 今日 AIGC 论文速览 今日共 10 篇 · 视频扩画与分场景控制 3 篇 · 视频生成与推理系统 4 篇 · 图像与音频编辑 2 篇 · 物理三维场景 1 篇 重点论文标题列表 LongSCOP（南京大学）：给长视频扩画找回旧镜头 SceneShifter（悉尼大学）：换场景却不换人 ⚡ OneReel（伊利诺伊大学）：多镜头共用四帧记忆 MPEG-Diffusion（Roblox）：三成全分辨率 token 生成视频 V2C-Edit（台湾大学）：图像改动由 VLM 逐步导航 选读入口：要给长片补画左右画面，先读 LongSCOP 的参考帧条件与时间代价；要按音频和台词切换人物所在场景，读 SceneShifter；多分镜同人并想缩短生成时间，读 OneReel。只想降低高清视频去噪成本，读 MPEG-Diffusion；图像指令常被忽略，读 V2C-Edit；物理运动失真，读 PhysOPSD。多轮续写与回退读 ReelCache；混音里只改一个声源读 STEER；去噪特征缓存读 FADE；布料家具三维场景读 SoftPAT3D。 今日论文速览 1. LongSCOP：给长视频扩画找回旧镜头 LongSCOP: Semantically Consistent Long Video Outpainting | 南京大学；香港大学；中国科学院深圳先进技术研究院；香港中文大学；深圳理工大学；索非亚大学 INSAIT | arXiv:2611.12445 关键词：视频扩画, 长视频编辑, 参考帧检索, 自强制训练 ⚠️ 前序问题：给长视频向画面外扩出内容时，按块生成容易在块与块之间闪烁、坍塌，人物和背景也会逐渐变样。只看当前几帧，可能错过前后已经露出的缺失区域。 方法直觉：若待补的画面区域在别的时刻出现过，就把那个时刻作为参照；训练时让模型接触自己的前一块预测，减少训练时用真帧、推理时用生成帧造成的误差积累。 本文贡献：LongSCOP 联合 self-forcing（自强制：以前一步生成帧作为训练条件）、潜变量校准和未来参考帧稳定逐块扩画；用配准分数筛候选，再由 Qwen3.5-VL-27B 推断缺失内容、选关键参考帧。作者还构建 6.2 万段训练视频和长视频扩画基准 LVO-Bench。 Figure 4: Illustration of key reference frame retrieval framework. Given query frames from current query chunk to be out-painted and candidate frames from both history chunk and future chunk, we aim to find the most suitable reference frames to out-paint current chunk. Specifically, we calculate the registration maps and scores for all query-candidate pairs, and then input them into a VLM, Qwen3.5-VL-27B [ 32 ] . The VLM is requested to understand the whole video, speculate the missing contents ( i.e. , contents to out-paint like the two women and the indoor background), analyze which candidate frames may contain such missing contents, finally select the most suitable reference frames. 实验效果：在 LVO-Bench 上，对照 VACE，结构相似度 SSIM 由 0.725 升至 0.749，峰值信噪比 PSNR 由 18.59 升至 19.87 dB，生成视频分布距离 FVD 由 225.5 降至 197.3（越低越好）。但以 Mast3R 检索处理 15 秒视频时，9B 版本由 VACE 的 13.5 分钟增至 16.5 分钟；27B 版本为 20.1 分钟。 Figure 5: Qualitative comparison. Our LongSCOP could achieve stable video out-painting results and maintain the semantic consistency over a long time horizon. The region circled by the yellow box indicates the original input region. Zoom in for better views. 批判点评：收益依赖长视频里确实有可借的参考帧；遮挡区域从未露出时，检索无法提供缺失外观。短片 DAVIS 上 LongSCOP 的 PSNR 20.04 dB 低于 Infinite-Canvas 的 20.80 dB，不能把长视频优势泛化为所有扩画。 2. SceneShifter：换场景却不换人 SceneShifter: Training-free Multi-Scene Temporal Control for Audio-driven Human Animation | 悉尼大学；南洋理工大学；威斯康星大学麦迪逊分校 | arXiv:2611.09960 关键词：音驱人物动画, 多场景控制, 前景一致性, 稀疏注意力 ⚠️ 前序问题：一张人物参考图配一段音频，想让背景按指定时间从街道切到车站，人物却常跟着变脸、变衣服，或背景根本不切。 方法直觉：把同一场景内部的背景联系保留，切断不同场景背景之间的注意力；让前景人物跨场景继续互相看见，并从能追踪主体运动的注意力头提取动态前景掩码。 本文贡献：SceneShifter 无需重训，在时空自注意力中抑制跨场景背景 token 互看，保留跨场景人物联系；动态前景定位和转场上下文窗口分别处理大动作与切换边界，并建立 SceneShifterBench 测试切场时间、人物保持和画质。 Figure 3 : Pipeline of the proposed SceneShifter framework. 实验效果：在 MultiTalk 主干的 SceneShifterBench 上，场景切换成功率由基础模型 38.7% 升至 99.3%，切换时点准确率由 17.5% 升至 98.1%；对照 DiTCtrl 的时点准确率为 96.6%，但其衣着保持只有 31.7%，SceneShifter 为 100.0%。14 人、每准则 140 次盲评中，人物一致性获得 65.7% 偏好票。 Figure 4 : Qualitative results generated by the base model, DiTCtrl, SwitchCraft, and our method using the MultiTalk backbone. 批判点评：方法无法让基础模型生成本来不会的大幅姿态动作；短于主干训练片长的场景，背景画质会下降。多主体互相遮挡时掩码可能合并，人物离开再进入后外观漂移。 3. OneReel：多镜头共用四帧记忆 OneReel: Efficient Multi-Scene Video Generation with Scene-Structured Attention | 伊利诺伊大学厄巴纳-香槟分校；得克萨斯大学奥斯汀分校；斯坦福大学 | arXiv:2611.10594 关键词：多场景视频生成, 场景结构注意力, 共享帧记忆, 推理加速 ⚠️ 前序问题：把多个分镜一起生成能让角色连续，却让所有镜头互相注意，成本随总长度快速增长；分镜各自生成又容易换人。 方法直觉：一个镜头保留内部完整注意力，只从其他镜头读少量代表帧。分镜提示和时长已给出边界，无须在去噪早期再猜哪里该跨镜头连接。 本文贡献：OneReel 用场景范围限定注意力，每步按潜帧聚类更新有界共享记忆；把本场景及共享 K/V（注意力键和值）打包成可高效执行的变长密集运算，并在多 GPU 上均衡分镜负载。固定共享帧数时，跨场景注意力成本随镜头数近似线性增长。 Figure 5: Scene-structured attention across model architectures. Rows denote queries and columns denote keys. Purple denotes scene-local interactions; orange denotes selected foreign video K/V from a shared memory. The example shows one head; text queries remain local. 实验效果：四种视频生成模型上的端到端加速相对密集注意力为 1.7–4.9 倍，相对已有稀疏方法为 1.2–2.2 倍。40 条多场景请求、HunyuanVideo-1.5 480p 下，CLIP 文本跟随分（自动图文匹配，越高越好）由密集方案 27.7% 升至 61.9%。默认四帧共享记忆相对不共享把 Text+ID（文本与人物身份联合分）由 17.0% 升至 24.3%，同时延迟增加 19%。 Figure 10: Minute-long generation with HunyuanVideo-1.5. OneReel captures the requested scene changes, while dense generation remains visually repetitive. 批判点评：收益以明确分镜提示和时长为前提；四帧共享是质量与延迟的折中，继续加至八帧只多 2.3 个百分点的 Text+ID，却再添 15% 延迟。跨场景一致性不能只凭文本跟随分推断，需看同一角色在镜头间是否稳定。 4. MPEG-Diffusion：三成全分辨率 token 生成视频 MPEG-Diffusion: Mixed-Resolution Video Generation | 得克萨斯大学奥斯汀分校；Roblox | arXiv:2611.12069 关键词：视频生成, 混合分辨率, 扩散 Transformer, 推理加速 ⚠️ 前序问题：视频扩散模型全画面高分辨率去噪昂贵；把主体裁为高清、背景低清，容易在交界处出现鬼影，还得事先知道主体在哪里。 方法直觉：让高清查询读高清键值、低清查询读低清键值，避免一个低清 token 强行代替多个高清 token；在解码前先把两种潜变量融合，让边界邻域一起解码。 本文贡献：MPEG-Diffusion 先以低分辨率跑前 k 步，再用冻结主干特征训练的线性头选高清区域；双分辨率注意力填补缺失键值，混合分辨率解码器合并潜变量。k 是开始分辨率分叉的去噪步，不是生成帧数。 Figure 2 : Overview of MPEG-Diffusion. The first k k of T T steps run at LR. At step k k , a linear head selects the HR region M M (part 2), and the remaining steps denoise M M at HR and the rest at LR. In dual-resolution attention (part 1), each query reads the K/V of its own resolution, with missing entries (dashed) filled from the other resolution by linear maps. The mixed-resolution decoder (part 3) merges the HR and LR latents into one HR video. Flames mark trained parts. 实验效果：Wan2.1 14B、720p、k=40 且总 token 预算相当于全高清的 30% 时，去噪阶段相对全高清加速 4.8 倍；同预算 Foveated Diffusion 为 5.2 倍，但 DOVER 自动质量分（越高越好）为 0.743，本文 0.794。k=25 的 38% token 设置下，本文为 3.3 倍、DOVER 0.803；750 次左右双视频投票中，对 Foveated Diffusion 的平局折半胜率为 90.1%。 Figure 8 : Qualitative comparison on faces (Wan2.1 14B, k = 25 k=25 , same seed). Prompt: a young man steps into a surprise party. Both baselines show clear artifacts where the HR and LR regions meet, with one eye sharp and the other ghosted (arrows). Ours shows no visible degradation and is close to HR (more examples in Appendix A ). 批判点评：4.8 倍指去噪时间，不是包含编码、解码的整条视频产线。质量未完全回到全高清：k=40 时 Wan2.1 14B 的 VBench 视频生成质量分为 83.9，高清基线 85.3；选高清区域的线性头也需要训练。 5. V2C-Edit：图像改动由 VLM 逐步导航 VLM as an Editing Pilot: VLM-Steered Velocity Control for Flow-Based Image Editing | 台湾大学；加州大学戴维斯分校；台湾清华大学；台湾中央研究院 | arXiv:2611.10066 关键词：图像编辑, 流匹配, VLM 引导, 无反演编辑 ⚠️ 前序问题：用 FlowEdit 改图时，源图约束过紧会出现零编辑：背景保住了，请求的变化却没有发生。固定的源图耦合时序无法适应不同改动。 方法直觉：每个去噪时间步备好不同强度的编辑速度，让视觉语言模型比较候选结果是否真正执行指令；指令已基本实现时，再用空间掩码保护无需改动的区域。 本文贡献：V2C-Edit 是免训练的流式编辑控制：构造四种源图耦合速度，用 ILS（Instruction-Level Similarity，指令级相似度）逐步选方向，采用两阶段自适应掩码；ILS 评估改动本身，而非只比目标文案与整图的 CLIP 相似度。 Figure 3 : Overview of the proposed V2C-Edit pipeline. (1) Coupling-Controlled Velocities: Construct four editing velocities with different coupling behaviors. (2) Instruction-Level VLM Steering: Select the optimal velocity at each timestep using ILS. (3) Two-Stage Adaptive Masking: Apply spatial masking when semantic alignment is sufficient and the masked update maintains ILS. The VLM query templates are provided in Appendix F . 实验效果：FLUX 上的 MagicBrush 数据集，对照 FlowEdit，GPT 指令对齐分 5.56→6.07，Gemini 分 4.76→5.36；未编辑区域的 PSNR（峰值信噪比，越高越接近源图）为 17.48→17.44 dB，略降。H100 80GB 上 50 张图平均每张 26.44 秒、峰值 53GB；基础 FlowEdit 为 4.00 秒、36GB。 Figure 4 : Qualitative comparisons of text-based image editing methods. Our method achieves the highest fidelity to the editing instruction while maintaining strong background consistency with the source image. 批判点评：更强的指令完成度换来约 6.6 倍单图耗时和 17GB 额外峰值显存，非实时编辑方案；PSNR 也显示背景保留并未同步改善。ILS 依赖 VLM 逐步评估，在不同编辑指令和 VLM 上的稳定性要另验。 6. PhysOPSD：物理代码教视频动起来 PhysOPSD: Code as Privilege for Physically Plausible Video Generation | 香港科技大学；阿里巴巴 Token Hub | arXiv:2611.12411 关键词：视频生成, 物理一致性, 自蒸馏, 可执行模拟 ⚠️ 前序问题：视频模型能画出逼真画面，仍会把摆锤、接触或流体运动画错。单靠文字很难给出可控制的物理过程，离线视频示例又把物理规律与外观混在一起。 方法直觉：用可执行模拟程序生成可调物理过程，作为训练期特权信息；对同一场景只改变一个物理参数，并保持生成噪声一致，让模型看到动态变化的原因。 本文贡献：PhysOPSD 用 PhysOPSD-Engine 把真实物理情境转成可验证模拟，构造密集与抽象两级物理草稿；在 on-policy self-distillation（模型用自己生成的样本接受教师纠正）中提供配对物理变体。代码是训练用物理条件，最终目标是生成视频。 Figure 3: Overview of our proposed PhysOPSD . 实验效果：用 3K 物理样本后，8.3B 主干在 PhyGround 的 Overall 从原 HunyuanVideo-1.5 的 66.3 升至 68.3；同规模 80K 样本 SFT 为 66.1，21K 样本 PhysHPO 为 67.0。VideoPhy-2 的 All 指标为 67.0，对照 PhysHPO 为 66.0。这里 K 表示千条训练实例。 Figure 5: Qualitative results of PhysOPSD . More results are shown in Figures 14 , 15 , 16 and 17 . 批判点评：改善仍依赖模拟程序覆盖目标物理现象，镜头外观与真实互动的泛化要单独测。表中 3K 只表示训练实例数；建立可执行模拟程序的成本、推理耗时与真实世界失败率仍需另验。 7. ReelCache：续写视频压住历史缓存 ReelCache: An Efficient KV Cache Compression and Management System for Multi-Round Video Generation | 匹兹堡大学；Google | arXiv:2611.09973 关键词：视频续写, KV 缓存压缩, 分块生成, 推理系统 ⚠️ 前序问题：逐块续写视频要保存旧块的注意力 K/V 缓存；用户回退、分叉时保留所有版本耗显存，删掉后重算又拖慢下一块。 方法直觉：同一块的缓存既有通道冗余，也有时空相关性；相邻块还共享部分基向量。先低秩分解，再像编码视频那样压系数，并把分叉历史组织成树。 本文贡献：ReelCache 在每层预测满足保留能量目标的秩，再压缩注意力缓存；跨块共享低秩基，树形管理恢复、回退和分叉。KV 是注意力的键和值，压缩的是生成过程的历史状态，不是最终视频文件。 Figure 9: Overview of ReelCache . 实验效果：五种视频模型上，对照文中缓存基线，KV 存储缩小 14.46–21.13 倍，下一块生成加快 1.25–3.36 倍，六项代表性 VBench 视频生成指标下降小于 1%。CausVid 上额外压缩开销约 0.2%，解压开销 3.2%；RAVEN 分别 0.8% 和 4.2%。 Figure 15: P50 and P90 next-chunk latency of ReelCache compared to baselines across models and workloads. 批判点评：这项收益集中在长历史、多轮恢复和分叉；短片一次生成时，树形缓存管理的收益较小。VBench 的六项平均跌幅低于 1% 不代表每条视频完全无可见变化，仍需对关键主体做逐帧检查。 8. STEER：音频编辑先找对声源 Steer Unified Audio Editing Toward Reliable Source Selection | 中国人民大学；腾讯；香港大学；香港中文大学 | arXiv:2611.10630 关键词：音频编辑, 声源选择, 去噪轨迹, 后训练 ⚠️ 前序问题：混合音里说“只删掉狗叫”，统一音频编辑器可能误删说话声，或把所有声音一起变了。错误声源往往在早期去噪就选定，后续难纠正。 方法直觉：训练时多看决定声源的早期状态；再让模型从自身跑偏的中间状态继续去噪，学会把选错的声源拉回来。 本文贡献：STEER（Source-selection Training via Early-trajectory Emphasis and Recovery）分两阶段后训练：Emphasis 强化早期关键状态，Recovery 用自生成轨迹学习纠错；得到 SteerSound，并建立同时检查目标改到位和非目标保留的 Selective Audio Editing Benchmark。 Figure 1: Strengthening selective audio editing with STEER. Left: Existing editors may leave the target unchanged or modify non-target content. Middle: Early states shape final source selection, while later denoising tends to follow the established editing direction rather than revise it. Right: STEER addresses these failures through early-trajectory emphasis (Emphasis) and recovery training (Recovery), yielding SteerSound with more reliable selective editing. 实验效果：在自建选择性音频编辑基准上，原始基础编辑器的整体成功率 70.42%、选择性错误率 28.48%；两阶段后为 85.78% 和 8.45%。但在复杂音频编辑测试集，SteerSound 的生成 CLAP 音文匹配分（越高越好）从基础模型 0.223 略降到 0.220，KL 分布距离（越低越好）由 1.915 升到 2.133；选择性提升不等于所有生成指标齐升。 Figure 3 : Bidirectional early-trajectory interventions on source selection. Corrective (top) and corruptive (bottom) prefix interventions are evaluated on 100 validation examples per task. Bars show per-step corrective or corruptive counts, while curves show the corresponding cumulative effects. For each task, k 80 k_{80} denotes the shortest intervention prefix length at which the cumulative effect reaches 80%. Removal consistently exhibits a shorter k 80 k_{80} than replacement. 批判点评：结果依赖作者构造的编辑任务与基准；不同声源重叠、指令模糊时仍需人工听感。两阶段后训练有额外数据和训练成本，论文摘要未给可直接推广的推理加速结论。 9. FADE：分数阶预测少算视频去噪 FADE: Fractional Anomalous Dynamics Extrapolation for Training-Free Diffusion Transformers Acceleration | 四川大学 | arXiv:2611.10514 关键词：扩散加速, 视频生成, 特征缓存, 分数阶动力学 ⚠️ 前序问题：扩散 Transformer 的中间特征随去噪步非线性变化，简单缓存或线性外推在弯曲轨迹处会积累误差，导致生成细节和运动失真。 方法直觉：先离线测不同层、步和位置适合的分数阶变化率，推理时按查找表选阶数，在完整计算步之间预测特征；分数阶算子允许比整数阶外推更灵活地贴近弯曲轨迹。 本文贡献：FADE（Fractional Anomalous Dynamics Extrapolation）离线建立多维阶数 LUT（查找表），在线交替执行完整计算与 Mittag–Leffler 分数阶特征预测；无需重新训练生成主干。 Figure 2 : Overall framework of FADE. FADE consists of an offline profiling stage and an online inference stage. The offline stage calibrates and stores the optimal fractional orders in a static LUT, while the online stage alternates between full-compute and prediction steps using LUT-retrieved orders for feature forecasting. The upper-right panel illustrates the geometric contrast between the FADE trajectory and the integer-order trajectory in the latent space. 实验效果：HunyuanVideo 文生视频、原始 50 步设置，完整推理为 190.2 秒、VBench 视频生成分 80.68%；同为 5359T FLOPs（T 为万亿次浮点运算估计）预算下，FADE 为 37.9 秒、80.12%，HiCache 为 37.8 秒、79.93%。表中 5.56 倍是 FLOPs 口径，按实际秒数约 5.0 倍。 Figure 5 : Qualitative comparison on text-to-video generation. 批判点评：离线 profile 与查找表构建有前置成本，跨模型或分辨率可能需重做；输出 VBench 仍比完整 50 步低 0.56 分，且表中同预算延迟几乎与 HiCache 持平，优势主要是质量。 10. SoftPAT3D：让布料玩具稳稳落座 SoftPAT3D: Physics-Augmented Text-to-3D Scene Generation with Deformables | 斯坦福大学 | arXiv:2611.11087 关键词：文本到3D, 可变形物体, 物理仿真, 场景生成 ⚠️ 前序问题：文本生成的三维房间里，布料可能穿过椅面、玩具悬空；把软物体当刚体摆放，无法给后续仿真一个有效的静止初态。 方法直觉：先为布料、绳索等构造制造过程对应的自然形状和材料，再让它们与家具一起在统一接触求解器里落到平衡；失败时优化摆放位置。 本文贡献：SoftPAT3D 在文本到三维场景流程中，补全遮住的承托表面并建碰撞网格，为软体指定 rest shape（无外力自然形状）和材料，统一仿真接触、检查几何与提示符合度，再用可微仿真调整初始摆放。 Figure 2 : Overview of SoftPAT3D. Each card shows the state of one prompt at that point of the pipeline, and its label names the step that produced it. (a) The prompt is expanded into a reference image, segmented and lifted as in PAT3D, and the support hidden under each deformable object is inpainted, regenerated and converted into a collision mesh (Sec. 3.4 ). (b) Each deformable object receives a rest shape from its manufacturing process under a size prior (Sec. 3.2 ), a material from the material library and a placement above the part the prompt names (Sec. 3.4 ). (c) One simulation brings the scene to equilibrium under a single contact barrier (Sec. 3.3 ), and the result passes the geometric checks and the prompt check (Sec. 3.5 ); a scene that fails enters placement optimization (Sec. 3.6 ). 实验效果：主实验表的 34 个场景里，SoftPAT3D 生成 43 个软体，接触穿越为每千条边 0、穿透 0 mm，完成 21 个场景；对照刚体流程完成 2/32。共同的 13 个可渲染场景上，GPT-5.4 物理合理性评分从刚体流程 43 升至 90（0–100），CLIP 图文匹配分由 23.9 升至 28.2。 Figure 5 : Vertical sections, cloth in red, furniture in grey, cloth inside the furniture in dark red, and a dashed line where the cloth floats above its support. Top: GPT-6 Astra; the blanket and the towel hang above their seats, the quilt runs through the mattress, the pillow sits inside the backrest, and the skirt ripples in mid-air. Bottom: ours; the cloth rests on the support, wraps its edges and hangs from them. 批判点评：这些几何与评分结果依赖作者的场景集、碰撞建模和求解预算；34 个场景仍有 13 个未达到完整通过。模型处理的是静态平衡，不能直接推断复杂布料动态也正确。 趋势观察 长视频更需要选对历史 LongSCOP 检索前后帧补画缺失区域；OneReel 跨镜头只分享代表帧；ReelCache 压缩并恢复分叉历史。三者操作对象不同，分别是像素参考、注意力范围和缓存状态。 速度收益要看时间口径 MPEG-Diffusion 的 4.8 倍是去噪阶段；OneReel 报端到端 1.7–4.9 倍；FADE 表中 5.56 倍是 FLOPs，实际秒数约五倍。不同指标不可横比。 控制精度有代价 V2C-Edit 提高指令对齐却使单图耗时从 4.00 增至 26.44 秒；LongSCOP 的 VLM 参考帧检索也将 15 秒片处理从 13.5 增至 16.5 分钟。 今日讨论 LongSCOP 在 LVO-Bench 把 FVD 从 VACE 的 225.5 降到 197.3，却使 15 秒视频处理由 13.5 分钟增至 16.5 分钟。如何验证参考帧检索在遮挡区域从未露出的长视频上是否仍有收益，并用同一组输入比较扩画稳定性与时间成本？ 人工智能炼丹君 整理 | 2026-11-11 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-11-11|悉尼大学让人物跨场景不丢-SceneShifter 今日 AIGC 论文速览 今日共 10 篇 · 视频场景控制与素材编排 2 篇 · 图像编辑与协同生成 2 篇 · 视频生成及缓存 3 篇 · 音频编辑 1 篇 · 工业缺陷图像与三维场景生成 2 篇 重点论文标题列表 SceneShifter（悉尼大学）：说换场景就换且人物不丢 Clips2Story（纽约大学）：散片按关键词剪成故事 ⚡ V2C-Edit（台湾大学）：每一步都判断有没有改到位 MPEG-Diffusion（得州大学奥斯汀分校）：只把主角用高清算 PhysOPSD（港科大）：让可运行物理规则教视频 选读入口：想让人物视频按时换背景，先读 SceneShifter；素材库需要自动剪成主题故事，看 Clips2Story。要改一张图却常“没改到”，看 V2C-Edit；要给长视频降算力或支持回退分叉，分别看 MPEG-Diffusion 与 ReelCache。关心物理运动、选错音频声源、图像与掩码协同、工业缺陷造数、布料三维接触，则依次读 PhysOPSD、STEER、SnB、REDiff-AD、SoftPAT3D。 今日论文速览 1. SceneShifter：说换场景就换且人物不丢 SceneShifter: Training-free Multi-Scene Temporal Control for Audio-driven Human Animation | 悉尼大学；南洋理工大学；威斯康星大学麦迪逊分校 | arXiv:2611.09960 关键词：视频生成, 多场景控制, 音频驱动动画, 注意力 ⚠️ 前序问题：一段音频驱动的人物视频要在指定帧从露台切到地铁。普通生成容易晚换背景，也可能在换景时把人脸或衣服一起改掉。 方法直觉：把背景和人物在时空注意力中分开：跨场景的背景不要互相引用，人物则仍可借前后场景维持身份。人物移动时，固定区域掩码会失效，需要随动作追踪。 本文贡献：SceneShifter 无需再训练生成主干。它在跨场景背景 token 间抑制自注意力，保留前景 token 的跨场景联系；从能追踪主体轨迹的注意力层和头提取动态前景掩码，再按提示时间切换场景。作者另建 SceneShifterBench，测场景切换时点、人物保留及视觉质量。 Figure 3 : Pipeline of the proposed SceneShifter framework. 实验效果：SceneShifterBench 的 MultiTalk 主干上，场景切换成功率从原模型的 38.7% 到 99.3%；场景时间准确率从 17.5% 到 98.1%。同表中 DiTCtrl 的成功率为 98.7%，但人物空间分为 0.847，对本法 0.943。数据是指定多场景提示下的生成对照；原文没有统一的端到端延迟数字，额外的掩码提取也需计入实际部署。 Figure 4 : Qualitative results generated by the base model, DiTCtrl, SwitchCraft, and our method using the MultiTalk backbone. 批判点评：这是音频驱动的人物视频生成控制，不是把一段现成视频任意换景。大幅动作或人暂时消失后重入仍可能失去身份；附录给出该失败例。主干本身不会的动作，注意力控制也不能补出来。 2. Clips2Story：散片按关键词剪成故事 Clips2Story: Training-Free Video Storyboarding and Editing Using Multimodal Retrieval-Embedded Generation | 纽约大学；华盛顿大学；密歇根大学 | arXiv:2611.05992 关键词：视频编辑, 素材编排, 故事板, 多模态检索 ⚠️ 前序问题：素材库里只有打乱顺序的零散片段，编辑者想按“毕业”之类关键词拼成短片；按原片时间轴摘要会把无关镜头和旧叙事一并带入。 方法直觉：先找与主题相关的镜头，再让语言模型安排叙事顺序和衔接旁白，最后组装输出；素材选择与叙事组织是两个不同步骤。 本文贡献：Clips2Story-ND 为片段提取视觉与语音文字描述，检索候选，再把描述交给 LLM 生成可改的故事板和过渡旁白；系统拼接已选镜头，并检索旁白所需画面。作者从五类共 100 部长视频切片、打乱时间顺序，分别测试片段级和场景级素材池。 Figure 1: Overview of the proposed Clips2Story-ND pipeline. Given a pool of raw video footage and a user-specified keyword, we first extract textual descriptors from the video clips and retrieve those most relevant to the keyword. We then use an LLM to generate an editable storyboard with connective narration. Finally, we compose the output video by assembling the selected clips and retrieving accompanying visuals for the narration. 实验效果：15 人用五分量表评价三类视频各六段短片；Clips2Story-ND 相对 REGen 的叙事连贯性为 4.43±0.14 对 3.17±0.11，关键词对齐为 4.42±0.13 对 3.11±0.16。它依赖逐片描述、检索和 LLM 规划，原文未给可与扩散生成时延直接比较的统一耗时。 Figure 5: Genre-wise comparison of CLIPScore, VTGHLS, OPC, KR-Narration, KR-Frame, and KR-Caption under the scene-level setting. Error bars indicate 95% confidence intervals. Specific numbers can be found in Table 6 . 批判点评：这项工作主要是检索、剪辑和生成旁白，不合成全新视频镜头。100 部原片切碎再打乱是可控测试，开放素材库的版权、镜头语义偏差与叙事可编辑性仍需单测。 3. V2C-Edit：每一步都判断有没有改到位 VLM as an Editing Pilot: VLM-Steered Velocity Control for Flow-Based Image Editing | 台湾大学；加州大学戴维斯分校；台湾清华大学；中央研究院 | arXiv:2611.10066 关键词：图像编辑, 流匹配, VLM 反馈, 区域保持 ⚠️ 前序问题：让图里钟面的数字换语言，同时保住背景。FlowEdit 的源图耦合太强时会出现 zero-edit：输出几乎和原图一样，目标变化没有发生。 方法直觉：不要把“贴近原图”的力度固定到所有去噪步；每一步比较几种编辑速度，并请视觉语言模型按指令判断哪种更像完成了编辑。 本文贡献：V2C-Edit 在不训练生成主干的条件下构造四种源图耦合程度的速度场。ILS（Instruction-Level Similarity，指令级相似度）比较预估改动与用户指令，选择该步速度；当语义改动足够且局部掩码不损伤 ILS 时，再限制无关区域的更新。实验用 FLUX 与 Stable Diffusion 3。 Figure 3 : Overview of the proposed V2C-Edit pipeline. (1) Coupling-Controlled Velocities: Construct four editing velocities with different coupling behaviors. (2) Instruction-Level VLM Steering: Select the optimal velocity at each timestep using ILS. (3) Two-Stage Adaptive Masking: Apply spatial masking when semantic alignment is sufficient and the masked update maintains ILS. The VLM query templates are provided in Appendix F . 实验效果：MagicBrush 的 FLUX 设置下，相对 FlowEdit，GPT-4.1 代评的指令对齐分（0–10，越高越按指令改）由 5.56 到 6.07，未编辑区域的 PSNR（像素保真度，越高越接近源图）为 17.48 对 17.44 dB；PIE-Bench 对应指令分 5.32 到 5.85、PSNR 21.82 到 21.84 dB。逐步 VLM 评估增加推理调用，论文未给统一端到端秒数。 Figure 4 : Qualitative comparisons of text-based image editing methods. Our method achieves the highest fidelity to the editing instruction while maintaining strong background consistency with the source image. 批判点评：同表在 Stable Diffusion 3 上，部分 CLIP 分和背景保真并非全胜；依赖 VLM 判断的指令质量也会影响速度选择。 4. MPEG-Diffusion：只把主角用高清算 MPEG-Diffusion: Mixed-Resolution Video Generation | 得克萨斯大学奥斯汀分校；Roblox | arXiv:2611.12069 关键词：视频生成, 混合分辨率, 扩散加速, 自选主体 ⚠️ 前序问题：视频扩散全画面用高清 token 去噪很贵；直接让背景低清，清晰区与模糊区的边界又容易出现重影，还常需要人预先圈主角。 方法直觉：让同一分辨率的查询读同分辨率的键和值，再在解码前融合两套潜变量；主角区域交给模型的早期特征来选。 本文贡献：MPEG-Diffusion 先在低分辨率运行前 k 个去噪步，随后线性头从冻结 DiT 特征预测高清区域；双分辨率注意力用线性映射补齐缺少的键值，混合分辨率解码器先融合高低清潜变量，再生成整帧。线性映射、区域头与解码器需训练，不能当作纯免训练加速。 Figure 2 : Overview of MPEG-Diffusion. The first k k of T T steps run at LR. At step k k , a linear head selects the HR region M M (part 2), and the remaining steps denoise M M at HR and the rest at LR. In dual-resolution attention (part 1), each query reads the K/V of its own resolution, with missing entries (dashed) filled from the other resolution by linear maps. The mixed-resolution decoder (part 3) merges the HR and LR latents into one HR video. Flames mark trained parts. 实验效果：仅处理约 30% 全分辨率 token 时，Wan2.1 14B 的去噪加速 4.8 倍，1.3B 为 3.8 倍，均相对全高清去噪；用户两两比较对既有混合分辨率方法的偏好超过 90%。14B 表中 VBench 质量分 82.9，对全高清 85.3；组件另有约 3% 运行开销的 1.3B 分解统计。加速数字不等于整条出片链路的同倍加速。 Figure 8 : Qualitative comparison on faces (Wan2.1 14B, k = 25 k=25 , same seed). Prompt: a young man steps into a surprise party. Both baselines show clear artifacts where the HR and LR regions meet, with one eye sharp and the other ghosted (arrows). Ours shows no visible degradation and is close to HR (more examples in Appendix A ). 批判点评：高清区域外仍以低分辨率生成，背景细节有明确预算代价；主角区域选择也依赖早期特征和训练标注。若目标是全景细节，需与全高清结果逐帧比较，而不能只看主角。 5. PhysOPSD：让可运行物理规则教视频 PhysOPSD: Code as Privilege for Physically Plausible Video Generation | 香港科技大学；阿里巴巴集团 | arXiv:2611.12411 关键词：视频生成, 物理一致性, 在策略蒸馏, 可执行模拟 ⚠️ 前序问题：球碰撞、摆动和液体运动的视频看起来像真的，却常违反物理规律。离线监督训练跟不上模型自己生成的错误状态，物理奖励又稀疏。 方法直觉：把可执行模拟当作教师可见的额外条件：相同噪声下只改物理参数，学生就能看见运动因果变化，而不仅是另一段外观不同的参考视频。 本文贡献：PhysOPSD-Engine 将物理场景写成可验证的模拟程序，形成密集与抽象两级草稿。PhysOPSD 用 OPSD（在策略自蒸馏：在学生自身生成轨迹上获得密集教师纠正）训练视频模型；共享 rollout 噪声配对不同物理参数，使教师的纠正聚焦动力学变化。代码是训练期特权条件，目标仍是视频生成。 Figure 3: Overview of our proposed PhysOPSD . 实验效果：使用 3000 条后训练样本时，13B 主干在 PhyGround 总体物理分为 66.5，对 8 万条样本的 SFT 为 64.8、2.1 万条的 PhysHPO 为 65.8；同表 VBench 总质量 84.0 对 SFT 83.9。数字限于该评测与主干，训练还需编写、运行模拟并完成在策略采样，不能只按 3K 比较总成本。 Figure 5: Qualitative results of PhysOPSD . More results are shown in Figures 14 , 15 , 16 and 17 . 批判点评：模拟可参数化的摆、碰撞等场景是优势，也限制了覆盖面；难建模的开放世界动作未获同等保证。论文自身将模拟可落地动力学列为适用边界。 6. ReelCache：续写分叉少存历史缓存 ReelCache: An Efficient KV Cache Compression and Management System for Multi-Round Video Generation | 匹兹堡大学；Google | arXiv:2611.09973 关键词：长视频生成, KV 缓存, 分支续写, 低秩压缩 ⚠️ 前序问题：长视频按块生成并允许回退或分叉时，历史注意力 KV（键和值）缓存越存越大；丢掉旧缓存又要重算，下一块等待更久。 方法直觉：相邻块的通道基方向相似，保留少量方向和编码后的系数；编辑分支只复制必要的历史状态，让共同前缀复用。 本文贡献：ReelCache 在块内对 KV 做跨通道低秩分解，再视频编码系数；每层在线预测达到指定保留能量所需的秩。块间管理器复用、增补或重拟合基方向，把块状态组织为树，使 resume、rewind、fork 共用前缀。该方法处理缓存与下一块推理，不重新训练视频生成模型。 Figure 9: Overview of ReelCache . 实验效果：论文在五种视频生成模型的多轮长视频工作负载上，相对基线将 KV 存储降低 14.46–21.13 倍，下一块生成提速 1.25–3.36 倍；六个代表性 VBench 指标下降均小于 1%。这些是缓存场景的下一块延迟，不等于首段生成提速；压缩和解压也有额外计算，表中 CausVid 的解压令下一块生成慢约 3.2%。 Figure 15: P50 and P90 next-chunk latency of ReelCache compared to baselines across models and workloads. 批判点评：收益取决于历史长度、分叉次数与缓存驻留策略。原文 HTML 标题区有模板警告，但 arXiv 论文题名与摘要可核；不能据模板文字推断会议接收。 7. STEER：改声音时先选对声源 Steer Unified Audio Editing Toward Reliable Source Selection | 中国人民大学；腾讯；香港大学；香港中文大学 | arXiv:2611.10630 关键词：音频编辑, 声源选择, 早期去噪, 在轨恢复 ⚠️ 前序问题：一句“只移除左边说话者”交给统一音频编辑器，模型可能把另一人删掉；早期去噪一旦选错，后面往往救不回来。 方法直觉：编辑目标是在去噪轨迹开头定下来的，因此训练应多看早期关键状态；再让模型从自己生成的偏离状态学会纠错。 本文贡献：STEER 是 Source-selection Training via Early-trajectory Emphasis and Recovery：第一阶段强调早期轨迹上的声源选择，第二阶段用模型自己生成的 rollout 状态训练恢复。作者训练基础多任务编辑器并得到 SteerSound，还建 Selective Audio Editing Benchmark，分别衡量目标声源改到位与非目标保留。 Figure 6 : Architecture of our base editor. 实验效果：在作者基础编辑器的选择性编辑基准上，整体任务成功率从 70.42% 到完整 STEER 的 85.78%，选错声源比例从 28.48% 降至 8.45%；只做早期强调则为 84.02% 和 9.99%。这是额外后训练所得，不是免训练插件；作者还在 UNISON 与 SAM Audio 上报告迁移效果。 Figure 3 : Bidirectional early-trajectory interventions on source selection. Corrective (top) and corruptive (bottom) prefix interventions are evaluated on 100 validation examples per task. Bars show per-step corrective or corruptive counts, while curves show the corresponding cumulative effects. For each task, k 80 k_{80} denotes the shortest intervention prefix length at which the cumulative effect reaches 80%. Removal consistently exhibits a shorter k 80 k_{80} than replacement. 批判点评：选择性测试依赖作者构造的任务和自动评判规则，复杂重叠声源与极短目标音仍需试听验证。额外训练两阶段和自生成轨迹会增加训练成本，原文没有统一的单条推理时延对照。 8. SnB：两套生成器半路接上 Split and Bridge: Multimodal Generation via Diffusion Bridging | 佛蒙特大学；脑科学与智能技术卓越创新中心 | arXiv:2611.10441 关键词：多模态生成, 图像编辑, 扩散桥接, 图像与掩码 ⚠️ 前序问题：要同时生成图像和对应分割掩码，常见做法是重新训练一个共同潜空间；现有高质量单模态生成器难直接复用。 方法直觉：先让两条反向扩散轨迹共享一段路，再在分叉点用桥接模块把它们连起来；共享程度控制结构一致性与各自画质的取舍。 本文贡献：Split and Bridge（SnB）在采样时耦合预训练单模态扩散模型；从共同先验出发，t_split 处经 bridge 修改条件、模型或中间层，再走各自的去噪轨迹。可学习 bridge 增强跨模态映射，不需从头联合训练整套生成器。论文测图像与语义掩码配对，也展示图像编辑和交错协同生成。 Figure 1: SnB leverages pretrained diffusion models by coupling reverse trajectories during sampling. We start from a common state sampled from a prior, then at t s ​ p ​ l ​ i ​ t t_{split} , a bridge module is used to implement a score intervention on the reverse process. This intervention can be through modifying conditioning signals (e.g., prompts), changing diffusion models that estimate the score functions, or changing certain layers in the diffusion models. This flexibility applies SnB in various tasks, like interleaved co-generation (top left pair) and multimodal generation (top right pair). Learnable bridges allows stronger trajectory manipulation in mapping one modality to another. 实验效果：CelebAMask-HQ 的图像—掩码联合生成表中，t_split=50% 时 SnB 一致性 0.73、FID 60.84；MLD 对照为 0.68、121.69。FID 是生成图像与参考分布的距离，越低越好；分叉点改到 80% 时一致性升至 0.79，条件生成 FID 却恶化，说明不能只追一致性。bridge 需训练，额外模型和同步采样也有成本。 Figure 3: Qualitative comparison of SnB and previous top-down multimodal approaches on CelebAMask-HQ. SnB balances between coherence and quality of generated modality pairs. 批判点评：图像和掩码等可对齐模态更适合这套桥接；跨模态关联弱时共享噪声未必足够。论文所报是特定数据集与分叉比例，不代表任意两个预训练模型都能直接拼接。 9. REDiff-AD：借一张缺陷图造新缺陷 REDiff-AD: No Training and No Target Masks for Industrial Anomaly Image Generation via Diversity-Driven In-Context MMDiT | 台湾大学 | arXiv:2611.10875 关键词：缺陷图像生成, 少样本条件, 伪掩码, 整流流 ⚠️ 前序问题：工厂缺陷样本少，且换一种产品就重训生成器或画目标掩码很费事。目标是产生更多有变化的缺陷图及可用伪掩码。 方法直觉：把一张有掩码的参考缺陷和正常目标图放进同一个生成上下文，模型学到缺陷外观后迁移到目标；生成时的注意力还能反推缺陷出现在哪。 本文贡献：REDiff-AD 用冻结的整流流 MMDiT（多模态扩散 Transformer）做上下文缺陷迁移，不要求目标掩码。语义定位先给目标可编辑区域；AAM 加强弱缺陷参考，DOK 减少照搬参考形状；聚合目标到参考的注意力，再结合边缘和颜色得到像素级伪掩码。输入仍需一张带掩码的参考异常图。 Figure 3 : Overview of the proposed REDiff-AD model. Semantic localization first determines a loose editable region on the target. A frozen in-context MMDiT transfers the masked reference, with AAM strengthening weak anomalies and DOK reducing reference-shape copying. Aggregated target-to-reference attention is then refined into the output pseudo-mask. 实验效果：MVTec-AD 表中各类平均 KID（核 Inception 距离，越低表示生成分布越接近参考）为 31.09，对 O2MAG 的 47.63。RTX 5090 上，30 步设置每图耗时 16 秒、显存 9 GB，对 O2MAG 的 20 秒、16 GB；但合成图训练的平均异常分类准确率为 70.77%，低于 O2MAG 的 73.51%，生成指标优势不能直接当成判别收益。 Figure 4 : Qualitative illustration of the effects of DOK and AAM. DOK diversifies the geometry of the defect, while AAM improves the robustness of in-context defect generation. 批判点评：需要带掩码的参考缺陷，不能称为完全无标注。工业异常边界和实际缺陷多样性不同，伪掩码噪声可能影响下游定位；跨产品泛化要用新产品验证。 10. SoftPAT3D：布料玩偶生成后不穿模 SoftPAT3D: Physics-Augmented Text-to-3D Scene Generation with Deformables | 斯坦福大学 | arXiv:2611.11087 关键词：文本生成3D, 可变形物体, 物理仿真, 场景编辑 ⚠️ 前序问题：文本生成的沙发和毯子看似搭在一起，三维网格里却可能相互穿透或漂浮；没有材料、自然形状和接触初态，也无法直接进仿真。 方法直觉：按布料或玩偶的制造方式恢复自然形状，补出被遮挡的支撑家具，再把整场景放进同一接触仿真里落到稳定状态。 本文贡献：SoftPAT3D 沿用文本到图像再到三维资产的前段流程，为可变形物体构造静止形状、材料参数和初始放置；重建支撑物的碰撞网格后统一求静态平衡。几何和视觉语言检查失败的场景可通过放置网格搜索与可微仿真梯度优化。生成结果可继续做物体移动、拉扯等三维编辑。 Figure 2 : Overview of SoftPAT3D. Each card shows the state of one prompt at that point of the pipeline, and its label names the step that produced it. (a) The prompt is expanded into a reference image, segmented and lifted as in PAT3D, and the support hidden under each deformable object is inpainted, regenerated and converted into a collision mesh (Sec. 3.4 ). (b) Each deformable object receives a rest shape from its manufacturing process under a size prior (Sec. 3.2 ), a material from the material library and a placement above the part the prompt names (Sec. 3.4 ). (c) One simulation brings the scene to equilibrium under a single contact barrier (Sec. 3.3 ), and the result passes the geometric checks and the prompt check (Sec. 3.5 ); a scene that fails enters placement optimization (Sec. 3.6 ). 实验效果：作者的 65 条提示上，本法结果均无不期望的物体互穿，而所比较系统各有互穿；这是论文的几何检查口径。代价是额外的资产补全、碰撞网格、材料赋值、仿真与可能的优化，原文没有与纯生成器统一计时的端到端速度对照。 Figure 5 : Vertical sections, cloth in red, furniture in grey, cloth inside the furniture in dark red, and a dashed line where the cloth floats above its support. Top: GPT-6 Astra; the blanket and the towel hang above their seats, the quilt runs through the mattress, the pillow sits inside the backrest, and the skirt ripples in mid-air. Bottom: ours; the cloth rests on the support, wraps its edges and hangs from them. 批判点评：仿真稳定与画面完全符合提示仍是两回事：论文展示了物体最终聚成一团等失败例。场景质量依赖碰撞网格和材料库，复杂软体或未知材质需另验。 趋势观察 把编辑作用点放到过程里 SceneShifter 改时空注意力里的背景连接，V2C-Edit 每步按指令选速度；STEER 则把声源选择放在去噪早段训练。 生成预算从平均分配转向按需分配 MPEG-Diffusion 只让关键区域保持高清；ReelCache 压缩并共享历史块 KV，二者分别针对空间 token 和长视频历史。 可执行结构给生成增加约束 PhysOPSD 用可编辑物理模拟作训练条件，SoftPAT3D 在三维场景完成后再用接触仿真消除互穿。 综合指标不能盖过任务失败 REDiff-AD 的生成 KID 较优，但平均下游分类准确率低于 O2MAG；Clips2Story 的叙事分须放回打乱素材的实验设定。 今日讨论 SceneShifter 在 MultiTalk 上将换景成功率从 38.7% 提到 99.3%，但附录也出现人物消失再入镜后身份改变的失败例。若连续换五个场景并有人物出入画，哪些指标能验证动态前景掩码是否同时保住切换帧精度、重入身份和推理时延？ 人工智能炼丹君 整理 | 2026-11-11 更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」 每日更新 · 论文精选 · 深度解读 · 技术脉络 微信搜索 人工智能炼丹君 或扫描下方二维码关注

AIGC 每日速读|2026-11-10|巴黎萨克雷免反演流式改片AR-Edit 今日 AIGC 论文速览 今日共 10 篇 · 流式视频编辑与视频生成 4 篇 · 图像编辑、生成与评测 3 篇 · 音效与音乐编辑 2 篇 · 视频生成加速 1 篇 重点论文标题列表 AR-Edit（巴黎萨克雷）：边播边改且保住原片 StitchEdit（港科大）：换视角也留住空间关系 UniRGBA（字节）：烟雾泡泡直接带透明通道 TraF（华为）：续长视频时记住去噪过程 Video-Coder（中佛罗里达大学）：让三维草稿指导成片 选读入口：直播输入还在到来，先看 AR-Edit 怎样保住未改部分，核对首帧延迟和稳态帧率。手里只有静态图又要改遮挡或视角，转到 StitchEdit。做烟雾叠层看 UniRGBA，做 30 秒续写看 TraF。要在成片前约束碰撞和轨迹，读 Video-Coder。改一段音效选 FoleyForge，改多轨音乐选 ProCraft。关心图文细节、视频注意力预算和否定词失效，分别读 UniMore、InstaGen 和 T2I-NSI。 今日论文速览 1. AR-Edit：边播边改且保住原片 AR-Edit: Training-Free Autoregressive Video Editing without Inversion | 巴黎萨克雷大学、巴黎综合理工、Télécom Paris、法国国家科学研究中心 | arXiv:2611.09795 关键词：视频编辑, 流式推理, 注意力注入, 少步扩散 前序问题：直播画面里想把外套换色，下一段视频还没到，背景和人脸却得尽可能保持原样。离线反演会先用模型把原视频还原成可重新生成的噪声，再改着生成。它需要看完整片段，也增加每段开销。 方法直觉：把注意力想成两步：查询 Q 和键 K 决定往哪里找，值 V 是读出来的内容。作者在少步视频模型里发现，高噪声阶段的 Q、K 跨时间步较稳定，V 随内容改变。于是每段原片只抽一次 V，改后的文字仍然掌握信息流向。 本文贡献：AR-Edit 在干净端对当前源视频块前向计算一次，缓存深层自注意力的 V。输出从高斯噪声起步，用目标提示去噪。默认在 Reward Forcing 的前两步替换指定深层的全部 V，随后从源、目标提示的差异词提取交叉注意力软掩码，只在编辑区外继续借用源 V。每段结束刷新历史缓存，下段只读已经到来的帧。这条路线依赖 DMD（分布匹配蒸馏，把教师输出分布迁给少步学生）训练好的因果主干。 视频编辑路线对比｜左侧先将源视频反演为噪声，再按目标提示去噪。中间直接把源视频传输成编辑结果。两条离线路径都需多次运行双向主干。右侧 AR-Edit 在自回归主干中按到达顺序处理，单次提取源 V，在目标提示引导的纯噪声去噪过程中注入。 实验效果：作者用 120 条 Pexels 片段，覆盖 10 类编辑。单张 H100 上，同用 Self Forcing 的四步设置，AR-Edit 相对 StreamEdit 由 6.12 升至 10.25 帧/秒，首帧延迟由 1.38 降到 0.85 秒，已分配显存峰值由 41.3 降至 31.8 GB。每块前向次数 NFE 从 10 到 6，6 次包括四次去噪、一次源 V 提取和一次刷新。Reward Forcing 上相对 DynaEdit 的保留分 7.17→7.28、文本分 5.96→6.11。保留与文本由 Qwen2.5-VL 按 1–10 评分。高光强度直方图相似度 TF 从 0.39 到 0.47。 编辑质量与成本｜按主干分块，粗体最佳、下划线次佳。TF 衡量源强度分布的保持程度，越高越少过曝类瑕疵。峰值显存同时列出实际分配量与框架预留量。 批判点评：四步 Self Forcing 对照的文本遵循分仍从 5.87 略降至 5.77，较强的源信号会压住编辑。论文测的是显卡侧首帧和吞吐，10.25 帧/秒不能直接折算为 25 或 30 帧/秒直播能力。差异词掩码适合局部变化，改整场光线或要求重排空间关系时要另验。 来源补充：项目或实现、代码或模型、基准或数据。 2. StitchEdit：换视角也留住空间关系 StitchEdit: Stitching Depth Priors into Image Editors via Per-Layer Gradient Probing | 香港科技大学 | arXiv:2611.07922 关键词：图像编辑, 深度先验, 梯度探测, LoRA 前序问题：把杯子移到书后面时，模型可能把杯子画在书面上，或把原本挡住的东西也重画。位置、遮挡和换视角要求编辑器先弄清近远关系。 方法直觉：同一图像主干已学过一些几何规律。先让模型学会预测深度，再用少量样本检查每层的深度训练方向与编辑训练方向是否冲突，就能决定哪些层值得继续调。 本文贡献：冻结多模态扩散 Transformer，在注意力的查询、键、值投影插入 LoRA（低秩参数更新），用源图条件学习去噪出深度图。再用两个任务的梯度余弦相似度衡量更新方向：接近 1 同向，负值说明一阶近似下会互相损害。保留浅层的适配器并用较高学习率，中层按余弦逐步减弱，深层冲突区移除适配器。实际编辑只输入原图与指令，部署无需额外深度网络。 两阶段训练｜第一阶段冻结主干并用 LoRA 激活深度能力。逐层探测衡量深度和编辑目标是否兼容。第二阶段按探测曲线决定适配器裁剪边界及每层编辑学习率。 实验效果：150 个 StitchEditBench 样例覆盖空间变换、遮挡和视角。相对同一深度初始化后各层统一微调，感知距离 LPIPS 由 0.14 降到 0.10，深度一致分 DCS 从 0.80 升至 0.92，基于 CLIP 图文表征的编辑方向相似度由 0.76 到 0.81。四个方案中获 58% 偏好票，Nano-Banana 为 16%。作者报告校准探测约需单张 H100 30 分钟，编辑推理不增加新分支。 StitchEditBench 主结果｜统一微调从同一个深度适配器起步，但统一更新各层会丢失几何知识。StitchEdit 依据探测结果选择性训练，比较感知距离、深度一致性、编辑方向和用户偏好。 批判点评：文字难以表达精确的位移和旋转角。浅层到深层的冲突曲线来自这套主干与校准样本，换模型应重做探测。论文写明代码和基准拟待接收后放出，项目页可读。 来源补充：项目或实现。 3. UniRGBA：烟雾泡泡直接带透明通道 UniRGBA: Unifying RGB and Alpha in Pretrained Video Diffusion Models | 字节跳动 | arXiv:2611.09069 关键词：视频生成, 透明通道, 视频编码, DoRA 前序问题：想把烟雾、玻璃泡泡叠进已有画面，仅生成彩色视频还得再抠图。半透明区域会透出背景，简单的前景轮廓很难表达这些细节。 方法直觉：给原视频编码器加一条透明度输入，尽量保留原模型已经学会的颜色和动作。RGB 是红绿蓝三通道，alpha 是每个像素的覆盖程度，合起来是 RGBA。 本文贡献：作者扩展 Wan2.1 的视频 VAE（把像素压缩为可去噪的潜变量并解码回来），在首尾卷积把新输入和输出通道以零初始化，保留原 RGB 权重，选择性解冻约 5% 参数。训练用颜色、透明度、合成后的外观、硬透明区域、感知与分布约束。KL 散度惩罚潜变量分布偏离冻结的 RGB 编码器。后期加轻量对抗训练，再用 DoRA（把权重大小和方向分开适配）微调原扩散 Transformer，让同一套潜变量走原有生成主干。 RGBA 视频编码器｜在 Wan2.1 VAE 的输入和输出卷积加零初始化通道。橙色参与训练，蓝色冻结。目标包括 RGB、alpha、合成效果及硬透明区域的像素损失，以及感知、KL 和参考 KL 约束。 实验效果：作者的特效数据上，第二阶段重建相对 Wan-Alpha 的整体峰值信噪比 PSNR 由 25.00 升至 29.16 dB，alpha 由 30.50 到 34.45 dB。透明视频文本匹配分为 4.2600 对 3.9794，美学分则为 0.4694 对 0.5232。RGB WebVid 重建对原 Wan2.1 从 36.73 降至 33.41 dB。最终重建训练用 1.7 万条高质量数据，VAE 实验用 32 张 GPU；正文未给出生成端的统一时延对照。 生成评估｜透明文生视频比较 DoRA 变体、Wan-Alpha 和 TransPixeler。普通 RGB 文生视频与原 Wan2.1 比较，检验替换编码器的影响。各行粗体为最佳。 批判点评：局部半透明区域尤其值得单验。其 alpha 掩码内 PSNR 为 22.02 dB，Wan-Alpha 为 22.54 dB，与整体透明度指标走向不同。用在实拍抠像或要适配不同合成背景时，应测最终合成边缘和颜色。原文未给出本方法公开代码。 4. TraF：续长视频时记住去噪过程 Trajectory Forcing: Exploiting Diffusion Trajectories for Autoregressive Long Video Generation | 华为诺亚方舟实验室 | arXiv:2611.09096 关键词：长视频生成, 自回归扩散, 去噪轨迹, 分布匹配蒸馏 前序问题：长视频按块生成时，上一块的最终帧看起来正常，后面却可能突然静止、变糊或换了主体。只给下一块看最后成片，会丢掉此前生成过程中的线索。 方法直觉：把去噪比作反复从草稿改到成片。上一块的不同版本分别留下粗结构和细节，下一块的不同去噪阶段可以借用合适的草稿。 本文贡献：Trajectory Forcing 训练分两段。先把真实视频和高斯噪声插值，用模型重预测造出近似去噪轨迹，做监督学习。再让学生模型逐块生成，把自己真正走过的去噪轨迹作为上下文，用 DMD（分布匹配蒸馏）对齐教师的输出分布。轨迹位置由 γ 控制，极大值退回只取终点，默认四步设置取 γ=2。推理保留滑窗以及首块注意力缓存锚点。 自回归与自回归扩散｜(a) 普通自回归的 token 是单个已完成单元，下一 token 直接看此前 token。(b) 扩散视频块经过 T 次去噪形成轨迹，理想因子分解中每次去噪都可看前序块的完整轨迹。 实验效果：以 Wan2.1 13 亿参数学生评测，5 秒 VBench 946 条提示，总分 85.15，对 Self Forcing 84.31，吞吐从 17 降至 15 帧/秒、首段延迟从 0.69 到 0.78 秒。128 条提示的 30 秒评估把时序、单帧、文本三个分数等权平均，TraF 73.98 对 Self Forcing 71.06。默认第二阶段维护轨迹缓存，作者估计训练时间多约 6%，没有增加去噪器求值次数。 30 秒视频评估｜128 条提示。时序质量、单帧质量和文本对齐按 CausVid 协议聚合，三轴等权得到总分。VideoScore2 一列是文本对齐子分。灰色标出经过长视频专项训练的方法。 批判点评：30 秒综合分最高与首尾最稳是两件事。首尾各 5 秒的成像分绝对差为 1.38，Rolling Forcing 是 0.56，后者另做了长视频训练。30 秒是论文验证窗口，超出该长度的漂移还需单独测。NeurIPS 2026 接收见 arXiv 评论。 来源补充：项目或实现。 5. Video-Coder：让三维草稿指导成片 Video-Coder: Reinforcing Agentic Coding for Video Generation | 中佛罗里达大学、维尔茨堡大学、Microsoft Research、清华大学、北卡罗来纳大学教堂山分校、威斯康星大学麦迪逊分校 | arXiv:2611.09894 关键词：视频生成, 三维预演, 强化学习, 物理一致性 前序问题：拍一个球碰倒杯子，直接文生视频可能让球穿杯而过。给生成器一段结构正确的预演，能把构图、碰撞时机和物体轨迹明确下来。 方法直觉：先用可运行代码搭出粗略三维舞台，让镜头和物体按规则走，再由视频生成器完成外观。代码是中间工件，实验检验的是最终视频的表现。 本文贡献：在能执行代码、渲染并返还错误或视觉反馈的环境中训练 Qwen3.5-9B。先用约 6000 个监督示范教它生成三维草稿，再用约 2000 条强化学习样例联合优化执行结果和下游生成视频。训练后期逐渐降低执行奖励，让代理更重视最终成片。渲染出的草稿作为结构与运动条件传给下游模型。 从代码到视频｜Video-Coder 编写并执行代码搭建三维场景，渲染草稿视频，为下游视频生成器提供显式结构和运动信号。 实验效果：PhyGenBench 的力学、光学、热学、材料四项聚合分，MiniMax-H3 加 90 亿参数 Video-Coder 从 0.61 到 0.67，光学由 0.73 到 0.79。VBench-2.0 对应物理均分 54.58%→78.19%，其中材料项 75.02% 低于 CogVideoX-1.5 的 83.19%。训练代理用 8 张 H100，强化学习阶段另用 16 张 H100 部署下游模型生成训练反馈。 PhyGenBench 物理评估｜比较各模型在力学、光学、热学和材料四项及平均分上的表现。粗体表示最佳。 批判点评：推理多了写代码、执行和渲染，论文没给统一端到端延迟。简单刚体碰撞适合显式预演，难描述的材质和复杂流体不能凭有草稿就保证准确。作者仓库提供训练和推理入口，结果仍依赖下游生成器。 来源补充：项目或实现、代码或模型。 6. FoleyForge：一句话修改现成音效 FoleyForge: Free-form, Controllable, Rectified-flow Editing of Sound Effects | Adobe、纽约大学 | arXiv:2611.08695 关键词：音效编辑, 整流流, 声音保真, 响度控制 前序问题：有一段雨声音效，想让它像打在铁皮屋顶上，同时保留原来的节奏。纯文字重新生成容易换掉声音身份，传统音效工具则要求操作者知道要动哪种参数。 方法直觉：让模型同时听原声和读改法，再给响度、改动强度和能量轮廓各自的旋钮。能量轮廓指声音能量随时间的起伏，保住它通常更像原音，但也会限制有意改动。 本文贡献：以 Sketch2Sound 为基础微调整流流 Transformer。整流流学习把噪声沿速度场搬运到音频表征。用音频语言模型生成编辑指令，配对数字信号处理或保持相似的生成式改动，共 46.4 万组三元样本（源音、指令、目标音）。冻结文字与音频编码器，仅训生成主干。无分类器引导比较保留和省略条件时的模型预测，分别控制响度、改动强度与能量轮廓。 控制项消融｜左上扫目标响度，右上扫编辑强度，左下比较从无改动到剧烈改动的 SILA 语言等级，右下比较能量轮廓开关。各属性响应单调。主实验默认启用能量轮廓，以较窄的控制范围换取更高源音保真，轮廓相关系数由 0.11 到 0.37。 实验效果：有标准答案的轻改集 100 条，无唯一答案的创意集 90 条。创意集上相对 SAO-Instruct，Qwen 指令分 2.69→3.44，音频语义保真余弦 0.831→0.602。打开默认能量轮廓后，作者在控制消融里测得轮廓相关系数 0.11→0.37。训练为 8 张 GPU、8 万步，论文未给统一的编辑端到端延迟。 指令遵循与源音保真｜对轻改集和创意集取平均。两个方向的分数都高才接近理想编辑，采样初始化和能量轮廓会移动这个取舍点。 批判点评：默认与保真版适用于不同交付目的。试听研究仅 25 人、10 条创意集源片，且筛掉 10 秒及以上音频。付费音效库来源限制了训练数据复现。作者提供试听，公开的 SAO-Instruct 权重属于对照系统。 来源补充：项目或实现。 7. ProCraft：半分钟音乐一次改多轨 ProCraft: Instruction-Driven Music Production from Free-Form Text | 佐治亚理工、台湾大学、Sony Computer Science Laboratories | arXiv:2611.07423 关键词：音乐编辑, 复合指令, 音频编码, 自回归 前序问题：想对一段音乐同时去掉鼓声、给吉他加效果并保留人声，拆成三次编辑会让前一次输出的误差传给后一次。 方法直觉：把源音编码为离散音频 token，用一组可学习查询提取本次改法，生成每个目标 token 时都能回看这份编辑计划。 本文贡献：ProCraft 是 5 亿参数的自回归音频编解码语言模型，处理 30 秒片段，覆盖贝斯、鼓、吉他、钢琴、风琴、铜管、簧管和弦乐组，支持去除音轨、提取、伴奏、单乐器翻奏、换乐器、降噪和音效修改。输入按文字、源音代码和可学习查询排列，最后的查询状态形成编辑头，经带门控的交叉注意力送入每个解码层。训练时另用四个多层感知机把第 4 层对齐到预训练音乐表征 MERT、音高、乐器和音效目标。训练样本按需组合音轨操作和效果修改，再合成文字与音频配对。 ProCraft 架构｜指令、源代码和 K 个可学习查询先于目标代码。查询的最终隐藏状态组成编辑头，逐层经门控交叉注意力注入。训练用四个多层感知机把第 4 层对齐到 MERT、音高、乐器和 StemFX 目标。 实验效果：在合成多轨 Slakh 的复合指令上，去除、提取、降噪的尺度不变信号失真比 SI-SDR 为 −7.39、−15.73、−4.74 dB，Audio-Omni 对应 −24.88、−23.98、−26.02 dB，越高表示更接近目标音轨。另有真实录音与 16 人试听。单张 RTX 5090 预热后，30 秒片段、2250 个目标 token、单条处理约 38 秒，加超分辨率约 40 秒。批大小 8 时摊销约 5 秒和 7 秒每条，单条交互延迟不能用批处理摊销代替。 复合指令评估｜在 Slakh 上比较去除、提取、降噪的 SI-SDR，以分贝报告，越高越接近参考音轨。 批判点评：复合提示下跑赢自由文本编辑器，和单操作专用工具的优劣要分开。真实音频的单项去除，HTDemucs-6s 为 12.854 dB，ProCraft 为 −5.114 dB。30 秒片段测试也无法回答整首曲子的段落衔接。项目页公开试听。原文称代码和权重计划发布。 来源补充：项目或实现。 8. UniMore：读图和生图都盯住细节 UniMore: Fine-Grained Supervision for Unified Understanding and Generation | 威廉与玛丽学院、卡内基梅隆大学、伊利诺伊大学厄巴纳香槟分校、松鼠 Ai、威斯康星大学麦迪逊分校 | arXiv:2611.08996 关键词：图像生成, 多模态理解, 细粒度监督, LoRA 前序问题：模型能画出花，却把黄花画成粉花。给它同一张图做描述，又容易只说画面里有花。两项任务都漏了人真正关心的细节。 方法直觉：让生图分支学习从短语画对应的小区域，让看图分支判断哪句话漏了细节或说错颜色。把两个小改动合回原模型，部署时照常调用。 本文贡献：生成分支用开放词汇检测器的定位置信度和 CLIP 图文语义一致性给短语、裁剪区域配对打分，按主干原有的图像生成目标学习。理解分支学习完整正确描述，同时排序压低删除细节、篡改细节及不相关的描述。两支各自在相同主干上做 LoRA（低秩适配），最后按固定权重把两份参数更新并入，无需推理路由。 UniMore 双支训练｜(a) 图文对提供带定位评分的短语与局部裁剪，训练图像预测。(b) 整图分支拟合完整描述，并和删去、改错细节或完全无关的描述比较排序。两支从相同主干独立适配，再把更新合入单一模型。候选卡片为示意，文案是节选。 实验效果：在 70 亿参数 BAGEL、512×512 图像、50 步采样设置下，测知识相关生图的 WISE 总分由 39.89 升至 43.48，UEval（综合统一模型生成表现）由 30.90 到 31.60，仍低于同主干 LatentUMM 的 31.80。多模态理解平均由 67.05 到 69.46。原文的 Janus-Pro 和 Show-o2 两支训练总计约 0.595 与 0.356 GPU 小时，各分支用单张 H100；不等同于 BAGEL 成本。 生成评测｜比较统一多模态模型和 BAGEL 后训练变体。表内报告 UEval 与 WISE 的类别和总分，粗体、下划线分别为 BAGEL 后训练组第一、第二。 批判点评：短语和裁剪适合颜色与局部属性，两个对象的全图关系可能超出裁剪视野。合并保持原推理接口，论文未另报加速。已核作者训练包、合并权重与训练数据页面。 来源补充：项目或实现、代码或模型、基准或数据。 9. InstaGen：稀疏注意力给尾部留预算 InstaGen: Group-Shared Importance Sampling for Fast Video Generation | 印度理工学院孟买分校、加州大学伯克利分校 | arXiv:2611.08610 关键词：视频生成加速, 稀疏注意力, 重要性采样, 推理内核 前序问题：长视频去噪中，每个位置都和大量时空位置做注意力，慢得明显。只保留分数最高的块虽然快，却会在权重分散时丢掉一批各自不强、合起来重要的线索。 方法直觉：先精算最重要的一批，再从剩余里抽样估计。少被抽到的样本中选后获得更高权重，同一组查询共用样本，让 GPU 还能按规则的密集块算。 本文贡献：对查询与键做聚类，用质心分数估计每组键的注意力质量。预留精算预算后，对其余键做按分数、无放回的概率抽样，按纳入概率的倒数给样本加权，在注意力归一化前以分数偏置实现。共享采样保证一个查询组拥有相同的键块，修改 FlashAttention-3 内核计算；文字交叉注意力保持稠密。 共享重要性采样｜(a) 对查询和键分组。(b) 用质心打分估计每个查询组选择键组的概率 π。(c) 顶部键组必算，尾部按 π 抽样并乘以 1/π。(d) 同组查询共享选中的键，注意力可在一个内核按密集块执行。 实验效果：单 H100 80 GB、22 条 VBench 提示、720p 81 帧 50 步。Wan2.1 140 亿参数版本上，带预热的 8% 精算加 8% 抽样相对 SVG2，整体注意力密度 53.34%→42.67%，同种子相对稠密参考的 PSNR 22.38→24.61 dB，端到端加速 1.53→1.65 倍。整体密度按所有调用中的查询键对计算，预热全算，因此高于单次稀疏的 16%。 Wan2.1 主结果｜PSNR、结构相似度 SSIM 和感知距离 LPIPS 均与同种子稠密视频对照，质量分取 22 条提示平均。E+S 是每次稀疏调用的精算和抽样比例。InstaGen 沿用 SVG2 的预热（最初 30% 步和 3% 层），整体密度含全量预热。加速为单 H100 上的端到端时间比，粗体是各列稀疏方法最佳。 批判点评：同种子更像稠密结果不代表所有审美维度都提高。14B 无预热的抽样配置 PSNR 只有 21.84 dB，选择预热和预算仍有质量、速度取舍。当前证据来自两种 Wan2.1 尺寸及 Hopper GPU，未核到作者代码链接。 10. T2I-NSI：测模型能不能画出没有 T2I Models Rarely Invert Negation but Often Fail to Suppress Negated Concepts: Benchmarking Negation Suppression in Text-to-Image Generation | 印度理工学院焦特布尔分校、科罗拉多州立大学 | arXiv:2611.09304 关键词：文生图, 否定提示, 成对评测, 开放词汇检测 前序问题：提示写一张没有台灯的桌子，生图仍把灯画了进去。要区分模型忽略否定，还是把肯定和否定条件理解反了，得把同一概念的两种提示放在一起测。 方法直觉：先检查正向提示有没有真的画出目标。它从一开始就没画出台灯，负向提示也没出现台灯，就很难用这一对图证明模型懂否定。 本文贡献：将肯定与否定提示配成原子，一个原子是一组针对同一概念和语境的文本条件。按词汇语义、词形和句法分层。T2I-NSI（文生图否定敏感指数）衡量从正向到否定时目标出现度是否下降，范围 −1 至 1。稳健评分融合 CLIP 图文相似度、视觉问答及开放词汇检测，按各探针分歧降权。基础版本只用 CLIP。 三种否定提示示例｜上为句法否定的金合欢树，中为词形否定的未张开猪笼草，下为词汇语义否定的不可见金字塔。FLUX.2、Qwen-Image-2512 和 SD 3.5 对否定提示生成相近画面，被否定概念仍存在。 实验效果：全量提示库有 759,869 个原子、目录含 5082 个对象，实际生成 916,272 张图。三个开放权重模型各约 15.2 万原子，稳健分依次为 FLUX.2 0.0378、Qwen-Image-2512 0.0306、SD 3.5 0.0198。三模型倒置计数分别为 0、3、2，按该表的 151,970 原子口径各自四舍五入到 0.00%。持续出现分别为 15.50%、13.03%、16.92%。评测需要每原子成对生成，再跑多路探针；论文给出图量，未给跨供应商统一成本。 开放权重模型失败分类｜稳健评分按原文 4.2 节分类，行合计约为 100%。三模型的倒置分别有 0、3、2 个，分母为各 151,970 个原子，取两位小数均显示 0.00%。 批判点评：开放权重模型有逾七成原子归于弱呈现，持续出现率不能当成所有否定指令的失败率。闭源 GPT-Image-1.5 的 0.0934 基于 1200 个原子，比较总体分要看匹配子集。WACV 2027 接收见 arXiv 评论，仓库提供评测代码和提示。 来源补充：项目或实现。 趋势观察 编辑信号需要明确作用区域 AR-Edit 用差异词软掩码把注入限制到编辑区外。StitchEdit 在训练前找出深度与编辑冲突的层，两篇分别在推理和训练阶段控制干预。 生成过程可以保留中间表达 TraF 让下一块使用历史块的去噪轨迹，Video-Coder 把三维预演交给下游视频模型，UniRGBA 则从编码阶段就保留透明度。 保住原音和改到位分别打分 FoleyForge 的创意集上，指令评审分提升而源音保真下降。ProCraft 的复合提示结果不能替代真实录音上与单任务工具的对比。 先读分母，再读分数 InstaGen 把稀疏调用预算与包含预热的整体密度分开。T2I-NSI 用成对提示区分目标持续出现、倒置和弱呈现。 今日讨论 AR-Edit 在四步 Self Forcing 上将首帧延迟从 1.38 秒降至 0.85 秒，但文本遵循分从 5.87 变为 5.77。如果要在直播里只换主持人的外套，怎样在同一路源视频上测量首帧、稳态吞吐、换色完成度和背景保真，再决定何时加强源特征注入？ 人工智能炼丹君 整理 | 2026-11-10

AIGC 每日速读|2026-11-09|NeurIPS 借视频换光FlashRelight 今日 AIGC 论文速览 今日共 10 篇 · 视频重照明与运动控制 4 篇 · 图像编辑与少步生成 2 篇 · 视频质量与联合生成评测 2 篇 · 语音编辑与蒸馏 2 篇 重点论文标题列表 FlashRelight（浙江大学）：借一段视频给人像换光 WeLM-Image（腾讯）：一套模型读图也能改图 Chronos（中科大）：先排动作再锁人物身份 HME（澳国立）：让扩散噪声记住参考动作 Disen-Forcing（澳国立）：把记场景和管动作分开 选读入口：给拍好的肖像视频换灯光，先读 FlashRelight 的去光和迁光。要处理多张静态参考图，读 WeLM-Image。要从参考图造新视频，按身份与动作顺序选 Chronos，按运动轨迹选 HME。续写 30 秒后总跑偏，读 Disen-Forcing 怎样给注意力头分工。生成片返工读 ArtiVidRM 的缺陷清单，做语音改词、加笑声读 VoxCanvas-41M，关心语音推理成本读 Route-DMD。少步生图看 FisherDistill 的教师统计，跨镜头音画验收读 CAST-Bench 的声源与说话人指标。 今日论文速览 1. FlashRelight：借一段视频给人像换光 FlashRelight: Portrait Video Relighting with Dynamic Lighting | 浙江大学；vivo 影像实验室 | arXiv:2611.06355 关键词：视频参考编辑, 肖像重照明, 动态光照, 两阶段扩散 前序问题：一段自拍已经拍完，脸上还是原来的顶光。你想借另一段视频里的彩灯变化，却要保住原来的人、动作和衣服。直接加一层滤镜会把旧阴影和新高光叠在一起，转头时尤其明显。 方法直觉：先把旧光压成接近中性的底片，再按目标打新光。给第二阶段一段参考视频时，尽量只拿光的颜色、方向和变化节奏，让第一段视频继续决定人物长相与动作。 本文贡献：两个阶段都从 Wan2.1-1.3B 视频扩散模型初始化。去光模型压制源光和阴影，输出携带原外观的近中性视频。重照明模型每次启用一种条件：环境光贴图序列通过时序对齐的交叉注意力逐帧控制，文字经 umT5 编码控制语义，参考视频的潜变量与去光视频、噪声按通道拼接，并辅助提取灯光描述。训练时把参考视频强模糊、平移和缩放亮度，降低人物特征泄漏。数据混合 OLAT（逐次只开一盏灯的采集）合成序列和动态合成视频，兼顾可控照明与肖像运动。两阶段分别训练 3 万和 4 万次更新，使用 LoRA 低秩权重更新。 Figure 3｜FlashRelight 分两步。左侧去光模型压制输入视频原有照明与阴影，输出近中性的肖像视频。右侧将它与一种有效的动态光照条件送入重照明模型，生成最终视频。参考视频提供潜变量和光照描述，环境贴图通过时序对齐的交叉注意力进入去噪。 实验效果：未参与训练的 10 位受试者、16 条环境光序列上，对 DiffusionRenderer，前景 LPIPS（感知距离，低更好）由 0.3781 到 0.1635，PSNR（像素保真度，单位 dB）由 17.3683 到 23.1099，身份特征相似度由 0.6143 到 0.8097。文字条件下 FID（生成与目标图像的特征分布距离）31.16，对 Light-A-Video 的 51.78，但相邻帧感知变化 tLPIPS 为 0.1417，对方 0.1395。单张 H20 上，832×480、49 帧、两阶段各 50 步合计 185.9 秒，PyTorch 峰值预留显存 15.23 GiB，对照为 503.3 秒和 44.22 GiB。计时不含外部预处理与保存。 Figure 7｜参考视频引导的动态换光。每列上方给出参考视频的灯光变化，每行左侧是源肖像。对应输出把参考的明暗、高光、颜色变化带到源肖像，同时尽量保留源人物身份与动作。这里展示定性样例。 批判点评：参考视频迁光没有配对真值，论文用定性样例验证，环境光与文字实验的分数不能代替这一任务的定量结果。去光视频也只是实用中间态，强遮挡和残余阴影可能影响第二阶段。官方仓库已建，核验时 README 仍预告发布。 2. WeLM-Image：一套模型读图也能改图 WeLM-Image: A Unified Image Generation Model towards Visual Intelligence | 腾讯微信视觉团队 | arXiv:2611.07392 关键词：多参考图像编辑, 共享注意力, 稀疏专家, 少步蒸馏 前序问题：把两张商品图和一张布景图交给模型做海报，模型得分清哪张负责什么，还要保住商品字样。多张参考一多，理解、合成和推理成本会一起上升。 方法直觉：让读图和画图走两条分工明确的路径，仍能在同一序列互相看见。画图时按当前图块调用少数专家，给编辑保留足够容量。 本文贡献：文本、参考图语义、图像潜变量和加噪目标交错打包。MoT（Mixture-of-Transformers）让理解与生成分用投影和前馈权重，共用带遮罩的自注意力。MoE（混合专家）为每个 token（特征单元）挑选部分前馈网络，主干含视觉编码器、排除图像压缩模型，存 317 亿参数，每个目标潜空间 token 激活约 54 亿生成参数。统一三轴旋转位置编码同时保留文本顺序和图块行列。先分别按规则表优化文生图、编辑策略，再让学生在自己到达的不同噪声状态学习对应老师。Turbo 用 MeanFlow 学噪声区间的平均变化，压缩到 8 步。 Figure 2｜从左到右为多模态输入与分词、27 层主干，以及单层展开。理解路径和生成路径各保留专用投影与稀疏专家。打包后共享带遮罩的自注意力，归一化、位置编码、输出投影与残差连接维持各自的数据流。 实验效果：论文 1536 分辨率模型在单图编辑 UnicBench 总分 8.992，Turbo 为 8.664，GPT-Image-2 为 9.079。GEdit 中英总分均值为 8.381，同组 HunyuanImage-3.0-Instruct-Distil-CoT 为 8.385。单张 H20 输出 1024×1024，一次预热后的 3 次平均墙钟（不计加载）：纯文字生图 50 步基版 56.99 秒，8 步 Turbo 4.98 秒。Turbo 输入 1 至 4 张图的编辑为 6.78 至 13.17 秒。 Table 14｜单图编辑四套基准。GEdit 取英语与中文总分平均，ImgEdit 和 UnicBench 用各自总分，WeGenEditBench 取文字编辑和单图编辑子集平均。闭源模型作为参照，排除在前三着色之外。 批判点评：参数激活数按目标 token 计，设备仍得容纳全套权重与运行缓存。质量分数和测速分别对应论文的评测配置，不能用 4.98 秒替代多参考编辑耗时。技术报告公开，原文未给可确认的本模型权重或代码入口。 3. Chronos：先排动作再锁人物身份 Chronos: Sequential Identity-Preserving Video Generation by Temporal Anchoring | 中国科学技术大学；华南理工大学；华为；独立研究者 | arXiv:2611.05893 关键词：参考视频生成, 人物身份保留, 关键帧锚定, 候选路由 前序问题：给人物照片，让他在视频里先拿起蛋糕再咬一口。脸抓得太紧，模型可能只会轻微转头，反过来做大动作时又容易换脸或打乱次序。 方法直觉：把长指令拆成有先后的镜头关键帧，让生成器有具体画面可追。不同模型各生成候选，再同时看动作、脸和画面选片。 本文贡献：语义提示锚定用 GPT 模型提取参考图的身份线索，按遮挡与视角风险补足描述。视觉帧锚定把描述变成按时间排列的参考关键帧，单段用首锚，多段可加分段锚。Wan2.2 I2V-14B（140 亿参数的图生视频模型）两轨共用，单段还用 Seedance，多段还用 Wan FLF2V（首尾帧条件生成）。生成后按文本、身份、视频质量和语言模型复核加权排序，对异常片段额外复审。 Figure 2｜输入参考图、原提示和可选时间段说明。语义锚定先提身份线索，按低、中、高风险调整提示。视觉帧锚定给第一轨一个锚帧，第二轨可再加分段锚帧。各轨生成器分别出片，经文字、主体、质量与语言模型评分，再复审异常候选并选出最终视频。 实验效果：ACM MM 2026 身份保持视频生成挑战官方榜单按名次汇总，低分更好：人脸轨 2.5 并列第一，顺序动作轨 1.25 独列第一。论文的对照评测是另一套高分更好的总分，单段 0.6769 对 RefAlign 的 0.6214，多段 0.6102 对 Phantom 的 0.5725。单段主体分 0.6840 低于 RefAlign 的 0.7996，多段动作幅度分 0.1479 也低于对照组。 Table 2｜两轨分别报告身份、文本对齐、画面和运动相关分数，以及高者更好的总分。Chronos 在两轨总分均领先，单项仍有取舍。表内粗体为该项最优。 批判点评：这是参考图生新视频，输入并不要求保留某段源视频。多模型采样与额外裁判是成本，论文未给统一的每条延迟和显存。成绩属于本次挑战及给定参评系统。赛事榜单核实两个名次，原文未列 Chronos 独立实现。 4. HME：让扩散噪声记住参考动作 Householder Motion Embedding: Noise Modulation for Motion-Controllable Video Generation | 澳大利亚国立大学；Vertex Lab；亚马逊 | arXiv:2611.07294 关键词：参考运动迁移, 光流控制, Householder 反射, 噪声调制 前序问题：想让新画面里的车走参考视频中的路线。把噪声像素跟着光流搬动，插值可能把原本独立的噪声混在一起，还得补一遍分布修正。 方法直觉：固定空间位置，只旋转该位置的一组噪声通道。旋转不改变标准高斯云团的形状，却能用上帧的噪声和当前光流在帧间留下一致的运动线索。 本文贡献：HME（Householder Motion Embedding）先估计光流，也就是相邻帧的像素位移，并重采样到模型压缩后的图块网格。每个位置用流的横向、纵向分量生成反射方向，将前一帧的通道向量经 K 次 Householder 反射（沿超平面镜像）映射到下一帧。复合变换保持正交，因此在固定运动条件下保留帧内标准高斯结构。γ 是混入独立噪声的退化程度，调低能让生成更贴参考运动。以 CogVideoX-5B-I2V 为底座微调，输出由首帧、文本和运动条件共同决定。 Figure 2｜三阶段依次估计与重采样光流、用 Householder 反射构造跨帧相关的噪声，以及微调扩散模型并推理。右上用首帧和运动条件生成新视频，底部展开了光流到反射方向、通道正交变换、逐帧递推的过程。 实验效果：DAVIS 运动迁移上，γ=0.3、K=2 相较 GWTF 的 γ=0.5，光流端点误差 EPE 从 5.644 降到 4.433，CoTracker 轨迹重叠 mIoU 从 0.464 到 0.546。默认两次反射在 RTX PRO 6000 Blackwell 上构造一份 1024×1024、16 通道噪声潜变量用 2.80 毫秒，是 GWTF 约 2.7 倍速度。论文另外在 480×720、49 帧条件下，用 10 万段视频微调 3 万次，4 张 A100 共 40 GPU·天。 Table 1｜DAVIS 的运动控制图生视频对比。分别衡量主体和背景一致性、闪烁和平滑性、特征分布距离、光流误差、轨迹重叠与图像相似度。粗体为最优，下划线为最强对照。 批判点评：2.7 倍是噪声构造的对照，完整生成仍要先估光流再做扩散采样。低 γ 容易把光流里的错误一并传给生成。论文试的是图生新视频的运动控制，无法据此保证保留任意源视频的像素。原文未列独立实现入口。 5. Disen-Forcing：把记场景和管动作分开 Disen-Forcing: Disentangling Semantic Anchoring from Motion for Autoregressive Video Diffusion | 澳大利亚国立大学；Sony AI；CSIRO；索尼集团 | arXiv:2611.02822 关键词：长视频扩散, 首帧锚定, 注意力头分工, 分布匹配蒸馏 前序问题：逐段续写时，首帧从缓存滚出去，场景和人物容易漂移。强行让每个注意力头都看首帧又可能把动作冻住，变成一段稳定却不怎么动的视频。 方法直觉：有些注意力头擅长认开场，有些负责看最近的动作。前者保留全局参照，后者专注局部，用同样的缓存预算做两种工作。 本文贡献：从蒸馏前的初始模型测各头分给首帧的平均注意力，按百分位固定少数 Anchor Heads。分布匹配蒸馏时，锚定头只读开场和当前帧，工作头只读滑窗与当前帧。额外做一次反事实前向，把锚定头的开场缓存替换为经图像解码再编码的局部上下文，用其相邻帧注意力作为固定目标，以 KL 散度（概率分布差异）约束常规前向。额外前向只发生在训练。以 Self-Forcing 和 Causal-Forcing 两个底座验证。 Figure 5｜三种上下文路由。左图滑窗前进后丢弃早期帧。中图在滑窗外保留首帧上下文，但所有头看到同样内容。右图在蒸馏时仅让少量锚定头访问开场，工作头只看局部滑窗，保留原有分工。 实验效果：30 秒约 500 帧的 VBench-Long，Self-Forcing 加全头首帧缓存时动态分 35.66、首尾成像质量差 3.40，改用分工后为 73.12 和 4.03，原底座为 40.44 和 7.23。动态分高者更活跃，首尾差低者漂移更小。60 秒约 1000 帧的 VBench-Long 六项均分由原底座 74.75 到 82.34。训练 600 次有效更新用 8 张 H100 约 14 小时，附录所测摊销单步耗时 10.2 到 10.8 秒，论文记约 5%。 Table 1｜30 秒约 500 帧与 1 分钟约 1000 帧的长视频对照。分工可用于 Self-Forcing 和 Causal-Forcing 蒸馏。首尾成像质量差越低越好，VBench-Long 六项均分越高越好，粗体标出各时长最高总分。 批判点评：全头首帧缓存仍有更小的首尾成像差和更高的个别一致性分。分头方案改善的是动作与外观的平衡，也会继承教师的错误。不同大小模型能观察到头的分工，迁移后的生成收益仍待验证。项目页有长视频演示，代码标注即将发布。 6. ArtiVidRM：先列视频瑕疵再打分 ArtiVidRM: Verifiable Artifact-as-Rubric Reward Modeling for Explicit Quality Articulation in Video Generation | 东南大学；Opus AI Research；中国科学院自动化研究所；伊利诺伊大学厄巴纳-香槟分校；加州大学洛杉矶分校 | arXiv:2611.07301 关键词：视频纠错, 缺陷清单, 奖励模型, 偏好预测 前序问题：生成片里的手穿过抽屉，奖励模型给了低分，却没说哪里坏、怎么改。一句听起来像解释的评语，也可能和最终评分无关。 方法直觉：先指出能在画面中核对的瑕疵，再用清单打分。生成器需要第二次出片时，可以把瑕疵转成更具体的提示。 本文贡献：多个检查器先给候选瑕疵，合并后按视频证据核验，过滤后保留 22640 对视频。用 Qwen3-VL-8B-Instruct 多模态模型先监督学习结构化清单，再用强化学习同时奖励格式、语义覆盖和偏好排序。覆盖奖励鼓励找到人类关心的瑕疵，不对列得越长给越多分。长度惩罚对多报全罚、少报半罚，因为漏报还会扣召回分。配对奖励用两条视频的分差学习人类排序。 Figure 3｜两阶段训练。左侧用有瑕疵清单的视频监督微调多模态模型，右侧对同一提示的 A、B 视频分别列瑕疵和给分，再联合格式、语义覆盖、配对偏好和长度惩罚训练。 实验效果：GenAI-Bench 去掉人工平局后，成对偏好准确率 0.753，VisionReward 为 0.744。保留平局时两者同为 0.518。VBench-2.0 保留平局 0.572，对 UnifiedReward 的 0.541，MonetBench 两种口径都落后 VisionReward。用清单改写提示让 Veo 3.1 再生成，VBench 美学、成像两维分别提高 1.85 和 1.30 分，主体与场景一致性几乎不变。 Table 1｜域外基准上的成对偏好准确率。w/T 保留真实平局，w/oT 剔除真实平局。各模型使用默认的平局阈值（适用时）。粗体是最好结果，下划线是第二，星号为原论文报告值，短横线为无可用数据。 批判点评：闭源实验是改提示重生成，不能在原片上只修一处。额外的视频模型评估和二次生成消耗算力，论文未报告统一额外时延。自动清单偏向显眼的渲染、光照和纹理问题，罕见错误仍值得人工查验。原文未给独立代码入口。 7. VoxCanvas-41M：一句话指挥录音改词加笑声 VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics | 上海交通大学；上海创智学院；北京通用人工智能研究院；天津大学 | arXiv:2611.08251 关键词：指令语音编辑, 双语训练数据, 非语言声音, 学习动力学 前序问题：录好的一句“周一早上见”改成周五，最好只替换那两个字，声音和前后停顿都保住。让模型在指定位置加笑声又需要另一类样本，而真实成对录音难以大规模收集。 方法直觉：先定位字词与声音发生的时间，再只让合成器补上编辑区段。能自动制造一对前后录音，就能系统比较插入、删除和替换是怎么学会的。 本文贡献：从公开语音收集音频，Qwen3-ASR 重转写，再用强制对齐把词或字映射到时间。语言模型生成操作说明和编辑后文本，F5-TTS 文本转语音在原音频上下文里补段。规则、多模型和人工抽查筛选，英语筛零词错误，中文筛零拼音错误，避免同音字误罚。约 4100 万对是编辑样本对数，覆盖单段、多段、按位置定位，以及 39 类笑声、叹气等非词语声音的增删。用低秩适配微调 AuK，仅约 1.3% 的原模型参数量参与训练。 Figure 1｜语音编辑数据生产。A 建任务分类，B 从开源语音集取原录音，C 自动转写和强制对齐，D 大语言模型写编辑指令与目标文本，E 用文本转语音结合原上下文重合成局部，F 规则和多模型筛选后做人类抽查。 实验效果：SpeechEditBench 上中英内容编辑准确率平均由 AuK 的 91.05 到 95.22，非词语编辑由 53.25 到 54.50。英语内容准确率 96.78，对同设置用 GigaEdit-L 微调的 94.22。另一套 Ming 自由编辑测试的英语完整项，词错误率 4.11 到 3.77，音色相似度 0.88 到 0.89，GigaEdit-L 同项音色相似为 0.94。学习曲线显示把插入与删除混训会拖慢插入，删除本身变化较小。 Table 2｜在不同数据上微调 AuK 的语音编辑结果。SpeechEditBench 的 Avg. 是中英内容编辑准确率平均。GigaEdit-L 只含英语，故略去中文与双语平均。另一组分中英文的基础与完整项，分别报词错率、准确率、音色相似和未编辑内容的词错率。粗体是最好成绩。 批判点评：数据主要由合成编辑与识别筛选得到，零拼音错可能放过同音词。任务覆盖中英内容和非词语声音，尚无情绪、风格或依赖历史的多轮编辑。1.3% 是微调参数口径，不能换算为推理速度。数据管线、数据页与演示均可访问，数据页有具体发布范围。 8. Route-DMD：四步语音蒸馏分任务走 Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models | 上海交通大学；北京通用人工智能研究院；上海创智学院；南洋理工大学；腾讯混元 | arXiv:2611.08011 关键词：语音基础模型, 少步蒸馏, 任务路由, 说话人分离 前序问题：同一个语音模型既要念文本、改录音，也要从混合音轨里分离说话人。把生成任务的少步蒸馏直接搬到分离，学生失误后，老师可能在没见过的混合状态上给错方向。 方法直觉：先让学生学会从不同噪声水平走向同一个答案，再按任务选监督。分离有对应的干净音轨可直接比，生成或开放式编辑则更适合学输出分布。 本文贡献：第一阶段从 AuK 教师初始化，做 500 次一致性蒸馏更新。第二阶段按任务路由，目标说话人或人声分离直接对干净目标做均方误差回归。其他任务用解耦 DMD（分布匹配蒸馏），将分布差和条件引导分开计算，保留学习学生分布的辅助评分网络。教师生成回放用 APG（自适应投影引导）减轻语音削波，四步学生推理省掉 CFG（分别计算有条件与无条件预测再组合的无分类器引导）。 Figure 1｜先做一致性蒸馏，让学生从相邻噪声状态预测同一干净端点。随后按任务分流，分离任务用干净音轨的均方误差，其他任务用解耦 DMD。右侧分别从真实与生成分布评分差、真实条件与无条件评分差取训练信号。 实验效果：单张 H20 上，端到端 RTF（耗时除以生成音频时长）从 32 步 AuK 的 0.4333 降到 4 步的 0.0958，约快 4.5 倍。主观自然度均值 4.23 到 4.34、指令跟随均值 4.50 到 4.57，两者各自的 95% 置信区间都重叠。SeedTTS-Eval 平均词错误率 2.65 到 2.85，Libri2Mix 由 9.12 到 10.07，后者虽有主观质量代理指标提升，字词识别仍回退。 Table 2｜主观自然度和指令跟随报告全体评分均值及 95% 置信区间。端到端实时因子在单张 NVIDIA H20 上测量，越低越快，比较 32 步 AuK 与四步 Route-DMD。 批判点评：分离退回有配对真值的监督，迁移到缺干净目标的任务要重新选路。四步加速是单卡与测试协议下的端到端结果，未展示相同倍数的显存下降。AuK 仓库提供四步 AuK-Flash 权重指引、推理与蒸馏训练入口，项目页可听任务样例。 9. FisherDistill：少步生图用统计信号补课 FisherDistill: Diffusion Distribution Distillation via Closed-Form Fisher Critics | 纽约州立大学布法罗分校；加州大学伯克利分校；Meta 署名作者以个人身份参与 | arXiv:2611.07604 关键词：少步图像生成, Fisher 线性判别, 分布匹配, 冻结教师特征 前序问题：学生模型只用一步生图，即使学了老师的去噪能力，生成图的整体分布仍可能偏。再加一个需交替训练的对抗判别器，会引入一套新的优化。 方法直觉：把真假图像投到同一个老师的特征空间，找出均值分得最开、组内波动相对最小的方向。学生朝真实的一侧修正。 本文贡献：冻结教师的中间层先离线统计真实图的均值与协方差（特征之间共同变化的程度），在线用滑动平均追踪生成图。将两类均值差用带正则的组内协方差重新加权，线性方程直接给 Fisher 方向。用上一更新留下的统计量固定本步方向，避免同一批既拟合又打分，梯度仍通过当前教师特征回学生。Fisher 修正叠在原蒸馏目标上，保留原方法需要的生成分布评分网络。 Figure 3｜Fisher 修正叠加于原蒸馏。真实图经冻结教师离线提特征，生成图在线估计统计，两者各有均值和协方差。所选层用正则化协方差求从生成均值指向真实均值的 Fisher 方向，并将它转成学生的梯度信号。原蒸馏与生成分布评分器仍在。 实验效果：ImageNet 64×64 类别条件生图，一次 NFE（网络前向次数）的 DMD 设置下 FID 从 2.64 降到 1.40，同预算对抗精修 DMD2 为 1.42。换用 SiD 起点，1.54 到 1.34，对抗 SiD²A 仍为 1.31。SD v1.5 的消融中，初始 FID 9.28，仅用均值差变 9.85，完整协方差降到 8.46。几组 FID 都是特征分布距离，低更好，不能等同单张观感。 Table 1｜预训练 EDM 教师下的 ImageNet 64×64 类条件生成。比较求解器、蒸馏、对抗精修和 Fisher 精修，有数据时报告前向次数、FID、精确率和召回率。每个分布匹配组内最优加粗，带匕首号者用官方代码按匹配预算复现，其他组结果来自原文或引用工作。 批判点评：真实图统计、挑选能区分真假的教师层和求解协方差都发生在训练端，论文未给统一的端到端训练节时量。推理前向数没增加。低分辨率类条件结果也不能替代高分辨率文字渲染验证。项目页与论文所链仓库可访问，本次仅确认说明与演示，未确认可跑的训练入口。 10. CAST-Bench：听清每个镜头是谁在发声 CAST-Bench: Tracing Every Sound to Its Source in Multi-Shot Audio-Video Generation | 西北工业大学；复旦大学；浙江大学；北京大学 | arXiv:2611.05422 关键词：音视频联合生成, 多镜头评测, 声源绑定, 说话人一致性 前序问题：两个人跨镜头对话，画面和声音各自都像真的，但第二镜头的人可能说了第一人的台词，背景敲门声也可能消失。只看一个总分，发现不了是串音还是漏事件。 方法直觉：先给每条要求填一张卡，写清谁发声、什么时候响、声画各要满足什么。生成后按同一份结构化清单逐项核对。 本文贡献：CAST-Bench 先从网络视频统计声源，再由专家与语言模型划分九类声源，每类 100 条。为每条指定主体、声源、事件和镜头，再用 GPT-5.5 渲染成自然语言，经专家校验。900 条中 439 条单镜头、461 条多镜头，合计 2499 个镜头，覆盖九种语言。18 个指标按画面表现、内容一致性、音频与语义对齐分组，组合专用模型与多模态裁判，检查声源匹配、嘴型、说话人身份和台词。 Figure 2｜左上从网络视频统计到专家和语言模型分类、结构化元数据、GPT-5.5 渲染提示，再由专家核验补齐覆盖。左下是 900 提示、2499 镜头、九种语言和九类声源。右侧展示画面、内容及声音语义共 18 项指标，单、多镜头分别报告。 实验效果：单镜头评 12 个系统，九个共同系统另评多镜头。只看其中音频与语义对齐的 0–100 分，Veo 3.1 单镜头单人 76.23、多人 70.55，多镜头单人 54.61、多人 50.39。Kling 3.0-Omni 对应 71.10、68.00、58.88、55.94，单人单镜头两者顺序与多人多镜头相反。论文按子集分别评分，并报告每模型抽 50 条、每条三名标注者的对照。 Table 3｜音频与语义对齐分为 0–100。先区分单镜头与多镜头，每组再区分恰好一位说话人与多于一位说话人，比较九种系统。 批判点评：多镜头协议增加跨镜头任务，分数差反映不同难度和打分规则，不能当作完全同条件的因果降幅。常见接口生成约 10 秒，Veo 为 8 秒，模型条件也影响排名。多路裁判与生成都有成本，原文未给统一单条延迟。官方仓库提供提示与评测入口。 趋势观察 参考信号要分清职责 FlashRelight 用源视频定身份动作、用参考片定灯光。Chronos 用参考照和时序锚帧造新片，HME 让参考片只提供光流。测试需要分别验收内容保留和实际控制。 稳定还要留出动作空间 Disen-Forcing 在 30 秒 Self-Forcing 对照中，把全头缓存的动态分 35.66 提到 73.12，同时首尾成像差由 3.40 变为 4.03。两项都报，才看得清取舍。 少步蒸馏按任务和分布选信号 Route-DMD 给分离单独走干净目标回归。FisherDistill 在 DMD 生图上把 FID 从 2.64 降到 1.40，靠冻结教师特征的协方差描述生成分布偏差。 返工清单与验收分母各有用处 ArtiVidRM 用瑕疵清单给 Veo 3.1 重写提示，成像分改善而主体一致性几乎不变。CAST-Bench 按镜头数和说话人数拆分，揭示跨镜头说话人归属的薄弱环节。 今日讨论 FlashRelight 在 10 位未见受试者、16 条环境光序列上把身份相似度从 DiffusionRenderer 的 0.6143 提到 0.8097，借参考视频换光却只有定性样例。如果手里有同一个人打两种动态光的成对视频，如何验证迁光后的灯光变化和身份保留各自达标，并让只复制原视频的对照无法通过？ 人工智能炼丹君 整理 | 2026-11-09

AIGC 每日速读|2026-11-06|港中文连续改图少跑偏TailSteer 今日 AIGC 论文速览 今日共 10 篇 · 多轮图像编辑与参考视频生成 2 篇 · 实时视频音效 1 篇 · 长视频缓存压缩 2 篇 · 少步图像与视频训练 3 篇 · 情绪视频对齐 1 篇 · 复杂多参考生成评测 1 篇 重点论文标题列表 TailSteer（港中文）：连续改图别把旧细节磨掉 DualCast（浙江大学）：商品和主播两张参考各司其职 LiveFoley（莫纳什大学）：看着视频现场补音效 NanoKV（浙江大学）：视频历史压小但不承诺同比提速 NextGAN（西湖大学）：先教判别器指对生成方向 选读入口：反复改图总磨掉背景，先读 TailSteer 的保留与成功率取舍；想用商品图加主播图新生成视频看 DualCast，不要把它当原视频动作编辑。游戏或交互配音读 LiveFoley 的 156 毫秒口径；显存不够读 NanoKV 与 VAR-Q，前者需拟合、后者免校准。做少步生成训练，按梯度信号 NextGAN、文字监督 NitroFusion2、轨迹分布 VA-TDM 依次选；需要情绪表演对齐看 EmoReward，复杂多参考验收看 LongBanana 的逐项清单与通过率。 今日论文速览 1. TailSteer：连续改图别把旧细节磨掉 TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing | 香港中文大学；商汤；上海人工智能实验室 | arXiv:2611.06741 关键词：多轮图像编辑, 轨迹尾部训练, 在策略监督, 内容保留 前序问题：给人物连续换衣服、改发型，十几轮后连没有要求改变的脸和背景也变了。单次编辑分高，不能保证把输出反复作为输入时仍保住旧细节。 方法直觉：去噪早期负责大结构，末尾仍能修正细小漂移。让早期像原模型一样走，只在轨迹尾部逐渐拉回本应不变的区域，避免为保真牺牲整段生成能力。 本文贡献：冻结原编辑器，用无改动和局部编辑指令生成轨迹，经检查得到保留掩码。目标端点在保留区复制源图，其余区域沿用模型自己选定的编辑结果，不需要人工配对目标图。训练副本在前段拟合原模型速度，后段混合原速度与指向保留端点的速度；监督点来自副本自己实际到达的状态，即在策略训练。缓存早期锚点缩短回放，尾部从固定起点连续走；只反传采样点，不穿过整段回放。推理只用一个训练后的模型，不切模型或附加保真模块。 Figure 5｜TailSteer 在策略训练：分别随机取早期状态和尾部状态；早期监督原模型速度，转向区逐渐混合原速度与指向保留端点的速度。早期从最近的前置缓存锚点回放，尾部固定从转向起点回放；在训练副本实际到达的状态重算目标，仅对所取一步的预测反传。 实验效果：四个底座覆盖 FLUX、SenseNova 和 Qwen，训练各 2000 次更新、有效批 16、8 张 H100。FLUX.2 Klein 9B 每次编辑 50 步、训练从第 46 步开始转向保留目标：Add & Preserve 十轮非编辑区 PSNR 峰值信噪比 13.85→19.96dB，SSIM 结构相似 0.289→0.621，感知距离 LPIPS0.524→0.290。累计对象准确率 31.02%→31.84%，但 MSE-Bench 第五轮成功率 40%→33%；单轮 GEdit 英文 7.47→7.52，中文 7.42→7.39。15–20 轮示例只是可视化，不是平均成功率。 Figure 8｜Add & Preserve 十轮编辑的框外漂移指标。TailSteer 在全部底座降低漂移，保留能力接近或超过 GPT-Image-2.5-Sunburst；虚线表示 TailSteer-Klein 绕开轮间 VAE 重新编码后的进一步收益。该图评价保留，不代表所有编辑成功指标都提升。 批判点评：保留背景与执行新指令是两个目标，起始步越早未必越好，不能称所有指标全面提升。“无需配对数据”仍需 11947 张候选源图、轨迹生成和筛选；并非零数据训练。推理沿用原步数，但未给统一新增墙钟或显存测量。原文给出的项目页本次返回 404，未确认可用代码或权重；本次未运行训练。 2. DualCast：商品和主播两张参考各司其职 DualCast: Dual-Image Conditioned Diffusion Transformers for Digital Human E-Commerce Video Generation | 浙江大学；蚂蚁集团 | arXiv:2611.05825 关键词：参考视频生成, 双图角色分离, 区域加权, 电商数字人 前序问题：拿商品图和主播照片生成展示视频，模型可能只认商品，把人物挤出画面；也可能人物很像，包装文字却变了。两张参考承担的职责不同，直接混在一起会互相争抢条件。 方法直觉：给“卖什么”和“谁来卖”固定入口：商品放序列前端，人物放后端，中间才生成视频；训练时对商品和脸部错误多扣分。 本文贡献：以 Wan2.2-I2V-14B 扩散 Transformer 为底座。VAE 变分自编码器分别把两张图压为潜变量，固定在时间序列两端；只去噪、监督、解码中间视频，不输出参考帧。CLIP 图像语义编码各 257 个 token（特征单元），与文字一起做交叉注意力。背景、商品、脸和交叠区损失权重 0.5/2/2/3；按 2:1:1 概率训练双参考、仅商品、仅人物。保留底座高低噪声双专家分工，在各自噪声区间微调。训练集 1 万段含合成视频，非 1 万段真实拍摄。 Figure 2｜DualCast 总览。商品和人物分别 VAE 编码，固定于扩展潜序列前后边界；仅中间视频潜变量去噪、监督及解码。两参考的 CLIP 嵌入与文字一起作交叉注意力上下文。商品与脸掩码决定区域加权，条件丢弃让同一模型支持双图、仅商品、仅人物三种输入。 实验效果：独立 150 组留出商品/人物，生成 720×560、81 帧；不兼容方法用最接近比例。五维感知分由多模态模型按 0–5 打分再除 5，平均 0.9848，对 VACE0.9224；脸身份指标 ID-Adj0.8517，对底座 0.8206、Wan2.7 的 0.8498。11 个单指标平均名次 1.73，非 11 项全胜。两阶段各在 128 张 A100 训练 8 小时。附录推理统计混合六个方法，不能把双参考均值 867 秒直接归给 DualCast。 Table 1｜语义一致、五维感知质量和视频质量的定量比较。感知原分除 5 归一到 0–1，5D Avg 是其算术平均；平均名次计算 11 个独立指标并排除 5D 平均，并列用平均名次。只有平均名次越低越好，其他越高越好；†为本方法底座，粗体为最优、高亮为本方法名列第一的指标。 批判点评：这是双图条件下新生成展示视频，并非保持任意原视频动作的参考编辑。自动时序诊断仍标出 14/150 商品变形、13/150 重影，属于模型疑似标记而非人工确诊；零身份漂移标记不等于绝不换脸。主表高分依赖固定模型裁判，跨域广告和真实直播仍需核验；原文未给可确认独立代码地址。 3. LiveFoley：看着视频现场补音效 LiveFoley: Dynamic Real-Time Video-to-Audio Generation for Immersive Interactive Worlds | 莫纳什大学；南京大学；生数科技；坦佩雷大学；阿里巴巴；清华大学 | arXiv:2611.05988 关键词：流式视频生音频, 滑动窗口, 因果扩散, 延迟预算 前序问题：画面里敲了一下门，声音迟半拍就出戏。等整段视频再配音能看全动作，但无法边玩边听；把视觉窗口缩短又容易看不清动作。 方法直觉：保留一整窗历史，让窗口尾端贴住最新帧，只输出新到帧的特征。音频去噪再看看已经生成的声音，既不断上下文，也不用等未来。 本文贡献：冻结 Synchformer 视觉编码器，每个窗口 16 帧，25 帧每秒下覆盖 0.64 秒；步幅 1/2/4 个 token 分别只需等待 0.08/0.16/0.32 秒。两层 Synchronizer 把不同步幅特征对齐，音频后端统一每秒 12.5 次生成、每段 80 毫秒。History LocDiT 局部流匹配头读前两段干净声音；可选 Future-Warmup 同时预热下一段，用当前隐状态加未来视觉近似条件，下一段丢弃并在下一轮重生，额外等 80 毫秒。因果声学 VAE 支持 16kHz 单声道和 48kHz 立体声。 Figure 2｜流式视觉前端。每点表示一个位置的 token。（a）缩小分块窗口会减延迟也缩感受野。（b）窗口尾贴最新帧，保持完整历史感受野，只等一次步幅；黑点为新输出，灰点为历史、虚点为首帧填充，只供编码上下文、不输出。（c）Synchronizer 把不同步幅的 token 映射到共享空间，一个后端切换步幅。 实验效果：约 2000 小时、74.5 万段训练；VGGSound 完整测试中，48k 版 DeSync 声画错位代理 0.48，离线 MMAudio-L0.47，低更好。16k 版 PANNs 特征分布距离 9.56，对离线 8.48，仍有质量差距。人听平均意见分：音质 MOS-Q3.23、同步 MOS-A3.58，离线同步 3.79。单 A800、步幅 1 默认 History 首段可播放音频 156 毫秒，包含 80 毫秒前端等待；236 毫秒为在该测量上加 80 毫秒未来等待的估算。步幅 4 让前端调用频率减为四分之一，不等于全系统快四倍。 Table 1｜VGGSound 系统比较。前端等待为编码新分块或步幅前必须缓冲的视频时间；离线模型先看完整段。在线 MMAudio 是作者免训练改造。粗体/下划线为各在线或离线组最好/次好；灰色为无官方权重的引用结果、不排名。WorldSonus 的 0.10 秒是 30 帧每秒下 3 帧；LiveFoley 的 16/48kHz 均默认 History LocDiT、步幅 1。 批判点评：模型必须对已听见的声音立即承诺，突发事件与长程声学延续仍受因果约束；不能把在线领先写成整体胜过离线。感知延迟阈值来自特定用户实验，不保证节奏游戏所有人都无感。官方项目页提供演示，官方代码仓库目前只写 Code coming soon；本次未运行模型测时。 4. NanoKV：视频历史压小但不承诺同比提速 NanoKV: High-Ratio KV Cache Compression for Autoregressive Video Generation | 浙江大学；英伟达 | arXiv:2611.06377 关键词：视频缓存压缩, 键值分工, 低比特残差, 混合维度注意力 前序问题：长视频越续写，历史键值缓存越占显存；一刀切压缩会忘掉场景。即使存小了，注意力前再解回全尺寸，也可能更慢。 方法直觉：把相似历史共有的内容存一次，剩余差异才压缩；负责“查哪段”的键要保住注意力输出，负责“取什么”的值要保住低比特内容，两者分开训练。 本文贡献：冻结视频主干，在线聚类中心共享内容，把多头与通道合并后的残差投影为 INT4 四比特系数，同时存中心索引和尺度。键解码器按连续网络块输出对齐；值编码/解码器在实际量化路径上拟合。基础版还原全维键值后计算注意力，Fast 版另拟合低维读取器，敏感层、头或历史保留全维，按统一 softmax 归一合并。48 条轨迹拟合，每种设置用 100 张图×4 相机动作即 400 段视频评估；拟合不包含测试图。 Figure 4｜NanoKV 总览。（a）多头通道联合编码，把历史存为系数和共享中心，基础版全维读取，Fast 版混合维度读取。（b）残差编码为 INT4，解码后加回中心。（c）键解码器用块输出对齐，值编码解码器用量化感知拟合。（d）固定策略把历史分到全维/低维注意力；低维分支先降低查询维度，恢复输出维度后用 LSE 即对数求和指数统计合并。 实验效果：单 A100 的 HY-WorldPlay：计入附加存储的 KV 由 20.96GiB 到 0.80GiB，有效 26.09 倍，名义系数 32 倍。对同输入未压缩输出的 PSNR19.56dB，比 KVTC18.56 高 1dB；它不是对真实视频的保真。端到端加速比基础版 0.96、Fast1.06，1 以下更慢；Fast 的 PSNR 降为 19.04。进程峰值 NVML 显存 58.70→38.56GiB，并未压成原来的 1/26。另一 LingBot 主干 Fast 加速比仍仅 0.98。 Table 1｜质量、压缩与效率比较。括号内是名义系数压缩率，有效 KV 压缩含附加存储；总 KV 单位 GiB。PSNR/SSIM/LPIPS 对同输入未压缩生成比较，非真实视频；VBench 评整体质量。原模型列绝对端到端秒数，其余列原耗时除方法耗时的加速比，低于 1 表示更慢。 批判点评：场景一致性、缓存大小、总显存与墙钟必须分别看。Fast 省的是历史注意力计算，后期近似误差还会累积；编码拟合也不是免训练量化。官方代码可见三底座集成、拟合和推理说明，未在本机复现其 GPU 结果。 5. NextGAN：先教判别器指对生成方向 NextGAN: Towards Simple and Scalable GAN Training for Image and Video Generation | 西湖大学；剑桥大学；浙江大学；独立研究者 | arXiv:2611.06270 关键词：少步生成, 梯度回归, 冻结表征, 对抗训练 前序问题：判别器只告诉生成器“像不像”，没有明确教它往哪改。一步生图没有后续纠错机会，训练给出的梯度方向尤其关键。 方法直觉：在真实与生成特征之间选中间点，直接教判别器的输入梯度指向真实特征。生成器仍沿这个标量势函数上升，不把整套采样流程换成新的求解器。 本文贡献：同条件下独立配对参考/生成特征，在线段插值点回归两端位移。标量 critic 是可训练打分势函数，输入梯度才是被监督的方向；固定生成器时，这等价于带梯度能量惩罚的对抗目标。图像用冻结视觉编码器，视频用关掉 LoRA 低秩适配器的原 Wan 主干作表征，再加势函数头；训练时交替更新判别器与生成器。视频随机回放长度，只反传最后一次去噪，不需要在线教师速度或预存教师轨迹。 Figure 2｜NextGAN 如何教生成器。生成和真实特征的插值点上，先把标量 critic 的输入梯度训练为两端位移，端点停止梯度；再固定 critic，让生成特征沿势函数上升。曲面画的是负势函数，所以上升看起来向下。两次更新在训练中交替。 实验效果：ImageNet256×256 潜空间 DiT-XL/1 一次网络计算 FID 分布距离 1.54，对抗形式 1.36；像素 JiT-B 为 2.87，低更好且设置不同。832×480×81 帧，Wan2.1-1.3B 一次/两次/四次网络前向的 VBench 总分 80.80/83.13/82.72；两次比 rCM 高 1.25 分、AnyFlow 高 0.47 分。14B 两次为 82.73，同规模 AnyFlow 仍领先。步数/前向不是实测墙钟，未据此宣称同比倍速。 Table 2｜832×480×81 帧的文字生成视频 VBench 结果，按参数规模和 NFE 网络计算次数分组。是否需要在线教师评分单独标注；同一步数和规模下比较，不把 1.3B 排名外推到 14B。NextGAN1.3B 两次总分 83.13，14B 两次 82.73，14B 仍有更强对照。 批判点评：更多步数没有保证更高总分；不依赖在线教师也仍需预训练主干、冻结特征反传与交替对抗优化。理想粒子动力学收敛条件不能当有限神经网络必然收敛。原文所列 LINs-lab/NextGAN 仓库，本次 GitHub 读取返回 404，代码可获取性未确认，不宣传能立刻复现。 6. NitroFusion2：一步生图也得把字写对 NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers | 萨里大学；Turing Elite Research Labs | arXiv:2611.05648 关键词：对抗蒸馏, 文字流监督, 按属性判别, 少步图像生成 前序问题：一步画海报容易让字母糊成纹理。只用图像特征区分真假，会奖励画面锐利，却不一定检查文字是否真的拼对。 方法直觉：联合注意力里的文字 token 已经读过图像，让它来当判别器的观察口；每次只问字体、物体或布局等一个方面，监督就能对准对应错误。 本文贡献：学生和冻结判别主干都从 Z-Image-Turbo 初始化。TSAD 即 Text-Stream Adversarial Distillation，在文字流中间注意力输出接轻量判别头，保留图像流头；独立文字编码器没有读图，不能直接提供这种图像梯度。ACD 即 Aspect-Cued Discrimination，按图像标注文字、物体、风格、背景、动作、布局六方面，加完整描述共七类提示，每步均匀抽有效项。学生仍读原提示，裁判读抽到的提示并路由专门头，共用一次主干计算。参考训练图 10 万张，由 12 步底座生成，中英各半。 Figure 2｜TSAD 与 ACD 架构。TSAD 在文字 token 中间状态接判别头，并保留常规图像流头。ACD 从图像构造有证据支持的属性字段，每训练步抽一项作为裁判条件并选择对应文字头，让判别聚焦该属性。 实验效果：6B 即 60 亿参数，一个模型支持不同步数。一次前向 NFE=1 时，LongText 英文 43.34、中文 47.78，对 TwinFlow29.18/36.85；GenEval 组合正确 75.86、DPG 复杂指令 86.48。两次文字分 76.03/81.95，但 GenEval74.46 低于底座两次 76.53。八次底座文字分 91.74/92.56 仍明显更高；不能把一个指标超过八步理解成整体等质八倍快。 Table 1 和 Table 2｜Z-Image 少步学生与 GenEval 细分，原 HTML 把两表放在同一复合图。参数、NFE、中英文文字渲染、组合、复杂提示和整体质量分别比较；两步 Turbo++为 6B+6B 两套权重。GenEval 保留单物体、双物体、计数、颜色、位置和颜色属性六类，不能把总分替代所有任务都胜出。 批判点评：它把训练信号从局部纹理扩展到提示描述的属性，但极复杂布局仍难；所有消融共 1000 训练步，不等于最终模型总训练预算。两步 Turbo++用两套 6B 权重，不能当成同一 6B 模型对比。尚缺同硬件完整墙钟与峰值显存测量。官方项目页列出官方推理代码、权重和 ComfyUI 流程；推荐两步流程第一步额外用 0.5 强度去蒸馏 LoRA，第二步关掉，复现须区分与主表的采样配置。本次未跑模型。 7. VA-TDM：四步学生要学自己真会走的路 VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation | 香港科技大学；香港中文大学深圳 | arXiv:2611.06796 关键词：速度对抗蒸馏, 轨迹分布匹配, 双形式监督, 四步生成 前序问题：把 50 步教师压成 4 步，学生的中间图仍带噪，直接拿最终干净图再加噪训练裁判，可能学的是另一种分布，给学生错误方向。 方法直觉：沿学生自己走过的每段轨迹监督速度，既用稳定但只约束平均内容的信号，也用更完整但方差高的分布信号，让两者共同教同一个学生。 本文贡献：VAD 即 Velocity Adversarial Distillation，用可学习 critic 估计教师与学生速度差。A 形式从学生干净预测构造低方差速度，匹配条件均值；B 形式跟随中间状态再加噪，连接真实学生分布的 score（对数密度梯度）。两套在线场共用骨干、分输出头，显式输入当前转移终点；混合两种生成器更新并对 critic 输出停止梯度，避免不稳定。教师速度正则需相应修正 critic 比例。先沿学生轨迹做教师常微分方程回归预热，再做各段分布匹配，不只是对最终图训。 Figure 2｜critic 输出是否停止梯度的比较。让梯度穿过未停止的 critic 输出会导致不稳定并崩溃；实际 VA-TDM 采用停止 critic 输出的更新。此图是训练机制证据，不是模型架构图。 实验效果：每次学生生成 4 次网络前向，记 4 NFE。SD3.5-Medium 的 GenEval0.67，对四步 TDM0.61；文字识别 OCR0.59 对 0.57。FLUX.2 Klein4B 的组合 0.80 对官方四步 0.78，同提示图像间 LPIPS 多样距离 0.56 对 0.47，但 PickScore 偏好代理 0.8694 低于 0.8746。教师 50 步的无分类器引导每步有条件/无条件两分支，计 50×2=100 次前向。还扩到 33B 音视频 H3，不能把 100/4 当实测 25 倍端到端加速。 Table 1｜分底座的四步系统评估。每底座少步配置最好/次好用粗体/下划线标注；保留可核验组合与 OCR、画质、美学及偏好、多样性各列。教师 50 步有条件与无条件两分支计 100 次 NFE，学生四步计 4 次。FLUX 的 PickScore 并非最优，不称全指标领先。 批判点评：共享辅助骨干节省的是两套在线场训练成本，蒸馏本身仍要教师与预热；正文未给统一部署墙钟和峰值显存。A/B 理论匹配依赖精确场等假设，实践停止梯度也有意改变梯度，不能直接套完美收敛结论。官方代码给出 SD3.5 四步学生参考训练；不等于 33B 模型全套训练资产已公开。 8. EmoReward：别让假笑骗过视频奖励 EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL | 香港科技大学；腾讯混元；复旦大学；滑铁卢大学 | arXiv:2611.06518 关键词：情绪视频生成, 奖励校准, 证据有效性, 跨训练记忆 前序问题：“克制的悲伤”不一定需要夸张表情。固定奖励若总偏爱大幅动作，生成器可能挤出假笑和过量肢体运动，把评分抬高却演错情绪。 方法直觉：先把情绪拆成可观察线索，再问每条线索在当前画面是否可信；从一次已完成训练中归纳哪个裁判可靠，用固定权重表指导下一次训练。 本文贡献：Plan 生成情绪脚本，含愉悦度、唤醒度、面部动作单元 AU、身体线索和表达时间窗；Act 只评分已经生成的视频。七个奖励提供器参与融合，色彩和运动强度另作辅助观测，共九通道，不能说九个全进记忆校准。Reflect 按训练阶段、脸置信度、冲突和微妙表达门控，剔除无效证据后归一权重；RewardMemory 从完成的参考轮次估相关性，导出有界乘数，下一轮固定不变。只有生成器接受强化学习梯度，裁判和记忆不在线更新。 Figure 2｜EmoReward 在当前视频和跨训练轮次校准情绪证据。Plan 把意图变为评价准则，Act 返回分数和证据有效性；Reflect 把当前门与记忆乘数结合，对活跃提供器归一。Evolve 从已完成参考训练估计情境可靠性，构造下一轮固定乘数。情绪奖励补充原视频奖励；GRPO 更新生成器，提供器与记忆表保持冻结。 实验效果：HunyuanVideo1.5、批 2、每提示 4 个候选，独立 302 个情绪提示；在 SAGE-GRPO 上 VideoAlign 总体加 0.5645。VideoAlign 也参与优化，因此该增益不是独立情绪真实性证明。18 人对 30 提示三档评价，每方法每维 540 个判断：情绪“好”60.0%对 SAGE53.0%，时序 54.3%对 51.5%，画质 57.2%对 45.0%。它们是好评比例，不是配对胜率；自动偏好与文本对齐变化不全为正。 Table 3｜18 位参与者对 30 个提示进行情绪保真、时序连贯和画质三档评价；每方法每维 540 次判断。粗体表示每维最高 Good 比例，百分比保留一位小数。保留 Bad/Normal/Good 完整分布，好评比例不当成配对偏好胜率或独立样本人数。 批判点评：记忆可靠性与原评价器有信息重叠，仍缺匹配全局记忆对照来单独证明按情境校准的收益。人评需按参与者和提示处理重复判断，不能把 540 次当 540 个独立人；跨图像底座部分预算也不等。七路评分增加后训练成本，未报告统一开销。官方仓库已可读，未运行其中训练流程；名称“自演化”不代表运行中自己重训奖励模型。 9. VAR-Q：按视频生成块保护缓存大数 VAR-Q: Tuning-free KV Cache Quantization for Visual Autoregressive Image and Video Generation | 加州大学圣巴巴拉分校；明尼苏达大学 | arXiv:2611.05380 关键词：视觉自回归, 免校准量化, 块通道分组, 比特打包 前序问题：把语言模型的缓存量化搬到视频上，一样的四比特可能忽然让画面崩掉。视觉模型一次生成一帧或一尺度，数值结构不等于逐字生成的连续 token 流。 方法直觉：少数大数承载关键功能，量化一组时不能把大数与小数混在同一标尺里。沿特征通道和生成块同时切分，直接借用采样循环已有边界。 本文贡献：分析发现键的大数受投影权重、归一化通道增益和 RoPE 旋转位置编码共同影响，值更依赖输入。对每个“通道×生成块”单独设对称量化尺度，默认子块比例 r=1；减小 r 在块内再细分，增加尺度存储但不需检测或校准。键和值共用分组规则。Triton 内核把低于 8 比特的整数实际打包到字节、读取时解包，避免只把数值量化却仍按 16 比特存。覆盖逐尺度图像/视频和逐帧视频九模型，无需微调主干。 Figure 8｜VAR-Q 流程。缓存按通道与生成块两个轴分组，各组量化并由位打包内核压缩存储；生成块边界来自模型的逐尺度或逐帧循环，不另检测大数。 实验效果：A10080GB 上，Self-Forcing1.3B 的 5 秒视频、批 12，INT4 缓存 67.49→16.95GB，省 74.88%；VBench 总分 82.94→80.99，低 1.95 分。LongLive1.3B 的 30 秒、批 20，INT4 总分 80.92→79.60；INT6 为 80.94，但缓存省 59.25%。Infinity-8B 在 INT3 的组合准确 83.28，距 BF16 的 83.54 低 0.26 分。GB 是十进制容量，别与 NanoKV 的 GiB 混算；各主干位宽和序列不同。 Table 4｜逐帧 Self-Forcing5 秒与 LongLive30 秒生成，列键值缓存 GB 及相对 BF16 降幅。质量粗体/下划线为最好/次好；分别保留 VBench 主体、背景、平滑、动态、美学和总质量，以及视觉模型的画质、动态与文字评分。Self-Forcing 批 12、LongLive 批 20，不能横跨两个模型直接比容量；INT4 质量存在退步。 批判点评：不能把“最高 78.5%省缓存”与“几乎不掉质量”当所有四比特配置都成立；视频低位宽仍有明显取舍。最大 6 倍批量是容量受限下的批大小，不是每条视频六倍提速；此处不据摘要上限外推吞吐。原文只说早期版本曾在 ICCV2025 工作坊展示，不标主会接收，尚未核到可用官方实现链接。 10. LongBanana：三十多张参考能否真正用对 LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis | 华南师范大学；不列颠哥伦比亚大学；Vector Institute；加拿大 CIFAR AI 讲席；卡内基梅隆大学；滑铁卢大学；可灵研究；马里兰大学；清华大学；香港科技大学；香港大学 | arXiv:2611.06856 关键词：多参考图像生成, 关系约束, 原子清单, 生成评测 前序问题：把 32 张人物和物品参考交给生图系统，画面好看却可能漏人、串身份或站错位置。一个整体美学分数看不出究竟漏了哪项要求。 方法直觉：把“谁、什么属性、和谁有什么关系”拆成图结构，再变成可核查清单。评估器逐条找证据；生成工作流则能检查中间图，决定补查参考或修图。 本文贡献：90 任务按 3×3 分类，每例约 32 张参考、20 条约束，总计 4670 个原子检查。检查按内容、关系绑定和全局约束分工，评分 0/1/2 表示未满足/部分或不确定/满足；负项要求“不出现”时，正确缺席给 2。RPR 工作流依次取证推理、计划执行、反思修图；图像仍由生成模型输出，非纯语言推理榜。人评覆盖 90 任务×10 配置=900 图、46700 次检查，其中 15%即 7005 项双标，一致率 89.4%、加权κ0.83。 Figure 4｜LongBanana-Eval 流程。解析器为每项拼装相关参考证据，路由给内容保真、关系绑定、全局约束三类裁判；裁判检查证据、按需调用核验工具，返回标签及支持轨迹。逐项平均得到各维及整体分。 实验效果：固定 Nano Banana2，OpenClaw 加 RPR 使非加权清单均分 76.1→78.4；P@70%即难度加权得分至少 70 的任务比例 40.0%→47.8%，与 OpenCode 最简配置并列，非唯一最好。OpenCode 加 RPR 均分 77.3→77.8 但通过率 47.8%→43.3%。自动清单裁判与人类三档精确一致率 66.81%，普通单次视觉模型 50.99%，仍有 24.81%完全相反的 0/2 错误。 Table 2｜留出 90 任务，固定图像底座 Nano Banana2，只比较生成外壳与工作流。九子类和 Overall Avg 是 0–100 非加权清单平均，P@70%是难度加权得分至少 70 的任务比例；均越高越好，粗体/下划线最优/次优。比较直接、分解、最简代理和加 RPR，不把均分与通过率混同。 批判点评：这是复杂条件图像合成评测，不能因有智能体就外推通用代理能力。直接分解基线能看到构造关系图，代理看不到，比较需保留该不对称。RPR 多次生成、检查和调用工具，未给同成本结论；均分涨也可能通过率跌。官方项目页及仓库明确声明已被 NeurIPS2026 接收，arXiv 评论标评测数据轨道。公开仓库另有新接口，与论文固定实验配置并非逐项相同，不能直接当原表复现。 趋势观察 保留与编辑要同时验收 TailSteer把十轮背景PSNR推至19.96dB，却在所选起点让第五轮成功率40%降至33%；不动的地方更像，不等于该改的都改对。 压缩比不是整机倍速 NanoKV有效KV压26.09倍，基础版墙钟反而稍慢；VAR-Q省的是低比特缓存。容量、峰值显存、吞吐与每段延迟分别计量。 少步学习的监督口在移动 NextGAN教判别梯度方向，NitroFusion2读取看过图像的文字状态，VA-TDM监督学生真实中间分布；少步不是只删采样循环。 评分要回答具体问题 EmoReward的人评好评与优化器分数不同；LongBanana均分78.4也只有47.8%任务跨过加权70分门槛。报告分布、协议与成本，才知道能否用。 今日讨论 TailSteer 在 FLUX.2 Klein 从第 46 步加强保留，十轮非编辑区 PSNR 由 13.85 升到 19.96dB，但 MSE-Bench 第五轮成功率 40%降到 33%。若用于连续换装，应如何验证保留背景与执行新指令同时成立，避免把没改对但更像原图的结果误当成功？ 人工智能炼丹君 整理 | 2026-11-06

AIGC 每日速读|2026-11-05|吉大换主角也留下原表情ReXMo 今日 AIGC 论文速览 今日共 10 篇 · 参考视频编辑 1 篇 · 高分辨率与图内文字编辑 2 篇 · 视频续写与像素生成 2 篇 · 图像蒸馏与推理搜索 2 篇 · 可控语音与空间音频 2 篇 · 数值属性控制 1 篇 重点论文标题列表 ReXMo（吉林大学）：换了主角也要留下原表情 FLASH（复旦大学）：小图定编辑大图接着补细节 FlowTranslator（复旦大学）：把招牌换成译文还留下街景 ReCR（斯坦福大学）：长视频该记住哪些旧画面 U-JiT（Meta）：不先压视频也能补回高频 选读入口：需要参考照片换视频演员，先读 ReXMo，特别区分真实换角和往返重建；要改 4K 海报接着读 FLASH 的 309.69/215.31 秒取舍，改街景招牌读 FlowTranslator 的固定译文协议。续写越长越跑偏看 ReCR 的历史选择与显存增长，研究基础架构看 U-JiT 的 128/256 分辨率条件。做四步生图训练读 StepX-OPD；语音服务读 TTSonic 的内容/音色拆分，空间音频编辑读 Spatial Transfusion。愿多花推理算力再看 PATTS；需要明确属性刻度最后看 ScoreDial 的独立审计，避免把代理分数当物理事实。 今日论文速览 1. ReXMo：换了主角也要留下原表情 ReXMo: End-to-End Video Character Replacement with Expression and Motion Preservation | 吉林大学 | arXiv:2611.04633 关键词：参考视频编辑, 角色替换, 成对三元组, 表情适配器 前序问题：把双人表演的一位演员换成参考照片中的人，动作骨架相同，嘴角和眼神却可能变了；两人靠近时，表情还会串给另一人。只给姿态或挖空人物区域，难以保住这些细节。 方法直觉：先造出“动作与场景一样、身份不同”的视频对，再倒过来训练：让模型从换过人的视频恢复原演员。全身替换学好后冻结它，另给每位演员接一条表情信息通道。 本文贡献：底座为 Wan2.2-TI2V-5B。训练三元组是合成驱动视频、原视频和原身份参考帧；驱动潜变量与带噪目标按通道拼接，参考图另编码为上下文 token（特征单元）。冻结预训练主干、自编码器和文字编码器，只更新秩 80 的 Motion LoRA 低秩适配器及扩展输入层。第二阶段用约 3 万段 512×512 对齐脸部片段，冻结运动提取器，每 5 个扩散 Transformer 块插入一次表情交叉注意力；仅训 Face Encoder 和 Face Adapter，按演员对应关系注入。两阶段均用 97 帧、24 帧每秒片段，各训 1 万步；Wan2.2-Animate 只用于造训练数据，不参与最终推理。 Figure 2｜ReXMo 两阶段：第一阶段用合成跨身份配对三元组学习参考引导角色替换；第二阶段冻结替换模型，用对齐脸部序列训练表情增强适配器，保留细微表情。 实验效果：合成跨身份基准先由原演员 A 生成新身份 B，再恢复 A，与原 A 比较，属于往返重建协议。单人 Pose-DTW（姿态动态时间对齐距离，低更好）由 SCAIL-2 的 0.0263 降到 0.0258，PCK@0.2（容差内关键点比例）0.9879→0.9890；多人距离 0.0314→0.0312。表情适配消融的 Expr-LMD（表情关键点误差）0.3415→0.2905、LVD（关键点速度差）0.0389→0.0288。人物替换感知评分中画质 4.32、时序 4.12、外观 4.39，但运动平滑 3.90 低于 SCAIL 的 3.92。 Table 1｜合成跨身份替换基准的定量比较，分单人和多人。原视频 A 先改为 B，再恢复 A，用姿态动态时间距离、关键点正确率、关节速度及加速度误差衡量动作，用 PSNR、LPIPS、SSIM、均方误差衡量重建。各列箭头给出方向；这是往返重建而非任意换角的成功率。 批判点评：提升包含很小的重建差值，往返协议也不能等同任意真实视频换角的成功率。多人对应路由不是无条件解决遮挡；论文没有交代足够清楚的测试规模、统一推理墙钟与峰值显存，不能称实时或零额外成本。50 人偏好实验是配对选择，不当成 50 条视频。原文承诺后续公开数据与代码，未给可核验实现地址；标题机构来自作者地址脚注。 2. FLASH：小图定编辑大图接着补细节 Efficient and Faithful High-Resolution Image Editing with Sparse Cross-Resolution Denoising | 上海创智学院；复旦大学；阶跃星辰；香港中文大学 | arXiv:2611.04416 关键词：高清图像编辑, 跨分辨率去噪, 局部注意力, 渐进推理 前序问题：把海报改到 4K，直接放大模型网格会让注意力计算暴涨；先在 1K 修改再交给超分模型，又可能修清了纹理却偏离原来的编辑目标。 方法直觉：保留一条看完整张小图的编辑轨迹，高分辨率分支沿着它补细节。大图只读附近的源图和目标区域，先保证修改方向一致，再花计算恢复局部纹理。 本文贡献：以 FLUX.2 Klein Base 4B 为底座，在 VINS-120K 实际 131010 个样本上训练。冻结 1K 分支，只给高分支加秩 32 的 LoRA。信息单向从小图流向大图；大图查询读取对齐的小图带噪目标邻域，以及本尺度源图/目标的 Halo 扩展窗口。主配置小图半径 R=3，线性放大 n=2/4 对应 Halo 宽 h=Rn=6/12 个潜空间 token。按分辨率调整噪声时间，YaRN 扩展旋转位置编码。渐进版前 12 步只走 1K，再将干净估计解码、缩放、重新编码和加噪，余下 16 步由同一编辑器完成，非外接超分。 Figure 3｜FLASH 总览：冻结 1K 分支锚定全局编辑，局部高分辨率注意力恢复细节，渐进推理以 1K 去噪前缀替代早期高分辨率步骤。 实验效果：1K/2K/4K 在此分别为 1024×1024、2048×2048、4096×4096 像素。509 条、12 类指令的 VINS-4KEval，质量按编辑类型宏平均。4K 主配置 28 步、单图，直接/渐进耗时 309.69/215.31 秒，含分辨率过渡但不含模型加载，减少 30.5%；HaarPSI 全图感知相似 0.4067→0.3775，保留区结构相似 mSSIM 为 0.7621→0.7369。独立 R=1 前向诊断 17.33→4.13 秒，注意力 15.2→0.60 秒，分别 4.2 倍和 25.3 倍；这不是主配置 R=3 的端到端加速。 Table 1｜2K/4K 主比较，粗体/下划线为最好/次好，时间不排名。HaarPSI 用全图，mPSNR/mSSIM/mMSE 用保留区，mLPIPS 用编辑区，整体编辑时用全图。阴影行不接外部超分；时间是含完整生成、不含加载的秒数。直接/渐进 4K 为 309.69/215.31 秒，质量存在取舍。 批判点评：源图相似不等于编辑完成：这些指标主要衡量未改区域和源输出差异，不能证明每条指令都执行正确。扩大邻域并非各指标单调变好，渐进也有可见质量代价；未报告可统一比较的峰值显存。原文指向的 FLASH 仓库在本次 GitHub 读取返回 404，按暂不可获取报告，不宣称代码已开放。 3. FlowTranslator：把招牌换成译文还留下街景 FlowTranslator: Training-Free In-Image Machine Translation with Flow-Based Editing | 复旦大学；上海市多模态具身智能重点实验室 | arXiv:2611.04303 关键词：图内翻译, 免训练编辑, 噪声解耦, 位移反馈 前序问题：翻译照片里的招牌，文字翻对还不够：字要写进原位置，街景不能重画。源图与目标只差几个小字时，两条去噪路径太像，模型又容易原样输出。 方法直觉：先在文字区域稍微松开两条路径共用的噪声，让修改启动；等译文字形开始出现，再把已经形成的修改位移放大一点，末段停止放大以修稳笔画。 本文贡献：冻结 60 亿参数 Z-Image-Turbo。PP-OCRv5 识别文字和框，每图调用一次 Doubao-Seed-2.0-lite，生成原文/译文描述。每步用同一扩散 Transformer（DiT）分别预测源与目标速度，只在扩展 15%的文字掩码内累积速度差。RCR 即 Region Coupling Release，早期部分解除噪声相关，强度 0.5，从噪声时间 0.6 到 0.3 关闭；CE 即 Coupling Expansion，中段按 sin²时间门放大已有位移，强度 0.4。共 50 个求解步、前 45 步编辑，速度差增益 1.3；每步需源/目标分支，免训练不等于一次前向。 Figure 2｜FlowTranslator：OCR 抽源文字，冻结语言模型生成目标译文描述；冻结 VAE 把源图编码成潜变量。每步同一冻结 DiT 预测源/目标条件速度，速度差更新编辑状态；RCR 在文字区扰动目标噪声，CE 将已累积位移放大再反馈。最终编辑潜变量解码为译文图片。 实验效果：PRIM 每方向 340 条真实文字条、5 种英译语言，EasyOCR 回读，BLEU 衡量译文词组匹配、COMET 估计翻译质量，均越高越好。对相同设置的 Masked FlowEdit，平均 BLEU16.9→20.6、COMET53.3→57.2；CE 单独 BLEU20.21，完整 20.57，主要收益来自位移反馈。1280 张 ScenePair 英译中，固定各方法文字框与目标译文，准确率 33.44%→40.08%，结构相似 SSIM0.9533→0.9509；这隔离的是指定译文渲染阶段，不是整条识别翻译链路。 Table 2｜PRIM 的 EasyOCR 回读评测。BLEU 使用两套官方参考译文，COMET 使用 Google 参考译文，平均值由未四舍五入的各方向数值计算。五种英译方向每种 340 条，完整方法平均 BLEU20.6、COMET57.2；英译俄仍是明显弱项。 批判点评：俄文字形仍弱，英译俄 BLEU 仅 4.6；TTV 合成文字图基准的大字上的增益很小，且源图 SSIM 低于专门训练方法。掩码外潜变量不变也不保证解码后每像素不变。实验用单 RTX4090，但未给完整时延或峰值显存；外部 OCR 与商业语言模型同样有成本。未核到本方法官方实现，不将其引用的 FLUX 仓库当成源码。 4. ReCR：长视频该记住哪些旧画面 What Remains in Sight? Autoregressive Video Decoding as Representation-Guided Context Rewriting | 斯坦福大学 | arXiv:2611.04164 关键词：自回归视频生成, 历史选择, 位置重编号, 全历史缓存 前序问题：视频不断往后续，最近几帧看得清，开头的人和场景却忘了。盲目拉长注意力窗口很贵，而同一长度的窗口里，也可能塞满重复的近景。 方法直觉：每次续写前从过去挑一小组画面：既像整段故事、又能补充近期没出现的信息，还要保住早期与末端线索。挑完按时间顺序重新排成紧凑序列供模型读取。 本文贡献：不训练主干，每块生成 3 个潜帧。取第 20 层（从 0 计）的干净历史前向特征，逐帧平均并归一化，只计算一次。全局与近期摘要分别作早期/近期加权；贪心选择同时考虑全局相似、近期冗余、首尾覆盖和已选帧之间的重复。再最多交换一帧以扩展空间布局范围。全部层保存未加位置编码的键/值，每块选好历史后，在紧凑时间位置重新施加 RoPE 旋转编码。可见历史预算不超过原生窗口，不增加解码器前向，但保留所有过去键/值以便重选。 Figure 2｜ReCR 不暴露全部历史或固定近期窗口，而用单元表示给历史打分，选择紧凑可见上下文。选择偏好表示效用、首尾覆盖，并减少重复；图中未画出的空间范围交换每步最多一次。之后按紧凑因果轴重编时间位置，再送给因果视频解码器。 实验效果：128 条 MovieGen 提示、四步因果主干，在 30/60 秒 VBench-Long 上报告。Self-Forcing 的综合质量 60 秒 78.19→81.60，Causal-Forcing77.41→82.08；该分数由七个质量维度汇总，不是完整 VBench 总分。并非单项全胜：Self-Forcing 主体一致 96.67→96.43。单 H200、批 1 的 60 秒续写，Self-Forcing 每块 728→712 毫秒，Infinity-RoPE 却 667→710 毫秒。300 秒是超长展示，主要系统量化是 60 秒。 Table 1｜VBench-Long 的 30 秒/60 秒评测，每格按两时长列出，分数越高越好；粗体和下划线为最好与次好。综合质量来自所列七个质量维度；动态程度、主体/背景一致、闪烁、运动平滑、美学与成像质量分别保留，不将总体增益说成每项全胜。 批判点评：固定可见 token 不等于固定显存：全历史 GPU 缓存随时长线性增长；官方例子 240 潜帧、30 层、每帧 1560 个 token、12 头、头宽 128、16 位数需约 69GB，仅是缓存估算。取特征、选择与重排也有计算。官方代码仓库含选择器、缓存与合成解码器示例，实际接入视频主干仍需自己改注意力接口，不冒称已提供完整基准一键复现。 5. U-JiT：不先压视频也能补回高频 Pixel-space video generation with U-JiT | Meta FAIR；索邦大学；Valeo.ai | arXiv:2611.04764 关键词：像素视频生成, 多尺度Transformer, 高频细节, 采样配方 前序问题：视频先压到潜空间，会损失细节；直接在像素上生成，又常把大块时空 patch（图像分块）投影成太窄的特征，细纹理像被切掉了一截。 方法直觉：沿模型深度先细后粗再细：外层的小 patch 看清局部，内层的大 patch 和宽通道处理语义，再通过跳连还原。让同一个生成模型承担原先自编码器负责的细节工作。 本文贡献：U 形 Transformer 在不同层改变时空 patch 大小，用线性投影和时空重排下采样/上采样，每尺度一条残差连接。外层注意力按 8×8×4 窗口分块，像素层再将 token 压缩后计算注意力以控制浮点运算。预测干净视频、用速度误差训练，另加 LPIPS 学习型图像特征距离作为感知损失。采样调整时间分配，把更多步骤留给低频结构；使用 CFG（组合有条件/无条件预测的引导），仅在 0.1–1 时间区间启用。潜空间基线也调引导和时间偏移，避免把配方收益全算成架构收益。 Figure 3｜U-JiT 架构总览。编码与解码块按计算量匹配主干中的标准 JiT 块；外层小 patch、内层大 patch，通过下/上采样与跳连同时保留细节和语义。 实验效果：Kinetics-600、128×128，5 帧条件、生成 12 帧但评估接续 11 帧。XL 版 5.87 亿参数，单前向约 1.3 万亿次浮点运算，FVD（视频分布距离，低更好）0.61，JiT 为 0.71、此前 WaiT 为 0.84；相对后者降低约 27%，最强同训潜空间对照 0.62。逐帧 FID 图像分布距离 3.15，Wan2.1 潜空间版 11.05。256×256 类别生视频生成 65 帧，FVD3.00 对最佳潜空间 3.31；每条切 4 段 16 帧，5 万视频合计 20 万段用于评分。 Table 2｜5 条件帧续 12 帧，128×128、空间 8×8 时间 4 的内部压缩，比较 B 与 XL 规模。FLOPs 为单前向且不含潜模型解码器，Pixel 勾叉区分像素/潜空间；实际续写评估 11 帧，生成多一帧用于 patch 对齐。U-JiT-XL 的 FVD0.61、FID3.15，对照口径不能外推为高清文字生成。 批判点评：这里的 f32t8 表示内层 patch 空间 32×32、时间 8 帧，不是另训视频自编码器；也不是已经验证 4K 开放文字视频。FLOPs 只计单次前向，潜模型解码开销没计入，不能据此推断完整墙钟或显存更省。高分辨率主实验需 400/600 轮训练，成本不能忽略；未核到本方法公开实现，原文引用的 JiT 代码属于基线。 6. StepX-OPD：四步学生直接向多个老师学 StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models | 阶跃星辰；西湖大学 | arXiv:2611.04386 关键词：多教师蒸馏, 四步生图, 在策略状态, 低噪声回归 前序问题：先把画图、写字、听指令几位老师合成全步模型，再压成四步，第二阶段可能把第一阶段刚学到的能力丢回去，训练也得排队等。 方法直觉：让学生从一开始就按四步走，每次在自己真正会经过的状态上请相应老师纠错；靠近干净图像时，再直接对齐速度方向，少绕一段长轨迹。 本文贡献：在策略 OPD 指用学生自己产生的状态教学。每个训练批只来自一种能力数据，静态路由到对应冻结教师，不混平均教师输出。四段轨迹每轮随机内部时间点，在相邻状态间插值，再按精确前向加噪分布构造监督点；用轨迹分布匹配 TDM 和低噪声速度回归共同训练，回归权重 0.5。前 200 步由初始学生自蒸馏预热，之后接 3 位教师。SD3.5-Medium 与 FLUX.1-dev 分别实验，秩 32 低秩学生，8 张 H800、全局批 256。 Algorithm 1｜StepX-OPD 主配置训练流程：按数据源选批，预热后路由冻结专长教师，学生四步轨迹随机内部时间点；在相邻状态间插值并重新加噪，同一教师提供分布匹配和低噪声速度回归目标；学生与分布评分器分别更新。保留原算法的输入、循环和回归开关。 实验效果：512×512 下，四步模型的四指标标准化 Average 在 SD3.5 为 0.8901，顺序 DiffusionOPD+TDM 为 0.8403；FLUX 为 0.8902 对 0.8761。SD3.5 的 GenEval 组合准确 0.944、OCR 文字识别准确 0.899，40 步 Flow-OPD 为 0.905/0.885；PickScore 人类偏好代理 22.98 低于顺序蒸馏 23.41。SD3.5 报告优化阶段 GPU 小时少约 37%，不包含从零训练全部教师。四步是学生 4 次前向；SD3.5 全步 CFG 要两分支，40 步对应 80 次前向，不能混为相同计数。 Table 1｜两个基础架构的 40 步与 4 步图像生成，后半块为压缩后模型。NFE 为前向次数：SD3.5 的 40 步有引导为 80 次，四步学生为 4 次；FLUX 分别 40 与 4。Average 只用组合、文字、画质和偏好四指标的固定归一化，非九项原分平均。 批判点评：Average 只汇总 GenEval、OCR、DeQA 画质代理、PickScore，经固定区间归一化，不是四项原分直接平均，也不是全部九项雷达图。未要求文字时仍会把提示词写进图：计数从底座 21 升到 DiffusionOPD218，StepX 降到 94，却未回到 21。官方代码仓库有训练推理，但 README 描述按 KL 分布差异加权的回归变体，主文主配置为无该权重的代理损失，复现需核配置，不能笼统称完全一致。 7. TTSonic：内容语气和音色分开控制 TTSonic: A Unified Framework for Composable and Controllable Speech Generation | 字节跳动抖音内容团队 | arXiv:2611.04282 关键词：可控语音生成, 语义声学分离, 音色设计, 噪声参考克隆 前序问题：换个说话人不该改台词，照着“压低声音、稍显迟疑”读又不能把身份一起换掉。把语义、语气和音色全塞进同一表示，往往顾此失彼。 方法直觉：先规划说什么、怎么说，再用另一条音色条件把它唱成声音。换声时直接复用源语音的内容 token，设计新嗓音时只替换音色向量。 本文贡献：16kHz 输入经 19 层 E-Branchformer 和有限标量量化 FSQ，每秒 25 个离散语音 token、码本 16384 项；先用自动语音识别监督语义，再冻结编码器，只调量化映射，兼顾重建与理解。Qwen3.5 初始化的语言模型自回归生成语义/韵律序列，可先输出简短风格规划。因果流匹配声学模型将每 token 重复到 2 个梅尔频谱帧，接参考音色或 Text2Timbre 文字生成的 192 维说话人向量，声码器输出 24kHz 波形。换声与增强绕过语言模型，使用源语音 token；声学训练仅见同一句语音的 token 与音色，不用成对换声目标。 Figure 2｜TTSonic 由语音 tokenizer、文字到语义语言模型、声学流匹配模型组成。语言模型支持标准克隆和带风格规划的指令控制；流匹配既可接参考语音提取的说话人特征，也可接 Text2Timbre 生成的音色嵌入。 实验效果：20 亿参数，Seed-TTS 中文 CER 字符错误率 0.78%、SIM 说话人余弦相似 0.784，CosyVoice3 为 1.12%/0.781；英文 WER 词错误率 1.66%却落后 Auk 的 1.02%。中文指令 APS（声学参数控制准确率）88.8%，英文 77.6%，FireRedTTS3 英文 80.7%。VoiceBank 含噪参考克隆，WER1.90%→1.45%、WavLM 相似 0.299→0.369。受控编码器对照中，第二阶段使换声自然度 NMOS3.64→3.91，但英文客观 WER2.67%→3.13%。 Table 2｜Seed-TTS-Eval 零样本合成，按 TTS 专用与统一多任务模型分组；统一模型列内粗体/下划线为最好/次好，相同最优同时加粗。星号参数不包含该方法冻结的 Qwen2.5-Omni，横杠表示未公开。中文及困难中文看 CER 字符错误率，英文看 WER 词错误率，SIM 为说话人相似；低错误和高相似分别更好。 批判点评：自然度收益伴随内容准确与换声相似的取舍，不能写成第二阶段各指标全升。SIM、APS 和自然度回答不同问题；同评测表含引用公开结果与本方复测，非全部统一重训。因果模块也不自动保证低延迟，论文未给完整首包、实时因子或峰值显存。官方演示页可听样例，本次未核到公开权重与训练代码。 8. Spatial Transfusion：只移动钟声别把整个房间重录 Spatial Transfusion: From Structured Spatial Scene Understanding to Generation and Editing | 微软；卡内基梅隆大学 | arXiv:2611.02330 关键词：空间音频生成, 原子编辑, 模态路由, 一阶全景声 前序问题：让钟声从左移到右，背景风声和房间混响应该延续；按新描述重生整段，钟声动了，其他声源也可能全换掉。 方法直觉：让理解和生成共用骨干，但给声音和文字各自的适配器。编辑时把原音频直接交给去噪分支，教它每次只改一个场景因素，而不把旧场景仅压成文字。 本文贡献：采用四通道一阶全景声 FOA，保留全方位方向线索；16kHz 音频由 FOA-VAE 压到每秒 7.8 个、512 维潜变量。冻结 Sci-Phi 的 Phi-4 多模态骨干，新增文字秩 16、音频秩 640 低秩路径及输入/时间/输出模块，共 9.43 亿可训参数，对比全量 38.5 亿。文字因果预测，音频双向流匹配；编辑源潜变量还与带噪目标按通道拼接。12 种原子操作涵盖增删换源、移动、音量、音高与时间；四阶段从单源到至多 5 源，再接自然语言，共 460 万理解/生成场景、240 万编辑场景。 Figure 1｜共享 Transformer 骨干：（a）理解用文字交叉熵，（b）生成和（c）编辑用目标 FOA-VAE 潜变量的流匹配。编辑额外把干净源潜变量与带噪目标按通道拼接。FOA 是一阶四通道全景声，非普通单声道。 实验效果：主表是第三阶段结构化 JSON 条件、FOA-MEIR 留出集，生成/编辑 50 步，引导系数 3.5/4.0。生成 FAD-PSELD（兼顾声学事件与方向的分布距离）3.82→0.964，编辑 0.596→0.323，均相对同骨干全量微调且低更好。编辑 CLAP-AA 源输出语义相似 0.795→0.841，EditFLAM 语义修改响应 15.5→17.8；仅语义操作算后者。完全复制输入的距离 0.005 却修改分 0，说明保真不能代替改对。 Table 5｜FOA-MEIR 留出集编辑结果。复制输入可保留声音但 EditFLAM 为 0；仅真值目标 JSON 重新生成的修改分 19.7 高于 17.8，却更损源音频相似与空间分布。完整方法比全量微调的修改响应、源输出相似、文本相似和空间分布距离更好；主表对应阶段 3 的结构化输入。 批判点评：阶段 4 自然语言接口的编辑距离 0.772，不能拿阶段 3 的 0.323 宣传自由文字编辑。理解方向误差 13.6°→14.3°、声源数准确 0.674→0.635，整体保留能力不代表每项不退步。模型仍依赖模拟场景与固定操作体系，未报告统一墙钟/峰值显存，9.43 亿可训也不等于总模型只有这么大。细节可读原论文 PDF；所列项目页本次重定向到 GitHub 登录页，未核实公开音频样例或完整实现。 9. PATTS：等想法和画面可靠了再打分 PATTS: Parallel-Aware Test-Time Scaling for Thought-Image Generation in Multimodal Discrete Diffusion LLMs | 澳大利亚国立大学；CSIRO Data61；亚马逊 | arXiv:2611.04948 关键词：并行思考生图, 轨迹搜索, 可靠性门控, 测试时计算 前序问题：同时“想”和“画”的扩散模型，不一定越想越对。中间草图还没稳定就请视觉裁判评分，会淘汰本来能画对的轨迹；只挑最终图又浪费了前面的纠错机会。 方法直觉：同时养几条思考与画图轨迹，先看模型自己的不确定性和前后稳定度；等文字与画面足够一致，再增加外部裁判权重，提前淘汰较差路线。 本文贡献：MMaDA-Parallel 在同一离散去噪轨迹并行生成推理和图像 token。截点用最高概率填补未解码位置得到预览，取熵、前两名概率差、剩余遮挡比例、相邻预览重合、跨模态相似与排名稳定等 6 类特征。逻辑门混合标准化内部可靠性分与 Qwen2.5-VL-7B 的外部是/否概率；低可靠性时复用缓存裁判分，并按递减存活预算搜索。门参数在独立开发集固定，所谓信任是代理权重，不是已校准的正确概率。 Figure 1｜PATTS 方法。左侧每个截点读模型 token 概率、熵、注意力与干净思考/图像预览，生成内部可靠性特征。右侧信任门在内部轨迹可靠性与外部视觉语言验证间分配奖励权重，据分数剪枝并传播，最后从存活轨迹选结果。 实验效果：GenEval 含 553 提示、6 类任务，整体是类别准确率等权平均。512×512、32 次图像/128 次文字去噪、引导 4.0，N=32 指初始搜索轨迹数。4 次重复下，GenEval 无搜索 0.628、最终 32 选 1 为 0.787、FKD0.810、PATTS0.844±0.014。按论文生成模型前向计数 NFE，PATTS1796 次、平均验证 38.2 个预览、端到端 55.1 秒；FKD5280 次/160 个/154.9 秒，无搜索 161 次/9.9 秒。次数不是采样步数，也不包含独立裁判的全部计算。 Table 1｜MMaDA-Parallel 上的 GenEval。NFE 计生成器前向，Ver 计每提示验证的候选预览，时延为生成一张选中图片的端到端墙钟；只整体分数报告误差条，粗体/下划线为最好/次好，†为在同主干重实现基线。N=32 是搜索轨迹，非 32 步采样；PATTS 平均 38.2 次验证是重复运行平均数。 批判点评：相对搜索方法更省，但比一次直出仍贵约 5.6 倍墙钟。全部完整方法实验只用一个主干，跨三基准不等于跨模型已验证；信任特征在 N=16 计数子集的排名一致仅 0.19 对时间门 0.17。arXiv 评论确认 WACV2027 接收，但所给 PATTS 仓库本次 GitHub 读取 404，按代码暂不可获取报告，未宣称可立即复现。 10. ScoreDial：把喜欢的程度变成可调刻度 ScoreDial: Precise Control of Visual Attributes in Image Generation via Regressor Guidance from Limited Human Ratings | 庆应义塾大学；普利司通 | arXiv:2611.05004 关键词：数值可控生图, 人评回归, 误差自适应, 独立审计 前序问题：“让房间更复杂”只指定方向，“复杂度 0.7”还要求落到指定刻度。若拿同一个评分器既指导生成又验收，模型可能只学会讨好分数。 方法直觉：先用少量人评学一把尺，数值条件把图推到大致位置，再按当前误差逐步修正；最后另请没参与生成的评分器和人看，确认画面属性真的变了。 本文贡献：每属性 100–479 张人评图训练冻结视觉特征上的岭回归 R；轮胎实际 118 张、室内 100、食物 479、肥皂 150。SD3.5-Medium 分别做域 LoRA，并把目标 c 的嵌入注入全部 Transformer 块。30 步采样前 20%不开梯度引导，其后对解码的干净估计计算(R(x)−c)²梯度，归一化方向，用当前误差与噪声确定幅度，每活动步共两次引导/重新加噪；不反传穿过整个去噪器。域训练池 984/100/479/800 张，不把有人评数与全部训练图数混说。 Figure 2｜ScoreDial 分开目标定位与剩余误差修正。（A）冻结预训练视觉骨干和岭回归头组成可微属性评分器 R。（B）目标 c 的可学习嵌入进入每个 Transformer 块，并与域 LoRA 共同训练；活动引导步在干净解码图上计算误差，归一化平方误差梯度，再按误差和噪声调步长修正潜变量。 实验效果：1024×1024，目标 0.1/0.3/0.5/0.7/0.9 各 10 个种子，每属性 50 图。四属性 R 平均绝对误差 0.0069–0.0129；排序相关ρ=0.980 是五档并列目标下可达到的上限，非完美预测人类。独立 SigLIP 审计器仍用同批人评，但未参与训练生成器或引导；其轮胎端点位移 0.285，MPGD-flow 为−0.021。单 RTX5090、批 1，平均 29.5 秒/11.9GB，对纯数值提示 5.5 秒/7.7GB、MPGD-flow16.6 秒/11.9GB。 Table 1｜同种子匹配比较：每方法每属性 5 档目标×10 种子=50 图，MPGD-flow+把强度提高一档。上半部分是部署 R 的误差及目标/输出 Spearman 相关，±为每种子均值的标准差；下半是独立审计器的同种子 0.9/0.1 端点位移均值与标准差。审计器按属性训练，只同行比较；R 精确不自动等于真实属性变化。 批判点评：轮胎与肥皂各 15 人盲评，平均人评分随目标变化的线性 R²为 0.665/0.786；不推广为四属性都做了同样人评。轮胎“防滑”是视觉印象，不是实测摩擦性能。独立骨干共用标签仍非完全独立人群，四窄域结果也不是万能语义旋钮。WACV2027 接收由 arXiv 评论确认；官方代码仓库含拟合、训练和生成脚本，说明插值梯度非确定性，不能保证同种子逐位复现；本次未运行模型。 趋势观察 要保留的是有用证据 ReXMo让身份与表情分路，FLASH让小图管布局，ReCR挑选历史。条件并非越多越好，关键是它是否仍支持目标修改。 速度必须带上计时口径 FLASH的25.3倍只指独立注意力诊断，主配置渐进端到端省30.5%；PATTS比搜索基线更快，却比一次直出更慢。 高相似与高分都需要反例 复制空间音频有极低分布距离却没做修改；ScoreDial的评分误差小，还要看独立审计与人评。源保真、执行完成和实际偏好分别核验。 参数不等于全部部署成本 ReCR不增加解码前向却保留全历史缓存；StepX少算训练阶段不含预训教师；TTSonic分离模块也仍缺端到端延迟证据。 今日讨论 ReXMo 的表情误差从 0.3415 降到 0.2905，但单人往返姿态距离只从 0.0263 到 0.0258，感知运动平滑 3.90 还低于 SCAIL 的 3.92。若双人表演中有人转头遮住半张脸，应如何验证新增表情通道保住了原来的情绪，而不是只在容易跟踪的合成脸上提高了关键点分数？ 人工智能炼丹君 整理 | 2026-11-05

AIGC 每日速读|2026-11-04|Adobe跨镜头改片先打草稿MoviEdit 今日 AIGC 论文速览 今日共 10 篇 · 跨镜头与复杂视频编辑 2 篇 · 口型修复与换音编辑 2 篇 · 人物个性化动画 1 篇 · 联合音视频生成 2 篇 · 图像生成与扩散效率 2 篇 · 关系可控空间音频 1 篇 重点论文标题列表 MoviEdit（Adobe）：先打全片草稿再跨镜头修改 VideoEditor-MoE（腾讯）：一条指令让多个修改一起发生 TaoMate-FVSR（阿里）：修清嘴唇也要听对声音 VidDub（港科大）：换了台词别再逼嘴形照旧 One Image（Mila）：一张照片先自造姿态样本 选读入口：要把已改好的一帧传遍多镜头，先读 MoviEdit，注意首帧/任意帧参考分数和 8 张 H100 计时；一条指令改多处读 VideoEditor-MoE，先看有利案例筛选限制。修生成视频小脸读 TaoMate-FVSR，换台词配音读 VidDub，两者的真值首帧与嘴区监督不同。单图驱动跳舞读 One Image Is Enough 的 9.3 分钟每人物准备；连续数字人读 TaoMate-HD 的文本窗口，联合训练读 OmniOPD 的分组教师成本。部署前对照 Z-Cache 的 FLOPs 和墙钟，训练一步图像模型读 EASD，做空间声音最后读 Rel2Traj 的真值结构与听测边界。 今日论文速览 1. MoviEdit：先打全片草稿再跨镜头修改 MoviEdit: Long-form Multi-Shot Video Editing Made Easy | Adobe；韩国科学技术院 | arXiv:2611.02737 关键词：跨镜头视频编辑, 任意帧参考, 全局草稿, 自回归传播 前序问题：把一段短片里同一人的外套换掉，镜头一切，衣服可能换色，甚至改到另一个人。只在每个镜头单独改，难以保证全片认的是同一个主体、沿用的是同一个改法。 方法直觉：先看完整段视频，在稀疏小画面上定下全片修改草稿，再逐块补清楚。草稿管跨镜头一致，最近片段管动作连续，源视频管未编辑区域；参考可以是任意镜头中已改好的一帧。 本文贡献：三条自动制数路线分别做像素对齐修改、跨镜头主体定位、半像素对齐生成，从 205228 对筛到 86619 对，约 8.7 万对，另混入私有短单镜头编辑数据。扩散 Transformer 的 Draft/Render 两阶段共享权重：前者在时空压缩、时间帧数减半的全序列上双向注意；后者读取草稿、原片及最近块，因果自回归细化。用速度矩匹配蒸馏为草稿 12 步、渲染 4 步，并缓存文字、草稿、源片和生成历史的键/值特征。64 张 H200 上先训文字编辑 17000 步，再训参考帧传播 8000 步。 Figure 5｜长视频编辑的级联建模。MoviEdit 共享同一去噪器 fθ，先在下采样全序列上用 Draft Editor 生成全局一致的轻量修改草稿，再由 Render Editor 逐块传播到全分辨率视频，同时抑制长时间外观漂移。 实验效果：MoviEdit-Bench 含 64 条生成源视频、128 个编辑场景，15 秒多镜头且不提供物体掩码。文字编辑的 overall edit success 为 0.790，Aleph 2.0 为 0.764；它是抽样帧同时满足所有适用视觉语言裁判条件的比例，非完整视频零错误率。任意帧参考传播为 0.786 对 0.781，首帧子集为 0.803 对 0.806。540p、361 帧、8 张 H100 上，去噪耗时 364.1→11.8 秒，30.9 倍；包含 3.6 秒草稿与 8.2 秒渲染，不冒充含读写与编解码的端到端响应。 Table 1 与 Table 2｜MoviEdit-Bench 的长多镜头定量评测，分别对应文字指导 V2V 及已编辑参考帧指导 IV2V 传播；X-shot 表示跨镜头。参考评测又分首帧与任意帧。文字总分 0.790 对 Aleph 的 0.764，首帧参考 0.803 对 0.806、任意帧 0.786 对 0.781，各指标与子集不能混成全面领先。 批判点评：任意帧已编辑参考确有证据，但全片草稿需要先看到未来源帧，不能据此称实时在线编辑。相似人物和局部遮挡仍会选错目标；25 秒 17 镜头是训练 15 秒以外的展示，非无限长验证。首帧参考并非全面超过 Aleph；训练数据与模型也未完整公开。项目页目前提供展示和独立基准仓库，不等于编辑器权重已开源。 2. VideoEditor-MoE：一条指令让多个修改一起发生 VideoEditor-MoE: Scaling Complex Video Editing with Mixture of Experts | 腾讯；新加坡国立大学；厦门大学 | arXiv:2611.03043 关键词：复杂视频编辑, 混合专家, 键值路由, 稀疏激活 前序问题：让车变蓝、天空变日落，视频可能只改对一件事。把模型整体做大很贵，按“加物体、换背景”手工分专家，又可能忽略同一对象的多项修改彼此相关。 方法直觉：让每个视觉 token（模型处理的特征单元）自行选专家，还让注意力读取不同专家提供的键/值。专家不必对应人起的任务类别，而可随内容和噪声状态分工。 本文贡献：从 Kiwi-Edit 的 50 亿参数、30 层视频底座扩展。在前 28 层交替插入混合专家 MoE 模块，最后两层保持稠密；注意力与前馈网络各自路由。查询和输出投影共享，全部 token 经选中的成对键/值专家形成候选，路由权重的对数加进注意力分数，仍保留全局跨帧交互。140 亿版用 7 专家选 3，560 亿版扩为 35 专家而仍选 3，每 token 约激活 80 亿；140/560 亿仅计 DiT，含其他模块约 185/605 亿。训练有流匹配、相邻帧速度差和负载均衡；扩大模型时用 AdamW 解耦权重衰减，避免专家输出被压小。 Figure 2｜VideoEditor-MoE。（a）前 28 层交替稠密与 MoE 扩散 Transformer 块，之后保留两个稠密块。（b）共享查询读取所有视频 token 经路由得到的键/值对。（c）每个 MoE 块由专家自注意力、稠密指令交叉注意力和专家前馈网络组成。 实验效果：49 帧、832×480、16 帧每秒输出，50 步 Euler 采样。主表中 140 亿/560 亿版的编辑执行分 90.15/94.70，前馈 MoE 对照 88.45；执行指每条原子修改在首、中、末三帧至少两帧可见，再按案例平均乘 100。但附录 C 明确案例是依赖结果筛选、偏向 560 亿版的有利样例，因此这些数字只说明该样例集，不能当总体基准成功率。140 亿版用 24 张 80GB H100 训练 18630 步，视觉编码器和视频自编码器冻结。 Table 1｜定量比较：560 亿总参数、每 token 激活 80 亿的版本在三个指标第一，140 亿版第二，粗体与下划线分别标最佳/次佳。按附录 C 范围，这些是依赖结果筛选的有利案例而非总体基准；执行、完成度与画质也不是同一量。 批判点评：同样激活 80 亿不代表同显存、同延迟：560 亿权重仍须保存，注意力还读取多份键/值，主文未给同硬件完整推理成本。三帧裁判也漏掉中间动态；路由内容敏感来自 20 训练样本的探测，不能证明专家就是稳定语义类别。代码仓库有训练推理实现，权重页需申请访问；不能把有利样例上的领先扩大成无条件结论。 3. TaoMate-FVSR：修清嘴唇也要听对声音 TaoMate-FVSR:Audio-Guided Facial Video Restoration | 阿里巴巴集团 | arXiv:2611.03393 关键词：音频引导人脸修复, 参考注入, 源噪声混合, 口型纠正 前序问题：生成视频里的脸太小，普通超分辨率可能把牙齿补清楚，却补出与声音不符的嘴形。若替换了音轨，继续复制原嘴唇运动反而会把错误保留下来。 方法直觉：把低清源脸当结构线索，允许嘴部重新生成；把清晰参考只当外观锚，把最近几帧只当运动线索，再让目标声音约束发音动作。 本文贡献：冻结因果视频 VAE（把像素压缩到潜空间的自编码器）、HuBERT 语音编码器及 SyncNet 音画同步判别器，训练 Wan 视频 Transformer 和条件投影。源潜变量混入 0.80–0.95 强度噪声，再做流匹配，混合强度与流时间是不同量。稀疏参考独立编码、连续 4 帧历史序列编码，放入互不重叠的时间位置后投影相加，不替换去噪状态。第一阶段用退化图像/视频学习还原；第二阶段用口型被改变的退化视频配目标声音纠正发音，加入同步监督。窗口 5 条件帧加 72 有效帧，步幅 56，复用 16 帧重叠潜轨迹及有状态解码。 Figure 2｜音频引导人脸视频修复。第一阶段用退化图像/视频与对应目标联合训练；静态图只使用流匹配均方误差ℒMSE 及 RGB 损失，视频另加时序监督。第二阶段用退化配音源与目标音轨修口型。稀疏外观参考和连续历史放在不同条件位置。视频自编码器 VAE、HuBERT 及 SyncNet 冻结，视频 Transformer 与条件投影可训练；生成视频小图用于示意输入和目标角色。 实验效果：150 条 MEAD/HDTF/TalkVid 及内部说话人视频，4 倍降采样后回到 512×512，同一有效视频等权平均；可接参考的对照与 Ours 都用未退化真值首帧。Ours 的 LPIPS 感知误差 0.0793、DISTS 结构纹理感知距离 0.0858，低于 InstantRestore 的 0.1380/0.1421；同步置信 Sync-C 为 7.413、距离 Sync-D 为 7.561，前者高后者低更好。SparkVSR 的 PSNR 像素还原 30.62dB 仍高于本方法 28.67dB。30 视频去掉音频后 Sync-C 为 4.283，完整为 7.621。 Table 1｜原音轨人脸修复：150 条视频基准，对共同有效片段等权平均，深绿/浅绿标最佳/次佳。支持参考的方法与 Ours 同用真值首帧，Ours+额外用 GPT-Image 增强该帧；完整 512×512 帧评分。Ours 感知误差与同步更好，SparkVSR 像素还原更好，增强参考又改变忠实度与锐利度的取舍。 批判点评：把参考交给 GPT-Image 增强的 Ours+，无参考画质 MUSIQ 达 77.62，但 PSNR 降到 23.52dB、LPIPS 升至 0.2402，说明更锐利不等于忠实。原生生成视频没有真值，首帧参考来自输入，与 150 条定量协议不能混说。修复与换音 30 条评测分开；未给统一墙钟与峰值显存，不能称实时。官方项目已指向实现仓库，但本次只核资源，不运行模型。 4. VidDub：换了台词别再逼嘴形照旧 VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing | 香港科技大学；腾讯；浙江大学；独立研究者；清华大学；阿卜杜拉国王科技大学 | arXiv:2611.03404 关键词：视频配音编辑, 换音监督, 两步蒸馏, 全上下文 前序问题：给同一段表演换台词时，脸和背景应该保留，嘴形却必须改变。若训练仍要求重建原视频嘴部，音频在催它变，像素损失又在逼它不变。 方法直觉：按声音是否被替换决定哪些源像素可信：原音轨可重建全脸，换音轨只保留嘴外区域，嘴内交给音画同步信号。先解决监督冲突，再把采样压到两步。 本文贡献：Wan-1.3B 配 VACE 视频条件与 2.87 亿参数音频适配器，冻结 Whisper-small 语音特征。每窗 81 帧对应 21 个视频潜帧，窗口内双向注意。教师训练混 70%原音、30%替换音：替换音时屏蔽嘴区的流速度、像素与感知重建，只保嘴外和同步损失；同步训练器冻结但梯度穿过它和解码器。随后把 48 步带 CFG（有条件与无条件预测组合的引导）教师轨迹回归到两步学生，再用分布匹配蒸馏补画质；推理每步仅一条音频条件分支。长片每次推进 64 帧，融合 17 帧重叠。 Figure 3｜三阶段训练蒸馏。顶部是教师的音频预热、联合编辑适配和换音感知精修。（a）不成对替换语音时屏蔽源嘴部重建。（b）用带引导轨迹回归，把 48 步 CFG 教师蒸馏成两步学生。（c）分布匹配蒸馏恢复最终两步模型的视觉真实感；CFG 即组合条件与无条件预测的引导。 实验效果：HDTF-30 换音：两步 VidDub 的 Sync-C 同步置信 10.102、Sync-D 距离 5.856，Lip Forcing 为 6.884/8.284；FVD 视频分布距离 27.66，教师 27.49，低更好，两步并非画质无损。单 H20 预处理输入上的吞吐 11.3 帧每秒，不包括完整数据准备。独立三种训练种子的嘴区屏蔽消融，换音 Sync-C 平均增 0.833。TalkVid 请求 500 条，跨方法排名另用共同有效 308 条；VidDub-Bench 共同有效 245 条，不能把各方法有效分母混成统一 500/256 条。 Table 1｜HDTF 比较。Params 包含推理时加载的所有神经网络模块，FPS 在单 H20 上测量；†表示本文扩散模型只报告预处理完成输入上的吞吐。分同音重建与换音配音，两步 VidDub 换音 Sync-C/D 为 10.102/5.856、FVD27.66，教师 FVD27.49，不将预处理吞吐当全流程速度。 批判点评：它是离线整窗编辑，不是两步就能实时直播。身份并非全胜：HDTF 换音身份余弦 0.902，LatentSync 为 0.970；同音像素还原也有退步。补充材料的持久缓存流式尝试在 60 秒出现下脸塌陷，不能当最终稳定实现。最终长片用源片重新锚定的重叠窗口。代码仓库已有训练推理与发布校验，未在本机复现，媒体数据权限与依赖仍要逐项核查。 5. One Image：一张照片先自造姿态样本 One Image Is Enough: Self-Generated Supervision for Personalizing Human Video Diffusion at Test Time | 康考迪亚大学；魁北克人工智能研究所 Mila | arXiv:2611.02964 关键词：单图人物动画, 自生成监督, 静态片段适配, 测试时个性化 前序问题：拿一张人物照驱动跳舞，转身后容易脸不像、衣服变样。微调能记住人，却通常要这人的多姿态视频，还可能把原视频里的运动方式一起学进去。 方法直觉：先用图像模型把同一人“摆”成几个关键姿态，再把每张图重复成静止短片来微调。训练信号只带外观，不带错误运动，让视频模型原有动作能力继续工作。 本文贡献：基于 FLUX.1 Kontext 加姿态 ControlNet，用域内视频二帧配对先训练生成器 LoRA（低秩参数适配器）；这部分并非完全无需训练。测试时从驱动姿态做最远点采样，默认取 5 个关键姿态，各用 8 个相互作用候选。去噪后半段按 DINOv2 身体外观相似与清晰度重采样并加噪保持多样，末尾用 ArcFace 人脸身份相似选一帧。把选出的每张图和固定姿态重复成静态片段，对冻结的 UniAnimate-DiT/Wan2.1-I2V-14B 仅更新每人物低秩适配器。推理合并适配权重，不新增模型参数。 Figure 2｜单图人物个性化流程。输入单一参考 xref 与驱动姿态序列 P，用姿态条件图像生成器 G 合成目标姿态的伪真值帧。（a）每姿态多个候选组成相互作用粒子系统，按相对参考的 DINO 身体外观奖励在去噪中重采样，最后用 ArcFace 人脸身份选一帧；所有奖励只读参考。（b）每人物低秩更新Δθ在所选帧的静态重复片段上适配冻结动画模型 Fθ，再由适配模型生成视频。没有用该人物视频、目标真值或人类反馈；仍需要驱动姿态及预先域内训练。 实验效果：在 TikTok 同配方、只换监督来源的对照中，FVD 视频分布距离从底座 206.0 降到 133.5，5 张真实帧适配为 157.3；FaceID 全视频人脸身份相似从 0.597 到 0.617，真实帧为 0.615。与主比较表的另一底座 402.14 分开，不跨表混算。跨人动作驱动在 Unseen100-Val 上身份 0.431→0.571，姿态准确率 0.817→0.822。单 H100、81 帧，每人物造伪帧 9.2 分钟、适配 5 步 5.8 秒，总约 9.3 分钟，峰值 62.1GiB；每视频推理另 1.8 分钟、21.6GiB。 Table 5｜监督来源对照。所有行使用同一适配配方，仅改变监督来源；FaceID 人脸身份、BodySIM 身体外观相似在 TikTok 完整视频上计算，生成器 G 单独图像质量另在原表 4 报告。伪帧 FVD133.5 低于真实 5 帧 157.3，但身体相似 0.887 略低于 0.888，不宣称全指标最好。 批判点评：无目标人物视频，不等于无驱动姿态、无域内训练或无需每人物成本。真实 5 帧的身体相似 0.888 略高于伪帧 0.887；选帧奖励消融中另一组合 FVD429 低于默认 496，不能照图注称默认所有指标最好。摘要称代码权重可用，但官方仓库目前只有说明、许可证和展示，标注 2026 年 12 月计划开放；依仓库实况写待开放。arXiv 明确 WACV2027 已接收。 6. TaoMate-HD：边续说话边把视频补高清 TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation | 阿里巴巴集团；南京大学 | arXiv:2611.03394 关键词：流式音视频生成, 渐进分辨率, 分阶段缓存, 文本续读 前序问题：数字人边收新文字边说话，高清每步都算太慢；文字窗口前移，又可能重复说重叠句子或把句尾接错。视觉变清楚和台词接得上要同时解决。 方法直觉：每块先在小画面想清结构，最后一步才补高清；每一阶段把自己的音画预测交给下一块同一阶段。保留已经说出的音频历史，新文字中的重叠内容就能充当上下文。 本文贡献：从 MiniMax-H3 训练秩 128 低秩适配，10000 对自构造蒸馏数据。每块 3 次去噪：前 2 次 480×864，末次 768×1376，声音潜空间尺寸不变；升分辨率时用耦合高低网格噪声修正，避免直接插值改变噪声分布。各阶段独立缓存键/值，留初始视频锚与最近 2 块音画；换文字只刷新文字投影，不重编码旧历史。学生读重叠的新窗口，学生分布评分器保留初始窗口，教师读原始转录前缀，形成非对称分布匹配蒸馏；每块还需 3 次干净历史编码。 Figure 2｜每块的细化成为下一块历史。N=3 指两次粗视频网格评估后一次高清细化；各阶段估计干净音画终点，在自身原网格编码，交给下一块同阶段，支持右下的阶段并行。声音潜变量几何全程保持。左下训练部分从所选阶段的干净预测组成高清序列，供真假两个蒸馏评分器使用；生成器与评分器共享场景、说话人条件，但各角色文字窗口不同。 实验效果：100 个 1–10 分钟序列，768×1376、24 帧每秒、32kHz 立体声。8 张 H20 同设置比较，直接高清平均 491 秒、渐进串行 307 秒，1.60 倍；加入阶段重叠、量化、注意力和编解码调度后 160 秒，额外 1.92 倍，最终 8.99 帧每秒，尚低于 24 帧播放率。时间包含预编码文字后的生成与音画解码。续读配置的 CER（转录字符错误率）30.751%→19.570%，降 11.181 个百分点；首尾声学特征余弦 0.97064→0.97905。 Table 2｜分辨率、质量与推理吞吐，全部用相同批次输入和 GPU。直接 480p 是独立低分辨率参照，TaoMate-HD 指阶段并行部署。直接 768p、渐进串行、并行分别 2.93、4.68、8.99 帧每秒；最后一项还合并量化与编解码调度，不能只归为分辨率或并行的单项收益。 批判点评：1.92 倍是整套部署优化收益，不能只归因阶段并行；跨其他论文 22.4 倍比较有计时区间和分辨率差异，不拿来当同条件加速。续读两配置还改变历史、增广和辅助监督，11.181 点不是单因素因果效果；插入错误反增 2.74 点，同步距离也略退步。小时级有展示，主量化是 1–10 分钟；长程色亮度分低于旧 TaoMate。项目已开放推理与预览权重，未验证完整训练重现。 7. OmniOPD：教会画面也别把声音教坏 OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation | 中国科学技术大学 | arXiv:2611.02803 关键词：音视频联合生成, 在策略蒸馏, 特权视觉, 可靠性加权 前序问题：同一模型同时优化画面和声音，声音 token 远少于视频 token，训练信号容易不稳；只把声音奖励乘大，画面和声音可能一起退步。 方法直觉：请专长不同的音频、视频教师分别教学生。音频教师额外看到更干净的画面，更容易判断该发什么声音；多采几条轨迹，再降低不可靠步骤的影响。 本文贡献：用 LTX-2 的 220 亿参数双流模型初始化，分别按视觉或音频及同步奖励做低秩强化学习教师，蒸馏时冻结。学生自己生成去噪轨迹，即在策略 OPD，不只看教师分布样本。音频教师与学生共用同一音频状态，但教师视频时间 q=t/[t+exp(s)(1−t)]小于学生 t，t 越小噪声越低，s 为正移位量；由学生干净预测重新加噪构造条件。每提示采 G 条联合音画轨迹增加声音监督，按教师学生的转移 KL 差异（概率分布偏离度）给越界步骤指数降权；视频蒸馏同时保留。G 增加也会增加轨迹生成和教师调用。 Figure 3｜OmniOPD。（A）学生按自身轨迹采样，冻结视频教师与音频教师分别蒸馏各模态。（B）音频教师与学生看同一音频状态，却额外看更干净视频上下文，产生更有信息的音频目标。（C）多噪声采样覆盖不同噪声与去噪步骤，状态可靠性加权减轻不可靠信号。 实验效果：JavisBench 相同设置对比普通 OPD：VQ 视觉质量 3.174→3.347、AQ 音频质量 5.342→5.449，DeSync 音画失同步 0.583→0.457，低更好。对 LTX-2.3 基线为 2.714/5.252/0.584。它没有同时追平每个教师：音频教师 AQ5.576，顺序训练 Cascade 的 DeSync0.432 都更好。组数从 1 到 2 时 AQ 反降 5.342→5.223，3 组才到 5.393，不能宣称更多分支必然提升。主文没有统一训练墙钟或峰值显存。 Table 2｜JavisBench 不同训练设置的定量比较，覆盖音画质量、文本一致、音画语义一致及同步。普通 OPD 的视觉/音频质量 3.174/5.342，OmniOPD 为 3.347/5.449；失同步 DeSync 从 0.583 降到 0.457，但 Cascade 的 0.432 更低，不能称每项领先。 批判点评：不对称教师输入更干净，其“KL”依赖共同转移参数和协方差的假设，宜看作训练可靠性准则，不当成自动可证的真实音频误差。正文写 LTX-2，表写 LTX-2.3，复现须核具体 checkpoint。公开代码仓库有推理、合并与评测脚本，评分还依赖多个模型服务；可核到这些接口，不代表完整教师强化训练都已重现。 8. Z-Cache：缓存猜错后回头修一段 Z-Cache: Accelerating Diffusion Transformers via Self-Reflection | 上海交通大学；南方科技大学；阿里云；华中科技大学 | arXiv:2611.01846 关键词：扩散缓存, 双锚点回溯, 质量恢复, 墙钟开销 前序问题：扩散模型跳过中间完整计算、直接复用特征，能省计算，但猜错的特征会把后面图像一路带偏。等下次完整计算得到更准特征时，错误已经传播了。 方法直觉：先把一段缓存采样当临时草稿；拿到下一次本来就要算的完整特征后，用前后两个锚点重估中间特征，再重跑这段潜变量更新，确认后才继续。 本文贡献：这是免训练包装器，可接 TaylorSeer、SpeCa、MagCache 等预测器。采样顺序 a 到 b 之间先按旧锚预测，b 处做原计划的完整前向；再用两端预测的凸组合修正，权重(i−a)/(b−a)随窗口位置前移。丢掉临时窗口潜状态，重采样同一段，并用保留的 b 处特征提交修正后的末端。这里不新增完整前向，但有缓存读取、预测、潜更新及特征存储，绝非零额外工作；局部误差界依赖更新的 Lipschitz 连续及双锚确能降低特征误差。 Figure 3｜Z-Cache 流程。图按反向扩散 t、t−1 等标注，正文则按随采样推进递增的序号。传统缓存只从旧完整计算锚点预测当前窗口，随后前进；Z-Cache 把窗口视为临时状态，拿到下一次原定完整计算锚点后，构建前后双锚特征，重新采样该窗口并提交修正末端，在循环内纠正轨迹而不增加完整前向次数。 实验效果：FLUX.1-dev/DrawBench 等效缓存间隔 8，TaylorSeer 加 Z-Cache 后，相对原 50 步的 FLOPs（浮点运算数）缩减 6.22 倍，墙钟加速却是 2.93 倍；相对 TaylorSeer 本身延迟 2.83→3.17 秒，LPIPS 感知差异 0.5190→0.4692、PSNR 像素一致 28.46→28.71，峰值同 39.96GiB。MagCache 同间隔加包装后延迟 1.86→2.78 秒、峰值 33.85→37.98GiB。HunyuanVideo/VBench 间隔 7，得分 79.09→79.60，耗时 21.01→23.08 秒；原 50 步为 80.66、145 秒。 Table 2｜FLUX.1-dev 在 DrawBench 的完整成对结果，按等效缓存间隔 N 分组；每组基础/加 Z-Cache 成对中较好质量加粗，灰行是 Z-Cache。括号参数：TeaCache 的 L 是 rel_l1_thresh，SpeCa 的 B/D/m/M 分别 base/decay/min/max，MagCache 的 T/K/R 分别 th/K/retention。L-Speed 是墙钟加速、F-Speed 是计算量缩减，均相对原采样。间隔 8 的 TaylorSeer 包装后 F-Speed6.22 倍而 L-Speed2.93 倍；延迟和显存有额外代价。 批判点评：它恢复激进缓存质量，不是让已有缓存再更快；比较无加速模型可快，比较同预测器通常更慢。摘要“6.22 倍”须按主表区分计算量与墙钟。以原采样输出作参考的 PSNR 或 LPIPS 衡量轨迹接近，不等于人类偏好无损；TeaCache 某设置 ImageReward 还退步。arXiv 评论明确 NeurIPS2026 poster，未找到可核实的本方法官方仓库地址，不把引用的 FLUX 仓库当其源码。 9. EASD：给不同蒸馏目标分配噪声区 Efficient Hybrid Distillation: Synergizing Score and Adversarial Objectives for One-Step Diffusion | 清华大学；鹏城实验室；美团 | arXiv:2611.03017 关键词：一步图像生成, 混合蒸馏, 噪声区间, 冻结教师判别器 前序问题：把扩散模型蒸馏成一步，分数蒸馏和对抗蒸馏简单相加，并不保证互补：前者低噪声时信号弱，后者高噪声时又分不清真假，白花训练算力。 方法直觉：让擅长全局分布的分数目标多看高噪声，让判别细节的对抗目标多看较低噪声；仍留两者少量重叠，避免极低噪声判别器过拟合和模式坍塌。 本文贡献：Efficient Adversarial Score Distillation 用 Logit-Normal 采样：先从均值μ、标准差 s 的正态取值，再经 sigmoid 映射到 0–1 噪声时间。分数目标μ=0.8、对抗目标μ=−0.8，二者 s=1.6，软偏置而非硬切半区。流匹配直接在速度预测空间蒸馏；冻结教师中间层接轻量前馈判别头，只训练头以保持特征稳定。学生分布评分网络用指数滑动平均 EMA 或周期预热稳定；ImageNet 默认不叠加 CFG，并用潜空间模式分离损失保持类内多样性。 Figure 4｜用于扩散 Transformer 的判别器。为保证训练稳定与效率，在冻结的教师 Transformer 中间块连接轻量可训练前馈网络头；教师特征保持不变，判别头学习真假分布区别。 实验效果：ImageNet256×256、1000 类，以 50000 生成图计算 FID 分布距离，越低越好。6.75 亿参数 SiT-XL/2+REPA 教师 FID1.42；一步 EASD 训 20 轮为 1.49、60 轮加评分 EMA 为 1.41，周期预热版本 1.39；60 轮与 20 轮须分开。ImageNet64 严格同混合范式对照，5:1 更新比、批 280 下，DMD2 到 10 万/20 万步 FID1.72/1.52，加噪声自适应为 1.50/1.35，完整 EASD 为 1.46/1.26；相应报告时间 28 小时与 23 小时，不能把训练步数比当墙钟倍数。 Table 3｜类条件 ImageNet256×256 上与快速流模型比较，列出轮数、参数、NFE 模型函数调用数及 FID。教师 SiT-XL/2+REPA 为 6.75 亿参数、FID1.42；EASD 一步 20 轮 1.49，60 轮评分 EMA 版 1.41、迭代预热版 1.39。训练轮数和引导调用口径不同，不能当成相同训练成本或开放文本任务排名。 批判点评：1.39 是类条件 ImageNet，不是开放文本生图或高清视频指标；不同模型训练轮数、教师预训练成本也不相同。所谓两目标统一依赖理想判别器等近似，实际对抗仍可能坍塌，不能写为不会冲突。原文明确 NeurIPS2026 接收；摘要称代码模型可用，但官方 EASD 仓库目前只有 Coming soon 说明，按待开放报告。推理一步不包含教师、评分器与判别器的训练代价。 10. Rel2Traj：让狗的声音一直跟着汽车 Rel2Traj: Inter-Source Relation-Aware Trajectory Generation for Text-To-Spatial-Audio | 早稻田大学；休斯敦大学 | arXiv:2611.01147 关键词：空间音频生成, 多声源轨迹, 关系条件扩散, 双耳渲染 前序问题：“汽车从左到右开，狗跟在后面”，两个声音各自移动合理，也可能中途交叉、不再跟随。只逐声源生成，难让整段的相对关系一直成立。 方法直觉：先把描述拆成谁跟谁、每个声源大概在哪里，再一起生成所有轨迹；把已有声效沿轨迹做双耳渲染，让几何可核对，也让人用耳机检验听觉关系。 本文贡献：用 Qwen3-4B 的量化低秩 QLoRA 适配解析运动、关系和每源 10 项锚点；两轮关系图消息传递后，宽 192、4 层 8 头的镜像等变 Transformer 联合去噪每源 16 个三维关键帧，以 20 步 DDIM 采样、插值到 30 帧每秒。轨迹生成器共 152 万参数，其中去噪 92 万。固定渲染器处理多普勒、头相关传递函数 HRTF 及房间反射，声音来自 ESC-50 和预训练文生音频模型离线材料。5091 训练、242 验证、1020 组合测试场景，时长 8–14 秒；冻结 5 组运动—关系组合只在测试出现。 Figure 1｜Rel2Traj 三阶段：（1）文本解析成声源关系图与每源锚点；（2）关系条件关键帧扩散联合生成全部轨迹；（3）双耳渲染与评测。底部逐帧关系边界同时定义 RSR 满足率、辅助训练损失及可选采样引导；所有报告结果关闭该引导。 实验效果：RSR 关系满足率是规定时间内、超过死区阈值的合格帧占比，每场景 10 次生成、不择优，再按场景平均。组合测试 0.983，独立逐源 0.869、规则求解 0.919；几何主表除 LLM 直接输出外都使用真值解析结构，因此不是完整文本端到端成功率。24 名有效听者、28 道覆盖 6 类关系的二选一，识别率 86.0%，与真值差−3.3 个百分点；等效检验只支持预设±10 点范围。 Table 1｜验证 val 与组合留出 comp 的 RSR，每场景 10 次采样平均、不择优，再按场景平均；位置三阶导 jerk 及轨迹多样性在组合集报告。规则求解器与 LLM 直接输出是确定性的，每场景只有一组轨迹。Rel2Traj 组合 RSR0.983、独立逐源 0.869，但 jerk9.8 高于 9.2；除 LLM 直接输出外主表使用真值结构条件，非完整文本端到端成绩。 批判点评：联合模型的 jerk（位置三阶导数幅度、越低越平顺）9.8 高于独立模型 9.2，关系更准不代表轨迹更平滑；去掉显式关系损失 RSR 反为 0.987，不能把收益全归辅助几何损失。受控语言、每场最多 1 条声源间关系、不含纯竖直运动限制开放描述。没有报告完整解析、音频生成和渲染总时延；仅投稿 ICASSP2027，尚非接收。项目页有音频与轨迹浏览器，未核到官方实现仓库。 趋势观察 参考要分清外观与目标动作 MoviEdit用已改帧指导跨镜头，TaoMate-FVSR把外观参考与运动历史分槽，VidDub在换音时停用原嘴部重建。共同方向是只保留参考中仍可信的部分，而不是照抄全部像素。 算力数字先拆清计数范围 MoviEdit的11.8秒来自8张H100去噪，Z-Cache的6.22倍是FLOPs缩减，TaoMate-HD的8.99帧每秒来自整套部署。采样步数、单token激活参数和完整响应时间各自回答不同问题。 自动评分要先看选择和分母 VideoEditor-MoE明确筛出自身有利案例；VidDub另报共同有效集合；Rel2Traj几何表使用真值解析。先看样本怎么来，再决定数值能推到多广。 论文与代码开放各查一次 One Image Is Enough和EASD摘要称资源可用，仓库却仍待开放；VideoEditor-MoE有实现但权重需申请。能读论文、能看展示和能复现实验是三个阶段。 今日讨论 MoviEdit 把 540p、361 帧在 8 张 H100 上的去噪从 364.1 秒降到 11.8 秒，任意帧参考总分 0.786 略高于 Aleph 的 0.781，首帧子集 0.803 却低于 0.806。若目标人物在切镜后被遮挡，应按参考帧位置、相似人物和遮挡程度分组，如何验证全局草稿到底是在保身份，还是把首个错误传播到整片？ 人工智能炼丹君 整理 | 2026-11-04

AIGC 每日速读|2026-11-03|普渡拿相册修视频保住本人AlbumVSR 今日 AIGC 论文速览 今日共 10 篇 · 参考引导修复与图像编辑 4 篇 · 视频生成与物理诊断 2 篇 · 图像训练加速 1 篇 · 声音与动作生成 2 篇 · 三维记忆世界生成 1 篇 重点论文标题列表 AlbumVSR（普渡）：拿相册修视频别修成另一人 RADI3N（布法罗）：挪动部件让纹理跟着走 PicturePerfect（高通）：同一个人换表情保住背景 WeGenEditBench（腾讯）：高分改图也要逐项查漏 Any Forcing（西电）：先把首帧做好再一步续拍 选读入口：修模糊人脸视频先读 AlbumVSR，重点看 0.586→0.670 的身份收益和未计入 0.07 秒的预处理；需要摆物体部件读 RADI3N，同一人照片换表情读 PicturePerfect，评测编辑是否漏要求读 WeGenEditBench。部署长视频再读 Any Forcing 的首帧 4 步与后续 1 步；训练扩散模型看 RadialObj，不把 FID 收益当墙钟倍数。交互音频读 MFlowAudio 的首块和解码代价；数字人读 TalkFlow 的单说话人协议。做世界模型前先用 GeoFlip 拆开事件与结构，最后对照 L3G-World 完整/快版及空间记忆增长。 今日论文速览 1. AlbumVSR：拿相册修视频别修成另一人 AlbumVSR: Identity-Preserving Face Video Super-Resolution from a Personal Photo Album | 普渡大学 | arXiv:2610.39001 关键词：参考引导视频修复, 身份保持, 流式扩散, 相册纹理 前序问题：模糊视频里，鼻眼细节已经丢失。单靠模型补清晰，可能补出一张好看却不像本人的脸；同一个人的其他照片能提供线索，但拍摄角度不同，不能直接贴上去。 方法直觉：把相册分成两份证据：一份回答是谁，另一份把皮肤等纹理转到当前脸朝向。前者整个人共用，后者逐视频窗口更新，让生成器参考身份与姿态对齐的细节。 本文贡献：以冻结的 FlashVSR-tiny 单步视频扩散 Transformer 为底座。MagFace 身份编码器与 CLIP 外观编码器将相册聚合成 4 个 token（模型读入的特征单元）；先按质量加权中心筛除余弦相似度低于 0.5 的参考，若全被筛掉则保留最高质量一张。FLAME 人脸网格的 UV 纹理坐标融合出 512×512 图集，再按低清视频的 DECA 人脸拟合结果渲染 256×256 五通道视图，分 8×8 块得到 64 个纹理 token。每层交叉注意力追加这 68 个 token 的键/值，原文字缓存不变；仅训练相册头与秩 16 的 LoRA 低秩适配，共约 2300 万参数，约占 17.5 亿冻结参数的 1.3%。首窗 21 帧、此后每次推进 8 帧。 Figure 1｜每个身份的相册只编码一次。4 个集合 token 承载身份；融合纹理、可见性、位移图逐流式窗口渲染并编码为 64 个 token。冻结 DiT 每层把相册键/值追加到文字缓存，训练只更新相册头与 LoRA。 实验效果：VoxCeleb2 的 488 个身份分 355 训练、42 验证、91 测试，测试相册来自不同拍摄会话，含 3–21 张、中位数 9 张。重退化含两轮模糊噪声、4 倍降采样和视频压缩；各视频只评分前 85 帧，输入另补 4 帧末帧副本，先身份内平均再等权平均。相对冻结底座，ArcFace 身份余弦 ID-GT 为 0.586→0.670，脸部峰值信噪比 PSNR-F 为 24.98→26.71 dB；按未舍入配对差计算的身份增益为 0.083，95%区间[0.072,0.095]。RTX4070Ti 修复调用 0.07 秒/帧，A100 为 0.04 秒/帧，含窗口 UV 渲染但不含离线相册编码与低清视频拟合。 Table 1｜91 个测试身份的重退化结果；剑号方法统一用裁脸后贴回协议。SSIM-F 为脸部结构相似，时延设备 A 为 80GB A100 PCIe、W 为 RTX4070Ti。VIDD 仅描述、不排名，其余指标粗体/下划线为最佳/次佳。ID-GT、ID-alb、PSNR-F、SSIM-F、MUSIQ 越高越好；LPIPS-F、Warp 和秒/帧越低越好，时延排除预处理。 批判点评：更像本人不等于所有画质指标都更好：无参考画质 MUSIQ 从 72.34 降到 52.32，轻退化下身份分也低于 SeedVR2。第 2 路纹理在最终 2 万步消融中身份只增 0.001、区间跨零，主要收益是 MUSIQ 增加 0.69。相邻帧身份变化 VIDD 低于真值不自动代表更自然。只测单数据集的合成退化与整理过的相册，尚未证明真实监控或受污染相册有效；0.07 秒不是完整直播时延。原文未给本方法官方代码链接。 2. RADI3N：挪动部件让纹理跟着走 RADI3N: GeometRic ImAge EDiting via ParametrIc 3D CoNtrol | 纽约州立大学布法罗分校；萨里大学；西蒙菲莎大学 | arXiv:2610.40973 关键词：几何图像编辑, 部件控制, 协方差平滑, 跨图注意力 前序问题：想只转动照片中鹦鹉的头，拖二维点可能把脖子拉断；即使三维形状摆对，生成器又可能把旧位置的纹理抄回来。形状控制和外观跟随要一起解决。 方法直觉：先在三维里摆好部件，再借原图恢复外观。部件边界的转动要平滑；借纹理时，弱化注意力对旧坐标的执着，让它找语义上对应的部位。 本文贡献：视觉语言模型定位物体与部件，SAM3D 把单图升为网格；多视角分割投到 UV 纹理坐标后投票，抽取稀疏控制点，接受三平移加三旋转的 6 自由度命令。CS-ARAP 在尽量保持局部刚性的变形求解中，先平滑邻域协方差再做奇异值分解求旋转，并加入双拉普拉斯项抑制边界曲率突变。随后用 IP-Adapter 图像条件与 SDS（借扩散模型给渲染图的梯度）细调网格。最终跨图注意力只调源图键的旋转位置编码 RoPE：去高频、放大低频，让纹理随新几何移动，无需把原图反演回噪声。 Figure 2｜几何编辑流程。阶段 1：输入图升成 3D 网格，CS-ARAP 通过协方差平滑和双拉普拉斯求解得到平滑形变；中间渲染和源视图经 IP-Adapter 保持身份。阶段 2：将阶段 1 的雅可比场用控制点约束与扩散模型 SDS 梯度联合细调，生成语义合理的最终网格再渲染。 实验效果：GeoBench 含 811 源图、5988 条移动/旋转/缩放指令。相对 Nano Banana2，三轴平均绝对角误差 MAAE 从 12.04°降至 7.07°，误差不超过 5°的比例从 37.4%升到 78.9%；换独立 Hunyuan3D 重建器测角度后，本方法为 8.41°与 74.6%，说明收益不只来自复用 SAM3D 评分。端到端每编辑 95–100 秒，FlowDrag 为 120–135 秒，FreeFine 为 40–45 秒；CS-ARAP 单独求解 1.79 秒、69 次迭代，不等于完整编辑时间。 Table 2｜GeoBench 几何与外观比较。WE 是变形误差、D-RMSE 是深度均方根差、MAAE 是三轴平均绝对角误差，均越低越好；Acc@5°为角误差 5°内比例。外观用 CLIP-I、FID、主体一致 SUBC、DINOv2 距离、背景一致 BC 评价；RADI3N 几何更准，CLIP-I、FID 与 BC 并非全部第一。 批判点评：几何更准有外观取舍：CLIP 图像相似度 0.924、图像分布距离 FID148.47，均不及 Nano Banana2 的 0.933 与 144.08。角度仍依赖自动重建，极端遮挡或初始网格错误可能传给后续优化；视频只是下游应用展示，不能写成已有视频参考编辑基准全面胜出。代码地址当前为空仓，尚无可核实实现；95–100 秒的硬件口径未在主文同处给出。 3. PicturePerfect：同一个人换表情保住背景 PicturePerfect: Diffusion-based Same-identity Facial Replacement | 高通 AI Research | arXiv:2610.39344 关键词：同身份面部替换, 表情编辑, SDXL, 光照增强 前序问题：合影中某人闭眼，另一张同一个人的照片表情正好。只传关键点会丢脸部细节，直接把参考脸贴过来又会带入错误光照、角度和背景。 方法直觉：训练时给模型看同一个人的参考脸，但故意打乱颜色、位置和照明，迫使它借表情与身份，再适应原合影，而非原样复制参考照片。 本文贡献：从目标图分割内脸，施加仿射、颜色、翻转及 NeuralGaffer 重打光增强，得到驱动脸。SDXL 的变分自编码器 VAE 先压缩图像，再把原图、增强驱动脸、带噪目标潜变量沿宽度拼接，训练扩散模型恢复目标。内部数据抽 25000 张中性脸，每张用 LivePortrait 生成 20 种表情，约 50 万图、6724 身份；每组 21 图可抽 420 个有序异图配对，总计可采样超过 1000 万对，并非 1000 万独立实拍。8 张 A100、有效批 64，微调 25000 步，图像训练尺寸 576×576。 Figure 2｜PicturePerfect 网络：从同身份源图 s 与目标 tg 中，将目标内脸分割为驱动 d；缩放、旋转、平移和重打光模拟现实变化。三图通过 SDXL 的 VAE 编码，源图、增强驱动和带噪目标沿空间宽度拼接，由文字条件扩散模型学习去噪。 实验效果：同分布测试从 FFHQ 与 VoxCeleb2 各合成 5000 样本：身份余弦 CSIM 为 0.818，LivePortrait 为 0.558；FID 图像分布距离 7.81，DAM 为 24.86，越低越好。跨拍摄条件测试中，真实 PicturePerfect 的 CSIM0.631、FID28.08，但表情距离 2.50 差于 HyperReenact 的 2.25，姿态距离也未领先。10 人对每人 252 个同分布、175 个跨分布输出作真假判断，本方法被判真的比例 59%和 44%，这是感知比例而非任务成功率。 Table 1｜与已有方法比较 ArcFace 身份余弦 CSIM、图像分布 FID、姿态 APD、表情 AED、视线 AGD、感知 LPIPS 和像素 PSNR。蓝色/下划线为最佳/次佳。FFHQ 与 VoxCeleb2 样本由 LivePortrait 合成，PicturePerfect 采用筛选的真实跨会话配对。不可靠 FID 记横线；上半同分布与下半跨分布分开评价，不能因身份胜出宣称姿态表情全胜。 批判点评：它专为同身份照片替换设计，不是跨身份换脸或视频时序模型。训练主要依赖 LivePortrait 合成，眼部、头发及极端脸尺寸仍会出错；PSNR 像素还原和 LPIPS 感知距离也并未全胜。没有增强时部分数字反而更高，作者将其解释为复制捷径，补充表中保留了这些反向结果。原文是 ECCV2026 生物识别生成模型 Workshop 终稿，不写成 ECCV 主会；数据是将来开放声明，未核到本方法代码，主文也未报告每图推理时间。 4. WeGenEditBench：高分改图也要逐项查漏 From Evaluation to Evolution: Benchmarking Image Editing and Evolving Image Models | 中山大学；腾讯 WeChat Vision；西安电子科技大学；复旦大学；清华大学深圳国际研究生院 | arXiv:2610.41210 关键词：图像编辑评测, 原子检查单, 定向数据, 低秩适配 前序问题：让模型把鞋子和摆件都变成银色，鞋子改得漂亮就可能拿高分，漏改的摆件被总分盖住。这样的反馈很难告诉下一轮训练到底缺什么。 方法直觉：评分前把需求拆成小检查单，先留下哪一项没做到的证据，再汇总；训练时只把失败类别与抽象条件传给新数据构造，避免照着测试图重新造题。 本文贡献：基准有 2740 实例、19 任务族、148 任务类型，覆盖单图、文字密集及多参考编辑。统一视觉语言裁判逐项记录扣分与理由，再给执行、保留、画质、专门要求四维 0–5 分；每子集 10%实例由 3 位专家抽审，修订后所有模型重评相关样本。WeGenEvoStudio 用失败诊断、检索新素材、合成监督、秩 16 的 LoRA 适配再重评。每个底座—基准单独训练 25000 例，分给 5 个弱类别各 5000 例；32 张 MLU590、每设备批 1，额外还有检索、生成与裁判调用成本。 Figure 4｜WeGenEvoStudio 把评价证据转为定向训练数据。诊断 Agent 挑弱项、形成数据处方，构造 Agent 检索概念或新的源图，合成生成与编辑任务；监督更新后重新评价闭环。图中的曝光编辑和分数条只用于示意流程，不代表独立量化实验。 实验效果：15 种模型配置中，GPT-Image-2 单图总分 4.076，Seedream5.0Pro 文字编辑 4.291；不同场景总分公式不同，不能横向直接当同一能力。GPT 单图中总分≥4 的 644 输出仍有 315 个含严重失败项，即 48.9%，不是全部输出的失败率。在报告选定的 Top-5 单图弱类别上，FLUX.2 总分 1.083→3.517；Qwen 编辑器 2.834→3.208，按未舍入值增 0.373、13.2%。目标类别因底座而异，前后只比较共同有效实例。 Table 4｜四基准中报告选择的 Top-5 类别比较。FLUX.2 在 WeGenBench 使用 326 个共同有效配对；不同底座目标集不同，绿/红为正/负变化。T2I 列是文生图，其他为编辑；EG/PR/VQ/DS 分别执行、保留、画质、专门要求，F/O 为相应总分。数值展示专化收益及负向维度，不等于全基准或多轮进化成绩。 批判点评：Top-5 定向收益不能冒充全基准进步，更不能证明已完成多轮自主进化。Qwen 在 GEdit 完整基准总分反降 0.190，单图目标上专门要求分降 0.128；更会执行显眼操作仍可能破坏其他规则。裁判版本与少量无效响应影响有效样本，微小名次差未必稳健；检索消融也有动物类别退步。未核到本框架官方实现地址，不能把各底座开放当作系统已开源。 5. Any Forcing：先把首帧做好再一步续拍 Any Forcing: Any-Step Generality and One-Step Stability for Autoregressive Video Generation | 西安电子科技大学；华为计算技术研究所；华为诺亚方舟实验室 | arXiv:2610.42031 关键词：自回归视频, 一步采样, 对抗蒸馏, 长期记忆选择 前序问题：把扩散视频压成一步后，第一张潜在帧一旦模糊，后续就一路带偏；只留下最近画面，又容易忘记最初的主体。换采样预算时也常要重训模型。 方法直觉：训练时同时检查整段是否真实、少一步能否接近多一步、首帧是否够好。推理时保留开头和最近画面，再从旧画面里挑真正还有用的少量记忆。 本文贡献：以 Causal Forcing 的 ODE 蒸馏因果模型初始化 Wan2.1-1.3B 学生。共享判别器做真实分布对齐、相同步噪声的相邻步一致性及首帧增强，前 200 训练步另对齐教师常微分方程 ODE 采样终点；16 张 A100 训练 1000 次迭代，每次生成器更新配 5 次假分布评分模型更新。长视频保留 3 个全局锚点、2 个长期记忆及 1 个近期上下文；候选须同时比最弱记忆更贴近全局锚点和近期内容才替换。将历史位置按顺序映回训练 RoPE 位置编码范围，选择只用干净历史查询，不用当前纯噪声查询。 Figure 3｜Any Forcing 整体。左：共享判别器联合真实分布对齐、跨步一致性和首帧增强，早期加教师 ODE 终点监督。右：全局锚点、动态记忆池、近期上下文组成记忆；按全局语义相关及局部价值判断新候选，随后将位置映入训练 RoPE 范围。图中 Fj 仅以视频帧示意第 j 帧。 实验效果：480p、946 提示各采 5 次，VBench 的 5 秒总分：4 步 85.09；首个潜在帧 4 步、以后 1 步为 85.06；首帧 2 步、以后 1 步为 84.79。这里 NFE 是每潜在帧的模型函数调用数，“一步”不代表全视频只调一次，也不代表首帧一步。30/60 秒在前一种计划下为 84.56/84.46。单 H100 短/长视频吞吐 20.9/24.7 帧每秒；长视频无训练选择机制，与生成器的蒸馏训练分开计。 Table 1｜480p 的 5 秒 VBench 比较，少步左右组分别 4 步、2 步；一步组 1*和 1†首个潜在帧分别 4 步、2 步，此后均 1 步。各采样组内最佳/次佳粗体/下划线；Sem 为语义，IQ 成像质量、AQ 美学、OC 物体类别，越高越好。完整维度另在补充材料，一步不能解释成全片一次调用。 批判点评：长视频对照把 Infinity RoPE 等记忆策略接到同一本文生成器上，主要隔离记忆策略差别，不能当成各原始系统直接排名。128 提示的消融不能说覆盖全部 946 提示；综合分接近也不证明每一维都不退步。固定容量会丢历史，60 秒稳定不等于无限记忆。官方项目有展示与评测，目前未提供可核实的代码仓链接；FPS 未给完整交互首帧响应时间。 6. RadialObj：让扩散更新别只挤少数通道 No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates | 延世大学；NAVER AI Lab | arXiv:2610.40914 关键词：扩散训练加速, 残差门, 通道参与度, 无教师正则 前序问题：给扩散模型加特征对齐，训练变快了，究竟是教师传来空间结构，还是模型内部更新方式也变了？只盯最终图像，很难分清原因。 方法直觉：Transformer 每个残差分支前有逐通道旋钮，控制该通道更新放进去多少。作者观察到，加速训练往往让更多通道共同承担更新，于是尝试只约束特征长度来改变这种分配。 本文贡献：AdaLN-Zero 用门向量α逐通道缩放残差输出，且同一门跨图像 token 位置共用。归一化参与比 nPR 为各门幅度平方之和的平方，除以四次方和再除通道数 D；若只有 m 个等幅非零通道，它为 m/D，衡量分配是否集中，不衡量更新总大小。Radial 目标在速度预测损失外，惩罚每张图全部 token 与通道拼平后的特征范数偏离目标 c，无教师、无样本两两距离。扫描 5 个目标后选 c=10√(ND)，N 是 token 数，D 是通道数；前 5 次迭代校准辅助梯度约为主损失的 10%。 Figure 1｜从残差门观察到训练改进。左：AdaLN-Zero 逐通道缩放残差输出，同门跨 token 位置共享。中：nPR 衡量门幅度平方在通道上分配的均匀程度，跨 REPA 教师更高的平均参与度与更低 FID 相关。右：Radial 只惩罚每样本特征范数，不需预训练教师或样本两两比较。 实验效果：ImageNet256×256、SiT-B/2 训练 40 万步：FID 图像分布距离从普通训练 16.24、Dispersive13.19 降到 11.83，越低越好；末层门平均 nPR 从 0.434、0.525 升到 0.642。这里在 101 个扩散时间点×1000 类别上计算后平均。带教师的 REPA 仍更好，FID7.71；Radial 的空间 FID 为 5.27，略差于 Dispersive5.25。它是在同训练步数改善质量，不能直接换算同等质量墙钟加速倍数。 Table 3｜ImageNet256×256、SiT-B/2 训练 40 万步，比较普通训练、Dispersive 和 Radial，REPA 是带教师参考；最佳无教师结果加粗。FID 和空间 FID 越低越好，IS、精确率和召回率越高越好；Radial 的 FID11.83 优于 13.19，但空间 FID5.27 略差于 5.25，REPA 的 FID7.71 仍更优。 批判点评：相关性不是完整因果证明：训练后把门强行拉均匀并不总能改善质量。理论只在忽略跳连交叉项、通道对称等条件下讨论局部门空间小步，不能保证实际优化器每步都提高参与度。目标范数经 FID 选优，这份搜索也有成本；研究以 ImageNet 类别条件模型为主，尚未验证任意文生视频。论文给的代码链接当前 404，不宣称可复现。 7. MFlowAudio：边出声音边接新的提示 MFlowAudio: Efficient Text-to-Audio Synthesis via Mamba-based Stateful Flow Matching | 伦敦大学学院；伦敦国王学院 | arXiv:2610.41852 关键词：文生音频, 有状态流匹配, 双轴Mamba, 动态提示 前序问题：想先听人群再听马鸣，整段生成必须等完，分段生成又可能在提示切换处咔哒一下。普通注意力还会随时长积攒越来越多历史缓存。 方法直觉：像逐行读谱一样沿时间保留固定状态，再横着看潜在通道间的联系；每块接上上一块状态，换提示时削弱与旧状态重复的驱动力，让新声音接进来。 本文贡献：TCMamba 把时间扫描与通道扫描结合，用流匹配学习从高斯噪声到声音潜变量的连续速度场；VAE 负责波形压缩/解码，文字用 T5 编码。有状态流匹配 SFM 按块缓存每次前向的终态，在固定块长、通道数和文字长度下，状态缓存不随总时长增大。SDCG 即状态解耦条件引导，在切换边界额外做一次带历史但无文字的前向，区分新文字与旧声音贡献；不是完全免费控制。44.1kHz 数据训练，581M 约 5.81 亿参数，8 张 H100、每卡批 64 训练 100 轮。 Figure 1｜MFlowAudio 关键组件。左：VAE 及声码器在声音和潜变量间编码/解码，噪声经 TCMamba 变成声音。中：TCMamba 块含文字与时间调制、时间 Mamba、通道 Mamba、交叉注意力及前馈层。右：沿时间和潜通道的双扫描机制分别捕获时间依赖与跨通道关系。 实验效果：单 RTX5080/16GB、20 次平均，10 秒音频耗 1.93 秒，TangoFlux3.51 秒；30 秒耗 3.10 对 3.55 秒，后者延迟降低约 12.7%，不是 14.5%少耗时（14.5%对应速度比提升）。64 个潜在位置约 3 秒一块，首块约 1.8 秒。AudioCaps4352 测试样本的 10 秒结果：FD 音频特征分布距离 11.8569 优于 15.8429，但 VGGish 特征 FAD 距离 2.5248 差于 2.1963；文字声音对齐 CLAP0.4957 也略低于 0.4990。动态提示边界谱变化比 BBR 为 4.3287，TangoFlux 为 11.6443，越低表示切换点相对背景变化更平滑。 Table 1｜AudioCaps 测试集的 10 秒/30 秒结果，参数列 B 为十亿、M 为百万。FD、KL 及 VGGish/OpenL3 特征 FAD 越低越好，IS 及 CLAP 对齐越高越好；base 与后续微调配置分列，不应跨列混搭。MFlowAudio10 秒 FD 占优，但微调后 VGGish-FAD 与 CLAP 仍不及 TangoFlux。 批判点评：不能把固定 18MB 的状态缓存当成整个系统显存恒定：它按一次前向计，采样步数及解码器仍有开销。非因果 VAE 要重叠和前瞻，边界控制还额外前向；完整播放时延需连解码一起算。消融中引导的 BBR4.3287 反差于未经调整的 4.2633，控制服从与平滑有取舍；BBR 也不等于听感无瑕。arXiv 评论标注 NeurIPS2026，但正文不扩写奖项；演示页存在，未核到本方法完整训练代码。 8. TalkFlow：嘴脸和身体分开生成再协调 TalkFlow: Structured Latent Flow Matching for Speech Driven Holistic Motion Generation | 纽约州立大学石溪分校；Futurewei Technologies | arXiv:2610.40972 关键词：语音驱动动作, 三流潜空间, 流匹配, 面身协调 前序问题：数字人嘴型跟上了，手势却慢半拍；把脸与全身都压进同一表示，又可能丢表情细节。它们节奏不同，但必须演同一段话。 方法直觉：先让整套骨架记住身体连接关系，再把上身、下身、表情分三路压缩与生成，用少量可控的信息交换协调，而非各自生成后硬拼。 本文贡献：SMPL-X 参数化人体含 55 关节旋转与 100 表情系数。先用整身图卷积保留拓扑，再形成上身/下身/表情三路连续潜变量；自编码器与生成器都用 FiLM 按特征缩放偏移并加门，连接上身—下身及上身—表情，无直接下身—表情边。HuBERT 语音、Librosa 声学、FastText 词向量和 SBERT 句向量组成分路条件，不能省略转录文字。冻结解码器后以流匹配从随机噪声生成动作，并加积分后解码的重建损失。训练窗 240 帧即 8 秒，时间压缩 4 倍；长序列推理只重叠 8 原始帧、线性混合与平滑，区别于训练分段重叠 60 帧。 Figure 2｜TalkFlow 整体架构。阶段 1 先按整身姿态和表情两条空间支路编码，再经时间编码形成上身、下身、表情三路潜变量。阶段 2 把语音特征分路条件化并用结构化流生成。FiLM 门交互协调上身—下身与上身—表情，无直接下身—表情交互；冻结阶段 1 解码器还原 SMPL-X 人体动作。 实验效果：BEAT2 沿用 Speaker-2 单说话人、85%/7.5%/7.5%划分。50 次 Euler 函数求值（逐步积分速度场），预提取语音条件后单 RTX4070TiSUPER 为 0.006 秒/帧，不含特征准备。表中面部顶点均方误差 MSE5.77，单位 10⁻⁸；顶点 L1 差 LVD6.65，单位 10⁻⁵，均优于 MambaTalk6.29/6.90。动作特征分布距离 FGD5.24，单位 10⁻¹，差于 EchoMask4.62；节拍一致 BCS7.84、单位 10⁻¹，也低于 ProbTalk8.10。37 人排名中，真实感、语义和整体同步获最低平均名次，越低越好。 Table 1｜BEAT2 比较，按表情、身体手势和全身动作生成分组。FGD 与 BCS 以 10⁻¹显示，MSE 以 10⁻⁸、LVD 以 10⁻⁵显示，DIV 是坐标变化量；粗体/下划线为最佳/次佳。FGD、MSE、LVD 低更好，BCS、DIV 高不自动等于更自然；TalkFlow 面部误差较好但动作分布及多样性非全面领先。 批判点评：节拍分接近最佳不代表更自然：真值 BCS6.86 还低于多种生成器，强行追节拍不能代表自然。DIV 是坐标差异量，不是高层风格多样性，TalkFlow 为 11.48 而 EchoMask13.37。单说话人不能证明跨人泛化，也无显式风格或全局位移，偶有滑脚。项目与代码已有训练/推理源码；完整基准评分仍依赖外部 EMAGE 工具，本次未运行模型。 9. GeoFlip：挪一点支撑结果会翻转吗 GeoFlip: Benchmarking Geometry-Sensitive Physics in Video Generation | 纽约市立大学；墨尔本大学；中山大学；香港中文大学；卡内基梅隆大学 | arXiv:2610.42002 关键词：视频生成评测, 几何干预, 物理结果翻转, 结构完整性 前序问题：同一块木板，伸出桌边少一点能稳住，多一点就会掉下去。两个视频都很清晰、动作也流畅，却可能无视这点几何差别而给出同样结果。 方法直觉：固定文字、质量和摩擦等物理条件，只改支撑范围或物体位置，先用仿真验证结果应该翻转，再分别看生成器有没有改对事件，以及有没有顺手把硬物掰弯。 本文贡献：基准含 482 对、964 段参考，覆盖支撑、力矩、重力、接触、弹性、滑轮六类；程序建场、物理模拟与数值误差检查后用 Blender 渲染。模型只看各自首帧和共享提示，独立生成。事件正确率先在每任务内按事件类别平衡召回，再对任务等权宏平均；不确定算错。结构完整性只把明确无变形/增件等的条件算清楚，不与事件正确合并成一个成功标签。像素 PSNR 和结构 SSIM 另评参考相似度。 Figure 2｜几何诱发物理结果翻转的构造与配对评测。先程序建场、数值验证再渲染，482 对共 964 条件；保持提示和其他物理设置不变，只改几何。示例增加桌边悬出范围使稳住变跌落，但模型可能两种初始条件都跌落；整对两项都正确才算配对成功，不能用单条件正确率替代。 实验效果：16 模型主比较用共同 442 个条件、34 任务，不是全部 964 段；GPT-6-Astra 每视频看 8 抽帧。Wan2.2 事件正确率最高 27.98%，结构完整仅 34.38%；LingBot 分别 26.69%与 60.81%。LTX 的 PSNR29.87dB 最高，事件率却 18.41%，可见像不像参考与物理事件不同。跨裁判另用 346 条件，事件/结构排名 Spearman 相关 0.906/0.929；结构分绝对差平均 15.14 个百分点，即便排序一致，宽严仍差很大。 Figure 4｜同 442 条件下 16 种视频模型的事件正确率与结构完整性散点，每点一个模型；两轴均为 GPT 裁判按任务宏平均的百分比，编号对应原论文表 2 前三总体名次。事件高不代表结构完整，Wan2.2 事件 27.98%而结构 34.38%，LingBot 结构 60.81%但事件 26.69%。 批判点评：27.98%是任务宏平均事件率，不是几何配对同时成功率，也不是现实物理能力上限。参考相似度只用 40 段，与 442 条件的事件/结构分分母不同；模型采用各自分辨率、帧数与采样计划，不能当同算力竞赛。八抽帧可能漏过程错误，结构标签裁判分歧明显。研究提供受控诊断而非视频纠错算法，执行完整 16 模型及双裁判需另付生成/评测成本；原文未给官方基准代码链接。 10. L3G-World：把三维记忆直接喂给视频模型 L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory | KAIST AI；梨花女子大学；KAIST Urban AI Institute | arXiv:2610.40614 关键词：世界生成, 潜在三维记忆, 高斯更新, 少步蒸馏 前序问题：相机绕房间一圈回来，家具位置变了。保存每帧历史会越来越占内存；保存三维场景后每次渲染彩色图再编码，又拖慢新画面生成。 方法直觉：记忆按场景的地盘分配，不按走了多久重复堆；把视频模型本来读的压缩特征也放进三维点里，换视点时直接渲染给它。 本文贡献：L3G-Mem 用彩色重建误差和不透明度找记忆缺口，只在那里聚类创建高斯元（带位置、尺度及特征的可渲染单元），并取当前可见旧高斯做残差修正。新旧 token 共同注意力交互；每高斯另存变分自编码器 VAE 潜特征。L3G-Gen 以 Cosmos-Predict2.5 为底座，拼接目标视点渲染的潜特征、不透明度和噪声生成下一块，再回写记忆。LoRA 低秩微调、AnyFlow 少步蒸馏得到 Fast 版；各模块用 4 张 A100 训练。内存随已探索空间增大，重复走相同区域才趋稳，不是无限地图零增长。 Figure 2｜L3G-Mem。a：将当前窗口与前一记忆输入，先按当前相机渲染旧记忆，确定哪些几何特征要聚类成新建查询，哪些可见高斯的 token 应取出精修；两组共同经 Transformer，分别解码为新高斯与残差更新。b：旧记忆的 RGB 和不透明度用新建掩码找待补区域，更新后记忆能重建当前已观测场景。 实验效果：481 帧往返同相机路径测试中，完整模型 DL3DV 返回视点的 PSNR16.00dB、LPIPS 感知差异 0.366，NeoVerse 为 13.53/0.652；这是前后同位姿自洽，不是未知世界真值。原文表 1 另用单 H100、400 帧成本测试：480×832、峰值 7.4GiB、总吞吐 9.02 帧/秒；实时流程采用少步版，不能把完整模型画质与 Fast 速度当同一配置。表 2 的 VAE 渲染 1086.58 帧/秒只计记忆条件形成，也不是整段视频速度。 Table 1｜记忆计算效率。T 为生成帧数，R 为分辨率大小，S 为场景空间覆盖；OOM 表示显存不足。所有成本按单 H100 生成 400 帧测量，各方法原生分辨率不同。比较记忆类型、构建、精修、空间增长、峰值显存、全流程 FPS 与是否实时；L3G-World 行 480×832、7.4GiB、9.02FPS，不能混同独立记忆渲染吞吐。 批判点评：快版在 DL3DV 的 FID43.05 差于完整版 40.57，RealEstate10K 的自洽与位姿也非全项领先；未知区域仍是生成，不证明物理正确。主文实验设置写单 A100 效率，而表 1 明确 H100，应按表分开引用。摘要的原语减少 38.6 倍与正文对 NeoVerse 的 266–417 倍基线不同，不能混作同一加速倍数。项目与仓库当前发布计划仍未勾选模型/推理代码，仅有说明和展示；尚不能声称可直接复现。 趋势观察 先确定参考究竟提供什么 AlbumVSR 把身份与朝向对齐纹理拆开，RADI3N 分开几何与纹理，PicturePerfect 破坏驱动光照以免复制。参考不是越完整越好，需阻断会随条件变化的错误线索。 单一总分会藏住真实取舍 WeGenEditBench 高分输出仍可能漏项，GeoFlip 把事件与结构分开，TalkFlow 的节拍分甚至高过真值也不保证自然。按任务失败逐项复核，比只看榜首更有用。 缓存越小越要写清计数口径 Any Forcing 只保少量历史，MFlowAudio 每前向状态缓存不随时长增长，L3G 记忆按空间覆盖增长。三者都不是无限上下文无成本；首帧、额外前向和解码仍要单算。 诊断有价值但别跨越因果边界 RadialObj 给出门参与度相关性及局部条件分析，WeGenEvoStudio 做一轮定向适配。前者不是完整因果定理，后者不是已验证无限自我进化。 今日讨论 AlbumVSR 的 ID-GT 从 0.586 到 0.670，MUSIQ 却从 72.34 降到 52.32；第 2 路纹理只把身份增 0.001。若相册里混入错人，应怎样用“相似度低于 0.5”的筛选与错人相册对照，确定何时拒绝参考、退回普通视频修复？ 人工智能炼丹君 整理 | 2026-11-03