标签搜索
侧边栏壁纸
博主昵称
Jefxiong

  • 累计撰写 238 篇文章
  • 累计收到 8 条评论
AIGC Daily Papers

AIGC 每日速读|2026-11-12|阿里多参考长视频换指令不断档-TaoMate-R1

人工智能炼丹君
人工智能炼丹君
2026-11-12 / 0 评论 / 0 阅读 / 正在检测是否收录...

今日 AIGC 论文速览

今日共 10 篇 · 多参考与广告视频审修 2 篇 · 多场景视频与生成加速 3 篇 · 几何控制与图文生成 2 篇 · 三维动作生成 1 篇 · 生成结果评测 2 篇

重点论文标题列表

  • TaoMate-R1（阿里）：多参考长视频换指令不断档
  • Review-and-Edit（Anoki）：广告视频问题一键找到修复入口
  • OneReel（伊利诺伊大学香槟分校）：多场景视频只共享少量关键帧
  • MG-Cache（北京邮电大学）：视频去噪按时间层级双重缓存
  • FADE（四川大学）：预测弯曲去噪轨迹少算视频

选读入口：要用多张参考图连续拍人和商品，先读 TaoMate-R1；要从广告成片定位错误并派给修复工具，读 Review-and-Edit。想控制跨场景一致性读 OneReel；要在既有 DiT 上提速，对照 MG-Cache 的缓存内存和 FADE 的离线校准。要画准钟表与披萨比例读 Angular Control；要让图文长文配图对位读 UniWeaver；做长序列 3D 动作看 FlashMotion。评估改图判官和视频物理常识，分别读 EditJudge-Bench 与 PhyRubric。

今日论文速览

1. TaoMate-R1：多参考长视频换指令不断档

TaoMate-R1: Temporal Role Specialization for Streaming Multi-Reference Video Generation | 阿里巴巴集团 | arXiv:2611.14307

关键词：视频生成, 多参考生成, 流式生成, LoRA, 场景连续性

  • 前序问题：指定人物和商品后连续拍两分钟，提示词中途换动作或物品；按片段生成常在接缝处换掉人物、房间或亮度。
  • 方法直觉：把“开场建景”和“后续延续”当成两种时间职责，各自用一套低秩适配器；同一职责既生成当前片段，也写入下一段要看的历史。
  • 本文贡献：TaoMate-R1 在冻结的 MiniMax H3 主干上配两组 LoRA，而非按去噪与写历史两种操作分组。Self Gradient Forcing 让开场和延续适配器沿自己生成的历史联合训练。32 个多参考案例采用相同两适配器预算比较。
图 2：TaoMate-R1 按时间职责分配生成与上下文写入。片段的绝对序号同时选择负责去噪和写入干净上下文的适配器；生成的音视频 K/V 作为后续片段条件，视频潜变量解码后展示。参考图片和四张叠放的输出帧来自实验中的商品互动序列。
Figure 2: TaoMate-R1: generation and context writing through temporal role specialization. The absolute chunk index selects an adapter for both denoising and clean-context writing. The resulting audiovisual keys and values condition subsequent chunks; video latents are decoded for display. The reference images and four stacked output frames come from an evaluated product-interaction sequence.
  • 实验效果：在 10 条约两分钟、指令会变化且共用教师音频条件的长流上，相对按操作分组，接缝平均亮度跳变从 1.96 降至 0.613；接缝 DINO 特征相似度从 0.973 到 0.990。DINO 是图像特征相似度，数值越高通常表示相邻帧外观更接近。该比较没有统一报告端到端推理延迟。
图 6：两分钟互动中的场景连续性。每行拼接首帧左半、每 0.5 秒采样的中间列和末帧右半；样例 006 长 119 秒。灰色刻度是指令变更时点，端点保留原始宽高比。条带对比逐片生成的构图变化与 TaoMate-R1 中稳定的主持人和桌面几何。
Figure 6: Scene continuity over a two-minute interaction. Each row combines the first frame’s left half, centre columns sampled every 0.5 s, and the last frame’s right half (case 006, 119 s). Grey ticks mark instruction changes; endpoints retain native aspect ratios. The bands contrast composition changes in clip-wise generation with stable presenter and table geometry in the TaoMate-R1 stream.
  • 批判点评：这是按参考生成新音视频，不是对现成视频直接编辑。接缝更平稳不等于所有指令都执行成功：长流的问答遵循分为 0.980，按操作分组为 1.00；结论依赖这套主干、两适配器预算和共享音频条件。

2. Review-and-Edit：广告视频问题一键找到修复入口

Multimodal Judges Flag, Humans Decide: A Review-and-Edit Framework for AI-Generated Product Video Ads | Anoki 公司 | arXiv:2611.13178

关键词：生成视频审阅, 视频编辑, 商品一致性, 多模态评测, 人工复核

  • 前序问题：电商商品页自动变成短广告后，镜头里商品形状、文案、旁白或字幕可能错；只给整条广告打一个好坏分，编辑者不知道该修哪一幕。
  • 方法直觉：把广告按场景和六类问题拆开，让多模态 judge 先指出时间点与依据，再由人确认；每条确认的问题直达对应编辑工具。
  • 本文贡献：系统检查商品、场景质量、发音、脚本、声音和字幕。门户把模型发现与商品照片、事实资料并列给审阅者；确认后可借别条广告的镜头、重生镜头、做视频到视频编辑或局部高分辨率修复。这里的核心是审修流程，视频生成与修复工具作为可替换后端。
图 3：生产审修门户。(a) 审阅页展示广告及场景、按六类问题折叠的问项和商品照片、商品事实、品牌规范、脚本证据，judge 标记会出现在相应问项上。(b) judge 的发现按场景、类型、证据列出，审阅者用赞/踩接受或拒绝，再回答下方问题；商品错误还需指定出错场景。(c) 场景 judge 的发现、逐场景保留/替换/无意见网格及次级问题类型。(d) 编辑页汇总已确认问题；进入对应场景工具后，可查看版本，借用同商品其他广告的场景、新生成场景，或以更高分辨率重新生成原片段来原位修复。
Figure 3 : The production portal. Panels (a) to (c) show the review and panel (d) the edit page. (a) The review page for one ad: 1 the ad and its scenes, 2 the six questions, collapsed, each tagged when a judge flagged it, and 3 the evidence: the catalog photos, product facts, brand kit and script. (b) 4 A judge’s finding sits inside the question with its scene, kind and evidence; the reviewer accepts or rejects each with a thumbs up or down and 5 answers below, where “Product wrong” then asks which scenes are at fault. (c) 6 The scene judges’ finding above 7 the per-scene grid, with keep, swap out or no opinion for each scene, and 8 the secondary options for the kind of problem. (d) On the edit page: 9 the scenes with confirmed issues; 10 a confirmed issue opens the scene tool on its scene, with 11 the scene’s versions and 12 ways to change it: another ad’s scene of the same product, a new scene, or Repair, which fixes the scene in place, today by regenerating its clip at higher resolution.
  • 实验效果：在自家流水线的 120 条广告、562 个场景中，辅助审阅标记约 60% 的场景有商品问题。对其中 60 条广告，辅助审阅的多数标记率为 58%，隐藏 judge 后两名审阅者为 26%；两组不能直接视作随机对照。另在盲标的 120 个场景上，商品 judge 的 AUC 为 0.84；它召回 29 个缺陷中的 26 个，但 56 个告警中仅 26 个是真缺陷。
图 2：一条 15 秒的生成广告在 judge 与审阅者眼中的六类问题，每行一类；视频随作者发布。审阅者接受商品相关发现，几乎全拒绝发音发现；他们还指出第 3、4 场景的字幕问题，并在第 2 场景补出 judge 漏掉的不可能动作和无依据的旁白宣称。
Figure 2 : One generated 15 s ad ( video in our release) as judges and reviewers reviewed it, one row per question. Reviewers accepted the judges’ product findings and rejected nearly all of their pronunciation findings. They also marked the S3 and S4 captions and added two problems the judges missed in S2: an impossible motion in the scene and an unsupported claim in its line.
  • 批判点评：高召回带来较多误报，必须保留人工决定；实验证据来自单一市场、英语旁白和一条内部生成流水线。研究没有证明全自动编辑或审核耗时一定缩短。

3. OneReel：多场景视频只共享少量关键帧

OneReel: Efficient Multi-Scene Video Generation with Scene-Structured Attention | 伊利诺伊大学香槟分校；得州大学奥斯汀分校；斯坦福大学 | arXiv:2611.10594

关键词：多场景视频生成, 稀疏注意力, 共享记忆, 多GPU

  • 前序问题：多场景视频若所有帧彼此全连接，注意力成本随场景数迅速膨胀；分场景单独生成又容易让人物和物体跨场景变样。
  • 方法直觉：场景内部保持完整注意力，跨场景只交换被挑出的代表帧；提示词和时长先划定每个场景的作用范围。
  • 本文贡献：OneReel 无需再训练生成主干：对每个场景保留本地注意力，把聚类选出的潜变量代表帧放进有界共享记忆；再把本地及共享 K/V 打包为连续的可变长注意力输入，并按通信成本选择多 GPU 分工。理论上的跨场景注意力随场景数由平方变线性。
图 5：不同模型架构上的场景结构化注意力。行是 query，列是 key；紫色表示场景内连接，橙色表示从共享记忆选出的外场景视频 K/V。示例只画一个注意力头，文本 query 仍限制在本场景。
Figure 5: Scene-structured attention across model architectures. Rows denote queries and columns denote keys. Purple denotes scene-local interactions; orange denotes selected foreign video K/V from a shared memory. The example shows one head; text queries remain local.
  • 实验效果：四种生成模型的实验相对稠密注意力报告端到端 1.7–4.9 倍加速。40 个多场景请求中，HunyuanVideo-1.5 480p 的文本遵循分从稠密的 27.7 提至 61.9；同表的动作分从 34.5 到 64.1。分数只在论文这套多场景提示与评测协议下可比，性能还依赖共享记忆和多 GPU 打包实现。
图 10：HunyuanVideo-1.5 的一分钟多场景生成。OneReel 按请求产生不同场景，而稠密注意力生成的画面持续重复。
Figure 10: Minute-long generation with HunyuanVideo-1.5. OneReel captures the requested scene changes, while dense generation remains visually repetitive.
  • 批判点评：需事先给出场景提示及持续时间；代表帧太少会漏掉跨场景细节，太多则削弱加速。作者对一分钟长视频另加场景局部 RoPE，说明注意力作用域之外的时间位置编码同样影响效果。

4. MG-Cache：视频去噪按时间层级双重缓存

MG-Cache: Multi-Granularity Caching for Accelerating Diffusion Transformer Inference | 北京邮电大学 | arXiv:2611.11365

关键词：视频生成加速, 图像生成加速, Diffusion Transformer, 多粒度缓存

  • 前序问题：扩散 Transformer 要重复计算几十次；各时间步和各层变化程度不同，统一跳过容易积累误差，高清长视频尤其耗时。
  • 方法直觉：先用小批校准样本找出可跳过的去噪时间步，在线再按各层输入变化和重要性决定是否复用注意力或 MLP 的中间特征。
  • 本文贡献：MG-Cache 的第一阶段离线分析时间步冗余，第二阶段对层内模块按稳定度与敏感度动态缓存；无需重新训练生成模型。论文在 HunyuanVideo 与 FLUX.1-dev 上同时测速度、画质和相对未缓存输出的保真度。
图 2：MG-Cache 的两阶段流程。阶段一用少量校准数据构造时间步特征表，离线找出需要保留的关键去噪步；阶段二在推理时结合各层重要性与输入稳定性，动态决定复用哪些层的缓存特征。
Figure 2 : Overview of the Multi-Granularity Cache (MG-Cache). We design a two-stage strategy to exploit computational redundancy during inference. Stage 1 performs a static offline analysis to identify and preserve critical timesteps based on a timestep feature table [ M ^ t ] [\hat{M}_{t}] constructed from a small batch of calibration dataset. Stage 2 introduces a dynamic layer-wise caching mechanism that computes layer importance scores and input stability to adaptively determine whether to reuse cached features.
  • 实验效果：HunyuanVideo 文生视频、544×960、129 帧、原始 50 步条件下，慢档由 982.03 秒降至 358.86 秒，即 2.74 倍；VBench 从 75.45% 到 75.14%，PSNR 27.44 dB 是相对原始输出的像素保真度。bf16 层缓存对该分辨率需 49.8 GB，论文使用内存卸载；因此速度收益不能脱离缓存容量与数据搬运谈。
图 1：视觉质量对比。MG-Cache 在达到较高加速比时仍更接近原始生成；第一行提示词中的“stop”字样，其他方法出现模糊，而本法保留了字形清晰度。
Figure 1 : Visual quality comparison. While achieving a higher speedup than baselines, our method also maintains superior fidelity to the original output. For instance, in the first row (Prompt 1), other methods exhibit blurring on the text "stop," whereas our method preserves text sharpness.
  • 批判点评：离线校准和高分辨率层缓存是额外成本。快档可进一步提速，但同表 VBench 降到 74.13%；部署需按显存、内存和质量目标调阈值。

5. FADE：预测弯曲去噪轨迹少算视频

FADE: Fractional Anomalous Dynamics Extrapolation for Training-Free Diffusion Transformers Acceleration | 四川大学 | arXiv:2611.10514

关键词：视频生成加速, 图像生成加速, Diffusion Transformer, 特征预测

  • 前序问题：缓存法在跳过多个去噪步时通常按直线或整数阶变化外推特征；遇到弯曲且随时间变化的轨迹，误差会累积。
  • 方法直觉：用分数阶动力学描述特征轨迹的弯曲程度；先离线测好各阶段和层的参数，在线按查表结果在完整计算和预测步之间交替。
  • 本文贡献：FADE 用 Mittag–Leffler 分数阶算子外推 DiT 中间特征，离线校准最合适的阶数并存入多维查找表；推理时按时空位置取参数，减少被跳过步骤的计算且不微调主干。
图 2：FADE 总体流程。离线阶段校准最优分数阶并存入静态查找表；在线阶段按表取阶数，在完整计算步与预测步之间交替外推特征。右上角用潜空间轨迹说明 FADE 相对整数阶轨迹的几何差别。
Figure 2 : Overall framework of FADE. FADE consists of an offline profiling stage and an online inference stage. The offline stage calibrates and stores the optimal fractional orders in a static LUT, while the online stage alternates between full-compute and prediction steps using LUT-retrieved orders for feature forecasting. The upper-right panel illustrates the geometric contrast between the FADE trajectory and the integer-order trajectory in the latent space.
  • 实验效果：HunyuanVideo 文生视频的同表条件下，原始 50 步耗时 190.2 秒、VBench 80.68%；FADE 在 N=6、m=1 设置下耗时 37.9 秒、VBench 80.12%。按列出的延迟相除，墙钟加速约 5.02 倍；表中 Spd. 列的 5.56 倍与 FLOPs 比 29,773/5,359 一致，两个口径不应混写。同预算 HiCache 为 37.8 秒和 79.93%，FADE 主要改善该表的质量而非进一步缩短时延。
图 5：文生视频生成的定性比较。
Figure 5 : Qualitative comparison on text-to-video generation.
  • 批判点评：收益依赖离线校准的查找表及具体主干；换架构或采样预算需重新标定。VBench 相对原始生成仍下降 0.56 个百分点，不能把“保真”写成无损。

6. Angular Control：让画出来的时钟真指向指定时刻

Continuous Angular Control in Text-to-Image Generation via Geometric Token Encoding | 毕尔肯特大学；CISPA 亥姆霍兹信息安全中心；弗赖堡大学 | arXiv:2611.13172

关键词：图像生成, 几何控制, 扩散模型, 角度编码

  • 前序问题：让文生图模型画 10:10 很容易，要求 1:45 时两根针常常还是落回惯见姿势；要求披萨只剩指定圆弧比例也有类似问题。
  • 方法直觉：把时针、分针或扇区边界的角度编码成周期性的正弦和余弦 token，直接放进提示词；训练时由局部约束逐步放松到整物体约束，让数字位置落到正确部件。
  • 本文贡献：该法在冻结文本编码器前插入角色专属几何 token，并用 LoRA 调整 SD 2.1 去噪器。Stochastic Localization Relaxation（SLR）混合部件框、物体框和无定位三种训练监督；推理无需输入框。另用指针互换偏好损失防止时针和分针角度对调。
图 2：左侧是几何 token 编码框架，以时钟控制为例：目标时间 (h,m) 或圆形比例扇区边界编码成正弦—余弦对，经投影网络 P 得到时针、分针或扇区起止边界的角色专属 token，在冻结的文本编码器前插入 prompt。两项任务共用同类 MLP 结构，并条件化经 LoRA 调整的 SD 2.1 去噪 U-Net。右侧是随机定位放松 SLR：训练时按 55%/30%/15% 抽取部件框级 CALL、物体框级 CALL 或无约束的普通交叉注意力定位；推理不需要定位输入。
Figure 2 : Left: Overview of our geometric token encoding framework, illustrated for clock-time control. The target clock time ( h , m ) (h,m) or fraction-sector boundaries are encoded as sinusoidal pairs and mapped through the projection network P P to produce role-specific geometric tokens h , m \mathbf{e}_{h},\mathbf{e}_{m} (or s , e \mathbf{e}_{s},\mathbf{e}_{e} ) injected into the prompt before the frozen text encoder. Both tasks share the same MLP architecture and condition a LoRA-adapted SD 2.1 denoising U-Net. Right: Stochastic Localization Relaxation (SLR). Training samples one of three localization regimes (55/30/15%): component-level CALL using component boxes, object-level CALL using a shared object box, and unconstrained standard cross-attention. No localization input is required at inference.
  • 实验效果：时钟 Acc@6° 指两针都在目标角度 6° 内；四种未微调基线均低于 1%，本法在不同读图器下约 63–78%。圆形物体比例误差不超过 0.10 的 Acc@0.10，训练类为 89.5%，未见过的物体类为 88.8%，未见过的比例为 84.9%；基线约 20%。这些数字来自带精确角度标注的任务数据。
图 8：在角度端点附近比较原始周期编码与增加标量比例 f 的编码。原编码能生成接近 0° 的小扇区，但在 360° 整圆目标时仍可能产生窄切片；加入 f 能区分端点并生成完整物体，却可能把 1°–5° 的小角度放得过大。图中展示披萨、馅饼和蛋糕。
Figure 8 : Qualitative comparison of the original periodic encoding and the augmented encoding with the scalar fraction f f near the angular boundaries. The periodic encoding produces small sectors near 0 ∘ 0^{\circ} but may generate narrow slices even for complete-sector targets ( 360 ∘ 360^{\circ} ), reflecting its endpoint ambiguity. Adding f f distinguishes the endpoints and enables complete-object generation, but can produce oversized sectors for small target angles ( 1 ∘ 1^{\circ} – 5 ∘ 5^{\circ} ). Results are shown for pizza, pie, and cake.
  • 批判点评：必须有任务专用的几何标注与训练；复杂场景或部件不清时精度会下降。0° 与 360° 的周期编码端点相同，附录增加比例标量虽能区分整圆，却可能放大小角度扇区。

7. UniWeaver：把文字和配图按任务一起编排

UniWeaver: Harnessing Unified Multimodal Models for Interleaved Text-Image Generation | 俄亥俄州立大学；伦敦大学学院；香港中文大学；香港科技大学（广州）；香港大学 | arXiv:2611.13530

关键词：图文交错生成, 多模态生成, 规划, 视觉反馈

  • 前序问题：用户只说“做一份操作指南”，统一多模态模型常先写完一段再补图，图与步骤错位，关键步骤也可能没有画面。
  • 方法直觉：先确定每一段要讲什么、配什么图和共享风格，生成后再按可观察清单检查图片是否支持文字；失败时修正局部。
  • 本文贡献：UniWeaver 是模型无关的图文交错生成工作流，包含任务范围、文字与图片规划、参考图分配和视觉复核。作者用该流程构造覆盖 20 类任务的 1 万条训练轨迹，并建立 120 条留出任务的 UniWeaver-Bench，从文字覆盖、写作质量、视觉覆盖与图文对齐评估终稿。
图 3：UniWeaver 概览。① 结构化图文交错工作流，其执行轨迹用于微调监督；② UniWeaver-10K 在 20 个任务家族中提供 1 万条只有目标的任务及相应规划轨迹；③ UniWeaver-Bench 用 120 条留出任务评估最终图文交错产物。
Figure 3: Overview of UniWeaver. ① UniWeaver introduces a structured workflow for interleaved text-image generation, with execution trajectories providing supervision for fine-tuning (Section 3.1 ). ② UniWeaver-10K Dataset provides 10,000 goal-only tasks paired with structured planning trajectories across 20 task families (Section 3.2 ). ③ UniWeaver-Bench systematically evaluates final interleaved outputs on 120 held-out tasks (Section 3.3 ).
  • 实验效果：在同一 120 任务消融协议中，基于 BAGEL 的完整方法综合分 58.89；去掉共享视觉风格为 48.21，去掉任务目标为 53.01。分数按任务门禁通过率加权，只对过门任务计算；不能直接解读为每张图片质量提高 10.68 分。论文未给统一的额外模型调用成本与端到端耗时。
图 5：两个代表性任务的定性对比。UniWeaver 给出更连贯、可操作的说明及贴合任务的配图；基线出现内容重复、细节缺失或图片未有效支撑文字的问题。原文建议放大查看。
Figure 5: Qualitative comparison on two representative tasks. UniWeaver produces more coherent, actionable instructions with task-relevant visuals, while baselines exhibit repetitive content, missing details, or ineffective visual support. Zoom in for better view.
  • 批判点评：这一流程依赖规划与视觉 judge，长文可能增加调用与返工成本；评测本身也依赖模型判分。图文能力提升并不自动代表单张图的生成模型更强。

8. FlashMotion：一万帧动作也能快生成

FlashMotion: Ultra-Fast Long-Term 3D Motion Generation | 腾讯 IEG Motus Group；中国人民大学；清华大学；得州大学达拉斯分校；武汉大学；南开大学；香港大学 | arXiv:2611.13626

关键词：3D动作生成, 文生动作, 音乐舞蹈, 语音手势, 少步采样

  • 前序问题：游戏和虚拟人的长动作既要跟文本、音乐或语音走，又要少采样、少显存；长序列常出现脚滑、抖动或推理跟不上交互。
  • 方法直觉：同时缩短“要采几步”和“每步有多贵”：用少步平均速度预测完整动作，再用轻量双向时序模块看前后动作与条件。
  • 本文贡献：FlashMotion 将带运动学和动力学约束的 3D motion-space MeanFlow 与约 6000 万参数的 BiMamba/CoBiMamba 组合，支持文生动作、音乐生舞蹈和语音生手势；Adaptive Soft mask 用于动作中间段编辑。这里生成的是 3D 运动表示，后续骨骼绑定与渲染另算。
图 2：FlashMotion 框架。(a) 推理时预测干净动作并用 MeanFlow 更新；(b) 训练时把带噪动作、条件和时间步映射到干净动作目标；(c) 共用的 BiMamba/CoBiMamba 模块。紫色虚线为可选条件通路，BiMamba 不使用，CoBiMamba 用它按条件选择状态。
Fig. 2: Overview of FlashMotion . (a) Inference flow with clean-motion prediction and MeanFlow updates. (b) Training model inputs and output: noisy motion, conditions, and timesteps are mapped to the clean-motion target. (c) Shared BiMamba/CoBiMamba block. Dashed purple paths denote optional conditioning, omitted in BiMamba and used in CoBiMamba for condition-guided state selection.
  • 实验效果：BABEL 长序列文生动作实验中，四步版 R@1 为 29.134%，对 DART 的 26.105%；R@1 是文本查询时正确动作排在第一的比例。RTX 3090、batch=1 的一万帧动作输出，论文报 46,303 FPS，对 DART 的 75 FPS；这是运动序列吞吐，不是最终视频渲染帧率。一阶段更快但 FID 更差，反映速度与分布质量取舍。
图 3：三个连续提示词构成的同一文生动作序列，在相同条件下比较不同方法生成的动作。
Fig. 3: Text-to-motion comparison under a shared sequence of 3 prompts.
  • 批判点评：仿真中的动作可用于角色动画，但机器人执行和真实人体安全性不能由这些分数推导。速度比较受动作长度、硬件和只计模型生成的口径影响。

9. EditJudge-Bench：先测判官会不会看错改图

EditJudge-Bench: Auditing VLM Image-Edit Judges with Synthetic Ground Truth | 丹麦技术大学；Pioneer Centre for AI | arXiv:2611.12524

关键词：图像编辑评测, VLM判官, 合成真值, 反事实

  • 前序问题：图像编辑榜常请视觉语言模型判断“改对了吗”，但真实改图既有意外副作用又没有精确真值，判官判错时很难归因。
  • 方法直觉：用 Blender 场景参数生成编辑前后对，哪一物体、位置、材质或形状被改过都有确定答案；再让 VLM 判断编辑指令是否真的执行。
  • 本文贡献：EditJudge-Bench 有 1,382 对合成图，覆盖九类编辑并配错误方向、错对象、无编辑等反事实指令；以 25 种判官配置检验指令核验可靠性，并比较不同提示模板和图文顺序。它评测的是编辑判官，不是推出新的图像编辑模型。
图 2：EditJudge-Bench 的九类编辑。中央小图显示每类对应的 Blender 场景参数：物体位置 x、旋转 r、缩放 s、形状参数 θ、关节 ψ、材质 m、可见性 v、光照 l 与相机 c；外围图片展示各类从源图生成的一例编辑。每次编辑都是确定性的参数改动，因此改动幅度和方向有精确真值。
Figure 2: Overview of the nine edit types in EditJudge-Bench . The central inset shows the underlying Blender scene parameter modified by each edit: object position \mathbf , rotation \mathbf{r} , scale \mathbf{s} , shape parameter θ \mathbf{\theta} , articulation joint ψ \mathbf{\psi} , material \mathbf{m} , visibility \mathbf{v} , lighting state \mathbf{l} , and camera state \mathbf{c} . Surrounding images show one rendered edit from the source image per category. Because each edit is a deterministic parameter change, magnitude and direction are known exactly.
  • 实验效果：论文报告 GPT-4o 使用常见 VIEScore 模板的整体 AUROC 为 69.0%；AUROC 是随机抽一正一负时把正确编辑排得更高的概率。若干微调判官为 51.7–66.3%，图文顺序等提示格式可改变结果最多 14.1 个百分点。尽管测试图是合成的，判官排名与两项真人偏好榜的 Spearman 相关分别为 0.95 和 0.71。
图 3：EditJudge-Bench 的编辑前后图像对示例；每种编辑类型展示三对原图与改图。
Figure 3: Example image pairs in EditJudge-Bench . For each edit type, we show three original/edited image pairs from our benchmark.
  • 批判点评：Blender 场景与真实照片仍有域差；排名相关高不表示任何单一判官在真实编辑上都可靠。旋转、形状等空间编辑尤其难判，应逐类审计。

10. PhyRubric：逐条指出生成视频违反哪条物理

PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation | 伊利诺伊大学芝加哥分校 | arXiv:2611.13576

关键词：视频生成评测, 物理常识, 细项量表, 时间戳诊断

  • 前序问题：文生视频若小勺瞬间跳位、按钮还没按灯就亮，单个“物理分”说不清问题发生在哪一秒，也不利于修提示词。
  • 方法直觉：在看到生成视频前，先把每条提示词拆成语义与物理预期；播放后逐项给出是否达成及对应时间戳。
  • 本文贡献：PhyRubric 包含五个物理领域、34 类情境；PhyRubric-Bench 对十种文生视频模型做细项诊断，另用 3,788 条视频训练开源 PhyRubric-Judge。判官分别报语义遵循 SA、物理是否可评、物理分 PC，并给违反预期的证据。
图 2：PhyRubric 流程。① 每条提示词在看到视频之前先写语义遵循 SA 与物理常识 PC 的细项量表，同一量表用于评估所有模型。② PhyRubric-Bench 覆盖五个物理领域，量表由 LLM 起草、人审，十种文生视频模型的输出先由 agent 预标再由人核验。③ 训练与判官：agent 标注训练视频构成 PhyRubric-Train，用来训练 PhyRubric-Judge；输入视频和提示词后，判官输出 SA 分、PC 是否可评、PC 分，并附带违规时点证据。
Figure 2 : Overview of PhyRubric. (1) Rubric formulation : each caption is paired with a rubric covering semantic adherence (SA) and physical commonsense (PC), constructed before any video is seen and reused to score videos from all models. (2) PhyRubric-Bench : captions spanning five physical domains and their rubrics are drafted by LLMs and reviewed by humans. Videos from 10 T2V models are pre-annotated by an agent and verified by humans. (3) Train & Judge : an agentic annotator labels training videos to build PhyRubric-Train, on which we train PhyRubric-Judge. Given a video and its caption, the judge outputs an SA score, whether PC is assessable, a PC score, and a diagnosis of the violated expectation with timestamped evidence.
  • 实验效果：在该榜单，JP 是全部视频中 SA 与 PC 都至少 4/5 的比例；Seedance 2.5 平均 JP 44.20%，Veo 3.1 为 36.20%，但并非跨数据集总排名。判官相对真人物理分的 Pearson r 为 0.32，Gemini 4 Argon 为 0.31；两者物理通过判别 AUC 均 0.68，说明自动诊断仍有明显误差。
图 7：PhyRubric-Bench 的两个失败例。(a) 少量番茄酱突然变成一整碗，勺子在 1.50–1.62 秒之间跳位。(b) 手指 2.30 秒才碰到按钮，车顶灯却从第一帧就亮着。
Figure 7 : Two failure cases from PhyRubric-Bench. (a) A small squirt of ketchup becomes a full bowl and the spoon jumps between 1.50 s and 1.62 s. (b) The roof light is lit from the first frame, before the finger reaches the button at 2.30 s.
  • 批判点评：PC 只对“物理可评”的视频平均，单看它会漏掉根本没生成目标事件的失败；JP 更适合合看。细项量表和时间戳需人审，诊断改写提示词的示例不能直接当作普遍修复率。

趋势观察

把长视频的共同信息压到必要位置

TaoMate-R1 按时间职责训练适配器，OneReel 只交换场景代表帧；一个处理生成历史角色，一个处理跨场景注意力。

加速仍要算额外状态成本

MG-Cache 在高分辨率视频需要大型层缓存；FADE 需要离线校准分数阶。两者速度数字均不可脱离各自硬件和采样设置。

可控生成与评测都转向可定位证据

Angular Control 把角度直接编码进 prompt，Review-and-Edit 按场景定位问题，EditJudge-Bench 与 PhyRubric 追问判官和物理诊断的可靠性。

今日讨论

TaoMate-R1 在十条两分钟长流上把接缝亮度跳变从 1.96 降到 0.613，但长流问答遵循分略低于按操作分组。若按开场与延续分组拍一条中途连续换五次商品指令的广告，哪些指标能同时验证接缝、人物身份和指令执行，何时该放弃这套分组？

人工智能炼丹君 整理 | 2026-11-12

更多 AIGC 论文解读，关注微信公众号「人工智能炼丹君」

每日更新 · 论文精选 · 深度解读 · 技术脉络

微信搜索 人工智能炼丹君 或扫描下方二维码关注

扫码关注「人工智能炼丹君」

0
版权属于： 人工智能炼丹君
本文链接： https://jefxiong.cn/index.php/archives/aigc-daily-papers-20261112.html
作品采用： 《 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 》许可协议授权
相关推荐
AIGC 每日推送目录
AIGC 每日推送目录
 AIGC 每日速读|2026-11-11|南京大学给长视频扩画找回旧镜头-LongSCOP
AIGC 每日速读|2026-11-11|南京大学给长视频扩画找回旧镜头-LongSCOP
 AIGC 每日速读|2026-11-11|悉尼大学让人物跨场景不丢-SceneShifter
AIGC 每日速读|2026-11-11|悉尼大学让人物跨场景不丢-SceneShifter
 AIGC 每日速读|2026-11-10|巴黎萨克雷免反演流式改片AR-Edit
AIGC 每日速读|2026-11-10|巴黎萨克雷免反演流式改片AR-Edit

评论 (0)

取消
粤ICP备2021042327号