AIGC 每日速读|2026-11-20|腾讯视频重拍新机位-One Shot

人工智能炼丹君
2026-11-20 / 0 评论 / 0 阅读 / 正在检测是否收录...

今日 AIGC 论文速览

今日共 10 篇 · 视频重拍与图像编辑 2 篇 · 视频生成加速 2 篇 · 视频生成评测 2 篇 · 图像生成评测 1 篇 · 三维生成 3 篇

重点论文标题列表

  • One Shot(腾讯):一段视频重拍任意机位
  • Equal Dose(中科大):同剂量修图仍画出不同面积
  • PQRS(清华):每个查询独立选视频注意力
  • Spark-H3(北大):视频稀疏注意力重排分块
  • EVF-Bench(京东):电商视频六维检查商品与文字

选读入口:要为一段视频改机位、保人物和场景外观,先看 One Shot;研究等剂量编辑为何画出不同面积看 Equal Dose;压视频注意力成本看 PQRS 与 Spark-H3;做电商视频看 EVF-Bench,检查物理参数响应看 PhysResponse;航拍小目标看 TOGBench;需要可控眼部、数字人面部或室内场景生成,分别看 EyeDiT、FaceRiff、ReflectScene。


今日论文速览

1. One Shot:一段视频重拍任意机位

One Shot, Any View: High-Fidelity Video Reshooting with Geometry Guidance and Visual References | 腾讯在线视频 | arXiv:2611.24253

关键词:参考视频生成, 视频重拍, 视角控制, 三维几何, 人物参考, 场景参考

  • 前序问题:成片后补拍另一个机位成本很高;从单机位视频直接合成新视角,又会因长焦、浅景深和暗光使重建点云出现拉伸、孔洞,生成结果继承伪影。
  • 方法直觉:让点云只负责交代人物和场景的位置,由原视频与可选人物、场景参考图提供外观;时间位置编码则让新机位与原片同步。
  • 本文贡献:One Shot Any View 从原视频估计逐帧深度与相机位姿,按指定轨迹渲染点云视频,再由预训练参考视频生成模型 R2V 合成新视角。训练加入同一重建流程处理的真实多机位视频,减轻点云伪影的迁移;几何锚定的 RoPE(旋转位置编码)偏移保持动作时序,一步超分将 768P 输出提升到 1440P。
图 6:单源视频重拍。(a) 系统估计逐帧深度与相机姿态,将源像素提升为带颜色的点云。(b) 沿用户指定相机轨迹渲染点云,得到目标视角点视频。R2V 生成器结合该视频、源片、结构化描述及可选人物和场景图,生成新视角。
Figure 6 : Video reshooting from a single source view. (a) The system estimates per-frame depth and camera poses and lifts source pixels into a colored point cloud. (b) Rendering the points along the requested camera trajectory yields a target-view point video. The R2V generator uses this video, the source clip, a structured caption, and optional character and scene images to generate the new view.
  • 实验效果:论文在客观与人工评价中报告优于 Vista4D、CameraAnything 等重拍方法;图中还显示场景参考图可补原镜头未见的庭院外观,人物参考图可帮助保留衣服标识。结论面向人像电影视频与论文测试轨迹,未给出可跨设置外推的统一加速数字。
图 13:参考图的作用。(a) 场景参考图提供拱廊之外庭院的外观。(b) 原片只拍到跑者背影;方框标出蓝衣跑者在参考肖像及两张目标视图中的面部和上胸;放大图展示衣服标识及其相对衣领的位置。
Figure 13 : Effect of reference images. (a) The scene reference supplies the appearance of the courtyard beyond the arcade. (b) The source shows the runners from behind. Boxes mark the face and upper chest of the runner in blue, in his reference portrait and in both target views. The enlargements show the shirt logo and its location relative to the collar.
  • 批判点评:重建几何仍决定构图,严重遮挡或错误相机位姿可能使新视角失败;参考图能补外观,但不能保证原片未拍到的真实内容。生成、重建和超分三段的算力成本也应一并核算。

2. Equal Dose:同剂量修图仍画出不同面积

Equal Dose, Different Coverage:Tracing Rate and Duration in Image Editing | 中国科学技术大学 | arXiv:2611.19955

关键词:图像编辑, 科学图像, 扩散模型, 因果追踪, 剂量一致性

  • 前序问题:科学图像编辑中,喷涂速率乘时长相同理应覆盖相同面积,但模型会对“快喷短时”和“慢喷长时”画出不同范围。
  • 方法直觉:沿提示词位置和去噪阶段交换等范数激活,找出误差究竟来自改变的数字还是看似未变的上下文,再只共享承载误差的部分。
  • 本文贡献:作者在蒸馏 FLUX 等模型中追踪速率与时长交换的因果效应。中文提示实验里,早期未改变文本位置的上下文激活解释 3.98 个百分点路线差异中的 3.51 个百分点;交换改变的数字仅解释 0.09 个百分点。由此提出早期上下文共享干预。
图 2:按文本位置与去噪阶段定位路线差异。(A) 等范数交换数字或上下文后的带符号覆盖面积转移,点与误差条分别是均值和标准误;蒸馏 FLUX 的早期上下文承载比基础配置更大的差异。(B) 等剂量 9 单位两路线:供体慢喷 1 单位/秒持续 9 秒,受体快喷 9 单位/秒持续 1 秒,以及受体交换早期上下文或数字后的结果。上下文使覆盖面积向供体靠近,数字交换则保留受体覆盖;百分比是最终整幅画布的蓝色面积。
Figure 2: Position and stage localize the route difference. (A) Signed coverage transfer after norm-matched digit or context exchange. Points and bars give means and SEs. Early context carries a larger difference in distilled FLUX than in the base configuration. (B) Nine-unit routes: the long donor (1 unit/s for 9 s), fast native recipient (9 units/s for 1 s), and that recipient after early context or digit exchange. Context moves coverage toward the donor, while digits retain the recipient’s coverage. Percentages measure whole-canvas blue area in the final outputs.
  • 实验效果:在独立英文布局上,蒸馏 FLUX 的绝对路线差距由 1.13 降到 0.60 个百分点;这是两条等剂量提示之间的一致性收益。作者另做目标面积校准:即便共享整段编码使两路结果相同,目标误差仍有 8—16 个百分点。
图 3:定位所得干预的独立验证。上:英文 9 单位快喷与慢喷路线,在两种模型配置中共享早期上下文前后的图像;百分比是整幅画布的蓝色面积。下:各布局的绝对路线差距用细配对线表示,队列均值用点表示,误差线为标准误。C 与 D 分别表示上下文和数字;中文与英文面板各自沿用对应的两个操作数组合。
Figure 3: Independent validation of the localization-derived intervention. Top: English nine-unit fast and long routes before and after early context sharing in both configurations. Percentages give whole-canvas blue area. Bottom: absolute route gaps for every layout (thin paired lines), cohort means (markers) and SEs. C and D denote context and digits. Chinese and English panels retain their respective operand combinations.
  • 批判点评:路线一致不等于画得准确;干预依赖模型配置和早期特征可访问性。现有证据来自喷涂覆盖面积任务,不能直接推广到任意图像编辑指令。

3. PQRS:每个查询独立选视频注意力

Every Query Routes Itself: Accelerating Video Diffusion Transformers with Per-Query Routed Sparse Attention | 清华大学、哈尔滨工业大学(深圳)、深信服 | arXiv:2611.24479

关键词:视频生成, 稀疏注意力, 免训练加速, 扩散模型, 查询路由

  • 前序问题:视频扩散 Transformer 的注意力序列很长。传统聚类让一组 query 共用 key 选择,组内每个位置真正需要的信息却可能不同。
  • 方法直觉:只聚合 key,让每个 query 自己路由;漏掉的 key 用聚类中心近似,避免简单丢弃。
  • 本文贡献:PQRS(Per-Query Routed Sparse Attention)为免训练视频稀疏注意力方法。它按 key 簇遍历,把选择相同的 query 装成稠密 GPU 任务,并沿用上一去噪步的 softmax 偏移合并结果;对未选簇以中心做补偿。
图 4:单个注意力头的 PQRS 执行流程。(a) 中心相似的 key 簇连续分组存放。(b) 每个 query 用 4 位编码记录每组选择,并以补偿项初始化累加器。(c) 按“组、编码”把 query 装桶。(d) 每桶作为稠密任务计算,在固定偏移 mᵢ 下原子累加部分结果。(e) 归一化各行,对超出安全范围的少量行重新计算。下方说明每行对数配分函数 LSE 将成为下一步的偏移。
Figure 4 : Execution pipeline of PQRS for one attention head. (a) Key clusters with similar centroids are grouped and stored contiguously. (b) Each query records its selection in each group as a 4-bit code and initializes its accumulators with the compensation. (c) The queries are bucketed by (group, code). (d) Each bucket runs as dense tasks that atomically add their partial results under a fixed offset m i m_{i} . (e) The rows are normalized, and rare rows outside the safe range are recomputed. Bottom: each row’s LSE is its offset at the next step.
  • 实验效果:在 Wan 与 HunyuanVideo 系列的四种文生视频、图生视频模型上,作者报告端到端 1.66—2.10 倍加速;Wan2.1-T2V 和 HunyuanVideo 相对稠密输出的 PSNR 分别达到 28.9、35.4 dB。PSNR 越高,像素输出越接近稠密基线,并非直接的人类偏好分。
图 1:PQRS 在保留视觉质量时加速 720p 视频生成。每块上方为稠密注意力、下方为 PQRS,提示词和随机种子相同。在单张 H100 上,Wan2.1 与 HunyuanVideo 的端到端加速分别为 1.75 倍、2.10 倍;图示样本的 PSNR 分别为 27.61、33.58 dB。提示词经过截断。
Figure 1 : PQRS accelerates 720p video generation while preserving visual quality. Each block shows frames from dense attention (top) and PQRS (bottom) generated with the same prompt and seed. On a single H100, PQRS reaches 1.75 × \times and 2.10 × \times end-to-end speedup on Wan2.1 and HunyuanVideo, with PSNRs of 27.61 and 33.58 dB on the shown samples. Prompts are truncated.
  • 批判点评:每 query 路由增加选择与分桶成本;加速与保真取决于视频长度、稀疏密度和硬件。不同模型的 PSNR 不可当作同一数据集的横向画质排名。

4. Spark-H3:视频稀疏注意力重排分块

Spark-H3: Adaptive Block Sparse Attention for Video Diffusion Models | 北京大学、南京大学 | arXiv:2611.24256

关键词:视频生成, 块稀疏注意力, 扩散模型, 免训练加速, MiniMax-H3

  • 前序问题:视频扩散的块稀疏注意力若固定分块,会把注意力偏好不同的 token 放到一起;被压缩块若只取均值,还可能低估其贡献。
  • 方法直觉:按注意力偏好重新组合规整块,精算重要块、加权近似剩余块,并让两支共用 softmax 归一化。
  • 本文贡献:Spark-Attn 包含 Spark-Reblock 与 Spark-Reweight:前者递归分组查询和键值 token,后者用全局平均 query 校准压缩块的键值表示及 logit 偏置。Spark-H3 是在 MiniMax-H3 上的实例化。
图 3:Spark-Attn 总览。(1) 块路由:Spark-Reblock 按注意力偏好将 query 与键值 KV token 分为等大小规则块;块均值引导每个 query 块选择比例为 ρ 的 KV 块。(2) 双支注意力:选中块精确计算,未选块由 Spark-Reweight 加权 KV 代表及 logit 偏置近似;两支共用一次 softmax 归一化,并遮蔽选中块的压缩条目避免重复计数。N、M、ρ 分别是视频 token 数、KV 块数和精算块密度。
Figure 3 : Spark-Attn overview. (1) Block routing: Spark-Reblock groups query and key–value (KV) tokens into preference-aware, uniformly sized tiles; tile means guide selection of a fraction ρ \rho of KV tiles per query tile. (2) Two-branch attention: Selected blocks are computed exactly, while the rest are approximated using Spark-Reweight’s weighted KV representatives and logit biases. Both branches share one softmax normalization, with compressed entries for selected blocks masked to avoid double counting. N N , M M , and ρ \rho denote the number of video tokens, the number of KV tiles, and the exact-block density, respectively.
  • 实验效果:MiniMax-H3 的 20 步、345 帧、1344×768 设置下,精算块密度 10% 时 DiT 主干加速 2.49 倍,相对稠密输出 PSNR 为 24.81 dB;密度增至 20% 时,PSNR 升到 26.76 dB,加速降为 2.26 倍。
图 4:运动不连贯的定性比较。放大区域用于对照相邻帧的身体姿势及头发细节。
Figure 4 : Motion incoherency. Zoom in to compare body poses between adjacent frames and hair details.
  • 批判点评:这些是 DiT 主干加速与对稠密输出的像素保真指标,不能直接视为端到端提速或主观视频质量。重新分块、压缩表示与稠密预热也有成本。

5. EVF-Bench:电商视频六维检查商品与文字

EVF-Bench: A Comprehensive Benchmark for E-commerce Visual Effects in Video Generation | 京东、中国科学院大学、东北大学 | arXiv:2611.24116

关键词:视频生成评测, 电商视频, 商品一致性, 文字稳定性, 运动评测, 数据集

  • 前序问题:电商生成视频即使画质好、文案相关,也可能把商品外观改掉、让促销文字闪烁,或把特效做得不合情境。
  • 方法直觉:把商品、文字、运动和创意合理性分开测,避免一般画质分数掩盖电商场景中的关键失败。
  • 本文贡献:EVF-Bench 设视觉质量、文本相关性、运动、商品一致性、文字稳定性、创意合理性六维;配套 EVF-32K 含超过 3.2 万组三元组,即商品图、文字与视频,用于任务适配和评测。
图 2:EVF-Bench 四项电商特效专属指标的设计。ProductScore 比较参考商品和生成外观;TSScore 追踪采样帧中的文字;MotionXScore 用光流描述运动;CRScore 结合视频、生成提示和评测指令判断创意合理性。视觉质量 AesScore 与文本相关性 GmeScore 是补充指标,图中未展示。
Fig. 2: Design of the four EVF-specific metrics in EVF-Bench. ProductScore compares the reference product with its generated appearance; TSScore follows rendered text across sampled frames; MotionXScore characterizes motion through optical flow; and CRScore uses the video, generation prompt, and evaluation instruction to judge creative rationality. AesScore and GmeScore provide complementary assessments of visual quality and text relevance and are not shown here.
  • 实验效果:作者比较代表性视频生成模型及领域适配版本,报告没有一种配置在六个维度全部领先。人类评价与运动分析展示了瞬间爆发和持续运动可能被指标不同对待;因此应用时要分维度读分数。
图 9:人工评价与运动分析。(a) 四项电商特效专属维度中,自动指标与人工偏好的报告一致度。(b) 爆发式运动与持续运动的对比案例,展示加入运动激活比例分量前后的分数;图示人工偏好选择持续运动。
Fig. 9: Human evaluation and motion analysis. (a) Reported agreement between automatic metrics and human preferences for four EVF-specific dimensions. (b) A case comparing burst and sustained motion, with scores shown before and after adding the activation-ratio component. The illustrated human preference favors sustained motion.
  • 批判点评:这是电商特效基准,不能替代通用视频质量评测;自动分数尤其需核对促销文字可读性与实际商品保真。数据收集、过滤和人工标注也会影响适用范围。

6. PhysResponse:视频生成能否听懂重力摩擦

PhysResponse: Probing the Physics of Video Generation with Controlled Interventions | 中山大学 | arXiv:2611.24419

关键词:视频生成评测, 物理参数, 图生视频, 世界模拟, 受控干预

  • 前序问题:生成视频常看起来遵守物理,却未必会按指定重力、摩擦或初速度改变结果;普通画质指标也难检出临界事件的方向错判。
  • 方法直觉:将物理参数反演与临界事件成对测量结合:既看生成轨迹等效于什么参数,也看参数跨阈值时结果是否跟着变。
  • 本文贡献:PhysResponse 使用场景条件模拟器反演有效重力、摩擦和初速度,并评测临界转换附近的事件;另构建 20 类交互、7.2 万条受控模拟视频作为训练信号。
图 5:PhysResponse 评测流程。Core100 物理条件和提示生成视频,进入两条互补测量线:物体轨迹支持基于模拟器的参数反演;参考临界转换与视觉事件观察支持 NearAcc、FarAcc、PairAcc。可测性筛选确定各线可用证据,观察结果经人工验证。
Figure 5 : PhysResponse evaluation overview. Core100 conditions and prompts produce videos for two complementary measurements. Object tracks support simulator-based parameter recovery; reference transitions and visual event observations support NearAcc, FarAcc and PairAcc. Measurability screening identifies the evidence available to each branch, with human validation of the observations.
  • 实验效果:评估 10 个图生视频模型时,连最低参数误差也比物理正确视频高一个数量级以上,模型很少同时重现转换对的两种结果。用受控视频微调后,作者报告保留类别上的参数误差下降,并能迁移到真实视频和外部物理基准。
图 7:配对微调案例。T17_C03、标准提示条件下,对照 GT 真值、Wan2.2-TI2V-5B、PR-S 和 PR-D;右侧嵌图显示拟合重力与接触结果,Wan2.2-TI2V-5B 的该结果被标记为排除。
Figure 7 : Matched fine-tuning example. T17_C03, Standard prompt: GT, Wan2.2-TI2V-5B, PR-S and PR-D. Right insets show fitted gravity and contact outcomes; the Wan2.2-TI2V-5B result is marked as excluded.
  • 批判点评:反演依赖物体跟踪与可测性筛选,不能覆盖所有不可观察动力学;模拟训练数据与真实复杂场景仍有域差,不能将误差下降解释为已具备通用物理模拟能力。

7. TOGBench:航拍小目标生成别再糊成点

TOGBench: Benchmarking and Improving Tiny-Object Generation Fidelity in Aerial Imagery | 韩国 GenGenAI | arXiv:2611.23840

关键词:图像生成评测, 航拍图像, 微小目标, 布局控制, 注意力

  • 前序问题:航拍中的车、船和飞机常只占几个像素,图像生成模型即使整体逼真,也容易漏画或把这些小物体画坏。
  • 方法直觉:让模型在训练和推理时更重视目标框覆盖的少量位置,同时提高文本、图像与布局条件之间的注意力。
  • 本文贡献:TOGBench 是面向航拍微小物体生成的对象级评测;作者还提出布局加权损失与条件与布局注意力增益 CLAG(Condition-Layout Attention Gain),补偿小目标在均匀训练损失和粗 token 网格中被淹没的问题。
图 3:对联合注意力掩码 [文本|图像|条件] 施加两种增益。(a) 条件增益:图像/文本 query 到全部条件 key 加 log x,对称地条件 query 到图像/文本 key 也加。(b) 子 token 单元增益:仅对图像 query,将小于一个 token 单元的框所在列加 log y。(c) 一例布局中得到 y 增益的橙色单元叠加于布局掩码上;达到或超过单元尺寸的白框不加增益。
Figure 3 : Two attention gains as edits to the joint attention mask [ text , | , image , | , condition ] [\text{text},|,\text{image},|,\text{condition}] . (a) Condition gain: add log ⁡ x \log x to all condition keys for image/text queries, and symmetrically to image/text keys for condition queries. (b) Sub-token-cell gain: add log ⁡ y \log y to the columns of cells holding a box smaller than a token cell, for image queries only. (c) Cells receiving y y in one benchmark layout (orange), over the layout mask; boxes at or above cell size (white outline) get no gain.
  • 实验效果:论文报告两类轻量干预提升 TOGBench 表现;定性比较中,组合方法相对原模型和 2 倍推理分辨率更稳定地画出目标小物体。这里的改进针对布局到图像生成,不能把图中的样例视为全数据集量化增益。
图 5:基准布局上的定性比较。黄色框的放大裁剪突出目标微小物体;CLAG 与布局加权损失 LWL 相对原模型和两倍推理分辨率均改善小目标保真,两者结合的结果最稳定。
Figure 5 : Qualitative comparison on benchmark layouts. Magnified crops highlight the target tiny objects (yellow boxes). Our CLAG and Layout-Weighted Loss (LWL) improve tiny-object fidelity over the baseline and 2 × 2\times inference resolution, with their combination producing the most consistent results.
  • 批判点评:依赖目标框布局与探测器评价;小目标的“被检出”不等于形状、类别和背景自然度都正确。额外注意力与加权训练的收益需按任务和尺度核实。

8. EyeDiT:眼球解剖驱动可控近眼生成

EyeDiT: Anatomy-Grounded Multi-Modal Eye Generation and Simulation | 马里兰大学、Meta Reality Labs | arXiv:2611.23670

关键词:3D生成, 近眼图像, 解剖条件, 扩散模型, 合成数据, 眼动追踪

  • 前序问题:合成近眼图像可训练眼动追踪,但普通生成器缺真实三维眼部解剖,只能有限控制视线,难同时给出解剖标签。
  • 方法直觉:先把 OCT(光学相干断层扫描)体数据、解剖点云和近眼照片压进共享潜空间,再按视轴、瞳孔和身份条件采样,最后从 3D 高斯表示渲染新视角。
  • 本文贡献:EyeDiT 先训练多模态解剖 VAE(变分自编码器),再训练眼部潜空间扩散 Transformer,并用高斯解码器生成新视角与多模态合成样本。
图 2:EyeDiT 总览。阶段 1:多模态解剖 VAE 从 OCT 体积、近眼图和解剖点云学习共享潜空间。阶段 2:眼部潜空间 DiT 在该空间中按视线、瞳孔和身份条件生成;流程既能为学到的身份输出多模态结果,也可由一张上下文图提供新受试者条件。
Figure 2: Overview of EyeDiT. (Stage 1) Our multi-modal anatomy VAE learns a shared latent space from OCT volumes, near-eye images and anatomy point clouds. (Stage 2) Our eye latent DiT is then trained on this latent space to simulate various gaze, pupil, and identity conditions. Our pipeline generates multi-modal outputs for a learned identity or for a new subject given by a context image.
  • 实验效果:单视角新视图合成 PSNR 为 24.9 dB,对照 21.8 dB;用其合成数据训练公开眼动追踪网络后,真实数据上的注视角误差为 3.5°,其他生成器数据为 8.4°。与真实数据混训时误差 2.3°,仅真实数据训练为 2.6°,越低越好。
图 4:分别改变视线、瞳孔半径和身份嵌入的生成结果;每行只变一个因素,每列为五步中的一步,生成瞳孔跟随指令值。绿色线和圆标出指定光轴与瞳孔半径;左上角是指令值,右下角是读出值。
Figure 4: Generation results when changing the gaze, the pupil radius and the identity embedding, respectively (rows), in five steps (columns). Only the changed factor varies along each row, and the generated pupil follows the commanded values. The green lines and circles mark the commanded optical axis and pupil radius. Top-left: commanded value. Bottom-right: readout value.
  • 批判点评:下游眼动误差受训练数据与测试人群影响;眼部解剖数据的采集门槛高,模型对疾病、极端视角和不同设备的泛化仍需检查。

9. FaceRiff:两千次扫描生成完整3D人脸

FaceRiff: Data-Efficient Unified Text-to-3D Face Asset Synthesis via Geometric Conditioning | 艺电 Electronic Arts | arXiv:2611.21867

关键词:3D生成, 数字人, 文本到三维, 面部资产, 扩散模型, LoRA

  • 前序问题:可同时对齐网格、反照率和皮肤微位移的高质量人脸数据稀缺;现有文本生成人脸常慢、只出单种资产或依赖大量专用扫描。
  • 方法直觉:用预训练图像扩散先验分别生成共享 UV(把三维表面展开到二维纹理图)坐标中的几何、颜色与位移;法线图作为共同几何锚点。
  • 本文贡献:FaceRiff 基于 SDXL,用不同任务的 LoRA(低秩适配)适配器生成网格、无烘焙光照的反照率和毛孔尺度位移。训练仅用 2049 次扫描、约 350 个身份,单 GPU 训练时每任务更新不到主干 3% 的参数。
图 3:FaceRiff 流程。(a–c) 任务专属 LoRA 从视觉语言模型描述与法线条件生成位移、反照率和网格 UV 图;位移与反照率使用个体法线 N,网格使用数据集平均法线 N̄ 作为统一骨架。(d) 真值 UV 图编码为 z₀,加噪成 zₜ,再由 SDXL 预测噪声 εθ(zₜ,t,cₜ,c_f)。冻结的法线 ControlNet 提供条件 c_f,各任务 LoRA 权重适配 SDXL。
Figure 3 . FaceRiff pipeline overview. (a–c) Task-specific LoRA adapters synthesize displacement, albedo, and mesh UV maps from a VLM caption and normal conditioning. Displacement and albedo use per-subject normals N N , while mesh generation uses the dataset-mean normal N ¯ \bar{N} as a canonical scaffold. (d) The ground-truth UV map is encoded as z 0 z_{0} , noised to z t z_{t} , and denoised by SDXL to predict ϵ θ ​ ( z t , t , c t , c f ) \epsilon_{\theta}(z_{t},t,c_{t},c_{f}) . A frozen Normal ControlNet provides normal conditioning c f c_{f} , while task-specific LoRA weights adapt SDXL for each modality.
  • 实验效果:相对 FaceG2E 和 DreamFace,论文报告同提示词下更高的样本多样性,并可输出适合物理渲染再打光的反照率和毛孔位移;45 名行业从业者的盲测中,感知真实感高于 DreamFace、接近真实采集。
图 1:FaceRiff 文本驱动三维人脸资产生成。从文本提示出发,前馈合成共享 UV 空间中的网格、无光照烘焙的反照率与毛孔尺度位移,再组合渲染完整头部;图中并排展示文本、三类生成资产和最终渲染头部。
Figure 1 . FaceRiff: text-driven 3D face asset generation. From a text prompt, FaceRiff synthesizes mesh, lighting-independent albedo, and pore-scale displacement in a shared UV space in a feed-forward manner, combining them into the final rendered full head. Teaser figure showing a text prompt alongside the generated 3D face assets—mesh, albedo, displacement—and the final rendered head, produced feed-forward by FaceRiff.
  • 批判点评:高质量 UV 对齐扫描虽少仍是专门数据;盲测是特定提示词和被试集合,不能保证跨年龄、肤色或表情稳定。各模态分别适配,也需检查纹理与网格的一致性。

10. ReflectScene:3D室内生成边去噪边纠错

ReflectScene:MLLM-Guided Closed-Loop Diffusion for 3D Indoor Scene Generation | 西安电子科技大学、中山大学等 | arXiv:2611.23845

关键词:3D生成, 室内场景, 扩散模型, 语义反馈, 布局控制

  • 前序问题:文本生成室内三维场景时,静态提示无法随生成过程纠正家具关系;生成完成后再改布局又容易破坏已有结构。
  • 方法直觉:在去噪途中检查中间场景,让语义判断给出对象级修正,并把修正持续带到后续采样。
  • 本文贡献:ReflectScene 将多模态大模型的场景诊断蒸馏为轻量奖励预测器,在对象中心扩散中选择修正动作;临时条件和持久清洁估计投影配合,使目标对象恢复,同时尽量保持非目标布局。
图 2:ReflectScene 总览。它把分层场景理解与多模态大模型引导的决策并入对象中心扩散。每步去噪时评估中间清洁估计,选择对象级动作作为临时条件;缓冲区中的非 STOP 动作每 50 步执行一次,更新持久修正状态。该状态在 DDPM 后验采样前投影到后续清洁估计上;决策效果一致性学习促进目标恢复及非目标保持。
Figure 2 : Overview of ReflectScene. ReflectScene integrates hierarchical scene understanding and MLLM-guided decisions into object-centric diffusion. At each denoising step, intermediate clean estimates are assessed to select object-level actions, providing transient conditioning, while buffered non-STOP actions are executed every 50 steps to update a persistent correction state. This state is projected onto subsequent clean estimates before DDPM posterior sampling, with decision-effect consistency learning promoting target recovery and non-target preservation.
  • 实验效果:在 3D-FRONT 室内场景基准上,作者报告功能一致性和语义对齐改善,同时维持有竞争力的生成质量与多样性;定性样例包含三种房间的家具关系。摘要未给出可直接引用的统一数值。
图 3:三种房间类型的定性对比。ReflectScene 更好地保持提示指定的家具布置及功能空间关系,生成更连贯的布局;上排为渲染场景,下排为三维包围盒可视化。
Figure 3 : Qualitative comparison. Across three room types, ReflectScene better preserves prompt-specified furniture arrangements and functional spatial relationships, producing more coherent layouts. Top: rendered scenes; bottom: 3D bounding-box visualizations.
  • 批判点评:闭环决策与周期性持久修正增加推理成本;若场景诊断本身错误,也可能把布局推向错误方向。3D-FRONT 结果不能直接代表真实杂乱房间。

趋势观察

参考条件需要分工

重拍视频把几何交给构图、参考图交给外观;图像编辑追踪到未改文本上下文对结果的影响。

视频质量与计算成本并看

PQRS 和 Spark-H3 的加速口径不同;电商与物理评测分别揭示商品、文字与参数响应上的失误。


今日讨论

One Shot 让点云负责新机位构图,参考图补出原片未见的外观;遇到错误相机位姿或严重遮挡时,应如何验证人物身份和场景一致性,哪些证据足以决定保留重拍结果?


人工智能炼丹君 整理 | 2026-11-20


更多 AIGC 论文解读,关注微信公众号「人工智能炼丹君」

每日更新 · 论文精选 · 深度解读 · 技术脉络

微信搜索 人工智能炼丹君 或扫描下方二维码关注

扫码关注「人工智能炼丹君」

0

评论 (0)

取消
粤ICP备2021042327号