AIGC 每日速读|2026-11-16|CMU视频重访不变脸-vid2vid-long

人工智能炼丹君
2026-11-16 / 0 评论 / 0 阅读 / 正在检测是否收录...

今日 AIGC 论文速览

今日共 10 篇 · 视频转换与逐帧编辑 2 篇 · 视频主体与高清生成 3 篇 · 照片编辑与图像生成 3 篇 · 视频修复与3D资产 2 篇

重点论文标题列表

  • vid2vid-long(CMU):旧场景重现仍认得原样
  • PixVid(Roblox):逐帧编辑快运动视频
  • TokenStream(高通):单图组合多个视频主角
  • TRACE(上交大):视频升分辨率快2.0至2.9倍
  • ATune(Adobe):无需专家配对的照片调色

选读入口:要做长视频参考转换、让旧场景回来仍同一外观,先看 vid2vid-long;快运动下逐帧深度编辑看 PixVid;单图组合多主体看 TokenStream。要免训练升高视频分辨率看 TRACE;可复查的照片滑杆编辑看 ATune;物理关键时刻的图生视频看 K2V。四步图像蒸馏看 eDMD;一图拆主体和画风看 WaveletLoRA;雨幕遮挡下的视频恢复看 SGVD;单卡图生 3D 全流程速度看 Sprint3D。


今日论文速览

1. vid2vid-long:旧场景重现仍认得原样

Consistent Video-to-Video Translation via Explicit Correspondences | 卡内基梅隆大学;Adobe 研究院 | arXiv:2611.17298

关键词:视频到视频转换, 长程一致性, 显式对应, 压缩记忆, 实时生成

  • 前序问题:实时视频到视频转换常用固定长度滑窗;物体离开窗口后再出现,输出的身份或外观可能变掉。保留整段视频历史又会让显存和计算随时长增长。
  • 方法直觉:输入视频本身就是索引:当前区域若与过去输入的某个区域对应,就从过去生成的输出中取回那一块,而不必让模型重读全部历史。
  • 本文贡献:vid2vid-long 在输入帧上找 patch 级对应,用对应关系从压缩的输入—输出记忆检索旧输出 patch,再经 correspondence cross-attention 注入视频扩散模型;只把足够新颖的对应对写回记忆。patch 是小图块,记忆增长由新内容决定。
图 2:基于对应关系的视频转换。记忆中存储先前生成得到的输入—输出对应图块;生成下一片段前,以当前输入在记忆中检索最相似的旧输入,取回其对应输出图块。取回图块与常规输入信号一起送入视频扩散模型;新生成的输入—输出对只有与现有记忆足够不同才会写入。
Figure 2 : Correspondence-based video translation. The memory is populated with input-output correspondence pairs from previous generations. To support the consistent translation of the next block of frames, we first retrieve from memory the output patches whose corresponding input is most similar to the current. These output patches, together with the normal input signal, is the input to our video diffusion model. Based on the new induced input-output pairs, we write to memory only those that are sufficiently different from existing.
  • 实验效果:在 VACE-Benchmark 深度条件视频转换中,VACE 1.3B 的 2 步版本 LPIPS 为 0.302、13.88 FPS;4 步 Self-Forcing 为 0.548、13.74 FPS。LPIPS 越低表示重访区域越接近参考,FPS 是单张 H100 的吞吐。两者步数不同,不能把差异全归给记忆模块;该方法首帧延迟 1.09 秒,对照为 0.67 秒。
图 3:定性比较。每个示例视频展示时间相距较远的两帧,共三个示例,分别列于左右。双向方法 VACE 1.3B 和自回归蒸馏方法虽能生成高质量单帧,长时间跨度下仍会失去物体身份;加入本文对应检索后,视频全程的外观更一致。
Figure 3 : Qualitative comparisons. We show two frames sampled far apart in time for three example videos (left and right). Bidirectional methods (VACE 1.3B) and Autoregressive distillation methods produce high-quality individual frames but fail to maintain object identity over long durations. Adding our correspondence mechanism preserves consistent appearance throughout the video.
  • 批判点评:输入区域须可可靠匹配。原文指出快速大运动会损坏对应,文本指令与输入深度冲突也会失败;首帧延迟上升,且这里的 FPS 不等于端到端实时交互保证。

2. PixVid:逐帧编辑快运动视频

Back to Pixels: Lifting Latent Video Diffusion into Pixel Space | Roblox;加州大学默塞德分校;宾夕法尼亚大学;得克萨斯大学奥斯汀分校 | arXiv:2611.17336

关键词:像素空间视频生成, 逐帧编辑, 深度条件, 高分辨率, 交互延迟

  • 前序问题:带时间压缩的 VAE 把多帧合成一个潜变量;深度等逐帧条件在快运动时可能对不准,控制指令还须等下一潜变量块才生效。
  • 方法直觉:保留预训练视频 DiT 的生成知识,把输入和输出搬回逐帧像素空间,使每帧都能对齐条件;放大 patch 可控制 token 数。
  • 本文贡献:PixVid 从 Wan2.1-T2V-14B 微调:离线拟合像素—潜变量线性对齐,融合进 patch embedding;用时间步校准噪声,再以卷积细节头替换线性头和 VAE 解码器,直接预测干净像素。深度条件编辑逐帧对齐;这里 DiT 是扩散 Transformer,token 是其处理的小块。
图 2:把预训练潜空间视频 DiT 搬到像素空间。上方是预训练潜空间模型:离线拟合的像素—潜变量线性对齐与原 patch embedding 融合,得到像素 patch embedding。下方是 PixVid:时间步校准把含噪像素输入重标到原 DiT 训练时的信噪比;DiT 权重从潜空间模型初始化,以卷积细节头代替线性输出头和 VAE 解码器,直接预测干净视频。
Figure 2 : Lifting a pretrained latent video DiT to pixel space. Top: the pretrained latent model. A linear pixel-latent alignment, fitted offline, is fused with the pretrained patch embedding to obtain a pixel patch embedding. Bottom: PixVid. A timestep calibration rescales noisy pixel input to the signal-to-noise ratio the pretrained DiT was trained on. The DiT is initialized from the latent model, and a convolutional detailer head replaces the linear head and VAE decoder to predict the clean video directly.
  • 实验效果:作者在约 130 万训练片段内完成微调,报告从 480×832 到 960×1664 时,每帧 DiT token 数保持相同;快运动深度编辑的定性样例显示,比时间压缩潜空间基线更少形变与模糊。交互控制可在下一帧生效,原文图示的潜空间块为 4 帧。
图 5:深度条件编辑。高运动情况下,本文像素模型仍能精确对齐视频编辑条件;作为对照的时间压缩潜空间模型会让快速运动的物体发生形变和模糊。
Figure 5 : Depth-conditioned Editing. Our pixel model enables precise video editing under high motion, while the temporally compressed latent model morphs and blurs fast-moving objects.
  • 批判点评:逐帧像素处理在 480×832 下每秒视频 token 数约为 Wan2.1 的 3.9 倍,低分辨率短片成本更高;编辑结论以展示样例和本文评测条件为限,不能理解为任意主干零成本迁移。

3. TokenStream:单图组合多个视频主角

TokenStream: Multi-Subject Personalized Video Generation with Token-wise LoRA and Guided Attention | 新加坡国立大学;高通 AI 研究院 | arXiv:2611.16897

关键词:多主体视频生成, 单图参考, Token-wise LoRA, 身份保持, 文本对齐

  • 前序问题:每个主体只有一张参考图时,分别训练的适配器直接合并会混淆身份,还容易把静态参考图的姿态带进视频。
  • 方法直觉:把每个主体的权重更新限制在其文本 token 对应的 value 通道;同时借冻结基础模型的注意力布局和运动先验,保留个性化内容。
  • 本文贡献:Token-wise LoRA(ToRA)只改交叉注意力 value 投影中主体对应的文本 token;早期去噪时,冻结的 T2V 引导流向个性化流复制 Q、K,后者保留自身 V。Q/K 决定注意力匹配,V 承载内容;各主体适配器独立训练,推理时组合。
图 2:TokenStream 总框架。主体适配器独立学习,只作用于各主体文本 token 所对应的 value 投影。冻结的文生视频引导流在最初 T_W 个去噪步传递 Q、K 注意力特征;个性化流保留自身 value,并运行完整 T 步。每次模型求值都经过 L 个自注意力—交叉注意力—前馈网络块。两条流共享冻结权重,但引导计算仍有额外开销。
Figure 2 : Overall framework of TokenStream. Subject adapters are learned independently and applied only to their text-token spans in the value projection. The frozen T2V-guided stream transfers Q , K Q,K attention features during the first T W T_{W} denoising steps; the personalized stream retains its values and continues for all T T steps. Each model evaluation traverses L L self-attention–cross-attention–FFN blocks. Both streams share frozen weights but incur additional guidance computation.
  • 实验效果:在作者的 Multi-DB(30 个主体、122 条提示)1.3B 设定中,身份保持 IP 从 DreamBooth 的 0.422 到 0.467,文本对齐 TA 从 0.652 到 0.688;两项分数越高越好。这是指定基准和对照,并非全表最优:Phantom 的 IP 为 0.510。
图 4:Multi-DB 定性比较。所选样例展示主体绑定和按提示组合的结果;样例并不能证明所有场景的关节运动可靠或全部生成成功。补充材料还展示漏主体、身份混合与同类主体失败。
Figure 4 : Qualitative comparisons on Multi-DB. Selected examples illustrate subject binding and prompt-conditioned composition. They do not establish reliable articulated motion or success on every scene; omission, identity mixing, and same-class failures are shown in the supplement.
  • 批判点评:冻结引导流仍带来额外计算;主体数量增大时漏主体和混身份更明显。原文 14B OpenS2V-Eval 中本法 IP 0.482,低于 MAGREF 的 0.567,不能泛称在所有基准胜出。

4. TRACE:视频升分辨率快2.0至2.9倍

TRACE: Trajectory Synchronization for Training-Free Resolution Extension in Video Generation | 上海交通大学;华为;西北工业大学;西安电子科技大学 | arXiv:2611.15983

关键词:视频超分辨率生成, 免训练, 轨迹同步, 局部窗口注意力, 重复主体纠错

  • 前序问题:现成文生视频模型分辨率有限,直接在高分辨率跑主干费时;免训练放大又可能丢细节或复制出多个人。
  • 方法直觉:让低清去噪轨迹先定住场景,高分辨率轨迹借低清预测更新;只在细化时用高分辨率主干,并对疑似重复主体局部纠错。
  • 本文贡献:TRACE 同步低清与高清的初始噪声和早期轨迹,早期高清更新不调用高清模型;随后用局部窗口注意力细化。轨迹引导结构纠错选择语义相关且跨尺度不一致的局部区域,同时修正潜变量和求解器历史,避免只改当前帧后又复发。
图 3:TRACE 方法总览。低分辨率轨迹 Low 给高分辨率轨迹 High 提供场景参考。(A) CSTS 耦合两条轨迹的初始噪声,用 Low 的预测计算早期 High 更新,避免高分辨率模型求值。(B) 窗口注意力计算高分辨率预测。(C) TGSC 结合语义相关度、跨尺度不匹配和相邻步骤变化选择疑似重复主体,再修正相应潜变量区域及求解器历史。
Figure 3 : Overview of TRACE . The low-resolution trajectory ( Low ) provides scene references for the high-resolution trajectory ( High ). (A) CSTS couples their initial noise and computes early High updates from Low’s predictions, avoiding high-resolution model inferences. (B) Window attention computes high-resolution model predictions. (C) TGSC uses semantic relevance, cross-scale mismatch and between-step change to select suspected duplicated subjects. It corrects those latent regions and the corresponding solver history.
  • 实验效果:在原文测试的 Wan2.1、Bernini-R、Wan2.2 主干与高分辨率设置下,相对免训练放大方法 FreeSwim,报告端到端耗时改善 2.0~2.9 倍,且感知质量与文本对齐较好;这是对指定放大任务的比较,不是原生低清文生视频的速度。
图 6:在 Wan2.1 上、1920×1088 分辨率下,比较直接推理和免训练分辨率扩展方法。每组结果展示相邻两帧及局部放大区域,重点观察木纹、建筑立面和局部结构。
Figure 6 : Visual comparison of direct inference and training-free resolution-extension methods at × 1088 1920\!\times\!1088 on Wan2.1. Each result pairs two adjacent frames with a detail crop, highlighting wood texture, building facades, and local structure.
  • 批判点评:仍需高分辨率局部窗口推理及跨尺度轨迹维护;不同主干、分辨率和细节场景的收益不同,不能将 2.9 倍视为所有视频的固定加速。

5. ATune:无需专家配对的照片调色

ATune: Unsupervised Photo Retouching Through Image-Editor Controls | Adobe(作者工作邮箱) | arXiv:2611.16236

关键词:照片编辑, 无监督修图, 可解释滑杆, 属性目标, 人工偏好

  • 前序问题:照片修图常依赖专家编辑前后配对数据,规模有限;直接让模型输出像素也难让人复查具体调了哪些参数。
  • 方法直觉:从大量优质照片人为造出较差版本,学会把亮度、对比度等可测属性推回目标,再由真实编辑器的滑杆执行。
  • 本文贡献:ATune 用 1000 万张无专家编辑配对的照片训练 5400 万参数模型,预测 13 个属性目标;搜索 RawTherapee 或 darktable 的控制值,让照片属性接近目标。输出是可读可改的滑杆值,不是直接生成新的像素图。
图 6:属性、测量、控制和编辑器工具之间的关系。属性是锐度等照片质量特征;测量是从像素计算该属性的函数,细节见附录 A。ATune 为每个属性设目标;每个属性对应一个取值在 [-1,1] 的内部控制变量,再经固定映射转成编辑器工具的设置,映射见表 8。
Figure 6 : Attribute, measure, control and tool. An attribute is a quality of the photograph, such as sharpness; its measure is the function that computes it from the pixels ( Appendix A ). ATune sets a goal for each attribute. Each attribute has one control , our own variable within [ − 1 , 1 ] [-1,1] ; a fixed mapping turns it into settings of the editor’s tools ( Tab. 8 ).
  • 实验效果:157 位评审做出 9253 次成对选择:同一编辑器条件下,相对 GPT-6 Astra 的编辑,人类有 54.3% 选择 ATune;相对 Claude Opus 5 为 50.5%。对在各自专家数据集训练的监督修图器,ATune 获选 46.3%,并未获多数偏好。
图 2:三个修图示例。作者按九个质量评审对 ATune 编辑相对 Claude 编辑的偏好程度,为 FiveK 与 PPR10K 中的照片打分;上排是明显偏好 ATune 的照片,中排是典型案例,下排是明显偏好 Claude 的照片。编辑图上的徽章表示九位评审中给该编辑更高分的人数;各图下方放大方框选中的局部。
Figure 2 : Three example edits. We score every FiveK and PPR10K photograph by how much the nine judges prefer our edit to Claude’s, and show one photograph the judges clearly give to ours (top), a typical one (middle) and one they clearly give to Claude (bottom). The badge on each edit counts the judges that score it above the other. Below each image: the boxed region enlarged.
  • 批判点评:结果受优质图库训练分布、13 个既定属性和编辑器可调范围约束;50.5% 接近打平,46.3% 表明在相应专家配对数据集上,专用监督方法仍更受评审偏好。

6. K2V:先定关键帧再补物理运动

K2V: Generative Keyframing For Physically Plausible Video Generation | 剑桥大学;丰田汽车欧洲 | arXiv:2611.17324

关键词:物理视频生成, 关键帧, 图像编辑, 视频插帧, 物理评测

  • 前序问题:视频扩散模型逐帧隐式推断物理过程时,物体的运动和交互容易违背常识;只靠文字提示难锁定关键时刻。
  • 方法直觉:先把物理状态变化落实为带时间戳的关键帧,再让视频模型专注在这些状态之间补连续运动。
  • 本文贡献:K2V 的关键帧模块结合语言推理和图像编辑,生成场景转折点图像、时间戳和扩展描述;把关键帧放入 Wan2.2 的条件序列,让生成器做受约束的中间帧生成。核心贡献是视频生成条件设计,规划模块只是其中一步。
图 2:方法总览。关键帧模块推理场景的物理演化,生成带时间戳的关键帧和扩展文字描述;它们随后作为 Wan2.2 的条件信号,使输出视频的物理合理性更准确。
Figure 2. Overview of the proposed method. We design a keyframe module which reasons about the physical evolution of a given scene and produces keyframes with timestamps and an expanded caption. These are then used as the conditioning signal for Wan2.2, resulting in videos with more accurate physical plausibility.
  • 实验效果:Physics-IQ Verified 的图生视频轨道上,K2V+Wan2.2-14B 为 55.0±0.8 分,单用 Wan2.2-14B 为 32.2±0.6 分,满分 100;作者还在 PhyGenBench 给出定性和定量比较。该分数是特定物理基准,不代表所有画质维度。
图 5:本文方法的定性结果。上排是 Physics-IQ Verified 的示例,下排是 PhyGenBench 的示例;两组结果展示不同视频中关键帧可放在不同时间点,以及由此生成的视频物理表现。
Figure 5. Qualitative results from our approach. The top row shows an example from Physics-IQ Verified and the bottom row an example from PhyGenBench. These results highlight the diverse placement of keyframes in different videos, and the physical quality of the resulting generated videos.
  • 批判点评:关键帧规划在 Physics-IQ Verified 上中位耗时 62 秒,Wan2.2-14B 生成约 32 分钟;额外图像编辑和规划会增加链路复杂度,错误关键帧也可能把偏差传给后续视频。

7. eDMD:四步出图只对齐最终结果

eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation | 浙江大学;西湖大学;阶跃星辰 | arXiv:2611.17194

关键词:图像生成加速, 扩散蒸馏, 端点分布匹配, 四步采样, 偏好指标

  • 前序问题:多步扩散蒸馏的最终交付物是末端图像,但常见假分数网络还学习中间状态;即使最终图像分布已对齐,中间偏差仍可能把学生推错方向。
  • 方法直觉:让假模型只盯学生最终输出,却给每个去噪步骤提供修正;低噪声区间用较精确的多步教师答案。
  • 本文贡献:eDMD(Endpoint Distribution Matching Distillation)只用学生最终图像训练共享假模型,再将其端点参照用于各去噪步;另加精确教师短轨迹与校准的中间查询密度。DMD 是分布匹配蒸馏,学生是缩短采样步数的生成器。
图 2:二维树状玩具分布(灰色)上的 eDMD。左侧四步学生从噪声 σ=1 去噪到交付的最终输出 σ=0;每一步把自己的预测加噪到 τ 水平,绿色条标出可取范围,并在所得查询 y 上比较教师与假模型。右侧对照 DMD2 和 TDM:eDMD 的假模型只从最终输出学习(上);中间步骤按校准密度抽查询,刻度表示各步去噪到的水平(中);低噪声查询改用多步教师回答,百分数表示树上回答比例(下)。
Figure 2 : Overview of eDMD on a 2D tree-structured toy distribution (gray). Left: a 4-step student denoises from noise ( σ = 1 \sigma=1 ) to its final output ( σ = 0 \sigma=0 , “delivered”); each update noises one step’s prediction to a level τ \tau (green bar: its range) and compares the teacher and the fake model at the resulting query \mathbf{y} . Right: compared with DMD2 and TDM, eDMD trains the fake model on final outputs only (top), draws the queries of intermediate steps from a calibrated density (middle; ticks: the level each step denoises to), and answers low-noise queries with a multi-step teacher instead of a single prediction (bottom; percentages: answers on the tree).
  • 实验效果:Qwen-Image-2.1 的 4 步学生在 DrawBench-1000 提示上,HPSv3++ 为 14.691,作者重训 DMD2 为 14.212;HPSv3++ 是偏好预测分数,越高越好。论文还在 SD3-Medium 与 FLUX.2-klein 4B/9B 测试;不能把代理评分当真人偏好胜率。
图 4:FLUX.2-klein-4B 的定性结果。最左是 50 步、引导权重 w=4 的教师,其余为表 1 相应 checkpoint 的四步学生;每行共用提示和初始噪声。放大看毛发、头发和草等细结构时,eDMD 的细节更丰富、伪影更少,纹理更自然。
Figure 4 : Qualitative results on FLUX.2-klein-4B. Leftmost: teacher (50 steps, w = 4 w=4 ); others: 4-step students at the checkpoints of Tab. 1 ; shared prompt and noise per row. Best viewed zoomed in: on fine structures such as fur, hair, and grass, eDMD preserves richer details and fewer artifacts, yielding more natural textures than existing methods.
  • 批判点评:仍需训练假模型,并用短多步教师轨迹增加训练计算;所报 4 步收益依赖指定教师、提示改写、训练更新和峰值 checkpoint 选择,未给出所有硬件上的端到端推理加速倍数。

8. WaveletLoRA:单图拆开主体与画风

WaveletLoRA: Frequency-Aware Content-Style Decomposition for Personalized Image Generation | 中国科学院自动化研究所;中国科学院大学 | arXiv:2611.15617

关键词:个性化图像生成, 主体风格解耦, 小波变换, LoRA, WaveBench

  • 前序问题:从一张参考图同时学主体和画风容易互相泄漏:只想保留主体却带出原画风,或只想迁移画风却复制原主体。
  • 方法直觉:利用频率上的任务倾向给内容和风格分开监督:低频偏全局画风,高频偏主体结构,但这不是严格的语义定律。
  • 本文贡献:WaveletLoRA 用两级离散小波变换(DWT)拆成低频与多尺度高频子带,各自训练 LoRA;密集专家混合聚合高频内容,再加频域解耦约束和 AdaIN 风格对齐。WaveBench 同时衡量想保留属性的相似度和另一属性的去除程度。
图 2:WaveletLoRA 与 WaveBench 总览。上方:一张参考图经过两级离散小波变换,分为一个低频子带和多个高频子带;低频支路学习全局外观以表示风格,高频支路保留多尺度结构以表示内容。自适应专家混合模块把高频表示合成内容 LoRA,随后用频域解耦监督与基于 AdaIN 的风格对齐。下方:WaveBench 的构建流程包含提示生成、人工核验和参考图合成。
Figure 2 : Overview of WaveletLoRA and WaveBench. (Top) Given a reference image, a two-level DWT decomposes the image into one low-frequency subband and multiple high-frequency subbands. The low-frequency branch learns global appearance attributes for style modeling, while the high-frequency branches preserve multi-scale structural details for content representation. An adaptive aggregation MoE module fuses high-frequency representations into a unified content LoRA, followed by frequency-domain disentanglement supervision and AdaIN-based style alignment. (Bottom) Construction pipeline of WaveBench, including prompt generation, manual verification, and reference image synthesis.
  • 实验效果:WaveBench 的 VLM 评测里,内容解耦分 0.8563、风格解耦分 0.8730,均高于专用对照 UnZipLoRA 的 0.8373、0.8693;用户研究的综合分为 0.7750,对照 UnZipLoRA 为 0.7075。分数越高越好,受作者基准和评审协议限制。
图 8:定性比较。WaveletLoRA 比所列方法更干净地分开内容和风格:上排内容输出保留主体身份,减少原风格残留;下排风格输出捕捉艺术纹理,减少原主体泄漏。
Figure 8 : Qualitative comparison. WaveletLoRA produces cleaner content–style separation than other methods. Content outputs (top rows) retain subject identity without style residues, and style outputs (bottom rows) capture artistic textures without subject leakage.
  • 批判点评:低频只偏向画风、高频只偏向主体是统计倾向;同表 USO 的内容特征相似度 0.8031 高于本法 0.5866,通用 Qwen-Image-Edit 的用户综合分 0.8575 也高于本法,不能笼统称所有指标最佳。

9. SGVD:按不确定性选择视频去雨

Selective Generative Restoration for Video Deraining via Uncertainty-Aware Diffusion | 哈尔滨工业大学;郑州大学;美团 | arXiv:2611.16310

关键词:视频去雨, 选择性生成, 不确定性, 一步扩散, 时间一致性

  • 前序问题:雨痕遮挡严重的区域无法只靠像素忠实恢复;但对整帧都用生成先验,又可能在本来清楚的地方幻觉出新内容。
  • 方法直觉:先估计哪里真的不确定:可靠区域守住观测,遮挡严重处才提高生成先验的比重,并约束相邻帧共同朝同一场景恢复。
  • 本文贡献:SGVD 比较两次随机的一步扩散干净潜变量预测,以差异构造空间不确定性图;据此混合生成潜变量与保真低质潜变量。轻量适配器接入冻结的 Wan2.1 视频 DiT,训练时用五帧共享锚点约束轨迹一致性,推理时不用计算该损失。
图 2:SGVD 视频去雨架构。先用冻结的 VAE 编码器把雨视频送到潜空间;不确定性引导选择生成模块 USG 根据两次不同噪声下的干净潜变量预测差异估计空间不确定性图,自适应混合生成潜变量与保真低质潜变量。混合后的条件潜变量经轻量可训练适配器注入冻结 DiT 主干。锚点引导轨迹一致性 ATC 在训练时约束每帧与共享五帧锚点的距离,帮助保持时间连续;推理时不计算该训练损失。
Fig. 2: Overall architecture of the proposed SGVD for video deraining. The rainy video is first encoded into the latent space by a frozen VAE encoder. The Uncertainty-Guided Selective Generation (USG) module estimates a spatial uncertainty map from the discrepancy between dual-noise clean latent predictions, and adaptively combines the generative latent with the fidelity-preserving LQ latent. The resulting conditional latent is injected into the frozen DiT backbone through a lightweight trainable adapter. Meanwhile, Anchor-Guided Trajectory Consistency (ATC) regularizes each frame's distance to a shared five-frame anchor across trajectory states, promoting temporal coherence without evaluating this training loss at inference.
  • 实验效果:在 RainSynLight25 上,SGVD 的 PSNR 为 25.9165 dB,高于 DeLiVR 的 24.3912 dB;PSNR 越高表示像素误差越低。但在 NTURain-Syn 上,SGVD 为 26.5174 dB,远低于 DeLiVR 的 36.7115 dB。作者还报告一部分感知和时间指标收益,不能概括为所有去雨指标最优。
图 6:雨视频的时间切片比较,从上到下依次为带雨输入、去掉 ATC 的 SGVD、完整 SGVD 和真值。加入锚点引导轨迹一致性 ATC 后,跨帧结构更连贯、时间伪影更少,图中的 warping error(WE,越低越好)也下降。
Fig. 6: Temporal slice comparison of rainy input, SGVD without ATC, full SGVD, and ground truth (top to bottom). ATC improves structural consistency across frames and reduces temporal artifacts, yielding a lower warping error (WE) .
  • 批判点评:单步不等于轻量端到端:冻结主干是 Wan2.1-T2V-1.3B,训练还需适配器和双随机预测。不确定性估计与真实遮挡可能错位,且不同雨数据集的 PSNR 结论相反。

10. Sprint3D:单卡3D资产133秒缩至4.05秒

Sprint3D: Accelerating End-to-End 3D Asset Generation through Pipeline Optimization | Alaya Lab;东京大学;加州大学默塞德分校;东京科学大学;阳明交通大学 | arXiv:2611.16701

关键词:图生3D, 端到端加速, GPU网格处理, 流蒸馏, 纹理代价

  • 前序问题:图生 3D 资产生成常以网络采样为优化目标,但 Pixal3D 的实际端到端延迟主要花在网络之后的网格 UV 展开。
  • 方法直觉:先找整条流水线的瓶颈,把网格后处理搬到 GPU 并移开关键路径,再减少流模型求值次数。
  • 本文贡献:Sprint3D 基于公开 Pixal3D,剖析出四个整流流仅占约 14% 墙钟时间、网格后处理约 85%;重做 GPU 网格路径和 UV 图集,降低流模型单次求值开销,并将四个流的总网络求值从 76 次蒸馏到 8 次。UV 图集是把 3D 表面摊到 2D 纹理图的布局。
图 2:Sprint3D 流水线。图中三个面板容纳 Pixal3D 的四个流模型,分别标出每个流从基线 Pixal3D 到本文方法的采样步数变化,以及作者对各阶段施加的改动。
Figure 2 : Our pipeline. The four flows of Pixal3D in three panels, with their sampling steps (Base (Pixal3D) → \to Ours) and the changes we apply.
  • 实验效果:同一导出设置、单张 H200 上,中位每资产耗时从 133 秒降到 4.05 秒,约 33 倍;在 2653 个 Toys4K 留出物体上,输入视角法线指标改善,但平均轮廓 IoU、点云对齐和细纹理细节有所下降。重做后处理单独用于 TRELLIS.2,报告约 6.7 倍提速。
图 5:定性比较。在 40 个物体子集中选出七个输入,从输入相机视角渲染。每组先展示输入图,再展示真值、基线 Pixal3D 和本文输出的法线图与无光照底色。第 1~5 行是典型输入,按基线角度误差由小到大排列;第 6~7 行是本文方法误差最大的两个输入,选择规则见论文第 4.4 节。
Figure 5 : Qualitative comparison. Seven inputs of the 40-object subset, rendered from the input camera: the input image, then the normal maps and the unlit base color of the ground truth, Base (Pixal3D) and Ours . Rows 1–5: typical inputs, in order of increasing angular error of Base (Pixal3D); rows 6–7: the two inputs with the largest error for Ours (selection: Section 4.4 ).
  • 批判点评:33 倍是特定公开管线的全流程收益,并非所有图生 3D 网络自身快 33 倍;网格与蒸馏改动部分会改变输出,细纹理和几何对齐有代价。

趋势观察

视频生成开始显式管理过去与当前条件

vid2vid-long 用输入对应检索历史输出,PixVid 将条件和输出都按帧对齐,TokenStream 则借冻结主干的注意力布局组合参考主体。它们处理的是不同的一致性问题。

速度收益要按全链路口径核算

TRACE 把高清计算推迟到细化阶段;Sprint3D 先消除网格后处理瓶颈;eDMD 压缩采样步数。2.0~2.9 倍、33 倍和 4 步分别属于不同任务与硬件。

感知改善不能盖过反例

SGVD 在 RainSynLight25 的 PSNR 高于 DeLiVR,在 NTURain-Syn 却明显落后;TokenStream 对 DreamBooth 的身份改善也不等于同表最佳。


今日讨论

vid2vid-long 在旧场景重访时取回对应历史输出,但首帧延迟由 0.67 秒升至 1.09 秒,快速大运动也会使对应不稳。若要做实时视频换风格,如何判断长程一致性收益值得增加首帧等待,什么指标可检验高运动场景的失配?


人工智能炼丹君 整理 | 2026-11-16


更多 AIGC 论文解读,关注微信公众号「人工智能炼丹君」

每日更新 · 论文精选 · 深度解读 · 技术脉络

微信搜索 人工智能炼丹君 或扫描下方二维码关注

扫码关注「人工智能炼丹君」

0

评论 (0)

取消
粤ICP备2021042327号