DiT文生图系列之Pixart-∑ PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation Motivation 高分辩率图像生成： Transformer架构中序列越长，计算复杂度是O(n^2)，越长的分辨率，对于计算推理时间和训练成本来说就越高。如何实现更好更快的生成是一大难点。 高质量的图文对数据：爬虫图文对在图片质量和文本质量上都存在问题，不够美观，图文相关性弱。利用MLLM进行recaption通常会出现幻觉问题，提升MLLM的精度对于图文一致性非常重要。 从弱到强的训练策略：对于低分辨率训练模型、vae模型切换，从已经训练好的base模型，继承之前的训练权重，如何更好的迁移到新模型非常重要，节约训练成本。 主要贡献 高分辩率图像生成 根据self-attention的计算原理，KV矩阵的长度可以比原序列更短。注意力维度由NxN变成Nx(N/(RxR)): $QK^{T}$的维度变换(NC) (CxN/(RxR))-> N x (N/(RxR))。这样可以实现计算的压缩，并且相邻token存在语义的相似性，这样相当于引入了空间的局部先验。这里压缩的函数$f_{compress}$可以是global average pooling或者是stride为R的卷积层（可以用avg的kernel初始化加速训练）。 高质量的图文对数据 PixArt-Σ采用更好的ShareCaptioner替代原始的LLava模型，幻觉率更低，训练时采用60%概率选择，让模型能够适用caption文本和更多样范式的其他文本。收集了8百万4K分辨率的真实摄影图片。 从弱到强的训练策略: VAE: 从SD1.5的VAE替换到SDXL的VAE，2k训练steps 512分辨率提升到1024分辨率：结合位置编码插值(PE Interp)，可以实现更快的尺度适应 KV压缩并采用avg的kernel权重初始化可以加速训练 继承原有的权重训练，PixArt-Σ具有非常高的训练效率 一些思考 局部窗口进行kv的压缩对于用Transformer架构的生成模型来说都是适用的，也可以用于自回归范式的图像生成模型

基于LLM做多模态生成系列文章-VideoPoet VideoPoet: A Large Language Model for Zero-Shot Video Generation Motivation 用扩散模型还是LLM做视觉生成？：LLM相比于Diffusion的优势，基设好，模型架构统一，多任务友好。但是当前主流的视觉生成还是以扩散模型为主，主要的原因在于训练一个基础模型的成本很高，以SD开源模型为代表。基于开源SD进行优化实现成本小很多，通过各种adapter在下游任务做适配。扩散模型对于任意多模态生成不利于统一（比如，如何用扩散模型做QA问答？），LLM会更友好。 主要贡献 多模态生成统一架构，实现图片、视频、音频的自回归生成，其中文本采用T5，视觉采用Magvit-v2，音频采用SoundStream Encoder进行离散化 级连的两阶段超分（两个2x超分）：超分辨率受限于token长度，采用局部窗口的attention方式。采用将水平、垂直、时间三个维度解耦。 一些细节 模型参数量：8B模型 语言模型选择：UL2: Unifying Language Learning Paradigms 图文数据量：1B 视频数据量：270M（其中100M带有文字描述） tokeinzer词表：视觉采用Magvit-v2【26w词表】、音频：SoundStream Encoder【4096词表】 一些思考 关于文本编码：只用64个Token进行文字编码，并且使用预训练的文本编码器（T5-XL）。虽然提高了效率，但是受限预训练模型，并且转换到中文场景也会有限制（中文语义编码不准确）。端到端训练时，能够训练文本编码，如果有足够的数据量，理论上应该是更适配的。另外，该设计方案不考虑文本生成，不太符合全模态输出的设计。 视觉Tokenizer：Tokenizer在整个框架中非常重要，提升压缩率，能用更少的token来表示，以提升自回归的效率。Tokenizer应该是分层级的，有些场景对细节要求很高，则需要非常低损失的压缩，如小人脸、文字。对于风景，需要压缩损失可以更大些，提升自回归的效率。 预训练任务+下游多任务Finetune： 预训练任务越多越丰富，在使用时zero-shot性能和需要的下游数据量越少。具体需要哪些预训练任务，需要仔细考量。

LLM course stanford-cs324 winter2022 Large Language Models COS 597G (Fall 2022): Understanding Large Language Models huggingface NLP course Understanding Large Language Models -- A Transformative Reading List github Awesome-LLM

基础知识整理 深度学习(计算机视觉) 分类(网络结构发展过程) AlexNet --> VGG/GoogleNet --> ResNet/DenseNet BatchNorm / LayerNorm / InstanceNorm / GroupNorm 归一化能够加速网络收敛，归一化后梯度更稳定，能够采用更大的学习率 四种归一化的方式不同之处在于归一化所采用的统计量（均值，方差）不同 BatchNorm使用NHW的统计量$R^{C}$ LayerNorm使用CHW的统计量$R^{N}$ InstanceNorm使用HW的统计量$R^{N * C}$ GroupNorm使用GHW的统计量$R^{N * C/G}$ BatchNorm 在训练过程中通过滑动平均进行统计，增加了训练的随机性，而其它几种归一化的方式都是由单个样本得到的统计量，可能导致泛化能力比BatchNorm弱 轻量化网络 squeezeNet shuffleNet MobileNet 胶囊网络 几种特殊的卷积 空洞卷积 转置卷积 可分离卷积 模型量化/压缩

Pytorch Tips 1. scatter target.scatter_(dim=1, index=index, src=src) # 使用 for 循环模拟 scatter_ 操作 for i in range(src.shape[0]): for j in range(src.shape[1]): target[i, index[i, j]] = src[i, j] target.scatter_(dim=0, index=index, src=src) # 使用 for 循环模拟 scatter_ 操作 for i in range(src.shape[0]): for j in range(src.shape[1]): target[index[i, j], j] = src[i, j]