多模态预训练模型之CogVLM CogVLM：VISUAL EXPERT FOR LARGE LANGUAGE MODELS 被多个文生图模型广泛使用，包括SD3、可图用作Caption模型 图像 & 文本分别建模的思想在SD3中的MMDIT中也被应用到 1. Motivation 浅层对齐的缺陷：例如BLIP2的QFormer或者LLAVA的MLP，作者认为是导致幻觉的一个重要原因 浅层对齐 + 图文联合训练（LLM+Vision+adapter）会损害NLP的能力： Qwen-VL 等模型，会导致文本理解能力的灾难性遗忘【只要训练数据配比得当，就能避免这个问题？】 2. 主要贡献 模型结构： 引入视觉专家(QKV matrix+ FFN): 冻结LLM，100%保留文本对话能力 视觉位置编码：图像特征共享一个位置编码，对于高分辨率理解有帮助。 3. 一些细节 3.1 消融实验(caption 任务 + VQA任务) 模型结构 & 微调的部分：【视觉专家 + MLP adapater】比其他更好，（为什么没有微调视觉+LLM+adapter全量实验，在下游任务上全量FT应该可以更好），该部分影响最大 采用LLM的权重来初始化Visual Expert能够提升性能（应该能加速训练，和LLM expert融合会更容易） 视觉部分，单向注意 or 双向注意的影响，使用单向注意反而更好 视觉部分的自回归监督，没有提升 EMA可以多数任务上均能带来提升 3.3 训练数据细节 3.3.1 预训练数据 LAION-2B + COYO-700M-> 1.5B Visual grouding: 40M(GLIP v2预测的bounding box作为GT)，从LAION-115M中过滤出来的40M（75%的图片包含至少两个目标框） 3.3.2 SFT数据(50w) LLaVA-Instruct (corrected) LRV-Instruction LLaVAR in-house data 3.4 训练细节 在SFT阶段，对LLM进行训练，学习率为base其他参数的10%，VIT始终保持固定

DiT文生图系列之Pixart-∑ PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation Motivation 高分辩率图像生成： Transformer架构中序列越长，计算复杂度是O(n^2)，越长的分辨率，对于计算推理时间和训练成本来说就越高。如何实现更好更快的生成是一大难点。 高质量的图文对数据：爬虫图文对在图片质量和文本质量上都存在问题，不够美观，图文相关性弱。利用MLLM进行recaption通常会出现幻觉问题，提升MLLM的精度对于图文一致性非常重要。 从弱到强的训练策略：对于低分辨率训练模型、vae模型切换，从已经训练好的base模型，继承之前的训练权重，如何更好的迁移到新模型非常重要，节约训练成本。 主要贡献 高分辩率图像生成 根据self-attention的计算原理，KV矩阵的长度可以比原序列更短。注意力维度由NxN变成Nx(N/(RxR)): $QK^{T}$的维度变换(NC) (CxN/(RxR))-> N x (N/(RxR))。这样可以实现计算的压缩，并且相邻token存在语义的相似性，这样相当于引入了空间的局部先验。这里压缩的函数$f_{compress}$可以是global average pooling或者是stride为R的卷积层（可以用avg的kernel初始化加速训练）。 高质量的图文对数据 PixArt-Σ采用更好的ShareCaptioner替代原始的LLava模型，幻觉率更低，训练时采用60%概率选择，让模型能够适用caption文本和更多样范式的其他文本。收集了8百万4K分辨率的真实摄影图片。 从弱到强的训练策略: VAE: 从SD1.5的VAE替换到SDXL的VAE，2k训练steps 512分辨率提升到1024分辨率：结合位置编码插值(PE Interp)，可以实现更快的尺度适应 KV压缩并采用avg的kernel权重初始化可以加速训练 继承原有的权重训练，PixArt-Σ具有非常高的训练效率 一些思考 局部窗口进行kv的压缩对于用Transformer架构的生成模型来说都是适用的，也可以用于自回归范式的图像生成模型

基于LLM做多模态生成系列文章-Make-A-Scene 基于LLM做多模态生成系列文章-Make-A-Scene Make a Scene (Meta-2022): Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors Motivation 提升生成的可控性：Make-A-Scene同期工作主要以文生图为主，生成结果的可控性低。（ControlNet之前的工作） 人类感知优化：人类对于人脸/人体显著物体的畸形容忍程度较低，生成图片需要增强这些方面的能力 主要贡献 1. 可控生成：实现除文本控制外，增加图片分割图的可控生成，结构一致性 2. 压缩优化：优化图片tokenizer，增强对显著物体(人脸/人体等)的重建效果 3. 推理优化：提出针对自回归图片生成模型的CFG方案【可以舍弃CLIP rerank的环节】,极大提升FID和图文对齐 一些思考 分割图与类别相关，推理过程中有OOD的类别，有一定的限制性 提高对显著物体的重建效果，通过加入“感知Loss”实现，Face Embedding or Vgg Embedding进行约束 CFG对于提升图文一致性效果非常显著。 其中系数经验值取3-5

基于LLM做多模态生成系列文章-Parti和Dalle 基于LLM做多模态生成系列文章-Parti和Dalle Parti: Scaling Autoregressive Models for Content-Rich Text-to-Image Generation Dalle: Zero-Shot Text-to-Image Generation 基于LLM的图片生成预期达成目标：复杂指令生成(多主体，属性绑定、空间位置关系等)、世界性知识 模型 模型结构图 图片离散化方式 自回归网络 参数量 生成图片大小 Dalle d-VAE Decoder-only 12B 256x256 Parti vit-VQGAN Encoder-Decoder 350M、750M、3B、20B 1024 = 256 + 4倍SR 参考链接 -知乎 多模态预训练：DALL-E

基于LLM做多模态生成系列文章-VideoPoet VideoPoet: A Large Language Model for Zero-Shot Video Generation Motivation 用扩散模型还是LLM做视觉生成？：LLM相比于Diffusion的优势，基设好，模型架构统一，多任务友好。但是当前主流的视觉生成还是以扩散模型为主，主要的原因在于训练一个基础模型的成本很高，以SD开源模型为代表。基于开源SD进行优化实现成本小很多，通过各种adapter在下游任务做适配。扩散模型对于任意多模态生成不利于统一（比如，如何用扩散模型做QA问答？），LLM会更友好。 主要贡献 多模态生成统一架构，实现图片、视频、音频的自回归生成，其中文本采用T5，视觉采用Magvit-v2，音频采用SoundStream Encoder进行离散化 级连的两阶段超分（两个2x超分）：超分辨率受限于token长度，采用局部窗口的attention方式。采用将水平、垂直、时间三个维度解耦。 一些细节 模型参数量：8B模型 语言模型选择：UL2: Unifying Language Learning Paradigms 图文数据量：1B 视频数据量：270M（其中100M带有文字描述） tokeinzer词表：视觉采用Magvit-v2【26w词表】、音频：SoundStream Encoder【4096词表】 一些思考 关于文本编码：只用64个Token进行文字编码，并且使用预训练的文本编码器（T5-XL）。虽然提高了效率，但是受限预训练模型，并且转换到中文场景也会有限制（中文语义编码不准确）。端到端训练时，能够训练文本编码，如果有足够的数据量，理论上应该是更适配的。另外，该设计方案不考虑文本生成，不太符合全模态输出的设计。 视觉Tokenizer：Tokenizer在整个框架中非常重要，提升压缩率，能用更少的token来表示，以提升自回归的效率。Tokenizer应该是分层级的，有些场景对细节要求很高，则需要非常低损失的压缩，如小人脸、文字。对于风景，需要压缩损失可以更大些，提升自回归的效率。 预训练任务+下游多任务Finetune： 预训练任务越多越丰富，在使用时zero-shot性能和需要的下游数据量越少。具体需要哪些预训练任务，需要仔细考量。

Imagen 2(Google DeepMind) Imagen2 概览 参考链接 https://deepmind.google/technologies/imagen-2/

Emu & Emu-edit (Meta) Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack Emu的主要发现: 采用少量的人工挑选标注数据(2k)，即可大幅提升生成图像的美学质量。可能存在的问题：在少量数据集下Finetune需要严格控制训练steps，否则可能会出现过拟合问题、主体概念遗忘问题 Emu 训练测试流程 Emu 模型结构 模型结构主要改进点： 文本Encoder集成 CLIP和T5-XXL两种不同类型特征 提升VAE编码的特征通道数，让有损压缩丢失的信息更少 参考之前工作，利用noise-offset & 分尺度多阶段训练方法。前期学习语义生成，后期提升生成细节。 Emu Edit: Precise Image Editing via Recognition and Generation Tasks TODO

LLM course stanford-cs324 winter2022 Large Language Models COS 597G (Fall 2022): Understanding Large Language Models huggingface NLP course Understanding Large Language Models -- A Transformative Reading List github Awesome-LLM