硬核：关于Stable Diffusion 模型
字数：1311
预计阅读：10分钟
今天聊一下Stable Diffusion 最关键的几个点。Checkpoint; VAE; LoRA; Embedding和Hypernetwork。以上这几个再大佬的SD启动器，模型管理选项卡都能找到。
所以说他们的属性是模型。
# 01
Checkpoint 模型
Checkpoint体现在生成界面的左上角。是SD中最核心的模型。
其控制了整张照片的主题风格，在整个SD软件中最占储存空间的就是它，动辄1GB-2GB，这个模型的训练往往需要大量的图片数据与大量的算力才能实现。如果你想生成独特专一艺术风格的图片，选择一个正确的Checkpoint 往往事半功倍。
Checkpoint安装在哪儿呢？在我之前第一篇SD的AI绘画的文章中就有介绍。
安装地址：\安装解压软件目录\models\Stable-diffusion
如果嫌麻烦也可以在启动器的模型管理直接下载。
# 02
变分自编码器 (VAE)模型
VAE在第二章基本原理中也有介绍，类似于一个压缩工具，它会将图片降维到潜空间，在图片生成结束后从潜空间解压出来。与此同时它还会根据模型中的概率参数对图片色彩，白平衡等进行调整。
安装地址：\安装解压软件目录\models\VAE
也可以在启动器的模型管理直接下载。一般情况下很少用，有些checkpoint会提示使用，有时候图像生成效果不好也可以尝试使用不同的VAE测试一下。
在生成器的这里可以调整VAE
# 03
LORA 模型
LoRA模型是比较小的一些风格模型，一般几百兆，对风格细节的把控非常到位，专注于细节的LoRA
安装地址：\安装解压软件目录\models\Lora
一般Lora体现在描述词中，跟描述概率一同出现。
lora:CyberPunkAI:1代表lora浓度100%，lora:CyberPunkAI:0.5代表lora浓度50%。
# 04
嵌入式(Embedding)模型
最后一个Embedding可以说是简化版的lora,一般很小几十K或几百K。在日常使用中，Embedding 技术通常用于控制人物的特征。比如经典的坏手Embedding模型，加入到反向提示词中，就更不容易生成坏手。
# 05
Hypernetworks
hypernetworks是一种fine tune的技术，最开始由 novel AI 开发。hypernetworks是一个附加到stable diffusion model上的小型网络，用于修改扩散模型的风格。
Bing
题外话：一直想好好记录一下生活，就从坚持写作推文开始吧。
今天是持续写作第 19 / 600 天。
作者：这是大咩
编辑：这是大咩
作图：这是大咩
2024-03-24
2024-03-23
2024-03-22
2024-03-21
