AI绘画之Stable Diffusion 笔记

运行异常处理

如遇未知错误，开启使用共享显存看是否解决

ControlNet

新版ControlNet预览为预处理旁边的爆炸按钮

大概作用为在作图时，会参照所给出的图片的构成，生成与之相近相关的图片，每个模型的构图方式均有区别

ControlNet模型功能

Canny（硬边缘）模型：

主要用于将图片转换为类似线稿的图片，在作图时会参照该线条尽量贴近

最终效果：

Color模型：

主要用于将图片转换为色块图片，在生成图片时颜色色彩会用作参考

新生成的图片可能与原图毫无相关，但是如果用色块图片对比，可以发现色彩的位置几乎相同（取决于权重）

左边为原图，中间为color模型生成的色块图片，右边则为新生成的图片

MLSD直线检测模型：

该模型多用于室内设计？

与名字相同，只检测图片中的直线，如果有曲线部分则会忽略，生成只有直线的线稿图

参数详解：

下图为 MLSD Value Threshold（阈值） 参数为0.5（中图）与0.1（右图）生成的图,在阈值1的情况下生成的处理图为空白，完全没有线条。

该阈值越高，对直线的检测越不敏感（个人感觉这条解释不太对，应该是对直线的要求更严格，简单理解为阈值越高，识别的线条需要更直，否则将跳过此线条。）

MLSD Distance Threshold （距离阈值）：

该参数的作用在于密集线条的处理，阈值越高，密集的线条越小，参考下方图片红圈标注部分

该图从左到右的距离阈值为0.1，10，20

最终效果（低模为sdv1-5）：

从左到右分别为 原图，直线模型处理图片，根据该模型生成的图片（无提示词生成）

添加 Interior Design 提示词效果图：

分块检测模型

未确定：新版的ControlNet中，分块模型从分块检测(segmentation)更改成了分块 (Tile)，并细分了以下预处理：

该模型用不同的颜色色块将图片中的物体进行标注，在参与作图后，生成的图片物体及位置几乎与原图相同

左为模型预处理图片，中为原图，右为新生成的图片

openpost模型（姿势检测模型）

生成图片中人物骨骼的图片，在进行生成人物时，会将该人物的动作保持原有的姿势可以配合 3D OpenPost 插件进行对动作、人物比例的控制

效果预览：

局部重绘

参数说明：

蒙版模糊度：该参数越大，蒙版生效的区域越小，具体效果如下图：在模糊度64生成的图与原图一模一样

蒙版模式：重绘蒙版内容与重绘非蒙版内容，区别在于重绘的部分，如果选中重绘非蒙版内容，则会重绘除了自己选中区域之外的内容

蒙版区域内容处理:

4个处理方法：主要是原图与潜在噪声，区别在于与原图的相关性，在使用原图模式时，生成的图片与原图较为接近，使用潜在噪声则相反，效果好坏需取决于实际情况。

绘制区域：

• 全图会更好的参考原图，更好的融入进原图

• 仅蒙版模式：会将蒙版区域进行放大进行重绘，最后缩小到原图蒙版位置

二者区别：如下图所示，全图模式相对比较自然，而仅蒙版模式细节更多（道路、树木细节），但是由于后者是先放大再缩小，导致画面不协调。有时甚至出现画中画模式（这个可以考虑作为出图时用于刻画细节，比如本身图片中的照片？）

仅蒙版的参考半径：

• 如果蒙版区域较小,需要局部修改就可以适当调大参考半径
• 如果蒙版区域足够大,需要重绘足够的细节则需要适当调小参考半径

局部重绘涂鸦蒙版模式

主要用于将蒙版区域内的颜色进行替换，效果如下图