SD的unet结构
lora会参与其中的橙色部分,即IN(1,2,4,5,7,8),MID,OUT(3,4,5,6,7,8,9,10,11)称为注意力层
IN部分主要负责特征提取,MID提供最小化压缩,OUT提供特征还原,由于残差模块的特性,一些IN层结果会对OUT层影响(图中粉色部分)
UNET使用使用小卷积核,则IN0~2关注微小特征(如毛发,纹理)。通过IN3,6,9每次将图像缩小一半,则可以进一步提取全局特征(如动作,环境),在OUT3~5对图像进行整体放大补充,即影响出图全局特征,后面同理OUT9~11影响出图细节特征
效果图制作教程: