原理
文生图原理
图生图原理
lora原理
总的来说，lora可以在模型中的17处进行介入，分别是：
- [编码器输入层BASE](1层)
- [U-NET输入层IN](6层):1,2,4,5,7,8
- [U-NET中间层MID](1层)
- [U-NET输出层OUT](9层):3,4,5,6,7,8,9,10,11
LoraBlockWeight插件
原理
文生图原理
图生图原理
lora原理
总的来说，lora可以在模型中的17处进行介入，分别是：
- [编码器输入层BASE](1层)
- [U-NET输入层IN](6层):1,2,4,5,7,8
- [U-NET中间层MID](1层)
- [U-NET输出层OUT](9层):3,4,5,6,7,8,9,10,11
LoraBlockWeight插件
- 身体
- BODY:1,1,1,1,1,1,1,1,0,0,0,1,1,1,1,1,1
- BODY0.5:1,1,1,1,1,1,0.2,1,0.2,0,0,0.8,1,1,1,1,1
- 脸部（脸型、发型、眼型、瞳色等）
- FACE:1,0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0
- FACE0.5:1,0,0,0,0,0,0,0,0.8,1,1,0.2,0,0,0,0,0
- FACE0.2:1,0,0,0,0,0,0,0,0.2,0.6,0.8,0.2,0,0,0,0,0
- 修手专用
- HAND:1,0,1,1,0.2,0,0,0,0,0,0,0,0,0,0,0,0
- 服装（搭配tag使用）
- CLOTHING:1,1,1,1,1,0,0.2,0,0.8,1,1,0.2,0,0,0,0,0
- 动作（搭配tag使用）
- POSE:1,0,0,0,0,0,0.2,1,1,1,0,0,0,0,0,0,0
- 上色风格（搭配tag使用）
- PALETTE:1,0,0,0,0,0,0,0,0,0,0,0.8,1,1,1,1,1
- 角色（去风格化）
- KEEPCHAR:1,1,1,1,1,0,0,0,1,1,1,1,1,1,1,0,0
- 背景（去风格化）
- KEEPBG:1,1,1,1,1,1,0.2,1,0.2,0,0,0.8,1,1,1,0,0
- 减弱过拟合（等同于OUTALL）
- REDUCEFIT:1,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1
画风lora示意
人物lora示意
总的来说，当人物lora和画风lora出现强冲突时，可以让人物lora在模型中部介入(如MIDD)，让画风lora在模型后部介入(如OUTALL)，当有部分lora出现强写实画风影响时，可以减轻其在模型中部的权重
需要注意，stable-diffusion的u-net跟传统u-net有些许区别，可以理解为魔改版本
