Last edited time
Aug 9, 2024 04:58 PM
type
status
date
slug
summary
tags
category
icon
password
InstantID使用
如果使用instantID的话，关于人脸的位置，需要传入一张照片给
Apply InstantID Advanced 的 image_pks 输入参数作为位置参考。尤其注意人脸位置参考图片的尺寸需要尽量和你的浅空间大小一致，不然会出现位置和参考图不符的现象。
截止2024/7/7，instantID仍不支持sd1.5。如果你使用1.5的模型，会报错如下
Layer Diffuse
在ComfyUI中的，对应的这个实现有部分代码是有问题的，需要做修改。
找到这个仓库目录下的文件
lib_layerdiffusion/models.py针对其中的：
作出如下修改：
保存，然后重启ComfyUI
本质原因是apple芯片的gpu在
torch.median 操作大于4个维度的向量的时候，会报错。错误简单复现：
MacOS14.4中 torchvision 的适配问题
macos14.4以及更新的版本中，ComfyUI绘画会出现出图灰黑/蓝黑/模糊的情况，是pytorch的适配问题，详见https://github.com/comfyanonymous/ComfyUI/issues/2992。当前解决方法如下：
下列的版本依然会出现问题
Inpainting Model技巧
1. 如果你没有某个model对应的inpainting model，你可以通过如下方式解决
分别加载有inpainting model的base model和其inpainting model，然后通过modelmerge substract节点获取inpainting部分，然后加载你没有inpainting model的那个model，再把modelmerge substract节点的导出和这个model通过modelmerge add的节点合并，这样就生成了你这个model对应的inpainting model。
2. 如果你inpainting的部分的边缘过于尖锐锋利，你可以使用differential model节点转接model。然后把inpainting部分的mask通过GrowMask节点外扩一些。
Ipadapter应用
mad scientist节点
劫持了unet的部分cross_attention层，共计12层，其中第4层表示结构，第7层表示风格。可以通过layer_weights参数修改对应层数权重。
如果所有层权重都是1且weight_type是linear，那么就等于一个普通的ipadapter应用，即生成的图片完全参考ipadapter。
如果只有index6设置为1，其他保持0，那么就等于ipadapter的weight_type取值style_transfer，即按照你的promt生成图片，但是获取参考图的风格，此时如果修改其他index的权重到>0，可以获取到一定的参考图的元素加入到生成的图片中。
在实际操作中，如果把图片同时传递到image和image_negative，同时weight_type选取style transfer precise，mad scientist会把negative部分的结构特征乘以你设置的index3的权重（注意是negative，所以是负值，也就是最终会进一步去除参考图中的结构特征），把image部分的风格特征乘以你设置的index6的权重，也就是最终会放大参考图中的风格特征。即最终结果：按比例保留风格，按比例去除结构特征。
- 作者:七月
- 链接:https://huaqinda.com/article/e2610347-6c23-48e9-8077-8f098bed2338
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。