政安晨【零基础玩转各类开源AI项目】基于Ubuntu系统部署ComfyUI:功能最强大、模块化程度最高的Stable Diffusion图形用户界面和后台

目录

ComfyUI的特性介绍

开始安装

做点准备工作

在Conda虚拟环境中进行

依赖项的安装

运行


政安晨的个人主页:政安晨

欢迎 ????点赞✍评论⭐收藏

收录专栏: 零基础玩转各类开源AI项目

希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!

这套框架可让您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。

ComfyUI的特性介绍

当你对它形成了全貌,安装与使用的时候会更加得心应手。

特性如下:

- 节点/图形/流程图界面,用于实验和创建复杂的稳定扩散工作流程,无需编写任何代码。

- 完全支持 SD1.x, SD2.x, SDXLStable Video DiffusionStable CascadeSD3 and Stable Audio

- 异步队列系统

- 许多优化只重新执行工作流程中在两次执行之间发生变化的部分。

- 智能内存管理:可在低至 1GB vram 的 GPU 上自动运行模型。

- 即使没有 GPU 也能使用:--cpu(慢速)

- 可加载 ckpt、安全传感器和扩散器模型/检查点。独立的 VAE 和 CLIP 模型。

- 嵌入/文本反转

Loras (regular, locon and loha)

Hypernetworks

- 从生成的 PNG、WebP 和 FLAC 文件中加载完整的工作流程(带种子)。

- 以 Json 文件格式保存/加载工作流程。

- 节点界面可用于创建复杂的工作流程,如 "Hires fix "或更高级的工作流程。

- 地区构成

- 使用常规模型和 Inpainting 模型进行 Inpainting。

ControlNet and T2I-Adapter

Upscale Models (ESRGAN, ESRGAN variants, SwinIR, Swin2SR, etc...)

unCLIP Models

GLIGEN

Model Merging

LCM models and Loras

- SDXL Turbo

- 使用 TAESD 进行潜伏预览

- 启动速度非常快。

- 完全脱机运行:不会下载任何内容。

开始安装

下载仓库:

git clone git@github.com:comfyanonymous/ComfyUI.git

当然,这里我为了修改方便,fork到了自己的github中,名称上稍有差异,大家自己酌情处理。

为咱们即将安装的ComfyUI工作流框架建立conda虚拟环境,python版本先选择3.9 , 如下:

conda create -n zac_comfyui python=3.9

做点准备工作

进入刚才下载的项目目录,干两件事:

1, 将 SD checkpoints (巨大的 ckpt/safetensors 文件)放到:models/checkpoints中;

2, 将 VAE 放到这个目录中:models/vae

具体操作如下:

# Checkpoints

### SDXL
### I recommend these workflow examples: https://comfyanonymous.github.io/ComfyUI_examples/sdxl/

#!wget -c https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors -P ./models/checkpoints/
#!wget -c https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0.safetensors -P ./models/checkpoints/


# SD1.5

#!wget -c https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt -P ./models/checkpoints/

# SD2
#!wget -c https://huggingface.co/stabilityai/stable-diffusion-2-1-base/resolve/main/v2-1_512-ema-pruned.safetensors -P ./models/checkpoints/
#!wget -c https://huggingface.co/stabilityai/stable-diffusion-2-1/resolve/main/v2-1_768-ema-pruned.safetensors -P ./models/checkpoints/

# Some SD1.5 anime style
#!wget -c https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix2/AbyssOrangeMix2_hard.safetensors -P ./models/checkpoints/
#!wget -c https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A1_orangemixs.safetensors -P ./models/checkpoints/
#!wget -c https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A3_orangemixs.safetensors -P ./models/checkpoints/
#!wget -c https://huggingface.co/Linaqruf/anything-v3.0/resolve/main/anything-v3-fp16-pruned.safetensors -P ./models/checkpoints/

# Waifu Diffusion 1.5 (anime style SD2.x 768-v)
#!wget -c https://huggingface.co/waifu-diffusion/wd-1-5-beta3/resolve/main/wd-illusion-fp16.safetensors -P ./models/checkpoints/


# unCLIP models
#!wget -c https://huggingface.co/comfyanonymous/illuminatiDiffusionV1_v11_unCLIP/resolve/main/illuminatiDiffusionV1_v11-unclip-h-fp16.safetensors -P ./models/checkpoints/
#!wget -c https://huggingface.co/comfyanonymous/wd-1.5-beta2_unCLIP/resolve/main/wd-1-5-beta2-aesthetic-unclip-h-fp16.safetensors -P ./models/checkpoints/

这些 Checkpoints大家选择使用。

# VAE
!wget -c https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -P ./models/vae/
#!wget -c https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt -P ./models/vae/
#!wget -c https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt -P ./models/vae/

选择一个你需要的VAE,也可以去https://huggingface.co上查看最新的,checkpoints也是一样。

比如,查看models:https://huggingface.co/stabilityai

在该模型页面,您可以看到下载链接:

这里咱们选择SDXL的checkpoints:

wget -c https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors -P ./models/checkpoints/

VAE我们选择这个:

wget -c https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -P ./models/vae/

完成后,咱们开始正式安装。

在Conda虚拟环境中进行

conda activate zac_comfyui

本文档基于N卡来安装(没有符合标准的N卡的同学,建议先缓一缓,折腾一圈浪费时间没必要,所以基于A卡的情况我也就不做展示了,我以前基于A卡做了很多尝试,结果不好,各种问题都有可能出现,尤其是基于ubuntu系统):

Nvidia 用户应使用此命令安装稳定的 pytorch:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

 

使用此命令安装 pytorch nightly,性能可能会有所提高:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu124

 

这是个补充操作,我已经都ok了,继续。 

疑难解答 如果出现 "Torch not compiled with CUDA enabled"(Torch 未在启用 CUDA 的情况下编译)错误,请使用: pip uninstall torch(卸载命令)卸载,然后使用上述命令重新安装。

依赖项的安装

在 ComfyUI 文件夹中打开终端,安装依赖项,然后:

pip install -r requirements.txt

安装完成后,你就可以继续运行 ComfyUI 了。

注:当然,全程安装过程中要准备好您的上网能力,网不能断,谢谢。

运行

执行命令:

python main.py

顺利的话,接下来就是您需要的:

祝您好运!

以后的一切都可以基于comfyUI的各种教程开始啦!

再说一句:如果需要多人远程使用,启动服务时的命令为:

python main.py --multi-user

上一篇:HTTP与HTTPS详解及其请求与响应报文的查看方法


下一篇:fortran简单排序算法,对一维、二维矩阵进行正序或倒序排序-1. 算法实现