高度定制化图片AI生成工作流 ComfyUI+SDXL+Lora训练流程(云服务器)
高度定制化图片AI生成工作流【工作环境准备】ComfyUI+SDXL+Lora训练流程(云服务器)
目录
服务器准备
训练Lora模型需要强大的GPU算力支持,推荐使用智灵云服务器。该平台已预装ComfyUI和Lora训练器,操作便捷高效。访问地址:https://serverless.datastone.cn

注册好账号后,在GPU部署一栏中新建自己的GPU。为了方便将训练好的模型直接测试,本人开了两个GPU实例分别训练和测试,它们共用一块云磁盘,在GPU部署一栏中可见。

一般40GB的存储空间就够用了,GPU根据需要选择,一般训练Lora单4090即可跑满。
训练Lora的GPU
选择训练类模板下的SD Lora tranier,对应秋叶大佬的训练器,链接他在b站有很多AI作画相关的工具和教程 https://space.bilibili.com/12566101。等待启动完毕打开trainer界面即可


训练flux lora的时候可能会报错40系列不支持分布式训练,需要在环境变量里提前禁用,如下,正常情况不需要考虑。

用ComfyUI测试Lora的GPU
选择推理类模板下的SD comfyUI,等待启动完毕打开comfyUI界面即可。


费用问题
注意,GPU存储会一直扣费,费用是1小时 10GB 1分钱,GPU从1块钱到几块不等,只在开启的时候计费,所以测试完毕后记得把服务关了,训练时可以预估时长设置自动关机时间,一般半夜会便宜25折。
Lora训练
整体流程分为图片清理->图片裁切->打标签->上传数据集->正式训练->导出模型。
图片清理
这一环节自己在本地筛选留下符合需求的优质图片即可。
图片裁切
通过链接网站工具 https://www.birme.net/进行批量裁切,支持自动识别重点像素,大小需要设置为32的倍数,推荐统一修改为jpg模式。

以下是优化后的内容:
对裁切后的图片进行批量重命名(从000开始),使用以下bat命令。只需修改脚本中的图片路径并保存为.bat文件即可运行。
@echo off
setlocal enabledelayedexpansion
rem 设置图片文件夹路径
set folder=T:\Huishi\birme-590x900
rem 进入目标文件夹
cd /d %folder%
rem 初始化计数器
set count=1
rem 批量重命名jpg文件
for %%f in (*.jpg) do (
rem 格式化数字(补零)
set filename=00!count!
ren "%%f" "!filename:~-3!.jpg"
rem 计数器递增
set /a count+=1
)
echo 图片重命名完成!
pause
使用方法:
- 修改脚本第7行的文件夹路径
- 将代码保存为.txt文件
- 修改文件后缀为.bat
- 双击运行即可
重命名后的图片名称更清晰规范,便于后续处理和使用。

给图片打标签
启动GPU,通过SD-tranier中的WD标签器即可快速自动打标,有需要可以通过下方的标签编辑器修改标签。

点击启动后,会在对应的图片目录下生成txt文件。

建议在使用GPU训练器时,若遇到打标功能运行缓慢或存在bug的情况,可考虑先在本地部署SD-trainer完成打标工作,再将结果上传至云端。本地部署的具体操作方法可通过网络查询获取。
上传数据集
如果使用服务器的SD-trainer打标,那么在图片裁切重命名后打开jupyternotebook上传即可,使用本地SD-trainer则在打好标后再通过jupyternotebook上传。

正式训练
由于使用SDXL作为基底模型,所以只能走专家训练,几个关键参数如下。

训练种类选SDXL,底模选择在素材网站上下载的Checkpoint文件,数据集路径填写时注意,一定要在root前面加/才是完整的路径。

图片大小按照裁切时的大小填即可,输出模型的地址一定要修改,推荐为/root/output,否则可能无法正常保存训练结果,其他训练参数根据需求修改即可。

提示: 若显卡显存充足,可将 epoch 设为 50,并逐步增加 batch size(如 4、8、12)。训练总次数计算公式为:图片数量 × epoch × batch size。
导出模型
将训练完成的safetensor格式模型文件复制到ComfyUI的models/Lora目录后,即可开始测试流程。
使用comfyUI测试训练的Lora
启动GPU,在comfyUI中的工作流加载对应的底模Checkpoint和Lora的safetensor开始测试即可。

更多推荐
所有评论(0)