EasyPhoto：基于 SD WebUI 的艺术照生成插件来啦！

作者：wuziheng

背景介绍

最近，基于生成式AI技术批量产出真/像/美的个人写真应用非常受欢迎。同时，随着 Stable Diffusion 领域开源社区的快速发展，社区也涌现了类似 FaceChain 的开源项目，帮助开发者开发个性化的真人写真生成应用。越来越多开发者对这个方向投来关注，希望得到更多灵活的开发方式。

EasyPhoto项目介绍

作为FaceChain-Inpaint功能的开发团队，我们快速上线了一款基于 SD WebUI 插件生态的个性化写真生成开源插件 EasyPhoto。这款插件允许用户通过上传几张同一个人的照片，快速训练Lora模型，然后结合用户自定义的模板图片，生成 真/像/美的写真图片。

ͼ1

项目地址：https://github.com/aigc-apps/sd-webui-EasyPhoto

欢迎大家多多提ISSUE，一同优化，让每个AIGCer都拥有自己的AI写真相机！

原理介绍

AI真人写真是一个基于 StableDiffusion和AI人脸相关技术，实现的定制化人像Lora模型训练和指定图像生成链路的集合，这里我们简单介绍我们在EasyPhoto中实现的相关技术,下图是EasyPhoto的生成链路介绍，

ͼ2

EasyPhoto整体分为训练和推理两个阶段， 下文图3详细展示了训练阶段，上图2展示了生成阶段。

EasyPhoto生成

EasyPhoto生成采用基于开源模型StableDiffusion + 人物定制Lora的方式 + ControlNet 的方式完成艺术照生成

使用人脸检测模型对输入的指定模板进行人脸检测(crop & warp)并结合数字分身进行模板替换。采用FaceID模型挑选用户输入的最佳ID Photo和模板照片进行人脸融合(face fusion)。使用融合后的图片作为基底图片，使用替换后的人脸作为control条件，加上数字分身对应的Lora，进行图到图局部重绘生成。采用基于StableDiffusion + 超分的方式进一步在保持ID的前提下生成高清结果图。

EasyPhotoѵ