如何使用stable diffusion,把动漫角色真人化?
当我们在观赏动画和漫画的时候,常常会想象某个角色如果是真人的话,会是什么样子。 这时候我们就可以用到 Stable Diffusion 的将动漫角色真人化。
「约儿」真人化例子
先来看看几个例子吧!
1、约儿手拿着武器
除了人物变成真人以外,其他的细节几乎都还原回来了。 只是现在 AI 还有一些地方没有做得很好,手的部分常常会出错。 但那犀利的眼神和身材跟漫画里面看起来就是一模一样。
2、漫画单行版的封面
洋装颈部的装饰和胸部都被具体地还原了。 漫画的造型有些差别,但是我觉得还不错。 原本沾满血的椅子被换成玫瑰花瓣来代替,这个意象很不错,因为约儿本来就是叫荆棘公主,玫瑰花就是它的记号。 这样一转换就可以代表这个女人很危险,又可以带出高雅的气质。
3、公务员的造型
可以发现原本的画面里面并没有皱褶,但换成真人以后皱褶就出来了。 这个衣服变得非常自然,而且非常真实。
4、跳跃动作
我觉得最厉害的已经不再是人脸会被换掉之类的,而是她衣服的纹理。 丝袜透亮的感觉以及鞋子的细节处理都处理得非常好,看起来就像是真的鞋子一样。
5、亭亭玉立的站着
双手放在前面,亭亭玉立站着。 衣服的纹理和裙子的纹理都和漫画里面的一样,若不说的话,还以为是什么电影剧照。
以上是几个已经完成的图片,那么到底要如何做出这样的效果呢?
生成真人化照片基本概念
要生成真人化照片其实很简单,只需要用最近很红的 ChilloutMix 模型再用 Stable Diffusion WebUI 的图转图功能,提取原本图片的特征作为提词,然后重新绘制图片就可以了。
那 ChilloutMix 是什么呢? ChilloutMix 是一个非常强的模型,它主要用来生成美女网红,尤其是东方脸孔的这些美女图非常的好用。 由于生成出来的美女非常的可爱,所以很适合拿来做动漫角色真人化的模型。 此外,由于他的训练数据其实也是很多的Coser,所以他用来做一些Cosplay的生成也非常的合适。
真人化照片准备工作
在开始生成图片之前,需要进行一些准备工作。
- 首先是安装 ChilloutMix 模型,这个模型可以在 CivitAI 网站上下载,下载安装的部分比较简单,这里就不再赘述。
- 决定输出图片的尺寸,这一点非常重要。 由于 Stable Diffusion 生成的图片如果比原图大,会自动增加很多细节,所以输出的图片尺寸不要太小,以便生成出更符合需求的图片。 例如,如果打算输出的是 9:16 的肖像图,则可以选用 720×1280 的尺寸。
- 是准备要转换的图片。 可以选择自己喜欢的图片,例如我们可以用约儿穿着礼服,又拿着苦无的这样帅气图片作为示范(如下图)。 这张图片的大小是 280×600,比我们刚刚提到的 720×1280 的尺寸要小一些。 当然,这些都可以根据自己的需求进行调整。
准备工作比较简单,只需要安装模型、决定输出图片的尺寸以及准备要转换的图片就可以了。 接下来,我们可以开始进行图片生成的操作了。
真人化照片生成步骤
- 第 1 步:到 img2img (图转图)页签把参考图上传上去
- 第 2 步:按下 interogate DeepBooru 按钮,让 AI 让分析参考图上有哪些特征,并将特征当成是提词,等下咏唱时要用。
- 第3步:选择 ChilloutMix 模型
- 第4步:填上最后的图的尺寸,请注意,宽、高都要是8的倍数。
- 第5步:在放大的选项,选择Resize and fill,这样才能拿到比例正确的图。 不合比例的地方,AI 会自行帮我们补上。
- 第 6 步:调整 Denoising Strength ,调到 0.25 ~ 0.35 间,但若人物的头占版面比较大时,可以调大。
- 第 7 步:可以开始试着生成图了。
真人化效果不好的调整方式
- 试着调整 Denoising Strength 看看
- 如果 Denosing Strength 出来的效果不错,但图的内容不是你要的,可以加大 CFG Scale,让 AI 多遵照提词的指示生成。
- Sampling Method 我实验下来 Eular a 效果最佳。
制作真人化照片的要点
制作真人化照片需要注意以下几点:
- 使用 ChilloutMix 模型:ChilloutMix 模型非常适合用来生成美女网红和 Coser 照,所以要使用这个模型来制作真人化照片。
- 使用 Interrogate DeepBooru 功能产生原图的题词:使用 Interrogate DeepBooru 功能可以自动生成原图的题词,从而更好地描述原图的特征。
- 使用 Stable Diffusion 的 img2img 功能:Stable Diffusion 的 img2img 功能可以将动漫照片转换成真人化照片,因此需要使用这个功能来实现制作真人化照片的目的。
- 目标图片的尺寸要比原图大:将目标图片的尺寸设定为比原图大的大小,这样生成的图片细节会更丰富,更符合需求。
- 使用 Resize and fill 功能:使用 Resize and fill 功能可以将图片拉大,并且自动填充空白的地方,这样可以得到更漂亮的真人化照片,并且减少后续的后处理工作。
小结
制作真人化照片的过程不仅能够获得乐趣,还能够更深入地了解角色。 同时,这种方法还可以为日后的cosplay提供灵感。
如果你也想体验这种神奇的技术,可以按照今天所介绍的步骤进行实践,将动漫角色变成真实的人物。
最后,来看所有的照片吧!