使用waifu_Diffusion进行二次元动漫创作_waifu-diffusion

waifu-diffusion的模型可用于生成二次元的卡通形象，赶快来生成你的二次元动漫小姐姐和主人公，

• waifu-diffusion官方文档：https://github.com/PaddlePaddle/PaddleHub/tree/develop/modules/image/text_to_image

  

安装并更新PaddleHub

In [1]

 
!pip install --upgrade paddlehub

加载模型

In [2]

import paddlehub as hub
 
module = hub.Module(name="stable_diffusion_waifu")

模型推理

In [3]

text_prompts = ["Ayusawa Misaki"]

In [5]

da = module.generate_image(text_prompts=text_prompts, batch_size=3, output_dir='./stable_diffusion_out/')  
# 展示所有的中间结果
da[0].chunks[-1].chunks.plot_image_sprites(skip_empty=True, show_index=True, keep_aspect_ratio=True)
# 将整个生成过程保存为一个动态图gif
da[0].chunks[-1].chunks.save_gif('stable_diffusion_waifu_out-merged-result.gif')
# da索引的是prompt, da[0].chunks索引的是该prompt下生成的第一张图，在batch_size不为1时能同时生成多张图
# 您也可以按照上述操作显示单张图，如第0张的生成过程
da[0].chunks[0].chunks.plot_image_sprites(skip_empty=True, show_index=True, keep_aspect_ratio=True)
da[0].chunks[0].chunks.save_gif('stable_diffusion_waifu_out-image-0-result.gif')

<PIL.Image.Image image mode=RGB size=1536x512 at 0x7FD2A7415F10

In [8]

text_prompts = ["YAyusawa Misaki"]

In [9]

da = module.generate_image(text_prompts=text_prompts, batch_size=3, output_dir='./stable_diffusion_out/')  
# 展示所有的中间结果
da[0].chunks[-1].chunks.plot_image_sprites(skip_empty=True, show_index=True, keep_aspect_ratio=True)
# 将整个生成过程保存为一个动态图gif
da[0].chunks[-1].chunks.save_gif('stable_diffusion_waifu_out-merged-result.gif')
# da索引的是prompt, da[0].chunks索引的是该prompt下生成的第一张图，在batch_size不为1时能同时生成多张图
# 您也可以按照上述操作显示单张图，如第0张的生成过程
da[0].chunks[0].chunks.plot_image_sprites(skip_empty=True, show_index=True, keep_aspect_ratio=True)
da[0].chunks[0].chunks.save_gif('stable_diffusion_waifu_out-image-0-result.gif')

<PIL.Image.Image image mode=RGB size=1536x512 at 0x7FD15BD7E090>