ai新手必练300图(diffusion)

首页常识更新时间:2023-09-04 23:35:32

"Stable Diffusion"古法"AI动画制作(1)。

也许有人会好奇,Stable Diffusion是一款AI"绘画"应用,怎么能制作"动画"呢?其实,它的工作原理与我们使用AI生成图像、对图像进行转绘完全相同。

最早的"古法"动画是通过手动拆分帧并批量绘制帧来实现的。Stable Diffusion的图生图标签中内置了"图像批处理"功能。在这里,你可以选择一个包含图片的文件夹,并设置一个输出图片的文件夹,然后对多张图片进行批量图生图操作。

下面是一些更高级的操作,但我们今天先不谈。

那么,如何使用Stable Diffusion制作AI动画呢?如果你熟悉Premiere等剪辑软件,可以将一个视频导出为单帧图片序列。但是,我想很多人可能没有接触过,所以我想在WebUI中解决所有问题。我找到了一个国内开发者制作的WebUI扩展,叫做IS-NET Pro。链接和扩展文件已经放在视频简介中,你可以按照第八课中的方式进行安装。

安装完成后,你可以在上方的标签页中打开IS-NET Pro,其中有一个功能可以帮助你将导入的视频拆分为单帧图片,方便重绘。将视频拖入即可。

下方有两个选项。第一个选项可以调节视频的帧率,不勾选时会按视频的默认帧率输出图片。在电脑上右键一个视频的属性中,你可以找到它的默认帧率信息。现在,这个视频每秒播放25帧,也就是说每秒播放25张图片。下面的选项可以控制视频中特定时间的裁剪。对于较长的视频,可以使用这个选项进行裁剪。

设定输出文件夹并点击"生成"按钮,视频将被拆分为单帧图片。按照每秒25帧的速度,视频共被拆分为300多张图片,这就是我们要重新绘制的图像。

完成后,不要急于开始批量绘制,制作AI动画时需要进行小规模的"风格测试"。

具体来说,可以切换回正常的图生图模式。在视频片段中选择一帧具有代表性的画面,将其放入其中,并像进行常规的图生图一样调试模型、参数和提示词,绘制出你想要的画面。

→我在"Past"中选择了一个名为"DarkSushiMx"的模型,它在人物刻画方面非常出色。

→在参数中,可以将帧大小(即重绘尺寸)设置为与视频尺寸相同的比例。重点在于重绘幅度,因为每一帧的画面都不同,所以不宜过高。一般不超过0.5,否则画面可能会混乱不一致。

提示词也非常重要,因为前后画面不同,不能给出具体的固定提示词。因为批处理是针对每一帧的画面操作的,提示词会被同时代入每一帧的画面中,描述太具体反而容易南辕北辙。可以参考一个写提示词的框架。

在这种批量重绘的过程中,我通常使用三行提示词来描述画面内容。一行是画质的标准化。需要描述人物或画面主体的具体特征,通常精确到从头到尾都适用的外貌特征。再一行是对背景的描述。本视频的背景比较干净,可以用“White simple background”来描述。这样就差不多了。

如果转绘的视频动作幅度较大,可以考虑加入Dyamic Pose等提示词来增强动态感。而Detailed face可以确保在半身或全身画面下人物的脸部不会太模糊。点击生成,反复调试,直到得到符合需要的图像结果(然后将随机种子固定下来!)。

再打开批量处理,设置好输入、输出文件夹,点击生成,就可以见证这个批量重绘的过程了。在生成窗口上方可以看到一个进度条,显示绘制的剩余时间。

完成绘制后,可以到输出文件夹中验收成果。本案例中,我们花了7分钟左右的时间绘制了300多张图片,现在它们还是一堆零散的图片。

但可以再到Isnet Pro中,除了拆散,它还能帮我们将这些图片“重组”起来。

将图片地址填入批处理输出的文件夹中。视频的生成地址可以和它相同,也可以设置为上一级菜单,方便找到即可。

在这个过程中要注意帧率,原视频的帧率是25,这里需要保持一致,否则后期的视频速度会不一致。

再点击生成,看到完成提示后,可以去文件夹中验收成果。

这是采用最简单方式在Stable Diffusion中生成的“A/动画”,你对这个效果满意吗?批处理可以很好地揭示这种“AI动画”操作的本质,与图生图板块高度整合,除了“拆视频”外基本不需要依赖任何外部扩展,这是它的方便之处。

,
展开阅读全文
推荐内容
热门内容
热门文章

© 2007-2022 http://www.anhuiqq.cn,All Rights Reserved.