如今,让AI视频中的任意主体保持一致已不再是难题,这一切变得触手可及。
令人难以置信的是,仅凭一张图像,这一目标便能达成。
正如所展示的每一个马斯克的视频片段,它们均源自同一张静态照片。
要体验这一神奇功能,只需借助清华大学背景的AI视频平台生数科技旗下的Vidu推出的最新特性——主体参照(Subject Consistency)。
这项技术使得在视频生成过程中保持任意主体的一致性成为可能,不仅提高了稳定性,还赋予创作者更多的掌控力。
生数科技CEO唐家渝指出:“尽管目前生成AI视频内容仍面临挑战,特别是对于细节如运镜和光影效果的精确控制,但主体参照功能为创意提供了更为广阔的空间。”
这是继今年7月,生数Vidu在全球范围内推出文本到视频和图像到视频的能力之后的又一次升级。
此次更新依旧秉承着用户友好的原则:
完全免费开放给所有注册用户。
只需一张图像即可实现主体的一致性控制。
让我们深入了解一下Vidu的新功能。
关键是:适用于任何主体。
这意味着无论是人物、动物、现实或虚构的形象,甚至是物品,都可以通过这一功能在视频生成中保持一致性和可控性。
值得注意的是,目前Vidu是唯一一家提供此功能的服务商。
无需赘述,让我们直击实际应用。
首先是人物主体的应用。
上传87版《红楼梦》中林黛玉的定妆照:
以此图中林黛玉为主体,使用主体参照功能,生成两条视频。
瞬间,林黛玉出现在讲台上发表演说:
转眼间,她又在星巴克里享受咖啡时光。
当然,不仅是真人,虚拟角色或动漫人物也能作为视频生成的主体参照。
例如,输入一张漫画女孩的图像:
生成的视频效果如下:
以下是官方提供的小贴士:
为了确保主体面容一致,需上传单一主体的清晰面容图像;为了确保主体半身一致(面容+上半身服饰),只需上传单一主体的清晰半身图像;为了确保主体全身一致(全身特征),仅需上传单一主体的清晰全身图像。动物和商品作为主体时也同样适用。
无论是在不同场景中保持狗狗的一致性,还是在变化的环境中保持商品外观的一致性,Vidu都能够胜任。
当前版本只支持单一主体的生成。
如果上传的图片包含多个对象,则需要框选单一主体进行生成。
此外,生数Vidu的“主体参照”功能简化了传统流程,不再需要先生成图像再生成视频。
通过“上传主体图+输入场景描述词”的方式,直接生成视频素材,极大地减少了工作量。
最后,我们需要明确几个概念:
图生视频(Image to Video);角色一致性(Character to Video);主体参照(Subject Consistency)。图生视频是现在AI视频生成的基础操作。
然而,这种方法可能会限制视频内容的多样性和场景的自由度。
角色一致性主要用于人物形象,确保面部特征的一致性。
而主体参照则涵盖了更广泛的对象,并且可以根据需要保持整体形象的一致性。
有兴趣的读者不妨前往生数科技的Vidu平台体验一下:
www.vidu.studio