四大AI视频工具“斗法” 一文教你怎么玩

2023-12-14 10:57:39 作者：小编

AI视频工具赛道越来越卷，各种升级令人应接不暇，尤其是Gen-2、Pika1.0、Stable Video Diffusion、和Magic Animate，它们正在成为用户最常用的视频生成产品，背后有强大的AI大模型支撑。

尽管目前的视频类大模型还达不到“用文字描述一个故事就能生成一部电影”这么高能，但已经能通过一系列提示词就能创作出一段生动的视频，还发展出图生视频等强大的多模态能力。

《元宇宙日报》测试了四大AI视频工具，希望能帮你快速上手体验。需要提醒的是，所有的工具输入提示词时最好使用英文，生成效果会比中文提示要好。在此，我们也希望国产的AI视频生成工具能快点赶上，创造出适合中文用户的好产品。

Runway Gen-2

Gen-2是第一款公开可用的文本生成视频工具，由Runway Research开发。它的相关功能，包括文本/图像转视频、视频风格化、图像拓展、一键扣除视频背景、抹除视频指定元素、训练特定AI模型等，可以说是目前最强的AI视频生成/编辑工具。

Gen-2的文本生视频功能相对Gen-1已经有了相当大的提升，这里可以看下输入“raccoon play snow ball fight in sunny snow Christmas playground”（浣熊在阳光明媚的雪地圣诞游乐场打雪仗）的生成效果。可以说，无论是画质还是构图，Gen-2都十分出色。但会出现遗漏关键词的问题，比如画面中没有体现出“圣诞”与“打雪仗”的效果。

就在前几天，Runway又上线了新功能“Motion Brush”（运动笔刷），我们只需在图像上涂抹一个区域，就能将静态的图像变为动态内容。“运动笔刷“的功能在操作上太友好了，选定一张图片，使用笔刷涂抹想要动起来的区域，再调试好想要大致的运动方向，静止的图片就可以根据预定动起来。来看一下效果:

但目前，“运动笔刷”的功能也存在一些不足，比如适合缓慢的移动画面，无法生成类似车辆飞速行驶等快速移动的画面。此外，如果使用运动笔刷，涂抹外的区域都几乎保持静止，无法实现多个物体运动轨迹的微调。

目前，Runway免费账号只能生成4秒时长的视频，每秒需要消耗5个积分，最多可以生成31个视频，并且不能去除水印。如果你想要更高分辨率、无水印、时长更长的视频，那就需要付费升级一下你的账号。

此外，如果你想学习AI视频，可以试试Runway推出的电视频道Runway TV，这里24小时循环播放由AI制作的视频，通过这些AI视频，你或者还能寻找一些创意灵感。

网站定位:

https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2

Pika1.0

Pika1.0是Pika Labs发布的第一个正式版产品，这个实验室是由华人团队创办的AI技术初创公司。Pika1.0不仅能够生成3D动画、动漫、卡通和电影，甚至可以实现风格转换、幕布扩展、视频编辑等重磅能力。Pika1.0非常擅长制作动漫风格的画面，可生成电影效果的短视频。

Pika1.0最受网友欢迎的小工具当属“AI魔法棒”即局部修改功能。放在几个月前，这是AI绘画领域才刚刚拥有的能力，现在“局部修改”能够修改视频中所有背景、主体的局部特征，而且实现起来也很便捷，只需要三步:上传动态视频;在Pika的控制台内选择要修改的区域;输入提示词，告诉Pika你想用什么来代替它。

除了“局部修改”功能，Pika1.0将文生图工具Midjourney具备的“图像拓展”功能带到了视频界，这是视频AI生成工具的首次。不同于在抖音上被玩坏的“AI扩图”，Pika1.0的视频拓展相当靠谱，不仅画面自然，而且十分符合逻辑。

目前，Pika1.0支持用户免费体验，但需要申请试用名额。如果你还在排队的话，可以在官网选择Discord登陆看看。与Midjourney类似，用户需要在Discord进行云端创作，而且可以体验到文本-视频、图片-视频两大功能。

进入Pika1.0的Discord服务器后，点击Generat中的任意一个频道，输入“/”，选择“Create”，在弹出的prompt文本框中输入提示词即可。与Gen-2相比，Pika1.0对提示词的理解更加到位，但在画质还不如Gen-2，这很可能是因为云创造的缘故，我们来看下效果:

如果用图片生成视频，则输入“/”后，选择“animate”，上传一张图片，输入提示词说明即可。Pika1.0的图片-视频效果与Gen-2不相伯仲，看下效果:

网站定位:

https://pika.art/waitlist

Stable Video Diffusion

11月22日Stability AI发布了一个AI生成视频的开源项目:Stable Video Diffusion（SVD），Stability AI官方博客显示，全新SVD支持文本到视频、图像到视频生成，并且还支持物体从单视角到多视角的转化，也就是3D合成。生成效果不亚于Runway Gen2和Pika1.0。

目前有两种在线使用途径，一个是官方在replicate上发布的试玩demo，一个是新出的在线网站，两者均免费。

我们测试了第一种，因为它支持参数调整，操作也相对便捷:上传图片，调整帧数、画面纵横比、整体运动等参数即可。但美中不足的是，画面生成效果相对随机，需要不断调试来达到想要的效果。

看看效果:

Stable Video Diffusion目前只是基础模型，尚未产品化，但官方透露“正计划继续扩展，建立类似于Stable Diffusion的生态系统”，计划根据用户对安全和质量的反馈持续改进模型。

网站定位:试玩 demo 版和在线版

https://replicate.com/stability-ai/stable-video-diffusion
https://stable-video-diffusion.com/

Magic Animate

MagicAnimate是一种基于扩散模型的人像动画生成方法，旨在增强时间一致性、保持参考图像的真实性，并提高动画保真度，由新加坡国立大学Show Lab和字节跳动联合推出。简单来说，给定一张参考图像和一个姿态序列（视频），它可以生成一个跟随姿态运动，并保持参考图像身份特征的动画视频。操作也是非常简单，同样只需三步:上传一张静态人物照片;上传想要生成的动作demo视频;调整参数。