编辑:编辑部
【新智元导读】视频生成赛道又起新秀,而且还是二次元定制版!稳定产出电影级画面,一键文/图生成视频,即使是「手残党」也能复刻自己喜欢的动漫作品了。
现在,各位二次元萌新们,不用再等「太太」出图啦!
我们不仅可以自己产粮,而且还是会动的那种。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第1张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第1张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203109172018266965580.gif)
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第2张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第2张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203110172018267079999.gif)
如今,AI视频生成这个赛道,可谓是杀得如火如荼。这些更新更强的模型,思路和Scaling Law一脉相承,主打一个「又大又全」。
然而出图效果如何,全靠「抽卡」运气,更别提真实视频生成的恐怖谷效应、动漫视频生成的画风突变。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第3张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第3张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203110172018267066604.jpg)
和大语言模型类似,在应用落地上想要全盘通吃的,就很难根据行业特征和专属诉求去进行专注的服务。
尤其是对于「二刺螈」小编来说,一直以来都没有找到合适的模型。
毕竟,作为普通动漫爱好者,想要和喜爱的角色同框出镜,或二创,没有绘画技能也只能空想。
从脚本构思、关键帧绘图、骨骼绑定到动态渲染,都需要付出大量的时间和精力。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第4张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第4张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203110172018267069989.jpg)
来源网络
最近,小编发现了一个专为二次元打造的创作网站「YoYo」——
只需通过文字提示或者上传图片等简单操作,即可一键获得生成高质量一致性强的动漫内容,让喜欢的角色栩栩如生地出现在「同人视频」中了!
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第5张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第5张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203110172018267051064.jpg)
大陆站传送门:yoyo.avolutionai.com
国际站传送门:yoyo.art
同人视频一键get
可以看到,YoYo不仅创作界面简洁,而且操作起来也非常容易上手。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第6张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第6张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203110172018267023955.jpg)
而且最重要的是,对于动漫爱好者和创作者来说,二次元氛围沉浸感极强。
不管是提示词还是图片,都有着非常丰富的高质量素材——几十个流行人物角色,以及通用、平涂、机甲等各种风格,可谓是一站式集齐,让人直呼过瘾。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第7张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第7张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203111172018267124544.jpg)
这些定制选择,可以在生成过程中控制角色的设计、故事走向,甚至是每一个细微的动画效果。
图文生动漫
话不多说,先来一波实测。
樱花飘落、颔首浅笑,再加上精致的的背景和服装,日漫的氛围感一下就出来了。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第8张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第8张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203111172018267170876.gif)
PRompt:穿着和服的女子在开满印花的庭院
燃烧的蜡烛,火焰般的眼眸,黑色的lolita,诡异的氛围,拿捏得十分到位。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第9张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第9张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203112172018267270314.gif)
prompt:最高品质,杰作,插图,超级详细,(1女性:1.2),及肩长发,哥特服饰,闹鬼的大厦,拿着蜡烛,诡异
接下来,再看看出色的人物一致性。(白毛控狂喜)
从嫉恶如仇的屠龙少女——
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第10张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第10张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203112172018267228724.gif)
prompt:1girl ,hair between eyes ,white hair, blue eyes,long hair,no hat,white dress ,elf,pointy ears, fight with a big dragon, sword
到林间散步的青涩女孩——
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第11张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第11张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203113172018267379373.gif)
prompt:1girl,white hair,elf,blue eyes,long hair,pointy ears,sitting in river,stars,white dress,pink canvas backpack,taking a walk in the forest
亦或是坐在水中的精灵公主——
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第12张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第12张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203114172018267499350.gif)
prompt:1girl,white hair,elf,blue eyes,long hair,pointy ears,sitting in river,stars,white dress,sitting quietly on the water
顺便一提,中英混合的prompt也是可以支持的。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第13张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第13张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203114172018267460760.gif)
prompt:1girl,hair between eyes,white hair,blue eyes,long hair,no hat,white dress,elf,pointy ears,瀑布,坐在瀑布下面,双手合十,闭眼
从上面这些动图可见,AI还原出了精准而富有表现力的人物表情,让短短几秒的视频充满了故事感。
头发、蒲公英和身上的裙子,一同在随风飘动非常自然。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第14张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第14张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203115172018267546495.gif)
prompt:一个紫色长发的女孩,在长满蒲公英的草原迎风微笑,天空中闪烁极光
落下的雪和杯中的热气升腾,即使相互交织在一起也能一眼分清。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第15张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第15张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203116172018267650691.gif)
prompt:一个围着围巾的短发女孩,在大雪天喝着热茶
一台巨大的「萝卜」矗立在城市里,林立的高楼描绘出震撼的场景。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第16张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第16张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203116172018267676995.gif)
prompt:机甲,无人,独自,云,武器,科幻,发光,天空,拿着武器,建筑物,城市
除了人物角色之外,背景的生成也非常有电影镜头的感觉。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第17张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第17张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203117172018267731349.gif)
prompt:梦幻的森林大陆的鸟瞰全貌,有森林湖泊,有小小的城镇,也有远远的高山
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第18张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第18张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203117172018267749011.gif)
prompt:一个古朴小镇热闹的街市
从此,不论我们脑海有多么奇幻的场景,都可以让它在动画中还原出来了!
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第19张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第19张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203118172018267813914.gif)
prompt:梦幻的森林大陆上的森林,小兔子,小松鼠,五彩的蘑菇
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第20张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第20张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203118172018267824014.gif)
prompt:一只通体雪白,角生梅花的鹿站在雪山顶峰眺望远方,身边发出微光
画面一键「复刻」
在「风物」这个场景中,我们可以一键「复刻」同好们生成的心仪场景。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第21张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第21张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203118172018267828783.jpg)
选择「取材」后,模型根据同样的prompt,就生成了类似风格的图。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第22张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第22张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203119172018267949234.jpg)
接着点「生成视频」——穿着JK制服的长发女孩,和弹钢琴的白色猫猫,这画面简直不要太美。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第23张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第23张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203119172018267941097.gif)
生成模型
当前AI生成的视频存在两大技术缺陷,一是可控性,二是生成速度。
以往的模型大多使用图像或文本指令作为生成条件,但缺少对视频中动作的精确、交互式控制。在生成视频时速度也非常慢,这对于C端应用来说也会严重影响用户体验。
为了解决这些模型缺陷,鹿影团队长期专注于技术攻关,并取得了丰硕的成果,发表了多篇「干货满满」的高水平论文。
Motion-I2V
今年1月刚刚发表的Motion-I2V论文提出了创新的图生视频框架,对于复杂图像,也能生成一致且可控的视频。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第24张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第24张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203119172018267934612.jpg)
论文地址:https://arxiv.org/abs/2401.15977
之前的方法,例如AnimateDiff架构,通常会让模型同时负责运动建模和视频生成,直接学习从图像到视频的映射关系。
论文提出,这种合二为一的做法会导致细节上的动作失真和时序不一致。Motion-I2V则选择解耦这两个过程。
第一阶段使用基于扩散模型的运动场预测器(motion field predictor),参考给定的图像和文本提示,专注于像素级的运动轨迹推断,预测参考帧和所有未来帧之间的运动场映射。
第二阶段则提出了一种新颖的运动增强时序层,用于增强模型中有限的一维时间注意力。这个操作可以扩大时序感受域,减轻了同时学习时空模式的复杂性。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第25张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第25张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203119172018267920402.jpg)
有了第一阶段轨迹预测的指导,第二阶段的模型能更有效地将所给图像的特征传播至合成的视频帧,加上稀疏的轨迹控制网络Control-Net,Motion-I2V还可以支持用户对运动轨迹和运动区域的精准控制。
与仅依赖文本prompt相比,这种方法为I2V过程提供了更多的可控性。此外,第二阶段的模型还天然地支持零样本生成,以及视频到视频的转换。
与现有方法相比,即使在运动幅度较大、视角变化的情况下,Motion-I2V也能生成更一致的视频。
从demo中可以明显看出,相比Pika、Gen-2等模型,Motion-I2V的确能模拟出更好的运动形态,视觉细节也更逼真。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第26张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第26张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203119172018267915013.jpg)
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第27张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第27张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203120172018268082610.gif)
AnimateLCM
在文生视频方面,今年2月发表的AnimateLCM模型公开了源代码和预训练权重,仅需4个迭代步骤就能生成质量优秀的动画,因此受到了开源社区的广泛欢迎,仅单月下载量就超过6万。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第28张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第28张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203120172018268036908.jpg)
仓库地址:https://huggingface.co/wangfuyun/AnimateLCM
文章提出,扩散模型的虽然有优秀的生成效果,但其中迭代去噪过程包含30~50个步骤,计算量很大且比较费时,因而对实际应用造成了限制。
团队从潜在一致性模型(Latent Consistency Model,LCM)中得到启发,旨在用最少步骤生成高质量的逼真模型。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第29张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第29张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203120172018268029414.jpg)
论文地址:https://arxiv.org/abs/2402.00769
AnimateLCM没有直接在原始的视频数据集上进行训练,而是从训练好的Stable Diffusion模型中蒸馏出先验知识。并且采用了解耦策略,将图像生成和运动生成的先验分开,再对图像模型进行3D膨胀,能够提高训练效率和生成质量。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第30张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第30张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203120172018268067964.jpg)
此外,为了让AnimateLCM模型更好地适应社区中被广泛应用的各种适配器(adapter),论文提出了一种不需要额外教师模型的「加速」策略来训练适配器。
实验证明,这种策略行之有效。搭配图像条件适配器或布局条件适配器时都有很好的兼容性,不仅没有损害采样效率,还实现了模型功能的扩展。
除了文生视频和图生视频,AnimateLCM还能在零样本情况下进行高效的视频风格迁移,或者用于扩展视频长度,最多可达到基本长度的4倍,并且实现了近乎完美的一致性。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第31张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第31张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203121172018268158219.gif)
Phased Consistency Model
虽然AnimateLCM已经取得了很好的效果,但开发团队并没有就此止步,而是选择在此基础上进一步探索。
在5月发表的最新论文中,作者指出,潜在一致性模型依旧存在一些本质缺陷。论文逐个调查了这些缺陷背后的成因,并提出了改进过的阶段一致性模型(Phased Consistency Model,PCM),实现了显著的提升。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第32张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第32张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203121172018268190308.png)
论文地址:https://arxiv.org/abs/2405.18407
CM和LCM的设计局限主要体现在三方面:
1. 可控性:在图像和视频生成中,有一个名为CFG的重要参数(classifier-free guidance),控制文本提示对生成结果的影响程度。CFG值越高,图像或视频与提示的相关程度就越高,但也提高了画面失真的可能性。
Stable Diffusion模型在较大的CFG值范围内(2~15)都能生成出较好的画面,但LCM可接受的CFG值一般不能超过2,否则就会出现过度曝光问题。
无法提高CFG值,大大限制了文本提示对生成视频的可控性。此外,LCM对负面提示也非常不敏感,比如下图的第一个例子中,模型会「明目张胆」地无视提示要求,偏要生成一只带黑色毛的狗。
2. 一致性:这两种模型都只能使用随机的多步采样算法,因此即使采用同一个种子开始生成,在推理过程中也能看到各步骤之间明显的不一致。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第33张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第33张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203122172018268256816.jpg)
3. 效率:除了上面两个硬伤之外,作者发现,LCM在少于4步的少步骤推理中无法给出较好的生成结果,因而限制了采样效率。
PCM的架构设计就很好地解决了以上三个缺陷:
- PCM模型支持确定性采样,能够保持多个推理步骤中的图像一致性
- PCM可以使用LCM中不可用的普通常微分方程求解器,代替原有的CFG增强的求解策略,从而让模型能够接受更高的CFG值
- 在隐空间中引入对抗性损失来确保图像分布的一致性,大大提升了少步骤推理情况下的生成效果
实施了针对性的解决措施后,PCM在1~4步推理时生成的视频效果相比LCM有了肉眼可见的显著优化。后续的消融实验也证明了PCM这些创新设计的必要性。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第34张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第34张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203122172018268260273.gif)
从MotionI2V到AnimateLCM,再到最新的PCM,鹿影团队逐步的迭代中不断寻求突破和提升,实现了PCM的惊艳效果,模型的先进性能从基准测试的得分和横向对比中就可见一斑。
在单步推理生成图像时,PCM方法在2个数据集、5个指标上几乎都超过了Stable Diffusion-Turbo的得分,一致性得分的优势更加显著,从SD-Turbo的0.71提升至0.81。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第35张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第35张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203122172018268274386.jpg)
当推理步骤从第1步逐渐增大到第16步时,这种优势依旧明显。多数情况下,使用普通ODE求解方法的更胜一筹。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第36张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第36张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203122172018268223028.jpg)
使用CLIP分数、光流估计、CLIP一致性三个指标量化评估视频生成质量时,PCM模型依旧在少步骤推理(≤4步)中取得了明显的优势,相比其他两个Diffusion架的构基线模型DDIM、DPM以及AnimateLCM都有大幅度提升。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第37张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第37张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203123172018268321528.jpg)
值得一提的是,鹿影科技的研发并非一朝一夕之功,他们的技术创新持续数年并不断迭代。
比如2022年提出的新颖架构FlowFormer在当时的Sintel光流基准测试中排名第一,2023年发布的视频光流估计框架VideoFlow在所有公共基准测试上刷新了SOTA。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第38张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第38张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203123172018268320942.jpg)
论文地址:https://arxiv.org/abs/2203.16194
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第39张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第39张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203123172018268380931.jpg)
论文地址:https://arxiv.org/abs/2303.08340
MPI Sintel是由华盛顿大学、佐治亚理工学院和马克·普朗克研究所的多名研究人员共同开发的开源数据集,是目前光流算法领域使用最广泛的基准之一。其中的样本很好地代表了自然场景和运动,对当前的方法极具挑战性。
在最新的排行榜上,前五名中VideoFlow系列就占据了三个位置,其中ViCo_VideoFlow_MOF更是排名第一,足可见鹿影团队的技术沉淀和硬实力。
![国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第40张 国产动画视频AI火了!二次元妻子随意捏,哥特和梦幻机甲一键得到。 第40张](https://www.yuneu.com/zb_users/upload/2024/07/20240705203123172018268383322.jpg)
一直以来,我们高喊国漫崛起,但新作品发展迟缓,始终未能实现真正的突破。
未来,有了AI的入局,会让动漫制作的现状和创意,得到极大地改善。
对于鹿影科技,接下来要做的是,让科研成果迅速转化,让AI工具帮助原创动漫实现指数级增长。
发表评论