URL
type
status
date
slug
summary
tags
category
icon
password
Sora在3月25日宣布了与首批艺术家合作的新一轮视频作品，这7个作品引起了广泛关注。在AI视频领域，被寄予厚望的国内版”Sora“——字节跳动的Dreamina，也于3月26日推出了首批内测名额，在获得Dreamina的内测资格后，我们迅速展开了一系列的对比测试，将其与Sora进行了详尽的对比分析。
Dreamina核心功能
Dreamina的核心功能是帮助用户根据文本或者图像，生成创意视频。支持多种风格的视频生成，如动漫、写实、摄影和插画等。
图生视频/文生视频
目前图片生成视频功能中，比较特别的一个功能点是可以使用尾帧功能。上传首尾两张图片，实现AI生成补帧画面，这样对视频画面的内容一致性有比较好的控制性。
文生视频功能和其他AI视频生成产品Runway、Pika等类似，输入视频文字描述即可生成。Dreamina对中文语义理解比其他两个产品略好一点。
视频功能控制
目前在视频控制上，Dreamina只提供了基础的5种运镜控制、5种视频比例和3档运动速度。
产品 | 运镜控制 | 视频比例 | 运动笔刷 | 运动速度 | 帧数设置 | 唇形同步 | 音效生成 | 反向提示词 | 扩图局部修改 |
Dreamina | 5种，单一运镜 | 5种 | 无 | 3档 | 无 | 无 | 无 | 无 | 无 |
Runway | 6种，多运镜 | 6种 | 有 | 10档 | 无 | 有 | 无 | 无 | 无 |
Pika | 5种，多运镜 | 6种 | 无 | 4档 | 有 | 有 | 有 | 有 | 有 |
ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
产品 | Dreamina | Runway | Pika |
运镜控制 | 5种，单一运镜 | 6种，多运镜 | 5种，多运镜 |
视频比例 | 5种 | 6种 | 6种 |
运动笔刷 | 无 | 有 | 无 |
运动速度 | 3档 | 10档 | 4档 |
帧数设置 | 无 | 无 | 有 |
唇形同步 | 无 | 有 | 有 |
音效生成 | 无 | 无 | 有 |
反向提示词 | 无 | 无 | 有 |
扩图/局部修改 | 无 | 无 | 有 |
我用Sora的10个视频提示词Prompt，在Dreamina重新生成了一遍。
好的案例
POV video of a bee as it dives through a beautiful field of flowers.一只蜜蜂在一片美丽的花田中的视频。
蜜蜂的视频，生成出来画面细节Dreamina有阳光和花海，比Sora视觉上更加真实和丰富。但是蜜蜂动作真实度上，Sora还是更为真实，Dreamina的蜜蜂动作会有腿部突然消失的情况。
Fly through tour of a museum with many paintings and sculptures and beautiful works of art in all styles.
飞越博物馆，参观许多绘画和雕塑以及各种风格的精美艺术品。
这个Dreamina生成出来，其实还挺惊喜的。场景符合真实博物馆，而且我镜头选择的是保持固定，但是Dreamina自动判断了推近运镜，效果很自然。
A grandmother with neatly combed grey hair stands behind a colorful birthday cake with numerous candles at a wood dining room table, expression is one of pure joy and happiness, with a happy glow in her eye.
一位祖母站在一张五颜六色的生日蛋糕后面，蛋糕上插着许多蜡烛，放在木制餐桌旁。她的表情充满了纯粹的快乐和幸福，眼中闪烁着喜悦的光芒。这是一个温馨的场景，充满了家庭的温暖和庆祝的氛围。
这个视频Sora放出时是当做不好的案例的，想说明目前Sora模型的弱点：模拟对象和多个角色之间的复杂交互对模型来说通常具有挑战性，有时会导致幽默的生成。
Dreamina在理解这段提示词时，没有生成多个人物，只生成了老奶奶，整个表情和神态还原的还是不错的，手部还加了一个点赞的动作，连贯性很好，只是手指还是有轻微粘连。
不好的案例
一个穿着西装的人，头是一个硕大的红色哑光半透明气球，背影，往前行走
先用Dreamina生成气球人图片，抽卡了好几次才生成出来一个类似的图片，它不太能理解”没有头“这种提示词。再用图片生成视频，生成出来有2个问题，一个是发现气球是粘在脑袋上的，所以人物还是有真实的头部，比较穿帮。第二个问题是人物是在倒着走，这个Dreamina官方指南中也指出，现在如果主体是背影，会容易生成倒着走的视频，只能通过多次抽卡，生成正确向前走的视频。
An elephant made of leaves running in the jungle。一头由树叶制成的大象在丛林中奔跑
Dreamina理解了提示词，但又没完全理解。大象本体还是真实的大象，不是由树叶构成。只在耳朵、身体局部上是由树叶组成。最离谱的应该是运动状态，大象奔跑是在原地进行运动。
On a black marble platform, a sculpture made of glass crystal is being rotated.
一个黑色大理石台上，正在旋转展示一个玻璃水晶材质的雕塑艺术品
这个主要想看下Dreamina对于真实材质的呈现能力，以及镜头移动下的三维一致性，目前看来Dreamina对于材质理解和表现还不错，但是镜头移动下的三维具有一定的一致性，能保留三维物体的大部分形态，但没能做到完全一致，未来还是有提升的空间。
A cat waking up its sleeping owner demanding breakfast. The owner tries to ignore the cat, but the cat tries new tactics and finally the owner pulls out a secret stash of treats from under the pillow to hold the cat off a little longer.一只猫叫醒熟睡的主人，要求吃早餐。主人试图无视猫，但猫尝试了新的策略，最后主人从枕头底下掏出一个秘密的零食藏匿处，让猫多呆一会儿。
当时震惊大家的数字世界的猫咪会踩奶了场景，Dreamina好像不太能理解。早餐场景它理解的很丰盛，但是对于人物，没有生成，而是生成了猫咪，且猫咪动态有明显的，多余肢体的问题。
生成质量的层次性对比
- Sora：作为业界的领先者，Sora在生成视频的质量上表现出色，尤其是在物体运动处理和三维连续性方面。Sora生成的视频不仅动作流畅自然，而且在细节上也表现得相当精细，为用户提供了接近影视专业级别的视频内容。
- Dreamina：Dreamina在生成质量上紧随Sora之后，虽然在处理人体运动时，如腿部和手指的动作还存在一些瑕疵，面部一致性也有待提高，但整体效果已经超越了其他应用。Dreamina展现出了良好的三维连续性，对于物体的运动处理也相对优秀，显示出其在AI视频生成领域的潜力和实力。
视频时长与清晰度
- Sora：提供了最长的视频时长，达到了一分钟，这在当前的AI视频生成工具中是相当罕见的。
- Dreamina：目前可以生成3秒，可延长3秒到6秒。虽然与Runway和Pika在视频时长上没有显著差异，但与Sora相比仍有较大差距。此外，Dreamina在延长视频时长时，视频的清晰度和一致性有所下降。
产品费用与内测
Dreamina目前仍处于部分内测阶段，用户可以通过特定的申请地址申请使用资格。
Dreamina内测邀请链接：https://dreamina.jianying.com/s/iFTLe2b1/
申请通过后，每天可以获得60个积分，生成一个视频需要消耗12个积分。订阅是69元一个月505积分，可以生成42个3秒视频，另外可以下载无水印视频和延长视频。目前Pika最便宜月付订阅是10美元约70人民币700积分，大概可以生成70个3秒视频。Runway是15美元约105人民币625积分，大概可以生成125个4秒视频。从单秒生成成本来看，Dreamina、Pika和Runway成本分别是0.55元/秒、0.33元/秒、0.21元/秒。这么横向对比看，Dreamina收费还是偏高的。
对这个话题感兴趣的小伙伴，欢迎加我一起探索交流~
