今天小编分享的科学经验：Sora复刻版来了，微软参与，华人团队打造，欢迎阅读。
Sora 复刻版出现了——
Mora，还是多智能体那种。
△Mora：模拟数字世界
Sora 有的能力它基本都有，比如文本转视频、扩展视频、视频编辑、视频拼接、模拟数字世界等等。
还支持生成 1024*576 分辨率的 12 秒视频。
这项研究来自理海大学微软研究院的华人团队。他们运用多个视觉 agent，在多个任务中表现接近 Sora。
既如此，且来看 Mora 究竟实力如何。
Mora 复刻 Sora
先来看效果。
首先是文本到视频的生成。
In the middle of a vast desert, a golden desert city appears on the horizon, its architecture a blend of ancient Egyptian and futuristic elements.The city is surrounded by a radiant energy barrier, while in the air, seve
( 在广袤的沙漠中，一座金色的沙漠城市出现在地平线上，其建筑融合了古埃及和未来元素。 )
效果还不错，有点三体内味了。
再来看，基于文本提示的影像到视频生成。
不妨就拿 Sora 视频比较一下。
除此之外，还支持视频编辑，比如修改一下视频里的车、给车铺上一条彩虹之路。
这个效果嘛，就还有进步空间 ~
不过跟 Sora 同款的视频拼接，是可以 Hold 住的。
多智能体框架
研究团队提出了一个多智能体框架 Mora。
他们认为解决不同视频生成任务，需要不同专业能力 agent 协作。为此，Mora 框架中有 5 个基本角色组成：
Prompt 选择和生成 agent、文本到影像生成 agent、影像到影像生成 agent、影像到视频生成 agent、视频到视频 agent。
每个 agent 负责特定的输入和输出，通过設定 agent 的角色和操作技能，团队定义了各种任务基本工作流程。
根据任务不同，采用特定的 agent 组合。
目前他们主要设计了六个工作流：
文本到视频生成；文本条件影像到视频生成；扩展生成的视频；视频到视频编辑；连接视频以及模拟数字世界。
最终，在各个任务中，Mora 的表现都接近 Sora。
团队认为，Mora 作为开源多 agent 框架，具有一定的灵活性和效率，还能无缝集成各种模型。
但与此同时，也有一定的进步空间。比如高质量视频数据集的需求、指令遵循能力的提升、人类视觉偏好对齐等。
理海微软团队
此次研究来自理海大学孙力超团队，此外还有微软研究院研究员参与。
前段时间，同样也是这个团队用 37 页论文逆向工程解剖 Sora。
感兴趣的朋友可戳下方链接：
https://arxiv.org/abs/2403.13248
https://github.com/lichao-sun/Mora
