大酷樂
  • 汽车
  • 理财
  • 军事
  • 科技
  • 游戏
  • 互联网
  • 娱乐
  • 财经
  • 科学
  • 社会
  • 亲子
  • 电影
  • 健康
  • 教育
  1. 首頁
  2. 互联网

免费AI“神器”系列第14弹:Sora竞品可生成2分钟视频;谷歌Vlogger能让影像说话

2024-04-15 简体 HK SG TW

今天小编分享的互联网经验:免费AI“神器”系列第14弹:Sora竞品可生成2分钟视频;谷歌Vlogger能让影像说话,欢迎阅读。

近期,生成式人工智能(AIGC)领網域又涌现出多款创意十足的新应用。

今天,钛媒体 AGI 梳理了免费 AI " 神器 " 系列第十四弹,共五款,其中不少产品再一次拓宽了我们对 AI 的想象力。

120 秒超长 AI 视频模型—— StreamingT2

即插即用的视频转视频框架—— AnyV2V

谷歌图生视频模型—— Vlogger

文本转视频模型—— Hotshot ACT-1

AI 视频生成模型—— Motion-I2V

1、120 秒超长 AI 视频模型—— StreamingT2

产品信息:StreamingT2 是由 Picsart AI Research、UT Austin 和 Shi Labs 的研究团队共同开发的一款文生视频模型,该模型突破了以往 AI 视频长度限制,可生成长达 2 分钟的长视频。StreamingT2 的发布将视频生成技术推向了新高度,也被称为 Sora 的强劲对手。

产品功能: StreamingT2V 可以根据用户的文字提示生成长达 120 秒的长视频,同时,StreamingT2V 将条件注意力模块(CAM)和外观保持模块 ( APM ) 核心构架结合,使得生成的视频与文本描述紧密相关且动态连续,展现高动态效果和时间一致性。

此外,StreamingT2V 的实现方法分为初始化、Streaming T2V 生成和 Streaming Refinement 三个阶段,保证了视频生成的高质量和高分辨率,并且 StreamingT2V 的高效能并不局限于特定的模型,这意味着随着技术的进步,视频质量还有进一步提升的空间。

项目及演示:https://streamingt2v.github.io

论文地址:https://arxiv.org/abs/2403.14773

2、即插即用的视频转视频框架—— AnyV2V

产品信息:AnyV2V 是一款无需训练,即插即用的 AI 视频编辑框架,该框架由滑铁卢大学、Vector Institute 和 Harmony.AI 团队共同开发,旨在帮助用户简化视频创作流程,提高视频制作效率。

产品功能:AnyV2V 不仅支持对源视频进行深度编辑与修改,还能按照输入文本提示,主题或风格等,生成对应新视频。

具体来看,AnyV2V 将视频编辑简化为了两个主要步骤:首先,AnyV2V 可以插入任何现有的影像编辑工具,从而支持多个视频编辑任务。其次,AnyV2V 可以插入任何现有的影像视频模型,执行 DDIM 反转和中间特征注入,从而保持与源视频的外观和运动一致性。

此外, AnyV2V 还可以支持视频编辑任务,包括基于参考的风格转换、主题驱动编辑和身份处理。

项目地址:https://tiger-ai-lab.github.io/AnyV2V/

论文地址:https://huggingface.co/papers/2403.14468

3、谷歌图生视频模型—— Vlogger

产品信息:Vlogger 是谷歌推出的一款图生视频技术框架,该框架是基于 MENTOR 数据库训练而来,数据库中包含超过 80 万名人物肖像,以及累计超过 2200 小时的影片,使得 VLOGGER 可以生成不同种族、不同年龄、不同穿着、不同姿势的人物视频。

产品功能:用户只需上传一张人物图片+音频檔案,就能实现让人物开口说话,生成一段人像与音频完美贴合且流畅的视频,并能做到视频中人物面部表情及肢体动作都相当自然且生动。

团队成员表示,和业内此前的同类方法相比,VLOGGER 最大的优势体现在不需要对每个人进行训练、也不依赖于面部检测和裁剪,并且生成的视频很完整(既包括面部和唇部,也包括肢体动作)等等。此外,Vlogger 还具有视频编辑和翻译等应用,能够让人物闭嘴、闭眼,甚至进行视频翻译。

项目地址:https://enriccorona.github.io/vlogger

4、文本转视频模型—— Hotshot ACT-1

产品信息:Hotshot - ACT 1 是一款由 Hotshot Research 开发的文本生成视频模型,该模型基于大规模高分辨率文本视频语料库训练,注重空间对齐、时间对齐和审美质量,旨在为视频创作者提供高质量的视频创作体验。

产品功能:用户只需输入文本描述,即可生成动画风格的视频。同时可以根据自身需求选择不同的宽高比和分辨率输出,定制化自己的视频内容。

体验地址:https://hotshot.co/act-one

5、AI 视频生成模型—— Motion-I2V

产品信息: Motion-I2V 是一款 AI 视频生成模型,能够根据一张静态图片生成连贯且可控制的视频。

产品功能:能实现影像到视频的自动转换,能够将静态影像自动转换成连贯的动态视频,通过模拟影像中对象的自然运动,使静态影像动起来。同时支持用户精确控制视频中的运动轨迹和运动区網域,使得生成的视频不仅流畅连贯,而且用户可以通过简单的操作控制视频内容。

此外,基于其先进的运动增强和时间注意力技术,无需额外的训练样本,Motion-I2V 就能实现视频风格转换,比如从现实风格转换成漫画风格。

项目主页:https://xiaoyushi97.github.io/Motion-I2V/

论文地址:https://huggingface.co/papers/2401.15977

(本文首发于钛媒体 APP,作者 | 章橙,编辑 | 林志佳)

熱門排行
  • 王治郅:杨瀚森主要的问题是速度 他 王治郅:杨瀚森主要的问题是速度 他 郟君昊 | 2025-05-05
  • 贸易战烧进电影院:特朗普拟重税打击 贸易战烧进电影院:特朗普拟重税打击 習又夏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天 贷款追高炒黄金的人后悔了!有人一天 寸飛蘭 | 2025-05-05
  • 手机电池突破8000mAh?硅碳技术的回 手机电池突破8000mAh?硅碳技术的回 衛青柏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天 贷款追高炒黄金的人后悔了!有人一天 繁綺文 | 2025-05-05
  • 任天堂对Genki提起Switch 2商标侵 任天堂对Genki提起Switch 2商标侵 郜萌運 | 2025-05-05
  • 哪吒汽车APP和官网恢复正常 知情人 哪吒汽车APP和官网恢复正常 知情人 袁曼雁 | 2025-05-05
  • 极越汽车 CEO 夏一平名下青岛/义乌 极越汽车 CEO 夏一平名下青岛/义乌 集玲琳 | 2025-05-05
  • 全国经济第一大省明确,推动组建农商 全国经济第一大省明确,推动组建农商 佼昌翰 | 2025-05-05
  • 桑保利:亚马尔有配合意识&有点像梅 桑保利:亚马尔有配合意识&有点像梅 甄正浩 | 2025-05-05
  • 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 袁曼雁 | 2023-05-05
  • “懒癌”发病率上升,定期体检别忽视 “懒癌”发病率上升,定期体检别忽视 幸聽楓 | 2023-05-02
  • 曹操墓,里面都有啥? 曹操墓,里面都有啥? 衛青柏 | 2023-05-02
  • 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 賁芳蕤 | 2023-05-02
  • 十年了,他们终于要HE! 十年了,他们终于要HE! 惠惠君 | 2023-05-07
  • 中央部署经济工作,释放5大信号 中央部署经济工作,释放5大信号 郜萌運 | 2023-05-02
  • 高德上线手机弯道会车预警功能 高德上线手机弯道会车预警功能 習又夏 | 2023-05-02
  • 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 賁芳蕤 | 2023-05-02
  • 等比例长大的童星,李兰迪算一个 等比例长大的童星,李兰迪算一个 郟君昊 | 2023-05-02
  • 《云襄传》终于抬上来啦,男O女A让人好上头! 《云襄传》终于抬上来啦,男O女A让人好上头! 集玲琳 | 2023-05-02
  • 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 集玲琳 | 2023-05-02
  • 普京签署总统令,批准对俄刑法典相关法条的修正案 普京签署总统令,批准对俄刑法典相关法条的修正案 集玲琳 | 2023-05-02
  • 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 衛青柏 | 2023-05-04
  • 高端国产车:军车血统,目前电动车越野的“天花板”? 高端国产车:军车血统,目前电动车越野的“天花板”? 謝飛揚 | 2023-05-02
  • 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 寸飛蘭 | 2023-05-05
  • 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 袁曼雁 | 2023-05-02
  • 解除资格!停止一切合作 解除资格!停止一切合作 佼昌翰 | 2023-05-02
  • 中银证券给予南京银行增持评级 中银证券给予南京银行增持评级 袁曼雁 | 2023-05-03
  • 3699起 联想小新mini主机上架 13代酷睿标压处理器 3699起 联想小新mini主机上架 13代酷睿标压处理器 習又夏 | 2023-05-05
  • 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 惠惠君 | 2023-05-02
  • 疯成这样,怎么还能被全网吹捧? 疯成这样,怎么还能被全网吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收购美国第一共和银行 摩根大通收购美国第一共和银行 謝飛揚 | 2023-05-02
  • 台剧赢麻了,又来一部8.9 台剧赢麻了,又来一部8.9 衛青柏 | 2023-05-02
  • 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 郟君昊 | 2023-05-02
  • 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好这件事是关键 "三高"已盯上青少年,做好这件事是关键 習又夏 | 2023-05-05
  • 五一档没一个能打的 五一档没一个能打的 集玲琳 | 2023-05-05
  • 恐怖韩剧下神坛,这次胆小可入 恐怖韩剧下神坛,这次胆小可入 袁曼雁 | 2023-05-05
  • 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 袁曼雁 | 2023-05-03
  • 这剧是不是用ChatGPT写的呀? 这剧是不是用ChatGPT写的呀? 惠惠君 | 2023-05-02
  • 性骚扰惯犯,滚出娱乐圈 性骚扰惯犯,滚出娱乐圈 謝飛揚 | 2023-05-05
  • 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 佼昌翰 | 2023-05-02
  • 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 惠惠君 | 2023-05-02
  • 当年轻人开始不随份子钱 当年轻人开始不随份子钱 袁曼雁 | 2023-05-02
  • 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 嬴覓晴 | 2023-05-02
  • 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 幸聽楓 | 2023-05-03
  • 宋慧乔获视后首次晒照,拿奖杯笑容温柔 宋慧乔获视后首次晒照,拿奖杯笑容温柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們