今天小编分享的互联网经验:免费AI“神器”系列第12弹:腾讯研发出“AI 蔡徐坤”;字节Gauth日下载量增长1400%,欢迎阅读。
近期,生成式人工智能(AIGC)领網域又涌现出多款创意十足的新应用。
今天,钛媒体 AGI 梳理了免费 AI " 神器 " 系列第十二弹,共五款,其中不少产品再一次拓宽了我们对 AI 的想象力。
腾讯开源视频生成框架—— AniPortrait
字节推出 AI 教育应用—— Gauth
文字生成解说视频模型—— NoLang
AI 视频生成模型—— MoneyPrinterTurbo
文本一键生成微电影的大模型—— LTX Studio
1、能让影像开口说话,腾讯推出开源视频框架—— AniPortrait
产品信息:AniPortrait 是腾讯推出的一个创新技术框架,可以通过一张人脸照片和音频生成一段高质量视频。与此前阿里发布的视频生成模型 EMO 的功能相似,但 AniPortrait 是开源模型,用户可以直接使用。
产品功能:AniPortrait 可根据输入的音频和影像生成会说话、唱歌的动态视频,并保持人物面部表情流畅、生动且口型一致。同时支持多种语言输入,还可以对面部重绘以及进行头部姿势控制。
据了解,该技术框架的工作原理分为两个步骤:第一步 AniPortrait 会从音频中提取关键信息,再将音频通过两个简单的处理层转换成一个三维的面部模型,并确定头部姿势。第二步,将三维面部模型和头部姿态转换成一系列二维点,进行识别标注,再使用 Stable Diffusion 1.5 结合时间运动模块,根据二维标记点序列创建一系列连贯的肖像帧,形成动画,确保动画的流畅性和真实感。
但 AniPortrait 目前还存在对口型不太流畅自然的问题, 开发团队强调,接下来也会效仿阿里巴巴 EMO(Emote Portrait Alive)的方法,直接从音频来预测肖像视频的生成,以达到更好的效果。
项目地址:https://huggingface.co/ZJYang/AniPortrait
论文地址:https://huggingface.co/papers/2403.17694
2、用户破亿,字节推出的 AI 教育应用 "Gauth" 在海外爆火
产品信息:Gauth 是字节跳动在海外推出的 AI 教育应用,产品定位为 "AI 学习陪伴 "、"AI 作业 & 学习帮手 ",旨在帮助力提升教育及学习效率。
产品功能:用户只需上传题目照片,或者直接对题目拍照,Gauth 就能在几秒钟的时间内为用户生成完整详细的解题逻辑和解答步骤。
据悉,Gauth 覆盖的学科包括数学、统计学、物理、化学、历史等。其中,网页版 Gauth 还在 " 数学 " 模块下划分了多个细分方向包括方程,代数,等式,不等式、序列、复数等,并有 " 统计 " 和 " 微积分 " 专属模块。根据测评,语文及综合方面能力均可达到美国 SAT 考试水平,数学方面综合答题水平可比美国 9 年级。
因具备强大的学习辅助功能,Gauth 在海外市场爆火,据 Gauth 官网数据显示,截至目前已有超过 2 亿的学生用户群体体验并采用了该平台的服务。从七麦数据榜单来看,截至 2024 年 3 月 27 日,Gauth 在美国教育应用市场中排名第二,仅次于全球知名语言学习应用 Duolingo(多邻国)。
日活方面,Gauth 近期全球日活用户峰值达 206.5 万人次,相较于 1 月 25 日的日活 85.68 万人,增长超过 1.4 倍;日下载量方面,2024 年 1 月 1 日 Gauth 下载量为 4840,3 月 21 日下载量为 6.93 万次,日下载量增长 14 倍。
3、文字生成解说视频模型—— NoLang
产品信息:NoLang 是 Mavericks 公司开发的一款文生视频模型,可以通过文字直接转换成解说视频,帮助用户更直观获取信息。
产品功能:用户可以输入包含文字、网页链接及 PDF 檔案等进行提问,NoLang 能根据提问快速生成一段解说视频。例如,当用户输入一段文字或一个网页链接时,NoLang 会首先对内容进行总结,再根据总结的内容生成一个解答视频,这一功能使得信息获取更加直观和生动。
同时,NoLang 还具备强大的互动性,用户可以对生成的视频进行互动,通过追加问题来延续视频内容,形成一系列相关联的视频线程,便于深入理解和跟踪信息。这一功能使得 NoLang 不仅是一个信息获取工具,更是一个智能学习助手。
此外,NoLang 还推出了 Chrome 扩展功能。安装 Chrome 扩展后,用户可以直接在浏览器中调用 NoLang 服务,无需离开当前网页,即可生成视频。不过,目前 NoLang 仅支持日语和英语,其他地区的用户可能使用不便。
体验地址:http://no-lang.com
4、AI 视频生成模型—— MoneyPrinterTurbo
产品信息:MoneyPrinterTurbo 是一款开源 AI 视频生成模型,旨在帮助视频创作者高效制作短视频。
产品功能:用户只需输入内容主题或几个关键词,就能自动生成一段包含文案、素材、字幕以及背景音乐的一分钟高清短视频。并且 MoneyPrinterTurbo 支持批量视频生成,一次性可生成多个视频供用户选择,提高工作效率。
同时,MoneyPrinterTurbo 可生成包括竖屏(9:16,1080x1920)和横屏 ( 16:9,1920x1080 ) 的多尺寸视频,支持多语言输入和多种模型接入,包括 OpenAI、moonshot、Azure、gpt4free、one-api 等。截止发稿,MoneyPrinterTurbo 在 Github 上已累积 2500 颗星。
项目地址: https://github.com/harry0703/MoneyPrinterTurbo
5、比 Sora 更惊艳的 AI 视频制作工具—— LTX Studio
产品信息:LTX Studio 是一款由 Lightricks 推出的 AI 电影生成工具,旨在简化视频创作流程,提升影片制作效率,降低成本。据了解,Lightricks 的首批测试名额于 2024 年 3 月 27 日发放。
产品功能:用户只需输入文字提示或创意想法,LTX Studio 便会根据提示生成脚本和分镜头,同时提供了丰富的定制选项,如场景、风格、角色等,还可以对镜头切换、角色、场景一致性、攝影機、灯光等进行可视化精准控制,使用户能灵活调整并预览影片效果。
此外,LTX Studio 还具有换脸和修改功能,用户只需上传一张照片,就能轻松实现角色换脸。亦或者使用 @ 提及角色名称即可添加、替换或删除任何镜头中的任何角色。这一功能增强了用户的创造力和自由度,为视频和影视创作带来更多想象空间和可能。
体验地址:https://ltx.studio/
(本文首发于钛媒体 APP,作者 | 章橙,编辑 | 林志佳)