今天小编分享的互联网经验:免费AI“神器”第十三弹:会20种语言的数字人爆火;机器人能提前0.8秒预测人类表情,欢迎阅读。
(图片来源:unsplash)
近期,生成式人工智能(AIGC)领網域又涌现出多款创意十足的新应用。
今天,钛媒体 AGI 梳理了免费 AI " 神器 " 系列第十三弹,共五款,其中不少产品再一次拓宽了我们对 AI 的想象力。
会 20 种语言的克隆数字人—— Digen
能模仿人类表情的人形机器人—— EMO
Domo AI 新功能上线:能让静态人像动起来
吊打 Midjourney 的 AI 文生图工具—— Ideogram
文生图框架—— LaVi-Bridge
1、会 20 种语言的克隆数字人—— Digen AI
产品信息:Digen 是由 Digen AI 研发的全新克隆数字人工具产品,称是利用生成式 AI 技术创建面向未来的视频,支持多达 20 种语言、40+ 种声音,手势、口型和语调全部同步一致,视频效果比较逼真。
产品功能:用户可通过官网申请内测,使用时免费进行个性化头像生成,大约需要 5-7 天时间,随后可以进行视频编辑和生成等操作,最终可以实现数字人视频状态,声称为 Digen in Real Motion 1.0。
目前,Digen 包括免费版、创作者版、专业版三个版本,后两者每月计费分别为 9.9 美元、19.9 美元,如果按年订阅价格会更低一些。公司称,免费计划的订阅者不受任何时间限制,但每月只能制作总长度为 2 分钟的视频,视频数量没有限制。
有分析称,Digen 是 Sora、Heygen、PIKA、Runway 等产品的强有力竞品之一。
用户可通过 https://digen.ai 填写信息申请内测资格。
2、能模仿人类表情的机器人—— EMO
产品信息:哥伦比亚大学创新机器实验室近日推出一款可以预测人的表情,并能与人类同步做出表情的人脸机器人。这款机器人采用自我监督学习框架,运作原理类似于人类通过照镜子来练习面部表情。
产品功能:EMO 可以在人类微笑前 839 毫秒预测即将到来的微笑,并通过模型与人类同时表达微笑。此外,Emo 还可以预测悲伤、愤怒和惊讶等表情,还能与人类进行眼神互动,但目前还不能做出人类的所有表情。
据了解,Emo 的眼睛里装有摄像头,硅胶皮肤下有 26 个电机,类似于人类面部的肌肉,可以为机器人的面部表情提供动力。另外,该机器人使用两个神经网络,一个用来观察人脸并预测表情,另一个研究如何在机器人脸上产生表情。第一个神经网络通过视频网站上的视频进行训练,第二个神经网络让机器人通过实时攝影機观看自己做的表情来训练。
团队研究人员表示,未来,他们还将拓宽机器人的表情范围,希望 EMO 能对人所说的话做出反应,而不是简单模仿人类。此外,研究人员正利用大模型将语言交流整合到 Emo 中,让 Emo 能够回答问题和对话。
3、Domo AI 新功能上线:能让静态人像动起来
产品信息:Domo AI 是映刻科技推出的一款将照片和视频动漫化的 AI 工具,该工具可以将用户上传的图片和视频转绘为动漫风格,经过不断迭代更新,Domo AI 近日推出了影像生成视频新功能。
产品功能:Domo AI 的新功能结合了深度学习和计算机视觉算法的前沿技术,通过智能识别和分析静态照片中的人物特征,再与动态视频中的运动数据进行精准匹配。在强大的算法驱动下,Domo AI 能够巧妙地将照片中的人物 " 移植 " 到视频中,实现静态到动态的完美转变。
例如,用户可以上传一张静态照片和一个参考的动态视频,Domo AI 便能够巧妙地将静态照片中的人物替换成动态视频中的人物,实现惊人的视觉转换。
Domo AI 功能强大,适用于多种场景和应用。不仅可用于社交媒体上分享生动有趣的动态照片,还可以为电影、游戏或广告制作添加特效,为用户提供无限的创意空间。
目前,Domo AI 新功能已经在 Discord 频道上正式上线,用户只需在频道内使用 /move 命令,即可轻松体验将静态照片变为动态视频的神奇过程。
官方网址:https://domoai.app/
体验地址:https://discord.gg/domoai
4、吊打 Midjourney、DALL · E 3 的 AI 文生图工具—— Ideogram
产品信息:Ideogram 是一款超强文字生成影像工具,旨在生成包含可以清晰阅读文本的影像。该模型由谷歌前员工组成的创业团队打造,团队成员曾参与开发谷歌的 Imagen 影像生成軟體和视频生成模型。
产品功能:Ideogram 的主要功能为文生图功能,但与其他影像生成模型不同的是,Ideogram 擅长生成包含文本的图片,用户只需输入提示词,Ideogram 就可以按照要求将文字融入生成的图片中,实现平面、悬浮甚至立体文字效果。比如生成电影、产品海报、T 恤印花等影像,解决了生图 AI 在影像文字生成上的痛点。
近期上线的 Ideogram 1.0 版本在正确显示文本方面有了显著提升,生成的影像也更加逼真,可以对复杂提示词进行精确响应。Ideogram 表示,参与测试的评估者对于 Ideogram 1.0 在提示对齐、影像连贯性、整体偏好和文本渲染质量方面的偏好超越了 DALL · E 3 和 Midjourney V6。
同时 Ideogram 1.0 还引入了 一个名为 " 魔法提示 " 的新功能,该功能可以根据用户的原始描述,编写更详细的提示词,进而创造出更美观且具创意的影像。
此外,Ideogram 1.0 版本还能理解冗长、复杂的提示词,生成清晰、逼真的影像,包括动物、奇怪组合的呈现,以及照片级逼真的人物表情和手部动作。
付费方面,用户每天能免费使用 25 个提示词,生成 100 张图。8 美元月付费用户每天可以生成 100 个提示词,400 张图。20 美元月付费用户可以无限使用。
体验地址:https://ideogram.ai/t/explore
5、文生图框架—— LaVi-Bridge
产品信息:LaVi-Bridge 是一个无需训练将不同的语言模型和生成视觉模型结合起来,以实现文本到影像的生成的技术框架,该框架由香港大学、香港中文大学和香港科技大学的研究团队共同开发。
产品功能:通过使用 LoRA(Low-rank Adaptation)和适配器,LaVi-Bridge 提供了一种灵活且即插即用的方法,无需修改原始模型的权重。这个框架兼容多种语言模型和生成视觉模型,能够适应不同的结构。
在这一框架内,团队证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或影像质量等能力,经过大量评估验证了 LaVi-Bridge 模型的有效性。
项目地址:https://shihaozhaozsh.github.io/LaVi-Bridge/
(本文首发于钛媒体 APP,作者 | 章橙,编辑 | 林志佳)