今天小编分享的科学经验：小心！AI能「看懂」你的唇语，悄悄话不再安全！，欢迎阅读。
小心悄悄话被 AI 听见！（嘘）
最近国外一款可以读唇语的 AI 軟體火了！
具体效果如下：
红毯上布莱克 · 莱弗利小声说：" 好紧张 "，笑着说话时肉眼很难分辨唇语，但 AI 可以。
乍一看只能看见一排白牙（bushi）的侃爷，唇语也能被轻松破解。
看完后网友们开始纷纷评论，大开腦洞：
求 " 联名 " 型网友：快把它和 Siri 结合一下吧！这样我就不用像小傻子一样对着电腦大喊了！
测评型网友：我想用它试试 " 座机画质 " 的视频！
担心安全型网友：我有点害怕，我想戴口罩了。（呜呜）
实测 Readtheirlips 效果如何
量子位整理了一些视频，为大家亲测了一下Readtheirlips的使用效果。
先试了一下奥特曼在斯坦福的访谈视频，把生成的文本和原始对话对照了一下，内容完美契合 ~
而面对小表情比较多的老马，Readtheirlips 的发挥依旧稳定。
不过以上两个视频都是人物全程正脸对着镜头的。
换成了说话时爱比划的小扎，Readtheirlips 直接显示错误。（视频中人物不是全程正脸）
而主角换成卡帕西之后，因为他说话太快，生成的文本出现了识别错误的情况。（左侧为 Readtheirlips 生成，右侧为文字处理軟體生成）
最后，我们尝试着上传了一个 16 分钟的视频，Readtheirlips 直接显示错误，无法识别内容。
总结一下：
Readtheirlips 识别视频的时间在一分钟左右 。
就像他们标明的那样如果人物的正脸不能正对镜头，那么模型就很难给出正确答案。
而面对语速过快的视频内容，Readtheirlips 只能识别出其中的一些内容。
对此，团队成员回应道：
是的，我们还没有研究到这里，但是会很快解决这个问题！
而关于上传视频的时长限制，他们这么说：
现在只支持 3 分钟以内的视频，但是以后我们会一点一点往上提升的！
AI 如何 " 听 " 悄悄话
看完亲测视频，咱们也来唠一下 Readtheirlips 的工作原理。
看看它是怎么读取人类唇语的：
首先，研究团队用大量的标注数据（已知的嘴唇运动动作及其对应的文本内容）来对模型进行训练。
在此基础上，用户要上传一段视频，这段视频要包含说话者的面部特写，尤其是嘴部动作。
然后模型会对视频进行嘴部运动的分析：先是通过面部检测识别嘴唇的位置，然后再提取嘴唇的几何特征，（形状、开合程度、运动轨迹等），最后分析嘴唇在说话过程中的动态变化。（速度、方向和形状变化）
之后，模型会将提取的嘴唇特征与训练数据中的特征进行匹配，来识别出视频中人物所说的内容。
将识别出的单词或短语组合成完整的句子，进行一下上下文理解，确保语法和语义的正确性。
最终将识别出的内容输出为文本形式。
开发团队
Readtheirlips 的开发团队Symphonic Labs是一家初创公司。
领英上显示它今年4 月份才刚刚成立，截至目前，公司人数不到 10 人。
他们之前还研发过一款通过阅读唇语即可完成实时文本转录的軟體Symphonic
两款軟體的试玩链接都已附上，感兴趣的朋友们可以去尝试一下 ~
Readtheirlips 试玩链接：
https://www.readtheirlips.com/
Symphonic 试玩链接：
https://symphoniclabs.com/
参考链接：
https://x.com/crsamra/status/1833494380357013879
— 完 —
量子位年度 AI 主题策划正在征集中！
欢迎投稿专题 一千零一个 AI 应用，365 行 AI 落地方案
或与我们分享你在寻找的 AI 产品，或发现的AI 新动向
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
