今天小编分享的科技经验:从 Face ID 到 ARKit,苹果收购了多少公司才认清你的脸?,欢迎阅读。
苹果的许多重要新技术,事实上都是通过数年的提前布局加上「钞能力」疯狂收购别的公司达成的。表面上看起来,似乎苹果是无腦买买买,都是「拿来主义」。但实际上,提前数年去构思一种新技术,同时在这期间考虑每一步需要发展怎样的功能技术,这绝非一件很简单的事情。就拿 Face ID 来说,其布局时间甚至长达七年之久,七年的时间足以改变一个人,而要提前七年去预测未来的技术完成度,这绝不是有钱就能做到的。
今年是 2024 年,距离 iPhone X 面世已经过去七年之久。和第一块全面屏给我们带来的震撼相比,iPhone X 上首次搭载的 Face ID 显然是对于苹果更为核心重要的一环。Face ID 不仅左右着 iPhone 的螢幕设计,它同时也把控着苹果生态帝国中的每一处细节。本文主要探究苹果是如何在背后实现了 Face ID 的设计与制造。
Face ID 和 Touch ID
让我们先把时间拨回七年前的秋天,也就是 iPhone X 发布的 2017 年。
彼时,世界上还有着数亿台搭载着 Touch ID 的设备被使用着,人们还沉浸在成熟的指纹识别技术为生活带来的便利之中。而就在 iPhone 发布十周年,苹果拿出了全新的互動方式 Face ID。既然苹果敢发布,那就必然有它的底气,毕竟这将颠覆大家的使用习惯。而要想让消费者接受适应新的互動方式,首先要保证 Face ID 在解锁速度体验以及安全性方面,至少能够做到和 Touch ID 的体验持平,甚至是更好的水平。
Face ID 从互動上,拿起手机触发抬起唤醒螢幕功能,再顺势向上滑动螢幕,解锁完成。确实做到了一气呵成,无缝衔接。单论解锁的过程体验,可以说和 Touch ID 解锁体验不分伯仲。而最初的时候,曾有过一个小小的争议,那就是为什么非要增加一个用手指滑动的操作去解锁螢幕,而不是点亮螢幕的瞬间解锁完成直接进入主界面呢?
苹果给出的解释是,有时候我们并不想立刻进入主螢幕,或许只是想看一眼时间,又或是看一眼弹出来的消息新闻。因为在以前使用 Touch ID 的时候,也需要抬一下手指,所以对于 Face ID 的解锁操作,并不存在额外的学习成本。而在使用了七年的 Face ID 后,我再回顾当时这一想法,不禁感慨还得是苹果的设计师啊。
再来说说 Face ID 的结构以及安全性。Face ID 在硬體上,依赖于 iPhone X 前置留海区的「TrueDepth Camera」,刘海内一共藏了八个传感器。其中,与 Face ID 识别过程直接相关的主要有红外镜头、泛光感应元件、距离传感器、点阵投影器。其中,点阵投影器向外投射出 3 万个肉眼不可见的红外点光源,由红外镜头拍摄一张红外照片,根据照片上的位移变形情况,分析出被探测物的景深信息,并由此合成相应的 3D 模型。
同时,距离传感器会探测在一定范围内,是否存在被探测物,以决定是否开启点阵投影器与红外镜头的工作。而在夜晚等暗光环境下,泛光感应元件会向外投射不可见的红外光源,以帮助 Face ID 更好地工作。不同于彼时的三星手机或支付宝刷脸登录功能,它们使用的其实只不过是一张 2D 的照片,而 Face ID 形成的 3D 景深模型显然从安全性上要比一张平面的照片高得多了。即便是对比 Touch ID,安全性方面也毫不逊色,甚至更胜一筹。
「谁」创造了 Face ID?
苹果公司可能不是最会创新的公司,但绝对是最会收购的公司。Touch ID 的最终呈现,也是通过了一系列的收购伏笔达成的。而这一次 iPhone X 上 的 Face ID 的实现,也是苹果通过大量的收购以及对未来规划的预判提前埋下的一个个伏笔,这真正是一款十年磨一剑的产品。
对于 Face ID 的布局,最早的时间甚至可以追溯到 2009 年,在 iPhoto 上推出的照片分类功能中,iPhoto 会辨识照片中的脸孔,再将辨识后认为是相同的脸孔进行归类。苹果在 2009 年后开始投入较多研发重心在脸部辨识技术开发,自主研发的技术主要在脸部侦测方面,对于辨识方面的技术着墨不深。为了加速脸部辨识技术商用化的进程,2010 年苹果开始大举采用收购策略以完善布局,并购技术涵盖其所有脸部辨识技术缺口。2011 年库克上任后开始疯狂加速这一收购过程。而这一过程也是为了那个新时代的目标:Face ID。现在就让我们细数那一家家 Face ID 背后的英雄们。
2010 年 9 月,苹果收购 Polar Rose 公司,其公司主要技术为面部识别。Polar Rose 是一家位于瑞典的公司,公司成员仅有 15 人。2010 年 9 月 20 日,苹果以 2 千 9 百万的价格将其收入囊中。但这次收购并不是突如其来,早在两个星期之前 Polar Rose 就宣布关闭了他旗下一个免费的脸部标签(FaceTagging)服务,可谓是早有预谋。
而苹果之所以愿意不远千里之外,从美国跑到瑞典收购这家只有 15 人的小公司,是为了 Polar Rose 所独有的脸部识别枝术,此公司开发出一个应用叫做 Recognizr。而在 这个应用 Recognizr 的演示视频上,当其(Recognizr) 识别出一个人的脸部时,就可以显示出这个人资料信息,包括 Facebook、推特等,这在当时看来很是科幻。
2013 年 11 月,苹果收购 Prime Sense 公司, 这家公司的主要技术就是为后来出现的 3D 深感相机系统量身定做。要深究苹果深度传感相机的技术源头,就不得不提被誉为 3D 传感技术「鼻祖」的 Prime Sense。Prime Sense 创立于 2005 年,是一家诞生于色列的公司,之后收购的几家科技公司同样来自色列。
创始人 Maizels 和其他 4 名联合创始人早期为以色列军方服务,他们都有很强的科研背景,分别拥有工程学、计算机科学以及数学学位。在与军方的合作停止后,Maizels 及伙伴们并没有去找工作,而是在思考,通往下一场变革的道路在何方。他们觉得此前人机互動方式很单一,于是 Maizels 及团队决定做一项能赋予机器视觉能力的技术。通过不断地讨论,他们很快将目光聚焦在了停滞不前的游戏领網域,并决定作出一款能让电腦「看见」人的动作的摄像头;紧接着,公司名字也敲定下来了——「Prime Sense」。之后 Prime Sense 发展很快,成立一个月后他们就拿出了产品硬體原型,于 2006 年宣布完成 3D 感应芯片的研发,并推出一个装载 Prime Sense 3D 传感器的 RGB 红外相机,声称其能追踪几英尺外的整个人体的动作。
之后与微软的合作成为 Prime Sense 的一个重要轉捩點,让 Prime Sense 迅速成长为一个国际化的公司,并将业务扩展到了亚洲与美洲。2010 年,Prime Sense 与微软合作推出了一款3D 体感摄影机名叫 Kinect,这是一款能让玩家通过肢体动作直接控制游戏的硬體产品。很快 Kinect 就成为世界上卖的最快的消费类电子设备,据统计在 2010 年 11 月 4 日至 2011 年 1 月 3 日这段时间中,微软平均每天售出 13 万台 Kinect 设备。
但不久后 Prime Sense 与微软的合作就破裂了,微软开始自研体感相机技术,并于 2013 年发布微软内部研发的全新一代 Kinect;而从 2010 年底 , PrimeSecse 也相继与华硕合作打造了 Xtion Pro(即华硕版的 Kinect),建立了 3D 视觉技术开源社区 OpenNI,并开始寻求在游戏之外领網域的合作。
2012 年,Prime Sense 遭遇了一场裁员风波,公司员工数从 190 位员工中减少到 140,原因是产品路线变更。2013 年 Prime Sense 发布了Cari,这款当时世界上最小的 3D 芯片,能探测到的深度是之前处理器的 3 倍,尺寸却是原有版本的十分之一。或许正是 Cari 的推出,让苹果看见了这款芯片应用在智能手机上的可能。2013 年 11 月,苹果以 3.6 亿美元的价格收购了 Prime Sense,自那以后 Prime Sense 便宛如消失了一般,再没对外发布过任何产品和技术。
直至 iPhone X 的发布,我们再次从新一代 iPhone 身上看到了 Prime Sense 的影子,从某种程度上说,甚至可以将苹果的「刘海」视作一个缩小版的 Kinect。
2014 年 12 月苹果公司收购 Faceshift 公司,其主要技术为面部识别捕捉。在 iPhoneX 的发布会现场, Animoji 功能的出现几乎是让所有人眼前一亮。上面说道,Prime Sense 的 3D 深度相机奠定了整个苹果 AR 技术的硬體基础,但Faceshift 才是真正构成 Animoji 的技术原型。Faceshift 成立于 2011 年,最初由苏黎世学者 Thibaut Weise、Brian Amberg 和 Sofien Bouaziz 创立,是从瑞士洛桑法兰克福理工学院计算机图形和几何实验室孵化出的创业项目。
Faceshift 起初关注的焦点在游戏与影视领網域,在被苹果收购前 其最出色的作品便是「星球大战:原力觉醒」,能通过对人类面部表情进行精准动态捕捉,并几乎无延时地反馈到 3D 动画人物模型上。这意味着电影工作者能实时制作演员的面部表情,而无需使用昂贵的后期制作技术。
2015 年 4 月,苹果公司收购 LinX 公司,这家公司专注于利用軟體算法优化移动端摄像头的效果。在被苹果收购前,LinX 只是一家名不见经传的以色列创业公司。LinX 成立于 2011 年,由一位三星前高管和一位以色列国防部供应商的光学专家在共同创建,专注于为移动设备设计微型多孔摄像头。
2015 年被苹果以 2500 万美元收购。LinX 此前一直宣称自己的目标是「通过多镜头系统,让移动设备的拍摄效果达到单反级别」。通过 LinX 开发的镜头,配合一系列传感器,可以从每个像素提取深度信息,创建深度贴图,并用来进行 3D 影像重建。在 2014 发布多镜头系统的公告中,LinX 特地强调,他们的传感器可以大幅度提高昏暗条件下的拍照效果、缩短曝光时间,并放出了对比图。
看到「景深」「低光拍摄」「光学防抖」这些关键词,你是不是立马能想到发布会上苹果全球营销高级副总裁 Phil Schiller 介绍 iPhoneX 时用到的词汇。
没错,在当时实现这些以往只有专业的单反相机才有的功能,靠的就是 LinX 的技术。如果说此前 iPhone 6 及 iPhone 7 系列在相机上的改变还体现在二维层面,那么当时的 iPhone X 的摄像能力则是一次革命性的更新,不仅从二维更新到三维场景 ,iPhone X 还具有了场景光制造能力。
2015 年 5 月,苹果公司收购 Metaio 公司。与其他小而美的收购不同,在被苹果收购之前,Metaio 早已是 AR 界的霸主之一。其包括 Metaio Creator 在内的多项增强现实技术被用于零售、汽车等多个民用行业,在全世界 30 个国家有 1000 多个企业客户和超过 15 万开发者用户,服务的公司包括奥迪、宝马、乐高玩具、微软等知名企业。在早期 Metaio 的技术视频中,也能看到 ARKit 的影子:2003 年,Metaio 成立于德国慕尼黑,是从大众一个子项目孵化出来的 AR 軟體公司,一直专注于增强现实与计算机视觉解决方案,公司创始人为 Thomas Alt 和 Peter Meier。
2005 年,Metaio发布了第一款终端 AR 应用KPS Click & Design,让用户把虚拟的家具放到自家的客厅影像中。此后,Metaio 陆续发布多款 AR 产品,在 2011 年赢得了国际混合与增强现实会议追踪比赛(ISMAR Tracking Contest)大奖。在 2015 年 5 月 被苹果收购后 ,Metaio 的 SDK 便不再向开发者开放,就像所有被苹果收购的技术公司一样,经历了两年的沉默期后,其 AR 技术已经被苹果吸收进新一代 iPhone 中并化身为 ARKit 重出江湖了。
2016 年 1 月,苹果公司同时收购了两家公司,它们分别是 Emotient 和 Flyby Media。如果说 Faceshift 将面部识别实时映射技术做到了顶级水平,那么苹果在 2016 年对 Emotient 的收购则是大大丰富了其人脸识别技术的应用场景,可以认为是继 Prime Sense 与 Faceshift 之后的一次技术补充型收购。
Emotient 项目起源于加利福利亚大学「机器感知实验室」,项目成员曾宣称他们的终极目的是要打造一套「无处不在」的人类感情分析系统。简单来介绍其 Emotient 的技术就是:除了能够利用摄像头来捕捉、记录面部肌肉运动,还能通过计算模型分析出类似于喜悦、愤怒、悲伤、惊讶等基础表情。而在 Animoji 的现场演示中,我们也能看到其能准确的模拟人类的情绪化表情。
同年 1 月,苹果收购了增强现实公司 Flyby Media,以强化其虚拟现实(VR)和增强现实(AR)团队。Flyby Media 公司的核心就是空间感知平台(V-Fusion),可以利用移动设备强化人们对其周围环境的了解,让人们真正看到、理解现实世界。
2017 年 2 月,苹果公司收购 Realface 公司,看中的是它们的生物识别登录系统。Realface 同样来自以色列,与收购 Prime Sense 不同,Realface 的目的性更加明确,那就是专为 iPhone 8 及 iPhone X 的推出而做出的补充性收购。这家做人脸识别的公司成立于 2014 年,最开始做的也不是人脸识别,而是做照片筛选功能。在被苹果收购前,曾拿过一笔 100 万美元的融资,被苹果收购时公司人数只有 10 人。
它的第一款产品是名为Pickeez的 App。利用 Pickeez,手机帮用户迅速从相册中选出一张照得最好的照片。由于后来出了不少类似应用,RealFace 才开始做起了人脸识别功能。它的人脸识别功能主要利用深度学习技术,让计算机对大量图片进行学习,并建立模型实现对照片中人脸的识别。
2017 年 6 月,苹果公司收购 SensoMotoric Instruments(SMI)公司。该公司成立于 1991 年,总部位于柏林,专注于开发眼球追踪硬體和軟體产品。这家公司的眼球追踪技术解决了 VR 常见的短板,它能够以 120Hz 的采样率实时记录用户的自然凝视行为,可以分析佩戴者的目光,并帮助减少眩晕。能被 SMI 的眼球追踪技术辅助的主要 AR/VR 功能被称作视网膜中央凹渲染(foveated rendering),这涉及到追踪用户眼球注视的位置,对注视范围作高精度渲染,并模糊化周围区網域,从而大幅度降低处理运转的工作量。
这项技术被许多专家认定为是为 AR/VR 头盔实现高精度显示屏的关键。此外,眼追踪技术也在 AR/VR 信号输入中有着许多其他应用。Face ID 上的眼动识别大概率是来自这家公司的技术。而在如今看来,事实证明苹果收购这个公司的战略意义应该是为了给 Vision Pro 做铺垫。
最后
七年时间,苹果用了其无比强大的钞能力完成了对于自己技术缺陷的一次次重要收购,将无数优秀科技公司纳入怀中,最终完成一次革命性设计。不得不说,苹果强制性的让这些不为人知的科技公司「参与了一次伟大设计的过程」。
毕竟如果没有苹果公司,大多数被收购的科技公司或许永远不会被人所知。
原文链接:
https://sspai.com/post/92798?utm_source=wechat&utm_medium=social