今天小编分享的科技经验:新iPhone的空间视频拍摄能力,或将助推XR行业,欢迎阅读。
随着苹果 iPhone 15 系列的正式发布,该系列新机的各项细节也开始陆续被曝光,其中两款 Pro 版机型首次带来的空间视频拍摄能力就引发了外界的诸多关注。据悉,这一功能将与此前亮相的 Vision Pro 结合,为用户带来空间视频体验。目前苹果方面尚未深入介绍该功能的相关细节,仅声称通过 iPhone 15 Pro 和 iPhone 15 Pro Max 的主摄像头与超广角摄像头相结合,实现了空间视频拍摄能力,并且这一功能将于今年晚些时候开放。
虽然许多朋友认为,空间视频似乎与此前就已出现的 3D 视频差异并不大,但两者其实有着一定的区别。尤其是在目前苹果正不断完善 Vision Pro 生态的情况下,iPhone 15 系列新机所提供的这一功能,也就尤为引入注目了。
此前曾一度走红的 3D 视频和照片通常是使用两台摄影机或两个镜头来模拟人眼,分别拍摄左眼和右眼的画面,并且摄影机或镜头之间的距离往往也与人眼的瞳距保持一致,而且要确保光圈、焦距和亮度一致,不仅实现方式相对复杂,后期的各种处理也极其繁琐。此外拍摄 3D 视频或照片还需要借助 Object Capture ( 目标捕捉 ) 技术来识别物体的 XYZ 三轴信息,这也是一个繁琐的过程。
在苹果公开的信息中显示,用户仅在固定角度就可以完成空间视频的拍摄
但根据现阶段苹果公开的相关信息显示,拍摄者只需在一个固定的视角就可以完成拍摄,因此大概率是在拍摄过程中通过摄像头和激光雷达来采集数据,然后通过算法来得出 XYZ 轴的数据,最终来生成 3D 模型。这种方式虽然简化了采集三轴位置信息的过程,但对于算力、算法的优化,以及测距的精度也提出了更高的要求。
苹果方面将空间视频定义为 "Spatial Video",在其开发者文档中将其称为 "Stereo Video" ( 立体视频 ) 。更有趣的是,根据这份文档的定义,空间视频的观赏原理与观赏 3D 电影类似,都是通过左右两幅不同的影像,再通过 " 腦补 " 来得到有立体感的画面。但需要注意的是,完整的空间视频概念应该还将空间音频包含在内,否则 " 空间 " 的概念自然也就无法自圆其说了。
虽然一直以来苹果的生态都以封闭性著称,但这次出乎意料的是,在空间视频视频方面他们非常罕见地持开放态度,采用了 MV-HEVC ( Multiview High Efficiency VideoCoding ) 视频编码,而这套编码早在 2015 年就被 ISO/IECMPEG 和 ITU-T VCEG 两大国际标准化组织确立为标准编码。
不过目前官方尚未透露空间视频每分钟所产生的数据量,以及 iPhone 15 系列的 Pro 版机型一次能够拍摄多长时间。但有观点认为,由于会具备更多空间的信息,因此这类视频的体积势必不会太小。
这一操作,事实上也说明了苹果对于吸引更多开发者和相关厂商的心理,毕竟只有 XR 这个生态越完善,才能确保即将上市的 Vision Pro 能够对更多的消费者产生吸引力,后续才有可能推出一系列的衍生产品。
此外需要注意的是,苹果方面对于空间视频领網域的布局,或许远比现在所展示的要宏大得多。此次空间视频捕捉的 3D 模型采用了 USDZ 格式,而这一格式早在 2018 年 WWDC 上就已发布。
就在今年 8 月,皮克斯、Adobe、苹果、Autodesk 和 NVIDIA 成立了 OpenUSD 联盟,宣布将共同推动 USDZ 开放标准的发展。从这五家厂商的身份就不难发现,从标准制定、工业设计、内容制作和生产、硬體设计和支持,以及人工智能等方面,都被覆盖在内。
iPhone 15 Pro 和 iPhone 15 Pro Max 的主摄和超广角间距离显然无法达到人眼瞳距
根据目前已经揭晓的相关信息显示,iPhone 15 系列两款 Pro 版机型拍摄空间视频的方式,或将是借助超广角和主摄来配合完成左眼及右眼画面的拍摄。此前采取这种方式,需要确保两枚摄像头的间距与人眼瞳距接近或相当,但这两款机型显然达不到这个要求,所以苹果方面必然是通过其他方式来实现,例如借助 LiDAR 来辅助调整。
不过使用 LiDAR 来对测量空间信息,势必将对算力提出更高的要求。因此有观点认为,这可能也是为何 iPhone 15 Pro 和 iPhone 15 Pro Max 此次跳过 A17,配备了以往在 iPhone 上从未出现过的 Pro 版 A 系列芯片 A17 Pro 的原因。
但在一切尚未揭晓之际,也有业内人士指出,此次苹果发布的 iPhone 15 Pro 和 Vision Pro 的演示内容,看似是带景深的 3D 视频,但其实际上可能不需要 3D 重建技术、也不是 3D 模型,而是一种立体显示技术,其优势是可以让用户看到具有物理景深的三维影像。如果这一推测属实,自然也就对算力和算法优化的要求也就没那么高了。
此外空间视频可能还有另外一种观赏方式,那就是采用自由视角来观看,但这必然就需要将目标捕捉技术融入,不仅操作更为繁琐,而且要记录的数据量也更庞大。尽管这与苹果目前公开的信息不符,却极有可能会在未来成真。
但毫无疑问的是,iPhone 15 系列 Pro 版机型此次带来的空间视频拍摄功能,势必将会把此前的 3D 视频拍摄相关技术推向更高的层次,同时也将成为丰满 Vision Pro 生态的重要举措。由于苹果采用了目前行业通用的编码、檔案格式,以及 3D 模型,所以不仅为自身提供了更多的内容源,也或将会对整个 XR 行业起到重要的促进作用。
【本文图片来自网络】