今天小編分享的科技經驗:新iPhone的空間視頻拍攝能力,或将助推XR行業,歡迎閲讀。
随着蘋果 iPhone 15 系列的正式發布,該系列新機的各項細節也開始陸續被曝光,其中兩款 Pro 版機型首次帶來的空間視頻拍攝能力就引發了外界的諸多關注。據悉,這一功能将與此前亮相的 Vision Pro 結合,為用户帶來空間視頻體驗。目前蘋果方面尚未深入介紹該功能的相關細節,僅聲稱通過 iPhone 15 Pro 和 iPhone 15 Pro Max 的主攝像頭與超廣角攝像頭相結合,實現了空間視頻拍攝能力,并且這一功能将于今年晚些時候開放。
雖然許多朋友認為,空間視頻似乎與此前就已出現的 3D 視頻差異并不大,但兩者其實有着一定的區别。尤其是在目前蘋果正不斷完善 Vision Pro 生态的情況下,iPhone 15 系列新機所提供的這一功能,也就尤為引入注目了。
此前曾一度走紅的 3D 視頻和照片通常是使用兩台攝影機或兩個鏡頭來模拟人眼,分别拍攝左眼和右眼的畫面,并且攝影機或鏡頭之間的距離往往也與人眼的瞳距保持一致,而且要确保光圈、焦距和亮度一致,不僅實現方式相對復雜,後期的各種處理也極其繁瑣。此外拍攝 3D 視頻或照片還需要借助 Object Capture ( 目标捕捉 ) 技術來識别物體的 XYZ 三軸信息,這也是一個繁瑣的過程。
在蘋果公開的信息中顯示,用户僅在固定角度就可以完成空間視頻的拍攝
但根據現階段蘋果公開的相關信息顯示,拍攝者只需在一個固定的視角就可以完成拍攝,因此大概率是在拍攝過程中通過攝像頭和激光雷達來采集數據,然後通過算法來得出 XYZ 軸的數據,最終來生成 3D 模型。這種方式雖然簡化了采集三軸位置信息的過程,但對于算力、算法的優化,以及測距的精度也提出了更高的要求。
蘋果方面将空間視頻定義為 "Spatial Video",在其開發者文檔中将其稱為 "Stereo Video" ( 立體視頻 ) 。更有趣的是,根據這份文檔的定義,空間視頻的觀賞原理與觀賞 3D 電影類似,都是通過左右兩幅不同的影像,再通過 " 腦補 " 來得到有立體感的畫面。但需要注意的是,完整的空間視頻概念應該還将空間音頻包含在内,否則 " 空間 " 的概念自然也就無法自圓其説了。
雖然一直以來蘋果的生态都以封閉性著稱,但這次出乎意料的是,在空間視頻視頻方面他們非常罕見地持開放态度,采用了 MV-HEVC ( Multiview High Efficiency VideoCoding ) 視頻編碼,而這套編碼早在 2015 年就被 ISO/IECMPEG 和 ITU-T VCEG 兩大國際标準化組織确立為标準編碼。
不過目前官方尚未透露空間視頻每分鍾所產生的數據量,以及 iPhone 15 系列的 Pro 版機型一次能夠拍攝多長時間。但有觀點認為,由于會具備更多空間的信息,因此這類視頻的體積勢必不會太小。
這一操作,事實上也説明了蘋果對于吸引更多開發者和相關廠商的心理,畢竟只有 XR 這個生态越完善,才能确保即将上市的 Vision Pro 能夠對更多的消費者產生吸引力,後續才有可能推出一系列的衍生產品。
此外需要注意的是,蘋果方面對于空間視頻領網域的布局,或許遠比現在所展示的要宏大得多。此次空間視頻捕捉的 3D 模型采用了 USDZ 格式,而這一格式早在 2018 年 WWDC 上就已發布。
就在今年 8 月,皮克斯、Adobe、蘋果、Autodesk 和 NVIDIA 成立了 OpenUSD 聯盟,宣布将共同推動 USDZ 開放标準的發展。從這五家廠商的身份就不難發現,從标準制定、工業設計、内容制作和生產、硬體設計和支持,以及人工智能等方面,都被覆蓋在内。
iPhone 15 Pro 和 iPhone 15 Pro Max 的主攝和超廣角間距離顯然無法達到人眼瞳距
根據目前已經揭曉的相關信息顯示,iPhone 15 系列兩款 Pro 版機型拍攝空間視頻的方式,或将是借助超廣角和主攝來配合完成左眼及右眼畫面的拍攝。此前采取這種方式,需要确保兩枚攝像頭的間距與人眼瞳距接近或相當,但這兩款機型顯然達不到這個要求,所以蘋果方面必然是通過其他方式來實現,例如借助 LiDAR 來輔助調整。
不過使用 LiDAR 來對測量空間信息,勢必将對算力提出更高的要求。因此有觀點認為,這可能也是為何 iPhone 15 Pro 和 iPhone 15 Pro Max 此次跳過 A17,配備了以往在 iPhone 上從未出現過的 Pro 版 A 系列芯片 A17 Pro 的原因。
但在一切尚未揭曉之際,也有業内人士指出,此次蘋果發布的 iPhone 15 Pro 和 Vision Pro 的演示内容,看似是帶景深的 3D 視頻,但其實際上可能不需要 3D 重建技術、也不是 3D 模型,而是一種立體顯示技術,其優勢是可以讓用户看到具有物理景深的三維影像。如果這一推測屬實,自然也就對算力和算法優化的要求也就沒那麼高了。
此外空間視頻可能還有另外一種觀賞方式,那就是采用自由視角來觀看,但這必然就需要将目标捕捉技術融入,不僅操作更為繁瑣,而且要記錄的數據量也更龐大。盡管這與蘋果目前公開的信息不符,卻極有可能會在未來成真。
但毫無疑問的是,iPhone 15 系列 Pro 版機型此次帶來的空間視頻拍攝功能,勢必将會把此前的 3D 視頻拍攝相關技術推向更高的層次,同時也将成為豐滿 Vision Pro 生态的重要舉措。由于蘋果采用了目前行業通用的編碼、檔案格式,以及 3D 模型,所以不僅為自身提供了更多的内容源,也或将會對整個 XR 行業起到重要的促進作用。
【本文圖片來自網絡】