今天小編分享的科技經驗:Apple Vision Pro開啓空間計算時代:要麼沉浸,要麼死亡,歡迎閲讀。
随着 2024 年 Vision Pro 的發布,蘋果公司迎來了下一個 iPhone 時刻。類似于 2007 年的革命,蘋果公司通過智能化、沉浸式空間計算平台,再次改變了計算行為的軌迹。就像 2007 年一樣,世界再度煥然一新。一款全新的作業系統開啓了全新的維度。這些無限的、分層的畫布賦予了用户 " 超能力 "。
現在,在任何環境中,人們都可以憑借超凡的能力,在傳統物理世界和數字世界之外的空間裏與信息、内容以及他人互動。我們每天都可以進入前所未有的世界,體驗在虛拟和增強領網域中形成的奇妙世界。
人類正在踏上未知的混合現實之旅,這是智能、沉浸式且超越現實的旅程。混合現實提升了人類的能力,在不斷發展的混合維度中釋放指數級的性能,取得前所未有的成就,促進了物理世界與數字世界的相互聯系。
在《空間計算》中,凱西 · 哈克爾和伊蕾娜 · 克羅寧将通過空間創新理念激發你的想象力,以創造新的世界、新的工作方式、新的學習模式、新的交流形式、新的探索途徑以及夢想、記憶、發明、解決方案和演進的新方式,從而提供一個變革性的開端。
什麼是空間計算?
空間計算是很多商界人士在蘋果公司于 2023 年 6 月發布 Vision Pro 設備時第一次聽到的術語。但是,這并不是一個新術語。有人可能會説,我們的手機是原始的空間設備。事實上,AR、VR、XR(擴展現實)和 AI 領網域的很多專業人士多年來一直致力于空間計算。
為了理解空間計算的商業價值,我們首先必須為商業世界創建一個工作定義,并解釋它将帶來的市場機遇。
一旦這樣做了,我們就可以了解商業和計算将如何變化,以便為這一轉型做好準備。
很多人追溯到西蒙 · 格林沃爾德(Simon Greenworld) 2003 年在麻省理工學院發表的碩士論文,在其中,空間計算首次被定義為學術術語。當時他還是麻省理工學院媒體實驗室美學和計算小組的研究員。在論文中,他探讨了計算結構的空間環境,并這樣定義空間計算:" 空間計算是人類與機器的互動,其中機器保留并操縱真實物體和真實空間的參照物。它是讓我們的機器在工作和娛樂中成為更好夥伴的重要組成部分。"
他進一步定義:" 作為人類與機器的互動,在其中機器保留并操縱真實物體和真實空間的參照物。在理想情況下,這些真實的物體和空間對用户具有優先意義。空間計算更關注體驗質量。在大多數情況下,這意味着設計的系統能夠突破螢幕和鍵盤的傳統界限,而不會陷入一種界面或温和的模拟。為了讓機器在我們的工作和娛樂中成為更全面的夥伴,它們需要加入我們的物理世界。它們将不得不操作我們操作的物體,而我們需要使用我們的物理直覺操作它們。"
格林沃爾德的定義并非獨一無二。很早以前,曾是風險投資界和科技界寵兒的 Magic Leap(美國增強現實公司)将他們正在打造的設備描述為空間計算設備。他們将空間計算定義為一種新的計算形式,利用 AI 和計算機視覺将虛拟内容無縫融入我們周圍的物理世界。
他們通過一款名為 Magic Leap One 的設備做到了這一點。在 2018 年由前 CEO(首席執行官)羅尼 · 阿博維茨(Rony Abovitz)和其他幾名著名的 Magic Leap(美國增強現實公司)員工撰寫的一篇題為《空間計算:給我們技術朋友的概述》的文章中,他們解釋了該公司如何将空間計算定義為一種新的計算形式,讓數字内容超越當今 2D(二維)螢幕和計算機的限制,并深入研究了其中的一些技術構件。從那以後,Magic Leap 就不再使用空間計算這個術語,而是使用 AR 一詞,這一變化可以從其最近的媒體采訪和網站上可以看到。
在蘋果公司 2023 年 6 月召開全球開發者大會(WWDC)期間,該公司公開表示,空間計算 " 将數字内容與物理世界無縫融合,同時讓用户可以身處其中并與他人保持聯系。" 這一信息進一步反映在其網站和針對開發者的 visionOS(蘋果的空間計算作業系統)資料中。
在 Meta Connect 2023 開發者大會期間,Meta 公司宣布推出其 Meta Quest 3(頭戴裝置),該產品采用新的芯片,使設備能夠更好地穿過混合現實,通過先進的空間映射更好地掃描物理世界,以及實現虛拟物品的空間錨定, 讓佩戴者每次使用設備時都可以返回起點。Meta 高管還談到通過智能眼鏡的發展迎來下一代計算平台,并表示該公司的新款眼鏡将是 " 未來很長一段時間内市場上最具價值的空間計算眼鏡 "。
該公司還宣布了新的雷朋 Meta 智能眼鏡,該眼鏡将在 2024 年實現多模态,能夠利用 AI 了解佩戴者周圍的環境。微軟将其定義為設備感知周圍環境并以數字方式表現這種感知的能力,以及在人機互動中提供新功能的能力。
AWS(亞馬遜雲計算服務)将空間計算定義為虛拟世界與物理世界的結合,通過将物理世界虛拟化,并将虛拟信息疊加到物理世界上,用户可以通過自然和直觀的方式與數字内容進行互動。對 AWS 來説,這種結合增強了我們在物理或虛拟場景上進行數據可視化、數據模拟以及與數據互動的方式。亞馬遜技術副總裁比爾 · 瓦斯(Bill Vass)在他的博文《預測未來的最佳方式是模拟未來》中表示," 空間計算是協作體驗的動力 "。
英偉達公司通過 Omniverse 產品為其開發人員引入了空間框架,而 Niantic(遊戲公司)通過其視覺定位系統(VPS)專注于空間映射,該系統使用户能夠将虛拟物品放置在特定的現實世界位置,并讓該物品持續存在,因此一個人可以留下一個物品供其他人尋找,從而使現實世界的全球桌上遊戲變得栩栩如生。
有哪些技術?
空間計算世界依賴于一系列基礎技術來驅動其沉浸式體驗。這些技術包括 AI 和内容創作工具,以及連接解決方案和雲計算。在本節中,我們将探索這些技術及其在空間計算領網域中的關鍵作用。在空間計算領網域中,數字世界和物理世界融合在一起,創造出非凡的體驗。
AI 基礎
AI 是空間計算的基石,包含多個子領網域。
機器學習(Machine Learning,ML):空間計算的支柱,使系統能夠從數據中學習并适應,而無須明确編程。它讓機器可以識别模式、做出決策,并随着時間的推移提高其性能。在空間計算中,機器學習為 AR 導航中的路線規劃等應用提供了支持,這些應用通過分析實時傳感器數據為用户提供最有效和最友好的路線。通過不斷完善其對環境的理解,機器學習在增強用户體驗方面發揮着關鍵作用。
深度學習(Deep Learning,DL):機器學習的一個子集,專注于使用多層神經網絡來對復雜模型進行建模。在空間計算中,深度學習能夠創建處理大量數據的復雜模型,這對于 AR 和 VR 應用中的影像識别和對象檢測至關重要。該技術增強了空間設備識别用户周圍環境中的物體和空間并與之互動的能力。
強化學習(Reinforcement Learning,RL):機器學習的一種形式,其中智能體通過采取行動和接收反饋或獎勵來學習如何做出決策。在空間計算中,強化學習用于開發遊戲和娛樂應用中的動态角色行為。它讓角色能夠根據用户的輸入調整自己的動作,從而創造更具沉浸感和互動性的體驗。此外,強化學習有助于空間設備中使用的實時決策過程,以改善用户互動。
程式化生成(Procedural Generation):一種用于通過算法生成内容的技術,可以創建大量不同的風景、物體和場景。在空間計算中,程式化生成為沉浸式環境帶來了動态且不斷變化的維度。這項技術通常用于生成 3D 世界,使每個用户的體驗都是獨一無二的。它對于遊戲、虛拟模拟和 AR 等應用至關重要,這些應用需要即時生成内容以保持新鮮度和多樣性。
神經網絡(Neural Networks):受人腦結構啓發的計算模型。它們是各種 AI 任務的基礎,包括模式識别和數據分析。在空間計算中,神經網絡有助于處理復雜的任務。例如,它們在計算機視覺中發揮着關鍵作用, 能夠識别現實世界中的物體和形狀。這種功能對于在 AR 應用中增強物理環境至關重要,可以提供實時信息并增強用户理解。
計算機視覺(Computer Vision,CV):一種讓機器能夠理解和解釋來自物理世界的視覺信息的技術。在空間計算中,計算機視覺處于最前沿,它幫助空間設備識别用户周圍的物體和空間,并與之互動。它在 AR 導航等應用中發揮着重要作用,可以将數字信息疊加到現實世界中,為用户提供實時方向和導引。
傳感器技術(sensor technology):傳感器技術是空間計算的感覺神經系統,為設備提供感知物理世界的能力。空間設備配備了各種傳感器,包括攝像頭、陀螺儀、加速度計、GPS、光探測和測距(激光雷達) 等。這些傳感器采集與用户周圍環境相關的數據,如運動、位置、光照水平甚至深度信息。
在空間計算中, 傳感器在理解用户的環境和移動、促進精确跟蹤、手勢識别和物理空間映射方面發揮着關鍵作用。這些傳感器是空間設備的眼睛和耳朵,使它們能夠為用户提供實時的、環境感知的體驗。無論是用于沉浸式遊戲、AR 導航,還是用于工業環境的精确地圖繪制,傳感器技術對于創建動态體驗和互動式空間體驗都至關重要。
空間音頻(spatial audio):空間音頻是空間計算領網域沉浸式體驗的無名英雄。它改變了我們感知聲音的方式,讓我們沉浸在與環境視覺協調一致的 3D 聽覺情境之中。無論你是在探索虛拟世界、參加虛拟音樂會,還是在聽 AR 講故事,空間音頻都可以為體驗的聽覺部分增加深度、維度和真實感。它可以讓聲音從空間中的特定位置發出,從而使用户產生方向感和距離感,甚至可以模拟不同環境的聲學效果。空間音頻不僅豐富了我們的娛樂體驗和遊戲體驗,而且在訓練模拟、虛拟會議和建築設計中得到應用。這項技術徹底改變了我們與聲音互動的方式,使音頻成為沉浸式體驗中不可或缺的一部分。
眼動追蹤(eye tracking):眼動追蹤技術已經成為空間計算領網域的遊戲規則改變者,為了解用户的意圖和興趣提供了直接的視窗。通過精确監測眼球運動和注視方向,它可以實現與空間設備更自然、更直觀的互動。從 VR 和 AR 到遊戲和醫療健康應用,眼動追蹤都可以增強用户體驗。它讓設備可以根據用户的視線進行調整,從而提供有針對性的信息,增強沉浸感,甚至提供個性化的内容。除了娛樂之外,眼動追蹤在幫助行動障礙患者和協助診斷程式等醫療健康方面也具有很好的前景。借助這項技術,觀看行為成為一種強大的工具,以之前難以想象的方式駕馭和塑造數字世界和物理世界。
語音識别(voice recognition):在 AI 能力的推動下, 語音識别技術已經成為空間計算領網域輕松交流的基石。借助語音的力量,用户可以自然地與空間設備進行互動,僅用聲音就可以發出指令、提出問題并接收響應。
AI 算法是語音識别的基礎,其使這些系統能夠理解人類語言、口音和語境的細微差别。這項技術不僅為日常工作帶來了便利,還為無障礙交流打開了大門,讓具備各種能力的個人都能參與空間環境。無論是在 AR 界面導航、控制智能家居設備,還是觸手可及的實時語言翻譯方面,AI 增強的語音識别都已經成為連接人類意圖與數字行動的橋梁。在快速發展的空間計算領網域,語音識别就像一首交響樂,使我們的言語與我們想要的行動和體驗協調起來。
異常檢測(Anomaly Detection):異常檢測涉及識别數據中的異常模式或行為。在空間計算中,這項技術對于确保安全至關重要。通過分析傳感器數據并識别異常情況,空間設備可以提醒用户潛在的問題。異常檢測在與預測性維護相關的應用中尤為重要,它有助于預測設備故障并減少停機時間。
基于物理的模拟(Physics-Based Simulation):基于物理的模拟對于在空間計算中創建逼真、動态的虛拟環境至關重要。空間應用程式可以模仿現實世界的物理互動,增強用户的存在感和互動感。醫療培訓模拟、建築設計和遊戲等應用程式利用這項技術來提供逼真的場景和用户體驗。
優化算法(Optimization Algorithms):優化算法是空間計算中簡化流程和決策的基礎。它們确保系統高效、有效地運行。在零售商店布局優化等應用中,這些算法分析客户的移動數據,并幫助零售商通過優化商店布局和產品擺放來增強顧客的購物體驗。
自然語言處理(Natural Language Processing,NLP): 自然語言處理使機器能夠理解人類語言并與之互動。在空間計算中,自然語言處理促進用户和空間設備之間的無縫交流。這對于涉及實時語言翻譯的應用尤為關鍵,AR 眼鏡可以将口語即時翻譯成字幕或音頻,讓講不同語言的人可以輕松交流。
語言識别(speech recognition):一種将口頭語言轉換為文本或可操作數據的技術。在空間計算中,這項技術有助于用户互動。它使用户能夠發出語音指令并接收來自空間設備的響應,使語音控制界面成為 AR 和 VR 應用程式不可或缺的一部分。
生成式 AI(Generative AI,GenAI):一項為空間計算帶來一個新的創造力維度的技術。它讓應用程式能夠創建 3D 内容和模拟,從而擴展了沉浸式體驗的可能性。例如,在時尚設計和奢侈品領網域,生成式 AI 可用來處理體積數據、分析供應鏈信息以及生成產品及設計的虛拟 3D 模型。
這些技術共同構成了空間計算的 AI 框架,為其注入了在現實世界中互動、适應和創新的能力。
AI 在空間計算中的商業效益
為了進一步擴展 AI 在空間計算中的關鍵作用,我們現在需要探索其切實的商業效益。這種融合對企業意味着什麼?企業如何從當前的融合中受益,同時關注 AI 與空間計算在融合方面的快速發展?
AI 在空間計算中的一些切實的商業效益包括下面幾類。
第一,改善零售和電子商務中的客户體驗。除了聊天機器人之外,空間計算中的 AI 為零售和電子商務中的客户支持提供了更強大的體驗。電子商務正在轉變為虛拟店面,商店在網上創建其零售點的數字孿生。試驗性電子商務平台 Obsess 使用生成式 AI 來設計效率更高的虛拟店面,并大規模生成動态内容。虛拟聊天機器人更新為虛拟的、栩栩如生的人,其可以根據購物者的喜好實時定制個性化響應。
在實體零售點,空間計算中的 AI 扮演着不同的角色。個性化在網上更有可能實現,但實體零售店也可以使用空間計算中的 AI 為店内顧客帶來個性化體驗,從而彌合他們的數字購物習慣與實體購物習慣之間的差距。
店内空間計算中的 AI 可以為顧客在實體零售點的旅程添加時間戳,從而創建顧客的完整視圖。盡管并不是每個人都擁有空間計算設備,但智能手機正在接近這個目标。随着支持空間計算技術的可穿戴設備進入市場,零售商可以使用這些設備以及 AI 和數據集來引導顧客獲得新的店内購物體驗,引導他們嘗試不同的產品,或者根據他們的喜好(如對店内服務員、獨自購物、櫥窗購物,以及那些進進出出的人的要求)來優化購物時間。
第二,加強醫療健康和教育領網域的培訓和模拟。熟能生巧這句話對任何人都适用,對醫療健康領網域的專業人士來説更是如此。了解人體及各種情況是練習者提升自己的唯一途徑。從依靠遺傳捐贈者進行學習到使用虛拟現實和模拟實驗室進行高級模拟,醫療健康培訓和教育取得了突飛猛進的進步。再加上空間計算中的 AI,醫療健康從業者将得到全新的培訓機會和教育機會。
空間計算中的 AI 不僅僅能用于實操前的學習和練習,還可以幫助外科醫生評估他們的手術。在醫療健康教育領網域,AI 在空間計算中的作用是提高從初學者到經驗豐富從業者的轉變速度和質量。将空間計算中的 AI 整合到當前的醫療健康工作流程中,可以通過使用大量數據和學習來實時教育醫療健康從業者,幫助醫生更快地判斷病情。空間計算中的 AI 與連接設備相結合,能夠使從業者看到他們以前無法看到的人體部分,比如肺部的新角度,這些可以為手術和診斷提供信息。
第三,制造效率和物流效率的提高。空間計算中的 AI 有可能徹底改變制造業。目前,很多工廠的運營中都采用機器人、傳感器和數據采集等技術。與人類同行一樣,空間計算中的 AI 可以實時指導操作人員。空間計算中的 AI 消除了對過時人機界面的需求,因為它可以向特定位置的操作人員學習,并通過工廠中的攝像頭和其他傳感器,用計算機視覺來識别生產線上的問題、產品缺陷和其他質量關注點。空間計算中的 AI 可以将相關信息反饋給操作員,以便實時進行調整。空間計算中的 AI 在制造領網域和物流領網域的應用如果實施得當,可以減少浪費,縮短產品上市所需的時間,并大幅度提高操作人員的安全性。
第四,遊戲和娛樂中的創造性應用。遊戲和娛樂行業已經為空間計算中的 AI 做好了準備。從用户到新技術的采用,空間計算中的 AI 為我們觀看、玩耍和遊戲的方式提供了創造性的應用。空間計算中 AI 為開發人員提供創造性應用的一種方式是從使用操縱杆和鍵盤切換到用眼睛和手勢控制。空間計算中的 AI 能在現實世界事件的遊戲化中變得有趣,例如在現場比賽中創建籃球運動員的數字孿生,球迷可以通過他們的空間計算機在籃球比賽中與籃球運動員進行互動。
空間計算中的 AI 使得開發人員可以創建基于三維空間的遊戲,而不是讓基于二維空間的遊戲來适配空間計算。空間計算中的 AI 具備利用現實世界環境的能力,能加快物體和場景的開發。另外,利用空間計算機進行空間創作的能力将為遊戲開發、電影制作、音樂表演和其他娛樂活動領網域創造全新的行業。
第五,農業產業的進步。技術在農業方面的利用并不少見。拖拉機和農機設備裝有傳感器,可以跟蹤種子的播撒情況,并根據土壤和其他相關指标來評估植物的質量。約翰迪爾(John Deere)公司在 2022 年的 CES(國際消費類電子產品展覽會)上展示了一款全自動駕駛拖拉機。空間計算中的 AI 是這些聯網車輛、傳感器和設備的關鍵進步,可用于增強精準農業,如害蟲檢測、植物健康、資源分配優化等。空間計算中的 AI 先進的空間可視化技術使農民能夠從復雜的農業數據中獲得新的見解并識别新的模式。
在房地產領網域,空間計算中的 AI 提供了各種各樣的用例,從建築物和住宅的數字孿生到家具擺放或施工前的數字化翻新房屋。
第六,汽車和交通運輸行業的創新。空間計算中的 AI 為用户和交通規劃者提供了靜态的二維地圖的視角轉換。通過平視顯示器将空間計算中的 AI 整合到車輛中,例如寶馬 7 系或捷豹 XF 采用的全息顯示器,它們可以告訴駕駛員交通狀況、協助換擋的換擋點、橫向轉彎時的加速度大小,以及越野時的轉向角和俯仰角等各種信息。在我們大多數人每天都在進行的活動中,空間計算中的 AI 提供了我們以前無法獲得的信息和幫助。
針對交通規劃者的空間計算 AI 可從道路上的傳感器、聯網汽車和基礎設施中的其他聯網數據點獲取數據,并利用這些數據來規劃路線、預測交通流量并考慮道路狀況。
空間計算中的 AI 在公共交通運輸上,可以利用空間分析來預測各種公共汽車路線的需求。對飛機來説,空間計算中的 AI 在飛行前檢查時可以比人工更快、更有效地檢查飛機是否被鳥類、閃電或其他事件損壞。空間計算中的 AI 能夠縮短檢查時間,并提供實時報告。在一個案例中,使用空間計算中的 AI 解決方案,針對損壞的檢查時間從 30 分鍾縮短到 3 分鍾。凱西 · 哈克爾(Cathy Hackl)、伊雷娜 · 克羅寧