今天小編分享的科學經驗：瞳孔反射重建3D，試驗場景人人可構建！網友：我焯，黑科技我喜歡，歡迎閲讀。
你的眼睛已經暴露了一切！
現在，通過眼睛瞳孔反射的影像，就能直接實現 3D 全景重建。
這不是電影中的高科技情節，而是已被驗證的真實實驗結果。
當我們看着别人的眼睛，我們也會捕捉到從角膜反射的光。就比如使用相機來拍攝别人眼睛，實際上我們也可以将他們的眼睛視為一組鏡子。
通過在合成場景中放置眼睛模型，利用眼睛的反射就能實現全景重建。
對此網友驚呼：我焯！
太牛了！蝙蝠俠的黑科技，我喜歡。
也一些網友開始擔憂，覺得這項技術會讓自己的隐私暴露。
瞳孔反射重建 3D，實驗場景人人可構建
人類眼睛的反射性，本質就是一個被低估的信息來源。
最近，幾個美國馬裏蘭大學的學生搞了個實驗，通過對移動人物的眼睛進行成像，發現可以利用眼睛反射恢復三維場景。并将實驗結果發布論文，标題為Seeing the World through Your Eyes。
因為我們的眼睛在頭部自然移動時會捕捉到多個視角的信息。
所以，實驗團隊基于這點，将經典的成像方法（比如照相機）和 NeRF（神經輻射場）技術結合，通過使用靜止相機，從頭部移動下的眼睛影像中提取多視角線索。
但僅僅是通過這種方式，不足以直接進行建模。而且根據人體眼睛構造，在眼睛影像中的重建過程中還需要處理 " 眼球的球面形狀、虹膜的反射性質以及角膜的折射效應 " 等因素。
為了解決這些個問題，實驗團隊大膽提出一種基于深度學習的方法。
首先，我們訓練了一種神經網絡，用來預測眼睛影像中的視角。然後，我們利用這些預測結果來建立眼球的形狀模型，并通過反射和折射原理來提取眼球表面的反射信息。
接着，我們使用多個不同視角的眼睛影像，來還原場景的三維結構，并通過 NeRF 技術 ( 神經輻射場 ) 估計每個點在場景中的亮度。
通過上面方法，就能夠從眼睛影像中恢復出觀察者所見的全三維世界。
看過實驗結果，是不是有一種wtf的感覺？
先别驚訝，實際上這場實驗的訓練結果，都是基于這樣的場景得出的。
一位坐的筆直的試驗對象，面前是一個專業相機、一個大型卡比玩偶，還有兩個巨亮的聚光燈。
研究團隊通過 " 精心 " 布置，基于上面這種場景來做實驗，然後得出結論：可以用瞳孔反射實現三維建模。
為了證明技術理論具備普适性，研究團隊也随機從互聯網挑選了實驗對象。比如，他們曾試圖通過 Miley Cyrus 的 MV 來識别其眼神中的影像。
結果就是，因為視頻質量，無法重建。
整個技術是基于這種 " 特定 " 場景下實現的。看完實驗過程的網友表示：試驗不錯，但實驗結果與實際結果從來都是兩回事。
并直言看到這個騷操作，就和用（腦洞大開）。
震驚之餘也有部分網友理性表示，不用大驚小怪，這種試驗操作很多研究團隊早就開始搞了。
并非第一次
從瞳孔反射重建影像在計算機視覺領網域一直屬于熱門話題，類似的試驗其實早在 20 年前就已開始。
2004 年哥倫比亞大學就發布了一篇論文The World in an Eye。
探讨了通過分析角膜的幾何模型，可以從眼睛影像中獲取人物周圍的廣角視圖和注視點，并計算物體的三維結構，用于恢復眼球裏的影像。
紐約大學心理學系教授 Rob Jenkins 也曾在 2013 年發布論文，表明從照片中人物的瞳孔可以獲取更多信息，比如照片拍攝者和旁觀者的影像，可以用于案件偵破鎖定嫌疑人。
雖然已有不少類似的研究，不過以往的研究更多關注如何從眼睛影像中恢復整個全景影像。
這次試驗的創新點在于，通過一些方法可以很好地恢復觀察者所見的全景三維世界，不局限于重建單個全景環境。
網友：CSI 重現
無論過程怎樣，結果才是最重要的，尤其對一眾吃瓜網友來講。
看過瞳孔 3D 建模後，大量網友表示，CSI 犯罪調查現場的場景得以實現了！
而劇情裏，探員正是通過放大和增強模糊的監控視頻，看到受害者角膜有兇手的倒影，案件找到突破口。
事實上這種騷操作一直備受犯罪類題材影視劇青睐，最早可以追溯到 1948 年的 " 反案記 " ( Call Northside 777 ) ，而真正引入計算機分析瞳孔視圖技術的電影，當屬 1982 年雷德利 · 斯科特執導的經典電影《銀翼殺手》。
想象力推動着科技的發展，而科技的進步又為我們的想象力提供了更廣闊的空間。
以前電影中的黑科技，現在也不僅僅局限于理論層面。
回到論文本身，即使研究也有一些瓶頸，但不可否認，這些實驗在恢復場景的幾何形狀、表面細節方面都取得了很好的效果，而且在人臉識别和 VR 等應用中也有不少價值。
你覺得這個實驗如何呢？
論文傳送門：
https://arxiv.org/abs//2306.09348
參考鏈接：
[ 1 ] https://twitter.com/sterlingcrispin/status/1669781912758648832
[ 2 ] https://world-from-eyes.github.io/
