今天小編分享的科技經驗:華為 Mate 70 Pro 的第四顆鏡頭,最強的能力不是拍照,歡迎閱讀。
愛範兒關注「明日產品」,硬哲學欄目試圖剝離技術和參數的外衣,探求產品設計中人性的本源。
主攝、長焦、超廣角,堪稱手機攝影的「三大金剛」,基本上能應對大部分用戶的日常拍攝場景,一些影像旗艦手機,還會在這基礎上多配備一個長焦鏡頭,滿足更極致的創作需要。
最新發布的華為 Mate 70 Pro 和 Pro+,也有四個攝像頭,只是多出的一個有點特别:華為稱其為「紅楓原色攝像頭」,本質其實是一個微型多光譜儀。
多光譜成像儀主要應用于水土農業、食品檢測等更專業的場景,智能手機運用不僅可以說不多見,像華為這顆這麼高參數的鏡頭,幾乎可以說沒有。
但在不遙遠的未來,類似的多光譜傳感器模組,會來到我們身邊的更多智能設備上。
解決拍照「色弱」問題
雖然智能手機廠商卷影像能力已經有不少的年頭,手機上的攝像頭模組越來越大,越來越凸,但始終有一塊難啃的骨頭尚需解決——色彩還原。
目前傳統的手機相機傳感器通常通過捕捉紅色、綠色、藍色(RGB),來呈現一定範圍内的顏色,每個像素只有紅、綠或藍一個色彩信息,需要通過算法,結合周圍像素的色彩關系,推算出每個像素點的真實顏色,最終盡可能還原出我們肉眼所見的景象。
▲ 單個像素只負責單個顏色的信息記錄
但用紅色、綠色、藍色組成的顏色,僅為人眼可見色彩的 75%,成片的顏色損失比較大。
并且,既然是靠算法「推算」,準确性自然無法完全保證;而在比較復雜的色彩和光線的環境下,算法的準确性會進一步降低,這也是為什麼有時拍出來人的肌膚會發黃、發紅。
要想解決偏色的問題,廠商嘗試從軟體和硬體兩個方向入手。
靠計算攝影發家的 Google Pixel,就推出了名為「Real Tone」的色彩算法,在照片後台處理時,還原不同人種的真實膚色。
也有很多廠商也嘗試轉換賽道,不追求完美的色彩還原,而采用風格化的思路,讓照片呈現更好的視覺觀感,而不是百分百的還原。
而華為從 P20 手機開始搭載 5 通道色溫傳感器,陸續更新到 P50 系列的 10 通道多光譜色溫傳感器,能夠捕捉普通 RGB 之外的波段,包括可見光之外的一些波段。
然後通過 XD Fusion Pro 的算法,将可見光和非可見光融合,呈現更多色彩細節。
通過多通道多光譜傳感器來嘗試糾正相機的「色弱」,其實也是行業内的一個主流方案,像是 vivo、OPPO 都嘗試過在旗艦上配備類似的多光譜色溫模組。
簡單來說,這類傳感器能夠捕捉更多特定波段的色彩,但只能對整體的環境光做一個總體感知和判斷,無法提供局部光源和色彩信息,也不具備成像能力。
而 150 萬像素的紅楓原色攝像頭模組,本質上是 150 個獨立的多光譜儀,對色彩的敏銳度更高,并且具備了成像的能力,也就是能夠同時獲取二維影像和色譜信息,記錄能力也遠遠超出了 RGB 三色。
▲ Spectricity 也生產類似的多光譜攝像頭
用人話來說,就是華為 Mate 70 Pro 的主攝、長焦、超廣角正常拍攝高清照片,而原色攝像頭專門記錄照片中的每塊區網域的色彩細節,然後處理器按照這些精準的色彩信息給照片潤色。
但這顆參數不低的多光譜攝像頭的上限,遠遠不止于此。
手機的 「火眼金睛」
不同物質對不同的光吸收、反射情況不同,會呈現不一樣的光譜。
簡單來說就是不同的物質會呈現不一樣的「顏色」,有些是肉眼可見,有些則需要通過多光譜攝像頭捕捉。
而通過這些光譜,我們就能推斷出物質目前的性質和狀态,因此多光譜儀的身影經常出現在在環境監測、農林牧業、醫學診斷、化學分析、刑事偵查等專業領網域。
相關業界人士告知愛範兒,行業内光譜模塊像素最高能做到 200 萬,而華為 Mate 70 系列上的多光譜攝像頭達到了 150 萬像素。
這樣的素質或許還不能運用于上述的專業領網域中,但如果華為願意開放第三方接口,還能讓這台面向消費者推出的 Mate 70,創造更多可能性。
比如從菜市場買回來的農產品,我們可以就可以使用手機上的多光譜儀進行掃描,肉眼無法直接看出的農藥殘留,也會因為不一樣的光譜特征,被多光譜攝像頭發現。同理,也能用于檢測紙巾熒光劑。
▲通過高光譜相機辨别發黴的李子和異物,圖源:advian
像是皮膚的狀态,也能通過多光譜儀拍攝,提前發現皮膚幹燥、明暗、暗沉、色斑等問題,以便進行皮膚管理。
而由于血液呈現的近紅外、中紅外光譜,理論上也能被光譜儀識别,因此有可能通過華為 Mate 70 系列進行一個「自拍」,對身體的血糖、血氧等指标進行一個粗略的監測。
總之,這個多光譜攝像頭,真的就像孫悟空的「火眼金睛」,僅僅通過「看」,就能讓物體「現原形」。
對于 AI 來說,這絕對是夢寐以求的能力。
目前的 AI 助手和外部世界的互動方式,主要通過攝像頭拍攝影像後進行分析,但一張平面圖的信息有限,AI 也很難進行更多延伸解讀。
▲ iPhone 16「視覺智能」
而如果多模态 AI 能夠調用多光譜攝像頭,就能極大豐富其能獲取的外部信息。比如「看」一眼冰箱,AI 就能根據光譜特征分析出食材新鮮度,給出更恰當、詳細的晚餐食譜建議。
跳出手機,來到智能家居上的光譜攝像頭,也有着廣闊的發揮空間。想象一下,一個能智能判斷食材狀态的烤箱,不需要用戶手動設定溫度和時間,自己可以決定出最優的烹饪方式。
用手機拍小狗來進行智能識别會被吐槽,但如果是能拍小狗進行一個皮膚病速檢,那就是真的改變生活。
更多設備正在路上
這麼好用的多光譜儀,為什麼直到今天,才來到我們的手機上?
傳統的多光譜儀器體積和重量,其實遠遠沒有能壓縮到手機相機模組的地步。多光譜儀中用于分光的核心器件——光栅體積難以縮小,還需要一定的傳道範圍,為了更大的光譜範圍,有時還需要在儀器内放入復數個光栅。
▲ 一個光譜儀的原理圖,中間的就是光栅
國内光學企業求是光譜公司就摸索用算法的方式,替代了物理分光元件,使得光譜儀得以順利縮小。
▲ 求是光譜的多光譜相機
另一個阻礙多光譜攝像頭進入智能手機的因素是算力:當按下手機拍攝快門,處理器需要利用詳細的光譜信息完成對照片的處理,如果性能跟不上,就會使得手機出片時間變得很長,嚴重影響拍攝體驗。
在集成了 CPU、GPU、NPU(AI 處理器)的手機處理器性能不斷實現突破後,這個問題也迎刃而解。
2022 年,華為哈勃入股求是光譜公司,2 年後的今天,首部搭載 150 萬像素的多光譜儀的智能手機華為 Mate 70 系列誕生。
但華為這次不會領先太久,實際上,海外也已經在探索類似的道路,将多光譜芯片引入移動設備。
一家名為 Spectricity 的比利時企業,于 2023 年推出了專門為智能手機打造的多光譜傳感器 S1,原理和效果與紅楓原色攝像頭類似,也能提升手機攝像頭成片的色彩準确度。
▲ Spectricity 的多光譜相機模組
今年,Spectricity 宣布與高通公司合作,目标是為高通骁龍平台開發出優秀的光譜影像傳感器產品。
目前暫時還沒有搭載 S1 的消費者手機產品面世,但 Spectricity 方面表示,已經和幾家手機廠商達成合作,其中有來自中國的品牌,相關的產品即将發布。
也許明年,這顆現在對大眾而言還有點陌生的傳感器,就會在各家旗艦手機發布會上頻頻刷臉,成為又一個新穎的賣點。
而對于消費者而言,這顆攝像頭不僅意味着我們能拍出色彩更準的照片,還蘊含了革新人機互動的新可能。
參考文章:
《光譜相機,史上最出彩華為 Mate 的一顆 " 慧眼 "》
《光譜成像,邁入手機 AI 影像的新紀元》