今天小編分享的科技經驗:從技術到產品,AI-ISP夜視的破局之路,歡迎閱讀。
具備夜視能力的攝影機,可以打破晝夜限制,識别夜間無法辨别的目标,提高夜間工作的能力,目前已落地到安防、交通管理、環保監測、夜景拍攝、戶外探險等場景。
當前,市場上夜視相機的極限光照度基本在 0.01Lux。
照度(Lux ) ,指部門面積上接收到的可見光的光通量,是衡量環境光的亮度部門。" 最低照度 " 反映的是攝影機可以在多黑的環境下仍能看到物體。
然而,受到硬體發展的制約,視覺成像系統的成像效果已接近天花板。但在一些特定場景下,市場需求達到了 0.001Lux 及以下的星光級。
在未來較長一段時間内,通過硬體實現最低光照度從 0.1Lux 到 0.001lux 的跳升,困難極大。
并且,随着復雜場景和影像處理要求的提高,傳統 ISP 在暗光條件下的降噪、對比度增強和暗光提亮方面的局限性,已經越來越明顯。
2018 年,英特爾實驗室發表論文《Learning to see in the dark》,提供了一條新的路徑,其通過深度學習算法打造全新 AI-ISP 成像體系的思路,成為時下提升光照度的主流。
低照度下的夜視技術探索:硬體方案受阻,AI 技術解圍
在 AI-ISP 技術出現前,夜視領網域的玩家們更多在硬體上想辦法,實現更低的照度。
索尼是感光芯片領網域的最強玩家,上世紀 90 年代便已進入低照度全彩夜視領網域,并且是背照式、堆棧式 CMOS 影像傳感器的率先研發者。
索尼主要針對感光芯片進行工藝上的改進,核心思路是不斷減少電路所占的面積,同時增加感光芯片的感光面積。硬體上,索尼做出不少努力,比如推出全畫幅感光芯片。
但即便是索尼,将低照度感光芯片的光照感知能力 0. 14 Lux 提升到 0. 07 Lux,也花費了五年時間。使用的最高端的全畫幅感光芯片,售價高達上萬塊錢。
材料學及制造工藝難以突破,硬體制約下的視覺成像系統,成像效果已接近天花板。
短期内,通過硬體提升光照度,難度顯而易見,在軟體上進行探索,則能打開局面。
2018 年,英特爾實驗室針對這一世界級難題,提出可以通過整個神經網絡實現 ISP 的全部功能。
ISP(影像處理芯片)類似人腦的視覺處理中樞,當我們想要看到這個世界的時候,大腦中幾百億個神經元鏈接就會開始工作。AI-ISP 相當于将人類復雜的視覺神經網絡在攝影機中實現,為攝影機提供一個新的大腦。
ISP 作為一系列影像處理算法的集合,負責完成從 sensor RAW 到影像 RGB 數據的轉換,過程包括各種矯正、去噪、轉換和增強等環節。
然而,随着復雜場景越來越多,影像處理要求越來越高,傳統 ISP 在暗光條件下的降噪、對比度增強和暗光提亮方面,局限性越來越明顯。
由于傳統 ISP 通常采用硬體實現,不斷擴充的參數庫,帶來調試上的困難,整體開發周期逐步拉長。
而以 AI 技術為輔助,通過深度學習海量場景和數據,輸出算法模型,對影像進行精準處理,則可以在某些場景大幅改善傳統 ISP 的成像效果。
得到端側大算力的支持後,這種全新的 ISP 成像體系,突破了傳統 ISP 影像處理體系的硬體限制。
作為解決低照度下實時全彩夜視這一難題的一劑良方,AI-ISP 的技術成果,已經落地到了安防、礦井、石油、自動駕駛、無人機等場景。
目前,國外的索尼、豪威、安霸,國内的海康、大華、華為等都是該領網域的重要玩家。
除了上述大廠,也有一些創業公司參與其中,比如深知未來、京德致遠、影石等。
在深知未來創始人 &CEO 張齊寧看來,"AI 夜視技術是目前唯一能夠實現全彩夜視的技術路徑 "。
目前,深知未來基于其 AI-ISP 全彩夜視技術,已發布一系列產品,包括無人機載荷 S2 PRO 和 S6,手持夜視單筒鏡等。
這些產品突破了傳統夜視技術的局限,具有全彩實時成像、高分辨率、不懼強光、成本低、場景适應力強等特點。
AI-ISP 商業化落地的兩大難點:難調試、成本高
最開始,深知未來按照英特爾的思路,用一個端到端的一體化神經網絡實現 ISP。
然而,團隊很快發現,英特爾的思路雖然可行,但終歸只是一個實驗室中的技術,很難實現商業化。
原因在于,這一技術需要巨大的算力支持,成本頗高。即使以當下的算力平台,要支持這樣一個端到端的一體化神經網絡,也仍是一件難事。
經過半年探索,深知未來發現了兩個橫亘在商業化途中的問題。
其一,用一體化神經網絡實現 ISP 時,很難對其進行調試。
由于不同產品應用對影像的要求不一,因此芯片廠商基本都會預留大量參數,以供產品廠商再做調整,調試出具備自身風格的影像。
然而,對于使用 ISP 芯片的廠商們來說,想要對一整個神經網絡進行調整,為此專門另招專業的算法工程師并不切合實際,此外也根本沒有數據對影像風格進行調整。
其二,通過整個神經網絡實現 ISP 的全部功能,難度太大且不必要。
" 事實上,只需做跟影像質量相關的關鍵 ISP 環節,如降噪、HDR、3A 等 AI 化,就能立刻提升影像質量,而不必對整個 ISP 進行神經網絡化。" 張齊寧對雷峰網表示。
截止目前,大多數業界針對 AI-ISP 的研究,都只将少數模塊 AI 化," 大多數芯片廠商只處理其中的一部分任務,仍然留很多參數,讓下遊產品廠商做調整。"
深知未來于是轉換思路,抛棄高成本的整體路線,轉而針對關鍵 ISP 環節進行 AI 化,并将自己的夜視神經網絡命名為 "EODNet"(end of dark)。
2019 年,安霸公司提出 "AI-ISP" 概念,用以描述這種全新的 ISP 成像體系。
自安霸提出 AI-ISP 概念後,業界都将自己的相關技術定義為 AI-ISP,并提出各不相同的理解。在當時,連 AI 人臉識别這一更上層的應用,也被納入 AI-ISP 領網域。
經過幾年的探索,業界對于 AI-ISP 的理解漸漸趨于一致。
張齊寧對雷峰網解釋道:"AI-ISP 的定義,是完成從感光芯片到成像過程的一整個算法集合體,包含 20-30 個算法。凡解決的問題與這 20-30 個成像任務相關,如降噪、銳化、HDR 等,那麼就可以被認為是在解決 AI-ISP 的問題。"
業界主要玩家中,索尼的重心主要在低照度的底層技術研究上,前期更多探索如何通過硬體實現最低照度;國内在夜視應用領網域長期布局的海康、大華,重心則在使用更好的光學鏡頭與感光芯片,解決具體場景中的夜視難題。
" 對比做 AI-ISP 的友商,深知未來對整個 AI-ISP 體系研究涵蓋的範圍和深度是最大的。有的廠商在 20-30 個算法中,只關注了 2-4 個領網域,深知未來關注了 7-8 個成像領網域。其中 3A、超分等技術,很多 AI-ISP 廠商還沒有開始涉及,而深知未來已經做了很多年研究。" 張齊寧介紹道。
行業應用多樣,同類賽道該如何競技?
如今,低照度全彩夜視成像,已在 G 端、B 端和 C 端市場形成多樣分支。
比如,在公安領網域,低照度全彩夜視成像的攝影機被用于刑偵場景。
數據顯示,80% 的重大刑事案件發生在夜間,這給刑偵帶來了很大困難,傳統 AI 視覺攝像頭很難解決黑夜場景下成像模糊乃至缺失的痛點。
全彩夜視攝影機的優點是,即使在極低照度、肉眼無法看清、無補光的夜間環境下,仍能以較低的成本,提供實時彩色清晰的影像。
此外,自動駕駛領網域的夜間行駛,工業檢測領網域的復雜光線場景,基于 AI-ISP 的低照度全彩夜視成像,都能極大改善影像質量。
根據客戶屬性的不同,深知未來提供差異化產品,以滿足客戶需求。
面對 B 端市場,深知未來的定位是一家技術公司。
深知未來在 B 端市場,類似一個單點技術服務商,以為合作夥伴競标提供更有競争優勢的前端產品為主。
"B 端選擇深知未來,更多的是對方自己有成熟的解決方案,需要一些讓客戶更感興趣的點,避免同質化競争。"
深知未來在 B 端的產品形态,主要分為兩種:整機產品和機芯。
工業無人機是深知未來最先商業化的領網域,主要提供完整的產品形态。截止目前,深知未來一共發布了 4 款全彩夜視相機,可适配搭載于大疆的行業機。
其中,全彩夜視無人機載荷 S2 PRO 在 S2 的基礎上,着重解決夜間作業的關鍵痛點,實現更遠的視距與更精準的定位。
安防領網域,深知未來主要提供夜視機芯,合作夥伴基于深知未來的機芯,已經開發出 10 款不同的安防產品。
面對 C 端市場,深知未來的定位是一家產品公司。
C 端客戶需求相對簡單,更注重新奇的體驗。
深知未來在 C 端主要推出完整產品,如今年推出的兩款便攜式夜視設備,單反式的夜視設備 P6,以類似單筒望遠鏡形态的 P8 Pro。
P6 和 P8 Pro 是兩款從行業到戶外的產品。
行業端,應急救援、公安偵查、邊防巡檢等場景對便攜手持夜視設備有着長期的更新需求。
消費端,歐美地區戶外文化成熟,徒步露營、打獵觀鳥等場景,對便攜手持夜視設備的需求同樣必不可少。
當下,夜間全彩成像,需求缺口巨大。北美地區,用戶對戶外精準夜視的需求幾近剛需,但市面上主流的熱成像夜視儀和紅外補光夜視儀,多為黑白成像或弱彩,存在目标細節特征不明顯等缺點。
除了便攜式設備向消費端的傾斜,深知未來也計劃将工業無人機的整個模組和產品做得更加輕量級,在未來搭載到消費無人機上。
結語
在夜間實時全彩成像這一難題上,AI-ISP 技術已被證實取得了突破性的進展,但其商業化之路,經歷了不斷的調整和适配。
自 2010 年的計算革命開始,AI 視覺成像成為一股浪潮。但是夜間在極低照度下,如何在多個行業應用場景裡實現全彩成像,仍然是一個需要不斷突破的命題。
當下,入局 AI-ISP 的玩家眾多,不僅有海康、大華等安防巨頭,還有 OPPO、vivo 等手機大廠,芯片端海思、地平線、瑞芯微、安霸、豪威、國芯微等也都有所涉及。投身于其中的巨頭們,雖有技術、品牌、渠道優勢,但整個賽道仍處于早期發展階段。
創業公司們通過不同的技術路線進行差異化布局,仍然可以在眾多細分領網域中找到屬于自己的位置。