今天小編分享的科學經驗：vivo首款自研6nm芯片！AIGC算法加持，支持4K電影級人像視頻，歡迎閱讀。
安卓視頻拍攝體驗，出現了新的天花板——
只用手機，也能拍出4K 電影級别的人像視頻了！同時還能實現無損拍後編輯。
不用靠長槍短炮的畫幅和光圈，就能真 ·全自動檢測和切換虛化主體。
讓鏡頭就聚焦在某個人物身上，同時周圍景物自然虛化，只需一鍵實現：
不僅如此，就連膚質優化和色彩處理，也能秒速搞定，分分鍾拍出大片效果：
安卓機型人像拍攝的這個新天花板出現，更有層次的照片，這不就來了？！
要知道，背景虛化一直是手機攝影的短板，無論是虛化層次還是邊緣處理，很難與單反相機分庭抗禮。
哪怕是對所搭載的算法進行創新和優化，想要最終效果是 4k 電影級，必須要兼顧降低功耗。
不多賣關子，這種視頻拍攝效果，出自剛剛登頂中國手機第一的" 藍廠 "vivo之手，在其最新的發布會上露面。
最重要的是，背後果然又用到了最新的自研芯片。
難怪有網友調侃道：
所以，這個芯片究竟實現了什麼樣的功能，又是如何打破安卓手機影像能力天花板的？
打破安卓手機攝影天花板
vivo 給手機攝影帶來的突破，主要體現在兩方面，更高的畫質和更快更好的算法。
先是在畫質上，vivo 在安卓手機攝影上實現了兩個 " 首次 "，即4K 電影人像視頻和4K 級拍後編輯。
4K 電影人像視頻，意味着手機拍人像視頻，已經能達到 4K 電影級的水平，不僅分辨率更高、色彩呈現也更好。
相比之前，包括焦外散景虛化（背景虛化）、全自動主體焦點檢測和切換、電影級膚質優化和色彩處理，現在 vivo 都已經能用到 4K 視頻拍攝中。
焦外散景虛化，即拍出很好的淺景深效果；全自動主體焦點檢測和切換，意味着不再需要手動調試鏡頭距離 " 對準 " 某個物體，算法自動實現；電影級膚質優化和色彩處理，讓拍視頻人像也 " 幀幀開美顏 "，無需拍後再手動調整。
進一步地，在拍攝完成後，vivo 還實現了 4K 級拍後編輯，快速且無損。
視頻編輯耗費計算量較大，此前往往只有壓縮視頻大小，才能縮短剪輯加載和導出的時間。
現在，如果對拍攝出來的視頻不滿意，編輯時無需壓縮視頻，在分辨率保持 4K 的情況下，手機仍然能快速調整虛化和焦點位置，實現無損編輯。
不僅僅在于畫質上的兩大功能，這次 vivo 手機影像技術的更新，還體現在 " 算法大融合 " 上。
要知道，過去各種手機雖然宣稱已經搭載了不少提升拍照技術的 AI 算法，但大部分算法無法同時運行。
以人像和夜景為例。目前不少手機，都能看到這兩種類型的拍照模式優化，但 " 夜景 + 人像優化 " 卻比較少見——
這是因為，針對夜景和人像所需的算法不完全一樣，如果同時運行，不僅功耗更大、延遲也會更高。
因此，如果說之前的算法處理還只能讓用戶自己做選擇，最新的 vivo 手機，已經能實現大量自研影像算法同時開啟的效果。
像是夜景拍攝幾乎必不可少的 AI 降噪（NR，Noise Reduce）算法：
基于人像理解技術，進一步實現拍攝需要的影調（調色）算法：
視頻拍攝需要的 MEMC 插幀算法：
能保留影像中的更多細節、對比度也更高，提升整體效果的 HDR 技術：
以及影像變焦算法等等。
過去這些算法還需要分時間階段運行，現在，vivo 手機不僅能同時處理它們，而且延遲都保持在用戶可以感知的範圍之内。
完成這些部署，離不開 vivo 自研的新一代影像芯片，名為V3。
藍廠究竟在 V3 芯片中加了什麼黑科技，來實現這樣的效果？
vivo 最新自研芯片 V3
V3 芯片采用6nm 制程工藝，相比上一代的 V2 芯片，能效比提升了30%。
架構設計上，V3 仍然是 ISP（影像信号處理器），但相比上一代可以實現多并發 AI 感知。
同時，為了更好地和 SoC" 打配合 "，V3 芯片還推出了第二代 FIT 互聯系統，來調度二者之間的資源。
具體來說，V3 主要通過硬體架構更新、以及和主芯片 " 打配合 "兩種模式，來支持上面提到的兩大新功能，以及一系列 AI 算法并發效果。
一方面，在架構上，V3 不僅在制程上得到更新，大幅提升能效，同時設計上側重于提升 AI 算法的計算效率。
V3 芯片延續了 V 系列芯片的特征，自帶定制化深度學習加速器（DLA）、以及純 SRAM 架構，用于提升計算 AI 任務的效率。
雖然手機芯片也配備 NPU 這種神經網絡硬體加速器，用于進行向量化計算和并行處理，然而，由于這種 NPU 是通用型的，因此在計算某些專用任務時效率不高。
以計算 AI 任務常用的乘加計算（MAC）為例，通用 NPU 做這類計算往往只能達到 30% 的利用率。
這是因為它所用的片上緩存（TCM）容量有限，一旦影像類 AI 任務變多，每一層網絡特征圖寫入 DDR 内存，帶寬就會爆炸、功耗也會大幅度上升。
V3 芯片自帶的深度學習加速器，則能更好地處理這類任務。即使芯片制程是 6nm，在處理特定影像任務時，整體能效比相比 4nm 的 SoC 仍舊可以提升 2~3 倍。
同時在内存上，V3 芯片沒有采用 DDR，而是采用了 SRAM 架構來存儲信息。
相比通用 NPU，V3 只運行特定任務，不受外部後台線程（如 CPU 線程）的幹擾，也不會因為其他功能升壓或提頻導致功耗上升，因此在做乘加計算時，利用率可以達到 100%。
但僅僅是通過更新硬體架構、提升處理 AI 任務的能力還不夠。
畢竟對于手機來說，只有将所有算力資源調度起來，才能真正确保計算效率最大化，因此——
另一方面，V3 芯片推出了第二代 FIT 雙芯互聯系統，讓算力資源調動變成了靈活的 " 一盤棋 "。
具體來說，這種系統能同時調用手機 SoC 和 V3 的算力，使得它們在處理 AI 算法時 " 各司其職 "，從而更高效地處理不同的算法。
其中，V3 芯片主要能處理兩類任務。
一個是可以用低級别、像素級别的 AI 算力處理的任務；另一個是對于一些需要較大濾波器的算法（如運動估計等），V3 能将算法 " 硬體化 "，即将它們轉換成特定應用集成電路（純 ASIC），成為芯片的一部分。
同時，對于更復雜的一些算法，則主要用 SoC 來完成，同時 V3 提供 " 協作 "。
整體來說，V3 不僅能将一些特定 AI 任務的處理做到極致，同時也能作為算力 " 補充庫 "，來協助 SoC 完成其他 AI 算法的處理。
這樣一來，不僅能降低原本計算特定 AI 算法所用的功耗，做到 SoC+V3 芯片的總功耗 "1+1＜2"，還能做到原本 " 不可能的事情 " ——
假設手機上搭載了 10 個算法，此前可能會因為功耗和發熱，導致只能同時跑 6 個；現在加上 V3 後，10 個算法都能同時運行（例如整套人像功能），并将功耗和發熱保持在合适的範圍内。
當然，在配合的硬體 " 位置 " 上也有講究。相比前置 ISP（PreISP），V3 選擇了後置 ISP（PostISP）的方式，即數據先通過 SoC，再通過 V3 進行處理，最後打到螢幕上。
這樣設計的好處是可以降低芯片内部的處理延時、提升性能，雖然會在回傳通路上增加一點處理時間，不過并不影響整體使用效果，像視頻拍攝預覽延遲在 180~200ms 左右，對于人眼來說幾乎無感。
當然，除了針對 V3 芯片的設計，vivo 也在影像相關的其他芯片技術上下了不少功夫。
其中之一就是在 CMOS 芯片上。
vivo 針對這個芯片研發了一項名叫自适應 DCG-HDR 技術，目前研究論文已經發表在 VLSI 2023 上。
VLSI（超大規模集成電路技術和電路研讨會）是電路領網域的國際頂會，今年 vivo 也是國内手機廠商中唯一一家發表論文、并被選中進行會上分享的。
這項技術能夠讓在用戶拍視頻時常開 HDR 模式，獲得更好的拍攝效果，同時功耗更低。
相比傳統 HDR 在整個影像區網域使用曝光設定（或分區使用不同的曝光設定），自适應 DCG-HDR 可以将曝光設定粒度縮小到像素級别。
也就是說，每個像素根據所在的場景和光照條件選擇曝光設定，使得 HDR 效果更精準；同時，通過這種調制，它還能省去一次讀取像素值的操作，進一步降低了功耗。
這樣一來，用戶不僅能常開 HDR 模式，甚至開着拍視頻，也不會出現過熱或頻繁關機的問題。
對于之後的影像行業布局，vivo 影像產品高級總監李卓表示：
AI 一定是未來最重要的方向之一。
然而，即便自研芯片在影像上取得了如此不錯的效果，投入數十甚至上百億去研發芯片、甚至不斷迭代更新，仍然不是一個短期内看得到巨大回報的過程。
對于手機廠商、甚至整個行業而言，自研芯片的意義究竟何在？
AIGC 時代，自研芯片更顯重要
回顧這幾年的手機行業，新的產品、技術層出不窮，令人眼花缭亂。
行業也熱點，作為各廠商發力的角逐地，也在不斷變化。折疊屏、雙芯設計、屏下攝像頭、夜間拍攝、AI+ ……新的熱點為手機行業不斷加碼，同時對技術提出了更高的要求。
比如，按照當下的熱門技術定義，手機行業實則處于一個影像芯片、AIGC、3D 影像等熱點交融的時代。
在這樣浩蕩的時代裡，交匯交融是無法避免的趨勢。
就拿 vivo 首次對外披露與 AIGC 算法相關的研發成果為例。
一手建立了重慶 3D 動捕實驗室，搭建影視級光場系統，支撐 vivo 各類人像 3D 感知算法的研發、迭代工作。
重點儲備以人臉、人體和手勢為核心人像 3D 感知算法能力。
另一邊，則在自研芯片領網域持續發力，對外發布 V3。
細數 vivo 自研芯片的歷程，已有4 年歷史。
2019 年，藍廠被曝造芯；2021 年，正式闖入自研芯片賽道，推出第一顆影像芯片 V1，除了生產全部自研。
當時，手機行業主打的降噪、插幀等影像處理功能，有不少還停留在傳統算法層面。
V1 主打特色之一，就是能夠很好地處理傳統影像算法，同時已經具備一定的算法并行能力，可以在一塊芯片内同時進行部分影像成像算法，這讓手機的夜景拍攝能力有了極大提升。
2022 年，結合 AI 算法的 ISP 芯片 V2快速面世。它采用迭代後的 AI-ISP 架構，能夠在手機内部實現數據和算力的優化、高速協同。
這個階段，由于用上了 AI 技術，vivo 自研的算法開始變得更復雜，需要的額外信息也變得更多。
例如，相機原本的自動對焦 AF、自動曝光 AE、自動白平衡 AWB 這類 3A 功能，也開始加上 AI 算法，這類算法往往需要用上相機控制參數、硬體參數和返回值等信息，用來做一些運動估計功能，因此延遲也會相應變高。
為了确保 AI 功能變多的同時，延遲還維持在用戶可以接受的層面，V2 芯片開始正式引入 FIT 雙芯互聯技術，确保兩顆芯片溝通的效率。
可以說，V1 到 V2，是藍廠不斷滿足初代影像算法及 AI 1.0 時代對影像芯片的要求的過程。
林林總總可以歸結為一句話：一個時代有一個時代的芯片要求。
AIGC 時代下，不僅算法數量呈現井噴式增長，算法的體量也有了質的差異。
尤其針對需求質與量與日俱增的影像技術而言，手機芯片的算力和處理性能，都相對應地有了更高要求。
如今在影像算法中，光是人像系統中，就有包括發絲分割、膚色增強、虛化渲染、場景感知等一系列需要用到 AI 算法的功能；
更别提夜景這類同時需要提升畫質、色彩的場景，長此以往，所需的算法類型和數量只會越來越多。
同時，随着 AI 模型效果變得更好、體積變得更大，AIGC 算法逐漸成為潮流的當下，如何利用深度學習加速引擎和異構加速引擎提升 AI 處理效率，也是手機業界的一道長期思考題。
總而言之，AIGC 潮流為代表的 AI 2.0 時代，對所承載的算力的擴張需求，迫在眉睫。
一路走來都是困難重重，未來的挑戰也将一個接着一個。相比優化算法去适配硬體廠商的芯片，軟硬體結合，才是 AIGC 時代的王道——
手握自研芯片，就能算法軟體和芯片硬體兩手抓；
沒有自研芯片，只能坐等市場有什麼樣的芯片，再設計研究算法去适配。
顯而易見，軟硬體的并行，無論是對大廠本身，還是對滿懷期待的客戶而言，都更有競争力和說服力。
看到這條路線的不只有 vivo 一家。
國外亞馬遜、Meta。國内百度、阿裡，諸多在 AIGC 時代争先恐後布局的大廠，在嘗試将 AI 功能最大化時，都會考慮把 " 合作或自研設計芯片 " 作為具體的實現途徑之一。
其他大廠尚且如此，向來主攻影像的手機行業，作為 AIGC 技術的頭部應用場景之一，更加應該明白這樣的道理：
只有真正從算力底層出發，将 AIGC 軟硬體技術細節掌控在自己手中，才能最大程度地确保走在技術創新的中軸線上。
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
