今天小編分享的互聯網經驗：3D模型+AIGC，vivo移動影像的下一步棋，歡迎閱讀。
vivo X90s 影像模組
進入 2023 年下半年，智能手機市場在影像上的軍備競賽有增無減。更大面積的傳感器、光學防抖、全焦距的焦段覆蓋，正在成為高端智能手機的标配，也有着逐漸普及的趨勢。
然而智能手機畢竟是一種大眾消費品，重量和體積都會制約影像配置的無限增長。而在消費者端，用戶往往對于影像原理不甚了解。因此就需要廠商不斷在軟體、算法層面，去解決實際的問題。
7 月底，vivo 首次向外界展示了其位于重慶工廠的 3D 影像實驗室，并宣布相關技術将會率先應用在下一代 X 系列旗艦手機上。
vivo 3D 影像實驗室内部
vivo 3D 影像實驗室，主要是由 100 餘台單反相機，配合閃光燈、處理器、控制器和伺服器所組成。通過采集大量的人體軀幹、面部信息，最終實現對于智能手機人像拍攝的提高。
采集人體信息時，vivo 3D 影像實驗室會同時調動 100 多台單反相機，從不同的角度進行拍攝，生成 100 餘張 2D 圖片，随後通過局網域網上傳至存儲伺服器，再通過 2D 圖片進行 3D 匹配，生成 3D 模型。
基于生成的 3D 模型，vivo 可以實現對于算法的訓練，提升人像模式下，模拟背景虛化的精确性。據 vivo 工作人員介紹，預計每年将會有上萬組 3D 人像模型。
傳統的智能手機人像虛化算法，往往是在 2D 層面，判斷人的輪廓來實現虛化，不具備 3D 層面的深度信息，因此主體與背景之間往往會過渡的比較生硬，" 摳 " 出來的背景也會缺少層次。
通過大量的 3D 模型進行預訓練，vivo 的算法可以變得更加智能，智能手機可以更好的判斷人的縱深信息，使得虛化更具有漸進感也更加細膩。
vivo X90s 試映片
此外 3D 模型加入之後，智能手機的人像虛化算法應用範圍可以進一步擴大。目前人像虛化算法由于缺乏深度方向的信息，只能拍攝全身像或是半身像，未來則可以近距離貼臉拍攝眼睛的特寫虛化畫面。
在 3D 模型之外，vivo 有一套 " 重打光 " 的設備。由 96 個可編程的同步光源搭配 vivo 的工業相機。與拍照工作站以及伺服器共同組成，可以模拟不同光照條件下的成像圖片，為自研人像算法做數據支撐，促進 3D 重建和 3D 算法方面的開發和預研，提升手機上的算法效果。
例如在加入重打光技術後，vivo 手機可以對前期拍攝到的 " 逆光黑臉 " 進行高精度補光，甚至是調整光線的冷暖色溫。生成式人像編輯則能通過紋理重建與光照估計算法等技術，讓用戶基于自身喜好對光照、年齡、發型、表情等内容進行重新編輯。
vivo 影像活動現場
基于人像 3D 重建感知能力，vivo 還可以疊加 AIGC 算法，通過 vivo 手機即可拍攝出虛拟與實景結合更為自然的照片，實現 " 足不出戶拍出四季人像大片 " 的人性化體驗。
在此之外，3D 影像的相關技術可以應用在如今火爆的 3D 虛拟人應用上。包括抖音上比較火的 3D 數字人直播、3D 表情驅動、3D 的虛拟場景編輯以及相應的一個動畫制作。
此外還有基于 3D 影像衍生的 3D 換裝應用，可以根據采集者的人體模型，在虛拟場景内實現足球遊戲，目前在 vivo 手機和平板電腦上已經可以進行演示。
vivo 3D 影像實驗室于 2022 年下半年組建，全球共有 7 個實驗室。預期 2023 年下半年到 2024 年将會采集幾萬組數據。這些高質量的數據未來将會與 vivo 全球的用戶一起組建兼顧質量和數量的龐大數據庫。據 vivo 工作人員介紹，相關技術落地，将會在 vivo X 系列的下一代產品上率先應用。
钛媒體 App 了解到，類似 vivo 這種通過大量采集數據，建立數據庫以優化算法的實驗室，在傳統相機領網域早已有之，但 vivo 應該是通過 3D 模型實現多重優化以及 AIGC 相關應用的第一家智能手機廠商。
某種意義上，自建影像實驗室标志着 vivo 在影像領網域的研究進入了深水區，而能夠借助 AI 的東風，擴展智能手機影像的邊界，則是 vivo 探索出來的一條創新之路，也許會開拓出智能手機影像的全新方向。（本文首發钛媒體 App 作者 / 吳泓磊 編輯 / 鍾毅）
更多精彩内容，關注钛媒體微信号（ID：taimeiti），或者下載钛媒體 App
