火山引擎4K修復影片入選北影節相關技術在CVPR2024奪冠

今天小編分享的互聯網經驗：火山引擎4K修復影片入選北影節相關技術在CVPR2024奪冠，歡迎閲讀。

4 月 18 日，第十四屆北京國際電影節正式開幕。由中國電影資料館、抖音和火山引擎聯合 4K 修復版的港片《A 計劃》與《賣身契》入選 " 致敬 · 修復 " 單元，并于 4 月 18 日、19 日進行放映。

4K 版《A 計劃》《賣身契》電影海報

《A 計劃》《賣身契》分别上映于 1983、1978 年，距今已四十多年。2023 年 8 月，中國電影資料館、抖音和火山引擎共同發起了 " 經典香港電影修復計劃 "，宣布将 4K 修復 100 部香港電影。此次放映的這兩部影片就來自上述項目，影片的原始拍攝底片在香港完成 4K 規格掃描，整個修復流程包括中國電影資料館的物理和數字修復，火山引擎的 AI 技術修復，以及雙方合作的藝術修復等環節。

火山引擎是字節跳動旗下的雲服務平台，曾分别攜手西瓜視頻和抖音，完成 100 部國產經典動畫和 Beyond 經典演唱會的 4K 修復。

在 " 經典香港電影修復計劃 " 中，火山引擎首次将 AIGC 技術應用于老片修復場景，借助視覺大模型強大的生成能力和豐富的先驗知識，實現修復效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。

" 一方面，大模型生成能力強，借助 Stable Diffusion 大模型的生成能力，修復效果優于之前的算法，畫面細節更自然；另一方面，大模型具有非常強的信息結構化能力，在學習了海量數據對後，可以在其中提煉出大量的知識并 " 存儲 " 在模型參數之中，其生成空間更豐富，能夠應對更多的修復場景。" 火山引擎視頻雲技術架構總監王悦介紹。

目前，火山引擎已針對視覺大模型在一些場景下容易生成偽影或者虛假紋理，以及視頻多幀場景的穩定性等問題，在算法和工程上進行了一系列優化，提升了大模型在 4K 場景下的處理效率并兼顧算力成本。

随着修復工作的深入，火山引擎多媒體實驗室通過引入自适應特征加權模塊、無監督學習與有監督學習相結合、文字語義先驗等訓練手段，對視覺大模型進一步的調優，在極低畫質人像重建、褪色膠片顏色調整和文字缺失筆畫生成等幾個方面取得了較好效果。

修復前 vs 修復後

褪色膠片顏色調整前後對比

為保持 " 修舊如舊 " 的原片膠片質感，技術團隊在提升受損影像紋理的平滑度、夜景噪聲去除等效果的同時，還特意研發了自适應質感增強方案，添加模拟膠片噪聲的顆粒。

與此同時，解決老片修復中的各項實際問題，也為火山引擎多媒體實驗室的學術研究提供了價值。在計算機視覺頂級會議 CVPR 2024 中，火山引擎多媒體實驗室一舉奪得了 NTIRE（影像恢復與增強的新趨勢 New Trends in Image Restoration and Enhancement）賽道的冠軍，其奪冠方案是基于提示學習（Prompt Learning）的影像增強恢復，主要解決的問題，就是修復類似于老片中大量存在的不可預知的復雜損害（未知復雜退化）。

" 老片修復這件事情，其實我們每天都在做。" 王悦説，老片中常見的清晰度低、流暢度低、色彩失真、有瑕疵等畫質問題，在抖音的海量投稿裏也廣泛存在。通過服務抖音，火山引擎在老片修復方面已經形成了一套較為完整的智能處理技術方案。

公開資料顯示，電影修復工藝繁雜瑣碎，一位經驗豐富的修復師需要 1 個月才可以修復完成一部影片。近些年，通過深度學習等 AI 技術，大幅提升老片修復的質量和效率成為可能。

香港城市大學計算機系助理教授馬柯德表示，當前人工智能技術的快速發展顯現出巨大的潛力，未來不僅一些老電影中音畫不同步的問題将借由 AIGC 得到更有效的解決，甚至有望讓 AI 學會自動評判修復效果。

老港片承載着許多觀眾的青春記憶，成龍在《A 計劃》中的精湛演技與驚險動作場面，以及許冠文在《賣身契》中幽默诙諧的表演，都曾給觀眾帶來無數驚喜，伴随修復技術的提升，這些舊時光裏的經典将重新煥發生機。

在《A 計劃》的映前活動環節，曾任成龍中國副總裁的資深電影制片人孫嵘現場與影迷分享，成龍此前認為《飛鷹計劃》裏隧道的光不夠亮，" 經典香港電影修復計劃 " 團隊根據意見調整，彌補了他當年創作的遺憾。