今天小編分享的科學經驗:3D版抖音有望誕生,零門檻3D創作時代來臨,歡迎閱讀。
全球用戶累計生成 700 萬 3D 模型,海外上千用戶上傳自己生成的 3D 動畫短片……
這就是3D 大模型公司 VAST及其旗下 3D 大模型 "Tripo" 系列的傲人成果。
相比于文字生成、圖片生成、視頻生成,3D 生成技術的發展更像 AIGC 賽道的隐形前行者,但其實到了今天,輸入語段文字或圖片,已經可以得到一個完整的、有價值的、可用的 3D 的模型。
在量子位 MEET 2025 智能未來大會上,VAST 創始人兼 CEO 宋亞宸帶來了他所看到的 3D 生成的世界,以及 3D 生成賽道的新的機遇。
為了完整體現宋亞宸的思考,在不改變原意的基礎上,量子位對演講内容進行了編輯整理,希望能給你帶來更多啟發。
MEET 2025 智能未來大會是由量子位主辦的行業峰會,20 餘位產業代表與會讨論。線下參會觀眾 1000+,線上直播觀眾 320 萬 +,獲得了主流媒體的廣泛關注與報道。
核心觀點梳理
技術層面上,3D 生成的發展分為靜态内容生成、動态内容生成、人人零門檻可用三個階段。
有了創作平台後,有機會誕生 3D 版抖音。
明年,Tripo 的成熟度會達到 1080p、甚至 4k 的水平。
預計到 2026 年,原生 AI 3D 創作者會探索出一些新的 3D 内容範式。
3D 生成會帶來一種新的互動形式,就像成語 " 言出法随 " 形容的那樣。
……
(以下為宋亞宸演講全文)
3D 生成到什麼階段了?
我們公司VAST是一家做 3D 大模型的公司,希望大家能夠在我的分享當中找到自己喜歡的一些有意思的點。
先給大家介紹一下什麼叫作 3D 大模型。
我們的 3D 大模型叫作Tripo,它的功能非常簡單,輸入一段文字,或者說一張圖片,當然也可以同時輸入圖片、視頻等不同模态,就能輸出一個完整的、有價值的、可用的 3D 的模型。
它的表達方式是 mesh,帶貼圖材質 PBR,并且可以在像遊戲、動畫、元宇宙、XR、MR,包括數字孿生、仿真模拟等等行業裡去用起來。
同時我們做了很多有意思的風格化,比如像素化、樂高化、網絡化等,可以讓大家端到端地在各個行業裡面使用,例如 3D 打印、鞋服家具等場景。
我們不只做了靜态的模型,還做了骨骼的自動綁定,動作的生成,也就是用戶可以在 3D 空間裡進行實時互動,和朋友社交,一起探索新的世界。
相較于語言大模型、圖片大模型、視頻大模型,3D 生成模型(及背後技術)可能比較新。
2024 年年初 Tripo1.0 剛剛發布的時候,我們認為它的水平類似于手機攝像頭 360p 分辨率的水平;現在 Tripo2.0 上線,成熟度已經達到了類似于 720p 分辨率的水平;明年,Tripo 的成熟度會達到 1080p、甚至 4k 的水平。
雖然 3D 生成技術現在還是半成熟的狀态,但是發展速度是非常快的。
3D 生成技術的三步走計劃
來到量子位的 MEET2025 大會,我們想 " 炫耀 " 一下我們的論文。
2023 年,VAST 發了一系列論文,包括六投六中的 CVPR,還有 ECCV 、SIGGRAPH;今年又發了幾十篇新的論文。剛剛在東京結束的 SIGGRAPH Aisa,我們拿了 Best Paper,技術團隊上周剛剛從東京領完獎回來。
VAST 還做了很多開源的社區貢獻,這個也非常關鍵。
我們開源的項目包括世界最大的 3D 生成算法框架 ThreeStudio、圖生 3D 的鼻祖 Wonder3D,還和 Stability AI 一起開源了 TripoSR。最近又開源了一些新的項目,也歡迎大家關注。
技術層面上,我們認為主要分 3 步走——
第一步是靜态的内容生成。這個很好理解,就像生成一個個雕塑。
第二步是動态的内容生成。原本靜态的雕塑可以動起來,和用戶互動(甚至可以把雕塑的頭擰下來當頭踢)。
第三步,我們認為明年年底之前,每個人都可以零門檻、零成本地進行實時的 3D 内容創作。
大家可能會問,除了愛玩遊戲,我本人還有什麼别的理由要要投身 3D 生成技術領網域?
3D 其實非常特殊。文字、圖片、視頻、3D 包括音頻這些信息載體或内容媒介中,3D 是一直缺乏屬于自己的 UGC 内容平台的内容媒介的。
所以說我們認為,3D 版抖音是有機會誕生的。
可以看到,不管在移動互聯網時代還是互聯網時代,文字、圖片、視頻的 UCG 内容平台,一直是巨頭之所以為巨頭的關鍵路徑。那麼 3D 是不是也會有自己的類抖音平台?
經過 VAST 自己和一些合作夥伴的大量嘗試,我們發現 3D 現在的創作門檻還是太高了,還是缺乏一個屬于自己的 " 攝像頭 " ——你很難想象沒有手機攝像頭,你怎麼玩小紅書、怎麼用抖音去分享你自己每天的生活。
3D 是不是有機會先出現一個大眾級别的創作工具,降低用戶創作的門檻、降低用戶創作的成本,并且讓大家實時進行創作,才有機會誕生一個所謂的 3D 版抖音。
3D 版抖音誕生需要什麼樣的創作工具?
那麼這個大眾級别的創作工具是什麼?就是剛剛提到的 3D 大模型。
我們認為在第一階段,也就是截至快結束的今年,3D 生成技術已經達到 720p 分辨率水平,并聚攏百萬級開發者;到了 2025 年,開發者數量會達到千萬級别。
這些 AI 3D 的原生創作者,不會再去做很重磅的遊戲。就像之前米哈遊創始人蔡浩宇講過的,未來 0.0001% 的頂尖人才還是會繼續做遊戲,但 99.99% 的人其實轉向根據自己的興趣随意創造遊戲。
到 2026 年,這些原生的 AI 3D 創作者會探索出一些新的 3D 内容範式,這就需要有一個全新的 UGC 3D 内容平台去承載和分發。
而且現在還處于第一階段時,3D 生成已經在一些場景裡實際落地了,比如說傳統的 CG、遊戲、動畫、影視、虛拟制作,還有傳統的 TMT,涉及到直播、教育、電商等等;還包括傳統的工業、3D 打印、工業設計、鞋服、家居、首飾、玩具、文具、燈具、香薰、蠟燭、文創、食品等行業;當然還包括所謂的新興行業,也就是空間智能(這個行業會得到長足的發展),比如說元宇宙、XR、MR、具身智能的仿真模拟、數字孿生、數字人等。
3D 生成已經解決了一些核心的問題:
原來我們做 3D 模型,需要幾百美金,便宜點也需要幾十美金。現在你去做一個 3D 模型,只需要 0 元。
原來需要幾天甚至幾周時間做一個 3D 模型,現在只需要幾十秒。
原來需要高昂的設備的成本,需要專業的兩三年建模經驗的建模師,現在零門檻。
同時我們還可以實現規模化和個性化。
" 讓所有人零門檻創建有意思的 3D 内容 "
目前,全世界前十的 3D 打印公司裡,超過一半是我們的客戶,并且已經上線使用了。
原來的 3D 打印在全世界有幾百萬人群,他們都不會建模。現在每個人都能用 AI 3D 的能力建自己的模型,生成一條賽博朋克的魚,或者皮卡丘和鋼鐵俠的結合體,生成後再打印出來,就擁有自己獨一無二的手辦了——這是完成定制化的需求。
于是,有很多首飾、手辦、積木玩具的廠商,可以利用 AI 3D 快速生成自己想要的款式,然後放到市面上看大家的反饋。尤其最近要過年了,還能快速做一些定制化的 toB 禮盒。
除了用于商業化場景,其實每一個人都可以做自己想要的 3D 的工業設計和產品需求,包括我自己。
所有的普通用戶都可以在 Tripo3D.AI 裡生成自己想要的工業設計,而且和想象中一模一樣,然後直接打印出來,比如做一套自己的國際象棋棋子。
今年年中,VAST 在海外有上千個用戶上傳了自己用 Tripo 生成的一部部動畫。
這就是 3D 生成現在已經達到的成熟度。
我不會建模,沒有學過 Blander、Maya、3D Max,也不會 Unity 或者 UE,我也不是一個 3D 内容創作者。但我自己嘗試借用 Tripo 的能力,花了一個早上的時間,做了人生中第一部動畫。
所以我敢說,現在已經能夠讓每個人零門檻地去創作這麼有意思的 3D 内容。
我們的用戶裡有一個哥們特别有意思。
他用 Tripo 生成了幾百個 3D 模型,拼成了一個太空站,做了倆視頻,覺得自己很牛,發了一個推特,馬斯克覺得也很牛,就轉了,在全球範圍内有 1 億的播放量。
還有另一個創作者也非常有意思,他用我們的 3D 生成能力搭建了一個自己的 XR 空間。
他把每天遇到的開心、糟心的事情告訴 AI,AI 根據内容生成各種各樣有意思的手辦、城堡,像是一本 3D 日記。他既可以邀請别人來逛他的 3D 日記本,也可以邀請大家來這裡一起創作。
我想說的是,在 XR 的時代,當虛拟現實世界到來了以後,我們看到 3D 生成會帶來一種新的互動形式,就像一個成語形容的那樣," 言出法随 "。
在虛拟現實的世界裡,很重要的一個核心技術,就是成熟的 3D 生成技術。
最後介紹一下 VAST 的 slogan:
為世界進文明,為人類造幸福。
感謝大家的時間!
— 完 —
點這裡關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>