今天小編分享的科技經驗:虛拟現實的新血液,AI賦能下的3D建模行業,歡迎閱讀。
生成式 AI 的上限在哪裡?這個問題的答案或許在短時間内都不會有答案,至少現在生成式 AI 似乎又征服了一個新的領網域。此前,生成式 AI 的工作範湊主要集中在文字處理、繪畫、聲音處理等方面,但是生成式 AI 的能力顯然遠不止于此。
近日,開源生成式 AI 公司 Stability AI 正式發布了 Stable Animation SDK,以及備受關注的 Stable Diffusion 模型(以下簡稱 Stable)也正式公布新版本,現在用戶可以更好的控制 AI 生成的 3D 模型,并且對特定參數進行修改。
或許很多人看到這個消息的想法是:"3D 模型?是指方塊、長條之類的東西?",畢竟在多數人看來,真正的 3D 建模復雜性恐怕是普通 AI 難以處理的。不過,生成式 AI 的魅力就在這裡,通過對數據的處理與分析,配合對自然語言的理解,如今的 AI 可以根據描述生成更加復雜、完善的模型,并不僅限于簡單的方塊模型。
在此之前,Stable 就因為可以将 2D 畫面、描述直接轉換成 3D 模型而引起了許多關注,Stable 生成的 3D 模型在精細度上雖然比不上專業人員花長時間搭建的模型,但是考慮到生成所需的時間,也足以帶給大家不小的震撼。
而在 Stability AI 公布的最新演示視頻中,Stable 的 3D 模型已經不僅限于靜物,即使是一直在運動的人物形象,也可以輕松轉變為 3D 模型,并且運動的幅度、姿勢都與原版十分接近。類似的技術在動畫制作中其實經常被用到,一些動畫為了讓畫面、物體顯得更具有立體感時,就會通過 2D 轉 3D 的方式來制作這段畫面,凸顯畫面的張力
圖源:Stability AI
而在傳統的動畫行業裡,想要将 2D 畫面轉為 3D,需要不少工作人員忙碌一段時間,而在 Stable 的幫助下,只需要将 2D 畫面輸入模型中,即可獲得高質量的起始 3D 模型,大幅度降低建模所需的時間與成本。
當然,如果只是這樣,或許也就從業者會高興,對于廣大網友來說,Stable 又有什麼用呢?關鍵就在于 Stable 的 3D 模型生成并不需要精細的引導,即使只是簡筆畫,Stable 也可以生成出大差不差的 3D 模型,比如這幅如圖幼兒園小孩般的塗鴉,經過 Stable 的 " 潤色 " 後就變成了一個還算能看的 3D 畫面。
圖源:YouTube
讓你的一切繪畫作品,甚至文字動起來,這就是 Stable 的期盼與目标。所以,Stability AI 的所有成果都是直接公開,以開源的方式提供給網友使用,對于廣大二次元愛好者來說,或許這是讓他們的 " 紙片老婆 " 們動起來的最簡單方法。
而且從 Stable 的 3D 動态模型生成能力中,我們也可以看到一些未來的應用場景,比如更低廉、便利的動作捕捉系統,理論上只要算力足夠,就可以通過攝像頭捕捉的畫面實時生成對應的 3D 模型動作。
除此之外還有什麼妙用呢?不知道大家是否有看過近日的一個熱聞,海外網紅 Caryn Marjorie 通過與 AI 團隊合作,用 GPT-4 復制了一個數字版的自己,然後将數字版的使用權以每分鍾一美元的價格出售給自己的粉絲。
在短短的一周裡,Caryn Marjorie 就以此獲得了 7.1 萬美元的收入,而她提供的僅僅是語音對話閒聊服務。作為視覺生物,我們對于聲音的敏感度其實要低于畫面,如果 Stable 也被應用到相關領網域,是否可能打造出真正意義上的 AI 女友呢?可動、可聊,足以撫慰你空虛的内心。
咳咳,好吧,這個話題先打住,至少在目前的模型效率和算力規模下,個人想要實現實時且高規格的 3D 動态模型生成,恐怕還十分困難,但是考慮到半導體行業的進步速度,或許這一天離我們并不遙遠。
Stable 此前最大的問題在于只能根據描述或影像來生成 3D 模型,如果生成的效果不好,只能重新調整影像或文字信息來重新生成,根據顯卡的性能不同,3D 模型的生成時間也會有所區别,相較于 ChatGPT 等傳統問答式 AI,Stable 的時間成本高很多。
所以,雖然 Stable 的 3D 模型生成效果遠優于以往的類似應用,使用場景卻十分受限,僅僅是能夠給社區愛好者提供一個簡單便利的 3D 模型生成工具。一直以來,社區用戶都希望 Stability AI 就可以給 Stabel 增加參數調整功能,這樣就可以對不滿意的模型細節進行修改。
Stability AI 給出的回應就是 Stable Animation SDK,該接口可以被加載到 Stabel 的模型中,用戶在使用 Stabel 生成 3D 模型後,可以通過接口直接輸入對應的參數,調整或增加模型的細節,讓模型更符合用戶的要求。
圖源:Stability AI
從接口的描述檔案來看,支持修改的參數非常多,從基礎的顏色、形狀、大小、紋理到動作姿勢等都可以進行調節,而且調節過程并不需要輸入專業數據或是名詞,只需要如圖生成 3D 模型時一樣輸入文字信息即可。
比如你生成了一只小狗的 3D 模型,然後覺得小狗身上的花紋不太滿意,只需要從接口輸入你想要的花紋描述,Stabel 就會根據描述對模型進行修改并重新渲染相關圖層。
除此之外,Stable Animation SDK 還支持動作命令的輸入,可以讓靜态的 3D 模型直接執行你的動作指令,比如你渲染了一只飛龍,然後輸入指令 " 讓龍飛起來噴火 ",Stable 就會開始對 3D 模型進行動作渲染。
而且 Stable 還提供攝影功能,用戶可以調整拍攝機位、照明效果、背景等一系列的參數,對 3D 模型進行靜态和動态的錄像。是的,大家估計都猜到了,3D 建模、3D 動畫等與 3D 建模有關的行業,都将會感受到來自 AI 的 " 溫暖 "。
另外,部分網友認為 Stable 與虛拟現實設備結合,或許會讓虛拟現實設備的生產力表現得到飛躍式提升。大家應該都看過漫威電影《鋼鐵俠》,電影主角史塔克就擁有一個高級人工智能程式 " 賈維斯 ",在史塔克制造鋼鐵俠铠甲時給予了許多幫助。
圖源:鋼鐵俠
其中一個片段就是史塔克通過對話直接生成了一個零件的 3D 模型,然後對其進行調整并應用到铠甲上,這套流程聽起來是不是有點耳熟?沒錯,某種意義上這就是 Stable+ChatGPT 的未來版本,通過對話直接創造出 3D 模型,讓設計師可以在虛拟現實設備中直接檢視物品的外觀、使用效果等。
将這個過程放到現實生活照,就相當于将產品設計中最耗時的打樣、調整過程簡化,實質性的提高產品從設計到落地的整個流程效率。而且,結合虛拟現實設備的功能,甚至可以讓設計師提前在虛拟現實中使用和體驗自己的產品。
當然,現在的產品設計流程中,其實就已經廣泛利用類似的 3D 模型軟體來渲染場景,但是 Stable 的優勢在于生成的速度,本來需要數小時甚至數天進行調整渲染的模型,如今只需要十分之一或更短的時間即可生成,背後所帶來的效率提升不言而喻。
随着生成式 AI 的遍地開花,可以看到 AI 對我們的社會、生產等方面會造成十分深遠的影響,今天是 3D 模型,明天又會是什麼?我非常期待。