今天小編分享的科技經驗:能生成完整劇集的AI來了,GPT-4輔助寫劇本,輸入提示幾秒生成一集《南方公園》,歡迎閱讀。
從 1997 年流行至今的動畫劇集《南方公園》今年 3 月剛剛更新完第 26 季,不過說起下面這集,你可能不太會有印象。
卡特曼有一天從最近的好萊塢抗議 AI 罷工事件中得到啟發,突發奇想要做一個新的商業項目:一款名叫 Queepi 的在線深度偽造(Deepfake)服務,來給現成的影視作品裡的角色換臉,解決好萊塢将沒有新作供應的危機。
他先找到了 Bizney 公司,想讓 Bizney 成為 Queepi 的天使投資人,卻被發言人告知," 除非你能找到另一個願意投資你的人 "。
接着卡特曼又和他的小老弟 Butters 找到了投資中介人 Andreessen,一番讨論之後決定先找幾個演員談談肖像權合作。
第一個是哈裡森 · 福特。但福特拒絕了卡特曼,原因是他已經和某個非常有名的科技巨頭籤訂了類似的合作。
第二個是梅麗爾 · 斯特裡普。斯特裡普先是表明自己堅定地站在好萊塢罷工者們一邊,接着以 AI 會模糊現實和虛假的界限、搶走演員們的飯碗為由拒絕了卡特曼。她也神秘地說自己和某個科技巨頭有約在先了。
第三個是湯姆 · 克魯斯。從湯姆 · 克魯斯這裡卡特曼才知道,這幾個大牌演員共同的籤約對象是——埃隆 · 馬斯克。
湯姆 · 克魯斯沒有明确拒絕卡特曼,反而樂意充當中間人介紹馬斯克給卡特曼認識。
馬斯克這邊正在策劃一個把一批知名演員送上火星,美其名曰保護人類文化遺產的項目。有湯姆 · 克魯斯在一邊說好話,馬斯克決定考慮考慮投資卡特曼這個 " 變革娛樂產業 " 項目的事情。
故事的結局是,開始卡特曼還開心地跑到 Bizney 公司準備這家正在觀望的公司入夥,不多久就得知,老奸巨猾的馬斯克根本沒有把他的項目放在心上,繼續忙他的火星計劃去了。
這個名為《Queepi 窘境》的滑稽故事看起來和《南方公園》的其他故事都是差不多的畫面和風格,但炸裂的消息是,這個故事從頭到尾的編劇、導演、剪接和配音,都是由 AI 完成的。
一家名叫 Fable 的舊金山初創公司在最近發布了這個叫做 "Showrunner" 的 AI 技術成果。Showrunner 目前能夠在一些既有的影視作品(IP)的基礎上,生成以用戶的想法為主的全新作品。
Fable 成立于 2018 年,最早是作為 Facebook(現 Meta)旗下 Oculus 的一個部門誕生,早期主要在做 VR 電影的相關項目。
Fable 曾憑借 VR 電影《Henry》拿到了它的第一座艾美獎,後來又憑借由其打造的虛拟人 Lucy 出演的 VR 電影《Wolves in the Walls》再度拿下艾美獎。而就在 7 月早前,虛拟人 Lucy 還獲得了皮博迪獎。
不過,現在 Fable 則把相當一部分精力放在了探索 AI 内容上。
"Lucy 的問題在于她沒有過去,因為她從未真正生活過。"Fable 的 CEO Edward Saatchi 不久前在接受采訪時說道," 她是一個虛拟人,但她無法通過說 ‘我也有寵物,後來它死了,所以我知道那種感覺’這樣的話和真人產生關聯。"
讓 AI 擁有自己的生活,這幾乎成為 Fable 探索 AI 的出發點。
Showrunner 便是這家公司目前 AI 研究成果的一次集中展示。
除了文章開頭提到的故事,Fable 其實還用 Showrunner 生成了另外幾個與之劇情相關聯的《南方公園》的故事。比如其中一個就是關于 Bizney 公司創造了一個種族歧視的機器人豬伴侶,結果給公司造成了公關噩夢。
另一個故事講的則是,投資中介人 Andreessen 發現馬斯克綁架了好萊塢知名演員到火星和他一起生活,并從 90 年代就開始對他們出演的電影進行深度偽造。
從 Fable 發布的論文來看,Showrunner 用到了由其命名的 Show-1 模型,并且該模型主要用到了 OpenAI 的大語言模型 GPT-4,影像自定義的擴散模型和多智能體模拟等來進行訓練。
如,GPT-4 主要用來影響模拟中的智能體(角色)并生成《南方公園》劇集的場景。
有趣的是,GPT-4 的訓練數據集原本就包括了《南方公園》大部分劇集,所以它已經對每個角色的個性和語言風格都提前有了了解,所以這次也無需做定制。
擴散模型方面,Fable 則從以往的劇集素材中收集了一個由大約 1200 個人物和 600 張背景圖片組成的綜合數據集,作為模型學習該劇風格的原材料。
經過擴散模型的訓練,可以為每個新作品生成新的單個角色和單獨背景,來為後續拼接做準備。
多智能體模拟則是讓劇中的角色智能體真正能 " 擁有自己生活 " 的關鍵一步,想象一下《西部世界》裡的場景,此時劇中的角色等于說已經可以進行相互訓練了。
而到了用戶這裡,操作界面就變得非常簡單。
用戶只需要進入 Fable 搭載了 Showrunner 技術的產品 "Simulation",在《南方公園》大地圖中選擇一個期望的主角,以及其他的角色、場景等,并輸入一段 prompt,稍等片刻就可以生成一個嶄新的故事。
比如開頭提到的故事,輸入的 prompt 就是:
卡特曼聽說美國演員工會正在進行罷工,孩子們都在擔心未來不會有新的作品推出。卡特曼宣布了他的商業創意:一個叫做 Queepi 的在線深度偽造服務。
對故事的幹預程度也完全可以根據用戶自己的偏好而定。
Fable 稱,用戶可以通過以下三種方式來生成故事:一是讓 Simulation 自動創建劇集,二是給出一兩句話的提示,三是針對細節,可以逐個場景編輯對話場景并重新生成。
此外,用戶甚至還能把自己作為主角或其他角色放進去。
Show-1 的角色擴散模型允許用戶通過影像到影像的 Stable Diffusion,根據自己的長相創建一個角色,作為參與的智能體加入模拟。由于用戶也可以克隆自己的聲音,因此通過擴散模型創建用戶自己的角色也不是難事。
Fable 的 CEO Saatchi 就創建角色主演了自己的《南方公園》劇集。
從最後的效果來看,新生成的劇集幾乎已經是 " 以假亂真 " 的程度。
拿《Queepi 窘境》這集來說,盡管它可能不是最有趣的故事,但它已經完整地包含了開頭、中間的轉合和結尾,并且當中的 13 個角色,每個人的台詞都符合各自的背景、個性、語言風格和動機,甚至交代地點的空鏡也非常貼合。
把它放給一個不知情的觀眾看,可能也很難想象這是 AI 創作出的作品。
這樣的跨越意義非同尋常。
從目前許多大模型的表現來看,一般擅長的都是完成短期任務。就像可能在幾天前用戶想靠大模型生成一段視頻,方法還都是比如先用 ChatGPT 生成劇本,用 Midjourney 或 Stable Diffusion 生成人物形象,再用 Runway 之類的視頻生成工具去生成畫面,最後再把片段剪接到一起。
還沒有一個模型能夠生成足夠完整、有構思規劃的長篇故事和影視劇集。
更重要的是,AI 智能體們可能從此将像《西部世界》裡演繹的那樣擁有自己的栖身之地,在這裡它們有完整的生命,可以彼此對話,產生連接,發生故事……
Fable 似乎也并不滿足于只借助他人的 IP 去生成《南方公園》這樣的新故事。早先,Saatchi 就宣布 Fable 将創建一個充滿 AI 角色的世界——這些角色将由真人訓練,在虛拟世界中生活。
" 我們推出 Simulation 的目标是通用人工智能(AGI),"Fable 幾天前通過 @fablesimulation 的官方賬号發文談到,"AI 是真正活着的,而不像很多聊天機器人一樣只在人類有需求的時候才被喚醒, ‘ AI 人’能夠在模拟世界中每天過着真實的生活,并随時間慢慢成長。"
Fable 還希望用戶能夠像 " 那就是真實的人在生活 " 那樣看待現在這些 AI 生成的劇集。
對此,英偉達首席 AI 科學家 Jim Fan 還興奮地斷言," 多智能體模拟,将是新興智能的下一個前沿。 "
不過,Fable 風險可能在于,它現在剛好站在了好萊塢抗議 AI 罷工的風波之中。
7 月中旬,繼編劇停工兩個多月之後,美國演員公會也發起了罷工,要求抵制潛在的 AI 侵襲。據稱這可能導致 60 多年來美國電影業最嚴重的一次癱瘓。
Fable 做的事,看上去恰好一拳打在了編劇演員們的憤怒點上。
拿《南方公園》來說,據報道,這部劇的每一集都是在 6 天之内制作完成——在開會腦暴之後,編劇寫出劇本,然後由動畫師、編輯、技術人員和音響工程師組成的整個團隊完成制作,一周下來要工作 100-120 小時。
但随着 Simulation 這樣的產品出現,不知道又會有多少人丢掉飯碗。甚至有媒體稱 Simulation 的推出是 " 所有好萊塢從業者恐懼的總和 "。
從社交網站的評價來看,網友對 Simulation 生成《南方公園》劇集這件事的評價還是比較兩級的。支持者期待着能用這一工具改寫爛尾的《權力的遊戲》,驚嘆于它的模仿能力,甚至預言它将能提高影視團隊的生產力。
反對者則認為,Simulation 并不懂什麼是影視制作,稱它竊取了他人的成果,AI 就是純粹的 VC 騙局;
潘多拉的魔盒一旦打開,就關不上了。
也或許是出于輿論壓力,Fable 的公開發言都在反復強調《南方公園》劇集的生成 " 僅供研究使用 "," 我們不會開放讓用戶創造自己的《南方公園》劇集的功能,因為這不是我們的 IP!"
據 Fable 稱,其正在與創作者合作,會在今年晚些時候宣布幾個基于原創 IP 的Simulations 生成的電視節目,包括了一個太空探索模拟 " 獎金 ",一個諷刺矽谷的模拟 " 退出矽谷 ",以及一款可玩性較高的偵探模拟 " 查理 · 木星 "。
Saatchi 似乎沒有那麼擔心 Fable 的未來,幾天前他在采訪中就針對當前好萊塢的罷工風波表示,
" 我們覺得(推出Simulations 的)時機是正确的。通過發布研究成果,我們希望好萊塢工會能夠協商強有力的保護措施保證藝術家的權益,同時知識產權持有者也需要弄清楚如何與商業化的人工智能公司進行談判。"
" 這次罷工是制定未來十幾年規則最大的杠杆時刻。"