今天小編分享的科學經驗:Sora新視頻只發TikTok:OpenAI 4天漲粉10萬,歡迎閱讀。
Sora 新視頻,變成 " 抖音獨占 " 了。
悄無聲息,OpenAI 正式殺入 TikTok,加上洗腦配樂直接讓人刷到停不下來,瘋狂引流吸粉中:
短短 4 天,漲粉 10 萬,50 萬贊——這還是不打槍不宣傳的情況下。
這以後,人類創作者還怎麼玩?
Sore 新視頻,只發 TikTok
在 OpenAI 剛開的 TikTok 認證帳号上,悄然更新了不少全新生成視頻。
每一個都很有特點,同樣引發各路熱議。
來感受一下:
a16z 合夥人驚呼,如果這是在信息流裡刷出來的,絕對分不出真假。
我看過很多 AI 視頻了,但這一條感覺到了轉捩點。
來到真實的短視頻消費場景中,就更顯 Sora 與競品代差明顯:太逼真,以至于要特别聲明不是真的。
OpenAI 可太擔心 AI 視頻被當真引起不好影響了,不遺餘力的以各種方式提醒 " 這是假的!這是假的!"。
網友開始發出這樣的預警:
從現在開始,你在網上看到的一切都是值得懷疑的,不要相信你的眼睛。
有句老話叫 " 互聯網時代,沒有人知道你是一條狗 "。
現在正式更新成 "Sora 時代,沒有人知道你是一條不存在的狗 "。
下面再來欣賞幾個 " 抖音獨占 " 版 Sora 視頻:
超微距追蹤蟻群,效果堪比紀錄片。
以前 DALL · E 3 畫的靜态圖也可以拿出來重復利用,Sora 加工一下再配上電音,就成了爆款舞蹈視頻。
還特意用一條長達 1 分 24 秒的視頻,展示了類似抖音特效的 AI 視頻編輯能力。
直接搞得不少短視頻創作者心态爆炸,要退坑了。
甚至連平台本身都被降維打擊。
全球估值第一的獨角獸字節跳動,與剛剛躍升第三位的 OpenAI 之間,似乎正醞釀着一場對決。
UGC 王者和 AIGC 新貴之間,終有一戰。
" 字節版 Sora" 也在研發
實際上,在 Sora 一夜爆火之前,字節内部并不缺乏 AI 視頻技術。
甚至其中一款Boximator還被傳成是 " 中國版 Sora"。
在 Sora 發布之前 Boximator 的論文就已經公布,由字節 AI 實驗室總監李航領銜。
其實 Boximator 的功能并非根據純文字生成視頻,而是按照文字提示将靜态圖片動态化。
它以字節去年 11 月推出的PixelDance為基礎模型,加入了新的動作設定方式——
從影像中框選物體,然後設定運動終點或直接繪制軌迹,就能對動态效果進行精細控制。
形式上,Boximator 作為一個插件,與現有的視頻擴散模型結合使用,通過凍結基礎模型的權重,僅訓練控制模塊來實現這一功能。
比如,通過框框畫畫,讓小哈基米按照一定的軌迹追着球跑。
效果上,雖然也有 bug(飄走的雨傘沒有傘柄),但與 Pika 1.0(中)和 Gen-2(右)相比,Boximator 的動畫明顯更加完整,也更接近文字提示。
從材質和物理效果上看,也是 Boximator 更勝一籌。
技術層面,從架構上看,Boximator 在視頻擴散模型的每個空間注意力塊中增加了一個新的自注意力層,用于處理由對象 ID、硬 / 軟标志和邊界框坐标編碼的控制 token。
為了簡化學習 " 框 - 對象 " 關聯的挑戰,Boximator 在訓練過程中還采用了一種稱為自跟蹤(self-tracking)的技術。
那麼 Boximator 到底算不算 " 字節版 Sora"?
字節對此傳聞,以辟謠的姿态來回應:
Boximator 是視頻生成領網域控制對象運動的技術方法研究項目,目前還無法作為完善的產品落地,距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。
Boximator 建立在之前 PixelDance(基礎研究)、MagicAnimate(專注于人體動作)等更多字節團隊研究基礎之上的最新成果。
總的來說,這些技術并非針對 Sora 特意開發,但在 AIGC 大戰如火如荼的背景之下,仍不失為一種" 戰備 "。
再加上年前原抖音 CEO 張楠卸任,專注于剪映,奔赴 AIGC 風口。
可以說雖然 Sora 的發布很突然,但字節并不是毫無準備,或者說早就在業務推進中感知到了技術趨勢。
而相比 OpenAI 與字節這樣早晚要有的對決,視頻行業上下遊其他選手,更像是遭遇了一場飛來橫禍。
視頻編輯、素材站遭殃
Sora 的第一刀,其實砍向了 Adobe。
5 天過去了,股價跌跌不休,市值蒸發過百億美元。
危機時刻,Adobe 剛剛緊急宣布,組建了一個 50 人的 AI 研究團隊。
但是這投入的力度,沒讓大家看出誠意。
29945 員工中的 50 人,只占 0.16%。
Adobe 代表的是沿用近 30 年的視頻生產、編輯工具,服務于内容創作者。
不轉型就會變成下一個柯達、諾基亞,但轉型也被認為面臨很大挑戰。
比如有人指出,Adobe 坐擁大量數據,但要用過去創作者的成果去訓練 AI,就會與這些用戶關系緊張。
也正是因此,Adobe 的 AI 生圖工具 Firefly 并沒有在自家創意作品社區 Behance 的數據上訓練,有些束手束腳。
又比如從過去 Adobe 在 AI 生圖的表現來看,效果比 Midjourney 尚且很大差距,如今在 AI 視頻上又該如何面對 OpenAI 的技術代差。
Adobe 之外,受衝擊第二大的就是素材供應商了,代表公司 Shutterstock 的日子也不好過。
連馬斯克都認同 " 這個行業可能消亡 " 的觀點。
不過 Shutterstock 也給自己找好了退路,早早與 OpenAI 籤訂了合作協定,從素材供應商開始轉型訓練數據供應商。
這幾天不斷刷屏的 Sora 視頻中,就有不少 Shutterstock 圖片的影子。
還有人開玩笑說,Sora 名字四個字母不會就是代表 "Shutterstock 原創,AI 攪拌 " 吧。
參考鏈接:
[ 1 ] https://www.tiktok.com/@openai
[ 2 ] https://boximator.github.io/
[ 3 ] https://twitter.com/bilawalsidhu/status/1760076742679552273