今天小編分享的科學經驗:“Sora概念股”一片紅!最新視頻再上強度,有人都開始復現了,歡迎閲讀。
果然,所謂 "Sora 概念股 " 在龍年首個交易日一片紅了。
甚至其中不少公司,去年同一時間也被算在 ChatGPT 概念股裏面……
而主角 Sora 在持續刷屏 72 小時後,勢頭依然不減,還有新能力被不斷發掘出來。
比如這段 " 寄居蟹用燈泡當外殼的夜間場面 "。
海浪與沙灘的互動非常細膩,寄居蟹腿上的纖毛也活靈活現。
對比真實拍攝的類似場景照片,也就燈泡沒有電源不應該亮這一個明顯破綻了。
所以説,Sora 到底算不算理解了世界、掌握了物理規律還有争議。
但説它理解了《我的世界》恐怕沒人有意見。
這段 "《我的世界》最華麗 8K 高清材質包 ",連遊戲的 UI 都準确且保持穩定,也揭示了訓練數據中很可能包含大量遊戲畫面。
當生成純現實場景時," 小貓在大雨中的後街尋找遮蔽物 " 讓 Sora 開發領隊 Tim Brooks 直呼 " 快來個人收養它 "。
另一位領隊 Bill Peebles 則發掘出 Sora 生成設計一系列事件的完整故事的能力,在試驗中他安排了四個連續事件:
金毛和薩摩耶穿過紐約
出租車停下來讓狗狗通過人行橫道
它們經過卷餅和熱狗攤
最後它們看到百老匯招牌
Peebles 表示 Sora 的表現還遠稱不上完美,但也算是勝任了。
内測已經三天,Sora 還在不斷帶給人們新的驚喜。
現在網友們只想擁有一件事,那就是 Sora 訪問權限。
與此同時,經過第一波震撼之後的科技圈各方勢力也逐漸緩過勁來,紛紛圍繞 Sora 展開了自己的行動。
終成圈内外頂流
馬斯克是最坐不住的。
一邊抱怨自己出錢創辦的 OpenAI 從開源,轉向盈利。
一邊曬特斯拉一年前就可以精準模拟自動駕駛環境的視頻了:
展示中,特斯拉可以模拟各種駕駛環境,比如給出直行的指令,模型就能自動生成模拟汽車直行的視頻:
同為 AI 生成視頻的Pika也迅速跟進,緊急推出 " 文本一致性 " 參數設定功能,可以讓 Pika 更貼近 prompt 或者是更有創意:
不出所料,有網友就評論了 " 什麼時候會針對 Sora 推出新版本 ":
對于這個問題,Pika 創始人郭文景最近也在接受钛媒體采訪時表示 " 已經在籌備直接衝,将直接對标 Sora",不過具體計劃暫時還未透露。
此外,音頻這邊也趕緊跟進了一波,給 Sora 生成的視頻配音!
之前爆火的 AI 語音合成初創公司Elevenlabs就做了一段醬嬸兒的視頻:
英偉達科學家 Jim Fan 也轉發點評了一番:
這段音頻基于文本提示,但其實應該是同時作用于文本和視頻,若要學習精确的視頻到音頻的映射,還需在潛在空間中模拟一些隐式的物理定律。
更具體一點,要在視頻的基礎上直接配音,Jim Fan 認為 end2end transformer 必須要關注以下幾點問題:
識别每個物體的類型、材質和空間位置;理解物體之間復雜的相互作用;識别環境;從模型的内部存儲器中檢索物體和周圍環境的典型聲音模式;運用物理定律來組合和調整聲音模式的參數,甚至可以即時合成全新的參數;在復雜場景中,模型需要根據空間位置疊加多個音軌。
國内大夥對 Sora 的讨論也非常熱烈。
框架大神賈揚清用 5 個字總結了 Sora —— " 真的非常牛 ",他還從不同角度給出了 4 點短評:
對标 OpenAI 的公司有一大波被其他大廠 fomo 收購的機會;
長線閉源寡頭,開源還需要一段時間才 catch up;
從算法小廠的角度,要不就算法上媲美 OpenAI,要不就垂直領網域深耕應用,要不就開源;
infra 的需求繼續會猛增。
360 集團創始人周鴻祎這次對 AGI 的看法來了個 180 度大轉變:
人類對 AGI 的突破,可能就剩下最後一步了。
他在小紅書發布了一段視頻,認為 "Sora 生成視頻堪比 CG"。
除對 Sora 的效果感到驚訝外,周鴻祎還猜測 Sora 背後技術關鍵有三:
并不是使用傳統的 3D 建模然後再進行渲染,應該還是通過大量訓練模拟了人類觀察世界、描繪世界、表現世界的能力;
Sora 的訓練輸入,不僅包含大量視頻電影的數據,Sora 不僅能解讀出畫面中有什麼元素,還能理解物理定律;
OpenAI 應該自己產生了很多 3D 内容,利用 3D 模型将物理知識輸入給 Sora。
還有其他網友爆出 MSRA 前資深研究員梅濤對 Sora 的看法,其中就講到 Sora 是一個裏程碑式的技術進步。
不過他認為 Sora 要實現商業化還需要解決可控性、Prompt 的挑戰," 如果説實現商業化需要做到 100 分(60 分技術 +40 分場景),以往人工能做到 90 分,Sora 的出現只解決了那 60 分,甚至到 75 分 "。
值得一提的是,學術界這邊,有消息透露有人已經開始組隊復現 Sora 了:
One More Thing
關于 Sora 這個名字的含義,它不像 GPT 代表 " 生成式預訓練 Transformer" 一樣是技術名詞的縮寫。
大家紛紛猜測來自日語 " 空 " 的發音,ChatGPT 賬号也用一首歌名給出相關暗示。
那麼 Sora 到底什麼時候能玩上呢?
有網友預測,如果按照 DALL · E3 的發布節奏,2 月 25 日和 3 月 16 日附近,值得期待~
參考鏈接:
[ 1 ] https://twitter.com/_tim_brooks/status/1759128729908085199
[ 2 ] https://twitter.com/DrJimFan/status/1759287778268025177
[ 3 ] https://twitter.com/model_mechanic/status/1759343673484165262
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>