今天小編分享的科學經驗：Gen-4掀翻AI視頻牌桌！一條龍制作故事短片，只需提示詞和參考圖，歡迎閱讀。
Runway 帶着新一代視頻生成模型 Gen-4 殺回來了！
功能強大到只要幾張參考圖和簡單提示詞，就可以生成電影級别的大片。
性能上則是主打世界一致性、高動态高保真和可控性，自稱是新的 SOTA 模型。
比如在這段半分鍾的視頻裡，女主先後進行了開車等一系列動作，出現了不同的視角，但角色形象始終都保持一致。
并且在物理規律理解上也表現出色，用 Runway 自己的話說是 " 理解物理世界的重要裡程碑 "。
不管是固液表面還是柔性物體，以及光學中的透射反射，Gen-4 都能真實還原。
當然 Runway 的野心不止于此，在他們看來，Gen-4 專為講故事而設計，并指出" 會講故事 " 才是 AI 的新基準。
并且還放出了幾個純 Gen4 制作的微電影，每個時長都超過了 100 秒。
比如這段《The Lonely Little Flame》，講述了主角渴望尋找朋友并最終得償所願的故事，整段視頻從頭到尾都是用 Gen-4 完成。
有網友評論說，之前自己并不看好 Runway，但是現在 Gen-4 讓他刮目相看，直接把牌桌掀翻了。
據 Runway 介紹，此次 Gen-4 主要有這樣幾個亮點：
可生成具有逼真動作的高度動态視頻，
僅需單個參考影像，就能創造不同場景的視頻，并且主題、對象和風格一致；
具有出色的即時一致性和一流的世界理解能力，可控性強；
對物理規律有更好的理解，能夠生成更符合真實規律的視頻；
支持生成式視覺特效（GVFX）。
Runway 發布的宣傳片中，演示了用兩張照片生成影像級視頻的整個過程。
創始人兼 CEO Crist ó bal Valenzuela 拍攝了手中的玩具，然後上傳了一張之前拍攝的街景圖片，通過簡單的指令就将玩具融入到了街景當中。
接着，Crist ó bal 利用得到的照片，生成了人們從玩具旁邊走過的視頻。
更精彩的在後面，随着玩具上的紅色小球滾落，畫面變成了雪地、沙漠等各種不同場景。
這就是 Gen-4 此次引入的生成式視覺特效（GVFX）技術。
結合這次 Gen-4 主推的一致性、高保真等特性，可以從頭到尾只用 Gen-4 就能完成故事影片的制作。
包括開頭展示的微電影 " 小火苗 " 在内，Runway 這波一口氣展示了五段作品。
《The Herd》講述了一個講述了一個年輕人在夜間被牛群追趕的故事。
關鍵在于，其畫面僅通過簡單的參考圖和提示詞就能得到，然後通過 Act-One 技術，這些鏡頭被串聯成了完整故事。
《NYC is a Zoo》則将紐約變成了一個大型動物園，看上去十分有趣。
Runway 介紹，影片中的每個場景都是通過 Gen-4 的 Reference 功能，将動物的真實照片與紐約街景照片相結合，然後用提示詞描述每個場景的具體動作而創建的。
同樣是動物題材的還有這段音樂舞蹈《Scimmia Vede》，不過跳舞的演員可不是人，而是一只猴子。
從畫風上看，動漫風格也能輕松駕馭，并且比實景風格看上去更加沒有 AI 感。
下面這段《The Retrieval》，就講述了幾位主角不斷探險，尋找神秘之花的整個過程。
總之，Runway 表示，Gen-4 将成為一種故事創作的全新方式。
目前，Gen-4 的圖生視頻功能已向付費用戶和企業用戶開放，制作短片時用到的 Reference 功能也即将上線。
BTW，創作者們已經在期待 Reference 的正式上線了。
參考鏈接：
[ 1 ] https://runwayml.com/research/introducing-runway-gen-4
[ 2 ] https://runwayml.com/gen-4-bts
[ 3 ] https://x.com/runwayml/status/1906718935778545964
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
速搶席位！中國 AIGC 產業峰會觀眾報名通道已開啟 ♀️
首批嘉賓曝光啦 百度、無問芯穹、數勢科技、生數科技、像素綻放等十數位 AI 領網域創變者将齊聚峰會，讓更多人用上 AI、用好 AI，與 AI 一同加速成長～
4 月 16 日，就在北京，一起來深度求索 AI 怎麼用
一鍵星标
科技前沿進展每日見
