今天小編分享的科技經驗:Sora vs 海螺 AI:國產模型掀翻「視頻王者」?,歡迎閲讀。
一場「12days of OpenAI」掀起了全球科技狂歡,經歷了 10 個多月的漫長等待,Sora 也終于千呼萬喚始出來。在感嘆其強大能力的同時,我們不禁思考:國產視頻生成大模型與 Sora 相比,究竟處于何種水平?
國產視頻生成領網域的翹楚——海螺 AI,最近剛剛發布了全新的 I2V-01-Live 圖生視頻模型, 這已經是自海螺 AI 自今年 8 月發布視頻生成模型以來,短短 3 個月的第三次迭代了。 這次,它卷到了風格化視頻生成賽道。
一張圖 + 一句話就能輕松将 2D 插畫轉化為動态視頻。這不僅是對現有視頻制作流程的進一步完善,更在創意實現方式上予以了有益補充。
I2V-01-Live 所呈現的動畫電影級效果,是其視頻生成技術不斷進化的成果。不同于 Sora 提前一年進行的「預售」策略,海螺 AI 的打法是:在用户使用中,邊吸收、邊迭代。這種模式讓海螺 AI 以「中國速度」,實現了模型精度、用户體驗的雙重提升。
01
理解 + 可控 = 精準
人工智能在成為穩定的生產力工具方面一直面臨挑戰,其最大的障礙在于輸出的不可預測性。
眾所周知,視頻實質上是由一系列連續的靜态圖片組合而成。相較于直接生成視頻,通過圖片來構建視頻的過程提供了更高的控制度。這是因為圖片是具體且獨立的,它們能夠更有效地輔助 AI 精确解讀和執行創作者的指令。
而輸出的不可預測,還與提示詞的描述是否容易被 AI 理解有關。在使用海螺 AI 的過程中,我們注意到它具備一項獨特的 AI 優化提示詞功能,這一功能能夠協助用户一鍵精确表達意圖,這不僅極大提升了大模型對提示詞的理解能力,同時也對不擅長構建提示詞的新手用户十分友好。
我們選取了 Sora 官網展示的一些視頻,用相同的提示詞在海螺 AI 上生成了同一組視頻。
原 prompt 為英文,我們做出了中文意譯:
Reflections in the window of a train traveling through the Tokyo suburbs.
列車穿梭在東京郊區時,車窗上的倒影。
如果我不説,你能猜出哪個是 Sora 生成的,哪個是海螺 AI 生成的視頻嗎?
揭曉答案~上面是 Sora 生成的視頻,下面是海螺 AI 生成的視頻。
prompt 中強點的關鍵詞有穿梭的列車、東京郊區、車窗上的倒影。Sora 和海螺 AI 生成的視頻都準确呈現出了列車穿梭、郊區、車窗等元素,巧合的是,兩個視頻都合理的添加了建築、電線,讓場景顯得更真實。
兩個視頻在視頻效果呈現上可謂是旗鼓相當,但在光影方面,尤其車窗上倒影這個關鍵要素的細節方面,海螺 AI 明顯更勝一籌。
這一組視頻的 prompt 比較簡單,只有一句話:
michaelangelo sclupting statue of david in a Booteghe.
米開朗基羅在工作室中雕刻大衞雕像。
Sora 生成
海螺 AI 生成
同樣是工作室裏,Sora 呈現的視頻中,光影和粉塵細節都非常到位,還有一位拿着工具清掃的工作人員,但米開朗基羅的手部動作不太自然,沒有體現出在進行雕塑,大衞的雕像這一關鍵要素也沒出現。
海螺 AI 的作品中米開朗基羅拿着工具雕刻大衞雕像的動作自然流暢,整個工作室的畫面也更豐富,展示了不同雕塑作品,以及打開的窗户灑進的陽光照在桌面和雕塑上的細節都非常合理、真實。
two trees face each other in the wind. their leaves wrap towards each other.
兩棵樹在風中相對而立,它們的葉子向彼此纏繞。
這一組視頻中元素并不多,要呈現的重點分别是兩棵樹,以及樹葉被風吹動且相互纏繞的畫面。兩個視頻對「樹葉纏繞」這一點的呈現都不到位,Sora 生成的視頻中兩棵樹基本互不打擾,海螺 AI 生成的視頻則是兩顆樹挨得很近。
從最終的呈現效果來看,海螺 AI 對 prompt 的理解比 Sora 要更到位一些,風吹動樹葉的動态感更明顯。
復雜長句的 prompt 來了!
A majestic train winding through the stunning Alps, surrounded by snow-dusted forests that sparkle like sugar under a dreamy, ethereal sky painted with soft pastels of pink, purple, and gold. The scene feels magical and serene, evoking a sense of wonder and tranquility.
一列雄偉的火車蜿蜒穿梭于壯麗的阿爾卑斯山間,四周是白雪皚皚的森林,在如夢如幻、色彩柔和的粉色、紫色與金色交織的天空下,此景奇幻而靜谧,不禁讓人感嘆驚奇它的和寧靜。
這組視頻的 prompt 對 AI 來説略顯復雜,關鍵詞很多,涉及動态、色彩、環境等多方面。不出意料,這組視頻果然出現了一些小 bug~
Sora 生成的視頻中,第一個關鍵詞就被漏掉了「火車穿梭」的感覺完全沒有體現出來,鏡頭倒是穿梭了。另外粉色、紫色、金色交織的天空色彩呈現也稍顯不足,有點色彩,但是不多。整體雲層、雪山的高度,導致整體環境略顯壓抑,奇幻有了,寧靜不足。
在海螺 AI 生成的視頻中,剛剛提到的火車穿梭、天空色彩都表現出來了,但火車行駛中飄起的霧氣有點過大,而且飄向空中後沒有逐漸變淡,不過整體來説瑕不掩瑜,prompt 提到的關鍵詞都有呈現。
這組視頻有點抽象,請大家自由賞析,暢所欲言~
Apply a dynamic contrast between motion and stillness. Identify regions within the image to animate with subtle, fluid movements — such as rippling, pulsing, or swirling effects — while freezing other areas in place. The animated sections should appear as though they are gently alive, with a dreamlike flow, while the still areas remain perfectly frozen, emphasizing texture and detail. Create a seamless interplay between the motion and stillness, with transitions that appear organic and natural. Use soft lighting changes to enhance the distinction between the two states, creating an ethereal and hypnotic balance.
在動靜之間營造動态對比。影像中的區網域,用微妙、流暢的運動效果(如波紋、脈衝或旋轉)進行動畫處理,同時将其他區網域保持靜止。動态部輕柔生動,帶有夢幻般的流動感,靜止區網域則完美定格,突出紋理與細節。在動态與靜态之間創造無縫的互動,過渡看起來自然和有機。使用柔和的燈光變化來增強兩種狀态之間的區别,創造一種空靈而迷人的平衡。
02
理解的下一步:突破表達困境
生成式 AI 的演進很大程度上遵循文字——圖片——視頻的規律,每一次進階都需要攻克相應的能力來實現轉化。海螺 AI 在這一演進過程中的表現尤為突出,在文字生成階段,海螺 AI 就已經展現出了深厚的自然語言處理功力,能夠夠理解和生成流暢、自然的文本,無論是新聞報道、小説創作還是日常對話,都能夠遊刃有餘。
今年 8 月,海螺 AI 新增視頻創作功能,能力得到了進一步升華。這一過程中,海螺 AI 的迭代速度令人矚目,基本月一次的小更新,三個月一次的大迭代,讓它迅速在視頻生成的大模型競賽中嶄露頭角,站上了世界舞台。
在長復雜指令遵循、動作物理邏輯及人物表情刻畫方面表現亮眼,海螺 AI 能夠精準地捕捉到逐個關鍵信息,并按照要求進行視頻内容的生成。
這則視頻的作者在帖子中寫道:「海螺 AI 非常擅長表現人類的情感 / 表情」。
這段堪稱經典的情緒轉變,讓我們在 AI 的演繹中見證了所謂的「演技」。海螺 AI 的這一突破,不僅體現了技術的先進性,更是在情感共鳴的層面上,拉近了 AI 與人類之間的距離,甚至為 AI 與人類在廣泛領網域的深度合作和共創提供了新的可能性。
03
用户喜歡的才是最好的
Sora 已經上線 3 天,但熱度持續攀升,排隊體驗的用户越來越多,服務一致處于繁忙狀态。甚至在 12 月 12 日上午,由于流量激增 OpenAI 官網一度崩潰,不得不暫停注冊和登錄服務。
國產視頻生成大模型這邊,「現貨」海螺 AI 的體驗也堪稱火爆。現在「hailuo」關鍵詞已經成為了 X 平台上的一大熱詞。
破碎的玻璃、濺起的水花、撲動的魚尾 ...... 充滿細節的畫面處理,讓現實中不可能出現的場景得以通過 AI 呈現出來。
動畫風格、寫實風格,劇情向、動作向、奇幻向、藝術向,仿佛一場盛大的靈感創意大賽。可以説,只有你想不到,沒有海螺 AI 做不到。
MiniMax 創始人闫俊傑曾在媒體采訪中提到,公司的願景是讓 AI 為普通人所用,提高用户滲透率是重中之重。海螺 AI 在這方面無疑取得了巨大成功,在海外市場收獲了極高的贊譽。眾多用户紛紛展示利用海螺 AI 創作的作品,并自豪地宣稱其品質絲毫不遜色于 Sora、Runway 等國際知名的頂級大模型。
另外,從性價比方面來看,免費試用的海螺 AI 無疑更勝一籌。Sora 提供的 Plus 和 Pro 兩個版本,分别售價 20 美元和 200 美元每月,Plus 版可以生成 50 個最高分辨率分别為 720p 的 5 秒視頻;Pro 版可以生成最高分辨率為 1080p 的 20 秒視頻,還支持同時生成 5 個并行視頻和無水印下載。
相比之下,海螺 AI 分為普通用户和會員用户兩種,普通用户可以免費試用海螺 AI,體驗 AI 視頻創作的樂趣。新用户注冊即獲 1000 積分,每日登錄額外獲 100 積分,每 30 積分可生成一個 6 秒視頻,支持并行生成 3 個視頻,1000 積分約能制作 33 個視頻;會員用户擁有無水印下載、雙并發完成任務等功能。
04
跟上 OpenAI,超越 OpenAI
近年來,中國 AI 企業出海熱潮愈發顯著。以海螺 AI 為例,自其推出以來,在海外市場的表現可圈可點。8 月 31 日,MiniMax 發布首款 AI 高清視頻生成模型「abab - video - 1」後,搜索量激增,海外社交媒體平台上充斥着海螺 AI 生成的視頻片段。海外網友紛紛在社交平台分享使用體驗,普遍認為海螺 AI 是目前市面上最出色的 AI 視頻生成工具之一。
視頻創作功能上線一個月,海螺 AI 網頁版訪問量增速超 800%,位列 AI 產品榜 ( web ) 9 月全球增速榜、國内增速榜雙榜單榜首。10 月,海螺 AI 更新了圖生視頻的能力,這一功能的推出讓熱愛玩梗圖的海外用户們再一次沸騰。海螺 AI 在視頻生成領網域成為 Sora、Runway 等知名公司的有力競争者。
數據統計,在全球約 1500 家活躍 AI 企業中,中國出海企業已達 103 家。Sensor Tower 發布的 2024 年上半年美國 AI 應用市場的下載量數據顯示,排名前十的 AI 應用中有三款來自中國企業。這充分説明中國 AI 企業在海外市場的影響力正在不斷擴大。同時,不同地區的用户消費習慣不同,海外市場消費者對于創造性產品的付費意願和能力更強,為國產 AI 產品的商業化提供了良好的土壤。
海螺 AI 的爆火只是中國 AI 企業出海的一個縮影,它展現出了中國 AI 技術在全球範圍内的競争力和潛力。未來,中國 AI 企業将在全球舞台上綻放更加耀眼的光芒。