今天小編分享的互聯網經驗:阿裏發布AI生視頻模型:通義萬相走出了自己的“中國風”特色!,歡迎閲讀。
這兩天,最熱鬧的莫過于雲栖大會了!
阿裏前腳發布 Qwen2.5 系列大模型,後腳發布通義萬相視頻生成模型,可生成影視級高清視頻,可應用于影視創作、動畫設計、廣告設計等領網域。
這是一款全自研視覺生成大模型,采用全新的 Diffusion + Transformer 架構,支持影像和視頻生成類任務,在模型框架、訓練數據、标注方式和產品設計上均有諸多創新,從而提供業界領先的視覺生成能力。
具體使用簡單不挑地方,在通義萬相官網、通義 APP 都可以使用,非常方便。更重要的是,免費使用,手機随便玩,電腦每天 50 次影像、10 次視頻機會。可把我高興壞了,趕緊就去試試。(姐妹們,趕緊薅羊毛!)
電腦端:打開網址 https://tongyi.aliyun.com/wanxiang/videoCreation
輸入文字或圖片,點擊生成即可。
手機端:打開通義 APP,點擊頻道,找到萬相 AI 生視頻即可生成。
這幾年,中國風元素逐漸走出國門,在全球文化舞台上大放異彩。前段時間的《黑神話 · 悟空》的遊戲畫面更是讓老外十分震驚。
無論對于創作者還是普通愛好者,想要創作出高質量的中國風視頻,往往面臨着語言理解、創意匮乏、制作成本高、專業門檻高等諸多挑戰。而通義萬相的出現,不僅能理解復雜的中文描述,還能将抽象的文化元素具象化,讓每個人都能輕松成為中國風視頻的創作者。
讓我驚喜的是不僅精通中文,更深谙中國文化,我們給 AI 導演的四個創作主題,看看這位 AI 導演能否擔起重任!
靈動的水墨錦鯉與會動的《千裏江山圖》
我們讓 AI 生成一張動态的千裏江山圖,這裏主要測試通義萬相,對于中文的理解,并生成復雜的人物動作、環境互動和中國傳統元素,先來看個文生視頻:
提示詞:國風,千裏江山圖,木舟悠然遊動,江面水波律動
通義萬相相對完美解讀了 " 國風 "、" 水墨畫 " 等概念,在理解上基本達到了滿分,當涉及到 " 木舟、水面 " 等多個元素,都能準确呈現。将中國傳統繪畫的精髓融入創作中。
在千裏江山圖中,它不僅賦予畫面動感的同時,還保留了中國傳統繪畫的韻味。這種動靜結合的美感,可以説是 AI 藝術創作的一大突破。再來個圖生視頻:一只錦鯉在荷塘裏,水墨畫。
在語義理解這塊,只給一句話,就把錦鯉在水面上的遊動、水波的律動刻畫地非常生動,甚至魚的眼睛還在動,這滿滿的細節,整個動畫十分流暢。看來中文長本文理解的加強是實實在在的,同時對中文内容和元素原生支持更好。屬實是牛!
既然對語義理解沒問題,那我們更新難度,我們将測試通義萬相在生成復雜運動效果方面的能力,特别是在中國武俠場景中。這裏主要測試通義萬相,理解并生成復雜的人物動作、環境互動和中國傳統元素。
提示詞:竹林飛檐,白衣劍客輕功漫步,竹葉紛飛
特别值得一提的是,通義萬相在處理 " 輕功漫步 " 這種虛幻的動作時,白衣劍客在竹林間輕盈躍動,體現了 AI 對 " 輕功 " 概念的理解。它不僅要理解 " 輕功 " 這個中國特有的武俠概念,還要将其可視化,這難度可不亞于教一只企鵝打太極拳!
如果不了解如何寫好提示詞,可以在產品界面點擊 "靈感擴寫",将簡單提示詞自動 " 擴寫 " 成忠于原意的長提示詞,從而大幅度提升生成效果。
擴寫之後,提示詞更加詳細豐富,畫面内容也更加有韻味。
提示詞:視頻展示了在中國風的背景下,一位身着白衣的劍客在竹林間施展輕功漫步的場景。視頻中,劍客身形矯健,仿佛踏風而行,穿梭于高聳的竹林之間,每一次落地都輕盈無聲。竹葉在劍客的行動中紛飛,如同随風起舞,營造出一種超凡脱俗的意境。飛檐翹角的古典建築隐約可見,增添了幾分古韻。整個畫面充滿了詩意和動感,讓人仿佛置身于古代武俠世界之中。
擴寫之後的效果場景上細節很豐富,竹葉随劍客移動而飄動,呈現了良好的環境互動。同時影像風格統一,符合水墨畫美學。整體彰顯了 AI 在場景理解、文化元素融合方面的進步。
哦,對了,官方與寶石 Gem 合作國風《江雪 MV》,真的蠻驚豔,我很喜歡。
官方與寶石 Gem 合作《江雪 MV》
妥妥的 " 動感超人 "
通義萬相視頻生成大模型集成了多項創新技術,有效解決畫面表現力和大幅度運動等視頻生成技術難題。針對運動生成和物理模拟等難點優化算法,實現了大幅度主體運動和運鏡控制,并有效模拟真實世界物理特性;設計了高壓縮比、高質量視頻 VAE 框架,有效降低視頻信息冗餘,并保持高質量視頻重構能力。
我們一起來看看運動效果如何。
提示詞:國劇演員在海底劇場翻騰跳躍,彩帶與氣泡交織飛舞
這個場景的效果我還是蠻驚訝的,彩帶在水中飄動,與氣泡交織,形成了動态的視覺層次,增添了場景的奇幻感,展現了復雜的流體動力學模拟能力。
AI 成功模拟了水的浮力和阻力對人體運動的影響。國劇演員的翻騰跳躍動作可能顯得更加輕盈緩慢,體現了水下運動的特性。
提示詞:功夫大師在摩天大樓間飛檐走壁,霓虹燈光随動作閃爍
功夫大師的 " 飛檐走壁 " 動作需要精确的重心轉移和身體控制。AI 成功模拟了這種高難度動作,包括跳躍、翻轉和快速位移。大師的動作流暢自然,體現了通義萬相對人體運動力學的準确理解。
而在高樓間穿梭時,AI 準确表現了重力作用和慣性效果。大師在躍起時的加速和落地時的緩衝都符合物理規律,增添了場景的真實感。
人物的下落的效果是很自然的。可能大家也發現了,視頻效果中有音效,還非常契合。這一次,通義萬相能生成,與視覺内容高度匹配的聲音特效,實現音畫同步,增強視聽一體的沉浸感。
提示詞:繁華都市夜景,旗袍女子漫步霓虹街頭,古今交融
AI 成功營造出古今交融的氛圍,旗袍與都市景觀的和諧統一體現了其出色的風格融合算法。霓虹燈下的都市夜景,旗袍女子優雅漫步其中,她的服飾在燈光下呈現動态光澤,傳統刺繡與現代燈光相映成趣。場景中流動的行人和交通增添了真實感,展示了模型在復雜動态場景生成方面的進步。
再看一個畫面内人物轉身較大的效果。
提示詞:復古太空通信員,轉身操作通信設備,背景是撒哈拉沙漠和金字塔。
這麼快的運鏡下基本是沒有變形的。更多的運動效果如下:
運動效果合集
提示詞:視頻展示了一座宏偉的古典建築,鏡頭緩緩推進,聚焦于被盛開櫻花環繞的建築。金色的燈光閃爍,給人温暖而夢幻的感覺,前景中的水面如鏡子般反射着建築和花瓣。
水面波光粼粼,鏡頭推進光影變化效果真實細膩,這不就是我們要真實感嗎?説實話,在 AI 物理世界理解這塊,通義是我目前使用過做的最好的。
音畫同步:AI 導演的配音絕活
説起視頻制作,光有好畫面還不夠,配上合适的音效才能讓作品更有感染力。而通義萬相在這方面可是有獨門絕技——音畫同步功能。
還記得我們之前生成的那些動感十足的視頻嗎?無論是輕功水上漂的武俠高手,還是在霓虹燈下漫步的旗袍美人,通義萬相都能為它們配上恰到好處的音效。
提示詞:騎着機械龍的未來武士在長城上疾馳,煙火在背景綻放
聽,機械馬蹄聲,龍劍客飛檐走壁時的呼呼風聲,甚至是海底國劇時泡泡上浮的咕噜聲,每一個細節都被 AI 精準捕捉。這哪是配音,簡直就是給視頻注入了靈魂!
更厲害的是,通義萬相不僅能生成音效,還能創作與畫面匹配的背景音樂。比如:
從自然音效到現代感十足的音樂配樂,AI 都能信手拈來。畫面動感,音樂就強勁;場景舒緩,旋律就輕柔。這默契度,簡直比某些人類導演和配樂師配合得還要好!
通義萬相的音畫同步功能,不僅大大提升了生成視頻的質量,還為創作者省去了找配樂、剪輯音效的麻煩。現在,只需要輸入文字或上傳圖片,通義萬相就能一條龍服務,從畫面到聲音,統統幫你搞定。
這種音畫同步的能力,讓通義萬相生成的視頻更具沉浸感和感染力。無論是用于短視頻創作、廣告制作,還是作為電影前期概念預演,都能讓創意更生動、更直觀地呈現出來。
看來,通義萬相不僅是位 " 會説中國話 " 的 AI 導演,還是個 " 能歌善舞 " 的全能選手呢!有了這樣的神助攻,相信未來會有更多有趣的音視頻作品湧現出來。各位創作者,你們心動了嗎?
多種風格的融合
除了上面的國風效果,還能融合多種風格,比如寫實風格、毛氈動畫、CG 厚塗、3D 動漫、勾線動畫等風格。請看以下視頻:
多種元素、多種風格的融合十分有利于想象力旺盛的創作,很多時候傳統影視無法實現的效果,完全可以用 AI 來生成,而通義萬相彌補了概念組合、元素結合、以及更強的想象力,想要什麼有什麼,帶來更強的創作能力。
最後
如果給通義這次表現打分,我給滿分 100 分中的 90 分!扣的 10 分是因為 ......well,我們總得給 AI 留點進步空間,對吧?
從動态水墨畫到未來武俠,從海底國劇到霓虹旗袍,想要作出中國風的作品是妥妥的沒問題。
整體體驗下來,通義萬相在理解復雜語言、生成物理世界方面很不錯,同時在音畫同步方面也是一絕。上面我們通過一系列融合傳統與現代元素的挑戰,通義萬相不僅證明了自己是一位 " 會説中國話 " 的 AI,更是一個深谙中國文化、能夠創新演繹中國風的數字藝術家。期待它未來帶來更大的創新!
最後提醒一句,通義萬相現在免費,不試白不試!