大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科技

國產 AI 視頻神器大更新,支持 4K、60 幀,視頻生成有聲時代來了

2024-11-09 简体 HK SG TW

今天小編分享的科技經驗:國產 AI 視頻神器大更新,支持 4K、60 幀,視頻生成有聲時代來了,歡迎閱讀。

今年的 AI 視頻生成領網域呈現出一種如火如荼的架勢。

從最初卷生成時長到卷畫面質量,再到最近卷起 AI 特效,行業廠商們開卷的方式千奇百怪,但目标都是共通的,那就是鉚足了勁地吸納新用戶,留住舊用戶。

然而,盡管市面上許多視頻模型号稱一鍵生成視頻,但如「默劇」般的成品多少形如雞肋。尤其是我們對 AI 視頻的刺激阈值被一再拔高,音效的缺失就像被捶打的釘子,在用戶的心裡越扎越深。

當然,廠商們不是不想徹底解決這顆釘子,只是恰好在等待一個厚積薄發的時機。

三個月前,作為國内首個面向公眾開放的視頻生成產品,智譜清影上線清言 App,只需一段指令或圖片,30 秒就能生成 AI 視頻。

三個月後的今天,智譜清影再次迎來了一大波重磅更新。

10s 時長、4k、60 幀超高清畫質,任意尺寸、更好的任務動作和物理世界模型……除了開卷這些基本功,更重要的是,智譜清影也即将在本月上線生成與畫面匹配的音效了。

附上新清影具體更新亮點:

圖生視頻的質量、美學表現、運動合理性以及復雜提示詞語義理解方面能力明顯增強;

更強的人物面部表演細節、動作連貫性和物理特性模拟,提高了視頻的自然度和逼真度;

支持生成 10s、4K、60 幀超高清視頻,支持任意比例的影像生成視頻;

同一指令 / 圖片可以一次性生成 4 個視頻,與畫面匹配的音效功能将很快在本月上線公測;

并且,當人們還在為 AI 開源 / 閉源争論不休時時,智譜卻是國内少有一貫支持開源的企業,而在今天,智譜也正式發布并開源最新版本的視頻模型 CogVideoX v1.5。

此次開源包括兩個模型:CogVideoX v1.5-5B、CogVideoX v1.5-5B-I2V,後續,CogVideoX v1.5 也将同步上線到清影,并與新推出的 CogSound 音效模型結合。

代碼:https://github.com/thudm/cogvideo

模型:https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT

官方宣布,新清影即日起在智譜清言 App 上線。話不多說,直接附上體驗地址:https://chatglm.cn/video?lang=zh

4K 60 幀,新清影已經 next level 了

和藹的老人面帶微笑,面部肌肉細節清晰可見,沒有明顯的像素化或模糊現象。

火焰老虎的形象也令人印象深刻,不僅步态拟真,眼神之中還透露出一種野性的美感,身上的火焰顏色也呈現出豐富的色彩層次和深度。

車輛急速飛馳,場景轉換沒有卡頓或延遲,即使是快速移動的對象也能保持連貫性,而在速度感和緊張氣氛的營造上也有一手。

喵星人在線化身大廚,熟稔地翻炒今天的菜品。

不被演示 demo 的花言巧語所迷惑,上手才是檢驗實際效果的唯一标準。

我們也用圖生視頻功能上手跑了一個放飛孔明燈的視頻。孔明燈被釋放,緩緩升入夜空,鏡頭從下往上跟随,天空也被染上了深邃的藍色。

又或者,我們「復活」了靜止的小黃花,微風拂來,小黃花在草地上輕輕搖曳。

不過「新清影」還是需要一定程度的抽卡,這也是目前國内外 AI 視頻模型在穩定性上普遍存在的問題,在日常使用這類產品時,還需要多些耐心。

在我們的測試中,最讓我們驚喜的其實是清影的音效生成功能。

對于視頻來說,音效和畫面總是相輔相成的,基于此,我們也用幾段去掉音頻的「啞劇」視頻,并讓 AI 為它們生成相應的音效,建議打開音量鍵食用。

例如《海上鋼琴師》最經典的鬥琴環節,你更喜歡這個還是原版呢?

美麗的煙花表演,它們在夜空中綻放的瞬間,搭配上 AI 音效,有沒有打動你?

雨滴的聲音各異,有的清脆,有的低沉,有的急促,有的悠長。

核爆炸的場景很大,搭配聲音卻幾乎沒有延遲,在模拟真實爆炸聲,環境噪音以及餘波等方面表現出色。

别急,仔細聽,還有阿凡達水下探險。

如果 CogVideoX 與 CogSound 強強聯合,即由清影技術負責生成畫面,而音效模型負責配音,最後生成的視頻内容也更加生動、真實,甚至能夠觸動人心。

從無聲到有聲,AI 視頻進入有聲電影時代

1900 年,第一部有聲電影在巴黎放映,直到十年後,這種能夠将聲音與影像同步的技術才逐漸成熟,達到了商業化的标準。

有聲電影的問世,不僅僅終結了電影自誕生之初的沉默狀态,更重要的是,它将電影從單一的純視覺藝術轉變為視聽結合的全新藝術形式。

影片上的演員開口說話,而觀眾席上也響起對有聲電影的歡呼聲。

兩者心聲交響,心音共鳴。

如今,歷史的輪回再次上演,從年初的「啞劇」到如今的 AI 音效,如果說前者還是局限于 0-1,那麼 AI 音效的加入,則标志着 1-N 史詩級跨越。

基于 GLM-4V 的視頻理解能力,智譜家族的新成員——音效模型 CogSound 能夠準确識别并理解視頻背後的語義和情感,并在此基礎上生成與之匹配的音頻内容。

例如,爆炸、水流、樂器、動物叫聲以及交通工具聲等。

在影像叙事中,聲音的到來是一個關鍵拐點,它不僅使叙事從依賴文字構建的視頻中突圍,而且在觀念和方法上都帶來了更廣闊的想象空間。

然而,影視行業對 AI 的引入無疑是充滿争議的。

上個月,好萊塢演員的罷工風波尚未平息,而導演卡梅隆則在出席峰會時表示,AI 将會重新定義電影故事講述,幫助編劇導演探索新的故事線,以及叙述手法。

放諸到視頻產業界,音效模型也有着廣泛的應用場景,比如可以生成電影中的大規模戰鬥場景和災難場景的聲音,大大縮短制作周期,降低制作成本。

只是,AI 時代下的視聽藝術究竟應該會是什麼樣?

歷史上的技術大爆發給我們提供了一些思路。如果說工業革命的機械化、流水線作業等方式,讓标準化的大規模生產成為可能,那麼随着 AI 的到來,通過學習大量的數據和模式,能夠模仿人類的決策過程、并且根據每個用戶的具體需求和偏好定制個性化服務。

簡言之,通過降低使用門檻,AI 讓每個普通人都能手捏自己喜歡的個性化視頻。

法國新浪潮的代表人物讓 - 呂克 · 戈達爾,也曾探讨過電影技術變革對電影語言和藝術性的影響:

「電影不是僅僅在拍攝時使用聲音和影像,而是在觀眾心中構建某種語言。無聲電影通過視覺創造了更多的可能,而有聲電影則改變了這種創作方式。」

而追溯至今年 2 月份,人們關于 AI 視頻的展望是由 OpenAI 發布的 Sora 率先拉開,但很遺憾,直到此時此刻,該產品卻仿佛陷入「如來」的狀況,至今未見蹤影。

也正是在這個期間,我們很高興能夠看到國内廠商甚至在這一賽道上「東風壓倒西風」,實現了真正意義上的彎道超車。

不過,這或許還只是開胃小菜,智譜認為真正的智能一定是多模态的,聽覺、視覺、觸覺等共同參與了人腦認知能力的形成。

構建包括文字、影像和視覺等模态在内的智譜多模态大模型矩陣,能夠進一步提高大模型的應用和工具能力,也是在邁向 AI 的終極目标—— AGI。

至此可以說,我們真正邁入了 AI 有聲電影時代。

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?矽碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?矽碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裡面都有啥? 曹操墓,裡面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200戶連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200戶連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們