今天小編分享的科學經驗:國内首個視頻垂直大模型發布!一句話生成科幻大片預告,人人可玩,歡迎閱讀。
只靠一句話,AI 就能做一支科幻電影預告片。
腳本、每幀畫面、背景音樂,AI 都能生成。
這就是國内首款視頻垂直大模型新壹視頻大模型帶來的現場首秀。
由該模型作為底座的 AIGC 視頻平台一幀秒創,同步推出,現在可直接體驗。
不僅是用 AI 生成畫面,這個平台還能實現圖文轉視頻、AI 幫寫、插入數字人等。
在過去半年試運營中,該平台每天產出超出 10 萬分鍾視頻,積累了200 多萬用戶。
同時還推出了數字人創作平台,24 小時内就可以訓練好一個數字人。
在發布現場,還有投資人任泉還來幫忙站台,強調正在視頻領網域發生的新技術革新。
所以,這個視頻大模型什麼來頭?
首個垂直視頻大模型?
發布會介紹,新壹大模型是一個以視頻為核心的多模态 AIGC 模型。
通過對海量視頻樣本的學習,具有幾大關鍵能力:
多模态感知
實時學習
自迭代
多場景交叉推理
由此它能理解文字的含義、識别影像内容、感知音樂情緒,然後生成視頻。
在發布會現場的演示中,最開始給新壹大模型的僅僅是一句主題:
人類駕駛地球、離開太陽系、并遇到危險。
然後就看到大模型很快理解了意思,輸出了 10 個鏡頭的腳本,都非常契合主題。
下一步,再基于生成文字内容,大模型又給出了 10 個分鏡頭。
從現場效果裡可以看出,每一個鏡頭給出的畫面,和文字的對應也很緊密。
比如鏡頭八的腳本是 " 一位科學家站起來,他的眼神堅定 "。
畫面上就給出了一位穿太空服的男性,皺緊眉頭,眼神堅定。
再要求 AI 配一段 " 大氣磅礴、有重低音和交響樂團的元素,給我一種踏上新征程的感覺 "。
最後把生成的所有素材一結合,就有了一個完整的科幻預告片。
據介紹,新壹視頻大模型采用了自監督學習方案,會觀察和學習大量的視頻數據,通過分析視頻的結構、内容、風格等多個維度,自我理解和把握視頻制作的規則和邏輯。
而且能跨場景進行知識遷移與關聯,選擇合适素材,調整視頻風格;還可面向行業級的垂直場景對新壹視頻大模型做定向訓練。
在現場,新壹方面也強調,大模型中關于視頻理解、匹配輸出的部分,均是由自研技術支撐。
而以該模型為底座的座的 AI 内容生成平台一幀秒創,也正式發布。
它能提供圖片生成、視頻生成、聲音生成、數字人生成等任務。
并提供了一個千萬級的結構化視頻庫,可以精準匹配素材。
比如在現場演示中,通過平台制作一個 " 夏日防暑小妙招 " 的視頻,同樣是 AI 自己生成文案、匹配素材。
除了視頻制作方面,同步亮相的還有一個數字人平台。
據介紹,通過多模态合成 AI 技術,該平台可以将真人錄制的視頻和音頻素材,快速生成 2D 寫實數字人。
基于新壹視頻大模型, 24 内小時即可完成一個數字人的訓練。通過融合通用語言模型、音視頻生成技術,能夠快速、低成本的生成真人播報視頻和直播。
結合該技術,還有一個名為 " 秒祝 " 的明星數字人祝福視頻制作產品發布。它可以還原明星的聲音和形象,制作出對應數字人,并生成個性化定制祝福視頻。
那麼問題來了:
帶來這一系列 AIGC 領網域新動向的玩家,到底是誰?
視頻行業 20 年老玩家出手
如上一系列新技術、新產品的幕後玩家,名叫新壹科技。
公開信息顯示,新壹科技注冊于 2022 年 1 月,是一家非常年輕的創業公司。
但是他們的團隊,其實是在視頻行業中摸爬滾打 20 多年的老玩家,曾多次站在視頻風口浪尖:如此前大火的秒拍、小咖秀,都是該團隊推出的產品。更早之前,則是中國首個上市的視頻公司酷六網。
新壹科技創始人、董事長為韓坤,CEO 為雷濤。
△新壹科技創始人、董事長韓坤
這一次召開發布會,用新壹自己的話來解釋,就是要在 AIGC 的時代下,重新出發。
那麼,為什麼要做大模型?
有直接需求、行業影響和新壹自身三方面要素。
首先是用戶需求方面。
作為視頻行業的資深玩家,新壹注意到在社交平台極度發達的今天,很多人都有輸出自己觀點的需要。以及目前人們上網浏覽的大部分信息都是視頻模式,但是互聯網信息中轉換為視頻的部分,占比卻并不多。
所以,一個低門檻的視頻創作平台,是有巨大市場需求的。
新壹科技 CEO 雷濤舉例說,比如很多人對于一些事情都想發表觀點,但是他可能不願意或者沒有時間自己出鏡,這時如果他有一個數字人可以幫他出鏡,再有工具能快速剪輯視頻,就能很好滿足這部分人需求。
這也是新壹反復強調的一個點:AIGC 時代下有技術是不夠的,還要能提供直接使用的場景,這樣技術才能被更高頻率、更大範圍地應用起來,而在這方面,垂直領網域玩家具有先天的自身優勢——本身就更懂市場需求。
其次是行業方面。
作為經歷了互聯網視頻產業崛起的玩家,雷濤認為目前產業内的各方面要素已發展相對成熟,如手機硬體、軟體、網絡等,都能很好支撐互聯網視頻產業。
在這樣的前提下,AIGC 相關的項目是很容易做成的," 只要人工智能可以起來就夠了 "。
作為一直都有技術積累的視頻玩家來說,在這方面就會具備一定優勢。
這也是新壹為什麼做大模型的第三點原因——自身積累。
基于過去在行業内的 20 年積累,新壹在視頻方面積累了深厚的技術和經驗。新壹董事長韓坤發布會上也非常自豪地表示," 我們培養出了一支代碼技術過硬的工程師團隊,形成了良好的產品服務意識。"
同時雷濤表示,新壹做大模型,并不是重復造輪子。他們的技術底座中,視頻方面主要依靠自研,但是在影像、TTS 等領網域,也會集成業内的優秀成果。
我們是用另一種方式提供工程化的創新。就好比造車一樣。
△新壹科技 CEO 雷濤
但現在就已經是 AIGC 產品應用開發的最佳時機了嗎?新壹為何在這樣一個時間點正式對外推出?
雷濤也從技術和行業兩個方面給出了解釋。
技術上,他認為 AI 領網域的各種創新,不會存在一個所謂的成熟期,技術一直在不斷迭代優化。新壹從現在出發,之後也會不斷在技術上進行迭代。
再結合行業現狀,AIGC 熱潮如今略有降溫,但雷濤認為這并不是一件壞事。因為只是看熱鬧的人已經走了,剩下的則是對 AIGC 有真正需求的人,而這部分人現在對 AI 的胃口已經被吊起來了。
所以在這個時間節點下,他們對外發布新壹視頻大模型,并帶來一幀秒創制作平台。
值得一提的是,在發布大模型相關產品的同時,他們還推出了一個數字人平台。
要知道,數字人技術熱潮比 AIGC 更早,賽道内的玩家數量眾多,新玩家新壹并不具有先發優勢。
雷濤解釋說,基于新壹自身在視頻、娛樂產業方面的積累,他們看到在這方面其實有非常明确的商業模式,比如給明星制作數字人讓它幫忙帶貨。
在發布會現場,不僅是任泉本人來給新壹站台,還有多位明星送來了祝福視頻。
并且新壹使用了更加先進的技術,價格也不高(售價可低至千元價位),所以現在加入數字人賽道,新壹同樣有自身獨特優勢。作為這種技術成本和應用的能力,新壹還宣布了與新浪微博的合作,将為金 V 用戶提供專門數字人。
實際上,在秒拍和一直播風靡的周期裡,與新浪微博也始終密切相關。
但關于新壹科技的投融資,還尚未到對外官宣的時候,不過 CEO 雷濤透露,進度各方面都比較順利,不少投資人也看到了 AIGC 正在對視頻領網域展開的技術革新,而新壹這支團隊穿越多個周期、潮起潮落、久經考驗。
有意思的是,這其實也是韓坤雷濤這支視頻老兵團隊時隔多年的再度公開亮相,但地點都是北京東三環的康德萊酒店。
上一次,2017 年在這裡,秒拍一直播母公司一下科技宣布了新一輪巨額融資,震動江湖。
這一次,韓坤站在台上,表達着一直站在創業路上的原因——對視頻内容的熱愛,而新壹則是這種熱愛的延續和新的開始。
" 新的開始,壹定成功。"