今天小編分享的互聯網經驗:免費AI“神器”系列第12彈:騰訊研發出“AI 蔡徐坤”;字節Gauth日下載量增長1400%,歡迎閲讀。
近期,生成式人工智能(AIGC)領網域又湧現出多款創意十足的新應用。
今天,钛媒體 AGI 梳理了免費 AI " 神器 " 系列第十二彈,共五款,其中不少產品再一次拓寬了我們對 AI 的想象力。
騰訊開源視頻生成框架—— AniPortrait
字節推出 AI 教育應用—— Gauth
文字生成解説視頻模型—— NoLang
AI 視頻生成模型—— MoneyPrinterTurbo
文本一鍵生成微電影的大模型—— LTX Studio
1、能讓影像開口説話,騰訊推出開源視頻框架—— AniPortrait
產品信息:AniPortrait 是騰訊推出的一個創新技術框架,可以通過一張人臉照片和音頻生成一段高質量視頻。與此前阿裏發布的視頻生成模型 EMO 的功能相似,但 AniPortrait 是開源模型,用户可以直接使用。
產品功能:AniPortrait 可根據輸入的音頻和影像生成會説話、唱歌的動态視頻,并保持人物面部表情流暢、生動且口型一致。同時支持多種語言輸入,還可以對面部重繪以及進行頭部姿勢控制。
據了解,該技術框架的工作原理分為兩個步驟:第一步 AniPortrait 會從音頻中提取關鍵信息,再将音頻通過兩個簡單的處理層轉換成一個三維的面部模型,并确定頭部姿勢。第二步,将三維面部模型和頭部姿态轉換成一系列二維點,進行識别标注,再使用 Stable Diffusion 1.5 結合時間運動模塊,根據二維标記點序列創建一系列連貫的肖像幀,形成動畫,确保動畫的流暢性和真實感。
但 AniPortrait 目前還存在對口型不太流暢自然的問題, 開發團隊強調,接下來也會效仿阿裏巴巴 EMO(Emote Portrait Alive)的方法,直接從音頻來預測肖像視頻的生成,以達到更好的效果。
項目地址:https://huggingface.co/ZJYang/AniPortrait
論文地址:https://huggingface.co/papers/2403.17694
2、用户破億,字節推出的 AI 教育應用 "Gauth" 在海外爆火
產品信息:Gauth 是字節跳動在海外推出的 AI 教育應用,產品定位為 "AI 學習陪伴 "、"AI 作業 & 學習幫手 ",旨在幫助力提升教育及學習效率。
產品功能:用户只需上傳題目照片,或者直接對題目拍照,Gauth 就能在幾秒鍾的時間内為用户生成完整詳細的解題邏輯和解答步驟。
據悉,Gauth 覆蓋的學科包括數學、統計學、物理、化學、歷史等。其中,網頁版 Gauth 還在 " 數學 " 模塊下劃分了多個細分方向包括方程,代數,等式,不等式、序列、復數等,并有 " 統計 " 和 " 微積分 " 專屬模塊。根據測評,語文及綜合方面能力均可達到美國 SAT 考試水平,數學方面綜合答題水平可比美國 9 年級。
因具備強大的學習輔助功能,Gauth 在海外市場爆火,據 Gauth 官網數據顯示,截至目前已有超過 2 億的學生用户群體體驗并采用了該平台的服務。從七麥數據榜單來看,截至 2024 年 3 月 27 日,Gauth 在美國教育應用市場中排名第二,僅次于全球知名語言學習應用 Duolingo(多鄰國)。
日活方面,Gauth 近期全球日活用户峰值達 206.5 萬人次,相較于 1 月 25 日的日活 85.68 萬人,增長超過 1.4 倍;日下載量方面,2024 年 1 月 1 日 Gauth 下載量為 4840,3 月 21 日下載量為 6.93 萬次,日下載量增長 14 倍。
3、文字生成解説視頻模型—— NoLang
產品信息:NoLang 是 Mavericks 公司開發的一款文生視頻模型,可以通過文字直接轉換成解説視頻,幫助用户更直觀獲取信息。
產品功能:用户可以輸入包含文字、網頁鏈接及 PDF 檔案等進行提問,NoLang 能根據提問快速生成一段解説視頻。例如,當用户輸入一段文字或一個網頁鏈接時,NoLang 會首先對内容進行總結,再根據總結的内容生成一個解答視頻,這一功能使得信息獲取更加直觀和生動。
同時,NoLang 還具備強大的互動性,用户可以對生成的視頻進行互動,通過追加問題來延續視頻内容,形成一系列相關聯的視頻線程,便于深入理解和跟蹤信息。這一功能使得 NoLang 不僅是一個信息獲取工具,更是一個智能學習助手。
此外,NoLang 還推出了 Chrome 擴展功能。安裝 Chrome 擴展後,用户可以直接在浏覽器中調用 NoLang 服務,無需離開當前網頁,即可生成視頻。不過,目前 NoLang 僅支持日語和英語,其他地區的用户可能使用不便。
體驗地址:http://no-lang.com
4、AI 視頻生成模型—— MoneyPrinterTurbo
產品信息:MoneyPrinterTurbo 是一款開源 AI 視頻生成模型,旨在幫助視頻創作者高效制作短視頻。
產品功能:用户只需輸入内容主題或幾個關鍵詞,就能自動生成一段包含文案、素材、字幕以及背景音樂的一分鍾高清短視頻。并且 MoneyPrinterTurbo 支持批量視頻生成,一次性可生成多個視頻供用户選擇,提高工作效率。
同時,MoneyPrinterTurbo 可生成包括豎屏(9:16,1080x1920)和橫屏 ( 16:9,1920x1080 ) 的多尺寸視頻,支持多語言輸入和多種模型接入,包括 OpenAI、moonshot、Azure、gpt4free、one-api 等。截止發稿,MoneyPrinterTurbo 在 Github 上已累積 2500 顆星。
項目地址: https://github.com/harry0703/MoneyPrinterTurbo
5、比 Sora 更驚豔的 AI 視頻制作工具—— LTX Studio
產品信息:LTX Studio 是一款由 Lightricks 推出的 AI 電影生成工具,旨在簡化視頻創作流程,提升影片制作效率,降低成本。據了解,Lightricks 的首批測試名額于 2024 年 3 月 27 日發放。
產品功能:用户只需輸入文字提示或創意想法,LTX Studio 便會根據提示生成腳本和分鏡頭,同時提供了豐富的定制選項,如場景、風格、角色等,還可以對鏡頭切換、角色、場景一致性、攝影機、燈光等進行可視化精準控制,使用户能靈活調整并預覽影片效果。
此外,LTX Studio 還具有換臉和修改功能,用户只需上傳一張照片,就能輕松實現角色換臉。亦或者使用 @ 提及角色名稱即可添加、替換或删除任何鏡頭中的任何角色。這一功能增強了用户的創造力和自由度,為視頻和影視創作帶來更多想象空間和可能。
體驗地址:https://ltx.studio/
(本文首發于钛媒體 APP,作者 | 章橙,編輯 | 林志佳)