免費AI“神器”系列第九彈：“字節版Sora”突然爆火；AI 代碼軟體走紅網絡

今天小編分享的互聯網經驗：免費AI“神器”系列第九彈：“字節版Sora”突然爆火；AI 代碼軟體走紅網絡，歡迎閲讀。

近期，生成式人工智能（AIGC）領網域又湧現出多款創意十足的新應用。

今天，钛媒體 AGI 梳理了免費 AI " 神器 " 系列第九彈，共五款，其中不少產品再一次拓寬了我們對 AI 的想象力。

字節推出的 AI 視頻生成模型—— AnimateDiff-Lightning

開源 SDXL 動漫模型—— Animagine XL 3.1

視頻自動生成音效的 AI 工具—— Optimizer AI

通過攝像頭能實現在紙上彈鋼琴的 AI 應用—— Paper Piano 紙鋼琴

截圖轉代碼應用—— screenshot-to-code

1、 字節版 Sora：AnimateDiff-Lightning AI 視頻模型

產品信息：AnimateDiff-Lightning 是字節跳動推出的文生視頻大模型，該模型是從 AnimateDiff SD1.5v2 中提煉出來的，包含了 1 步、2 步、4 步和 8 步提煉模型的版本。其中，2 步、4 步和 8 步模型的生成質量非常好，為視頻創作者帶來更多了想象和助力。

產品功能：AnimateDiff-Lightning 能夠根據文本描述生成視頻，比起原來的 AnimateDiff 模型，速度提升十倍以上。同時還可以與多種不同風格的基礎模型結合使用，将現有視頻轉換成不同風格的視頻。比如将現實風格視頻轉換成動漫卡通風格，以滿足不同視頻風格創作需要。此外，AnimateDiff-Lightning 支持多步驟蒸餾模型，提供 1 步、2 步、4 步和 8 步的蒸餾模型，用户可以根據自己的需求，在生成視頻的速度和質量之間做出選擇，以平衡生成速度和視頻質量。

體驗地址：https://huggingface.co/ByteDance/AnimateDiff-Lightning?ref=top.aibase.com

論文地址 : https://arxiv.org/html/2403.12706v1

2、開源 SDXL 動漫模型—— Animagine XL 3.1

產品信息：Animagine XL3.1 是由海藝 AI 與 Cagliostro Lab 合作推出的一款開源動漫文生圖模型。相較于 V3.0 版本，Animagine XL 3.1 在各方面都進行顯著的技術性提升，使其對動漫作品和風格的理解更加深入，為用户提供更加強大的動漫影像生成體驗。

產品功能：Animagine XL 3.1 能夠根據文本提示生成高質量動漫風格影像。為了提高生成結果的準确性，Animagine XL3.1 采用了标籤排序的方式，可以更準确地根據輸入的标籤進行生成影像，提高生成結果準确性。同時，Animagine XL 3.1 擁有 87 萬張圖片的數據集，極大增強了模型對各種動漫角色的識别能力；引入全新概念 " 美學标籤 "，更新了質量和年份标籤，不僅提高了生成影像的視覺吸引力，也确保影像風格一致性，符合更高要求的審美質量标準。

此外，Animagine XL3.1 還解決了 3.0 版本中的過曝問題，提高了生成影像的質量。通過對算法和訓練過程的優化，該模型在生成影像時，能夠更好地控制影像的亮度和色彩，從而避免過曝現象的出現。目前 V3.0 在 Civitai 的下載量超 7 萬。

體驗地址：https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1

模型下載地址：https://huggingface.co/cagliostrolab/animagine-xl-3.1?ref=top.aibase.com

3、視頻生成音效的 AI 工具—— Optimizer AI

產品信息：Optimizer AI 是一款可以為視頻自動生成音效的 AI 工具，旨在提升遊戲開發者、藝術家和視頻創作者工作效率，通過音效為視頻增添更多活力。

產品功能：首先，用户輸入文字提示即可生成适用于視頻中各種場景的聲音和音效，包括遊戲音效、動畫背景音和視頻配樂。用户還可以通過指定風格标籤（如卡通、恐怖等）來引導生成不同風格的聲音。

其次，Optimizer AI 支持聲音效果生成，包括變聲功能，能夠基于一個參考聲音生成多個類似的聲音。

再次，Optimizer AI 可以生成用于背景音樂或創建特定氛圍的聲音，并能夠處理和理解文本的信息，保持生成的一致性的同時還可以生成時長更長的聲音效果。

最後，即将推出的視頻到聲音全面生成功能将允許用户從視頻中直接生成聲音效果，進一步擴展聲音創作的可能性。

官網地址 : https://www.optimizerai.xyz/

體驗地址 : https://discord.com/invite/bgfnVaaU2n

4、通過攝像頭追蹤在紙上就能彈鋼琴的 AI 應用—— Paper Piano 紙鋼琴

產品信息： Paper Piano（紙鋼琴）是一款通過攝像頭追蹤就能實現在任何一張白紙上彈鋼琴的 AI 應用。Paper Piano（紙鋼琴）的工作原理是通過在紙上預定義不同區網域來代表鋼琴鍵，當攝像頭捕捉到手指觸摸特定區網域時，相應的音符将被生成。

產品功能： 用户只需準備兩張 A4 大小的白紙模拟鋼琴鍵盤，Paper Piano（紙鋼琴）通過攝像頭跟蹤和手指識别技術捕捉用户的手指移動，從而實現在紙上模拟鋼琴鍵按壓，奏出美妙音樂。值得注意的是，為了确保手指追蹤的準确性，系統要求在網絡攝像頭的設定上注意角度、高度和距離，同時光線越強，性能也會越好。

不過，目前該項目尚處于支持最多兩根手指的階段，未來将支持更多手指和更高敏感度的訓練模型，為用户提供更豐富的演奏體驗。這一技術的發展可能帶來更多有趣的音樂應用，使用户無需購買真正的鋼琴即可享受演奏的樂趣。

體驗地址：https://github.com/Mayuresh1611/Paper-Piano?ref=top.aibase.com

5、截圖轉代碼應用—— screenshot-to-code

產品信息：screenshot-to-code 是一種基于人工智能技術的創新工具，旨在幫助開發人員将影像或界面設計截圖轉換成可執行的代碼。用户只需上傳截圖，即可獲得整潔的網頁代碼，如 HTML、Tailwind CSS 和 JavaScript 等。