大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

Stable Diffusion團隊放大招!新繪畫模型直出AI海報,實現像素級影像生成

2023-05-02 简体 HK SG TW

今天小編分享的科學經驗:Stable Diffusion團隊放大招!新繪畫模型直出AI海報,實現像素級影像生成,歡迎閲讀。

開源 AI 繪畫扛把子,Stable Diffusion 背後公司StabilityAI再放大招!

全新開源模型DeepFloyd IF,一下獲星 2 千 + 并登上 GitHub 熱門榜。

DeepFloyd IF 不光影像質量是照片級的,還解決了文生圖的兩大難題:

準确繪制文字。(霓虹燈招牌上寫着 xxx)

以及準确理解空間關系。(一只貓照鏡子看見獅子的倒影)

網友表示,這可是個大事,之前想讓 Midjourney v5 在霓虹燈招牌上寫個字 AI 都是瞎劃拉兩筆,對于鏡子理解的也不對。

使用 DeepFloyd IF,可以把指定文字巧妙放置在畫面中任何地方。

霓虹燈招牌、街頭塗鴉、服飾、手繪插畫,文字都會以合适的字體、風格、排版出現在合理的地方。

這意味着,AI 直出商品渲染圖、海報等實用工作流程又打通一環。

還在視頻特效上開辟了新方向。

目前 DeepFloyd IF 以非商用許可開源,不過團隊解釋這是暫時的,獲得足夠的用户反饋後将轉向更寬松的協定。

有需求的小夥伴可以抓緊反饋起來了。

像素級影像生成

DeepFloyd IF 仍然基于擴散模型,但與之前的 Stable Diffusion 相比有兩大不同。

負責理解文字的部分從 OpenAI 的 CLIP 換成了谷歌T5-XXL,結合超分辨率模塊中額外的注意力層,獲得更準确的文本理解。

負責生成影像的部分從潛擴散模型換成了像素級擴散模型。‍‍

也就是擴散過程不再作用于表示影像編碼的潛空間,而是直接作用于像素。

官方還提供了一組 DeepFloyd IF 與其他 AI 繪畫模型的直觀對比。

可以看出,使用 T5 做文本理解的谷歌 Parti和英偉達 eDiff-1也都可以準确繪制文字,AI 不會寫字這事就是 CLIP 的鍋。

不過英偉達 eDiff-1 不開源,谷歌的幾個模型更是連個 Demo 都不給,DeepFloyd IF 就成了更實際的選擇。

具體生成影像上 DeepFloyd IF 與之前模型一致,語言模型理解文本後先生成 64x64 分辨率的小圖,再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上,通過把指定影像縮小回 64x64 再使用新的提示詞重新執行擴散,也實現以圖生圖并調整風格、内容和細節。

并且不需要對模型做微調就可直接實現。

另外,DeepFloyd IF 的優勢還在于,IF-4.3B 基礎模型是目前擴散模型中U-Net 部分有效參數是最多的。

在實驗中,IF-4.3B 取得了最好的 FID 分數,并達到 SOTA(FID 越低代表影像質量越高、多樣性越好)。

誰是 DeepFloyd

DeepFloyd AI Research 是 StabilityAI 旗下的獨立研發團隊,深受搖滾樂隊平克弗洛伊德影響,自稱為一只 " 研發樂隊 "。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

主要成員只有 4 人,從姓氏來看均為東歐背景。

這次除了開源代碼外,團隊在 HuggingFace 上還提供了 DeepFloyd IF 模型的在線試玩。

我們也試了試,很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集 LAION-A 裏面中文内容不多,不過既然開源了,相信在中文數據集上訓練好的變體也不會太晚出現。

One More Thing

DeepFloyd IF 并不是 Stability AI 昨晚在開源上的唯一動作

語言模型方面,他們也推出了首個開源并引入 RLHF 技術的聊天機器人 StableVicuna,基于小羊駝 Vicuna-13B 模型實現。

完整的桌面和移動界面也即将發布。

Deepfloyd IF 在線試玩:

https://huggingface.co/spaces/DeepFloyd/IF

代碼:

https://github.com/deep-floyd/IF

StableVicuna 在線試玩:

https://huggingface.co/spaces/CarperAI/StableVicuna

參考鏈接:

[ 1 ] https://deepfloyd.ai/deepfloyd-if

[ 2 ] https://stability.ai/blog/deepfloyd-if-text-to-image-model

[ 3 ] https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

[ 4 ] https://stable-diffusion-art.com/how-stable-diffusion-work/

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重税打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重税打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?硅碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?硅碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裏面都有啥? 曹操墓,裏面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200户連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200户連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容温柔 宋慧喬獲視後首次曬照,拿獎杯笑容温柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們