大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

字節大模型新進展:首次引入視覺定位,實現細粒度多模态聯合理解,已開源&demo可玩

2023-08-15 简体 HK SG TW

今天小編分享的科學經驗:字節大模型新進展:首次引入視覺定位,實現細粒度多模态聯合理解,已開源&demo可玩,歡迎閱讀。

字節大模型,BuboGPT 來了。

支持文本、影像、音頻三種模态,做到細粒度的多模态聯合理解。

答哪指哪,什麼講了什麼沒講,一目了然:

除了有 " 慧眼 ",還有 " 聰耳 "。人類都注意不到的細節 BuboGPT 能聽到:

前方高能!

三模态聯合理解,文字描述 + 影像定位 + 聲音定位,一鍵搞定,準确判斷聲音來源:

别着急,還沒完!

即使音頻和影像之間沒有直接關系,也可以合理描述兩者之間的可能關系,看圖辨音講故事也可以:

這麼一看,BuboGPT 幹點活,夠 " 細 " 的。

研究人員表示:

MiniGPT-4,LLaVA 和 X-LLM 等最近爆火的多模态大模型未對輸入的特定部分進行基礎性連接,只構建了粗粒度的映射。

而 BuboGPT 利用文本與其它模态之間豐富的信息且明确的對應關系,可以提供對視覺對象及給定模态的細粒度理解。

因此,當 BuboGPT 對影像進行描述時,能夠指出圖中對象的具體位置。

BuboGPT:首次将視覺連接引入 LLM

除了上面作者分享在 YouTube 的示例,研究團隊在論文中也展示了 BuboGPT 玩出的各種花樣。

活久見青蛙彈琴!這樣的圖 BuboGPT 也能準确描述嗎?

一起康康回答得怎麼樣:

不僅能夠準确描述青蛙的姿勢,還知道手摸的是班卓琴?

問它圖片都有哪些有趣的地方,它也能把圖片背景裡的東西都概括上。

BuboGPT" 眼力 + 聽力 + 表達力測試 ",研究人員是這樣玩的,大家夥兒先來聽這段音頻。

再來看看 BuboGPT 的描述怎麼樣:

圖片上的人的性别、聲音來源、圖片中發生的事情,BuboGPT 都能準确理解。

效果這麼好,是因為字節這次用了将視覺定位引入 LLM 的方法。

具體方法我們接着往下看。

BuboGPT 的架構是通過學習一個共享的語義空間,并進一步探索不同視覺對象和不同模态之間的細粒度關系,從而實現多模态理解。

為探索不同視覺對象和多種模态之間的細粒度關系,研究人員首先基于 SAM 構建了一個現成的視覺定位 pipeline。

這個 pipeline 由标記模塊(Tagging Module)、定位模塊(Grounding Module)和實體匹配模塊 ( Entity-matching Module ) 三個模塊組成。

流程大概是這樣嬸兒的:

首先,标記模塊是一個預訓練模型,可以生成與輸入影像相關的多個文本标籤。

基于 SAM 的定位模塊進一步定位影像上與每個文本标籤相關的語義掩模或邊界框。

然後,實體匹配模塊利用 LLM 的推理能力從标籤和影像描述中檢索匹配的實體。

研究人員就是通過這種方式,使用語言作為橋梁将視覺對象與其它模态連接起來。

為了讓三種模态任意組合輸入都能有不錯的效果,研究人員采用了類似于 Mini-GTP4 的兩階段走訓練方案:

單模态預訓練和多模态指令調整。

具體而言,BuboGPT 使用了 ImageBind 作為音頻編碼器,BLIP-2 作為視覺編碼器,以及 Vicuna 作為預訓練 LLM。

在單模态預訓練階段,在大量的模态 - 文本配對數據上訓練相應的模态 Q-Former 和線性投影層。

對于視覺感知,研究人員僅對影像标題生成部分進行投影層的訓練,并且保持來自 BLIP2 的 Q-Former 固定。

對于音頻理解,他們同時訓練了 Q-Former 和音頻标題生成部分。

在這兩種設定下都不使用任何提示(prompt),模型僅接收相應的影像或音頻作為輸入,并預測相應的标題(caption)。

△不同輸入的指令遵循示例

在多模态指令調整階段,構建了一個高質量的多模态指令數據集對線性投影層進行微調,包括:

影像 - 文本:使用 MiniGPT-4 和 LLaVa 中的兩個數據集進行視覺指令調優。 

音頻 - 文本:基于 Clotho 數據集構建了一系列表達性和描述性數據。 

音頻 - 影像 - 文本:基于 VGGSS 數據集構建了 < 音頻,影像,文本 > 三模态指導調優數據對,并進一步引入負樣本來增強模型。

值得注意的是,通過引入負樣本 " 影像 - 音頻對 " 進行語義匹配,BuboGPT 可以更好地對齊,多模态聯合理解能力更強。

目前 BuboGPT 代碼、數據集已開源,demo 也已發布啦,我們趕緊上手體驗了一把。

demo 淺玩體驗

BuboGPT demo 頁面功能區一目了然,操作起來也非常簡單,右側可以上傳圖片或者音頻,左側是 BuboGPT 的回答視窗以及用戶提問視窗:

上傳好照片後,直接點擊下方第一個按鈕來上傳拆分圖片:

就拿一張長城照片來說,BuboGPT 拆成了這個樣子,識别出了山、旅遊勝地以及城牆:

當我們讓它描述一下這幅圖時,它的回答也比較具體,基本準确:

可以看到拆分框上的内容也有了變化,與回答的文本内容相對應。

再來一張圖片,并帶有一段音頻,BuboGPT 也正确匹配了聲音來源:

當然,它也會出現識别不成功,表述錯誤的情況,比如說下面這張圖中并沒有人,音頻也只是鍾聲,但它的描述和圖片似乎并不搭邊。

感興趣的家人趕緊親自上手試試~~

傳送門:

[ 1 ] https://bubo-gpt.github.io/

[ 2 ] https://huggingface.co/spaces/magicr/BuboGPT(demo)

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?矽碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?矽碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裡面都有啥? 曹操墓,裡面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200戶連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200戶連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們