大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

1.5T内存挑戰英偉達!8枚芯片撐起3個GPT-4,華人AI芯片獨角獸估值365億

2023-09-23 简体 HK SG TW

今天小編分享的科學經驗:1.5T内存挑戰英偉達!8枚芯片撐起3個GPT-4,華人AI芯片獨角獸估值365億,歡迎閱讀。

高端 GPU 持續缺貨之下,一家要挑戰英偉達的芯片初創公司成為行業熱議焦點。

8 枚芯片跑大模型,就能支持 5 萬億參數(GPT-4 的三倍) 。

這是獨角獸企業SambaNova剛剛發布的新型 AI 芯片SN40L——

型号中 40 代表是他們第四代產品,L 代表專為大模型(LLM)優化:高達1.5T 的内存,支持25.6 萬個 token的序列長度。

CEO Rodrigo Liang表示,當前行業标準做法下運行萬億參數大模型需要數百枚芯片,我們的方法使總擁有成本只有标準方法的 1/25。

SambaNova 目前估值 50 億美元(約 365 億人民币),累計完成了 6 輪總計 11 億美元的融資,投資方包括英特爾、軟銀、三星、GV 等。

他們不僅在芯片上要挑戰英偉達,業務模式上也說要比英偉達走的更遠:直接參與幫助企業訓練私有大模型。

目标客戶上野心更是很大:瞄準世界上最大的 2000 家企業。

1.5TB 内存的 AI 芯片

最新產品 SN40L,由台積電 5 納米工藝制造,包含 1020 億晶體管,峰值速度 638TeraFLOPS。

與英偉達等其他 AI 芯片更大的不同在于新的三層 Dataflow 内存系統。

520MB 片上 SRAM 内存

65GB 的高帶寬 HBM3 内存

以及高達 1.5TB 的外部 DRAM 内存

與主要競品相比,英偉達 H100 最高擁有 80GB HBM3 内存,AMD MI300 擁有 192GB HBM3 内存。

SN40L 的高帶寬 HBM3 内存實際比前兩者小,更多依靠大容量 DRAM。

Rodrigo Liang 表示,雖然 DRAM 速度更慢,但專用的軟體編譯器可以智能地分配三個内存層之間的負載,還允許編譯器将 8 個芯片視為單個系統。

除了硬體指标,SN40L 針對大模型做的優化還有同時提供密集和稀疏計算加速。

他們認為大模型中許多權重設定為 0,像其他數據一樣去執行操作很浪費。

他們找到一種軟體層面的加速辦法,與調度和數據傳輸有關,但沒有透露細節," 我們還沒準備好向公布是如何做到這一點的 "。

咨詢機構 Gartner 的分析師 Chirag Dekate 認為,SN40L 的一個可能優勢在于多模态 AI。

GPU 的架構非常嚴格,面對影像、視頻、文本等多樣數據時可能不夠靈活,而 SambaNova 可以調整硬體來滿足工作負載的要求。

目前,SambaNova 的芯片和系統已獲得不少大型客戶,包括世界排名前列的超算實驗室,日本富嶽、美國阿貢國家實驗室、勞倫斯國家實驗室,以及咨詢公司埃森哲等。

業務模式也比較特别,芯片不單賣,而是出售其定制技術堆棧,從芯片到伺服器系統,甚至包括部署大模型。

為此,他們與 TogetherML 聯合開發了 BloomChat,一個 1760 億參數的多語言聊天大模型。

BloomChat 建立在 BigScience 組織的開源大模型 Bloom 之上,并在來自 OpenChatKit、Dolly 2.0 和 OASST1 的 OIG 上進行了微調。

訓練過程中,它使用了 SambaNova 獨特的可重配置數據流架構,然後在 SambaNova DataScale 系統進行訓練。

這也是這家公司最大被投資者熱捧之外的最大争議點之一,很多人不看好一家公司既做芯片又做大模型。

給每家大企業打造 150 個大模型

在與 The Next Platform 網站交流時,CEO Rodrigo Liang 表示:

用于大模型訓練的公開數據已快耗盡,但對參數數量的追求還在不斷增加。

各種大模型的性能相差只有幾個百分點,這不是大家應該玩的遊戲。

他認為大模型與生成式 AI 商業化的下一個戰場是企業的私有數據,尤其是大企業。

這些企業坐擁大量的數據,但自己不知道其中大部分内容是什麼。

對于企業私有大模型的形态,SambaNova 也有與眾不同的觀點。

他們認為最終企業内部不會運行一個 GPT-4 或谷歌 Gemini 那樣的超大模型,而是根據不同數據子集創建 150 個獨特的模型,聚合參數超過萬億。

相當于把 GPT-4 等大模型内部的Mixture of Experts(專家混合)架構擴展到整個系統,稱為Composition of Experts(專家合成)。

在企業運轉的每個節點運行一個完整且經過專門調整的基礎模型,分别用法律語料庫、制造語料庫、風險管理語料庫、财富管理語料庫、客戶銷售語料庫、客戶支持語料庫等等不同數據訓練。

這些專家模型之間通過一種軟體路由或負載平衡器聯在一起,收到推理請求後決定具體向哪個模型推送提示詞。

這一策略與 GPT-4 和谷歌 Gemini 等做法形成鮮明對比,巨頭大多希望創建一個能泛化到數百萬個任務的巨型模型。

分析師認為技術上可能谷歌的做法性能更強,但 SambaNova 的方法對企業來說更實用。

沒有任何一個模型或人能完整訪問企業的所有數據,限制每個部門能訪問的專家模型,就能限制他們能訪問的數據。

斯坦福系芯片公司,華人工程師主力

SambaNova 成立于 2017 年,2020 年之前都比較低調。

聯創 3 人都是斯坦福背景,連產品系列名Cardinal(深紅色)都是斯坦福的昵稱與代表顏色。

CEO Rodrigo Liang 是前 Sun/ 甲骨文工程副總裁,也有人将這個名字解讀為暗指甲骨文老對頭 IBM 的 DeepBlue(深藍)。

另外兩位聯合創始人都是斯坦福教授。

CTO Kunle Olukotun是電氣工程教授,因多核芯片架構方面的研究而聞名,開發了首批支持線程級推測 ( TLS ) 的芯片之一。

Christopher R é是計算機科學副教授,重點研究方向機器學習和數據分析的速度和可擴展性。

此外團隊中還有不少華人工程師。

從官網公開信息來看,SambaNova 的領導團隊中,至少有 3 名華人。

Jonathan Chang,擁有 UC 伯克利的機械工程學士學位以及南加州大學的 MBA 學位。

他在構建高增長方面擁有 20 多年的經驗。加入 SambaNova 之前,Chang 在特斯拉工作了近 9 年。

Marshall Choy,此前曾擔任甲骨文公司系統產品管理和解決方案開發副總裁,監督了數十個行業的企業硬體和軟體產品的上市。

Penny Li,在 EDA 工具和微處理器設計方面擁有超過 27 年的經驗。此前,她曾在 IBM 和甲骨文工作過。

如果去領英搜索還能發現更多華人團隊成員。‍‍‍

目前 SambaNova 包含 SN40L 芯片的人工智能引擎已上市,但定價沒有公開。

根據 Rodrigo Liang 的說法,8 個 SN40L 組成的集群總共可處理 5 萬億參數,相當于 70 個 700 億參數大模型。

全球 2000 強的企業只需購買兩個這樣的 8 芯片集群,就能滿足所有大模型需求。

參考鏈接:

[ 1 ] https://spectrum.ieee.org/ai-chip-sambanova

[ 2 ] https://www.nextplatform.com/2023/09/20/sambanova-tackles-generative-ai-with-new-chip-and-new-approach/

[ 3 ] https://sambanova.ai/resources/

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?矽碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?矽碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裡面都有啥? 曹操墓,裡面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200戶連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200戶連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們