今天小編分享的科學經驗:清華團隊推出新平台:用去中心化AI打破算力荒,歡迎閲讀。
最近,一則數據點出了 AI 領網域算力需求的驚人增長——
根據業内專家的預估,OpenAI 推出的 Sora 在訓練環節大約需要在 4200-10500 張 NVIDIA H100 上訓練 1 個月,并且當模型生成到推理環節以後,計算成本還将迅速超過訓練環節。
照這個趨勢發展下去,GPU 的供給或許很難滿足大模型持續的需求。
不過,最近海外有一個新動向,可能會給即将到來的 " 算力荒 " 提供新的解決思路——去中心化 AI。
三周前,3 月 23 日,Stability AI 突然發布一項公告,宣布公司 CEO Emad Mostaque 辭職。Emad Mostaque 自己透露了接下來動向,要去追求 " 去中心化 AI 的夢想 "。
但由于去中心化網絡的不确定性、不穩定性等技術上的痛難點沒法解決,上一波去中心化 AI 很難在大模型時代真正落地。
直到最近,量子位發現,一個在海外創業的清華團隊聚焦去中心化 AI,創立了 NetMind.AI。2023 年,NetMind 發布了一份白皮書,詳細介紹了去中心化算力共享平台 NetMind Power。這個平台要解決的,正是去中心化 AI 在大模型時代落地的痛點。
一、讓每一位開發者都用得起 GPU
2021 年 9 月,NetMind.AI 啓動了一項名為 NetMind Power 的去中心化計算平台項目。
全球有大量的閒置算力:傳統數據中心的閒置算力,中小型企業擁有的沒有充分使用的算力以及個人擁有的零散 GPU。這些算力要麼被閒置,要麼被用來做遊戲、視頻渲染。同時,AI 算力又越發緊缺,AI 研究人員、中小型企業尤其是 AI 創業公司、參與 AI 項目的傳統公司都受困于 AI 算力的高成本和高門檻。
于是,NetMind Power 創建了一個去中心化的計算網絡,利用 NetMInd 研發的核心技術,撬動全球算力資源,為 AI 產業提供好用又用得起的 AI 算力服務。
△NetMind Power 是獲取算力的經濟之選,為用户提供高效且實惠的計算資源解決方案。
目前,NetMind Power 已經收集了數千張顯卡,包括 H100,A100,4090,3090。
該平台的四大亮點:
1. 去中心化動态集群——在極度不确定的算力上打造可靠高效的 AI 應用
Power 平台利用基于 P2P 的動态分布式集群技術,結合其獨特的路由、聚類算法及神經網絡,将成千上萬個計算節點編織成強大的網絡集群架構,專門服務于 AI 應用等高層需求。
當用户在 Power 平台上進行 AI 相關操作,如模型訓練、微調或推理時,Power 的去中心化網絡能夠在極短時間内,在全球各地的計算節點中,通過最優化算法快速調配最合适的計算資源,為用户提供服務。
同時,Power 為 B 端用户提供動态集群策略,可以在幾秒内智能進行節點重組和配置,提供可定制,高擴展和高冗餘的專屬集群。
2. 完整的 AI 生态:降低算力使用門檻,擴大去中心化網絡應用場景
借助 NetMind 多年在 AI 領網域的積累,Power 網絡在基礎算力服務之外,還将囊括開源模型庫、AI 數據集、數據與模型加密等 AI 生态基座,以及模型訓練、推理、部署等全方位服務,打造 MaaS ( Model as a Service ) 平台,為算力供給方與 AI 應用端的雙方賦能。
針對科研人員、AI 領網域的中小企業和傳統企業的 AI+ 項目,Power 的 MaaS 平台将大幅度降低算力的使用門檻,特别是對于沒有專業 AI 開發能力的中小企業和傳統企業來説,這一點尤為重要。
對于傳統算力供給者,借助 Power 網絡可以觸達更多用户。更進一步,他們借助 Power 的 MaaS 平台,可以擴大應用場景,獲得更高收益。這樣一來,Power 網絡可以将傳統的中小型中心化算力也納入去中心化算力網絡,進而大幅度擴大網絡規模。
3. 異步訓練算法——解決網絡瓶頸,挖掘閒置算力潛力
在當下的機器學習領網域,特别是在大型語言模型訓練中,通常需要通過 GPU 專用連接線或高帶寬的内部網絡來實現 GPU 間的同步分布式訓練,這不可避免地增加了訓練的門檻和成本。
NetMind Power 通過自研的模型切分和數據異步的技術,打破了分布式訓練中網速和帶寬的壁壘,即使是分布在地球不同角落的訓練節點,也能夠同步參與到龐大的模型訓練工作中。
4. 模型加密與數據隔離——解決去中心化網絡中的安全困擾
Power 提供獨特的模型加密技術,保障了在去中心化的志願計算場景中,用户的 AI 模型和數據安全。所有網絡通信都經過加密處理,保障了數據傳輸的安全;通過數據隔離與模型拆分确保去中心化網絡中任何單一節點無法獲得完整數據和模型,大幅度提高安全性。
二、又一個清華背景團隊,已在海外創業多年
NetMind.AI 的核心團隊來自清華,已在 AI 領網域打磨超過 10 年的時間。
公司創始人兼 CEO, Kai Zou 于 2010 年畢業于清華大學數學物理基礎科學班,并于 2013 年獲得喬治城大學數學和統計學碩士學位。
他是一名連續創業者,曾同時領導 ProtagoLabs 和非營利組織 AGI Odyssey。同時,他還是一位天使投資人,曾投資包括 Haiper.ai、Auto Edge、Qdot 和 Orbit 在内的多家 AI 初創企業。
值得關注的是,目前,Kai Zou 和 OpenAI 研究員 Jason Wei 發表的論文《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》累計引用次數已經超過 2000 次。CEO 和他的團隊堅信他們搭建的平台應該為真正做學術研究的學者以及推動 AI 發展的企業工程師們提供資源。
公司 CTO 則于 2016 年在喬治華盛頓大學獲得計算機科學碩士學位;在加入 NetMind.AI 之前,曾在微軟擔任高級團隊負責人;其在 Web3、區塊鏈技術、分布式系統、Kubernetes、雲計算以及 Azure 和 AWS 等方面積累頗深;并具備邊緣計算、全棧開發和機器學習等專業技能。
三、終極理想:把 AI 送進千家萬户
NetMind 去中心化 AI 的願景背後,實則深埋着技術普惠的理想。
回看 IT 技術發展史,去中心化的思潮往往在計算資源集中化陡增的時刻湧現,作為一股自下而上的力量,對抗試圖将一切資源壟斷的巨頭,從而拉開新一輪的技術普惠浪潮,讓新技術真正普及到世界各個角落。
如今的大模型市場,或許正處在這樣的時刻。
放眼大模型市場,轟轟烈烈發展了一整年後,真正能站穩腳跟的創業公司并不多。除了極少數幾家明星獨角獸外,大模型的未來似乎正在收斂到微軟、谷歌、英偉達等科技巨頭手中。長此以往,少數企業可能會對計算資源的定價、可用性和訪問權限形成壟斷控制。
這時候,正需要類似 NetMind Power 這樣的民主化叙事,為 AGI 的故事撰寫新的藍圖。
目前,NetMind 已經在學術和商業領網域展開合作——
學術方面,NetMind Power目前已經與諸多國内外頂級名校開展合作,包括計算機科學領網域頂尖的劍橋大學、牛津大學、卡耐基梅隆大學,美國西北大學、清華大學、華中科技大學、萊斯大學、復旦大學、上海交通大學等。
商業方面,NetMind Power作為企業提供基于去中心化網絡的 AI 算力解決方案,讓企業可以專注于模型研發與產品創新。越來越多的企業在 Netmind Power 的幫助下,加速推出 AI 創新產品。例如最近在北美勢頭正盛的文生視頻團隊 Haiper.ai 已經将其模型的訓練和推理與 NetMind Power 平台深度結合。
未來,NetMind Power 将逐漸生長為一個去中心化的 AI 社區,加速全球 AI 創新。
機器學習從業者,學術研究人員及 AI 應用側的企業都可以在 NetMind Power 平台找到自己所需的算力和模型,也可以把自己訓練的模型托管在平台上,甚至提供給平台上的其他用户,并從中收取一定費用。
用户不僅能夠在平台上調用相應算力解決自己的訓練需求,還能将自己訓練的模型通過平台提供給更多有需要的人或企業,層層傳遞。
将時間軸拉長,要真正實現 AGI,AI 的普惠化和民主化是必然前提。如今,率先出發的 NetMind.AI,正在做出自己的貢獻,尋找更多的夥伴,通向民主的 AGI 時代,邁出堅實的一小步。
* 本文系量子位獲授權刊載,觀點僅為作者所有。
— 完 —
量子位 QbitAI
վ ' ᴗ ' ի 追蹤 AI 技術和產品新動态
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>