今天小編分享的互聯網經驗：百川智能發布超千億參數大模型Baichuan 3，醫療能力逼近GPT-4，歡迎閱讀。
圖片來源：視覺中國
1 月 29 日，中國人工智能創業公司百川智能發布超千億參數的大語言模型 Baichuan 3。在多個權威通用能力評測如 CMMLU、GAOKAO 和 AGI-Eval 中，Baichuan 3 都展現了出色的能力。而在 CMMLU、GAOKAO、HumanEval 和 MBPP 等多個中文評測榜單上，更是超越 GPT-4 展現了其在中文任務上的優勢。
與百億、幾百億級别參數模型訓練不同，超千億參數模型在訓練過程中對高質量數據，訓練穩定性、訓練效率的要求都高出幾個量級。為更好解決相關問題，百川智能在訓練過程中針對性地提出了 " 動态數據選擇 "、" 重要度保持 " 以及 " 異步 CheckPoint 存儲 " 等多種創新技術手段及方案，有效提升了 Baicuan 3 的各項能力。
高質量數據方面，傳統的數據篩選依靠人工定義，通過濾重篩選、質量打分、Textbook 篩選等方法過濾數據。而百川智能認為，數據的優化和采樣是一個動态過程，應該随着模型本身的訓練過程優化，而非單純依靠人工先驗進行數據的采樣和篩選。為全面提升數據質量，百川智能設計了一套基于因果采樣的動态訓練數據選擇方案，該方案能夠在模型訓練過程中動态地選擇訓練數據，極大提升數據質量。
百川智能的醫療知識水平也有突破。Baichuan3 的醫療數據集 Token 數超千億，醫療能力逼近 GPT-4。為了給 Baichuan3 注入豐富的醫療知識，百川智能在模型預訓練階段構建了超過千億 Token 的醫療數據集，包括醫學研究文獻、真實的電子病歷資料、醫學領網域的專業書籍和知識庫資源、針對醫療問題的問答資料等。該數據集涵蓋了從理論到實際操作，從基礎理論到臨床應用等各個方面的醫學知識。
目前，百川智能沒有透露模型參數量，只是公布 Baichuan3 是超千億參數的大模型。相比之下，GPT-3.5 是 1750 億參數。
百川智能由王小川和茹立雲聯合創立，成立于 2023 年 4 月，以搜狗團隊為基礎。據報道，公司成立之初就已獲得 5000 萬美元啟動資金。
百川智能的速度一直很快。百川智能成立不到 100 天，便發布了 Baichuan-7B、Baichuan-13B 兩款開源可免費商用的中文大模型。從 Baichuan 1.0 到如今 3.0，只用了 9 個月。
就在一個月前，2023 年 12 月 19 日，百川智能宣布開放基于搜索增強的 Baichuan2-Turbo 系列 API，包含 Baichuan2-Turbo-192K 及 Baichuan2-Turbo，在支持 192K 上下文視窗的基礎上，還增加了搜索增強知識庫的能力。
相比于 Baichuan2-192K，Baichuan3 的允許輸入文本長度有縮水。Baichuan2-192K 上線時，允許用戶輸入文本最長達 35 萬字，宣稱可以一次讀完一本《三體 2》，是全球處理上下文視窗長度最長的大模型。目前 Baichuan3 允許輸入不超過 4096 個字元的文本，相當于 2000 個漢字或者 3000 個英文單詞。
在過去一年的大模型創業中，通過行業數據訓練行業垂直大模型，被認為是大模型在 B 端落地的主要路徑。但百川智能選了另一條方向，據甲子光年報道，百川智能将向量數據庫更新為搜索增強知識庫，提升了大模型獲取外部知識的能力；把搜索增強知識庫和超長上下文視窗結合，讓模型可以連接全部企業知識庫以及全網信息。
去年年底的媒體溝通會上，王小川透露，百川智能的 C 端產品第一重心是醫療方向，產品預計會在 2024 年上線。
