今天小編分享的科技經驗：百川智能發布Baichuan-13B，開啟中國開源大模型商業化時代，歡迎閱讀。
2023 年 7 月 11 日，百川智能正式發布參數量 130 億的通用大語言模型 Baichuan-13B-Base、對話模型 Baichuan-13B-Chat 及其 INT4/INT8 兩個量化版本。
未來大模型生态開源閉源并存已經是不争的事實，如同 iOS 與安卓。目前，以 GPT-4 為代表的超大參數量閉源模型和 100 億 -200 億參數量開源模型是大模型生态鏈中兩個最佳實踐。GPT-4 固然能力強大，但閉源會要求企業訪問公網以及難以定制化适配，使用場景受限。而開源能夠使企業輕松地借助專有數據進行微調和私有化部署，進而促進百行千業的良性發展生态。
Baichuan-13B 中英文大模型集高性能、完全開源、免費可商用等諸多優勢于一身，是目前所有 33B 以下尺寸開源模型中效果最好的可商用大語言模型。在國外已建立起閉源及開源大模型完整生态的背景下，彌補了國内高品質開源商業模型的不足，對助力中國大模型產業發展和技術進步都具有重要意義。
這是百川智能發布的第二款通用大語言模型，而在前不久的 6 月 15 日，百川智能就已經推出了首款 70 億參數量的中英文語言模型 Baichuan-7B，并一舉拿下多個世界權威 Benchmark 榜單同量級測試榜首。
開源地址：
Hugging Face：
預訓練模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Base
對話模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
Github：
https://github.com/baichuan-inc/Baichuan-13B
Model Scope：
預訓練模型：https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Base/
對話模型：https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Chat/
最強性能中英文百億參數量開源模型
預訓練模型 " 底座 " 因其靈活的可定制性，适合具有一定開發能力的開發者和企業，而普通用戶則更關注具有對話功能的對齊模型。因此百川智能在發布預訓練模型 Baichuan-13B-Base 的同時還發布了其對話模型 Baichuan-13B-Chat，Baichuan-13B-Chat 部署簡單、開箱即用，極大降低了開發者的體驗成本。
相比此前發布的 Baichuan-7B，Baichuan-13B 在 1.4 萬億 token 數據集上訓練，超過 LLaMA-13B 40%，是當前開源 13B 尺寸下訓練數據量最大的模型，
在語言模型中，上下文視窗長度對于理解和生成與特定上下文相關的文本至關重要。Baichuan-13B 上下文視窗長度為 4096，不同于 Baichuan-7B 的 RoPE 編碼方式，Baichuan-13B 使用了 ALiBi 位置編碼技術，能夠處理長上下文視窗，甚至可以推斷超出訓練期間讀取數據的上下文長度，從而能夠更好的捕捉文本中上下文的相關性，做出更準确的預測或生成。
作為一款中英文雙語大模型，Baichuan-13B 采用了相對平衡的中英文語料配比和多語言對齊語料，從而在中英兩種語言上表現均很優異。在同等參數量的開源模型中堪稱實力擔當，能更好滿足商業化場景需求。
| MMLU | C-EVAL | CMMLU | |
| Baichuan-13B-Base | 51.6 | 53.4 | 55.3 |
| Baichuan-13B-Chat | 52.1 | 51.5 | 55.8 |
| LLaMA-13B | 46.4 | 28.5 | 31.2 |
| Chinese-Alpaca-13B | 43.9 | 38.8 | 33.44 |
| Ziya-LLaMA-13B | 42.9 | 30.0 | 32.1 |
| Chinese-LLaMA-13B | 39.2 | 32.1 | 33.0 |
| Vicuna-13b | 24.9 | 22.2 | 24.9 |
| Moss-16B | 23.5 | 27.4 | 29.6 |
主流百億參數開源模型 benchmark 成績
中文領網域，在權威評測 C-EVAL 中，Baichuan-13B 性能一騎絕塵，在自然科學、醫學、藝術、數學等領網域大幅領先 LLaMA-13B、Vicuna-13B 等同尺寸的大語言模型，在社會科學、人文科學等領網域甚至超越了 ChatGPT。
英文領網域，其表現同樣優秀，在英文最權威的榜單 MMLU 上，Baichuan-13B 超過了所有同尺寸開源模型，并且在各個維度都具有顯著優勢。
必須要說的是，有些模型為了能在評測中取得更好的成績，會在基座模型和對話模型上引入較多針對 benchmark 的優化。此舉雖然可以在榜單上獲取更高的分數，但是沒有本質地提升模型的基礎能力，并且在下遊任務中易產生回復長度短、質量低的問題，造 成高分低能的現象。百川智能的 Baichuan-13B-Base 和 Baichuan-13B-Chat 未針對任何 benchmark 測試進行專項優化，保證了模型的純淨度，具有更高的效能和可定制性。
中國亟待建立自己的開源大模型生态
眾所周知大模型的訓練成本極高，在海量算力的成本壓力下 OpenAI 和谷歌都選擇了閉源來保證自家大模型的優勢地位。但是從計算機科學與人工智能的發展歷程來看，開源始終對軟體技術乃至 IT 技術發展有着巨大的推動作用。
大模型時代，Meta 率先走上了開源的道路，LLaMA 基座開源之後因其出色的性能，迅速吸引了大量開發者。在其基礎上開發了各種 ChatGPT 開源替代品，并且以極低的訓練成本屢次達到匹敵 GPT-3.5 的性能，極大激發了開源模型的創新活力。
未來大模型生态閉源與開源并存已是行業共識。憑借閉源路線的 GPT、Palm2 以及開源路線的 LLaMA，美國在大模型領網域已經構建起了完整的生态。盡管中文世界不乏優秀的開發者、出色的創新能力和廣泛的應用場景，但由于缺少高性能和高定制性的開源基座模型，在大語言模型領網域的相關研究和應用上仍存在較大的挑戰。中國急需優質開源可商用大模型補齊相關領網域的空白，與開發者和企業共同推動中國人工智能應用的創新生态發展。
Baichuan-13B 開啟中文開源大模型商業化時代
作為同級最好的開源可商用中英文預訓練語言模型，Baichuan-13B-Base 不僅對學術研究完全開放，所有開發者均可通過郵件向百川智能申請授權，在獲得官方商用許可後即可免費商用。
并且，為了盡可能降低模型的使用門檻，百川智能同時開源了 Baichuan-13B-Chat 的 INT8 和 INT4 兩個量化版本，在近乎無損的情況下可以很方便的将模型部署在如 3090 等消費級顯卡上。
本次百川智能發布的 Baichuan-13B 中英文大語言模型，憑借百億參數量已經展現出可以媲美千億模型的能力，大大降低企業部署和調試的使用成本，讓中國開源大模型商業化進入真正可用階段。Baichuan-13B 的開源，實現了國内開源大模型對美國大模型開源領網域的追趕，改變了此前國内在相關領網域一直落後的局面。
同時，其開源模型的代碼完全公開，所有人都可以随時查看，算法透明，不僅有利于研究人員深入探索和研究模型原理，并且有利于建立和深化公眾對大模型的信任，可以說 Baichuan-13B 不僅是百川大模型之路上的又一裡程碑，也是中國大模型快速迭代的重要标志。
百川智能創始人王小川表示，"Baichuan-13B 是百川智能為科技強國送上的一份禮物，我們期待國内大模型行業以及垂直領網域能夠在此基礎上開發出更多優秀產品及行業應用，讓技術在真實、豐富的應用場景中快速迭代創新，我們願與眾多企業、開發者一道為國内開源社區的生态繁榮貢獻自己的力量。"
