今天小編分享的互聯網經驗：百川智能發布Baichuan 2，王小川：全面領先LLaMA 2，歡迎閱讀。
百川智能再次展示了自己的 " 發展速度 "。從今年 4 月成立後，相繼推出便相繼發布了 Baichuan-7B、Baichuan-13B 兩款開源免費可商用的中文大模型後，這次他們又出手了，再次迎來新的裡程碑。
9 月 6 日，百川智能宣布正式開源微調後的 Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 與其 4bit 量化版本，并且均為免費可商用。
這款大模型進化到什麼程度？按照百川智能 CEO 王小川的說法是，全面超越了 LLaMA2 的性能。"Baichuan7B 70 億參數模型在英文評測級上就已經能夠去齊平 LLaMA2130 億參數的模型。因此，我們說以小博大，小模型相當于大模型，我們有同尺寸大的模型就可以得到更高的性能，全面超越了 LLaMA2 的性能。"
百川智能此次還開源了模型訓練的 Check Point，并宣布将發布 Baichuan 2 技術報告，詳細介紹 Baichuan 2 的訓練細節，幫助大模型學術機構、開發者和企業用戶更深入的了解其訓練過程，更好地推動大模型學術研究和社區的技術發展。
文理兼備性能優異，全面領先 LLaMA2
Baichuan2-7B-Base 和 Baichuan2-13B-Base，均基于 2.6 萬億高質量多語言數據進行訓練，在保留了上一代開源模型良好的生成與創作能力，流暢的多輪對話能力以及部署門檻較低等眾多特性的基礎上，兩個模型在數學、代碼、安全、邏輯推理、語義理解等能力有顯著提升。
其中 Baichuan2-13B-Base 相比上一代 13B 模型，數學能力提升 49%，代碼能力提升 46%，安全能力提升 37%，邏輯推理能力提升 25%，語義理解能力提升 15%。
本次開源的兩個模型在各大評測榜單上的表現優秀，在 MMLU、CMMLU、GSM8K 等幾大權威評估基準中，以絕對優勢領先 LLaMA2，相比其他同等參數量大模型，表現也十分亮眼，性能大幅度優于 LLaMA2 等同尺寸模型競品。
更值得一提的是，根據 MMLU 等多個權威英文評估基準評分 Baichuan2-7B 以 70 億的參數在英文主流任務上與 130 億參數量的 LLaMA2 持平。
Baichuan2-7B 和 Baichuan2-13B 不僅對學術研究完全開放，開發者也僅需郵件申請獲得官方商用許可後，即可以免費商用。
國内首創全程開源模型訓練 Check Point，助力學術研究
大模型訓練包含海量高質量數據獲取、大規模訓練集群穩定訓練、模型算法調優等多個環節。每個環節都需要大量人才、算力等資源的投入，從零到一完整訓練一個模型的高昂成本，阻礙了學術界對大模型訓練的深入研究。
本着協作和持續改進的精神，百川智能本次開源了模型訓練從 220B 到 2640B 全過程的 Check Ponit。這對于科研機構研究大模型訓練過程、模型繼續訓練和模型的價值觀對齊等極具價值，将極大推動國内大模型的科研進展，開源訓練模型過程對國内開源生态尚屬首次。
技術報告揭示訓練細節，繁榮開源生态
當前大部分開源模型在開源過程中只是對外公開自身的模型權重，很少提及訓練細節，企業、研究機構、開發者們只能在開源模型的基礎上做有限的微調，很難進行深入研究。
秉持更開放、更透明的理念，為幫助從業者深入了解 Baichuan 2 的訓練過程和相關經驗，更好地推動大模型社區的技術發展。百川智能在發布會上宣布，公開 Baichuan2 的技術報告。技術報告将詳細介紹 Baichuan 2 訓練的全過程，包括數據處理、模型結構優化、Scaling law、過程指标等。
百川智能自成立之初，就将通過開源方式助力中國大模型生态繁榮作為公司的重要發展方向。成立不到四個月，便相繼發布了 Baichuan-7B、Baichuan-13B 兩款開源免費可商用的中文大模型，以及一款搜索增強大模型 Baichuan-53B，兩款開源大模型在多個權威評測榜單均名列前茅，目前下載量超過 500 萬次。
不僅如此，在今年創立的大模型公司中，百川智能是唯一一家通過《生成式人工智能服務管理暫行辦法》備案，可以正式面向公眾提供服務的企業。憑借行業領先的基礎大模型研發和創新能力，此次開源的兩款 Baichuan 2 大模型，得到了上下遊企業的積極響應，騰訊雲、阿裡雲、火山方舟、華為、聯發科等眾多知名企業均參加了本次發布會并與百川智能達成了合作。
