今天小編分享的科技經驗：度小滿開源國内首個千億參數金融大模型“軒轅”，歡迎閱讀。
近日 , 度小滿正式開源國内首個千億級中文金融大模型—— " 軒轅 "。軒轅大模型是在 1760 億參數的 Bloom 大模型基礎上訓練而來 , 在金融名詞理解、金融市場評論、金融數據分析和金融新聞理解等任務上 , 效果相較于通用大模型大幅提升 , 表現出明顯的金融領網域優勢。
近日 , 度小滿正式開源國内首個千億級中文金融大模型—— " 軒轅 "。軒轅大模型是在 1760 億參數的 Bloom 大模型基礎上訓練而來 , 在金融名詞理解、金融市場評論、金融數據分析和金融新聞理解等任務上 , 效果相較于通用大模型大幅提升 , 表現出明顯的金融領網域優勢。
在金融場景中的任務評測中 , 軒轅全面超越了市場上的主流開源大模型 , 赢得了 150 次回答中 63.33% 的勝率 , 充分凸顯了其在金融領網域的顯著優勢。在通用能力評測中 , 軒轅有 10.2% 的任務表現超越 ChatGPT 3.5,61.22% 的任務表現與之持平 , 涉及數學計算、場景寫作、邏輯推理、文本摘要等 13 個主要維度。
為了提升軒轅大模型對金融領網域問題的理解能力 , 度小滿将自身業務中積累的金融領網域的千億 tokens 的中文預訓練數據集用來訓練模型。該數據集涵蓋了金融研報、股票、基金、銀行、保險等各個方向的專業知識。度小滿表示 , 經過清洗和标注的高質量數據集 , 不僅在通用性方面與 ChatGPT 達到持平成為可能 , 且顯著提升了模型在金融垂直領網域的性能。
BLOOM ( Big Science Language Open-science Open-access Multilingual ) 是 2021 年由 1000 多名志願研究人員在一個名為 " 大科學 BigScience" 的項目中創建 ,2022 年 7 月 12 日正式發布。BLOOM 擁有 1760 億個參數 ( 決定輸入數據如何轉換為輸出内容的變量 ) , 稍多于擁有 1750 億個參數的 GPT-3。BLOOM 擁有 1.61TB 文本 , 包含 46 種自然語言和 13 種編程語言。相比 Meta 發布的 130 億參數的 LLaMA ( Large Language Model Meta AI ) 模型 ,Bloom 參數量更占優勢。
目前 , 千億級的軒轅模型已可以在 Huggingface 中申請下載 , 面向所有金融機構開放。 下載地址 :https://github.com/Duxiaoman-DI/XuanYuan
度小滿 CTO 許冬亮表示 , 軒轅大模型是經度小滿業務場景中積累的金融數據訓練而來的 , 對金融相關問題的理解比通用大模型更有優勢。我們把大模型能力開放給金融機構 , 有利于推動大模型在金融行業的應用 , 降低大模型的應用門檻 , 提升金融行業智能化水平。
作為 AI 新基建 , 大模型在金融及各個行業有着廣泛的應用場景。軒轅大模型開源後 , 對金融機構有何意義 ?
許冬亮認為 , 生成式大模型在内容生成與創作、信息摘要與總結、知識理解與問答、自然互動與對話等方面具備非常出色的能力 , 在金融場景中會有廣泛的應用。在前台 , 生成式大模型将大幅提升客戶經理的專業水平和服務能力 , 大幅降低客戶經理的運營成本 , 讓每個人都擁有 24 小時在線的專業客戶經理成為可能。出色的内容生成能力也将引發營銷内容生產能力的大幅提升。在中台 , 生成式大模型有機會改變企業内知識獲取、内容創作、會議與溝通、代碼開發與測試的方式 , 進而大幅提升企業内部辦公效率 , 甚至引發研發測試模式變革 , 全方位的提升金融企業内部運營效率。在後台 , 大模型将成為智能科技底座的标配 , 大幅降低智能技術應用的門檻 , 只需少量标注數據甚至無需調整就可以讓智能技術覆蓋廣泛的場景。
度小滿依托于百度人工智能技術 , 已經開展了一系列基于大模型的應用。以風險管理為例 , 度小滿已經将大型語言模型 LLM 應用在互聯網文本數據、征信報告的解讀上 , 通過用文本數據構造的預訓練模型以及 AI 算法 , 能夠将征信報告解讀出 40 萬維的風險變量 , 更好的識别小微企業主的信貸風險。今年 5 月份 , 這一工程榮獲了 " 吳文俊人工智能科學技術獎 "。今年 2 月份 , 百度基于文心大模型技術推出的生成式對話產品 " 文心一言 " ( 英文名 :ERNIE Bot ) 開放生态合作 , 度小滿成為首家接入的金融科技公司。
