今天小編分享的互聯網經驗:百度首次現場演示大模型微調過程,「文心一言」調用成本下降90%,歡迎閲讀。
文 | 周鑫雨
編輯 | 蘇建勳
在大模型 " 扎堆 " 發布的當下,市場亟需更直觀的方式,對模型能力做出判斷。
2023 年 3 月 16 日,在百度文心一言的發布會上,模型采用的是錄播 Demo 的演示形式。在 36 氪的專訪中,百度 CEO 李彥宏給出了理由:
" 一是生成式 AI 每次給出的答案不一定一樣,會帶來不确定性。二是真正説服我的理由,是全球所有類似發布會,沒有一個是現場演示的,都是錄好的。如果大家都可以,那我們也 OK。"
5 月 9 日,在時隔一個多月的技術交流會上,百度一改保守的風格,帶來的是對 " 文心千帆大模型平台 " 能力的現場演示。
百度于 2023 年 3 月 27 日推出的文心千帆大模型平台,是集合了文心一言服務調用、第三方模型訓練、調優服務和工具的一站式平台。其服務主要分為公有雲服務和私有化部署兩部分,公有雲服務主要包括文心一言推理能力調用、模型微調、模型托管,私有化部署則包括軟體授權、軟硬一體和租賃服務。
此次現場演示,百度主要展現了文心千帆的推理能力調用和模型微調兩部分。
文心一言 Sugar 現場生成了銷售額的餅圖。
從演示結果來看,文心一言下屬的數據可視化應用 Sugar 能夠對結構化的數據集進行理解,并快速輸出餅圖。面對模型無法理解的 " 畫折線圖 " 需求,百度程式員則通過文心千帆大模型平台的微調功能,導入 100 條标注數據後對 Prompt 進行了現場改寫,從而實現了折線圖功能。
文心千帆支持模型微調。
這也意味着,文心千帆已經能夠通過僅 100 條左右的少量标注數據,高效完成模型的微調及定制化。百度智能雲 AI 與大數據平台總經理忻舟表示:" 它(文心千帆)通過圖形化的界面,為大家提供非常好的大模型訓練推理和應用的平台——我們不需要去了解代碼,也不需要做命令行的操作,我們只需要關注到最核心的業務數據、業務應用,在文心千帆平台上去做各種訓練和調優。"
與此同時,AI 時代的 " 向内革命 " 也正在百度内部悄然發生,百度搜索、推薦、地圖、如流、小度等產品已經接入了文心一言。
百度内部辦公軟體 " 如流 " 上線了 AI 小助手。關于行業大模型訓練成本,小助手給出的回答是 "10 萬 -50 萬卡時 "。
百度集團副總裁侯震宇表示,對客户而言,成本和模型性能才是評價大模型的兩項指标。
" 訓練一個大模型,動辄三個月,一兩千萬美元,假如每一個企業都需要付出這麼高的代價,門檻那麼高,顯然百度也不會進入這個市場。" 他表示,即便從頭訓練模型的成本依然高昂,但是使用大模型、以及基于大模型底座訓練和微調模型的成本已經有顯著的降低,"現在調用文心一言的成本,已經降低到模型剛發布時(3 月 16 日)的 10%"。
近日谷歌内部流出的一份檔案表示,未來 OpenAI 和谷歌等廠商開發的閉源大模型将不可避免地受到開源模型的衝擊。有其随着 Meta 自研的大模型 LLaMa 泄露,圍繞這一基座的開源模型生态正在迅猛地發展。檔案還提到,企業可以免費使用開源模型,并且更加靈活可控。" 我們沒有壁壘,OpenAI 也沒有 "。
" 大家覺得大模型成本非常高,是因為大模型算力成本高,其次是大模型數據成本。開源模型也繞不開大量的 GPU,所以并不是開源成本一定低。" 侯震宇則向 36 氪給出了相反的答案。
他認為,免費開源模型的調用成本并不意味着更低:" 一方面,一般企業不見得能夠用得起兩三千張集群卡,另一方面是不一定能夠用好,在這麼大的集群量中如果出現了 BUG 很難調整,需要有整體的調優服務能力。大模型貴是因為量大且訓練時間長,在成本這方面,最終要看是否有整體端到端的成本控制能力,這樣一定會比純粹去買成本要低。"
随着大模型的落地逐漸從 " 摸石過河 " 走向實踐的 " 中場戰事 ",低成本和高性能将是不同大模型廠商不斷演練的課題。
36kr 制圖