今天小編分享的科學經驗:0代碼微調大模型火了,只需5步,成本低至150塊,歡迎閲讀。
0 代碼微調一個大模型,成本不到 20 美元(人民币約 144 元)?
過程也非常簡單,只需 5 步。
如 LLaMA、GPT、StableLM 等爆火的開源生成式模型,都能搞定。
這就是Monster API,一個最新火起來的 API 平台。
有人覺得這個開源領網域的新工作,能改寫 AI 開發的遊戲規則,加速 AI 應用的速度。
還有人興奮提問,之後會接入 GPT-3/GPT-4 嗎?
所以,它具體是怎麼實現的?
五步零代碼搞定
簡單理解,Monster API 就是将微調步驟盡可能簡易化,讓開發者不用再手動進行一系列設定,同時也提供便宜的 GPU 資源及内存優化。
具體過程如下:
第一步,選擇一個模型進行微調。
比如 LLaMA-7B、GPT-J-6B、StableLM-7B 等,Monster API 提供了至少 10 個基礎大模型。
第二步,選擇或創建微調任務。比如指令微調、文本分類等,或者自定義任務。
第三步,選擇一個 HuggingFace 數據集。
Monster API 可以無縫集成 HuggingFace 數據集,可選擇範圍很大;還可以根據任務類型推薦數據集。
并且不用自己手動操作,就能自動設定好格式。
第四步,設定超參數。
第五步,檢查和提交。
在設定好如上所有步驟後,确定沒有錯誤就可以提交了。
Monster API 表示可以通過 WandB 上的日志來監測任務。
在其博客中寫道,用 DataBricks Dolly 15k 微調 LLaMA-7B 完成 3 個 epouch,成本僅需不到 20 美元(折合人民币約 144 元)。
官網顯示,注冊用户後會贈送 2500 積分。會員分為三檔,收費分别是每月 9 美元 /29 美元 /39 美元。
除了微調以外,Monster API 還提供各種生成式 AI 的 API 接口,并表示成本比其他方案低 80%。
背後公司已獲 110 萬美元融資
消息顯示,Monster API 背後公司拿下了110 萬美元的種子前資金(pre-seed funding)。
這家 AI 初創公司給自己的定位是要做 "GPU 領網域的愛彼迎 ",把全世界分散的 GPU 資源實現靈活調度,讓開發者們能夠以更低的價格使用。
創始人是兩兄弟 Gaurav Vij 和 Saurabh Vij。
其中 Gaurav Vij 還創立了一家 CV 公司,正是因為 CV 公司需要面臨巨大的雲計算資本,才啓發了他們要做這樣一個平台。
Saurabh Vij 之前是歐洲核研究中心的粒子物理學家,同時也研究分布式計算。
兄弟倆表示在經過多輪技術迭代後,他們優化了消費級 GPU 在機器學習任務上的性能,使得運行 Whisper AI 模型的成本相較于 AWS 平台降低了 90%,所以他們就想着為什麼不利用這個方法來幫助數以萬計的開發者們。
同時他們透露公司的一個客户使用他們的分散的 GPU 計算資源,已經節省了 30 萬美元。
參考鏈接:
[ 1 ] https://blog.monsterapi.ai/no-code-fine-tuning-llm/
[ 2 ] https://www.enterpriseai.news/2023/06/09/monster-api-launches-the-airbnb-of-gpus-with-1-1m-pre-seed/