今天小編分享的科學經驗:零一萬物API開放平台出場!通用Chat多模态通通開放,還有200K超長上下文版本,歡迎閲讀。
3 月,國内外模型公司動作頻頻。國產大模型獨角獸 " 五小虎 " 之一零一萬物也有諸多新動作。
這不,前腳剛發布高性能向量數據庫,零一萬物又立馬正式發布了自己的API 開放平台,
共為開發者提供三個版本的模型:
Yi-34B-Chat-0205:支持通用聊天、問答、對話、寫作、翻譯等功能。
Yi-34B-Chat-200K:200K 上下文,多文檔閲讀理解、超長知識庫構建小能手。
Yi-VL-Plus:多模态模型,支持文本、視覺多模态輸入,中文圖表體驗超過 GPT-4V。
去年 11 月,零一萬物就正式開源發布了首款預訓練大模型 Yi-34B,當時的模型已經能處理 200K 上下文視窗,約等同于 20 萬字文本。這次開放 API 平台,在 Yi-34B 的基礎上,有什麼新亮點?
要説有什麼獨特之處,我願以五個 " 更 " 來概括。
分别是覆蓋更大的參數量、更強的多模态、更專業的代碼 / 數學推理模型、更快的推理速度、更低的推理成本。
并且!
Yi 大模型 API 開放平台兼容 OpenAI 的 API,可以随心快速絲滑切換。
更多詳情,一起來看——
200K 上下文視窗 + 多模态能力
此次 API 開放,最亮眼的地方一共有兩點。
首先是200K 的超長上下文視窗,可以一口氣處理約 30 萬個中英文字元,相對于讀完整本《哈利 · 波特與魔法石》小説。
在大海撈針測試中,Yi-34B-Chat-200K 取得了幾乎全綠的成績,準确率高達 99.8%。
實際測試中,篇幅近兩百頁、總字數 19 萬的《三體》第一部,Yi 很快就能讀完并給出總結。
而且細節關注到位,能從故事中提取出主要角色信息和他們的事迹,然後直接用表格的形式呈現在我們面前。
我們又補充追問了十個細節問題,答案分散在整部小説的各個位置,結果 Yi 全部答對。
另一大亮點,是 Yi-VL-Plus 強大的多模态能力。
多模态版本中,在保持 LLM 通用知識、推理等能力的前提下,圖片内中文、符号識别能力大幅增強,體驗超過了 GPT-4V。
而且圖片輸入分辨率也提高到了 1024 × 1024 分辨率,并專門針對圖表、截屏等生產力場景進行了優化。
比如下面這張圖來自一篇文獻綜述,列舉了課題相關論文中被引量最高的 10 篇。
Yi-VL-Plus 準确地找到了目标文獻,并準确識别出了文章标題,遇到 " 嗪 " 這種不常見的專業文字也沒掉鏈子。
再看看 GPT-4V 這邊,則是主打一個已讀亂回,給出的文章标題不知道來自何處。
而除了識讀圖表和文字,Yi-VL-Plus 還支持學習專業知識并立即用于影像的解讀。
比如早期體驗過的開發者教給模型一些心理學知識後,Yi-VL-Plus 就能根據孩子的鉛筆畫展開一些基本的分析。
并且,模型給出的分析獲得了專業人士的認可,給出了 " 較準确 " 的評價。
△開發者星雲愛店 CTO 大董提供的測試資料,文圖數據均脱敏
總之,憑借強大的長文本和多模态處理能力,無論是在 to B 還是 to C 場景,Yi 都能構建出高效的大模型應用。
舉個例子,在 to C 場景中,可以用基礎或多模态版本構建智能對話助手,進行深層次的對話問答。
而在 B 端,可以把 Yi 整合到現有產品,搭建出 Copilot 類的應用,抑或是利用超長文本能力建立知識庫,打造出客服等特定場景的智能助手。
在前期的開發者邀測中,擁有阿裏、美團等多家大廠工作經歷的知乎大佬 @蘇洋就利用 Yi 的 API 搭建出了一個翻譯器應用。
據作者本人介紹,他是看到 GitHub 上的一份開源的機器學習書籍之後萌生了翻譯的想法,然後開始搭建這個應用的。
而之所以選擇 Yi 作為承擔這一工作的大模型,就是看中了它超出的上下文視窗,能夠将作者每一章的全文都扔到模型裏,而不用切分章節或做一些遞歸式的章節摘要等麻煩事。
另一方面,Yi 和 OpenAI 的兼容性,也讓作者直接利用 LLM 平台的 OpenAI 兼容 API 模塊,就快速完成了模型的接入。
接入完模型之後就是幾乎可以一鍵完成的模型搭建了,這裏需要做的只是點選應用的類型,然後起個名字,并适當調節一些參數。
在此基礎之上,作者又用 golang 對模型調用程式進行了編譯,進一步提升了整個流程的自動化程度。
最終,一個全自動的翻譯工具就大功告成了。
如果不看最後的進階部分,利用 Yi 的 API 快速構建一款 AI 應用,簡直不要太簡單!
而除了這些應用上肉眼可見的優勢,Yi 系列 API 在技術層面的亮點同樣可圈可點。
絲滑切換 OpenAI API
在 Yi 優異表現的背後,無論是 API 還是模型本身,都必然有強大的技術作為支撐——在技術上,Yi 有哪些特色?
首先,Yi 與 OpenAI API 完全兼容。
這意味着開發者只需修改少量代碼,就能完成從 OpenAI 到 Yi 的平滑遷移,實現了替換成本的最小化。
同時,為了提升 API 性能,零一萬物在 API 側進行了專門的推理優化。不僅推理速度更快,用户體驗的流暢性和響應速度也都相應提高。
而針對模型自身的其他亮點,我們充分利用了 Yi 的長文本分析能力,從它的技術報告中進行了提煉。
當然,除了專門針對 API 做的優化之外,基礎模型的能力同樣不可或缺。
為了實現模型能力的提升,研究團隊從保證訓練數據質量、在 tokenization 中運用獨特設計、微調階段積累經驗等多個角度進行了突破瓶頸,增強了模型的優勢并在 API 段充分發揮。
比如從訓練階段開始,研究團隊就對數據進行了精心挑選,引入了啓發式規則去除低質量文本,并利用機器學習方式識别有害内容。
同時研發人員還對訓練數據中的文本進行聚類分析,并實施嚴格的去重機制,最大程度保證訓練數據的質量。
而 tokenization 階段,同樣體現着研發人員的獨到設計。
Yi 使用字節對編碼進行分詞和詞匯表的構建,減少了詞匯表的大小并提高了編碼效率。
同時最大程度保留原始符号,避免變換過程中造成的信息丢失。
針對數字,Yi 還采用了拆抽成單個 token 的方式來提高模型理解力;甚至對于特殊和無法識别的字元,也有專門的應對策略。
到了微調環節,Yi 從技術報告總結出的關鍵經驗就更多了。
比如 " 數據質量高于數量 " 的重要思想,從訓練階段開始就貫穿始終。
此外還有迭代過程、标籤系統、結構化格式等諸多策略,這裏就不再一一贅述了。
食用指南
看到這裏,旁友們應該對 Yi API 的能力已經有一定了解了。
那麼,Yi 大模型 API 到底該如何食用?
此前,Yi 大模型 API 已經在小範圍開放内測。
" 為了邀請更多的開發者并肩作戰 ",今天起,Yi 大模型 API 名額開啓了限量開放。
而且新用户還贈送 60 元(千萬 token)。
誰看了不説一句真香呢??!指路這篇文章的評論區置頂,可獲得申請直通車連接~
開放 API 平台後,零一萬物下一步會又什麼新動作?
零一萬物技術副總裁及模型訓練 AI Alignment、開放平台負責人俞濤對此做出了答復,稱近期将會為開發者提供更多更強模型和 AI 開發框架。
未來計劃具體圍繞以下三個方面展開:
第一,支持更快的推理速度,顯著降低推理成本。
第二,突破更長的上下文,目标由目前的 20 萬 tokens 拓展到 100 萬 tokens。
第三,基于模型具備的超長上下文能力,構建向量數據庫、RAG、Agent 架構在内的全新開發者 AI 框架。
看來,零一萬物的下一步棋,就是推理更快、視窗更長,同時提供更加豐富和靈活的開發工具,以适應不同開發者需求下的多樣化應用場景。
具體推出的節奏,零一萬物此次沒有透露。但是——
三款模型的 API,大家可以用起來了!先到先得,記得在評論區找到申請地址喲~