今天小編分享的互聯網經驗:真假“長文本”,國產大模型混戰,歡迎閲讀。
文 | 光錐智能,作者|郝鑫
Kimi 有多火爆?憑一己之力攪亂 A 股和大模型圈。
Kimi 概念股連日引爆資本市場,多個概念股随之漲停。在一片看好的态勢中,誰都想來沾個邊,據光錐智能不完全統計,目前,至少有包括讀客文化、掌閲科技、萬興科技等在内的十家上市公司發布公告透露正在了解或接入了 Kimi 智能助手。
眼看着 Kimi 的火越燒越旺,大廠也垂涎三尺,連夜加入了大模型 " 長文本 " 的四國大戰。
對标月之暗面 Kimi 智能助手的 200 萬字參數量,百度文心一言将在下個月開放 200 萬~500 萬字長文本處理功能,較此前最高 2.8 萬字的文檔處理能力提升上百倍;阿裏通義千問宣布更新,開放最高 1000 萬字的長文本處理能力;360 智腦正在内測 500 萬字,功能正式更新後将入駐 360AI 浏覽器。
四家中國大模型公司把長文本能力 " 卷 " 出了新高度。作為參考,目前,大模型最強王者 OpenAI 的 GPT-4 Turbo-128k 可處理文本能力約為 10 萬漢字,專攻長本文的 Claude3-200K 上下文處理能力約為 16 萬漢字。
但同樣都是 " 長 ",有人是孫悟空,有人是六耳猕猴。
一位大模型行業的人士向光錐智能表示:" 确實有一些公司用 RAG(檢索增強)來混淆視聽。無損的長文本和 RAG,兩項技術各有優勢,也有結合點,但歸根到底還是不同的技術……很容易就用‘長本文’來混淆視聽。"
" 百度、阿裏、360,大概率都使用了 RAG 方案 ",該業内人士表示道。
無論是 RAG 還是長文本,一味地 " 長 " 并不能代表所有。如同上一輪,大模型廠商 " 卷 " 參數,大模型參數不是越大就越好,文本長度,也不是越長,模型效果就越好。除了上下文長度,記憶能力、推理能力、算力都是共同的決定性因素。(詳細觀點請參考《卷完參數後,大模型公司又盯上了 " 長文本 "?》一文)
進入 2024 國產大模型落地元年,大模型應用千千萬,為什麼是長文本能率先掀起波瀾?基于長文本的特性,又能解決哪些 AI 應用落地的實際問題呢?
長文本,真的越長越好嗎?
自 ChatGPT 誕生以來,國外一直在持續不斷地湧現出新的 AI 應用,產生流量的同時,也令人看到了商業化的可能性。
據風險投資公司 a16z 近期發布的《GenAI 消費應用 Top100 報告》顯示,用户月訪問量最大的應用網站中,類 ChatGPT 的效率助手占據了榜單前十的大壁江山,ChatGPT 的每月網絡訪問量接近 20 億次,第二名 Gemini 的每月訪問量約為 4 億次。
但同樣 AI 應用活躍而繁榮的場景卻并沒有在中國成功上演。在月之暗面的 Kimi 智能助手憑借流量和人氣出圈之前,國内能夠達到一定體量的應用只有兩個,一個是百度推出的文心一言 App,另一個是字節跳動推出的豆包。
據相關數據統計,截至 2023 年 9 月,百度文心一言 App 的月活量達到最高峰值 710 萬;同年 12 月,字節豆包月活達到 200 萬,2024 年 1 月在此基礎上翻了一番達到 400 萬。
文心一言憑借百度的大模型先發優勢和搜索流量優勢,一度成為國内流量最大的 AI 應用;而豆包背靠抖音流量轉化池,雖然發布時間稍晚一步,但在後期實現了反超。
在這樣背景之下,Kimi 的爆火顯得尤為特殊,某種意義上可以説,Kimi 是國内第一個靠產品能力和用户自來水破圈的 AI 應用。
月之暗面創始人楊植麟曾告訴光錐智能,其團隊發現正是由于大模型輸入長度受限,才造成了許多大模型應用落地的困境,這也是月之暗面聚焦長文本技術的原因所在。
站在用户角度來看,好不好用是檢驗 AI 應用產品最關鍵的指标,而這都依賴于 Kimi 背後的長文本技術。
若将長文本的能力進一步拆解,大致可以包括長度、記憶、理解、推理幾個能力。
越來越長的文本長度,可以進一步提升現在 AI 應用的可用性和專業性。
對普通用户而言,與 AI 助手簡短的閒聊能夠引起興趣,但不能解決問題,特别對于法律、醫學、金融等一些專業領網域,需要前期 " 喂 " 給大模型特定的數據和知識,才能精準地輸出答案;對企業而言,更需要一個 " 專家型 " 的助手,大量的企業數據、行業數據都需要提前導入,沒有損耗地輸入和輸出,從而保證最後的分析結果具有可參考性。Claude 就是一個典型的例子,憑借長文本的優勢與 ChatGPT 走出不同的路線,收獲了大量的 2B 垂直行業的企業用户。
多輪對話和記憶能力可以直接應用到現在大部分的場景中,比如遊戲場景中的 NPC,通過長文本輸入給予其角色設定,玩家每一次的對話都會被記錄,并且能夠生成個性化的遊戲檔案,避免了重新登錄而需要反復喚醒的問題;在執行 Agent(智能體)任務場景,能夠增強記憶能力,輔助 Agent 形成清晰的行動步驟,避免出現 Agent 打架的現象。
長文本的理解和推理能力體現在兩個方面,一類是對想象類的應用理解生成,一類是對邏輯類應用的生成。例如在對 AI 小説的應用中,長文本的能力體現在能夠理解用户輸入的 prompt,對其想象性的擴寫;在編程、醫療問答等領網域,則需要調用其邏輯的推理能力,合理化地續寫編程,根據用户描述推理病狀。
月之暗面副總裁許欣然曾表示,大模型無損上下文長度的數量級提升,将進一步打開對 AI 應用場景的想象力,包括完整代碼庫的分析理解、自主完成多步驟復雜任務的智能體 Agent、不會遺忘關鍵信息的終身助理、真正統一架構的多模态模型等。
所以,長文本從來都是一項綜合性的能力,而非越長就越好。相反,過分追求長,可能引發算力匮乏的問題。
大模型公司卷 " 投流 ",一天獲客成本 20 萬
流量狂飙、宕機後五次擴容;日活用户數達百萬,月環比增長率 107.6%;趕超微信、殺進 App Store 免費版應用第五名,月之暗面交出了一份漂亮的成績單。
但這也只是一個開始,多位業内人士在今年剛開年曾向光錐智能透露,走過高速技術迭代的 2023 年,大模型來到了產業落地和商業化的下半場。
去年,各家已經相繼亮劍,智譜、百川、面壁不同程度上都開啓了商業化。月之暗面稍慢,目前還未公布商業化的方案,但急切地開始了商業化加速進程,B 站、抖音等社交平台都能看到 Kimi 助手投流的廣告。
盡管,各家都從未将 2C 的變現路線排除在外,但是延續 2016 年 AI 1.0 時代的思路,多數還是将 2B 作為了首要的突破口。有了技術,去找技術和產業落地方向,探索落地方案似乎成為了理所應當。
月之暗面則是大模型公司的另類,去年 10 月份第一次公開露面後,就瞄準了 2C 的應用市場。楊植麟曾表示,長文本是月之暗面根技術,在這技術之上可以分裂出不同場景和領網域的 2C 應用。
在 Kimi 效應爆發前,就有很多普通和企業用户反饋,"Kimi 是國内最好的 AI 助手,沒有之一 ",從一開始就注重產品效果和用户體驗的 Kimi,現在爆發似乎帶有一定的必然性。
商業化壓力之下,大模型公司大概率會選擇 2B、2C 兩條腿走路。對比其他大模型公司,月之暗面則又提供了另一種商業化的路徑參考,其他玩家從先 2B 再 2C,以 2B 拉動 2C,而月之暗面則屬于先 2C 後 2B,再以 2C 的產品拉動 2B 的單子。
畢竟,除了國外的 ChatGPT,之前在國内根本看不到 2C 產品增長的案例。Kimi 靠近半年的積累,憑一己之力在 2C 撕開了一道口子,眾多大廠或許是看到了 2C 更多的可能性,才急于下場向市場證明自身具備長文本能力。
但回到商業化賺錢的本質,仍要思考如何将一時的流量轉化成實打實的付費率。
光錐智能觀察發現,現在大部分的大模型公司在推產品時還是互聯網推流的那一套,舊瓶裝新酒,抖音、B 站、小紅書投流推廣,在線下的寫字樓電梯、機場、地鐵打廣告。
一通操作下來的實際轉化率有多少尚未可知,但為獲客花出去的都是真金白銀。據新浪科技報道,有投資人透露,目前 Kimi 用户獲客成本達到 12 元~13 元。根據下載量預估,Kimi 近一個月來日均下載量為 17805。按此計算,Kimi 每天的獲客成本至少 20 萬元。
現在市面上大部分的 AI 助手都是免費下載使用,基于網絡負外部效應,當用户越來越多的時候,其資源的耗損就越來越大。此次的 Kimi 宕機事件就是最好的例證,順時暴漲的用户量給算力和伺服器都造成了壓力,與之帶來的還有大量的 token 成本的消耗。
對大模型公司而言,規模化、付費率和成本的三方拉扯問題,短時間内無法得到解決,即使是流量吊打其他應用的 ChatGPT 也面臨盈虧平衡的困境。
據 data.ai 數據顯示,截至 2023 年 6 月 19 日,ChatGPT iOS 端上線首月的日活付費率約為 4.36%。OpenAI 預測,對于壓縮成本後的 GPT-3.5 模型和 GPT-4 模型,若月付費率每月提升 0.25% 或不能持續;若月付費率每月提升 0.5% 或能扭虧。
月付費率不斷提升聽起來很性感,但現實卻是 " 未老先衰 ",爆發性的增長還未迎來,增長停滞先一步到來。
對大模型廠商,特别是創業公司來説試錯的機會并不多,不能剛從技術的坑出來,又一頭扎進投流的坑,跟風長文本不能解決所有問題,跑出商業化模式才是。