今天小編分享的互聯網經驗：大模型學會寫萬字長文，AI企業「波形智能」完成千萬元Pre-A輪融資，歡迎閱讀。
文 | 周鑫雨
編輯 | 鄧詠儀
36 氪獲悉，近日杭州波形智能科技有限公司（以下簡稱 " 波形智能 "）已完成千萬元級 Pre-A 輪融資。該輪由藍馳創投領投，西湖科創投、螞蟻金服董事長井賢棟、知名天使人費革勝、老股東藕舫天使跟投。
波形智能團隊成員多有科班出身的 NLP 研究和海外背景，在長文本生成、Agent 框架能力、大模型微調與壓縮等領網域上具有一定技術積澱以及全球化的視野：
創始人兼 CEO 姜昱辰本科畢業于浙大竺可桢學院，博士就讀于蘇黎世理工大學，師從國際著名學者 Ryan Cotterell，曾在微軟亞研院從事大語言模型的訓練與推理。CTO 周王春澍，博士同樣就讀于蘇黎世聯邦理工大學，從事人工智能方向研究。CPO 萬磊，騰訊出身，過億月活社交 APP 高級產品經理，多款 AI 產品創始人。聯合創始人兼 COO 餘騰，曾任美國上市公司掌門教育（ZME）聯合創始人兼營銷高級副總裁。
2023 年下半年以來，行業已經湧現了一批成功提升 " 記憶力 " 的大模型，模型上下文視窗從 32K，擴展到了一次能理解 40 萬字左右文本的 200K。
讓大模型讀懂超長文本，逐漸不是難題；但讓大模型像人一樣寫萬字小說，并不簡單。
由于内容規劃（如何從輸入的數據中選擇重要信息）和表層實現（用自然語言形式正确地描述重要信息）仍是難以攻克的難題，生成連續、連貫的長文本尚難以實現。
與此同時，理解和生成長文本對算力和内存提出了更高的要求。波形智能 CEO 姜昱辰告訴 36 氪，大語言模型主流采用的是 Transformers 架構，但缺點在于，其在處理長序列時會面臨計算和存儲的需求挑戰，文本越長，循環次數越多，算力和内存成本會平方級上漲。
對此，波形智能主攻内容創作垂網域的長文本生成，于 2024 年 1 月 29 日的技術開放日上發布了一款能生成長文本的大模型：内容創作垂網域 SOTA 大模型 "Weaver"。
為了在控制成本的情況下做到無限長文本生成，波形智能曾在 2023 年 5 月發表了名為 RecurrentGPT 的訓練範式。姜昱辰介紹，在實際測評中，RecurrentGPT 在比 GPT-4 的文本生成速度快三倍的情況下，書寫的效果還要更出色。
通過适配 RecurrentGPT 框架，Weaver 具備更強的長文本生成能力，在長文本和結構化文本生成的上下文一致性上提高了 40%。相較于 2 倍量級參數規模的模型，Weaver 系列模型的生成速度更快且效果更好。
基于《繁花》風格，Weaver（右）與 GPT-4（中）生成效果的對比。圖源：波形智能
應對模型 " 一本正經胡說 " 的幻覺問題，Weaver 也有了新的解法。2023 年 9 月，波形智能還設計了基于 SOP（标準操作流程）的 Agent 架構：AIWaves Agents。通過對創作文本的過程進行模拟，Agent 會根據撰寫的題材自主判斷什麼時候進入劇情設定、角色設定、文風設定等不同階段，以及不同階段需要調取什麼樣的知識庫。
與 AIWaves Agents 框架适配後，Weaver 還支持函數調用，擁有超過 1000 個 API 上的綜合訓練經驗，能夠實現根據用戶意圖自動理解、規劃復雜指令，執行檔案處理、數據分析、圖表繪制等復雜任務。
更重要的是，要讓模型在内容創作領網域落地，就必須要讓機器寫作更有 " 人味 "。
為此，針對模型預訓練階段，波形智能自研了一套自動标注系統 "Instruction Back Translation（指令回譯）"，确保輸出結果是由專業寫手產出的内容。
針對對齊階段，波形智能自研的對齊技術 "Constitutional DPO（根據法則的直接偏好優化）"，能夠以專業寫作方法論為度量标準，指導對齊數據的自動生成。
此外，相較于通用大模型，Weaver 還支持個性化知識庫的調用。通過利用自研向量數據庫生成原生（native）個性化模型，Weaver 将召回内容的利用率（指的是召回内容能被輸出内容有效利用的比例）提高 50%。通過 RAG（檢索增強生成技術）+ 仿寫的技術方案，Weaver 将 " 越寫越懂你 "，逐步實現個性化的内容生成。
相較于通用大模型，Weaver 能夠在更深更廣的創作垂直領網域落地。目前，Weaver 支持寫大綱、續寫、潤色、風格遷移等 10 類寫作任務，覆蓋爽文 / 小說、工作總結、營銷寫作等 30 多個領網域。
在技術開放日上，波形智能還推出了由 Weaver 驅動的 AI 輔助創作工具 " 蛙蛙寫作 1.0"。
這款面向專業作者、自媒體 / 文案創作者的 To C 生產力工具，為用戶提供了模塊化的功能。用戶可以根據創作需求，一次性輸出文本，或者按照大綱 - 章節的順序分步寫作。同時，蛙蛙寫作的寫作速度能夠達到10 分鍾 1 萬字。
蛙蛙寫作可生成情節和文本。圖源：波形智能
目前，蛙蛙寫作的商業模式主要為按月訂閱，價格為 29 元 / 月。與此同時，蛙蛙寫作也為企業提供定制化解決方案，并面向開發者開放了 API。
姜昱辰對 36 氪表示，融資款将用于 Weaver 大模型和 Agents 平台的研發及其商業化。她透露，2024 年第一季度，波形智能将發布 70B 的模型 Weaver Ultra-Max，以及新一代 Agent 平台 Agents2.0。針對劇本創作、私人客服、智能推薦等場景，Agents2.0 平台将支持對 Weaver 大模型的自動微調優化。
歡迎交流！
