今天小編分享的科技經驗：基礎模型、長文本、數據庫、應用落地……一篇文章讀懂今天大模型行業的關鍵問題，歡迎閱讀。
作者 | 連冉編輯 | 鄭玄
3 月 23 日 -24 日，聚焦全球開發者精英，由上海市人工智能行業協會（SAIA）主辦的 2024 全球開發者先鋒大會（2024 GDC）在上海舉辦。
這場大會是中國大模型公司展示其最新科研成果和技術創新的重要舞台，極客公園 Founder Park 作為大會戰略合作夥伴聯合打造了「大模型展示及研讨專區」，與波形智能、Dify.AI、百川智能、Zilliz、月之暗面、Kyligence、Xmind AI、看見概念、彌知科技一眾國内優秀的 AI 企業，打造了 AI 產品互動展區，并舉行了 Workshop 和創業者閉門交流會等行業向的分享内容。
極客公園｜Founder Park 大模型展示及研讨專區
來自國内大模型領網域最前沿的創業者和技術專家，分享了他們的行業認知，讨論了基礎大模型、長文本、數據，以及應用落地等行業關鍵問題。
我們梳理了所有嘉賓的分享内容，提煉了其中的關鍵信息。不論是在大模型領網域工作、創業，還是單純關心行業發展，他們的分享都對洞察行業有極大的幫助。
周王春澍，波形智能 Cofounder & CTO，《大模型如何做到超長文本寫作》
波形智能是最早将大型語言模型應用于互聯網場景的科技企業之一。通過自研模型，波形智能構建了覆蓋全產業鏈的 AI 互動内容平台。GDC 期間，波形智能展示了其 AI 創作大模型「Weaver」及其首款產品「蛙蛙寫作」，這是一個能夠生成幾十萬字甚至上百萬字長篇小說的工具。
Workshop 期間，周王春澍分享了大模型在超長文本寫作方面的創新技術與應用。
首先，他介紹了 RecurrentGPT 技術，這是一種能夠處理并生成無限長文本的方法，它通過架構的改變和額外的訓練，使得模型能夠處理更長的輸入數據。這種技術的核心在于高效 / 稀疏注意力機制、遞歸神經網絡（RNNs）和狀态空間模型，它們共同提升了模型處理長文本的能力。
周王春澍進一步闡述了記憶增強的代理（Memory-Augmented Agent）的概念，其中包括短期記憶和長期記憶的應用。短期記憶使得模型能夠處理更復雜的上下文信息，而長期記憶則賦予了模型在更長時間内保留和回憶信息的能力，這通常通過外部向量存儲和快速檢索系統來實現。
Recurrent Prompting 是另一種關鍵技術，它通過計劃、概述、行動、寫作為、記憶更新和總結等步驟，不僅提高了文本的連貫性，還有助于故事和小說的規劃。
波形智能推出的 Weaver 大模型作為全球領先的創作工具，通過 Instruction BackTranslation 和 Constitutional DPO 等技術，使得生成的内容更具人類特色，提升了寫作的「人」味。
在個性化和垂直領網域寫作方面，Weaver 模型展現了其強大的适應性，能夠根據特定的參考文風生成相似的旁白，覆蓋了創意寫作的多個方面，如寫作、續寫、潤色、風格遷移和總結等。此外，Weaver 模型在性能上超越了同型号的 GPT-4，同時在成本效益上表現出色，比 GPT-4 便宜 10 倍，比 GLM-4 便宜 5 倍。
在訓練方法上，Weaver 模型采用了持續預訓練、監督式微調和偏好優化等策略。特别是在偏好優化方面，采用了 Constitutional DPO 方法，通過專家原則注釋和數據合成來提升訓練數據的質量，從而提高了模型的性能。
最後，周王春澍介紹了 Weaver 模型的應用場景，包括為開發者提供的标準化 API、雲端和本地的私有化部署選項，以及 Weaver-Ultra 和蛙蛙寫作 1.0 等產品。這些服務以其自然的筆風、個性化訓練、快速生成和情感細膩等特點，為企業級客戶提供了定制化的解決方案，推動了人工智能在創意寫作領網域的應用和發展。
波形智能展台
何文斯，Dify.AI 產品負責人，《Dify Workflow：從 Prompt 工程到 Flow 工程》
Dify.AI 是一個全球領先且開源的大型語言模型應用開發平台，由前騰訊雲 CODING DevOps 核心團隊創建。自去年 5 月上線以來，Dify.AI 已經取得了顯著的成就，包括在 GitHub 上獲得超過 18K 的 star。
作為 Dify.AI 的產品經理，何文斯探讨了從傳統的 prompt 工程向流程工程（Flow Engineering）的轉型，并分享了 Dify.AI 在這一領網域的實踐和成果。
何文斯解釋了流程工程的核心概念，這是一種通過将復雜任務分解為更小、更易管理的步驟來降低系統復雜度的方法。這種方法通過增加人類監督和控制，減少了對單一提示詞技術和模型推理能力的依賴，從而提高了大型語言模型在處理復雜任務時的性能。
何文斯舉例說明，在代碼編程任務中，基于 GPT-4 的成功率通過流程工程從 19% 提升至 44%。這種方法通過減少對提示詞技術和模型推理能力的依賴，提高了系統的可觀測性、穩定性和容錯性。他強調，流程工程的關鍵優勢在于其可觀測性、穩定性和容錯性。
演講中，何文斯還讨論了為什麼需要流程工程。他指出，過長的提示詞會導致大型語言模型的指令遵循能力下降、注意力丢失和產生幻覺。此外，他提到了大型語言模型在推理能力上的局限性，尤其是在多步驟推理任務中，準确率會随着步驟的增加而顯著下降，根據 Berkeley Function Call Leaderboard 的數據，多步工具調用達到 4 次以上時，整體準确率會降到 50% 以下。何文斯還讨論到 Yann LeCun 教授觀點：LLM 并不是通往 AGI 的充分途徑，因為其缺乏對物理世界的理解和分層推理能力。
演講中講到吳恩達教授最新提出的 "AI Agent Workflow（智能體工作流）"，這一概念應用的正是流程工程的理念，智能體工作流将會大規模推動今年 AI 的進展，甚至有可能超越下一代模型。強烈建議所有 AI 領網域的工作者關注這一領網域。
何文斯進一步分析了流程工程适用的應用情景，将其分為嚴肅情景和創意情景。嚴肅情景，如企業知識庫、聊天機器人和數據分析，更依賴于流程工程和傳統技術，落地難度較高；而創意情景，如情感陪伴、營銷寫作和文章翻譯，落地難度較低，流程工程可以顯著提高生產力。
在演講的最後部分，何文斯介紹了 Dify.AI 正在開發的新產品—— Dify Workflow。他提到，這個產品将提供更多的人類監督和控制，以及更好的任務迭代處理流程。
Dify.AI 展台
高雨辰，百川智能算法總監，《打造大模型時代的超級底座》
百川智能是一家研發通用人工智能并提供相關服務的中國公司，核心業務是打造基礎大模型及其颠覆性上層應用，是目前國内領先的大模型技術公司之一。
高雨辰談到了百川智能采用的技術策略與解決方案：百川智能借鑑傳統計算機架構，将大模型視為新時代的「CPU」，并強調内存（上下文視窗長度）和硬碟（搜索增強技術）的重要性。公司提出了「大語言模型 + 搜索增強」技術路線，通過結合互聯網實時信息和企業知識庫，解決了大模型實時數據不足和專業數據不足的問題。百川智能還推出了百川智能知識庫產品，該產品結合了向量搜索和稀疏索引，以及消除模型幻覺的能力，為用戶提供了高效、準确的信息服務。
高雨辰也分享了百川智能在大模型方面的認知：
大模型落地面臨着人才、算力、訓練周期、效果穩定性和更新更新等多方面的挑戰。尤其是在人才方面，訓練領網域大模型對算法人員的要求極高，而在算力方面，甲方通常有自身的需求，這些都增加了大模型落地的成本和復雜性。
Agent 不僅僅是一個工具，而是能夠創造和使用工具的智能體。公司的最終目标是造出一個能夠創造工具并使用工具的 Agent，這将是一個重大的技術突破。
最後高雨辰還談到了百川智能在商業化方面的思考： 在 ToB 領網域，将持續探索大模型能力邊界，與金融、消費、娛樂等領網域的頭部企業共同探索大模型的行業落地。也将不斷探索大模型技術的前沿創新，打造面向 C 端的超級應用。
百川智能展台
Jerry，Zilliz 開發者生态及市場運營負責人，《2024 年重新再來說說什麼是向量數據庫》
Zilliz 是一家致力于開發用于 AI 應用的非結構化數據平台的公司，是全球最流行的開源向量數據庫 Milvus 的創造者，被廣泛應用于如圖片分析、視頻分析、語音分析、自然語言處理（NLP）、自動駕駛和 AIoT 等。Milvus 被全球超過 5000 家企業使用，累計下載安裝量超過 20 M。2023 年，Zilliz 又推出了基于 Milvus 的雲原生服務 Zilliz Cloud，已實現全球 5 大雲 13 個節點的全覆蓋，是全球首個提供海内外多雲服務的向量數據庫企業。
Jerry 首先指出，向量數據庫的概念已經出現和發展了五六年，并且在業界已經有了廣泛的實踐和開源嘗試。他提到，自從 2015 年到 2018 年間向量檢索算法取得了顯著進步以來，這一領網域的需求和演進一直在增長。
在解釋向量和向量檢索的基本概念時，Jerry 強調了向量在表示非結構化數據特征方面的重要性。他提到，通過深度學習模型，可以将非結構化數據轉換為向量，從而在多維空間中進行高效的檢索。他還讨論了最近鄰問題在向量檢索中的核心作用，以及如何通過不同的算法來解決這一問題。
Jerry 介紹，Milvus 作為全球首款開源向量數據庫，由 Zilliz 開發，具有雲原生分布式的特點，支持存儲計算分離和高可用性。Milvus 2.0 版本集成了多個 AI 生态系統，如 OpenAI、Langchain、Huggingface 和 Pytorch，提供了強大的功能和靈活性。Jerry 提到，Milvus 在 GitHub 上擁有超過 26,000 個星标，下載量突破千萬，顯示了其在社區中的受歡迎程度。去年 Zilliz 也推出了基于 Milvus 的雲服務 Zilliz Cloud，為 AIGC 用戶提供了開箱即用的向量數據庫服務，豐富生态的同時也進一步降低了使用門檻和成本。
然而，Jerry 也指出了向量數據庫面臨的挑戰，包括非結構化數據與向量存儲之間的割裂、缺少 embedding 能力以及無法直接對接常用數據源等問題。他預見，向量數據庫的未來發展可能會朝向非結構化數據處理平台的方向發展，這将涉及到更多的數據處理任務，如 ETL、embedding、向量檢索和數據分析。
在讨論開源和商業化的問題時，Jerry 強調了開源對于技術公司從 0 到 1 的重要性，并分享了他對開源項目如何影響商業化的看法。他提到，盡管開源可能會帶來一些商業化的挑戰，但 Zilliz 将繼續支持開源，并提供商業化版本以滿足不同用戶的需求。
Zilliz 展台
唐飛虎，月之暗面開發者關系負責人，《從 LLM Riddle 到哄哄模拟器，Moonshot AI 大模型應用實戰案例分享》
月之暗面 ( Moonshot AI ) 創立于 2023 年 3 月，致力于尋求将能源轉化為智能的最優解，通過產品與用戶共創智能，2023 年 10 月推出全球首個支持輸入 20 萬漢字的智能助手產品 Kimi，2024 年 3 月 18 日，月之暗面宣布旗下產品 Kimi 在長上下文視窗技術上再次取得突破，無損上下文長度由 20 萬字提升至 200 萬字。
唐飛虎在 Moonshot AI 擔任開發者關系職位的職責，他的主要任務是向開發者分發模型代金券，并支持富有創意的項目，例如獨立遊戲開發者阿 case 在 B 站分享的大模型解謎遊戲體驗。
唐飛虎談到，随着多模态模型的進步，結合 stable diffusion 模型的流程或工作流可以創造出新的應用形式。他還提到了大模型在遊戲中作為模式的應用，使得玩家能夠與 NPC 進行直接對話。他強調了模型微調和提示工程在大模型應用中的關鍵作用，并指出随着模型能力的增強，原本需要微調的任務現在可以通過提示工程來實現。
在分享中，唐飛虎談到了 Moonshot AI 推出的 200 萬字大模型試用版，這是一個具有裡程碑意義的版本，因為它的大規模使得它在理解和生成文本方面具有更強的能力。他舉例說明了用戶如何使用這個模型來模仿《紅樓夢》中林黛玉的言談舉止，這表明了模型在理解和模仿文學作品中角色的獨特語言風格方面的潛力。
具體來說，用戶可以通過向模型提供一些關于林黛玉的背景信息和特定的文本樣本，來指導模型生成類似風格的文本。這種模仿不僅僅是簡單的文本復制，而是模型在理解了林黛玉的性格、語言習慣和情感表達後，生成的具有相似風格的新文本。這樣的應用展示了大模型在文學創作、角色模拟和内容生成方面的巨大潛力。
唐飛虎鼓勵開發者利用 Moonshot AI 的開放平台進行嘗試，這意味着開發者可以注冊并使用這個大模型來實現自己的項目和創意。開放平台提供了一個實驗場，開發者可以在這裡探索大模型的各種可能性，無論是在文學創作、遊戲設計、教育工具開發還是其他任何可以想象的應用場景。這些信息表明 Moonshot AI 不僅提供了強大的技術工具，還建立了一個支持創新和實驗的生态系統，旨在促進開發者社區的成長和發展。
關于 Moonshot AI 意外迎來了大量流量，導致線上服務一度崩潰。唐飛虎解釋說，這是公司沒有預料到的情況，但已經采取了多種方法，例如增加更多的計算機器，更智能的調度策略，期望能夠緩解短期内流量指數增加的問題。
關于產品線，唐飛虎強調，Kimi 的主要目标是面向消費者市場（ToC），因為公司相信通過大模型的擴展（scaling）可以賦能用戶和開發者，而面向企業市場（ToB）的挑戰在于需要極高的定制化成本，而随着模型能力更新，這些定制化工作往往會成為累贅。
月之暗面展台
李棟，Kyligence 合夥人兼副總裁，《大數據 + 大模型：高效開發企業數據產品和數據資產》
Kyligence 是一家領先的 Data + AI 企業服務軟體供應商，由 Apache Kylin 的創始團隊于 2016 年成立，專注于數據分析、指标平台及 AI 技術。公司獲得了全球和國内頭部分析機構的認可，并受到頭部投資機構的支持。
李棟的演講圍繞「指标 +AI」這一核心議題展開，闡述了大數據與大模型如何結合并實際落地。他強調了企業數據產品在 BI 向 AI 轉變過程中的重要性，包括決策增強、決策支持和決策自動化。通過引用 Peter Drucker（彼得 · 德魯克）的名言，李棟強調了衡量和管理數據的重要性，并指出指标作為統一的數據語言，對于數據決策知識積累至關重要。
在 AI 時代，企業業務決策将更多依賴于 AI，涵蓋決策增強、決策支持和決策自動化。AI 要成為數據驅動的關鍵，首先需要理解企業的指标體系，這是數據和業務的共同語言。
Kyligence 提供智能一站式指标平台產品 Kyligence Zen，并内置 AI 數智助理 Kyligence Copilot。通過利用大語言模型自動評估 KPI、業務歸因并指導行動，幫助用戶通過自然語言對話代替傳統的可視化報表，提供數據摘要和自動歸因分析等功能。李棟還提出了 AI 時代數據產品的新形式，包括自然語言對話、自動化經營戰報、移動端數據洞察、集成 IM 實現從洞察到決策的閉環，以及開放接口和低代碼集成第三方。李棟還演示了這一產品在銀行業的應用場景。
李棟還讨論了 AI 數據分析需要解決的技術挑戰，如數據和結論的正确性、用戶問題的理解、數據口徑的統一、數據權限管理等。Kyligence 采用的技術路線是 " 指标 +AI"，即通過指标平台管理和計算指标，以保障數據查詢的準确性。指标平台還保障數據安全性，實現用戶權限控制和避免數據篡改風險。
最後，李棟分析了大模型在數據分析場景下的能力評測結果，指出參數量在 400 億以上的大模型效果較好，且國產大模型在某些場景下優于 GPT3.5。他的演講總結了 Kyligence 在大數據與大模型結合方面的見解和實踐，展示了公司如何通過創新技術提升 AI 在企業中的應用可靠性，并推動數據產品的新形式發展。
Kyligence 展台
夏襲韻，Xmind AI 產品負責人 & 王安之 Xmind AI 產品經理，《思 · 釋 · 卜 - AI 創新應用三重奏》
Xmind 是最專業和最流行的思維導圖工具，今天近千萬用戶使用 Xmind 來澄清思維，管理復雜的信息，頭腦風暴。夏襲韻作為 Xmind AI 產品負責人，分享了 Xmind 的發展歷程并重點介紹了其負責的 AI 思維導圖產品。
夏襲韻展示了 Xmind AI 和 Chatmind 兩款產品的特色和優勢。Xmind AI 通過内置的 Copilot 功能，針對團隊協作場景提高創造力和生產力；Chatmind 則更專注于個人用戶，通過大模型和 prompt 的協作，提供個人思維擴展的工具，幫助用戶一句話生成和優化思維結構。
夏襲韻進一步強調了 AI 技術在思維導圖中的應用，通過 AI 的能力，用戶可以高效地整合各種格式的信息，如 PDF、鏈接、圖片和視頻，直接轉化為思維導圖摘要，顯著提高了輸入效率。同時，AI 技術還能夠幫助用戶拓展思維邊界，在輸出内容時提供多樣化的選項，滿足不同場景的需求，大大降低了用戶使用思維導圖的門檻。
随後夏襲韻分享了在 AI native 產品中具體的設計實踐，包括如何明确使用場景、提供明确的產品用途、構建足夠的上下文以及結合圖形界面和語言界面的優勢。她強調，在產品中提供有用的信息給大模型能夠更好地理解用戶意圖。
王安之則分享了 AI 大藏經這款產品，它幫助用戶以文言文對照白話文的形式閱讀佛經，大大降低了用戶的學習成本。他提到，盡管佛經的文本量巨大，翻譯難度高，但通過 AI 技術，他們能夠很好地完成這一艱巨任務，讓更多人能夠輕松獲取、理解和學習佛經知識。
接着，王安之進一步介紹了佛經機器人的開發，它能夠通過對話的形式深入學習佛經相關知識，并找到佛經中對應的相關内容。以及 AI 大藏經非常重視用戶的反饋，通過專業人士的使用反饋來優化翻譯質量。
最後，王安之還提到了近期發布的新品 AI 塔羅牌應用—— Quin，它提供了一種全新的自我探索和決策輔助方式。Quin 能夠模仿人類塔羅師的方式，提供個性化的解讀和持續對話，成為一個全天候的塔羅牌夥伴。
Xmind AI 展台
胡修涵，看見概念創始人，《AI 時代下的 UGC 内容社區，能有什麼想象力？》
「看見概念」的目标是「讓每個人的故事被看見」，其願景是構建一個 AI 時代的 UGC 内容社區，鼓勵和支持創造性表達和故事分享。
胡修涵在其演講中提出了一個關于 AI 時代下 UGC 内容社區的願景，即通過「看見概念」公司，實現「讓每個人的故故事被看見」的目标。他認為 AI 時代為 UGC 内容社區帶來了新的機會，盡管變化可能比預期慢，但他相信這一變化正在發生。
他強調内容生產是驅動需求變化的關鍵因素，特别是在内容平台如抖音和小紅書的發展中，供給側的爆發先于消費形式的變化。
胡修涵提出了社會化創新的概念，認為廣泛的公眾參與是内容創作的關鍵。他提倡開源内容協作，認為這不僅可以帶來文化認同，還能滿足小眾愛好的需求。在 AI 時代，這種個性化的供需關系變得更加可行。此前的 NFT 等新興趨勢表明，圍繞共識構建故事可以構成價值。
在 AI 的角色定位上，胡修涵認為 AI 應作為叙事的編曲家，而非簡單的内容生成器。他通過實驗和實踐，展示了 AI 如何在 UGC 内容創作中發揮作用，尤其是在世界觀構建、角色設計和情節生成方面。他強調，盡管 AI 能提供知識和關聯，但創意的核心靈感仍需人類提供。
在技術層面，胡修涵探讨了 AI 作為創作夥伴的角色，強調了 AI 作為 Composer 而非 Creator 的角色，以及在 GenAI 下技術可行性的讨論。他提出了通過 AI 技術實現創意的概念，即使是簡單的模板創作也能變得有意義。
胡修涵還分享了他們團隊進行的内容實驗，通過控制變量的方法來探索哪些 AI 内容能夠在最少人為參與下獲得持續流量。他們發現，世界觀可以通過平台構建，角色設計可以由用戶輕松完成，但情節的控制仍然是一個挑戰。他強調了無論是 PGC、UGC 還是 AIGC，找到最有效的内容要素供給方式是至關重要的，保證盡可能 AI 化的前提下還要有人願意消費制作出來的内容。
最後，胡修涵提出了基于社區的創作分享目标，以及社區和 MMORPG 的結合，鼓勵用戶通過活動和角色扮演來創作和分享故事。他展望了一個通過技術進步，如基礎視覺模型的更新，來講述更好故事的未來，并強調了持續改進演繹細節能力的重要性。
他相信随着技術的進步，每個人都能參與到故事遊玩和創作過程中。他認為，原創和二創之間的界限将變得模糊，而創意和創新的效率将得到前所未有的提升，推動人類文明的進步。
看見概念展台
結語
GDC 大會為大模型領網域的企業提供了一個展示技術創新的平台。例如，波形智能展示了其在超長文本寫作方面的技術突破，Dify.AI 介紹了從 Prompt 工程到 Flow 工程的轉型，百川智能和 Zilliz 分别分享了他們在大模型技術和向量數據庫方面的進展。這些分享不僅展示了企業的技術實力，也促進了行業内的技術交流和知識的傳播。
通過 Workshop 和閉門交流等形式，大會促進了對大模型技術在不同行業應用的深入探讨。例如，月之暗面（Moonshot AI）分享了其在遊戲開發中的潛力，Kyligence 讨論了大數據與大模型結合的實踐，而 Xmind AI 和看見概念則分别探索了 AI 在思維導圖和 UGC 内容社區中的應用。這些讨論有助于行業内的企業和專家更好地理解大模型技術的多樣化應用，推動相關領網域的創新和發展。
GDC 大會也為大模型領網域的商業模式提供了探索的機會。企業通過分享他們的產品和解決方案，展示了如何将大模型技術商業化，并創造新的收入來源。這些讨論和展示有助于啟發行業内其他企業思考如何有效地将技術創新轉化為商業價值。
通過互動展台等形式，GDC 大會為公眾提供了了解和體驗大模型技術的機會。這有助于提升公眾對大模型技術及其應用的認知，增加社會對該領網域的興趣和支持，為行業的長期發展營造良好的社會環境。GDC 大會的成功舉辦，也反映了中國政府對人工智能和大模型領網域的重視和支持。通過這樣的國際性大會，可以向世界展示中國在這一領網域的成就和潛力，為中國大模型領網域與全球市場的接軌提供了平台。
