2024中國生成式AI大會上海站圓滿收官，第二日AI Infra峰會演講精華一文看盡

今天小編分享的科技經驗：2024中國生成式AI大會上海站圓滿收官，第二日AI Infra峰會演講精華一文看盡，歡迎閲讀。

作者 | 智東西編輯部

智東西 12 月 6 日報道，為期兩天的 2024 中國生成式 AI 大會（上海站）今日圓滿收官。

兩天内，51 位產學研投嘉賓代表密集輸出幹貨爆棚，大會報名咨詢人數超4000 人，超過1200 位觀眾到場參會。其中，在主會場進行的大模型峰會、AI Infra 峰會的線上觀看人次更是超過104 萬。

現場參會觀眾們的熱情十分高漲，主會場、分會場座無虛席，展覽區附近的產業交流也十分活躍，15 家企業的諸多新產品新技術都引起了廣泛關注和讨論。

▲大會展區

此次大會以" 智能躍進創造無限 "為主題，51 位產學研投嘉賓代表基于前瞻性視角解構和把脈生成式 AI 的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。

今天的AI Infra 峰會上，上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩認為，業界更應該關注部門算力如何實現更高效的 token 吞吐，大模型實際可用算力不僅取決于芯片理論算力，還可通過軟硬協同優化提高算力利用效率，通過多元異構适配放大整體算力規模。

北電數智智算雲負責人郭文，GMI Cloud 亞太區總裁 King.Cui，阿裏雲智算集群產品解決方案負責人叢培岩，中昊芯英芯片軟體棧負責人朱國梁，光羽芯辰創始人兼董事長周強分别對全棧 AI 工廠、AI 企業出海如何補齊算力短板、高性能智算集群、國產 TPU 芯片 "No CUDA" 軟體棧、通向個人大模型之路幾個主題進行了分享。

楓清科技創始人兼 CEO 高雪峰，聲網生成式 AI 產品負責人毛玉傑，騰訊雲向量數據庫技術負責人謝宇，Jina AI 聯合創始人兼首席技術官王楠，Zilliz 合夥人、研發 VP 栾小凡，英飛流創始人兼 CEO 張穎峰，Alluxio 首席架構師傅正佳分别針對 " 從數據到知識：AI 重塑百行千業的基石 "、" 生成式 AI 驅動實時互動的技術變革與體驗革新 "、"TencentVDB 向量數據庫 "、"RAG 範式下 AI Infra 的機遇和挑戰 "、"RAG 雖強，但向量數據庫絕非萬靈藥 "、" 新一代企業級多模态 RAG 引擎 "、" 高性能 AI 數據底座 " 帶來了精彩演講。

下午場的圓桌讨論聚焦 " 大模型行至深水區，AI Infra 的新變化與新機會 "，由德聯資本執行董事劉景媛主持，Alluxio 首席架構師傅正佳，Zilliz 合夥人、研發 VP 栾小凡，英飛流創始人兼 CEO 張穎峰三位嘉賓給出了自己的真知灼見。

大會首日，17 位嘉賓暢談大語言模型、多模态大模型、具身智能、AI 原生應用、音樂生成、3D AIGC、AI 智能體的行業應用、垂類行業大模型等前沿議題。（2024 中國生成式 AI 大會上海站開幕！首日大模型峰會燃爆魔都，17 位大咖密集輸幹貨）

除了大會首日主會場進行的大模型峰會，以及今天主會場的 AI Infra 峰會，大會分會場也在這兩天分别組織了端側生成式 AI 技術研讨會、AI 視頻生成技術研讨會與具身智能技術研讨會，17 位青年學者和技術專家帶來了報告分享，後續将會上架這三場收費制研讨會的回放。

一、從智算集群到原生加速技術棧，聚焦產業落地痛點突破大模型算力瓶頸

AI 的發展帶來了巨大的數據、算力以及能源挑戰，作為支撐大模型運行以及生成式 AI 應用開發的關鍵，AI Infra 也走到了台前，發展勢頭強勁。

如何打造優質的智算中心，如何實現 AI 從芯片到應用端全產業鏈的高效協同？多位嘉賓給出了自己的深入見解。

1、上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩

Scaling Law 之下，數據成為制約 AI 繼續發展的因素之一。以 GPT-o1 為代表的推理模型可以突破數據瓶頸，但計算範式的轉變使算力需求呈指數級增長，可能導致硬體系統能耗開銷供不應求，對行業的可持續發展構成挑戰。

對此，戴國浩教授指出，當下業界更應該關注部門算力如何實現更高效的 token 吞吐，讓大模型的實際可用算力不僅取決于芯片理論算力，還可通過軟硬協同優化提高算力利用效率，并通過多元異構适配放大整體算力規模。他分享了其研究團隊在軟硬協同、多元異構與端側智能方面的研究進展與落地成果，這些成果能助力行業提升面向大模型場景的 token 吞吐效率。

2、北電數智郭文：以 AI 工廠填補國產算力供給側與需求側的產業鏈斷層

" 產業要發展，創新不能只是停留在技術層面，更要從流程、系統和組織進行全面的創新。" 北電數智智算雲負責人郭文分享了從算力、算法、數據與生态方面全面構建人工智能時代 AI 生產線的實踐思考。

郭文稱，當下國產芯片落地人工智能產業的最大問題是，算力供給側與需求側之間存在產業鏈斷層。為此，北電數智推出首個 " 國產算力 PoC 平台 "，以北京數字經濟算力中心為載體打造具備全棧能力的 AI 工廠，全線适配與拉通場景、模型到芯片層面，推動智算中心從成本中心轉化為推動地區發展新質生產力中心。

3、GMI Clould King.Cui：高穩定 GPU 集群成 AI 企業全球化布局關鍵

中國 AI 出海加速，算力作為其中的核心生產資料正發揮重要作用。高穩定性的 GPU 集群能降本增效，幫助企業在 AI 全球化浪潮中取勝。

GMI Cloud 亞太區總裁 King.Cui 提到，為确保 GPU 集群的高穩定性，他們使用了具備主動檢測功能的自研雲集群引擎，實現計算、存儲和網絡資源的高效調配。

GMI Cloud 是 NVIDIA Top10 NCP，交付前會進行嚴格的驗證流程。GMI Cloud 與 IDC 協作，提供備件和維修，擁有更短的交付時間，确保停機時間最小化。

4、阿裏雲叢培岩：靈駿智算集群不僅要實現穩定性和極致性能，更要在不同維度支持規模的極致擴展

阿裏雲智算集群產品解決方案負責人叢培岩預測，未來模型性能還會随參數，數據集和算力的增長繼續提升，Scaling Law 仍有增長空間，AI 智算集群的設計範式轉向要以 GPU 為核心。

阿裏雲推出支持超大規模分布式訓練的靈駿智算集群，可達到 10 萬卡擴展規模，千卡規模線性加速比達到 96%；阿裏雲自研磐久伺服器采用 CPU 和 GPU 分離，實現單機提升至 16 顆 GPU；網絡架構 HPN7.0 最大規模可連接 10 萬顆 GPU。

智算集群穩定性至關重要，阿裏雲 3 千卡規模智算集群，在一個月内穩定訓練時長占比達 99%。

5、光羽芯辰周強：解決 " 大模型不懂你 " 問題，個人大模型迎來機遇

作為與通用大模型、行業大模型、企業大模型并行發展的一大分支，個人大模型也進入了快速發展期。光羽芯辰創始人兼董事長周強稱，個人大模型解決的是 " 大模型不懂你 " 的問題，随着手機、PC、可穿戴、XR 等端側設備廠商 All in AI，個人大模型之路将越走越寬。

他提到，個人大模型也稱為端側大模型，期待解決端側智能體在性能、功耗和成本方面的痛點，讓真正的 AI 手機走進生活。端側 AI 具備及時性、可靠性、成本低、隐私保護和定制化五大優勢。目前，構建端側大模型的核心是解決存儲帶寬和容量雙重問題。

6、中昊芯英朱國梁：國產 TPU 芯片 "No CUDA" 軟體棧的構建實踐

中昊芯英芯片軟體棧負責人朱國梁介紹了他們在為國產 TPU 芯片構建 "No CUDA" 軟體棧的實踐經驗。

中昊芯英刹那芯片采用 VLIW 指令集架構，面對龐大的 CUDA 生态，他們逐一解決了庫、并行計算與編程方面的問題，全自研用户态和内核态驅動，實現了芯片的高效管理。

為做好生态兼容，中昊芯英底層軟體棧兼容 PyTorch 以及所有主流訓推框架，目前，中昊芯英可提供定制的端到端的雲智算解決方案，并支持國產作業系統。

二、從企業智能體、向量數據庫到 RAG，AI Infra 基礎軟體湧現諸多新挑戰

下午場，多位嘉賓進一步分享了 AI Infra 領網域關于智能體開發管理平台、實時語音、向量數據庫、向量模型、RAG 技術、數據編排等方面的行業觀察和深入見解。諸多新平台、新產品、新技術走向前台，賦能產業。

1、楓清科技高雪峰：從數據到知識，跨越生成式 AI 與決策智能間的鴻溝

楓清科技創始人兼 CEO 高雪峰談道，要将生成式 AI 真正應用到企業決策場景中，彌合其與決策智能之間鴻溝的技術突破點，就是在推理框架側融合符号邏輯推理。

企業智能化落地需要面臨數據孤島、數據整合、知識校驗、數據實時效等技術挑戰。楓清科技可以為企業提供知識引擎與大模型雙輪驅動的新一代智能體平台，通過構建全鏈路優化體系，幫助企業提升數據質量，将企業本地數據知識化，并融合大模型沉澱的泛化能力，在知識網絡之上進行符号邏輯推理，實現可解釋的智能，進而使 AI 在多個場景下能夠實現精準、透明的決策支持，推動企業智能化轉型的順利實施。

2、聲網毛玉傑：生成式 AI+ 實時互動，讓人機互動變成真正的心靈互動

聲網生成式 AI 產品負責人毛玉傑講述了生成式 AI 出現後實時互動（RTE，Real-Time Engagement）技術和體驗的變遷。

毛玉傑介紹，2014 年至今十年，RTE 從服務質量走向體驗質量；2025 年開始，在生成式 AI 發展的背景下，RTE 向 AI RTE 變革，開始注重跨模态體驗質量，做多模态互動、跨模态轉換，為人和模型而設計，給大模型廠商提供眼睛、耳朵和聲音能力。

毛玉傑説，目前人機對話已經達到 " 聽得懂 " 的狀态，期待下一步實現 " 聽得心 " ——讓人機互動變成真正的心靈互動。

3、騰訊雲謝宇：向量數據庫助力企業挖掘更大數據價值

AI 時代，向量數據庫（VDB）脱穎而出，成為連接結構化與非結構化數據的樞紐。然而，當 VDB 被運用于 RAG 場景時，多款開源 RAG 架構出現了召回率低的問題。

騰訊雲向量數據庫技術負責人謝宇介紹，為解決上述挑戰，騰訊首先提升了復雜文檔的識别效果，并對數據處理、Embedding、檢索、總結等其他環節進行優化，最終實現了 90% 以上的召回率。

騰訊自研向量檢索引擎 OLAMA 已上線 5 年，日均處理 8500 億次檢索請求。未來，他們還将在性能、成本、業務效果、容災率等方面發力，持續提升產品表現。

4、Jina AI 王楠：長文本大模型、RAG 長期共存，長視窗向量模型面臨兩大挑戰

大模型存在幻覺、無法保證私有數據安全、推理成本高三大問題，Jina AI 聯合創始人兼首席技術官王楠認為，RAG 正是通過縮小大模型生成範圍，保證檢索準确性、實現結果可溯源，所以長本文大模型不會取代 RAG，二者将長期共存。

短視窗會導致上下文背景信息丢失，因此 RAG 需要長視窗向量模型支持。但長視窗向量模型面臨兩大挑戰，一是推理成本和内存消耗會随視窗長度呈平方線性增長，共享 GPU 是解決思路之一；二是長視窗使模型無法完整表示細顆粒度語義，解法是增加向量維度和多向量表示。

5、Zilliz 栾小凡：向量數據庫落地面臨成本及擴展性挑戰，RAG 轉為 Graph RAG

Zilliz 合夥人、研發 VP 栾小凡分享了向量數據庫目前面臨的挑戰以及相應解決方案。

栾小凡稱，2025 年新生成的數據中，将會有 80% 以上是非結構化數據。在這一數據壓力下，向量數據庫的落地面臨着成本以及擴展性等方面的種種挑戰。而目前的 RAG 存在搜索質量難、處理長尾查詢能力差、結果難以解釋和控制、向量存儲成本高等問題。

據此，栾小凡及其團隊提出了兩個解決思路：一是混合查詢，在單個系統内支持密集嵌入、稀疏嵌入和詞匯搜索；二是 Graph RAG，将知識圖譜和向量檢索結合起來。

6、英飛流張穎峰：多模态 RAG 新範式

英飛流創始人兼 CEO 張穎峰認為，RAG 作為 LLM 時代的數據庫，目前面臨着三大挑戰——多模态文檔處理、檢索、語義鴻溝。

針對第一個問題，英飛流訓練了深度文檔理解模型，能對復雜文檔中的多模态内容進行分類處理。而在檢索這一 RAG" 最後一公裏 " 的問題上，英飛流使用三路召回方案，并增加張量索引進行重排序，這一方案在多模态 RAG 上展現出明顯優勢。

最後，針對檢索過程中的語義鴻溝，英飛流使用 GraphRAG 抽取知識圖譜，并與原數據進行聯合檢索，提升檢索質量。

7、Alluxio 傅正佳：零改造、無侵入策略，打造高性能 AI 數據底座

Alluxio 首席架構師傅正佳談到了提升大規模模型訓練效率的兩大挑戰：一是數據規模不斷增長、類型更多元化，因此處理數據需要提升算力有效利用率；二是當數據喂到訓練平台上，數據 IO 訪問瓶頸會導致算力處于低利用率狀态。

這一背景下，Alluxio 提供了統一的數據視圖、豐富協定轉化、高性能數據訪問，以打造整體數據服務。其方案通過零改造、無侵入策略，可以使算法工程師仍按原有方式工作，無需改變已有腳本，并且客户已經有的大量存量數據不需要進行私有化協定改造。

三、AI 2.0 時代，大模型行至深水區，AI Infra 迎來變革

在圓桌論壇環節，幾位嘉賓分享了對于 " 大模型行至深水區，AI Infra 的新變化與新機會 " 這一主題的行業洞察，以及各自公司的產品和技術是如何解決 AI 應用中的核心痛點的。

作為主持人的德聯資本執行董事劉景媛提到，兩年前，ChatGPT 将生成式 AI 推到台前，迎來 AI 2.0 時代，Scaling Law 和數據量的大規模增長給 AI Infra 帶來了非常大的增量機會。兩年後的今天大模型行至深水區，AI Infra 在幫助大模型及相關產品的落地的過程中，產品邊界和功能需求逐漸明晰。