清華廈大等提出“無限長上下文”技術，100萬大海撈針全綠，LlamaQwenMiniCPM都能上分

今天小編分享的科學經驗：清華廈大等提出“無限長上下文”技術，100萬大海撈針全綠，LlamaQwenMiniCPM都能上分，歡迎閲讀。

大模型的記憶限制被打破了，變相實現 " 無限長 " 上下文。

最新成果，來自清華、廈大等聯合提出的LLMxMapReduce 長本文分幀處理技術。

LLMxMapReduce 技術通過将長上下文切分為多個片段，可以讓模型并行處理多個片段，并從不同片段中提取關鍵信息，然後匯總成為最終的答案。

特别地，團隊提出結構化通信協定和上下文置信度校準機制，實現對跨片段信息更有效的處理。這項技術可以打破大模型的記憶限制，實現上下文長度無限穩定拓展。

LLMxMapReduce 技術可作為大模型的長文本上分神器——它對大模型長文本能力具有普遍增強作用，且在文本不斷加長的情況下，仍能保持穩定性能、減少長文本的掉分情況。

比如結合了 LLMxMapReduce 框架之後的 Llama3-70B-Instruct x MapReduce 模型得分超越了包含 Kimi、GPT-4 在内的知名閉源和開源模型以及其他基于 Llama3-70B-Instruct 的分治方法（即 LongAgent 和 Chain-of-Agents）。

此外，LLMxMapReduce 框架展現出較強的通用性，結合 Qwen2-72B 和 MiniCPM3 也取得了優異的成績。

LLMxMapReduce 無限長文本技術原理

在大數據領網域，MapReduce 是一種分布式并行編程框架，具有橫向擴展的數據處理能力。受到 MapReduce 所體現的 " 分而治之 " 思想的啓發，研究人員設計了一種面向大模型的采用分治策略的長文本處理框架，稱為 LLMxMapReduce。

通過将長上下文切分為多個片段，LLMxMapReduce 讓模型并行處理多個片段，并從不同片段中提取關鍵信息，然後匯總成為最終的答案，從而實現無限長文本。這一技術對模型長文本能力具有普遍增強作用，且在文本不斷加長的情況下，仍能保持穩定性能、減少長文本的掉分情況。

最近，也有一些同類型的分治式長文本處理方法，比如 LongAgent 和 Chain-of-Agents。相比于模型一次處理完整長文檔，這類分治式長文本處理既有優勢，也有不足。

優勢主要在于：長度可擴展，不受限于模型本身的視窗大小，理論上可以支持任意長度輸入。

劣勢主要在于：将一個完整的長文檔切分為多個片段，可能會破壞跨片段的關鍵信息，導致模型根據某個片段 " 斷章取義 "，產生錯誤結論。團隊分析，會被切分片段影響的信息有兩類：

跨片段依賴 （Inter-Chunk Dependency）：多個片段的信息相互依賴，綜合起來，才能產生一個完整的答案。比如要總結一個事件的時間脈絡，需要從很多個片段中提取關鍵的信息，才能形成一個完整的時間線。

跨片段衝突 （Inter-Chunk Conflict）：多個片段的信息存在衝突，對于相同的問題，看不同的片段時可能得出不同的結論。比如要問一位導演一生最偉大的作品是什麼，在看他青年時期片段時，得出的是青年時的最大成就，而在看老年時期的片段，又會得出不同的結論。

為了解決這兩類問題，LLMxMapReduce 分别設計了以下方案：

結構化通信協定 （Structured Information Protocol）：針對用户的問題，模型在處理每個片段時，不是僅僅輸出中間答案，而是輸出結構體，包含豐富的相關信息。在 Reduce 階段，模型根據各個片段輸出的結構化信息，匯總得出最終結果。通過在 Map 和 Reduce 階段的結構化通信協定，希望能夠更好地處理跨片段依賴的問題，更好地得出綜合性答案。

{ Extracted Information: XXX # 與問題相關的關鍵信息 Rationale: XXX # 得出中間結果的推理過程 Answer: XXX # 根據當前片段的中間結果 Confidence Score: XXX # 模型對當前片段的結果的置信度，範圍為 1 到 5 之間 }

上下文置信度校準 （In-Context Confidence Calibration）：模型在 Reduce 階段，會參考 Confidence 的值來匯總不同階段的信息，高 Confidence 的結果占據更多的主導權。為了讓模型在處理不同片段時具有一致的置信度評估标準，通過上下文學習的方式讓模型學會一個統一的置信度評估準則，讓置信度信息更加準确可靠，從而幫助模型在 Reduce 階段更好的處理跨片段衝突問題。

LLMxMapReduce 方法的流程圖如下所示：整體分為Map、Collapse和Reduce三個階段。

首先要将長文本切抽成多個小片段，這些片段可以并行處理，從而提高效率。

然後在 Map 階段，使用大模型對每個片段進行分析，然後應用上文所述的結構化通信協定，将提取的信息整合成結構體形式，以便後續處理。

接下來，在 Collapse 階段，如果所有片段的結果總長度超過模型的最大處理限制，模型将多個結構體壓縮為一個結構體，以減少上下文長度。在處理衝突信息時，模型會考慮置信度進行整合。

最後，在 Reduce 階段，模型根據壓縮後的信息匯總出最終的答案。它會優先考慮置信度較高的結果，從而确保得到的答案準确無誤。

通過以上工作流程，LLMxMapReduce 能夠更有效地處理長文本，避免因切分導致的信息丢失或錯誤結論，從而提高最終結果的準确性。

大模型長文本上分神器

為了驗證 LLMxMapReduce 技術的有效性，研究人員在業内權威的長文本評測 InfiniteBench 榜單上對不同模型進行了評測，InfiniteBench 是一個綜合性榜單，最長長度超過 2000k token。

研究人員和很多方法進行了對比，其中對比的基線共有三類：

閉源模型：

包括 GPT-4、Claude 2、Kimi-Chat，其中 GPT-4 和 Claude 2 的得分參照 InfiniteBench 原文，Kimi-Chat 為重新測量的得分；

開源模型：

包括 YaRN-Mistral、Yi-6B-200K、Yi-34B-200K 和 Qwen2-72B-Instruct，其中 YaRN-Mistral、Yi-6B-200K、Yi-34B-200K 的得分參照 InfiniteBench 原文，Qwen2-72B-Instruct 是自行測量的得分；

其他基于分治的長文本處理框架：

包括 LongAgent 和 Chain-of-Agents。這兩個分治框架的不同點在于處理跨片段信息的方式不同。

LongAgent 構建了一個 Leader Agent 來處理跨片段衝突。當不同的 Chunk 得出的答案不同時，Leader Agent 會組織重新閲讀衝突的片段，得出最終答案。

這種重復閲讀的機制帶來較大的時間開銷，并且 LongAgent 的通信内容比較單一，Leader Agent 處理衝突的能力有限。相比之下，LLMxMapReduce 的結構化通信協定包含的信息更為豐富。

Chain-of-Agents 通過順序逐一讀取各個 Chunk 來閲讀全文。

由于沒有顯式地處理衝突信息，可能會導致後續 Chunk 的信息覆蓋歷史 Chunk 中的關鍵信息。相比之下，LLMxMapReduce 利用校準後的置信度來更好的處理跨片段衝突。

具體實驗結果如下：