用LLM一鍵生成百萬級領網域知識圖譜！中科大新框架入選ACL 2024

今天小編分享的科學經驗：用LLM一鍵生成百萬級領網域知識圖譜！中科大新框架入選ACL 2024，歡迎閲讀。

現在，用 LLM 一鍵就能生成百萬級領網域知識圖譜了？！

來自中科大 MIRA 實驗室研究人員提出一種通用的自動化知識圖譜構建新框架SAC-KG，提升效果 be like：

當使用 ChatGPT 作為基礎模型時，SAC-KG 達到了 89.32% 的準确率和 81.25% 的領網域特異性，相對于 SOTA 方法提升了 20%。

一直以來，知識圖譜構建技術始終是研究熱點。

不過對構建領網域知識圖譜來説，由于需要大量的專家知識和人工幹預，其實際應用受到嚴重限制。

對此，最近基于大語言模型（LLM）的構建方法成為了一種新趨勢。但仍存在一些問題，嚴重影響所構建領網域知識圖譜的可信度。

針對上述痛點，研究團隊進一步提出了 SAC-KG，相關論文已發表在 CCF-A 類人工智能頂級會議 ACL 2024 Main。并開發部署領網域知識圖譜自動構建平台 SAC-KG，支持輸入大規模領網域語料，一鍵生成高質量領網域知識圖譜。

SAC-KG 是如何工作的

由于大語言模型出色的語義理解能力和生成能力，基于 LLM 的方法成為了一種新趨勢。通過利用 LLM 中存儲的先驗知識，從原始語料中提取三元組。

然而，基于 LLM 的方法仍面臨一些問題。輸入中的上下文噪聲和輸出中的知識幻覺會導致錯誤或不相關的三元組生成，從而嚴重影響所構建領網域知識圖譜的可信度。

為了解決上述問題，該研究提出了一種全新的自動化知識圖譜構建通用框架 SAC-KG，利用大語言模型作為領網域知識圖譜的自動化構建專家，在給定領網域語料的情況下，以自動化、精确性和可控性為目标提取三元組。

該框架包含三個組件：生成器、驗證器和剪枝器。

生成器

首先，生成器包括領網域語料檢索器和開放知識圖譜檢索器，分别為指定的實體從領網域語料庫和開放知識圖譜中檢索最相關信息。

其中，領網域語料檢索器提供最相關的文本語料作為 LLM 的輸入，減少上下文噪聲的引入；開放知識圖譜檢索器提供與實體最相關的三元組作為示例，幫助控制模型的輸出格式。

LLM 的輸入包括與實體相關的上下文、三元組示例以及相應的提示，輸出為生成的以指定實體為頭實體的三元組。

驗證器

由于 LLM 存在知識幻覺，可能生成錯誤三元組，因此由驗證器負責檢測并過濾掉由 LLM 生成的錯誤三元組。

這一過程分為兩個步驟：錯誤檢測和錯誤糾正。

在錯誤檢測階段，驗證器會執行三種檢查并進行标記：

數量檢查：如果生成的三元組數量少于阈值（默認是 3 個），則标記為 " 數量不足 "。

格式檢查：如果三元組不符合預定義格式，則标記為 " 格式錯誤 "；如果頭實體不匹配預定義實體，則标記為 " 頭實體錯誤 "；如果頭實體和尾實體相同，則标記為 " 頭尾矛盾 "。

衝突檢查：驗證器會檢測三元組中的邏輯衝突。例如，确保一個人的出生時間早于死亡時間，且年齡不為負數。

在錯誤糾正階段，根據檢測到的錯誤類型提供相應的提示，并重新讓 LLM 生成正确的輸出。例如，如果是 " 格式錯誤 "，會提示模型 " 請嚴格按照格式要求重新生成，注意三元組的格式 "。

剪枝器

知識圖譜的生長過程可以看作一棵樹的逐層增長，從淺到深逐步獲取領網域知識，意味着下一層三元組的頭實體是上一層三元組的尾實體。

在經過驗證器驗證後，将得到的正确三元組整合到生成的新層圖譜中，并繼續生成下一層三元組。

然而，并不是所有三元組都需要繼續生成下一層。例如，" ( 稻米 , 最佳生長温度 ,20-25 攝⽒度 ) " 是正确的三元組，但尾實體 "20-25 攝氏度 " 不需要作為下一層的頭實體進行進一步生成。

為了提高知識圖譜的可控性，該研究引入剪枝器，這是一個在開源知識圖譜 DBpedia 上微調的 T5 二分類模型。輸入為每個正确三元組的尾實體，輸出為 " 生長 " 或 " 修剪 "，表示是否需要繼續生成下一層圖譜。

訓練剪枝器時，從 DBpedia 收集訓練數據，将部分頭實體作為 " 生長 " 類的代表，尾實體則作為 " 修剪 " 類的代表。通過這些實體文本和對應标籤進行微調。

實驗及結果主實驗

在同一領網域的知識圖譜自動構建中，研究團隊使用GPT-4進行自動和高效的評估。

如表 1 所示，SAC-KG 表現優異，超越了多個基線模型。

四個基線模型包括 OpenIE6、StanfordOIE、DeepEx 和 PIVE，其中前兩者為基于規則的三元組抽取方法，而 DeepEx 結合了 Bert 模型與規則技術，PIVE 則直接使用 ChatGPT 構建知識圖譜。

SAC-KG 在知識圖譜構建上始終優于這些方法，尤其在準确率和領網域特異性上表現突出。

當使用 ChatGPT 作為基礎模型時，SAC-KG 達到了 89.32% 的準确率和 81.25% 的領網域特異性，顯著優于基于規則的方法，相對于 SOTA 方法提升了 20%。

消融實驗

消融實驗中，研究團隊每次迭代中計算這些指标，以獲得更細致的結果。

他們将沒有開放知識圖譜檢索器的 SAC-KG 記作 SAC-KGw/oprompt，沒有領網域語料檢索器的記作 SAC-KGw/otext，沒有驗證器的記作 SAC-KGw/overifier，沒有修剪器的記作 SAC-KGw/opruner。

如表 2 所示，SAC-KG 中的任一組件缺失都會導致整個框架性能下降。

特别是，修剪器和開放知識圖譜檢索器對 SAC-KG 的性能影響更為顯著。這兩個組件分别控制生成方向和添加示例，表明在知識圖譜構建過程中提升可控性的重要性。

研究團隊進一步可視化了 SAC-KG 每個消融版本生成的前三層知識圖譜。如圖所示，完整的 SAC-KG 版本表現出最佳的整體結果，且每一層中的錯誤三元組數量沒有顯著差異。這一現象表明，在領網域知識圖譜的迭代生成過程中，錯誤傳播并不明顯。相反，去除了文本處理模塊（SAC-KGw/o text）和剪枝模塊（SAC-KGw/o pruner）的版本顯示出明顯的錯誤傳播，導致在第三層生成的錯誤三元組數量顯著增加。而去除了提示模塊（SAC-KGw/o prompt）和驗證模塊（SAC-KGw/o verifier）的版本僅能提取較少的三元組，這意味着語言模型在缺乏示例和錯誤糾正過程的情況下難以從領網域語料中總結知識。這些結果進一步證實了框架内每個組件對構建過程的重要貢獻。

OIEbenchmarks

SAC-KG 在傳統的開放信息抽取任務中的有效性和廣泛适用性通過多個開源基準數據集的實驗得到了驗證。

實驗結果顯示，SAC-KG 在這些傳統 OIE 基準數據集上，顯著優于現有的最先進方法。

特别是，在與基于規則的方法（如 OpenIE6 和 StanfordOIE）和基于大規模語言模型的方法（如 DeepEx 和 PIVE）的比較中，SAC-KG 始終達到最佳結果，證明了其在傳統 OIE 任務中的有效性和魯棒性。