MetAI 聯合多所大學推出基準數據集，測試大語言模型因果推理能力

今天小編分享的科技經驗：MetAI 聯合多所大學推出基準數據集，測試大語言模型因果推理能力，歡迎閲讀。

品玩 6 月 12 日訊，據 huggingface 頁面顯示，Meta AI 近日聯合香港大學以及密歇根大學發布了一款基礎數據集，用來測試大語言模型的因果推理能力。

這款數據集收錄了超過 40 萬個樣本，并制定了一個名為 Corr2cause 的新任務。它通過一組相關語句來确定變量之間的因果關系。研發團隊目前已經通過該數據集評估了 17 款現有的大模型產品。

通過實驗，團隊評估現有的 17 個大型語言模型沒有一個在這項純粹的因果推理任務上表現良好。