今天小編分享的科技經驗：OpenAI将用新方法來訓練模型 以對抗人工智能“幻覺”，歡迎閲讀。
财聯社 6 月 1 日訊（編輯 牛占林）美東時間周三，OpenAI 發布的最新研究論文顯示，該公司正在用一種新的方法來訓練人工智能 ( AI ) 模型，以對抗人工智能 " 幻覺 "。
人工智能幻覺指的是人工智能模型生成内容的能力，這些内容不是基于任何現實世界的數據，而是模型自己想象的產物。人們擔心這種幻覺可能帶來的潛在問題，包括道德、社會和實際問題。
當 OpenAI 的聊天機器人 ChatGPT 或谷歌公司競品 Bard 純粹在捏造虛假信息時，就會發生人工智能幻覺，表現得就像是在滔滔不絕地談論事實一樣。某些獨立的專家對 OpenAI 這樣做的效果表示懷疑。
舉個例子，在谷歌 2 月份為 Bard 拍攝的宣傳視頻中，這個聊天機器人對詹姆斯 · 韋伯太空望遠鏡做出了不真實的表述。最近，ChatGPT 在紐約聯邦法院的一份檔案中引用了 " 偽造 " 的案件，導致涉案的紐約律師可能面臨處罰。
OpenAI 的研究人員在報告中寫道：" 即使是最先進的人工智能模型也很容易產生謊言，它們在不确定的時刻往往表現出捏造事實的傾向。而這些幻覺在需要多步驟推理的領網域尤其嚴重，因為一個邏輯錯誤就足以破壞一個更大的解決方案。"
該公司提出的新策略是：訓練人工智能模型時，獎勵每個正确的推理步驟，而不僅僅是簡單地獎勵正确的最終結論。根據研究人員的説法，這種方法被稱為 " 過程監督 "，而不是 " 結果監督 "，它可能會提高人工智能的性能與準确性，因為這種策略鼓勵模型更多地遵循類似人類的 " 思維鏈 "。
OpenAI 的數學研究員 Karl Cobbe 指出：" 檢測并減輕模型的邏輯錯誤或幻覺，是構建通用人工智能 ( AGI ) 的關鍵一步。" 他指出，這項研究背後的動機是解決人工智能幻覺，以便使模型更有能力解決具有挑戰性的推理問題。
Cobbe 補充道，OpenAI 已經發布了一個附帶的數據集，其中包含 80 萬個人類标籤，用于訓練研究論文中提到的模型。
此前一天，科技界高管和人工智能科學家正在對 AI 敲響警鍾，他們表示，這項技術帶來的滅絕風險堪比疫情和核戰。
超過 350 人籤署了人工智能安全中心 ( Center for AI Safety ) 發布的一份聲明，該組織表示，與疫情和核戰争等其他社會規模的風險一樣，減輕人工智能帶來的滅絕風險應該成為全球的優先事項。
