ResponsibleTA提升LLM可靠性，任務完成更安全、更高效

今天小編分享的科技經驗：ResponsibleTA提升LLM可靠性，任務完成更安全、更高效，歡迎閲讀。

機器之心專欄

機器之心編輯部

AI 智能助手照進現實。

近幾個月，ChatGPT、GPT-4 等大語言模型（LLM）展現出突破性的理解、推理、生成、泛化和對齊能力，對各行各業的研究方式和生產效率均帶來廣泛而深遠的變革及影響。此外，LLM 還展現出在真實世界的開放場景中解決復雜問題的能力，使科幻電影中無所不能的 AI 智能助手照進了現實。

在實現自然場景中的任務自動化時，一個復雜的任務往往由多個子任務構成，這需要多個模型或 APIs 的協作。如何确保 LLM 和執行器之間高效、安全、穩定地協同工作，是構建 Responsible AI ，以及讓 LLM 可靠地為人類提供服務的關鍵問題。

為了解決這個問題，來自微軟亞洲研究院的研究團隊提出 Responsible Task Automation ( ResponsibleTA ) 框架，提升 LLM 和執行器之間協同工作的安全性和有效性。

論文鏈接：https://arxiv.org/pdf/2306.01242.pdf

項目主頁：https://task-automation-research.github.io/responsible_task_automation/

方法

本文通過提出一個新的任務自動化框架，通過可行性檢測，完成度檢驗，用户隐私保護等三個模塊，提高了大語言模型作為任務助手的可靠性，為未來的人機互動提供了一種可行的方式。

該系統框架包含基于 LLM 的中央處理單元、指令執行器、指令可行性預測器、指令完成度檢驗器和安全性保護器。

Responsible Task Automation ( ResponsibleTA ) 框架示意圖

當 ResponsibleTA 接收到復雜任務對應的高層級指令時，安全性檢測自動将包含用户隐私的命令實體替換成對應的占位符，然後将去隐私化的指令發送給部署在雲端的 LLM，LLM 據此規劃實現該負責任務目标的單步指令，然後發送給的部署在本地的執行器實際執行相關操作。從 Responsible AI 的角度出發，該框架賦予 LLM 三個新的能力：

1）可行性預測：ResponsibleTA 框架針對 LLM 和執行器的協同，開發設計了可行性預測模塊。該模塊用于對 LLM 的輸出進行可行性判斷，及時攔截不可行的執行指令，從而規避在執行這些指令的過程中產生的不可控風險。當 LLM 輸出的指令判斷為「不可行」時，可行性預測期會将其分析結果返回給 LLM，并要求其重新進行任務規劃，力求将合理可行性的指令交付給執行器，提升任務自動化的成功率。

2）完成度檢驗：ResponsibleTA 框架設計了一個完成度檢驗器，用于在執行器每次執行結束後自動檢查其執行結果是否符合預期。該模塊根據執行器執行後的即時狀态，判斷 LLM 當前規劃是否完成，并提供及時補救的可能。當執行狀态判定為「未完成」時，完成度檢驗器會要求 LLM 啓動 replanning，使其能夠及時調整任務規劃。

完成度檢驗器和上述可行性預測器，分别在 LLM 輸出指令的執行前後，對指令的合理性和執行的完成性進行校驗，為任務自動化的可靠性提供了雙重保險。

3）用户隐私保護：ResponsibleTA 框架還設定了用户隐私保護機制，該機制通過一個本地記憶單元實現。當用户将高層級命令發送給部署在雲端的大語言模型時，ResponsibleTA 中的隐私保護模塊自動将命令中的隐私信息（如：用户名、密碼、地址等）替換成對應的占位符，而當大語言模型将規劃的低層級指令發送給部署在本地的執行器是，占位符會被自動替換成對應的真實信息。于此方式，用户的隐私信息僅在本地被存儲和被使用，無需發送至雲端，從而避免在傳輸和使用中的不可控風險。

針對 ResponsibleTA 中的可行性預測和完成度檢查功能，其研究團隊在 UI 任務自動化場景下提出并對比了兩種不同的技術路線，并在實驗部分詳細分析了這兩種技術路線的特點。以可行性預測為例，第一種技術方案通過 Prompting 的方式利用大語言模型内部知識進行判斷。具體地，研究者訓練了一個螢幕解析模型将 UI 頁面解析成所含 UI 元素的語言描述，并将和指令一起輸入給 GPT-4 模型，讓 GPT-4 判斷當前指令的可行性。具體方案如下圖所示。

基于 prompt engineering 的（指令）可行性預測器實現方案

另一種技術方案在于訓練一個專用的多模态模型，該模型接收 UI 頁面的視覺信号和對應的語言指令為輸入，輸出該指令的可行性判定結果，具體結構如下圖。

基于專用模型的（指令）可行性預測器實現方案

完成度檢驗器的實現方案于可行性預測器類似，在此不詳細贅述。

實驗

該工作的作者首先對 ResponsibleTA 中的關鍵模塊進行定性實驗，驗證其有效性，并對比不同實現方式的特點。據下表所示實驗結果，作者認為專用模型能夠提供更優的實驗結果但需要收集特定任務對應的數據和标注用于模型訓練，而基于 LLM 的技術方案也能達到不錯的效果，并在實際部署的成本和靈活性方面具有優勢。

可行性預測器和完成度檢驗器的定性實驗結果

作者還在真實世界的實際使用場景中進行 online testing, 并匯報了基線模型，具有可行性預測器的 ResponsibleTA 框架和完整版的 ResponsibleTA 框架在 12 個實際 UI 任務執行過程中的具體表現。作者觀察到所提出的可行性預測器和完成度檢驗器能夠避免執行不可理 / 不可行的指令，并能通過讓 LLM 進行 replanning 的方式進行及時補救，從而提升任務自動化的成功率。