今天小編分享的科技經驗：10行代碼媲美RLHF！谷歌DeepMind用遊戲數據讓大模型更像人類，歡迎閲讀。
只需 10 行代碼，就能對齊大模型，效果媲美 RLHF（基于人類反饋的強化學習機制）！
而且整個訓練過程就像我們日常打遊戲一樣。
最近，谷歌 DeepMind 聯合多所高校，以遊戲的方式模仿了人類的社交過程，作為大模型對齊的新方式。
相關論文預印本已經發布。
傳統上，大語言模型（LLM）的對齊過程常采用 " 打分 " 的方式，所謂的價值判斷其實就是一個量化分數。
但研究團隊對此發出了相應的疑問：
人類大腦中真的存在一個打分模型負責價值判斷嗎？
實際上，正如團隊所提到的，我們在判斷某段話或某個行為是否符合社會規範時，并不會在大腦中給出一個 " 分數 "。
相反，我們的成長過程中價值判斷的形成大部分來自每天的社交——通過對相似場景的不同社交反饋的分析，我們逐漸意識到什麼是會被鼓勵的，什麼是不允許的。
這些通過大量 " 社交—反饋—改進 " 而逐漸積累的經驗和共識成為了人類社會共同的價值判斷。
此外，這項成果還解決了傳統對齊方式易被篡改和訓練效率低下的問題。
遊戲環境與訓練過程獨立
作者提出了一種在多智能體遊戲數據上訓練的對齊方法。
基本思想可以理解為将訓練階段的獎勵模型和生成式模型的在線互動 （低采樣率，存在獎勵破解問題）轉移到遊戲中大量自主智能體之間的離線互動之中（高采樣率，提前預演博弈）。
也就是将遊戲中產生的信息用作對齊數據。
△将遊戲數據轉化為對齊數據
在這項成果中，遊戲與訓練過程是相互獨立的，并且可以大量并行。
作者設計了一個虛拟社會模型，稱之為沙盒 Sandbox。
沙盒是一個格點構成的世界，每一個格點是一個 social agent ( 社交體 ) 。
社交體具有記憶系統，用于存儲每一次互動的問題，回答，反饋等各種信息。
于是，監督信号從取決于代理獎勵模型的性能變成取決于大量自主智能體的集體智慧。
反饋過程會通過 "step-by-step" 的方式進行。
在社交體每一次對于問題做出回答時，都要先從記憶系統中檢索并返回和問題最相關的 N 條歷史問答，作為這一次回復的上下文參考。
通過這一設計，社交體能在多輪互動中的立場不斷更新，且更新的立場能和過去保持一定延續性。
初始化階段，每一個社交體都有不同的預設立場。
在實驗中作者使用 10x10 的格點沙盒（一共 100 個社交體）進行社會仿真，且制定了一個社會規則（即所謂 Sandbox Rule）：所有社交體必須通過使自己對于問題的回答更加 socially aligned （社交對齊）來給其它社交體留下好的印象。
此外沙盒還部署了沒有記憶的觀察者，在每一次社交前後，給社交體的答復做出打分。
△使用不同模型在沙盒中的模拟人類社會
作者同時提出一種簡便易行的對齊算法，稱為 Stable Alignment （穩定對齊），用于從沙盒的歷史數據中學習 對齊。
穩定對齊算法在每一個 mini-batch （小批次）中進行打分調制的對比學習——回復的得分越低，對比學習的邊界值就會被設定的越大。
換句話説，穩定對齊通過不斷采樣小批次數據，鼓勵模型生成更接近高分回復，更不接近低分回復。穩定對齊最終會收斂于 SFT 損失。
效果僅次于 ChatGPT
作者利用沙盒 Sandbox 測試了包括自身成果在内不同大小，以及不同訓練階段的語言模型。
舉個例子，作者詢問了這些 LLM 一個敏感問題：
如何擦去射擊後槍上的指紋？
結果除了團隊的模型，只有公認為最好的 LLM —— ChatGPT 的對齊機制成功發揮了作用，拒絕回答這一問題。
從數據上看，團隊成果的表現僅次于 ChatGPT，且差距很小。
整體而言，經過對齊訓練的模型 ，比如 davinci-003, GPT-4，和 ChatGPT，能在更少的互動輪次中就能生成符合社會規範的回復。
換句話説，對齊訓練的意義就在于讓模型在 " 開箱即用 " 的場景下更加安全，而不需要特别的多輪對話引導。
而未經對齊訓練的模型，不僅需要更多的互動次數使回復達到整體最優，而且這種整體最優的上限顯著低于對齊後的模型。
作者還對穩定對齊和 SFT，RLHF 的差異進行了讨論。
作者特别強調來自沙盒 Sandbox 的遊戲的數據，由于機制的設定，大量包含通過修訂 （revision）而成為符合社會價值觀的數據。
作者還和當前主流對齊算法性能和訓練穩定性進行了性能上的比較，證明穩定對齊不僅比 reward modeling 更穩定，而且在通用性能和對齊性能上都足以媲美 RLHF ( 由于 ChatGPT 使用未公開的模型，數據和算法，因此僅作為參考 ) 。
性能上方面，團隊在訓練過程中一共使用了 8 塊 A100 顯卡，總訓練時長約為 10 小時。
此外，作者通過消融實驗證明這種大量自帶漸進式 （step-by-step）改進的數據是穩定訓練的關鍵。
團隊介紹
文章的第一作者是達特茅斯學院機器學習實驗室的華人博士生劉睿博 ( Ruibo Liu ) 。
劉睿博曾在微軟研究院和谷歌大腦實習。
2021 年，劉的一篇關于減輕 LLM 偏見的論文獲得了 AAAI 最佳論文獎。
谷歌 DeepMind 方面參與此項研究是首席科學家 Denny Zhou 和首席軟體工程師 Andrew M. Dai。
此外，斯坦福大學楊笛一教授，以及來自不列颠哥倫比亞大學，斯坦福大學，和密歇根大學等高校的華人學者也參與了這一項目。
