今天小編分享的科技經驗：數學論證GPT-4不是随機鹦鹉：真如此的話整個宇宙都會坍縮，歡迎閲讀。
對于 ChatGPT 的工作原理，一個常見的解釋是根據統計學規律預測下一個詞。
但最近一位叫 Jacob Bayless 的工程師用數學方法得出驚人結論：
若是如此，所需的信息量足以讓整個宇宙都坍塌成黑洞。
這一數據量是500008000，根據貝肯斯坦上限 ( Bekenstein bound ) 原理，如果把這些信息分配到空間當中，所需要的信息密度已經遠超宇宙能承受的最大值。
而這僅僅是把數據存儲起來的消耗，更不必説還要進行運算了。
而 ChatGPT 與單純統計預測的區别，可以做這樣的類比：
如果天文學家通過歷史觀測記錄推算出月食的周期，這可以算是統計學。
但當他們總結出牛頓萬有引力定律的時候，就已經超越了統計學。
什麼是 " 随機鹦鹉 "
一個流傳很廣的説法，所謂大語言模型實際上相當于一個 " 随機鹦鹉 " ——
與我們觀察其輸出時的情況相反，語言模型只是将其在龐大的訓練數據中觀察到的語素胡亂拼接在一起，根據概率生成文本，但不清楚文字背後的任何含義，就像一個随機的鹦鹉。
出自論文 On The Dangers of Stochastic Parrots: Can Language Models Be Too Big
這對過去的語言模型，或許确實成立。
比如曾經流行的 n-gram 算法。
比如當我們在搜索引擎中進行搜索時，出現的聯想詞就能用此方法實現。
具體來説，下面的三行文本中，第一行純粹是随機生成，第二行考慮了單詞在英語中整體的出現概率，第三行則考慮了單詞在前一個詞後面出現的概率。
n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT …
n = 1: REPRESENTING AND SPEEDILY IS AN GOOD …
n = 2: THE CHARACTER OF THIS POINT IS THEREFORE …
不難看出，随着 n 值的升高，文本越來越接近人類語言。
而 n-gram 模型根本不需要掌握其中的語義或理解其中的抽象概念，就能生成像模像樣的句子。
據此有人猜想，GPT-4 會不會也只是一種高級的 n-gram 呢？
Bayless 提出，GPT 必須學會抽象才能有如今的效果，至少 GPT-4 肯定如此。
GPT-4 不只是 " 随機鹦鹉 "
要證明這一點，可以先看下棋機器人的例子。
如果有一種下棋機器人，存儲了巨量棋譜數據，對于每個棋局都能推薦下一步。
那它就能通過 " 背譜法 " 模仿其他任何棋手或程式的下法。
比如 Stockfish 是最先進的國際象棋程式，如果僅通過對戰而不看源碼，是無法确定 Stockfish 是否在背譜。
但實際上，包含所有情形和步驟的棋譜數據量可能超到 2154。
而 Stockfish 的程式只占用了不到 50MB 的空間，根本不可能存下需要的所有棋譜。
所以 Stockfish 肯定是通過更高級的方法來實現下棋的。
人類語言的復雜度遠超過棋類遊戲，因此 GPT 的數據量更是同理。
僅在是上一代的 GPT-3 的 token 字典中就有超過 5 萬 token。
如果對每個詞都逐一建立統計信息，n-gram 模型中 n 值将高達 8000。
屆時，需要存儲的情景數量将達到 500008000。
正如文章開頭所提到，這簡直是天文數字，足以讓整個宇宙坍縮。
因此，GPT 是 " 随機鹦鹉 " 的猜測在理論上得到了一定程度的批駁。
" 随機鹦鹉 " 達不到的高度
僅在理論上進行説明是不充分的，因此研究人員還進行了兩個實驗，意圖證明大模型在學習過程中已經抽象出了算法。
第一個實驗關于一道經典的農夫過河問題。
一個農夫有一條船，和狼、羊、菜，農夫要把這 3 樣東西運到河到另一邊，農夫每次最多只能通過這個船運一樣東西，要防止狼吃羊、羊吃白菜（即不能在沒有農夫在的情況下同時在同一岸邊），該怎麼過？
研究人員将這個問題中的農夫、船、河分别替換成地球人、蟲洞和銀河系。
狼、羊和菜則分别換成火星人、金星人和月球人。
替換的目的是因為互聯網上不太可能出現類似語料，可以判斷大語言模型是不是真的掌握了通用方法。
如果 GPT 不是 " 随機鹦鹉 "，那麼它至少不會犯下只有 " 随機鹦鹉 " 才會犯的錯誤。
GPT-4 針對替換後的問題給出了正确的回答，GPT-3.5 則沒有。
但它們并沒有犯研究人員預想的 " 鹦鹉 " 錯誤——即在回答中出現狼、船、河等已被替換掉的詞語。
回答中使用的句子，也無法在互聯網中被檢索到。
這些現象都證明了現在的大語言模型的生成方式已經超越了 " 概率預測 "。
第二個實驗則是數字排序。
如果讓 GPT 學習數字排序，它們究竟是只會記住給出過的數字順序，還是真的研究出排序算法呢？
其實只要從 GPT 的輸出當中就可以看出來了。
假如從 1-100 中随機選擇 10 個數字，并将其順序打亂，将一共有這麼多種情形：
如果再考慮數字的重復出現，又或者數字的數量發生變化，根本不可能存儲如此之多的情形。
因此，只要 GPT 能夠針對未知的排序問題給出正确的回答，便可以説明它們是真的研究出了排序算法。
研究人員訓練了一款特斯拉前 AI 總監 Andrej Kaparthy 發明的語言模型 nanoGPT，專門讓它做數字排序。
結果顯示，随着訓練步數的增加，模型給出的數字順序越來越完美。
雖然在訓練步數達到 16 萬左右時突然出現了大量錯誤，但也很快得到了糾正。
這説明這款模型并不是僅僅根據學習的素材對未知的數字進行排序，而是已經掌握了背後的方法。
這個測試只是在一台筆記型電腦、算力非常有限的 GPU 上進行的。
更不必説 GPT-4 了。
參考鏈接：
https://jbconsulting.substack.com/p/its-not-just-statistics-gpt-4-does
