今天小編分享的科學經驗：Pika聯創參與新研究：Diffusion能搶GPT的活了！成功挑戰自回歸文本範式，歡迎閱讀。
縱觀生成式 AI 領網域中的兩個主導者：自回歸和擴散模型。
一個專攻文本等離散數據，一個長于影像等連續數據。
如果，我們讓後者來挑戰前者的主場，它能行嗎？
斯坦福博士的最新研究，就搞了這麼一個擴散模型 VS 自回歸模的同台 PK。
結果：
挑戰成功！（下面為生成示意圖，最後得到的文本是 "Hello world，I am a language diffusion model，named SEDD"）
并且他們的擴散模型在困惑度和質量上已率先超越自回歸的 GPT-2。
趕緊來瞧瞧。
擴散模型挑戰離散數據
用自回歸來處理離散文本數據，即根據之前的 token 來預測下一個 token，這可能是目前我們能想象到的最簡單可行的方法。
為什麼這麼說？
作者在這裡用GAN舉了個例子：
對于影像生成，GAN 首先根據随機噪聲生成影像，然後使用判别器來 " 懲罰 " 偏差，因此梯度信息可以反向傳播到生成器。
但如果我們假設用 GAN 來生成文本，就行不通了。
因為盡管我們可以定義同樣原理的生成器和判别器，但文本的離散性質使得更新生成器非常難。
（影像是連續的，因此可以通過反向傳播來計算梯度，但文本是一堆無法區分的離散值，計算梯度信号相當繁瑣，基本只能粗略估計）
所以說，文本建模領網域基本成了自回歸的天下（如 transformer 的發揚光大就是基于自回歸模型）。
不過，這個架構也有根本性的缺陷：
最有名的 " 批評 " 來自 Lecun，他就認為自回歸 transformer" 注定要失敗 "，因為生成會 " 偏離 " 數據分布并導致模型在采樣過程中發散。
除此之外，自回歸架構的采樣也具有高度迭代性，這對為并行計算而高度優化的 GPU 來說也不夠 match。
最後，由于這類架構的模型都是按照從左往右地完成任務，因此一次執行多個控制任務也很困難（例如補充給定了前綴和後綴的文本）。
正是這些缺點促使作者開始構思另一種概率模型，因此有了本文的主角：
分數熵離散擴散模型（SEDD，Score Entropy Discrete Diffusion）。
簡單來說，為了将擴散模型擴展到離散空間，就必須将 " 分數函數 "（也就是對數概率的梯度）概念推廣到離散空間。
幸運的是，有一種替代方案可以呈現具體分數，即概率的局部比率。
如下圖所示，左邊為分數函數，它直觀地 " 指向 " 連續空間中的較高密度區網域，具體分數（右）将其推廣到離散空間。
這些具體的比率（分數）可以通過得分熵（score entropy）損失函數來學習，從而實現離散擴散模型的快速、可擴展訓練。
在這之中，由于作者只知道可以使用得分熵從數據中學習具體得分（對應于學習概率模型），但仍然不知道如何生成樣本。
因此還借用了擴散模型的核心思想，并使用學習到的具體分數将随機值迭代地去噪為數據點。
為此，他們還定義了向離散文本樣本中 " 添加噪聲 " 的含義：
對于連續空間，這是通過添加高斯噪聲自然產生的，但在離散空間中，則是被迫直接在不同元素之間 " 跳躍 "。
而最終，他們的 SEDD 模型通過學習将樣本不斷迭代去噪為文本，完成從純随機輸入生成文本的任務。
超越 GPT-2
總的來看，與自回歸模型相比，該擴散模型可以在生成過程中利用完整的全局上下文，從而獲得更好的整體生成效果。
對比起來，自回歸模型特别是像 GPT-2 這樣的會發生 " 漂移 " 現象，從而破壞整體性能的穩定性。
并且即使在較小的模型規模下，SEDD 也能始終生成高質量的文本（綠框，讀者很通順），而 GPT-2 就比較困難（紅框，一眼看上去就很多錯誤）。
具體測試中，SEDD 在困惑度指标上表現出了很強的競争力：
此外，作者還發現：
使用更少的采樣步驟，SEDD 照樣在控制生成質量上的表現也比 GPT-2 要好。
最後，團隊以完全零樣本的方式從任意位置提示 SEDD 後發現：
對于标準（從左到右）和非标準（填充）提示方法，SEDD 都可以與最好的 GPT-2 解碼方法一較高下。
如下圖所示：
提示标記以藍色表示，不管它在前面中間還是結尾，SEDD 都能夠生成有意義的文本。
Pika 創始人是作者之一
本研究一共 3 位作者：
一作為斯坦福計算機專業博士生 Aaron Lou，康奈爾本科畢業。
二作也是該校博士生 Chenlin Meng。
她的名字不算陌生，Pika 就是她（下圖右）和 " 學妹 " 郭文景一起創辦的。（Meng 2020 年入學斯坦福，郭 2021 年入學）
看起來，一邊創業的她也一邊兼顧着學業。
最後，通訊作者為一二作的導師 Stefano Ermon，他是斯坦福計算機科學系副教授。
論文地址：
https://arxiv.org/abs/2310.16834
參考鏈接：
https://aaronlou.com/blog/2024/discrete-diffusion/
https://twitter.com/aaron_lou/status/1763242384958386306?s=20
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
