今天小編分享的科學經驗：“是我創造了第一個LLM”！Kaggle前首席科學家一句話引發AI學術圈考古行動，歡迎閱讀。
論如何在技術圈争論中一句話噎到對方：
哥們，是我創造了第一個大語言模型。
發言者 Jeremy Howard 為澳大利亞昆士蘭大學名譽教授、曾任 Kaggle 創始總裁和首席科學家，現 answer.ai 與 fast.ai 創始人，。
事情的起因是有人質疑他最近的項目 llms.txt 在幫助大模型爬取互聯網信息上并沒太大作用，從而引發了這段争論，迅速引起眾人圍觀。
聞訊而來的 " 賽博考古學家們 " 一番考據之後，發現第一個大語言模型這個說法還真有理有據：
2018 年初，Jeremy Howard 發表的論文 ULMFiT，使用非監督預訓練 - 微調範式達到當時 NLP 領網域的 SOTA。
甚至 GPT-1 的一作 Alec Radford，在發表 GPT-1 時也公開承認過 ULMFiT 是靈感來源之一。
有人搬出綜述論文，指出從 " 遺傳學 " 視角看，ULMFiT 是所有現代大模型 " 最後的共同祖先 "。
還有好事者軟體工程師 Jonathon Belotti，專門寫了一篇完整考據《誰才是第一個大語言模型》
首先來介紹一下 ULMFiT 這篇論文，入選 ACL 2018：
提出有效遷移學習方法，可應用于 NLP 領網域的任何任務，并介紹了微調語言模型的關鍵技術，在六個文本分類任務上的表現明顯優于當時的 SOTA 方法，在大多數數據集上将錯誤率降低了 18-24%。此外，僅使用 100 個帶标籤的示例，它的性能就與在 100 倍以上數據上從頭開始訓練的模型性能相當。
那麼 ULMFit 算不算第一個大語言模型呢？Jonathon Belotti 考據遵循這樣的思路：
首先找一個大家都公認肯定算大語言模型的成果，GPT-1 肯定符合這個标準。
再從 GPT-1 和後續 GPT-2、GPT-3 中提取一個模型成為成為大語言模型的标準：
首先要是一個語言模型，根據輸入預測人類書面語言的組成部分，不一定是單詞，而是 token
核心方法是自監督訓練，數據集是未标記的文本，與此前特定于任務的數據集有很大不同
模型的行為是預測下一個 token
能适應新的任務：不需要架構修改，就有 few-shot 甚至 one-shot 能力
通用性：可以先進的性能執行各種文本任務，包括分類、問答、解析等
接下來分析 GPT-1 引用的幾個重要模型：原版 Transformer，CoVe，ELMo 和 ULMFiT。
Transformer 雖然是現代主流大模型的架構基礎，但原版只用于機器翻譯任務，還不夠通用。同時非 Transformer 架構如 LSTM、Mamba 甚至 Diffusion 也可被視作大型語言模型。
CoVE 提出了語境化詞向量，是遷移學習領網域的一項重要創新，但它通過監督學習訓練（英語翻譯德語）創建向量，不符合自監督學習的條件。
ELMo 使用了自監督預訓練和監督微調範式，但在 few-shot 能力上還差點意思。
總之在作者 Jonathon Belotti 看來，CoVE 和 ELMo 都還沒達到大語言模型的門檻。
最後再來看 ULMFiT，其名字代表在文本分類任務微調的通用語言模型（Universal Language Model Fine-tuning for Text Classification）。
它是一個在 WikiText 數據上自監督訓練的 LSTM 模型，能夠以低成本适應新任務，無需更改架構即可執行大量文本分類任務，且達到當時的 SOTA 性能。
與 GPT-1 相比，只差在微調不夠方便，以及應用任務的廣度。
GPT-1 論文原文中，也指出 " 最接近我們工作的 " 就是 ULMFiT 與谷歌的半監督序列學習（Semi-supervised Sequence Learning）了。
GPT-1 論文還聲稱，把 LSTM 換成 Transformer 後能拓展預訓練模型的預測能力，比 ULMFit 任務适應性更高。
考據者 Jonathon Belotti 最後總結到：
成為第一重要麼？我認為有一點重要。軟體行業和學術界尊重其創始人，我們都是開源社區中構建開拓智網域文化（homesteads the noosphere）的一部分。
而 Jeremy Howard 本人對此的後續回應是我們創造了第一個 " 通用語言模型 "，但後續論文沒有沿用，反而創造了 " 大型語言模型 " 這個新術語。
蘋果工程師 Nathan Lawrence 認為，雖然今天大家對誰是第一個 LLM 可能存在争議，但最終大家都會把 ULMFiT 視為一個轉捩點。
當時即使我這樣的懷疑論者，也快開始意識到大規模通用訓練将成為 NLP 的未來。
也有人建議 Jeremy Howard 以後說 ULMFit 是第一個 " 通用預訓練模型 "。
" 我發明了 ChatGPT 中的 GP"，這句話說起來也很酷，一點也不誇張。
ULMFit
https://arxiv.org/abs/1801.06146
GPT-1
https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
參考鏈接：
[ 1 ] https://x.com/jeremyphoward/status/1905763446840607164
[ 2 ] https://thundergolfer.com/blog/the-first-llm
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
速搶席位！中國 AIGC 產業峰會觀眾報名通道已開啟 ♀️
首批嘉賓曝光啦 百度、無問芯穹、數勢科技、生數科技、像素綻放等十數位 AI 領網域創變者将齊聚峰會，讓更多人用上 AI、用好 AI，與 AI 一同加速成長～
4 月 16 日，就在北京，一起來深度求索 AI 怎麼用
一鍵星标
科技前沿進展每日見
