今天小編分享的科技經驗：跑分達ChatGPT的99%，人類難以分辨！開源「原駝」爆火，iPhone都能微調大模型了，歡迎閱讀。
自動測試分數達到ChatGPT 的 99.3%，人類難以分辨兩者的回答……
這是開源大模型最新成果，來自羊駝家族的又一重磅成員——華盛頓大學原駝（Guanaco）。
更關鍵的是，與原駝一起提出的新方法QLoRA把微調大模型的顯存需求從 >780GB 降低到 <48GB。
開源社區直接開始狂歡，相關論文成為 24 小時内關注度最高的 AI 論文。
以 Meta 的美洲駝 LLaMA 為基礎，得到原駝650 億參數版只需要 48GB 顯存單卡微調 24 小時，330 億參數版只需要 24GB 顯存單卡微調 12 小時。
24GB 顯存，也就是一塊消費級 RTX3090 或 RTX4090 顯卡足以。
不少網友在測試後也表示，更喜歡它而不是 ChatGPT。
英偉達科學家 Jim Fan 博士對此評價為：大模型小型化的又一裡程碑。
先擴大規模再縮小，将成為開源 AI 社區的節奏。
而新的高效微調方法 QLoRA 迅速被開源社區接受，HuggingFace 也在第一時間整合上線了相關代碼。
GPT-4 做裁判，原駝得分達到 ChatGPT 的 99.3%
論文中，團隊對原駝總共做了三項測試，自動評估、随機匹配和人類評估。
測試數據來自小羊駝 Vicuna 和 Open Assistant。
自動評估由大模型天花板 GPT-4 當裁判，對不同模型的回答進行打分，以 ChatGPT（GPT3.5）的成績作為 100%。
最終原駝 650 億版得分達到 ChatGPT 的 99.3%，而 GPT-4 自己的得分是 114.5%，谷歌 Bard 是 94.8%。
随機匹配，采用棋類專業比賽和電子競技同款的 Elo 記分機制，由 GPT-4 和人類共同做裁判。
原駝 650 億和 330 億版最終得分超過 ChatGPT（GPT3.5）。
人類評估，則是把原駝 650 億版的回答和 ChatGPT 的回答匿名亂序放在一起，人類來盲選哪個最好。
論文共同一作表示，研究團隊裡的人都很難分辨出來，并把測試做成了一個小遊戲放在 Colab 上，開放給大家挑戰。
這裡節選其中一個問題（附中文翻譯），你能分辨出哪個是 ChatGPT 回答的嗎？
問題：How can I improve my time management skills?（如何提高時間管理技能？）
（完整測試地址在文末）
總的來說，原駝的優勢在于不容易被問題中的錯誤信息誤導，比如能指出地球從來沒有被科學界認為是平的。
以及擅長心智理論（Theory of Mind），也就是能推測理解他人的心理狀态。
但原駝也并非沒有弱點，團隊發發現它不太擅長數學，以及容易用提示注入攻擊把要求保密的信息從它嘴裡套出來。
也有網友表示，雖然一個模型能在某個數據集上無限接近 ChatGPT，但像 ChatGPT 那樣通用還是很難的。
全新方法 QLoRA，iPhone 都能微調大模型了
原駝論文的核心貢獻是提出新的微調方法QLoRA。
其中 Q 代表量化（Quantization），用低精度數據類型去逼近神經網絡中的高精度浮點數，以提高運算效率。
LoRA 是微軟團隊在 2021 年提出的低秩适應（Low-Rank Adaptation）高效微調方法，LoRA 後來被移植到 AI 繪畫領網域更被大眾熟知，但最早其實就是用于大語言模型的。
通常來說，LoRA 微調與全量微調相比效果會更差，但團隊将 LoRA 添加到所有的線性層解決了這個問題。
具體來說，QLoRA 結合了 4-bit 量化和 LoRA，以及團隊新創的三個技巧：新數據類型 4-bit NormalFloat、分頁優化器（Paged Optimizers）和雙重量化（Double Quantization）。
最終 QLoRA 讓4-bit的原駝在所有場景和規模的測試中匹配 16-bit 的性能。
QLoRA 的高效率，讓團隊在華盛頓大學的小型 GPU 集群上每天可以微調 LLaMA 100 多次……
最終使用 Open Assistant 數據集微調的版本性能勝出，成為原駝大模型。
Open Assistant 數據集來自非盈利研究組織 LAION（訓練 Stable Diffusion 的數據集也來自這裡），雖然只有 9000 個樣本但質量很高，經過開源社區的人工仔細驗證。
這 9000 條樣本用于微調大模型，比 100 萬條指令微調（Instruction Finetune）樣本的谷歌 FLAN v2 效果還好。
研究團隊也據此提出兩個關鍵結論：
數據質量 >> 數據數量
指令微調有利于推理，但不利于聊天
最後，QLoRA 的高效率，還意味着可以用在手機上，論文共同一作 Tim Dettmers 估計以iPhone 12 Plus 的算力每個晚上能微調 300 萬個單詞的數據量。
這意味着，很快手機上的每個 App 都能用上專用大模型。
論文：
https://arxiv.org/abs/2305.14314
GitHub：
https://github.com/artidoro/qlora
與 ChatGPT 對比測試：
https://colab.research.google.com/drive/1kK6xasHiav9nhiRUJjPMZb4fAED4qRHb
330 億參數版在線試玩：
https://huggingface.co/spaces/uwnlp/guanaco-playground-tgi
參考鏈接：
[ 1 ] https://twitter.com/Tim_Dettmers/status/1661379376225697794
[ 2 ] https://huggingface.co/blog/4bit-transformers-bitsandbytes
