月之暗面：一年前就驗證過長思維鏈，因成本高先搞了長文本

今天小編分享的财經經驗：月之暗面：一年前就驗證過長思維鏈，因成本高先搞了長文本，歡迎閱讀。

月之暗面研究員 Flood Sung 近日分享了 k1.5 模型背後的完整思考過程，并透露稱，2024 年 9 月 12 号 OpenAI o1 發布帶來的震撼效果，令自己陷入了 Long-CoT 的有效性反思中。因為 Long-CoT 的有效性，其實在一年多前月之暗面 Kimi 聯合創始人 Tim 周昕宇就驗證過，使用很小的模型，訓練模型做幾十位的加減乘除運算，将細粒度的運算過程合成出來變成很長的 CoT 數據做 SFT，就可以獲得非常好的效果。Flood Sung 表示，公司意識到 Long Context 的重要性，所以率先考慮把 Context 搞長，但卻對 Long-CoT 這件事情不夠重視，其實主要還是考慮了成本問題。（新浪科技）