今天小編分享的科技經驗:豆包大模型發布各領網域技術進展,首次披露 300 萬長文本能力,歡迎閱讀。
IT 之家 12 月 30 日消息,字節跳動旗下豆包大模型今日對外公布了 2024 年全領網域的技術進展,宣稱自 5 月 15 日首次亮相的 7 個月以來,在通用語言、視頻生成、語音對話、視覺理解等方面模型能力已經跨入國際第一梯隊。
據介紹,截至 2024 年 12 月,最新版豆包通用模型 Doubao-pro-1215 綜合能力較 5 月提升 32%,已全面對齊 GPT-4o,在數學、專業知識等部分復雜場景任務中,效果表現甚至更好,同時其推理服務價格僅為 GPT-4o 的八分之一。其經過海量數據優化及模型架構的創新,包括提升模型稀疏度、引入強化學習等,從而使該模型理解精度、生成質量大幅提升。
豆包還首次對外披露了其大模型 300 萬字視窗的長文本能力。據介紹,其能夠一次輕松閱讀 " 上百篇 " 學術報告,每百萬 tokens 處理延遲僅 15 秒。據 IT 之家了解,其背後包括 STRING 等上下文關聯數據算法,能夠大幅提升 LLM 利用海量外部知識的能力,稀疏化及分布式方案将時延降到十秒級。