今天小編分享的科學經驗:剛剛,商湯發布第六代大模型:6000億參數多模态MoE,中長視頻直接可推理,歡迎閱讀。
不得了。
現在的國產 AI 應用,一口氣看好幾分鍾的視頻,都可以直接做推理和解析了!
瞧 ~ 只需 " 喂 " 上一段柯南片段,AI 就搖身一變成 " 名偵探 " 做剖析:
它會對整個視頻的内容先做一個總結,再按照秒級,對視頻片段做内容上的推演。
如果再給這個 AI" 喂 " 上一段足球遊戲,它又會秒變成一位資深解說員:
這一次,在視頻總結和視頻要點之後,我們繼續提出要求:
請幫我剪輯視頻中的片段,包含任意由客戶指定的場景,提取相關片段,标明時間範圍,并為每個片段配上解說文案,用戶場景為:進球時刻。
它就會立即執行深度思考,自動剪輯出一段 8 秒的高光片段,并附上建議搭配的音樂或音效:
這便是商湯最新更新的日日新 SenseNova V6解鎖的新能力——
原生多模态通用大模型,采用6000 億參數 MoE 架構,實現文本、影像和視頻的原生融合。
從性能評測來看,SenseNova V6 已經在純文本任務和多模态任務中,多項指标均已超越 GPT-4.5、Gemini 2.0 Pro,并全面超越 DeepSeek V3:
在強推理能力上,日日新 V6/V6 Reasoner 的多模态和語言深度推理任務上同時超過了 OpenAI 的 o1 和 Gemini 2.0 flash-thinking 的水平。
同時在小版本的模型上,SenseNova V6 的各項成績也超越 GPT-4o:
縱觀整體,可以将商湯此次發布新模型的特點總結為三個關鍵詞——
強推理、強互動和長記憶。
那麼具體效果如何,我們繼續往下看。
邊看邊聽邊理解的 AI
這次我們的實測主要聚焦在實時音視頻互動的能力上。
我們直接用全新版本的商量 APP(内測版)來做一波測試。
測試的視頻,便是最近大火的韓劇《苦盡柑來遇見你》中女主媽媽讓婆婆陪她一起去拍遺像的片段:
AI 在看了整整五分鍾視頻之後,對于我們的三連問都給出了精準的答案:
你覺得剛才這兩位女士是什麼關系?
你覺得這兩個女士為什麼要去照相館照相?
畫面中這位女士最後的結果是怎麼樣的?
不僅如此啊,從 AI 的回復中,我們也可以聽出情緒上的變化,對于這樣令無數人催淚的橋段,它作答的情緒也是略帶 sad。
再來一個比較有意思的——看圖猜城市:
AI 的回答如下:
在一番深度思考之後,AI 是精準猜到了長沙這個城市。
類似的,我們再來做一個猜成語的遊戲,題目長這樣:
這一次,AI 更是沒有過多的 " 廢話 ",直擊要害地給出了答案——緣木求魚。
不光是有趣,在面對日常生活中的問題,商湯 SenseNova V6 更是能夠體現它有用的價值。
比如給小朋友輔導數學題,現在真的就是一拍一問就可以的事情了。
要知道,普通大模型只會提供千篇一律的标準答案,無法基于不同的解題思路提供指導。
但日日新 V6 不但能識别手寫體,還能夠提供針對錯誤點的一對一引導式講解,并給與高效輔導:
從多種維度的實測來看,SenseNova V6 是具備了高度拟人化的感知、表達和情感理解能力,可針對不同的對話内容和場景需求,即時靈活地切換語氣、情感與音調。
同時,它還擁有較強的實時互動、視覺識别、記憶思考、持續對話和復雜推理等能力。
除此之外,商湯的 SenseNova V6,還上身了今年持續爆火的具身智能,可以說是用它多模态的能力,給機器人裝上大腦、眼睛、耳朵和嘴巴:
怎麼做到的?
看完各種實測,我們再來聊聊 SenseNova V6 背後的原理。
為了更好地理解,量子位與商湯科技聯合創始人、執行董事及人工智能基礎設施和大模型首席科學家林達華請教了一番。
首先,就是商湯自研的原生多模态融合訓練技術。
這是一種能夠将多種模态信息(如文本、影像、視頻、音頻等)在模型架構和訓練過程中進行深度融合的 AI 模型架構。
與傳統的将語言模型和多模态模型分立的方式不同,它通過橋接技術(如補充訓練數據和模态關聯機制)實現模态間的協同,避免傳統方法中 " 跷跷板效應 "(即增強某一模态能力導致另一模态能力下降)。
這種設計能更自然處理復雜場景(如漫畫理解、視頻分析),捕捉跨模态的細節關聯(如影像中的隐含信息)。
在今年 1 月份的權威評測榜單 SuperCLUE(語言模型綜合榜單)和 OpenCompass(多模态綜合榜單)上均位列國内第一,這也充分證明了該技術的強大潛力。
其次,是多模态長思維鏈合成技術。
面對復雜推理任務,傳統 AI 模型容易因信息過長而丢失關鍵邏輯;商湯的這一技術可以通過多智能體協作,實現超長思維鏈的生成與驗證(目前儲備超 1000 萬條思維鏈數據)。
具體而言,它可以合成并理解 64K tokens(約 5 萬字)的多模态長思維鏈,使模型具備長時間、多步驟的深度思考能力,适用于數學推導、科學分析、長文檔理解等場景。
林達華舉例說明,模型在回答問題時能逐步關聯影像細節(如漫畫中的海鷗表情),最終生成富有創造力的輸出。
除此之外,還有多模态混合增強學習。
這一技術的提出主要是為了平衡模型的邏輯推理能力和情感表達能力。
它同時采用基于人類偏好的 RLHF(強化學習人類反饋)和基于确定性答案的 RFT(強化學習事實訓練),使模型既符合人類喜好,又保證事實準确性。
并且通過智能權重調整,确保模型在提升推理能力的同時,不會變得機械生硬,仍能自然表達情感。
最後,便是長視頻統一表征和動态壓縮。
長視頻理解一直是 AI 的難題,商湯的統一時序表征技術實現了跨模态信息的高效對齊與壓縮。
它可以将畫面(視覺)、語音(聽覺)、字幕(文本)、時間邏輯統一編碼,形成連貫的時序表征。
在采用細粒度級聯壓縮 + 内容敏感過濾之後,10 分鍾的長視頻可壓縮至 16K tokens(僅為原始數據的極小部分),同時保留核心語義,大幅提升處理效率。
以上四大技術,便是商湯 SenseNova V6 背後的殺手锏了。
不僅要日日新,還要天天用
遙想百模大戰之初,商湯 CEO 徐立博士解釋過為何商湯大模型會取名為 " 日日新 ":
靈感源自中國古代經典《禮記 · 大學》中的名句" 苟日新,日日新,又日新 "。
其本意是如果一天能夠自新,就該天天自新,持續不斷地革新;這也意味着商湯的大模型版本會持續更新,能力 " 日新月異 "。
現在回頭來看,從 SenseNova V1 到現在的 V6,商湯大模型發展速度确實是做到這一點:平均 3-4 個月便會有一次的迭代。
而從今天的發布會來看,不論是從技術的解讀,亦或是案例、demo 的分享,無不在劍指易用性。
大到城市管理、物業運營、電網巡檢,小到數學解題、遊戲解說、繪本故事……
一言蔽之,商湯在透露的核心觀點便是:
AI 之道,在于百姓之日用。
對此,徐立博士也對量子位做了更進一步的闡述:
推理能力、多模态能力、模型融合能力,讓 AI 的通用智能大大泛化,不光能推進科學探索,也能解決老百姓的日常痛點和所需。
核心還是 AI 通用能力的實現,我認為當下正是多模态智能的湧現期。
除此之外,借着此次 SenseNova V6" 上身 " 具身智能,還延伸出了一個有趣的話題——
前不久某知名創投圈大佬一句 " 批量退出具身智能 " 引發了不小熱議。
對此,商湯科技聯合創始人楊帆認為:
這種觀點很好,科技創新產業需要這種質疑,我們需要直面且客服這種質疑,才能邁向更認真嚴肅的產業階段。
具身智能可能還是試驗階段的東西,但我個人非常有信心,能跟合作夥伴一起為產業提供更多的價值。
銀河通用合夥人、大模型負責人張直政表示:
有不同讨論聲音的時候,說明大家真的在嚴肅的讨論這個問題;但這并不意味着具身智能的泡沫有多嚴重,這是科技創新的驅動力。
我作為科研人員,從謹慎樂觀的角度來看,泡沫對于創新是非常正常的。
例如騎馬的時候,對汽車就是泡沫;是對技術的想象力和邊界產生了突破,我們要從宏觀的需求出發,把這個技術落實下進去,把對前沿科技的想象變成真正的產品。
除此之外,上海交通大學副教授闫維新對這個問題的看法是:
泡沫是遠離了價值以外的内容,只要大方向正确,與之相關的應用、落地的發展中過程中,我們需要冷靜思考,是否能夠像人一樣有感知力和執行力去滿足公眾需求。
我認為危險替代就是具身智能一個非常好的場景,3-5 年後是可以看到的。
總而言之,商湯作為國内大模型代表性玩家,它今天所強調的 "AI 之道 ",一來是符合當今大模型發展 " 應用為王 " 的趨勢,更是反應出了 AI 發展的根本價值取向——
技術必須服務于人的真實需求,融入日常生活,解決實際問題。
那麼今天,你用 AI 了嗎?趕快去試試 SenseNova V6 吧 ~
chat.sensetime.com
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!
— 完 —
點亮星标
科技前沿進展每日見