今天小編分享的互聯網經驗：股價久違飙漲，商湯要用自己的Scaling law挑戰GPT4，歡迎閱讀。
4 月 24 日，商湯集團在港交所暫停交易，暫停交易前上漲 31.15%。商湯集團回應，" 昨日日日新大模型 5.0 發布會廣受好評，受到市場極大關注；依照上市規則及港交所建議，公司将進一步刊發相關公告。"
就在前一天的 "2024 年商湯技術交流日 " 上，商湯發布了對标 GPT4-Turbo 的大模型日日新大模型 SenseNova 5.0，追趕 GPT4 可能是當下中國大模型行業的集體目标。商湯在上海商湯臨港 AIDC 舉行的 "2024 年商湯技術交流日 " 上，交出了自己的答卷。
商湯版本的 Scaling Law
不是 GPT-4-1106-preview，不是 GPT-4-0125-preview，而是在一眾大模型榜單中都高居榜首的 GPT4-Turbo。從 SenseNova 4.0 超 GPT-3.5，到 SenseNova5.0 全面對标 GPT-4 Turbo，商湯用了不到三個月時間。
這背後沒有魔法，而是大語言模型中的第一性原理：尺度定律（Scaling laws）在起作用。
首先，随着數據、模型和算力規模的不斷提升，商湯能夠不斷提升大模型的能力。這也是 OpenAI 所強調的模型性能與模型大小、數據量和計算量之間的幂律關系，是一個更為通用的性能提升框架。
但大模型并非單純的暴力美學，背後是大量的軟體工程系統問題。商湯在遵循尺度定律的前提下，通過科學試驗得到數學公式，做到了能夠預測下一代大模型的性能，而不是盲目的随機嘗試。
商湯科技董事長兼 CEO 徐立總結了兩個假設條件：
第一，可預測性：可以跨越 5-7 個數量級尺度依然保持對性能的準确預測。
第二，保序性：在小尺度上驗證了性能優劣，在更大尺度上依然保持。
這指導着商湯在有限的研發資源上找到最優的模型架構和數據配方，從而讓模型能夠更高效地完成學習的過程。" 我們在很早時間就預測到我們的模型可以在一定測試級上超越 GPT-4 的能力。"
也就是說，商湯在大模型的研發過程中，注重通過小規模實驗來預測和驗證模型架構和數據配方的有效性，并确保這些在小規模上得到驗證的結論能夠在更大規模上得到保持和應用。
" 如果我們選擇更佳的數據配方性能提升效率會更大。" 基于商湯的實驗結果，小模型在優化數據的情況下，也可以性能逼近甚至超越跨數量級的大模型。例如，Llama 3 小模型跨越了一個數量級領先于 Llama 2 更大尺寸的模型。
随之而來的一個問題是，更好的數據集在哪裡？數據集質量如何提升？
據徐立介紹，SenseNova 5.0 采用了 10T+tokens 中英文預訓練數據，通過精細設計的清洗處理，形成高質量的基礎數據，解決大模型對客觀知識和世界的初級認知。
除此之外，商湯還合成構造了思維鏈數據，預訓練過程中大規模采用邏輯合成數據（數千億 tokens 量級），從而提升模型推理、數學和編程能力。這本質上是在幫助大模型學習人類解決問題的思路和方法。
" 這是真正意義上保障模型能力提升的關鍵。如果每一個行業思維鏈數據都能夠被輕松構造的話，我們在行業裡面的推理能力就會大幅度提升 "。
尺度定律也存在物理極限，比如沒有數據，比如硬體連接的極限。在今年 3 月份的時候，微軟工程師就提到 OpenAI 如果在同一個州部署超過 10 萬張 H100 GPU，電網就會崩潰。徐立表示，" 這需要對這些卡、這些連接、這些拓撲進行新的設計，算法設計和算力設施需要聯合優化。"
文生視頻在路上
Llama3 8B 和 70B 版本的發布，讓我們看到小參數大模型在端側場景的潛力。商湯此次也推出的 1.8B 參數的 SenseChat-Lite，在主流評測中，超過了所有開源 2B 的同級别模型并且跨級領先了 LLaMA2 等 7B、13B 模型。
通過端雲協同解決方案，SenseChat-Lite 可在中端平台實現 18.3 字 /s 的平均生成速度，旗艦平台可達到了 78.3 字 /s。
在端側的多模态方面，擴散模型同樣可在端側實現業内最快的推理速度，商湯端側 LDM-AI 擴圖技術在某主流平台上，推理速度小于 1.5 秒，支持輸出 1200 萬像素及以上的高清圖片，支持在端上快速進行等比擴圖、自由擴圖、旋轉擴圖等影像編輯功能。
商湯針對端側業務的 SDK 也正式發布，涵蓋了日常對話、常識問答、文案生成、相冊管理、圖片生成、圖片擴展等場景，支持全系列高通 8 系列、7 系列的芯片，以及 MTK 天玑芯片，适配手機終端、平板電腦、VR 眼鏡、車載終端。
針對金融、代碼、醫療、政務等行業面臨的數據私有化部署需求，商湯推出了企業級大模型一體機。可同時支持企業級千億模型加速和知識檢索硬體加速，實現本地化部署，開箱即用，同時完成了國產化芯片的适配。支持最多 2P FLOPS 的算力，256G 的顯存，448 GB/s 的連接。
面向軟體開發，商湯發布了小浣熊代碼大模型一體機輕量版，幫助企業開發人員更高效地編寫、理解和維護代碼，其在 HumanEval 的測試通過率達到了 75.6%，超過 GPT-4 的 74.4%，能夠支持 90 多種編程語言和 8K 上下文，單機可滿足 100 人以内的團隊應用需求。成本可從調用雲端代碼服務的每人每天 7-8 元，降低到每人每天 4.5 元。小浣熊代碼大模型一體機輕量版的售價為每台 35 萬元。
此外，商湯還發布了基于昇騰原生的行業大模型，與華為昇騰共同打造面向金融、醫療、政務、代碼等大模型產業生态。
在最後環節，徐立還留了個 " 彩蛋 "：發了三段完全由大模型生成的視頻，并表示短時間會發布文生視頻平台。這也讓人開始想象，追上 GPT-4 之後，在視覺領網域積累深厚的商湯，下一個目标是追上 Sora 嗎？
一場 " 快魚吃慢魚 " 的遊戲
除了日日新 SenseNova 5.0 更新後對标 GPT-4 Turbo 以及端側和邊側產品的發布，商湯這次技術交流日的另一個關鍵詞是 " 夥伴 "。
商湯邀請了邀請了華為昇騰計算業務總裁張迪煊、金山辦公 CEO 章慶元、海通證券副總經理兼首席信息官毛宇星、小米集團小愛總經理王剛、閱文集團築夢島總經理葛文兵等生态夥伴嘉賓分享。共同探讨和交流大模型技術在辦公、金融、出行等不同領網域的應用及前景。
這除了體現商湯大模型能力在不同領網域的應用潛力，實際上也是在外界傳達了其商湯未來進一步深化行業合作的願景。追上 GPT4 之後，真正比拼的可能是應用落地能力，在這一點上，商湯需要更多的夥伴。
無論是聯合華為發布基于昇騰原生的行業大模型，還是端側 SDK 的發布，我們可以看到商湯一直在強調行業合作夥伴的重要性，這也體現在與合作夥伴的細節中當中：
華為昇騰計算業務總裁張迪煊表示，商湯在今年三月初的加入昇騰的原生計劃，時隔一個多月已經發布四款行業大模型。
小米集團小愛總經理王剛則提到，商湯曾在兩三天内完成了的小米汽車的優化需求，并成功通過雷軍驗收。
" 快 " 的背後是持續對生成式 AI 業務的投入，早在 2021 年，商湯就開始構建自己的 AI 基礎設施 SenseCore 商湯 AI 大裝置，AIDC 是商湯重要算力基座，也在 2022 年 1 月 24 日正式啟動運營，業績公告顯示，商湯大裝置總算力已達到 12000petaFLOPS，相較于 2023 年初提高了一倍，GPU 數量達到 45000 卡，實現了萬卡萬參的大模型訓練能力。
自 2023 年 3 月宣布戰略聚焦 AGI 以來，商湯更是以季度為部門更新基礎大模型及解決方案。到 SenseNova5.0 追上 GPT-4 之後股票漲停，市場的邏輯很清晰，短時間内現金流充足，追上 OpenAI 目前最新的模型之後可以講更大的故事，加上足夠低的價格，自然會有更多人用腳投票。
" 快 " 的結果落在商湯生成式 AI 業務的快速增長上，根據商湯科技最新發布的 2023 年财報顯示，其生成式 AI 收入業務收入達 12 億元取得了 200% 的大增長，占公司總收入的 35%。這也是商湯成立十年以來，以最快速度取得超過 10 億收入的新業務。
從 AI1.0 時代走過的商湯，作為重要的引領者，見證了中國人工智能產業的變遷。
在 AI2.0 時代，所有人似乎都成為了 OpenAI 的追趕者。這場圍繞大模型的競争，既是大魚吃小魚，也是快魚吃慢魚。OpenAI 的領先身位帶來的是絕對的競争優勢，參與者們要擺脫這種追趕的狀态，需要底層基礎設施的成熟，也需要頂層設計的創新。
對于商湯來說，只有在大模型商業化爆發前的黎明中跑得足夠快，跑得足夠久，才能夠吃到第一波紅利，在根本上解決掉虧損問題，從而回到它應得的位置。
公元前十六世紀，商湯通過一系列的軍事行動和政治策略，推翻夏朝建立了商朝，後人将這一項變革稱為 " 商湯革命 "。未來幾年，生成式 AI 可能将會成為商湯最大的收入來源，這或許正是商湯所需要的那場革命。
