今天小編分享的科技經驗：端側 AI 新篇章！商湯科技發布「速度最快」的端側模型，歡迎閲讀。
作者 | Li Yuan
編輯 | 鄭玄
設計行程、生成文案、做總結、智能擴圖，端側模型竟然能做到這些了？而且這麼快？
4 月 23 日，商湯發布了日日新 5.0 大模型體系，其中，商量端側模型 SenseChat-Lite 成為了此次發布的亮點，不但全面領先所有開源 2B 的同級别模型，并在測評上部分超越 Llama-2 7B 模型的效果。
自去年以來，端側大模型一直是消費電子行業和人工智能行業共同關注的熱點。
端側大模型，是運行在設備端的大模型，通常比我們熟悉的 GPT 等大模型參數量更小，因此可以使用端側算力直接運行。端側 AI 有着在任何網絡條件下都可以生成回答、隐私不必離開設備、且無需雲端算力因此成本更低等種種優勢。
更強的端側 AI 能力，意味着原本做不到的用户場景将被進一步打開：工作檔案也可以直接用手機大模型進行處理，無需擔心機密外泄；沒有網的飛機上也可以和外國人流暢聊天；不想給孩子的手機聯網，但也可以讓孩子能夠在不聯網的情況下學習知識，聽故事。
因為成本更低，對消費電子產業本身也将產生影響，端側模型将使包括汽車、XR 在内的種種終端設備，尤其是平價的電子設備如智能音箱等，能夠有機會接入智能體驗，而無需過多考慮算力成本。低延時，也将使得 AI Pin 這樣的未來設備的場景打開，獲得可用的體驗。
此次極客公園見到的端側模型能力的最新展示，讓我們感受到端側 AI 的進展飛速。未來端側 AI，市場必将十分廣闊。
最快端側大模型
讓我們最驚訝的，首先是端側大模型的響應速度。
雖然測試前，我們已經了解到此次商湯的大模型，響應速度極快，但是測試效果還是讓人感到驚豔。
對于人眼來説，每秒看 20 個文字已經是人眼的極限了。
而此次，商湯的模型在中端平台上可以做到 18.3 字每秒，旗艦平台上能達到 78.3 字每秒！測試中，生成速度果然很快，确實給人一種人眼快要跟不上了的感覺。
除了生成速度，響應速度也比我們熟悉的雲端 AI 要更快。
小米小愛團隊的負責人王剛曾表示，在做小米小愛的產品時，為了讓用户體驗更好，團隊原本希望能找到響應時間低于 1.4 秒的雲端模型接入，但發現 1.4 秒對于雲端大模型而言都太苛刻了，實際上接入的雲端模型，響應時間在 2 秒左右。
而此次，商湯的端側模型，首次加載時間低于 0.4 秒，遠遠低于即使是較為先進的雲端模型的響應速度。響應速度和生成速度加在一起，共同構成了端側模型給我們的第一感受，就是快——不愧是目前業内最快的端側模型。
除了響應速度，我們還測試了模型的基礎能力。
我們先看一下模型的生成能力。
給的提示詞為：幫我寫一篇紅樓夢的讀書筆記。
可以看到，雖然在提示詞中我們并沒有進行字數要求，SenseChat-Lite 可一點沒有偷懶，直接生成了一篇字數相當長的讀書筆記。
并且很明顯，模型本身對紅樓夢的故事的走向、意義，人物的解讀都比較到位。
害怕小朋友拿起聯網的手機就玩個沒完嗎？以後説不定，就可以直接給小朋友一個斷網的手機，讓大模型輔導小朋友了。
我們接着做了一條微博文案的生成。
令我們驚喜的是，在這個場景下，我們也沒有對字數進行限制，但模型就自主地生成了一條較短的文案，來匹配微博的字數限制。甚至還懂得加上 # 畢業祝福 # 的标籤。
很明顯，模型使用了中文的語料進行訓練還是有用的。模型對于各個場景下需要怎樣的文案長度，文案風格，都非常了解，直接就能模仿生成。
完全可以想象，基于同樣的模型能力，你也可以直接使用端側模型，生成淘寶評論，生成朋友圈文案，生成活動宣傳。
商湯表示，在訓練過程中，大量地學習了用户在手機場景下喜歡問的問題，專門對應做了訓練，看起來确實效果不錯。最後，我們測試了文檔總結的功能。
端側模型很快地将一個七段的復雜文本，歸納為了兩段的文案。
你收藏了多少太長不看的文章？
這也很正常，手機看長文，确實就很反人性。
端側 AI 來了之後，無論是飛機上，還是火車上，看不進去長文時，懶得看工作檔案又不得不處理時，端側模型都可以迅速地幫你歸納要點。
除了端側的商量模型，商湯此次還展示了端側的多模态擴散模型的能力。
多模态模型，在手機上，主要用來進行照片處理，可以用在包括相冊管理、圖片生成等多個場景中。
此次，我們看到的是商湯的 AI 擴圖模型演示。用手機拍照時，有時候我們因為角度，或者為了避開遊人而剪裁畫面。AI 擴圖則可以在這種情況下，用 AI 計算出圖片的邊界，生成無遮擋的圖片，重新調整圖片比例，生成更好看，更适合分享的圖片。
演示視頻，是商湯的自由擴圖功能。實際上，商湯的 AI 擴圖，有多種方式可選。既可以正常地等比擴圖，照片拍歪了，也可以直接調整回正，讓 AI 來操心剩下的事。
和 SenseChat-Lite 一樣，此次的擴圖，讓我們最驚豔的點，仍然是其速度。
據悉，此次的擴散模型，也已經實現業内最快的端側推理速度，在高通旗艦平台上能夠做到小于 1.5 秒。在發布會現場，商湯也演示了和其他友商類似功能的速度比較，區别顯著。友商的一個擴圖加載完成之後，商湯的端側模型已經擴展完成九張圖了。
端側 AI 也可以很智能
對于端側 AI，一個跨越不過去的問題是，端側 AI 夠智能嗎？
帶着這樣的疑問，我們觀察了一下端側 AI 的生成能力。
以文章開頭的行程安排為例。行程安排，不但需要知識能力——對開羅有所了解，也需要一定的推理能力，才能設計出不錯的行程。這點如果模型不夠智能的話，很容易出現「聽君一席話，勝似一席話」的局面，或者只生成簡單的一兩段回答。而此次，端側模型生成的很不錯。
商湯科技介紹，端側模型之所以能夠做到如此智能，是因為承載了商湯最新的數據清洗技術和優質數據。根據尺度定律 scaling law，使用優質的數據對模型進行訓練，小尺寸模型的能力，也能超過比它更大一個尺寸的模型的智能能力。
同時在未來端側模型真正落到用户的使用中時，商湯提出的解決方案是端雲結合。
商湯表示，在知識類、考試類、問答類場景上，可以達到端側處理占比超過 70%。在其他場景下，比例可能略有不同。不過根據對用户真正的使用場景分析，商湯認為，實際上，大部分時候，用户提的問題，都是知識類、問答類問題，端側模型可以解決相當大的比例。
為什麼需要端側模型？
雲端模型已經做的很好了，參數量大，能力又很強，為什麼我們還需要端側的模型？
對于普通用户而言，最明顯的感知，可能還是在于生成速度快，這也是此次商湯發布的模型的優勢。
商湯做了一個很有趣的小遊戲，讓 GPT-4 和商湯的端側模型分别接管格鬥遊戲的玩家，來體現速度的意義。在遊戲中，GPT-4 能夠更好地分析怎麼出拳閃躲，但端側模型的響應速度極快，GPT-4 根本來不及分析如何閃躲，就被擊中，最後的結果變成端側模型亂拳打死老師傅。
在用户的使用中，響應速度快，能夠不斷降低用户使用 AI 模型的心理成本 ( ) 。擴一張圖用一秒還是五秒，可能會完全影響這個功能的使用體驗。
除此之外，端側模型，通過斷網條件下的生成能力和對于隐私的更強保護，會擴展出新的 AI 使用場景。
無論是在飛機上辦公，旅遊到無人區查找救生攻略，網絡條件不好的時候進行翻譯，還是給孩子一個斷網設備學習，把機密工作檔案丢給大模型處理，讓 AI 接觸更多的個人數據等等，都是端側模型未來能夠提供的實用性的場景拓展。
而對于行業，影響或許更大。
目前，作為用户，我們接觸到的雲端模型，通常是免費的。但免費不代表沒有成本，這樣的成本通常由其他方為用户承受了。
比如小米曾經提到，接入大模型後，小米小愛的活躍用户次日留存增加 10%。
事實上，互聯網產品通常需要做到翻天覆地的變化才能提升百分之五的次日留存。次日留存的增加會帶來用户活躍度的增加，同時帶來更多分發機會、更強的商業化能力。這對于小米公司，是非常有價值的商業機會。作為擁有多種手機、車、音箱等多種智能硬體的公司，小米公司自然希望将模型能夠接入更多設備中，但這就涉及到雲端模型的成本問題。
小米公司提到，中高端的手機和車目前對大模型成本不敏感，但類似音箱這樣的設備，硬體公司很難承擔用户在一個生命周期内使用大模型的成本。且随着大模型的能力提升，用户可能會越來越多地使用大模型，那麼成本将成為更大的問題。
而端側模型，使用的算力和電力是設備本身提供的，用户不需要額外付費，就能得到體驗提升，但是廠家卻能夠省下雲端的成本，是雙赢的局面。端側模型通往 AI 普惠的重要路徑。
除此之外，端側模型的數據的傳輸和延遲，對于智能硬體使用大模型的體驗也非常重要。
之前備受矚目的 AI Pin，擁有非常未來的概念——随時随地使用大模型助力生活，但是國外的測評中普遍表示體驗翻車。主要的原因之一，就是 AI Pin 全部使用雲端模型，當設備進入室内、停車場等不同位置，響應速度過慢，會嚴重影響產品的體驗。而使用端側模型，就可以避免這樣的問題。
商湯的端側模型，目前用户還無法直接在手機上體驗到，需要智能硬體的廠商與商湯合作，共同部署。不過，商湯表示已經與包括小米小愛在内的多家頭部廠商進行合作，相信很快，用户們在終端上體驗到的智慧場景中，将有一大部分由終端 AI 承載。
除了能夠适配多種芯片的手機外，商湯目前發布的端側模型，也可以在 XR、車載等平台上使用，将能夠實現這些設備的從無到有的智能體驗。未來，還将開啓端側智能體的能力，進一步賦能智能設備。
商湯最新的端側模型，讓我們看到了端側模型的底層模型能力，正在加速變強，端側未來，也必将擁有廣大市場。
商湯在從上一個 AI 時代就為手機提供底層能力。在大模型時代，再次抓住了相關的機遇，不但推出能力媲美 GPT-4 的雲端大模型，此次又推出了速度最快的端側模型。
手握智能設備市場在過往的良好合作經驗，在端側未來的廣大市場，商湯大有可為。
* 頭圖來源：視覺中國本文為極客公園原創文章，轉載請聯系極客君微信 geekparkGO
