今天小編分享的互聯網經驗：OPS2.0發布，大模型走向端側的重要一塊“拼圖”，歡迎閱讀。
今年以來，科技巨頭們終于将目光投向了行業側、端側。360 集團創始人、董事長周鴻祎曾指出，在具體的落地場景上，在把大模型做 " 大 " 的同時，做 " 小 " 也是一個重要的趨勢，使大模型能夠搭載在手機、電腦，各種物聯網設備上，尤其是智能網聯汽車，2024 年将更多的搭載大模型。
IBM 大中華區首席技術官、研發中心總經理謝東也曾公開表示，對于企業而言，應用模型的目的是希望其能以較低的成本，解決特定的問題，" 對于企業級應用而言，模型反而是越小越好，因為越小越靈活，越小成本越低。" 謝東如是說。
确實，通過今年各大廠商的動态不難看出，相較于模型參數的 " 大 "，廠商們将更多的注意力集中在如何訓練出 " 小 " 且垂直行業好用的模型。而大模型能力在諸如手機、電腦、汽車等端側的應用落地，也成為當下科技巨頭們聚焦的話題之一。
走向端側的大模型需要 " 軟硬兼施 "
大模型真正在行業側、端側落地的過程中，無論是軟體層面，還是硬體層面，都将迎來新一輪的變革。
從硬體角度出發，大模型除了對 CPU、GPU 等在内的眾多芯片有着較高的要求和需求以外，對于設備的散熱、連接等方面也有着與原先不同的高要求。
随着技術和社會，以及人工智能的發展，教育數字化對 IT 設備提出了新的需求，如何将 AI 芯片應用到教育設備中，賦能教育行業發展已經成為當下的熱門話題，在英特爾中國區市場營銷集團網絡與邊緣技術支持總監王景佳看來，AI 技術可以有效幫助老師從過去比較傳統的繁重工作當中脫身出來，更多關注于學生。AI 技術也可以使老師和學生更加高效地互動，從而得到教學相長。借助 AI 技術，老師們還可以使整個學校做到因材施教，從而達到教育的目标。
以連接層面為例，企業在采購設備的時候，往往不會只采購一家的設備，這就對設備之間的兼容性，以及設備之間的連接 / 轉換器都提出了更高的要求。而這個層面也成為建設行業生态過程中重要的一部分。
據悉，為了滿足 AI 大模型想端側落地的需求，日前，在第 83 屆中國教育裝備展示會期間，英特爾就聯合合作夥伴共同發布全新 OPS（Open Pluggable Specification，開放式可插拔規範）2.0。
英特爾網絡與邊緣事業部 HEC 中國區總經理陸英潔告訴钛媒體 APP，全新 OPS2.0 規範的發布為 AI 大模型在端側的部署提供了一套标準化的操作流程和接口，這有助于不同廠商和開發者之間的協作，推動 AI 大模型在端側的廣泛應用。
随着 AI 技術的不斷發展，傳統的端側設備顯然已經不能滿足當下行業的需求，以互動式平板為例，傳統的互動式平板更多的是要具備顯示功能，但随着 AI 大模型向教育行業的滲透，互動式平板當下已經需要具備更多互動和助教的能力。比如需要具備師生協同，即看即所得、即寫即顯示的能力，不僅于此，在王景佳看來，随着技術的發展，端側的 IT 設備要預留足夠的擴展接口，為将來的技術和產品部署提供支撐和能力。
而剛剛發布的 OPS2.0 模塊可以看作是一個可插拔的計算單元，在适配 CPU、GPU 等不同場景下，都具備了相應的擴展能力，" 這點是 OPS2.0 與 1.0 相比，提升最大的地方之一。" 王景佳強調。
除了硬體層面，軟體層面的不斷迭代，對于大模型在行業落地也起到了至關重要的作用。同樣以教育行業為例，深圳市德晟達電子科技有限公司副總經理彭元濤告訴钛媒體 APP，過去，很多互動式平板使用的是安卓的作業系統，但在實際教學中使用率，以及方便程度并不高。但是更新後的 OPS2.0，可以兼容 eDP，進一步簡化大屏的硬體架構的同時，還降低了書寫延遲，" 現在，我們 eDP 可以通過 OPS 進行直連驅屏，通過軟體優化的形式，讓傳輸速度更高，延時更低。" 彭元濤指出。
不僅于此，陸英潔告訴钛媒體 APP，在軟體工具層面，英特爾也打造了包括 OpenVINO 等在内的工具，以滿足時下終端用戶對于訓練和推理的需求，" 具體到大模型領網域，英特爾也在跟不同通用 ISV 和行業 ISV 做一些大模型的探索和項目的優化。" 陸英潔指出。
需求不斷湧現，技術驅動發展
随着 AI 技術的不斷發展，我們也看到了越來越多行業開始擁抱 AI 帶來的紅利，也将有越來越多的應用場景出現。同樣以教育行業為例，當下教育數字化轉型已經進入了 AI 賦能的階段，師生之間需要的不僅是簡單的顯示，已經數字化教室，而是需要整個教學周期的數字化、智能化。
對于老師來說，老師們需要更精準、更細致的了解每個同學上課時的表現，課堂上與老師互動的數據，以及課後學習情況；
對于學生來說，學生渴望更真實的感受課本上的内容，需要每位同學都擁有一個随身相伴的專屬老師，可以根據自身情況，定制專屬的學習計劃；
對于家長來說，家長希望可以通過簡單明了的可視化數據，了解學生在校的表現，以及學習的情況，并可以通過簡單的數字化工具與老師進行教學層面的交流 .....
針對此，視源股份整機 BG 商用顯示事業部總經理黃柏林指出，當下，老師面臨着教學設計效率質量難保障，教學質量評估人工成本高，教研活動成果難量化，缺乏客觀的課堂回顧依據等諸多難題。
上述提到的還僅僅是當下教育行業所面臨的諸多需求的一小部分，随着 AI 技術在教育行業的逐步應用，這些需求也将一一得以滿足。在黃柏林看來，這些都是當下教育行業切實的需求，要以技術驅動這些需求落地仍有很長的路要走。
黃柏林告訴钛媒體 APP，未來，AI+ 教學的模式主要将展現在四個方面：備課助手、研讨增效、課堂反饋，以及學情評價。
備課助手方面，老師通過 AI 大模型的能力可以快速的生成課件，并進行課件美化，達到更好的授課效果。
研讨增效方面，老師可以通過語言大模型的能力，進行摘要整理，觀點提煉等操作，減少了老師在研讨方面的工作量，提升了效率。
課堂反饋方面，老師可以根據 NPU 計算采集的課堂活動捕捉數據，并通過 AI 大模型的能力，深入分析每個學生的課堂表現，并對學生的表現進行智能反饋。
學情分析方面，在課後，老師可以根據綜合的數據，對每位學生一節課、一天、一周，甚至一個學期的數據進行分析評估，用數據真實反映每個學生的學習情況，并進行作業的批改。
在黃柏林看來，這四個方面是未來教育與 AI 深度融合的主要方向。當然，這也離不開軟體、硬體層面的協同發展，以及整個教育數字生态的建設。而 OPS2.0 的迭代，是大模型能力走向端側過程中重要的一塊拼圖。（本文首發于钛媒體 APP，作者 | 張申宇，編輯 | 蓋虹達）
