今天小編分享的互聯網經驗：滴普科技趙傑輝：生成式AI時代，如何讓AI真正進入企業核心生產環節？，歡迎閱讀。
環境持續變化，時代總在迭變，" 商業之王 " 們緊随時代浪潮，堅持創造，謀求新動能。立足中國經濟大轉型的當下，WISE2024 商業之王大會，一同發現真正有韌性的 " 商業之王 "，探尋中國商業浪潮裡 " 正确的事 "。
滴普科技趙傑輝：生成式 AI 時代，如何讓 AI 真正進入企業核心生產環節？｜WISE2024 商業之王
11 月 28-29 日，為期兩日的 36 氪 WISE2024 商業之王大會于北京隆重召開，作為中國商業領網域的全明星盛典，WISE 大會今年已經是第十二屆，在不斷變化的時代裡見證着中國商業的韌性與潛力。
2024，是有些模糊且變化多于穩定的一年。相比過去十年，大家的腳步正放緩，發展更加理性。2024，也是尋求新的經濟動力的一年，新的產業變化對每個主體的适應性提出了更高的要求。今年 WISE 大會以 Hard But Right Thing（正确的事）為主題，在 2024，什麼是正确的事，成為我們更想交流的話題。
時間來到 2024 年，中國企業已經經歷了從數字化、雲化，再到如今的人工智能革命等多個階段。但這些變革，都離不開最底層的數字化——企業的數字化建設，相當于是這些變革的 " 地基 "。
成立于 2018 年的滴普科技，就是這樣一家，深耕企業數字化轉型多年的數據智能基礎設施提供商。
在今年的 WISE 大會上，董事長兼 CEO 趙傑輝就帶來了《產業生成式 AI 落地與基礎平台建設》的主題分享。
" 因為生成式 AI 的產生和應用，原來的整個數據平台市場在變大，" 趙傑輝表示，" 所有這個行業裡的客戶和供應商必須要重塑自己的產品組合。"
生成式 AI 浪潮來臨後，大模型如何落地，成為 2024 年的熱議話題。趙傑輝認為，企業只有大模型的通用、基礎能力遠遠不夠，必須在這個基礎之上，和更小的垂直模型相結合，形成完整技術棧，才能讓 AI 進入到核心的生產環節。
滴普科技 CEO 趙傑輝 圖源：36 氪 以下為滴普科技 CEO 趙傑輝的演講全文，經 36 氪整理編輯：
趙傑輝：大家好！
去年在這個舞台上，給大家分享了去年剛開始關于企業服務這個市場和 AI 的一些初步思考，經過這一年的發展，我們深刻的感覺到：生成式 AI 在徹底的重構企業服務這個市場。今天，我也從這個角度分享一些我們的思考。
大家肯定知道在企業服務這個市場，在今年之前其實大家一直在做所謂的數據，實際上經過這一年的發展，整個企業在數字平台的建設上，AI 正在深度重塑這個市場。
這裡有幾個點。
首先，因為生成式 AI 的產生和應用，原來的整個數據平台市場在變大，因為 AI 可以更好的發揮整個數據對于企業的價值；
其次，所有這個行業裡的客戶和供應商必須要重塑自己的產品組合，如果沒有跟 AI 深度的去結合，原來整個的企業數字化以及整個數據平台市場，都将不存在。
今天上午，我還跟一個客戶在交流，當時提到了一點：以後所有的數據平台，不管是湖倉的建設，就是一個目的，為了在 AI 產業裡面落地。
今年，IDC 剛剛發布了制造業行業裡數據平台的市場份額，凡是跟 AI 結合比較深度的供應商現在都往前靠了，我們也大幅度提升到了前幾名。我們創業從 2018 年開始到現在，這 6 年時間，整個產品組合也是随着 AI 發展和落地有了很大的變化。
最早的時候，大家可能知道在企業服務這個市場，從數據中台、數據集成工具、湖倉引擎，我們做了四款產品。
在 2020 下半年的時候，基于模型的發展，跟數據的結合就已經出現了，我們的產品跟國產算力平台形成一體機的解決方案，最後形成在企業能夠落地的 AI 非常基礎的平台。
來源：滴普科技
這個平台長圖上這個樣子。一個企業要想落地 AI 在任何場景裡面，首先要有一個比較有性價比的算力平台。如果說你只是整理一下文檔和知識，可能不需要非常復雜的數據融合平台。一旦想讓 AI 深入到業務本身的推理和決策過程，一定是需要非常完善的企業數據融合平台，和模型服務平台。
模型服務平台不僅僅是大語言模型，企業給你所有的知識和數據之後，你能夠在企業裡面落地大模型，這裡要解決兩個非常大的問題。
第一個問題，只有大語言模型是解決不了這個問題的。大家估計現在也感受到，因為只有大語言模型的話，能做一些文檔的抽象，很多可能就這回事。但是如果要在企業裡面做業務決策輔助和推理，他一定要跟數據去結合，這是第一個問題。
第二個問題，光有大語言模型的話，企業給你一堆的圖紙、文檔，包括很復雜的數據，你很難把他變成語料，這個過程裡面需要模型，跟原來的垂直模型或者小模型形成技術棧，才能完成企業大模型的落地。
所以，企業模型的落地，從語料工程到多個小模型和大模型的協同，形成完整的技術棧是非常重要的事情，這也是我們發行的一些大模型去解決的問題。
我們現在最主要聚焦在幾個重要領網域，第一是大消費領網域、供應鏈優化，我們有很多公開的 PR，包括百麗這些頭部的零售企業，基于原有的平台，已經做了非常多的落地。
第二是在生產領網域裡面，對于圖紙輔助設計、工藝參數輔助調整，我們也進行了落地。
另外，我們也跟香港最大的醫療機構深度合作，在做 AI for healtcare 方面的落地。面對大企業裡面的核心場景，從供應鏈到生產過程，都有非常頭部的客戶跟我們一起合作。
真正把大模型在場景中落下來，數據融合平台是非常重要的前提。除了大語言模型，一定要和多個垂直模型，比如說做工藝，工藝編制模型以及原有的模型形成完整的工作棧，才能去進行工作。
在基礎大模型這個事情上，我一直有個觀點，從我們現在實踐的情況來看，大家也不要覺得這個門檻有多高，因為可能在媒體也好，在很多創業公司也好，為了證明自己多麼強大，其實把這個門檻講的有點高。
但是，在大企業裡面去落地，一個大模型可以真正產生場景價值，目前我們還沒有看到 72B 以下的模型解決不了的場景。
如果在 To B 的客戶那裡要去落地大模型，產生場景價值，如果他需要非常大的模型參數，那麼會導致一個問題，成本和最後的收益是不成正比。所以說，目前無論是我們做的供應鏈整個深度的應用還是生產過程的深度應用，以及 AI for healthcare 的事情，大家在大企業 To B 端去落地大型場景，目前 70B 的模型足夠用了。
我們現在有兩款模型，72B 和 34B，相對于做 To C 服務的模型，這兩個模型最重要有幾個特點：
首先，要對企業經常用到的所有語料進行擴充；
其次，在企業應用無非就是三個重要的能力，要做到 100% 的精度，第一就是參數，第二就是對原有的各種系統的函數調用能力 100% 準确，還有就是非常復雜的圖紙、文檔深度的 REG 要非常精準。我們在這方面做了非常深度的工作。
還有就是安全，因為在企業裡面一定會涉及到信息安全，這方面也是非常重要的。我們跟南方科大共同發布了中文的模型安全審查模型，這個模型他在整個安全上面是不是有漏洞，其實可以用這個工具模型再去做一次審查。同時，我們這個模型通過了各種備案。
回到剛才提到的模型服務平台，我們來看這個服務平台和基礎模型之間的關系。你會看到，真正把模型落到企業場景時，大語言模型是在底下那一層，再往上，需要把所用到的小模型和整個大模型，做非常好的深度融合和協同，才能夠在企業裡面用起來。
比如說如果要做工藝參數優化，要有原來工藝的機理模型，要有圖紙設計，垂直專業模型要跟底層的大模型很好地協同，形成基礎的企業模型工作棧，技術棧才可以。
當把這個事情部署在客戶那裡的時候，客戶會給你大量的規範文檔知識，以及對接客戶大量的系統數據。這個時候，你要有非常強的語料工程能力。
比如我們在海城的客戶，合作之後，給了我們大幾十 G 的圖紙和規範。我們要把對模型進行精調，才能提升精度，所以模型工程也是很重要的。
當你認為這個模型已經調試好了，怎麼評估他是不是可以上崗開始幹活了？模型評估也是非常重要的。再往上就是大家所知道的應用開發平台，這裡沒什麼太多說的。
另外，我們會面臨一個很大的問題。我們可以在海外租很多算力，這是沒有限制的，但是在國内，大量企業怎麼落地這件事情？
我們走了兩條路，第一條路就是 N 系列，就是跟英偉達一起出的一體機；S 系列是跟華為一起出的一體機。
在大的企業裡面其實去落大模型的時候，真正做訓練的需求并沒有那麼大，主要是做 SFT（監督式微調 SFT, Supervised Fine-Tuning），可能就是訓練一體買兩三台差不多了。
但是大量算力其實是在推理這一側，國產的芯片大部分是夠用的，英偉達現在 4090 也禁了，剩下的 H20 這一款，我們做了一個加速卡。用沒有被禁的芯片插上加速卡之後，可以跑更大參數的模型，完成推理的過程，就是我們整個模型加速卡。
另外，還有很多端側的，像生產線上一些推理的設備，我們會出一些小盒子。
至于在企業落地大模型，到底租用算力中心的算力，還是用雲上的，還是自己建一體機？
我的看法是這樣的，在一到兩年的初期，能夠有預算，能夠投入到大模型跟場景結合的公司，一般都是大公司。這種公司在初期嘗試的時候，會傾向于自己去買一體機，先把場景做起來。
但 AI 在產業裡面落地越來越成熟之後，大量的企業開始要去做這件事，可能這時會租算力更多一些。
這是非常重要的一個過程，随着客戶不同，階段不同是有變化的。所以說，如果在核心場景中落地大模型，剛開始可以通過一體機的方式，會更快的把這個事情做起來。
基本上，我們軟體體系部署在企業之後，開箱即用，兩周之内肯定能看到在場景裡（能用起來）。
像剛才提到的，如果你只是需要整理一下會議紀要、文檔，用基礎模型基本上問題不大。但是如果你要在這個企業裡面做很多真實的實時業務的推理決策，數據平台的更新是非常重要的。
這裡的核心是，原來系統裡面的數據，其實是業務實時的狀态記錄，但是邏輯、知識、文檔，包括公司管理規範，文檔應該怎麼管，這些東西其實是有業務上下文邏輯的。
現在的數據平台，要能夠把結構化的數據和非結構化的數據進行統一管理，只有這樣，形成企業的實時業務狀态數據，以及業務上下文邏輯的結構化，非結構化數據統一管理。形成企業超級數據融合體之後，在模型訓練完之後，才可以做深度的推理。
稍微介紹一下我們公司，我們從 2018 年成立以來，基本上該有的榮譽都已經有了，現在能看到 AI 的比較重量級的榜單，肯定都有我們。
現在，頭部的零售企業都已經在落地（大模型）了，以前可能要給予數據平台開發很多圖表、影像，現在表和圖就可以用大模型（來處理）。
最後總結一下，在企業和大的行業裡面要去落地人工智能和大模型，我們要思考的兩個關鍵問題：
第一，有沒有更新整個的結構化、非結構化數據平台？否則，大模型只能處理文檔之類的工作。
第二，企業一定需要完整的模型服務平台，能夠把多個垂直專業模型基于大語言模型進行整合，才能夠去落地很多場景。
謝謝大家！
