今天小編分享的科學經驗：關于AI你最關心什麼？技術專家團親自答（含往期真人純享版），歡迎閲讀。
2022 年底，OpenAI 的大模型 ChatGPT 正式問世，并在 2023 年引領全球 " 大模型熱。
谷歌、微軟在内全球科技巨頭相繼推出各自的人工智能大模型，中國企業也掀起了 " 百模大戰 "，國產大模型頻頻亮相、加速迭代。大模型的快速發展助力產業創新更新，大模型商業化現狀如何，新入局的企業，如何選擇大模型賽道？
2024 年是端側智能的爆發元年嗎？模型訓練和推理又有什麼新的技術進展？
為了幫助大家更好了解 AI 技術發展動态，為用户提供解決實際問題的思路和方法，阿裏雲特别推出的首檔 AI 領網域問答欄目——【AI 問愛答】。每期欄目都由阿裏雲的 AI 專家答疑團針對網友提出的各類關于 AI 的問題做解答，任何關于 AI 產品使用，大模型應用落地等問題，均可以向他們提問。
截至目前已有 5 位 AI 專家做客欄目，累計回答了 40 個問題，涵蓋了從大模型商業化落地挑戰，端側智能的現狀，模型訓練和模型推理的技術路線，快速上手智能編碼等多個方面。
4 分鍾精華版淺淺回顧一下 ~
接下來，如果你對開源大模型的最新技術進展、視頻生成上的具體問題、數字人技術落地、GPU 算力等有問題，我們邀請了…
薄列峰——阿裏巴巴通義實驗室應用視覺實驗室負責人
阿裏巴巴通義實驗室應用視覺團隊負責人 ，曾任亞馬遜首席科學家，華盛頓大學計算機科學與工程學院合聘教授。研究範圍覆蓋機器學習，深度學習，計算機視覺，自然語言處理，語音等多個領網域。
周文猛——阿裏巴巴通義實驗室研發總監
ModelScope 魔搭開源社區和 DashScope 靈積模型服務平台模型技術負責人，意在打造簡單易用的 sdk 和 api 接口，方便開發者進行大模型定制部署、應用搭建。曾負責阿裏雲機器學習平台 PAI 上算法框架， 支持搜索推薦等核心業務，服務多個 BU 核心業務，在多個比賽榜單取得前三的成績，在 EMNLP、CVPR、IJCAI 多篇論文。
更有神秘嘉賓屆時揭曉，您有什麼問題希望專家團解答？歡迎來提問！
如何參與？
1、點擊閲讀全文訪問欄目官網 " 開始提問 "；
2、關注阿裏雲雲栖号獲取欄目最新動态；
3、也可以直接評論區留言提問
我們将通過郵件聯系提問者送出好禮，同時被欄目組選中回答的問題提出者還将獲得額外驚喜！
Q：傳統企業和新入局的企業，如何選擇大模型賽道？
A：怎麼樣在一個水漲船高的階段，做好那艘船，而不是要做好那座山，因為水漲高了之後可能山會被淹沒，所以怎麼樣用好模型可能是最重要的事情，這是企業和新入局的玩家要重點思考的。一是做好業務的梳理，做好知識的封裝，用 Agent 去體現。還需要清楚業務的應用場景到底是實時鏈路還是離線鏈路，這會影響到模型的選擇和 Agent 的搭建。
Q：如何保持 AIGC 内容的原創性、個性化，避免千篇一律的產出 ?
A：電商目前應用到的大模型可能主要是在兩個方向。一個是偏語言模型的使用，如對商品做打标，做評論的提取等等。另外就是生成内容後直接通過渠道分發，比如以富媒體方式發出。用 AIGC 生成内容上，最重要一件事情其實就是精度。其實所有的内容你希望它不要變的就不要去變，你希望它變的盡可能變化足夠大，可控式生成是我們在努力的一個方向。
Q: AI 生成視頻有哪些技術難點呢？有哪些商業化可能性？
A：視頻生成我覺得可以抽成兩種，一種是類似于文生視頻，基于語義去生成視頻，還有一種是對視頻内容做編輯。我們觀察到今天對于視頻編輯的需求特别大，尤其是以人的身體面部表情的編輯為最主要的一種嘗試方向。基于人的肢體的動作驅動一張圖片，還有一個是針對人臉，驅動他的整個面部表情，甚至包括上半身的手勢，我覺得第二條技術路線對于視頻編輯控制方向有非常大的商業化可能性。所以這塊我們會做的多一些，我相信可以跟文生視頻結合在一起。
Q: 目前大模型落地到端上最大的挑戰是哪些？
A:目前端上的模型落地，面臨的一個非常大的挑戰點是在于面臨着像性能，資源、功耗多方面的一個平衡。不管手機也好，PC 也好，甚至車也好，算力受限，内存有限，對精度的要求不比雲上要低，場景也復雜，選用大尺寸的模型，内存和推理速度沒辦法滿足，選用小尺寸模型，整個效果會變得比較差。現在所謂的小尺寸模型 , 本質上來講還是一個很大的一個模型。它的資源占用、推理性能都面臨非常大的瓶頸。
Q: 目前模型推理，最新的技術方向是怎樣的，有哪些突破點？
A:模型部署和推理性能挑戰的來源當然首先是模型規模了。模型規模和上下文的規模還在持續增長，并且遠遠高于硬體算力、顯存寬大的增長速度的，所以這對于模型部署的權重，上下文壓縮，計算加速，基于分布式架構的可擴展性，都提出了非常高的要求。今天大語言模型通常具備非常全面的理解推理和生成能力，甚至同一個模型可以在很多場景中解決不同領網域的問題。對于模型部署和推理計算來説，多樣的場景就會帶來很多樣的性能需求和計算特性，就需要模型推理引擎和模型部署平台具備非常全面的能力。
Q: 模型訓練需要昂貴的成本支撐，那麼在訓練或微調過程中，如何提升訓練性能，以節約訓練成本？
A:首先要确定優化的目标，一般來説優化的目标就是訓練一批 token 的總時間，具體的指标上就是 token/s。
token/s 具體到硬體上，其實就是對硬體資源的有效的利用率，也就是我們常説的指标 MFU。計算量确定了，怎麼樣去做這個優化呢？要根據各個硬體單元的吞吐來理論預估模型訓練的瓶頸，以及性能優化的空間，具體可以從計算、通信和顯存三個大方向進行入手。
在計算上，可以首先把計算的算子大約劃分為訪存密集型的算子和計算密集型算子。訪存密集型算子的計算時間是跟訪存時間相關的，那可以從訪存的量和訪存的帶寬來理論預估這個算子的執行時間。計算密集型算子的計算時間是它的算力峰值和計算量來做計算時間的預估，可以對比實際的執行時間來評估各個算子的占比和優化空間。
在顯存上，要根據模型的結構以及它中間的 activation 大小，來理論預估這個模型所占用的顯存大小，并且要結合所使用的分布式策略、offloading 策略以及其他顯存優化策略。
在通信上，需要結合分布式策略所對應的算子，它的理論通信帶寬是不一樣的。它在機内和機間的執行速度，也要根據機内和機間帶寬來進行理論預估。在這樣預估通信時間之後，就可以根據這個計算時間、計算的算子和通信的算子之間的依賴關系，來預估一下這個算子之間是否能夠 overlap 起來。如果沒有掩蓋好的話，我們要預估一下通信沒有被掩蓋部分的占比，這能夠幫助我們去改善分布式策略。
有了這些瓶頸點定位、優化空間，以及評估數據後，我們就可以從具體的瓶頸點入手。
Q: AI 程式員是什麼樣的產品形态？跟通義靈碼的關系是什麼？
A:人機互動的模式分為三個階段，第一個階段是人機配合，以人為主，機器為輔，我們把它叫做 Copilot 模式；接下來會進入到 Agent 模式，由單個 Agent 自主完成一個小任務，比如寫一個測試用例；最後是多 Agent 協同模式，可以完成非常復雜的一件事。
AI 程式員是基于多 Agent 協同架構下產生的產品，人機互動模式已經發生了質變，變成了機器為主，人為輔。人在這個過程中更多是提出需求，及時對 AI 程式的運行做糾偏，以及去校驗它最終生成的結果，編程的生產力會有大幅度的提升，發生質變。通義靈碼更多是第一個階段，就是 Copilot 的模式，真正到了 Multi-Agent 或者機器為主時，產品形态一定是 AI 程式員。
Q: 市面上智能編碼工具非常多，開發者選擇時有什麼标準嗎？
A:從我們觀察來看，程式員首先對代碼助手 IDE 插件的第一要求就是準，采納率一定得高；第二個是代碼生成要足夠的快，不能太卡頓；三是能否跟企業内部的規範或個人開發習慣進行結合；最後還需考慮安全性。
Q: 代碼的 RAG 知識庫是什麼功能？應該怎麼管理才能提升代碼編寫的準确性？
A:檢索增強是我們最近針對企業版推出的重要功能。這裏面包括兩種，第一個是代碼補全的 RAG，主要是在代碼續寫時進行輔助，它可以模仿我們原來寫好的業務邏輯去生成，或者説按照原來的自研組件庫或者資源框架的方式去進行服務生成，或者按照原來的 API 調用範式去生成。
在編寫代碼的時候，它自動去企業的知識庫召回了相似的代碼。第二種是企業的知識問答，可以将企業裏面研發文檔，或者 API 定義的文檔上傳，只需要通過#team docs，就可以讓大模型去針對問題去實時到企業知識庫去進行查找，聯合生成。
Q: 如何通過智能編碼助手輔助開發人員進行代碼走讀，快速了解代碼？
A:大量開發者是通過代碼解釋功能，快速了解整個代碼的含義。除了簡單的代碼解釋，圈選代碼就可以完成。另外還可以通過@workspace功能，讓大模型對整個庫進行走讀，然後給出相應的解釋，我們可以讓它定位到某個檔案，甚至某個類或者是某個目錄，讓它去進行走讀，來幫助我們快速了解。
* 本文系量子位獲授權刊載，觀點僅為作者所有。
— 完 —
量子位 QbitAI
վ ' ᴗ ' ի 追蹤 AI 技術和產品新動态
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
