今天小編分享的互聯網經驗：The State of Generative AI 2023，歡迎閱讀。
在 2023 世界人工智能大會（WAIC）啟明創投論壇 " 生成式 AI 與大模型：變革與創新 " 上，啟明創投攜手未盡研究，共同發布重磅報告《生成式 AI》| State of Generative AI 2023。
如果說 2022 年被稱為生成式人工智能之年，擴散模型應用取得突破，ChatGPT 出世，一系列開創性的研究論文發表，2023 年則把大模型推向了一個高峰，以 GPT-4 發布為标志，生成式人工智能，朝着通用人工智能的方向，進入了創新應用的階段。
這一階段最重要的特征，是應用、研究、監管，合力開辟着生成式人工智能的創新之路。
01/ 創新應用
人們很快從生成式人工智能中看到了新的商業生态的出現，看到了一層又一層的技術，如計算、模型和應用；看到了生成的内容，如文、圖、視頻、代碼、3D 結構、多模态；也看到了公開數據、垂直數據、合成數據、向量數據，用于大大小小的模型。
生成式人工智能，在中國似乎受到了更加熱情的接納：政府鼓勵發展通用人工智能；任何一家大企業都無法不關注它；許多從事知識工作的中小企業，已經先用起來再說。面對這一革命性的技術，所有企業都被卷入。它們節奏不同，介入程度不同，成為新技術浪潮下的守成者、創新者、采納者。它們的利潤率被永久的改變了。
算力目前是最稀缺的資源，也處于最容易獲利的要津。算力是大模型成本結構中最大的一塊，GPU 的性能，實際上決定了這個新興行業的步調。随着算力與模型的進步，更多初創企業正在湧入，它們搶到了時間的紅利，但也面臨競争和可能的巨頭碾壓。可以說，這是初創企業的藍海，也有航道下的暗礁。
競争促進了創新。與 2022 年快速湧現出的生產力工具方向的創業公司不同，2023 年，有更多比例的新公司聚焦在底層技術的創新；大模型創業公司也開始分化，在通用大模型創業公司方興未艾的同時，許多面向醫療、電商、科研、工業、自動駕駛和機器人等特定方向的垂直大模型公司開始出現。
02/ 前沿研究
2022 年和 2023 年，是生成式人工智能技術取得突破的兩年，我們梳理了論文，發現生成式人工智能領網域的一個突出特征，是研究與創新過程的密切結合，許多在企業内部實現，迅速推出用例和產品。這種研究與創業的一體化，初創企業和風險資本起到了重要的作用，而美國科技巨頭和主要人工智能企業的研究投入與人才，包括一些底層技術的研究，這些年來已經超過了大學等研究機構。
人工智能的前沿正在向未來推進。盡管從 GPT-4 的技術報告，到微軟的研究論文，都展示出它所具有的接近于人類的文字處理能力、數學推理能力，以及諸多專業領網域的知識。" 我們認為它可以合理地被視為人工通用智能（AGI）系統的早期（盡管仍不完整）版本。" 但是，在通往通用人工智能的道路上，需要研究和解決的問題反而更多了。如信心校準、長期記憶、持續學習、個性化、規劃和概念跨越、透明度、認知謬誤和非理性，等等。
過去半年最重要的研究方向，是破解和理解大模型神秘而又令人興奮的智能 " 湧現 "。大模型既需要超越對下一個詞的預測能力，也需要一個更豐富、更復雜的 " 慢思考 " 深層機制，來監督 " 快思考 " 預測下一個詞的機制。
那些最好的前沿研究，一定是研究和解決技術規模應用中遇到的問題。研究如何減少幻覺，調教大模型更加準确地輸出真實的内容，訓練出更強的推理能力；如何更集約地訓練模型，降低門檻，推出新產品，讓更多的各行各業和消費者都能用上；如何能像人一樣，與真實的物理世界互動；如何成為人類復雜工作的助手，設計并幫助執行科學實驗；如何影響就業，從而做出政策的響應；如何讓人工智能安全和可信。
03/ 監管 | 安全 | 政策 | 人才
政府對于生成式人工智能的監管反應相當及時，各國也出現了不同的特點。中國在迅速推出生成式人工智能的監管辦法并征求意見的同時，也在鼓勵發展通用人工智能，北京、上海、深圳是最具雄心的第一梯隊，均提出了較具雄心的人工智能科研、創新與產業目标。歐盟繼續在監管和立法方面領先，一如其 5 年前率先推出 GDPR。美國更在意人工智能技術的領先地位，正在形成以風險管理為原則的監管框架。
長期來看，人才對人工智能未來的影響，超過了算力。中國研究人員發布的論文在數量上已經超過了美國，但金字塔頂端，無論是研究還是創業，美國仍然占據明顯的優勢。在全球範圍内，人工智能研究創新的重心正從高校轉移至企業，美國擁有頂尖學者最多的前三大機構，分别是谷歌、微軟與 Meta，合計招攬了美國頂級學者的 30%。中國仍以高校為主，僅阿裡巴巴跻身前 10。
科技部已經提出了人工智能企業，應該接受科技倫理審查；審查主體應該設立科技倫理（審查）委員會。美國人工智能企業較早開始設立負責任與可信人工智能部門，從去年到今年以來經過一些調整，反映出在生成式人工智能發生變革之際，企業正在尋求用更好的技術和方案，來安全和負責地部署新技術。
04/ 十大前瞻
大語言模型
1. 2024 年中國将出現比肩 GPT-4 的多語言通用大模型；
2. 超長上下文（Long Context）将引領下一次 LLM 技術突破；
3. 在出現更有前景的大語言模型之前，為實現垂直領網域更好的效果，以下三種方式将共存：
i）在不改變數據分布的情況下，利用更多通用數據進行通用大模型預訓練，不特别引入行業數據，
ii）利用行業專屬數據微調（Fine-Tuning）通用大模型，
iii）利用行業數據占比更高的數據集進行垂直模型預訓練。
多模态模型
4. 當前 CLIP + Diffusion 的文生圖模型是過渡态，未來 2 年内将出現一體化的模型結構；
5. 下一代 Text-to-Image 模型将具備更強的可控性，它将結合底層模型能力和前端控制方式，對模型的設計将注重與控制方式的結合；
6. 2025 年之前，Video 和 3D 等模态将迎來裡程碑式的模型，大幅提高生成效果；
7. 以 PALM-E 為代表的具身智能（Embodied AI）展現出在機器人的感知、理解和決策等方向上的巨大潛力，但當前訓練和可靠性存在較大挑戰；
8. 短期内 Transformer 正成為多個模态的主流網絡結構，但壓縮整個數字世界的通用方法尚未出現，Transformer 并不是人工智能技術的終點。
商業機會
9. 3 年内，颠覆式的 AI 應用的核心驅動力來自于底層模型的創新，兩者無法解耦，模型的作用将大于產品設計的作用；
10. 當前生成式 AI 市場處于技術主導的早期階段，存在千億美元市值的平台性企業的機會。
