今天小編分享的科技經驗:生成式 AI 搶灘生死戰:全球雲計算巨頭怎麼打,歡迎閲讀。
AI 技術掀起了全球雲計算巨頭之間的新一輪「軍備競賽」,如何構建 AI 生态,成為這些廠商過去一年的核心任務。
得益于基礎研究和應用創新的繁榮,國際雲計算巨頭的 AI 生态建設進展迅速。盡管全球雲計算市場增長在過去幾年明顯放緩,2023 年四季度的财報卻顯示,受益于 AI 業務的推動,亞馬遜雲科技、微軟智能雲和谷歌智能雲的增長速度均有明顯提升。随着 2024 年 AI 應用的加速落地,預計這種增長還将進一步擴大。
雲計算領網域将迎來新一輪的洗牌,各大巨頭紛紛加速部署 AI 大模型。微軟繼續加強與 OpenAI 的合作,将 AI 技術更深入地整合進 Azure 的各個技術棧;谷歌則投入重金研發自家的大模型,并于近期對組織架構進行了全面調整。
亞馬遜雲科技也有了新動作。當地時間 4 月 23 日,亞馬遜雲科技宣布了一系列針對其 AI 開發平台 Bedrock 的重要更新:包括在基礎模型層面,宣布支持剛剛發布的超級開源模型 Llama 3,以及自研的 Amazon Titan 影像生成大模型;功能層面上,正式推出合規管理工具 Guardrails、模型測試評估工具 Model Evaluation,更新了智能體開發平台 Bedrock Agent 和知識庫 Bedrock Knowledge Base,并預發布新功能 Custom Model Import,支持用户上架本地微調後的開源模型。
從底層的大模型訓練和推理基礎設施,到中間層的 AI 應用開發工具,再到上層的開箱即用 AI 應用,亞馬遜雲科技已經構建起一套完整的 AI 生态系統。作為三巨頭中唯一一個不過分依賴自研或單一大模型的雲計算廠商,亞馬遜雲科技的 AI 生态投資布局具有極高的借鑑意義。極客公園對此進行了全面的梳理分析。下面,我們将詳細探讨這些策略的具體内容及其對整個行業的潛在影響。
亞馬遜雲科技如何布局生成式 AI 中間層?
在生成式 AI 領網域,雲計算廠商的戰略布局主要集中在 AI 應用開發的三個關鍵層次:底層的算力層,用于支持基礎模型的訓練和推理;中間的工具層,基于基礎模型構建各種開發工具;以及頂層的應用層,即一系列基于基礎模型的開箱即用 AI 應用集合。
其中非常關鍵也是最受關注的是中間工具層——中間層是一個相對泛化的概念,不僅包括對基礎模型的定制調整,還涵蓋構建 AI 應用所需的知識庫、開發工具和測試工具等多個方面。
對于雲計算平台而言,工具層布局的核心可以細分為三個主要方向:基礎模型的選擇池;調整和定制基礎模型的能力;以及開發、集成并部署到企業系統中的 AI 應用的能力。自 2023 年 4 月推出以來,亞馬遜雲科技的生成式 AI 開發平台 Amazon Bedrock 就一直圍繞這三個方向進行投資和布局。
豐富的基礎模型池
經過一年多的發展,多數雲廠商提供的 AI 開發工具體系逐漸同質化。即便有些平台推出創新功能,其他平台通常也會在幾個月内推出類似產品。因此,工具層的競争焦點逐漸轉移到支持的基礎模型池上。
加入 Llama 3 和 Amazon Titan Image Generator 等新的基礎模型後,Amazon Bedrock 支持的基礎模型數量增至 27 個,這些模型來自于 Anthropic、Stability AI、Cohere AI、Meta、Mistral AI、AI21 Labs 以及亞馬遜等七家公司。
三大雲廠商支持的基礎模型對比丨制作:極客公園
如上圖所示,極客公園基于官網信息整理了三大雲廠商支持的基礎模型對比。盡管三大平台都覆蓋了基礎語言模型、影像生成模型、嵌入模型和語音模型等關鍵能力,它們的生态布局卻各有特色。
首先是微軟 Azure 智能雲,其生成式 AI 服務最大的特點就是與 OpenAI 的深度綁定,提供了一系列基于後者開發的不同功能、規模和價格的基礎模型上構建的產品服務。由于 OpenAI 目前在生成式 AI 領網域多方面的領先,這種獨家合作的模式也就成了微軟智能雲目前最大的特點與優勢。
谷歌雲與微軟智能雲正好相反,雖然也支持一部分開源模型或者第三方模型(包括谷歌投資的 Anthropic),但谷歌雲主推的還是自研的大模型,包括大語言模型 Gemini 系列、影像生成模型 Imagen 系列和語音轉文字的 Chrip 系列模型等。
亞馬遜雲科技則在二者之間取得了平衡。比如雖然其也有自研的 Titan 模型,具備文本、嵌入、影像生成等能力,但亞馬遜雲科技目前主推的卻是 40 億美元重金投資的 Anthropic,其研發的 Claude 系列模型占據了「C 位」,甚至亞馬遜雲科技自研的 AI 算力芯片都為 Claude 進行了定制和優化。
但亞馬遜雲科技也沒有像微軟一樣只推 Anthropic 一家公司的模型,還支持了 Llama 系列、Stable Diffusion、Cohere 的 Command 和 Embed、以及 Amazon Titan 等其他第三方和第一方的基礎模型。
這些差異體現了三大雲平台在大模型這個 AI 應用落地的關鍵能力上的不同戰略和優勢。
谷歌雲相信自己的技術能力,雖然也通過投資、集成等方式與一些大模型公司合作,但最主要的力量還是集中推動自研大模型;微軟在這個技術路線上沒有太多儲備,所以選擇深度合作這個領網域最領先的公司,并做好構建 AI 應用必須的基礎設施和其他技術工具;亞馬遜雲科技則是完全的開放平台策略,也就是我們常説的「給淘金者賣鏟子」,把大模型這個最關鍵的環節開發給所有的技術夥伴,主推最好的產品,以客户成功為目标。
未來哪種模型策略更為有效,需要時間來驗證。這可能取決于未來究竟是一個超級大模型憑借遠超其他模型的智能一枝獨秀,還是百花齊放多個不同的模型各有所長。至少今天來看行業更傾向于使用多模型架構,那麼生态繁榮的路線意味着更适應不同的應用場景和需求。
定制模型和集成能力:簡化、全面和安全
雖然我們常説基礎大模型的能力提升已将 AI 應用開發從「最後 1 公裏」推進到「100 米」,但這并不意味着任何公司或個體都能輕易地基于這些模型開發 AI 應用。這正是雲計算平台提供中間層服務的重要意義所在。
同時,随着模型能力的增強,可以解決的問題範圍擴大,需要利用這些模型解決問題的用户也越來越多。這對提供 AI 應用服務的雲計算廠商提出了新的要求:他們不僅需要适應更多更復雜的場景,還要使服務更加簡單易用。
前者要求雲計算廠商提供更強的模型定制和微調能力,後者意味着需要更簡單易用的集成工具和平台。對此,亞馬遜雲科技提供了六大核心功能:
Custom Model Import on Amazon Bedrock 丨來自:亞馬遜雲科技
首先是最近預發布的用户微調模型上傳工具 Custom Model Import。它支持用户将本地微調後的開源模型(如 Llama,Mistral 及 Flan-T5)上架到 Bedrock 平台,并以托管 API 的方式調用,無需進行復雜的運維工作。未來,該工具還将集成知識庫、Agent 等功能。
第二個是此前已經推出的知識庫功能 Knowledge Base。它允許模型安全地連接到公司内部數據源用于 RAG,以便為聊天機器人和問答系統等用例提供更準确、針對特定上下文的響應。Amazon Bedrock 知識庫支持數據庫用于向量功能,包括 Amazon OpenSearch、Pinecone 和 Redis Enterprise Cloud 的向量引擎。
Model evaluation on Amazon Bedrock 丨來自:亞馬遜雲科技
除了微調工具和知識庫,亞馬遜雲科技還提供了模型評估工具 Model evaluation。該工具用于評估、比較并選擇最适合特定應用場景的基礎模型。功能包括比較基礎模型的性能,以及使用自有數據集獲取相應的評估結果等。
以上三者都是用于定制、微調和測試模型,下面兩個功能都和開發應用并集成到業務系統相關。
首先是智能體開發工具 Agents for Amazon Bedrock,也是 Amazon Bedrock 的核心工具之一。極客公園在此前的文章裏有過多次介紹,該工具允許生成式 AI 應用能夠使用自然語言來執行多步驟的業務任務。其主要功能包括利用 LLM 的強大功能,使用自然語言進行互動和響應;任務拆分和編排;通過動态調用 API 完成任務執行;安全私密地訪問客户私有數據;追蹤 FM 思維鏈流程并優化底層 Agent 的提示詞工程。
另一個是對象批處理工具 Batch for Amazon Bedrock。這個工具允許用户在不編寫代碼的情況下有效執行大量數據的模型推理任務,幫助在大規模推理任務中避免遇到限流問題。
除了便于定制模型和簡化應用開發流程,今天 AI 應用開發的另一個不可忽視的問題是确保大模型的安全性。
眾所周知,由于大模型訓練的局限性和所謂的「幻覺」問題,基于大模型開發 AI 應用可能會引發不符合現實世界政治和法律規則的安全性問題。這些典型問題包括 AI 技術能力的濫用,以及在對話、搜索等功能中出現有害内容的問題。
Guardrails for Amazon Bedrock 丨來自:亞馬遜雲科技
為此,亞馬遜雲科技新推出了 AI 應用安全工具 Guardrails for Amazon Bedrock。如上所示的視頻演示,開發者可以通過設定關鍵詞等方式替換有害信息的回答,從而提高模型對不良和有害内容響應方式的一致性。
總的來看,亞馬遜雲科技的生成式 AI 策略可以總結為:通過開放生态提供豐富的模型選擇,并基于過去積累的技術能力提供一個易于使用、功能豐富且足夠安全的開放平台。Amazon Bedrock 提供的工具和功能,如自定義模型導入、智能代理開發和批處理能力,都旨在簡化和加速 AI 應用的開發過程,同時确保這些應用能安全可靠地部署和運行。
通過提供強大的模型定制能力和綜合性的安全措施,亞馬遜雲科技不僅支持客户解決復雜多變的業務需求,還重視保護用户免受潛在的 AI 風險侵害。這種平衡創新與安全、通用性與定制化的方法,是其在競争激烈的雲計算市場中的一大優勢。
基礎設施層和應用層
聊完了中間層以後,我們再來聊聊生成式 AI 戰略布局的兩頭:基礎設施層和應用層。
基礎設施,也就是底層算力層。今天雲計算廠商在 AI 基礎設施上的布局大同小異,其核心構成是以英偉達的 GPU 為主和自研 AI 芯片為輔的產業格局。此外,全球算力網絡的布局也是這一層的一部分,但這裏我們主要關注自研 AI 芯片的發展。
在過去兩年中,為了減少對英偉達的依賴并提高計算效率,雲廠商加快了自研 AI 芯片的布局。亞馬遜雲科技也不例外,自 2019 年推出高性能機器學習推理芯片 Inferentia,到 2020 年底推出定制機器學習訓練芯片 Trainium,并持續更新。最新的 Trainium 2 支持千億級甚至萬億級參數規模的模型訓練,而 Inferentia 2 則提供更高的算力和性價比。
亞馬遜雲科技的自研 AI 芯片結合了 SageMaker Hyperpod 和 SageMaker Jumpstart,加速了基礎模型的推理與訓練。許多 AI 領軍企業如 Anthropic、Mistral、stability.ai 和 perplexity 等,都采用了 Trainium 來訓練自己的大模型。
在 AI 應用層的差異更加顯著。從構建生态的角度來看,第一方原生應用的選擇至關重要。雲計算平台不僅需要提供能快速解決客户業務問題的通用工具,同時也應避免過度集中化,保護上遊應用生态的合作空間,以維持健康的整體生态布局。
亞馬遜雲科技構建的 AI 應用主要有兩個:分别是企業級生成式 AI 助手 Amazon Q,以及功能強大的 AI 編程助手 Amazon CodeWhisperer。
其中,Amazon Q 與微軟的 Copilot 類似,支持企業用户定制開發,連接到公司數據和系統。這使得營銷人員、項目經理和銷售代表等能夠利用 Q 進行定制對話、問題解答、内容生成和行動指導,同時确保只訪問他們有權查看的信息。
而除了定制之外,與微軟把 Copilot 融入 Windows 的做法相似,亞馬遜雲科技也嘗試将 Amazon Q 融入到了其成熟的業務體系中。
首先是亞馬遜雲科技的 BI 服務 Amazon QuickSight。借助 Amazon Q,客户可以用自然語言構建儀表盤,并輕松地簡化決策、同步信息等。例如利用故事生成功能,要求 Amazon Q「描述上個月業務發生的變化,用于向領導層匯報」,就可以在幾秒内根據 Amazon QuickSight 中的可用數據創建一段數據驅動的、視覺效果良好的描述,節省了自己總結數據和做 PPT 匯報的時間。
另外在客服、供應鏈這樣的電商場景中,Amazon Q 的融入使得客服人員在無需主管協助的情況下也能滿足客户需求,提高客户滿意度,減少培訓和問題解決時間,降低成本。
而在供應鏈工具 Amazon Supply Chain 中,Amazon Q 可以基于亞馬遜近 30 年的供應鏈經驗,結合大量公開信息回答一系列供應鏈問題。比如客户可以提問「是什麼導致我的發貨延遲以及如何加快速度」,Amazon Q 就會分析客户的供應鏈,并标注大部分訂單目前都在東海岸,風暴導致了延誤,客户可以選擇運往紐約而不是邁阿密來加快交貨速度并降低成本。
大模型在對話方面展現出來的潛力,激發了人們的想象空間,但今天的大模型還不能作為解決方案應用在工作中。具體來説,這些聊天應用程式不了解企業的業務、數據、客户、運營或者員工——如員工的工作、他們與什麼人互動、應用什麼信息以及可以訪問什麼數據。此外,這些解決方案最初也沒有配備企業所需的安全和隐私功能,無法保障員工在日常工作中的安全使用。
企業不得不在構建助手後再将這些功能添加到助手中,這遠不如在設計之初就将安全性納入其中。這就是亞馬遜雲科技創建 Amazon Q 的原因,幫助客户讓每位員工充分發揮生成式 AI 的優勢。