今天小編分享的科學經驗:亞馬遜雲計算Troy Cui:敦煌網飙升AppStore第二,企業如何應對激增流量是關鍵,歡迎閲讀。
敦煌網突然飙到蘋果美區 AppStore 排名第二,面對如此潑天的流量,該用什麼 " 姿勢 " 來接住?
在千變萬化、快速發展的生成式 AI 時代下,如此 " 灰犀牛 " 事件,應當給每一個企業敲響一個警鍾——
如何确保企業的系統能夠應對突發的用量激增?
針對這一問題,亞馬遜雲科技大中華區數據及存儲產品總監Troy Cui在量子位舉辦的中國 AIGC 產業峰會上,給出了他的見解:
每個企業在做架構之前,都需要思考:當 DAU 從 1 萬增長到千萬級,當每日 Token 處理量從幾千飙升到上億時,現有架構能否持續支撐?
基于此,它也以雲計算一哥為例給出了獨到的解法。
△亞馬遜雲科技大中華區數據及存儲產品總監 Troy Cui
為了完整體現 Troy Cui 的思考,在不改變原意的基礎上,量子位對演講内容進行了編輯整理,希望能給你帶來更多啓發。
中國 AIGC 產業峰會是由量子位主辦的 AI 領網域前沿峰會,20 餘位產業代表與會讨論。線下參會觀眾超千人,線上直播觀眾 320 萬 +,累計曝光 2000 萬 +。
話題要點
要想提高 AI 能力,核心競争力是自己的數據
快速将數據轉化為業務洞察、提升數據質量、促進跨部門協作是 AI 賦能的重要前提
" 灰犀牛 " 事件頻發的時代,企業如何應對激增的流量是關鍵
做架構需提前思考:當每日 Token 處理量從幾千飙升到上億時如何應對
以下是演講全文:
發展 AI 的核心競争力是自己的數據
謝謝大家今天上午的時間,我剛才也聽了其他嘉賓的一些演講,也深受啓發,包括阮總介紹百度智能雲在各個行業裏面的落地、在產業的深耕,以及對未來發展的展望。
包括微軟的劉博士給我們介紹 RD-Agent,以及 PPIO 的姚總跟我們介紹怎麼樣在底層把算力推廣到前線的應用上,包括剛剛譚總介紹數據的 Agent。
這些東西都是為了一個目的,把我們 AI 的能力 " 多、快、好、省 " 地向前線的用户賦能和推進。
我們要想把 AI 的能力更快地向前走,毫無疑問最核心的競争力來自于自己的數據,因為我們的模型,你和你的友商,你和你的競争對手都可以拿到相對來説同樣級别的能力。
但是核心競争力仍然源于企業自身的數據資產。
正如譚總剛才所説,如何将數據更快地轉化為業務洞察,如何最大程度提升數據質量,以及如何讓更多人參與決策過程,這些都是為 AI 賦能的重要前置條件。同時他也指出,目前并非所有擁有數據的用户都能夠有效實現這一目标。
過去 24 小時内,若要讨論什麼最受關注,每個人可能有不同看法。但我昨晚看到一則關于敦煌網的新聞特别引人深思。近期外貿環境的變化對許多 B2B 平台產生了巨大影響。
值得注意的是,越來越多用户選擇将業務遷移到雲端,主要因為雲平台能夠支持數據的快速擴展。
這種大規模擴展的能力,顯然不是依靠企業自身的運維團隊就能輕易實現的。
SageMaker:亞馬遜雲科技應對大規模擴展之道
作為亞馬遜雲科技的一員,我們的核心優勢在于幫助客户充分利用其高質量數據,即使在需要自動擴展到極限的情況下,也能保證卓越的可用性和可靠性。
我們為用户提供針對不同負載量身定制的最佳業務解決方案和工具支持。
随着業務日益復雜化,單一引擎已無法解決所有問題,用户在不同引擎間切換往往會帶來碎片化的體驗。
值得一提的是,亞馬遜雲科技不僅服務于個人開發者和未來的獨角獸企業,還服務于眾多大型企業客户。
這些企業客户通常有多個部門需要協作,因此如何在這種協作環境中确保有效的數據治理,仍然是一個亟待解決的重要問題。
舉例來説,我們目前為一家重要的搜索引擎公司提供服務,該公司在海外市場擁有龐大規模。其 TPM(每分鍾處理的令牌數)已達千萬級别,即将突破億級門檻。
在如此大規模的計算環境中,如何确保從數據處理到算力調配的整個系統穩健運行,是我們在生成式 AI 領網域亟需解決的關鍵問題。
針對這些挑戰,亞馬遜雲科技提供了清晰的解決方案:我們致力于實現企業内不同部門、不同角色之間的高效協作。
最關鍵的是,我們确保所有項目參與者都能在同一個統一規範的數據和 AI 平台上管理數據資產、代碼資產以及訪問權限控制。
這正是我們開發SageMaker Unified Studio這一綜合性平台的核心原因。
在這個主平台下,開發者可以輕松構建智能問答系統等應用。通過這種低代碼 ( CNC ) 的方式,開發者只需幾分鍾就能搭建出完整的端到端智能問答平台。
借助這一基礎架構,你可以迅速利用現有數據資源,快速構建和開發智能化解決方案。
實現這一目标的前提條件是廣泛獲取數據,同時确保合規性,尤其是對企業客户而言,合規的數據管控和治理至關重要。
Amazon Q:使用自然語言發現數據
此外,我們需要配備足夠智能的工具支持。亞馬遜雲科技推出的Amazon Q正是這樣一款 AI 助手產品,它提供最先進的代碼開發體驗。
無論是将自然語言轉換為 SQL 查詢,還是進行代碼審查,都能高效完成。特别值得一提的是,對于那些關注知識產權問題的開發者來説,Amazon Q 還能幫助判斷生成代碼是否存在潛在的 IP 風險——
這一功能尤為重要,因為在傳統模式下,開發者往往無法确定後台生成的代碼究竟源自何處。
這邊跟大家介紹一個視頻,這個視頻是一個叫 Media To Cloud 的方案,是可以在亞馬遜上有一個 prime video,通過自然語言搜索,我去希望找到一個什麼樣的視頻,最後根據你的要求找到了一個 making the cut 這樣一個視頻。
實際上如果做一些源數據的工作,其實可以非常方便的可以用自然語言完成很多的 searching 的工作。
僅僅找到視頻還不夠,更重要的是如何将其變現,比如通過廣告植入。
借助 Media To Cloud 平台,我們能夠精準定位最佳廣告投放時機,确保廣告内容與視頻的上下文、語境、情緒完美契合。
這展示了生成式 AI 如何深度融入實際業務場景。正如剛才讨論的金融行業,以及阮總分享的制造業和醫療行業案例,這裏我展示的是我們在新媒體和泛客户領網域的實際應用案例。
在推動數據整合與跨部門協同的同時,數據普惠仍是當前面臨的核心挑戰。我們需要在保障數據資產安全的前提下,盡可能降低風險,賦能不同角色和部門。
這一目标的實現,關鍵在于通過統一平台協調各方,統籌數據與 AI 的治理。與傳統依賴人工管理的方式不同,如今可以借助 AI 技術實現更高效的治理。
傳統企業與新興互聯網用户在技術棧上的差異
在治理之外,企業還面臨一個現實挑戰:傳統企業與新興互聯網用户在技術棧上的差異。
亞馬遜雲科技觀察到,擁有二三十年歷史的傳統企業客户,往往基于 Oracle 或 Teradata 等老一代數據庫,對 SQL 技術棧更為熟悉;而原生雲上的互聯網用户則更适應大數據生态。
當這些企業上雲時,需要将兩種技術路線融合——既保留數據倉庫的事務處理能力,又兼顧大數據的彈性擴展需求。
這正是近年來 " 湖倉一體 " 概念興起的原因:傳統企業加速上雲并擁抱大數據,而互聯網企業也逐漸向規範化發展,推動了兩者的技術融合。
在數據賦能的實際落地過程中,我們觀察到前端存在大量隐性工作。以亞馬遜雲科技為例,數據可能分散存儲在 S3 數據湖、數據倉庫、傳統數據庫或本地環境中。如何将這些異構數據源高效整合到消費端,一直是行業面臨的挑戰。
傳統解決方案依賴于 ETL 流程,但開發者們都知道,随着業務需求的持續迭代,ETL 管道的開發和維護會變得異常復雜。這不僅涉及初始開發成本,更面臨着持續的運維挑戰。
亞馬遜雲科技在過去幾年致力于,大家在更多關注生成式 AI 應用的開發和構建的時候,盡可能去減少在後端非常復雜。
我記得劉博士説我們做 RD-Agent 也是要解決髒活累活的問題,我們也同樣在數據的處理上,數據的治理上要解決髒活累活的問題。
這也是亞馬遜雲科技在做Zero-ETL,如果大家聽過這個詞,我們會把前線不斷源的數據能夠通過 Zero-ETL 的手段自動化地去匯聚到數倉,匯聚到湖倉,後面再到數據消費或者 AI 的應用構建上。
我們在整個這套管理上,上面會通過一個統一的數據和 AI 的平台,有一個完備的數據治理,下面再通過統一的湖倉大家存儲在不同位置上的數據統一納管和構建,而且具備相當能力的數據質量,像數據治理層的管理能力。
通過這種方式能夠幫助我們的用户切實有效地構建他們的生成式 AI 的應用。
以豐田北美為例,這家業務覆蓋研發、生產、供應鏈、銷售和服務的跨國企業,在供應鏈管理中長期面臨數據資產跨部門流轉、治理和賦能的挑戰。
我們的解決方案有效解決了其核心痛點:将多源異構數據高效轉化為可供分析和高價值 AI 應用構建的高質量數據資產。
今天的分享希望能幫助大家建立關鍵認知:在構建生成式 AI 應用時,必須提前規劃可擴展的架構。無論您未來是初創公司的技術負責人還是決策者,都需要思考:
當 DAU 從 1 萬增長到千萬級,當每日 Token 處理量從幾千飙升到上億時,現有架構能否持續支撐?
實際上我相信什麼事情如果想得更早,不管是我的 Infrastructure,還是 Data,都會是蠻重要的一點。
最後分享一下亞馬遜雲科技自己的產品大會,每年的 re:Invent,其實我自己很深的感受,我們在過去幾年定義我們的雲服務,很多時候我們會聊計算、存儲、網絡和數據庫,這是我們在雲服務上最重要的四個基線。
當前構建生成式 AI 應用的關鍵在于建立具備自動擴展能力的底層架構。當存儲、計算、數據基礎設施和 AI 平台都具備彈性伸縮能力時,才能真正支撐業務從初期驗證到規模化增長的全生命周期需求,實現您的戰略目标。
謝謝大家!
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!
— 完 —
點亮星标
科技前沿進展每日見