今天小編分享的科技經驗：一文看懂Gen AI浪潮下數據中心的新機遇，歡迎閲讀。
文 | AlphaEngineer，作者 | 費斌傑 北京市青聯委員 熵簡科技 CEO
随着生成式 AI 出現突破性進展，數據中心行業目前正在經歷史無前例的跨越式發展，在未來經濟增長和國家安全中有着舉足輕重的地位。
Nvidia 的 GB200 系列需要直接對芯片進行液冷，機架功率密度高達 130kW。在性能上，GB200 相比 H100 推理性能提升了約 9 倍，訓練性能提升約 3 倍。
因此，那些無法提供更高功率密度的數據中心将錯失為其客户提供巨大的性能 TCO 改進的市場機遇，并将在生成式 AI 軍備競賽中落後。
AI 需求的驅動促使數據中心設計向适應高功率密度轉變。例如，Meta 拆除了一整棟在建建築，因為這是他們多年來一直使用的低功率密度的舊數據中心設計。相反，他們用全新的 AI-Ready 設計取而代之。
變化之下往往潛藏着機遇。昨日 SemiAnalysis 發布了一篇深度報告，深入探讨了【AI 時代下數據中心的投資機遇】，幹貨滿滿。
我給大家解讀一下這篇長文的精華内容，報告鏈接放在文末，歡迎感興趣的朋友去看原文。
在正式展開之前，我先把主要結論列出來：
随着 Gen AI 的發展，數據中心的設計更注重提高功率密度和計算密度，全新的設計理念藴藏着新的機會。
按關鍵 IT 功率，可以将數據中心分為零售數據中心、批發數據中心、超大規模數據中心這三類。
數據中心的關鍵電氣設備包括：高壓電壓器、中壓開關櫃、柴油發電機、不間斷電源（UPS）等。
電氣設備往往形成寡頭壟斷的市場格局，在 AI 需求驅動下有望大幅提升收入規模和利潤率。
值得關注的電氣設備供應商包括：Schneider、ABB、CAT、VERTIV、EAT-N等。
下面我們正式開始。文章有點硬核，建議耐心閲讀哈。
（1）從 " 配備空調的辦公樓 " 開始
數據中心旨在以高效、安全的方式為 IT 設備供電，并在 IT 硬體的使用壽命内實現最低的總擁有成本（TCO）。
IT 設備通常布置在裝有伺服器、交換機和存儲設備的機架中，運行這些設備需要大量電力并產生大量熱量。
30 年前的數據中心就像是配有空調的辦公樓。但如今，随着消費者每天觀看數十億小時的 YouTube、Netflix 和 Instagram，數據中心的規模已大幅擴大。
現代數據中心每平方英尺所需的電量可能是辦公樓的 50 倍以上，為這些伺服器散熱則需要完全不同的冷卻設備，這引發了數據中心建設方式的深刻變化。
在這種規模下，數據中心的任何故障都會造成重大損失，這就需要數據中心内部擁有可靠的電氣和冷卻系統。
電氣故障雖然更常見，但往往具有較小的 " 爆炸半徑 "。而冷卻故障一旦發生，造成的破壞性會很大。
根據 Uptime Institute 以及 ANSI/TIA-942 标準，可以将數據中心按 " 預期停機時間 " 和 " 冗餘度 " 進行分層評估，如下圖所示。
其中，Tier 3 級在全球大型數據中心中最為常見。
當我們談到 " 冗餘度 " 時，通常使用 "N"、"N+1" 或 "2N" 等術語。例如，如果一個數據中心需要 10 個變壓器，N+1 的冗餘度表示總共需要儲備 11 個變壓器，其中 10 個可運行，1 個冗餘，而 2N 則需要購買 20 個變壓器。
一個 Tier 3 級數據中心，通常要求變壓器和發電機等組件具有 N+1 冗餘，配電組件（不間斷電源 UPS 和配電單元 PDU）具有 2N 冗餘。
Tier 4 級數據中心不太常見，通常用于政府或國防領網域。
（2）數據中心的核心參數：Critical IT Power
數據中心的規模和設計各異，我們通常根據其關鍵 IT 功率容量（Critical IT Power Capacity）對它們進行分類。這是因為在主機托管業務中，運營商會租賃空機架并按 "IT 千瓦 / 月 " 定價，數據中心的空間成本遠低于電氣和冷卻設備的成本。
關鍵 IT 功率是指 IT 設備的最大功率，而電網的實際消耗也包括非 IT 負載，例如冷卻和照明。這就涉及到 " 利用率 " 的概念，通常來説雲計算的電力利用率通常為 50-60%，而 AI 訓練的電力利用率則超過 80%。
根據關鍵 IT 功率的差異，我們可以将數據中心分為以下三個類别。
零售數據中心（Retail Datacenters）
零售數據中心通常規模較小，功率容量較低 ，最多幾兆瓦，通常位于城市内。
他們通常有許多小租户，這些租户只租用幾個機架（即幾千瓦）。
零售數據中心的主要價值在于 " 位置、位置、位置 "，其運營模式更類似傳統的房地產公司。
批發數據中心（Wholesale Datacenters）
相比零售批發中心，批發數據中心的規模更大，通常可以提供 10-30MW 的關鍵 IT 功率。
其客户通常會租賃更大的區網域，即一整排或多排，并可選擇進一步擴展。
與零售數據中心相比，其價值主張是部署更大的容量并具有可擴展性。
超大規模數據中心（Hyperscale Datacenters）
超大規模數據中心通常由 Hyperscalers 自行建造，供自己專用。
這些數據中心通常構成一個大型園區，園區内有多棟相互連接的建築。這些園區的額定功率通常高達數百 MW，其中每棟建築的功率約為 40-100MW。
例如下圖所示，Google 的超大規模數據中心功率接近 300MW。
大型科技公司還可以請服務商為其定制數據中心，然後出租給他們，今年以來 100MW 以上的定制租賃越來越常見。
為了讓大家對 Hyperscale Datacenter Campus 的電力需求有個直觀的感受，我們來做一個比較。
美國一户普通家庭的平均電力消耗是 1.2 kW，因此一個 300MW 數據中心園區的年用電量相當于約 200,000 個家庭的用電量。
從另一個角度看，20,840 個 Nvidia H100 集群需要一個具有約 25.9MW 關鍵 IT 電力容量的數據中心。随着 Hyperscalers 開始構建 100,000 個 H100 集群，對數據中心關鍵 IT 功率将有着顯著更高的需求。
（3）數據中心中的電力傳輸路徑
讓我們從一個最簡單的布局開始，理解數據中心的設計方式。
數據中心的設計目标是将大量電力輸送到裝滿 IT 設備的機架上，這些機架位于被稱為數據大廳（Data Halls）的房間中。
為了最大限度地減少配電損耗，需要将電壓保持在盡可能高的水平。這是因為電壓越高意味着電流越低，功率損耗與電流的平方成正比（Ploss= I2R）。
但是高壓是很危險的，需要更多的絕緣措施。越靠近終端設備，電壓就要越低。
因此，向建築物輸送電力的首選方法是中壓，如 11kV 或 25kV 或 33kV。而當我們從建築物内将電力輸送進入數據大廳時，需要再次将電壓降低至低壓，如美國的 415V 三相。
從外到内，電力傳輸遵循以下路徑：
電力公司一般提供的是高壓電力（>100 kV），因此需要使用 on-site 變電站和變壓器來将其降低至中壓（MV）。
然後，中壓電力将使用 MV 開關設備安全地分配到一個位于數據大廳附近的變壓器，将電壓降至低壓 ( 415V ) 。
與變壓器配對的是柴油發電機，其輸出也是 415V 交流電。如果電力公司突然停電，自動轉換開關 ( ATS ) 可以自動将電源切換到發電機，确保持續供電。
電力進入數據大廳後，開始抽成兩條傳輸路徑：一條通向 IT 設備，一條通向冷卻設備。我們重點來看 IT 設備的電力傳輸路徑。
首先，電力流經 UPS 系統，通過配電單元（PDU）将電力輸送給 IT 設備。
該系統連接到一組電池，通常有 5-10 分鍾的電池存儲時間，足夠發電機啓動并避免暫時停電。
随後通過電源單元 ( PSU ) 和穩壓器模塊 ( VRM ) 向芯片進行供電。
當然，這張電力輸送圖會随着數據中心容量的不同而形成很大差異，但是整體的思路和電力流向是相似的。
（4）數據中心中的核心電氣設備：高壓變壓器
現代超大規模數據中心往往在現場設有高壓變電站，例如下圖中 Microsoft 的站點。
這些設施通常會被放置在高壓 ( HV ) 輸電線路（138kV 或 230kV 或 345kV）附近。
這些變壓器的額定功率以 MVA 為部門。MVA 大致相當于 MW，但 MVA 是 " 視在功率（Apparent Power）"（就是電壓 * 電流），而 MW 是 " 實際 " 功率。通常來説，MW 會比 MVA 低 5-10%。
高壓變壓器額定容量通常在 50 MVA 和 100 MVA 之間。例如，需要 150MW 峰值功率的數據中心園區可以使用兩個 80 MVA 變壓器，或三個變壓器以實現 N+1 冗餘以應對可能的故障。
每個變壓器将電壓從 230kV 降至 33kV，将電流從 ~350 安培增加到 ~2500 安培。在這樣的 N+1 配置中，所有三個變壓器将共享負載，但以額定容量的 2/3 運行。
值得注意的是，高壓變壓器通常是定制的，因為每條輸電線路都有自己的特點，因此往往需要較長的交貨時間（>12 個月）。為了緩解建設瓶頸，數據中心運營商一般在規劃階段就開始預訂高壓變壓器。
盡管變壓器是數據中心中電力傳輸系統的核心組件，它其實是一種非常簡單的設備，即将交流電 ( AC ) 的電壓和電流從一個級别轉換為另一個級别。
變壓器的基本原理是電磁感應。我們把兩個銅線圈并排放置，其中一個線圈通上交流電，通過電磁感應，該線圈上的電力就可以傳輸到另一個線圈上。
在此過程中總功率保持不變，我們可以通過改變電線的特性來產生自己想要的電壓和電流。
例如當次級線圈的匝數少于主線圈，則電力将以較低的電壓和較高的電流傳輸，這是降壓變壓器的原理。
變壓器的兩個主要組件是線圈用的銅和 " 變壓器鐵芯 " 用的鋼。為了提升變壓器的傳輸性能，其鐵芯通常需要一種稱為 GOES（晶粒取向電工鋼）的特種鋼，這種鋼的制造商數量有限。
（5）發電機、中壓變壓器、配電器
在高壓變壓器的幫助下，我們将高壓（即 115kV 或 230kV 等）降至中壓 ( MV ) （即 33kV、22kV 或 11kV 等），下一步需要做的是使用中壓開關設備将中壓電力分配到各個數據大廳附近。
伺服器和交換機等典型的 IT 設備無法在 11kV 下運行，因此在數據大廳通電之前，我們需要另一組中壓 ( MV ) 變壓器，通常為 2.5 MVA 或 3 MVA，将 MV（11kV/25kV/33kV）降至 LV（415V，美國常見電壓）。
下圖把這個中壓變壓和配電過程展示得比較清晰。
每個 LV 變壓器旁邊都有一個與變壓器額定功率相匹配的發電機，如果變壓器或變壓器上遊的電源發生故障，發電機将自動介入。
自動轉換開關 ( ATS ) 通常是 LV 開關設備的組件，用于在發生這種情況時自動切換到發電機，将其作為主電源。
舉個例子，一台 3 兆瓦發電機的馬力超過 4,000，與火車頭的發動機類似。在超大規模數據中心中，通常有 20 台或更多這樣的發電機。
這些發電機通常使用柴油。數據中心在滿負荷情況下通常可儲存 24 到 48 小時的燃料，而柴油的運輸和儲存便利性使其成為首選。柴油也更節能，但污染更嚴重。由于監管限制，柴油發電機往往更昂貴，因為需要特定設備來減少環境污染。
自動轉換開關 ( ATS ) 的下遊是一套不間斷電源 ( UPS ) 系統，用于确保電源永不中斷。
發電機通常需要約 60 秒才能啓動并達到滿負荷，但就像汽車發動機一樣，它們有時不會在第一次啓動時啓動。UPS 系統的作用是填補這一空白，因為它們的響應時間通常低于 10 毫秒。
UPS 通常會帶來 3-5% 的損耗，當負載較低時損耗會進一步加劇。現代設備可以通過待機模式（VFD）或者通過繞過 AC-DC-AC 的轉換，将效率提高到 99% 以上，但這會使轉換時間增加幾毫秒 ( ms ) ，并帶來短暫斷電的風險。
（6）突破傳統數據中心的極限：更高的機架密度
生成式 AI 帶來了新的大規模計算需求，從而顯著改變了數據中心的設計和規劃。
一個顯著的變化是計算密度。網絡是增加集群規模的關鍵因素，是資本支出中的重要組成部分。一個設計不良的網絡會顯著降低 GPU 利用率，大幅提高成本。
在大型集群中，我們希望盡可能多地使用銅線。使用銅電纜進行通信而非光纖收發器，是因為光纖收發器成本高、耗電高、延遲高。
但是，銅線高速傳輸的覆蓋範圍通常最多只有幾米。因此，為了通過銅線進行通信，GPU 之間必須盡可能靠近彼此。
計算密度在 Nvidia 最新的 GB200 系列中體現得淋漓盡致。NVL72 是一個由 72 個 GPU 組成的機架，總功率超過 130kW。所有 GPU 都通過 NVLink 互連，與 H100 相比吞吐量提高了 9 倍。
從數據中心的視角來看，這裏面最關鍵的參數是每個機架 130 kW+ 的電力供給。
這與過去有何不同？讓我們看看下面的圖表：平均機架電力密度在 2023 年之前一直低于 10kW，而 Omdia 預計到 2030 年這個數字将上升到 14.8kW。
Hyperscaler 數據中心的機架密度往往千差萬别。按照目前的數據來看，Meta 的機架密度最低，約 10+ 千瓦，而 Google 的機架密度最高，通常超過 40 千瓦。
從這個角度來看，我們就不難理解為什麼 Meta 要拆掉自己的舊數據中心，按全新的設計方案來重新建設了。
Meta 原先的設計方案是 "H 型 " 的建築，功率密度太低了。在比較功率密度時，Google 的每平方英尺千瓦密度比 Meta 高 3 倍以上。
雖然 "H" 也有自身的優點，但在 AI 時代最關鍵的計算密度上卻表現欠佳，如果不進行改建的話，将成為 GenAI 軍備競賽中的一個關鍵的競争劣勢。
（7）構建下一代 Blackwell 數據中心的核心玩家
電力需求的大幅增加将導致電氣設備供應商的產銷量大幅增加，這可能會進一步收緊供應鏈，并導致價格上漲。
增加功率密度的需求将與總電力需求一樣具有強大的驅動力。無論設備的外形尺寸或占地面積如何，電力設備的成本都将與提供的千瓦數成比例增加。
一個可以稍微抵消需求大幅增長的因素是，越來越多的 Hyperscalers 開始接受較低的冗餘度。
在大規模 AI 訓練中，GPU 節點的高故障率使得着訓練框架在某種程度上已經能夠應對節點故障，這意味着數據中心方面可以接受較低的冗餘度。
在數據中心的設計方案中，高密度化正成為首選方案。為了增加密度并縮短網絡距離，Hyperscalers 和主機托管運營商正在建設多層數據中心，例如 Applied Digital Ellendale，它有三層樓和兩個 50MW 數據大廳。微軟和 QTS 也在這個方向上大舉進軍。
電氣設備大多是标準化的，而且電氣公司可以通過與當地安裝人員、電工、公用事業公司建立長期關系，從而形成一定規模的網絡效應，保護它們免受競争，這導致了電氣行業出現了寡頭壟斷的市場結構。
這些主要供應商包括：
發電機組（如 CAT、ABB、GENERAC 等）
中壓變壓器（如 Schneider、ABB、SIEMENS 等）
開關櫃（如 Schneider、VERTIV、EAT - N 等）
不間斷電源（如 EAT - N、ABB、VERTIV 等）
配電單元（如 Schneider、legrand、VERTIV 等）
随着 Nvidia 大力推廣全新的超高密度設計，我們認為許多運營商尚未做好準備，機電工程人才的需求可能會驟增。
過去幾年來，施耐德和 Vertiv 等一些供應商投入了大量資金來構建自己的數據中心設計能力，現在正與 Nvidia 合作構建 AI-ready 藍圖。
在 AI 時代，快速變化和快速上市意味着數據中心運營商必須依靠施耐德和 Vertiv 等解決方案提供商來推動設計和部署。
這意味着電氣設備提供商将在 AI 時代獲得更大的議價能力、更大的市場空間、以及更高的利潤率。
