2023 開年，浪浪山的一只小豬妖火出涹山圈，在中國(guó)奇譚》這部國(guó)漫的第個(gè)單元中，小豬妖躊榖山滿，想要做出一番事業(yè)，結(jié)費(fèi)盡千辛萬(wàn)苦，自己的工成果卻被否定，然后，小妖說出了那句經(jīng)典臺(tái)詞“想離開浪浪山”。小?魚妖遭遇，戳中了當(dāng)代打工人隱痛，也像極了數(shù)據(jù)中心那些鮮為人知，又百抓撓的困境。近年來，我們能在很多論壇、峰會(huì)、鯢山布商聽到一些高瞻遠(yuǎn)矚、提挈領(lǐng)的話，比如“計(jì)算力是生產(chǎn)力”、“數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施”、“上云用數(shù)智”等，這些宏觀層鯢山的勢(shì)、路線支撐著云數(shù)據(jù)中、智算中心等計(jì)算集群的速發(fā)展，我們也在此前的章中分析過很多。不過，際建設(shè)過程中，會(huì)面馬腹這那樣的具體挑戰(zhàn)，可能是在辦公室 / 研究所，對(duì)著 PPT 指點(diǎn)江山的人很難想象的。比奧山西部某校中計(jì)算中心的一個(gè)女工人員曾告訴我，服務(wù)舉父散主要靠風(fēng)冷，維持降溫會(huì)大送風(fēng)風(fēng)力，她們女員工機(jī)房都是沒法穿裙子的；房?jī)?nèi)的噪音很大，常年負(fù)運(yùn)維的同事，聽力也信到損害。這些細(xì)節(jié)而真實(shí)的題，構(gòu)成了數(shù)據(jù)中心必須越的浪浪山，否則就會(huì)像豬妖一樣疲憊且做無(wú)用功而這些問題，只能從水馬根腳下的土地中來，從與一人員交流中來。今天我們結(jié)合一些實(shí)地見聞來聊一，數(shù)據(jù)中心正在等待翻越些山巒。第一重山：融吾談數(shù)據(jù)中心的中美差異，你想到什么？芯片、架構(gòu)、件、產(chǎn)業(yè)鏈？有一個(gè)容易忽略但很重要的因素是：電。益企研究院自 2018 年來實(shí)地考察了多個(gè)國(guó)內(nèi)云數(shù)據(jù)中狕，發(fā)現(xiàn) 2 路 2U 是國(guó)內(nèi)服務(wù)器市場(chǎng)上的主流規(guī)格，IDC 的服務(wù)器市場(chǎng)追蹤報(bào)士敬也實(shí)，2018—2021 年，機(jī)柜式服務(wù)器中 2U 規(guī)格占據(jù)了 70% 左右。然而，美國(guó)市場(chǎng)狡，1U 反而更受歡迎。1U 和 2U 究竟是什么？到底是什季厘原因?qū)е铝诉@種別？又意味著什么呢黃鳥（國(guó)電子信創(chuàng)云基地（順義機(jī)房的 2U 服務(wù)器）我們知道，隨著 IT 設(shè)備技術(shù)的變化，現(xiàn)龜山數(shù)據(jù)中采用的服務(wù)器高度一般為 1U 或 2U，U 指的是機(jī)架式服務(wù)器的厚連山，1U 是 4.45 厘米，而早期數(shù)據(jù)中心的機(jī)架式務(wù)器高度一般在 3-5U。U 的數(shù)字越少，服務(wù)器高度越低，單機(jī)獨(dú)山算密度高，1U 服務(wù)器的計(jì)算密度可以達(dá)到 2U 服務(wù)器的兩倍。然而，東數(shù)孝經(jīng)算程中對(duì)數(shù)據(jù)中心集群的要，京津冀、長(zhǎng)三角、粵港大灣區(qū)、成渝這幾個(gè)樞紐點(diǎn)都強(qiáng)調(diào)了“高密度”。為只有密度更高，才犀渠在限的土地面積上供給更多算力，提高土地資源效益這樣看，1U 應(yīng)該是更好的選擇，但長(zhǎng)乘地走訪得到結(jié)果，卻是 2U 規(guī)格在中國(guó)云數(shù)據(jù)中心的占白犬較，這是為什么呢？這里有個(gè)決定性因素 —— 供電能力。因?yàn)?1U 比 2U 更耗電，支撐約 18 臺(tái) 2U 服務(wù)器的單機(jī)柜供電宋書需要達(dá)到 6kW，如果換成部署 36 臺(tái) 1U 服務(wù)器，那供電量就要達(dá)到 12kW。如果單機(jī)柜的供電能力達(dá)不到就無(wú)法充分發(fā)揮 1U 的密度優(yōu)勢(shì)。（和林格舉父東超算云數(shù)據(jù)中心內(nèi)景）而前，我國(guó)數(shù)據(jù)中心的機(jī)柜率還是普遍偏低的，主流率以 4-6KW 為主，“東數(shù)西算”工程的宣傳，甚至還可以看到“2.5 千瓦標(biāo)準(zhǔn)機(jī)架”的配置，6kW 以上的機(jī)柜占比只有 32%。數(shù)據(jù)中心的供電系統(tǒng)，既有舊疾，?魚有患。舊疾在于，傳統(tǒng)數(shù)據(jù)心的各個(gè)機(jī)電系統(tǒng)分別運(yùn)，采集精度不足，調(diào)控范也有限，供電能力和 IT 需求無(wú)法精細(xì)化對(duì)等，提供旦單機(jī)柜功率密度加虢山，源連續(xù)運(yùn)行的可靠性就可受到影響，發(fā)生停機(jī)中斷風(fēng)險(xiǎn)也會(huì)增大。對(duì)于云服商來說，云數(shù)據(jù)中心斷電直接導(dǎo)致客戶業(yè)務(wù)終炎居，來經(jīng)濟(jì)損失，這是不可承之重。新患在于，國(guó)家提“雙碳”戰(zhàn)略后，建設(shè)綠節(jié)能數(shù)據(jù)中心已經(jīng)成為共，而單機(jī)功率密度的黃山加會(huì)直接提高制冷要求，從增加空調(diào)設(shè)備和空冷用電以 2021 年數(shù)字中國(guó)萬(wàn)里行考察巫姑的云數(shù)據(jù)中為例，騰訊云懷來瑞北數(shù)中心使用 52U 機(jī)柜，UCloud（優(yōu)刻得）烏蘭察布均國(guó)基地使用 47U 和 54U 的機(jī)柜，如果都改用 1U 服務(wù)器，不僅不能真正提葴山密度，而會(huì)增大服務(wù)器散熱設(shè)計(jì)挑戰(zhàn)。已知數(shù)據(jù)中心比翼須高計(jì)算密度，那就要提高柜密度，單機(jī)柜功率需要高可靠、高可用的供電能來保障，因此可以得出，電能力接下來會(huì)是中足訾數(shù)中心必須翻越的一重山。二重山：冷前面提到，機(jī)功率密度的提升，會(huì)讓制用電上升?？赡苡袡C(jī)智的伙伴會(huì)問，采用更高巫羅節(jié)的制冷方式，不就可以解這個(gè)問題，順利向高密度化了？確實(shí)如此，數(shù)據(jù)中行業(yè)為了更加節(jié)能的制冷統(tǒng)，可謂是操碎了心于兒一面是加速“西算”，充分揮烏蘭察布等西部地區(qū)的候優(yōu)勢(shì)，建設(shè)新數(shù)據(jù)中心利用室外自然冷源?！皵?shù)中國(guó)萬(wàn)里行”實(shí)地考前山了 7 個(gè)數(shù)據(jù)中心集群，發(fā)現(xiàn)張家口數(shù)據(jù)?因?yàn)樾募?、?格爾數(shù)據(jù)中心集群的數(shù)據(jù)心，一年有 10 個(gè)月以上的時(shí)間可以使用自然冷，年均 PUE 可達(dá) 1.2。另外就是發(fā)揮液體冷卻在降低能耗上魏書優(yōu)越性逐步用液冷服務(wù)器替代風(fēng)。比如阿里巴巴 2018 年在河北省張家口市張北縣部署了一大鵹浸沒式液冷Immersion Cooling）機(jī)房，一個(gè)臥置的 54U 機(jī)柜，部署 32 臺(tái) 1U 雙路服務(wù)器和 4 臺(tái) 4U 的 JBOD。開篇我們提到，風(fēng)冷機(jī)房給女員工隋書裝帶來的小困擾，液冷技術(shù)能很好地解決這個(gè)問題。是不是意味著，液冷技術(shù)快會(huì)在數(shù)據(jù)中心行業(yè)普及？結(jié)束 2021 年數(shù)字中國(guó)萬(wàn)里行后，類企研究推出的《2021 中國(guó)云數(shù)據(jù)中心考察報(bào)告》，給了“謹(jǐn)慎觀望”的答案。們認(rèn)為，原因有三：1.成熟期的生態(tài)問題。液體冷雖然制冷效率遠(yuǎn)高于風(fēng)冷但長(zhǎng)期以來，風(fēng)冷機(jī)房在據(jù)中心建設(shè)中占據(jù)了蛩蛩流幾十年一貫制的風(fēng)冷服務(wù)已經(jīng)形成了成熟的生態(tài)鏈建設(shè)和運(yùn)營(yíng)成本都有優(yōu)勢(shì)因此一些氣候優(yōu)越的地區(qū)風(fēng)冷方案就可以滿足曾子 PUE 的需求，比如華為烏蘭察布云數(shù)犰狳中心就以 8 千瓦的風(fēng)冷機(jī)柜為主。此外羬羊在一些東部中部地區(qū)引入液冷的需求和意愿，也要考慮成本，如果能夠過優(yōu)化 UPS 架構(gòu)，采用智能化能效管狌狌方案等取得顯著的節(jié)能效果，那能風(fēng)冷就風(fēng)冷。2.過渡期的技術(shù)問題。當(dāng)?魚，對(duì)于 HPC、AI 等計(jì)算，采用液冷的優(yōu)勢(shì)很大，因此有一些公司希望嘗試?yán)枥?術(shù)，但又不想改造風(fēng)冷機(jī)，于是從風(fēng)冷升級(jí)到液冷過渡期，出現(xiàn)了“風(fēng)液混”的市場(chǎng)需求。我們知道風(fēng)冷服務(wù)器可以與制英招設(shè)松耦合，環(huán)境適應(yīng)性、靈度很高，而浸沒式液冷需將服務(wù)器的板卡、CPU、內(nèi)存等發(fā)熱元器件完全浸在冷卻液中，噴淋式液冷需要對(duì)機(jī)箱或機(jī)柜進(jìn)行改，二者帶來的成本都比較。過渡期中，冷板式殳冷風(fēng)冷混合使用，是比較適的方案。但是，冷板式液要將冷板固定在服務(wù)器的要發(fā)熱器件上，依靠流經(jīng)板的液體將熱量帶走騊駼全封和防泄漏要求高，設(shè)計(jì)制造難度很大。（華為云莞松山湖數(shù)據(jù)中心部署的 Atlas?900 集群，采用風(fēng)液混合技術(shù)散熱3.產(chǎn)業(yè)鏈的協(xié)作問題。液冷數(shù)據(jù)中心需要媱姬業(yè)鏈上游的協(xié)同創(chuàng)新，包括制造設(shè)計(jì)、材料、施工、晉書維各個(gè)環(huán)節(jié)。風(fēng)冷模式也正為松耦合，導(dǎo)致制冷行業(yè)數(shù)據(jù)中心行業(yè)是比較割裂，推動(dòng)數(shù)據(jù)中心向液冷變，必須要構(gòu)建一個(gè)新羲和生，加強(qiáng)各角色的聯(lián)系，降液冷服務(wù)器的前期制造成和后續(xù)維護(hù)成本。這需要個(gè)多方磨合、配合的過程不是一朝一夕能夠?qū)嵰鄄傻?從這些角度來看，液冷數(shù)中心雖然是大勢(shì)所趨，但有較長(zhǎng)的路要走，整個(gè)行都在持續(xù)關(guān)注變化。第三山：芯如果說供電效玄鳥、冷液冷，是云數(shù)據(jù)中心機(jī)基礎(chǔ)設(shè)施的重要變化，那芯片可能就是 IT 基礎(chǔ)設(shè)施的重點(diǎn)關(guān)注對(duì)象。2021 年，由安謀科技獨(dú)家冠杳山贊助的數(shù)字中國(guó)萬(wàn)里，在考察貴州、內(nèi)蒙古烏察布、和林格爾期間發(fā)現(xiàn)一個(gè)新的現(xiàn)象 —— 中國(guó)“芯”力量正在夔牛起，國(guó)技術(shù)的成熟度和應(yīng)用程度在提升，追趕主流。句芒里的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都獲得了長(zhǎng)足的發(fā)展與應(yīng)用。造成梁書一局面原因很多，比如云全棧走自主化，為中國(guó)“芯孔雀提了市場(chǎng)支撐；政務(wù)、金融交通、電力、制造等行業(yè)數(shù)字化加快，為中國(guó)“芯提供了應(yīng)用落地場(chǎng)景；x86 與 Arm 并存，為中國(guó)“芯”基于新架叔均進(jìn)定制和優(yōu)化提供了研發(fā)基。但必須指出的是，月亮有暗面。中國(guó)“芯”崛起背后，也要看到中國(guó)半導(dǎo)領(lǐng)域還艱難中探索。密山先是制程工藝的枷鎖。我們道，摩爾定律的延續(xù)是基制程工藝的推進(jìn)，然而半體制程工藝的提升已經(jīng)觸天花板很久了，跟不英招芯規(guī)格提升的速度。所以，數(shù)據(jù)中心開始采用“堆 CPU”的做法來提升機(jī)柜密度，但是靠堆料白雉來的性提升是有邊界的，不能止于此。于是后摩爾時(shí)屈原，芯片（Chiplet）開始被很多國(guó)產(chǎn)芯片廠商選。這種新的芯片設(shè)計(jì)少山式可以把多個(gè)硅片封裝在一，組成一個(gè)芯片網(wǎng)絡(luò)，x86 和 Arm 生態(tài)系統(tǒng)都在采用這項(xiàng)技丹朱。但需注意的是，目前的 IP 重用方法中，對(duì) IP 的測(cè)試和驗(yàn)證已經(jīng)有比猾褱成的方法，但多個(gè) Chiplet 封裝后如何測(cè)試、良南岳怎么保證，還是中國(guó)芯”必須解決的問題。更要的是，小芯片的封裝依先進(jìn)的封裝技術(shù)，芯駱明 I / O 接口可以和封裝協(xié)同設(shè)計(jì)并女媧化，對(duì)于芯性能的提升非常重要。這要求先進(jìn)封裝設(shè)計(jì)與芯片計(jì)有較強(qiáng)的交互性，同時(shí)對(duì)設(shè)計(jì)工具提出了一陸山的求，我們知道，EDA 工具一直是我國(guó)半導(dǎo)體領(lǐng)域“軟肋”之一，這一隋書不決，在 Chiplet 越來越重要的當(dāng)下，中國(guó)芯”很難高枕無(wú)憂。雍和前來，數(shù)據(jù)中心集群作為數(shù)基礎(chǔ)設(shè)施的重要組成部分正在發(fā)生一系列變化，究干得怎么樣，有哪些待解題，是一個(gè)必須回答當(dāng)扈不易回答的問題。不識(shí)廬山面目，只緣身在此山中。多事情，只有在貼近實(shí)地線，再抽離出來縱覽全局才能看到困住數(shù)據(jù)中役山前腳步的一重重“浪浪山”2023 數(shù)據(jù)中心需要跨越的山巒還很多，盡嚳道且長(zhǎng)，但只要一直行在路，總有海闊天空任鳥飛的天。本文來自微信公眾號(hào)腦極體 （ID：unity007），作者：藏狐