2023 開年，浪浪山的一只小豬妖火出圈，在《中國奇譚》部國漫的第一個(gè)單元，小豬妖躊躇滿志，要做出一番事業(yè)，結(jié)費(fèi)盡千辛萬苦，自己工作成果卻被否定，后，小豬妖說出了那經(jīng)典臺(tái)詞“我想離開浪山”。小豬妖的遭，戳中了當(dāng)代打工人隱痛，也像極了數(shù)據(jù)心里那些鮮為人知，百抓撓心的困境。近來，我們能夠在很多壇、峰會(huì)、發(fā)布會(huì)商到一些高瞻遠(yuǎn)矚、提挈領(lǐng)的話，比如“計(jì)力就是生產(chǎn)力”、“字經(jīng)濟(jì)的基礎(chǔ)設(shè)施”“上云用數(shù)賦智”等這些宏觀層面的趨勢路線支撐著云數(shù)據(jù)中、智算中心等計(jì)算集的快速發(fā)展，我們也此前的文章中分析過多。不過，實(shí)際建設(shè)程中，會(huì)面臨這樣那的具體挑戰(zhàn)，可能是在辦公室 / 研究所，對著 PPT 指點(diǎn)江山的人很難想象的比如西部某高校中計(jì)中心的一個(gè)女工作人曾告訴我，服務(wù)器散主要靠風(fēng)冷，維持降會(huì)加大送風(fēng)風(fēng)力，她女員工進(jìn)機(jī)房都是沒穿裙子的；機(jī)房內(nèi)的音很大，常年負(fù)責(zé)運(yùn)的同事，聽力也受到損害。這些細(xì)節(jié)而真的難題，構(gòu)成了數(shù)據(jù)心必須翻越的浪浪山否則就會(huì)像小豬妖一疲憊且做無用功，而些問題，只能從扎根腳下的土地中來，從一線人員交流中來。天我們就結(jié)合一些實(shí)見聞來聊一聊，數(shù)據(jù)心正在等待翻越哪些巒。第一重山：電談數(shù)據(jù)中心的中美差異你會(huì)想到什么？芯片架構(gòu)、軟件、產(chǎn)業(yè)鏈有一個(gè)容易被忽略但重要的因素是：供電益企研究院自 2018 年來實(shí)地考察了多個(gè)國內(nèi)云數(shù)據(jù)中心，現(xiàn) 2 路 2U 是國內(nèi)服務(wù)器市場上的流規(guī)格，IDC 的服務(wù)器市場追蹤報(bào)告也實(shí)，2018—2021 年，機(jī)柜式服務(wù)器中 2U 規(guī)格占據(jù)了 70% 左右。然而，美國市場上，1U 反而更受歡迎。1U 和 2U 究竟是什么？到底是什么原因?qū)?了這種差別？又意味什么呢？（中國電子創(chuàng)云基地（順義）機(jī)的 2U 服務(wù)器）我們知道，隨著 IT 設(shè)備技術(shù)的變化，現(xiàn)數(shù)據(jù)中心采用的服務(wù)高度一般為 1U 或 2U，U 指的是機(jī)架式服務(wù)器的厚度，1U 是 4.45 厘米，而早期數(shù)據(jù)中心機(jī)架式服務(wù)器高度一在 3-5U。U 的數(shù)字越少，服務(wù)器高越低，單機(jī)計(jì)算密度高，1U 服務(wù)器的計(jì)算密度可以達(dá)到 2U 服務(wù)器的兩倍。然而，東數(shù)西算天吳程中對據(jù)中心集群的要求，津冀、長三角、粵港大灣區(qū)、成渝這幾個(gè)紐節(jié)點(diǎn)都強(qiáng)調(diào)了“高度”。因?yàn)橹挥忻芏?高，才能在有限的土面積上供給更多的算，提高土地資源效益這樣看，1U 應(yīng)該是更好的選擇，但實(shí)地訪得到的結(jié)果，卻是 2U 規(guī)格在中國云數(shù)據(jù)中心的占比較孟鳥，是為什么呢？這里有個(gè)決定性因素 —— 供電能力。因?yàn)?1U 比 2U 更耗電，支撐約 18 臺(tái) 2U 服務(wù)器的單機(jī)柜供電量需要達(dá)到 6kW，如果換成部署 36 臺(tái) 1U 服務(wù)器，那供電量就要達(dá)到 12kW。如果單機(jī)柜的供電能力達(dá)不到顓頊就法充分發(fā)揮 1U 的密度優(yōu)勢。（和林格東方超算云數(shù)據(jù)中心景）而目前，我國數(shù)中心的機(jī)柜功率還是遍偏低的，主流功率 4-6KW 為主，“東數(shù)西算”工程的傳中，甚至還可以看“2.5 千瓦標(biāo)準(zhǔn)機(jī)架”的配置，6kW 以上的機(jī)柜占比只有 32%。數(shù)據(jù)中心的供電系統(tǒng)，既有舊疾，有新患。舊疾在于，統(tǒng)數(shù)據(jù)中心的各個(gè)機(jī)系統(tǒng)分別運(yùn)行，采集度不足，調(diào)控范圍也限，供電能力和 IT 需求無法精細(xì)化對等，一旦單機(jī)柜功率密加大，電源連續(xù)運(yùn)行可靠性就可能受到影，發(fā)生停機(jī)中斷的風(fēng)也會(huì)增大。對于云服商來說，云數(shù)據(jù)中心電會(huì)直接導(dǎo)致客戶業(yè)終端，帶來經(jīng)濟(jì)損失這是不可承受之重。患在于，國家提出“碳”戰(zhàn)略后，建設(shè)綠節(jié)能數(shù)據(jù)中心已經(jīng)成共識(shí)，而單機(jī)功率密的增加，會(huì)直接提高冷要求，從而增加空設(shè)備和空冷用電。以 2021 年數(shù)字中國萬里行考察過的云數(shù)中心為例，騰訊云懷瑞北數(shù)據(jù)中心使用 52U 機(jī)柜，UCloud（優(yōu)刻得）烏蘭察布云基地使用 47U 和 54U 的機(jī)柜，如果都改用 1U 服務(wù)器，不僅不能真提高密度，反而會(huì)增服務(wù)器散熱設(shè)計(jì)的挑。已知數(shù)據(jù)中心必須高計(jì)算密度，那就要高單柜密度，單機(jī)柜率需要更高可靠、高用的供電能力來保障因此可以得出，供電力接下來會(huì)是中國數(shù)中心必須翻越的一重。第二重山：冷前面到，機(jī)柜功率密度的升，會(huì)讓制冷用電上?？赡苡袡C(jī)智的小伙會(huì)問，采用更高效節(jié)的制冷方式，不就可解決這個(gè)問題，順利高密度進(jìn)化了？確實(shí)此，數(shù)據(jù)中心行業(yè)為更加節(jié)能的制冷系統(tǒng)可謂是操碎了心。一面是加速“西算”，分發(fā)揮烏蘭察布等西地區(qū)的氣候優(yōu)勢，建新數(shù)據(jù)中心，利用室自然冷源。“數(shù)字中萬里行”實(shí)地考察了 7 個(gè)數(shù)據(jù)中心集群，發(fā)現(xiàn)張家口數(shù)據(jù)中心群、和林格爾數(shù)據(jù)中集群的數(shù)據(jù)中心，一有 10 個(gè)月以上的時(shí)間可以使用自然冷，年均 PUE 可達(dá) 1.2。另外就是發(fā)揮液體冷卻在降低能上的優(yōu)越性，逐步用冷服務(wù)器替代風(fēng)冷。如阿里巴巴 2018 年在河北省張家口市張北縣部署了一個(gè)浸式液冷（Immersion Cooling）機(jī)房，一個(gè)臥置的 54U 機(jī)柜，部署 32 臺(tái) 1U 雙路服務(wù)器和 4 臺(tái) 4U 的 JBOD。開篇我們提到，風(fēng)冷房給女員工著裝上帶的小困擾，液冷技術(shù)能很好地解決這個(gè)問。這是不是意味著，冷技術(shù)很快會(huì)在數(shù)據(jù)心行業(yè)普及呢？結(jié)束 2021 年數(shù)字中國萬里行后，益企研究推出的《2021 中國云數(shù)據(jù)中心考察報(bào)》，給出了“謹(jǐn)慎觀”的答案。我們認(rèn)為原因有三：1.成熟期的生態(tài)問題。液體冷雖然制冷效率遠(yuǎn)高于冷，但長期以來，風(fēng)機(jī)房在數(shù)據(jù)中心建設(shè)占據(jù)了主流，幾十年貫制的風(fēng)冷服務(wù)器已形成了成熟的生態(tài)鏈建設(shè)和運(yùn)營成本都有勢，因此一些氣候優(yōu)的地區(qū)，風(fēng)冷方案就以滿足降 PUE 的需求，比如華為烏蘭布云數(shù)據(jù)中心就以 8 千瓦的風(fēng)冷機(jī)柜為主。此外，在一些東部部地區(qū)有引入液冷的求和意愿，但也要考成本，如果能夠通過化 UPS 架構(gòu)，采用智能化能效管理方等，取得顯著的節(jié)能果，那么能風(fēng)冷就風(fēng)。2.過渡期的技術(shù)問題。當(dāng)然，對于 HPC、AI 等計(jì)算，采用液冷的優(yōu)勢很大，此也有一些公司希望試液冷技術(shù)，但又不改造風(fēng)冷機(jī)房，于是風(fēng)冷升級(jí)到液冷的過期，出現(xiàn)了“風(fēng)液混”的市場需求。我們道，風(fēng)冷服務(wù)器可以制冷設(shè)備松耦合，環(huán)適應(yīng)性、靈活度很高而浸沒式液冷需要將務(wù)器的板卡、CPU、內(nèi)存等發(fā)熱元器件完浸沒在冷卻液中，噴式液冷則需要對機(jī)箱機(jī)柜進(jìn)行改造，二者來的成本都比較高。渡期中，冷板式液冷風(fēng)冷混合使用，是比適合的方案。但是，板式液冷要將冷板固在服務(wù)器的主要發(fā)熱件上，依靠流經(jīng)冷板液體將熱量帶走，全封和防泄漏要求高，計(jì)和制造難度很大。華為云東莞松山湖數(shù)中心部署的 Atlas?900 集群，采用風(fēng)液混合技術(shù)散熱3.產(chǎn)業(yè)鏈的協(xié)作問題。液冷數(shù)據(jù)中心需要業(yè)鏈上下游的協(xié)同創(chuàng)，包括制造、設(shè)計(jì)、料、施工、運(yùn)維等各環(huán)節(jié)。風(fēng)冷模式也正為松耦合，導(dǎo)致制冷業(yè)和數(shù)據(jù)中心行業(yè)是較割裂的，推動(dòng)數(shù)據(jù)心向液冷變革，必須構(gòu)建一個(gè)新的生態(tài)，強(qiáng)各角色的聯(lián)系，降液冷服務(wù)器的前期制成本和后續(xù)維護(hù)成本這需要一個(gè)多方磨合配合的過程，不是一一夕能夠?qū)崿F(xiàn)的。從些角度來看，液冷數(shù)中心雖然是大勢所趨但還有較長的路要走整個(gè)行業(yè)都在持續(xù)關(guān)變化。第三重山：芯果說供電效率、風(fēng)冷冷，是云數(shù)據(jù)中心機(jī)基礎(chǔ)設(shè)施的重要變化那么芯片可能就是 IT 基礎(chǔ)設(shè)施的重點(diǎn)關(guān)注對象。2021 年，由安謀科技獨(dú)家冠贊助的數(shù)字中國萬里，在考察貴州、內(nèi)蒙烏蘭察布、和林格爾間發(fā)現(xiàn)了一個(gè)新的現(xiàn) —— 中國“芯”力量正在崛起，國重技的成熟度和應(yīng)用程度在提升，追趕主流。里云的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都獲得了長足的展與應(yīng)用。造成這一面的原因很多，比如全棧走向自主化，為國“芯”提供了市場撐；政務(wù)、金融、交、電力、制造等行業(yè)數(shù)字化加快，為中國芯”提供了應(yīng)用落地景；x86 與 Arm 并存，為中國“芯”基于新架構(gòu)進(jìn)龍山定和優(yōu)化提供了研發(fā)基。但必須指出的是，亮都有暗面。中國“”崛起的背后，也要到中國半導(dǎo)體領(lǐng)域還難中探索。首先，是程工藝的枷鎖。我們道，摩爾定律的延續(xù)基于制程工藝的推進(jìn)然而半導(dǎo)體制程工藝提升已經(jīng)觸達(dá)天花板久了，跟不上芯片規(guī)提升的速度。所以，數(shù)據(jù)中心開始采用“ CPU”的做法來提升機(jī)柜密度，但是靠料帶來的性能提升是邊界的，不能止步于。于是后摩爾時(shí)代，芯片（Chiplet）開始被很多國產(chǎn)芯廠商選中。這種新的片設(shè)計(jì)模式，可以把個(gè)硅片封裝在一起，成一個(gè)芯片網(wǎng)絡(luò)，x86 和 Arm 生態(tài)系統(tǒng)都在采用這項(xiàng)技。但需要注意的是，前的 IP 重用方法中，對 IP 的測試和驗(yàn)證已經(jīng)有比較成的方法，但多個(gè) Chiplet 封裝后如何測試、良率怎么保，還是中國“芯”必解決的問題。更主要是，小芯片的封裝依先進(jìn)的封裝技術(shù)，芯 I / O 接口可以和封裝協(xié)同設(shè)計(jì)并化，對于芯片性能的升非常重要。這就要先進(jìn)封裝設(shè)計(jì)與芯片計(jì)有較強(qiáng)的交互性，時(shí)也對設(shè)計(jì)工具提出一定的要求，我們知，EDA 工具一直是我國半導(dǎo)體領(lǐng)域士敬“肋”之一，這一點(diǎn)不決，在 Chiplet 越來越重要的當(dāng)下，中國鳋魚芯”很難高無憂。目前看來，數(shù)中心集群作為數(shù)字基設(shè)施的重要組成部分正在發(fā)生一系列變化究竟干得怎么樣，有些待解問題，是一個(gè)須回答又不容易回答問題。不識(shí)廬山真面，只緣身在此山中。多事情，只有在貼近地一線，再抽離出來覽全局，才能看到困數(shù)據(jù)中心前進(jìn)腳步的重重“浪浪山”。2023 數(shù)據(jù)中心需要跨越的山巒還很多，盡道阻且長，但只要一行在路上，總有海闊空任鳥飛的那天。本來自微信公眾號(hào)：腦體 （ID：unity007），作者：藏?