2023 開年，浪浪山的一小豬妖火出了，在《中國奇》這部國漫的一個單元中，豬妖躊躇滿志想要做出一番業(yè)，結(jié)果費盡辛萬苦，自己工作成果卻被定，然后，小妖說出了那句典臺詞“我想開浪浪山”。豬妖的遭遇，中了當代打工的隱痛，也像了數(shù)據(jù)中心里些鮮為人知，百抓撓心的困。近年來，我能夠在很多論、峰會、發(fā)布商聽到一些高遠矚、提綱挈的話，比如“算力就是生產(chǎn)”、“數(shù)字經(jīng)的基礎(chǔ)設(shè)施”“上云用數(shù)賦”等，這些宏層面的趨勢、線支撐著云數(shù)中心、智算中等計算集群的速發(fā)展，我們在此前的文章分析過很多。過，實際建設(shè)程中，會面臨樣那樣的具體戰(zhàn)，可能是坐辦公室 / 研究所，對著 PPT 指點江山的人很難想象。比如西部某校中計算中心一個女工作人曾告訴我，服器散熱主要靠冷，維持降溫加大送風風力她們女員工進房都是沒法穿子的；機房內(nèi)噪音很大，常負責運維的同，聽力也受到損害。這些細而真實的難題構(gòu)成了數(shù)據(jù)中必須翻越的浪山，否則就會小豬妖一樣疲且做無用功，這些問題，只從扎根在腳下土地中來，從一線人員交流來。今天我們結(jié)合一些實地聞來聊一聊，據(jù)中心正在等翻越哪些山巒第一重山：電到數(shù)據(jù)中心的美差異，你會到什么？芯片架構(gòu)、軟件、業(yè)鏈？有一個易被忽略但很要的因素是：電。益企研究自 2018 年來實地考察多個國內(nèi)云數(shù)中心，發(fā)現(xiàn) 2 路 2U 是國內(nèi)服務(wù)器市上的主流規(guī)格IDC 的服務(wù)器市場追蹤報也證實，2018—2021 年，機柜式服器中 2U 規(guī)格占據(jù)了 70% 左右。然而，美國市場上1U 反而更受歡迎。1U 和 2U 究竟是什么？到底是么原因?qū)е铝?種差別？又意著什么呢？（國電子信創(chuàng)云地（順義）機的 2U 服務(wù)器）我們知道隨著 IT 設(shè)備技術(shù)的變化現(xiàn)代數(shù)據(jù)中心用的服務(wù)器高一般為 1U 或 2U，U 指的是機架式務(wù)器的厚度，1U 是 4.45 厘米，而早期數(shù)據(jù)中心的架式服務(wù)器高一般在 3-5U。U 的數(shù)字越少，服務(wù)器度越低，單機算密度越高，1U 服務(wù)器的計算密度可以達 2U 服務(wù)器的兩倍。然而東數(shù)西算工程對數(shù)據(jù)中心集的要求，京津、長三角、粵澳大灣區(qū)、成這幾個樞紐節(jié)都強調(diào)了“高度”。因為只密度更高，才在有限的土地積上供給更多算力，提高土資源效益。這看，1U 應該是更好的選擇但實地走訪得的結(jié)果，卻是 2U 規(guī)格在中國云數(shù)據(jù)中心占比較多，這為什么呢？這有一個決定性素 —— 供電能力。因為 1U 比 2U 更耗電，支撐 18 臺 2U 服務(wù)器的單機柜供電量需達到 6kW，如果換成部署 36 臺 1U 服務(wù)器，那供電量就要達到 12kW。如果單機柜的供電力達不到，就法充分發(fā)揮 1U 的密度優(yōu)勢。（和林格爾方超算云數(shù)據(jù)心內(nèi)景）而目，我國數(shù)據(jù)中的機柜功率還普遍偏低的，流功率以 4-6KW 為主，“東數(shù)西算”程的宣傳中，至還可以看到2.5 千瓦標準機架”的配，6kW 以上的機柜占比只 32%。數(shù)據(jù)中心的供電系，既有舊疾，有新患。舊疾于，傳統(tǒng)數(shù)據(jù)心的各個機電統(tǒng)分別運行，集精度不足，控范圍也有限供電能力和 IT 需求無法精細化對等，一單機柜功率密加大，電源連運行的可靠性可能受到影響發(fā)生停機中斷風險也會增大對于云服務(wù)商說，云數(shù)據(jù)中斷電會直接導客戶業(yè)務(wù)終端帶來經(jīng)濟損失這是不可承受重。新患在于國家提出“雙”戰(zhàn)略后，建綠色節(jié)能數(shù)據(jù)心已經(jīng)成為共，而單機功率度的增加，會接提高制冷要，從而增加空設(shè)備和空冷用。以 2021 年數(shù)字中國萬里行考察過的數(shù)據(jù)中心為例騰訊云懷來瑞數(shù)據(jù)中心使用 52U 機柜，UCloud（優(yōu)刻得）烏蘭布云基地使用 47U 和 54U 的機柜，如果都改用 1U 服務(wù)器，不僅不能真正提密度，反而會大服務(wù)器散熱計的挑戰(zhàn)。已數(shù)據(jù)中心必須高計算密度，就要提高單柜度，單機柜功需要更高可靠高可用的供電力來保障，因可以得出，供能力接下來會中國數(shù)據(jù)中心須翻越的一重。第二重山：前面提到，機功率密度的提，會讓制冷用上升。可能有智的小伙伴會，采用更高效能的制冷方式不就可以解決個問題，順利高密度進化了確實如此，數(shù)中心行業(yè)為了加節(jié)能的制冷統(tǒng)，可謂是操了心。一方面加速“西算”充分發(fā)揮烏蘭布等西部地區(qū)氣候優(yōu)勢，建新數(shù)據(jù)中心，用室外自然冷?！皵?shù)字中國里行”實地考了 7 個數(shù)據(jù)中心集群，發(fā)張家口數(shù)據(jù)中集群、和林格數(shù)據(jù)中心集群數(shù)據(jù)中心，一有 10 個月以上的時間可使用自然冷源年均 PUE 可達 1.2。另外就是發(fā)揮體冷卻在降低耗上的優(yōu)越性逐步用液冷服器替代風冷。如阿里巴巴 2018 年在河北省張家口市北縣部署了一浸沒式液冷（Immersion Cooling）機房，一個臥置的 54U 機柜，部署 32 臺 1U 雙路服務(wù)器和 4 臺 4U 的 JBOD。開篇我們提到，風冷機房女員工著裝上來的小困擾，冷技術(shù)就能很地解決這個問。這是不是意著，液冷技術(shù)快會在數(shù)據(jù)中行業(yè)普及呢？束 2021 年數(shù)字中國萬行后，益企研院推出的《2021 中國云數(shù)據(jù)中心考察報》，給出了“慎觀望”的答。我們認為，因有三：1.成熟期的生態(tài)問。液體冷卻雖制冷效率遠高風冷，但長期來，風冷機房數(shù)據(jù)中心建設(shè)占據(jù)了主流，十年一貫制的冷服務(wù)器已經(jīng)成了成熟的生鏈，建設(shè)和運成本都有優(yōu)勢因此一些氣候越的地區(qū)，風方案就可以滿降 PUE 的需求，比如華烏蘭察布云數(shù)中心就以 8 千瓦的風冷機為主。此外，一些東部中部區(qū)有引入液冷需求和意愿，也要考慮成本如果能夠通過化 UPS 架構(gòu)，采用智能能效管理方案，取得顯著的能效果，那么風冷就風冷。2.過渡期的技術(shù)問題。當然，于 HPC、AI 等計算，采用液冷的優(yōu)勢大，因此也有些公司希望嘗液冷技術(shù)，但不想改造風冷房，于是從風升級到液冷的渡期，出現(xiàn)了風液混布”的場需求。我們道，風冷服務(wù)可以與制冷設(shè)松耦合，環(huán)境應性、靈活度高，而浸沒式冷需要將服務(wù)的板卡、CPU、內(nèi)存等發(fā)熱器件完全浸沒冷卻液中，噴式液冷則需要機箱或機柜進改造，二者帶的成本都比較。過渡期中，板式液冷與風混合使用，是較適合的方案但是，冷板式冷要將冷板固在服務(wù)器的主發(fā)熱器件上，靠流經(jīng)冷板的體將熱量帶走全密封和防泄要求高，設(shè)計制造難度很大（華為云東莞山湖數(shù)據(jù)中心署的 Atlas?900 集群，采用風液合技術(shù)散熱）3.產(chǎn)業(yè)鏈的協(xié)作問題。液冷數(shù)中心需要產(chǎn)業(yè)上下游的協(xié)同新，包括制造設(shè)計、材料、工、運維等各環(huán)節(jié)。風冷模也正因為松耦，導致制冷行和數(shù)據(jù)中心行是比較割裂的推動數(shù)據(jù)中心液冷變革，必要構(gòu)建一個新生態(tài)，加強各色的聯(lián)系，降液冷服務(wù)器的期制造成本和續(xù)維護成本。需要一個多方合、配合的過，不是一朝一能夠?qū)崿F(xiàn)的。這些角度來看液冷數(shù)據(jù)中心然是大勢所趨但還有較長的要走，整個行都在持續(xù)關(guān)注化。第三重山芯如果說供電率、風冷液冷是云數(shù)據(jù)中心房基礎(chǔ)設(shè)施的要變化，那么片可能就是 IT 基礎(chǔ)設(shè)施的重點關(guān)注對象2021 年，由安謀科技獨冠名贊助的數(shù)中國萬里行，考察貴州、內(nèi)古烏蘭察布、林格爾期間發(fā)了一個新的現(xiàn) —— 中國“芯”力量正在起，國產(chǎn)技術(shù)成熟度和應用度正在提升，趕主流。阿里的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都獲得了長足的發(fā)與應用。造成一局面的原因多，比如云全走向自主化，中國“芯”提了市場支撐；務(wù)、金融、交、電力、制造行業(yè)的數(shù)字化快，為中國“”提供了應用地場景；x86 與 Arm 并存，為中國芯”基于新架進行定制和優(yōu)提供了研發(fā)基。但必須指出是，月亮都有面。中國“芯崛起的背后，要看到中國半體領(lǐng)域還艱難探索。首先，制程工藝的枷。我們知道，爾定律的延續(xù)基于制程工藝推進，然而半體制程工藝的升已經(jīng)觸達天板很久了，跟上芯片規(guī)格提的速度。所以云數(shù)據(jù)中心開采用“堆 CPU”的做法來提升機柜密度，是靠堆料帶來性能提升是有界的，不能止于此。于是后爾時代，小芯（Chiplet）開始被很多國產(chǎn)芯片廠商中。這種新的片設(shè)計模式，以把多個硅片裝在一起，組一個芯片網(wǎng)絡(luò)x86 和 Arm 生態(tài)系統(tǒng)都在采用這項術(shù)。但需要注的是，目前的 IP 重用方法中，對 IP 的測試和驗證經(jīng)有比較成熟方法，但多個 Chiplet 封裝后如何測試、良率怎么證，還是中國芯”必須解決問題。更主要是，小芯片的裝依靠先進的裝技術(shù)，芯片 I / O 接口可以和封裝同設(shè)計并優(yōu)化對于芯片性能提升非常重要這就要求先進裝設(shè)計與芯片計有較強的交性，同時也對計工具提出了定的要求，我知道，EDA 工具一直是我半導體領(lǐng)域的軟肋”之一，一點不解決， Chiplet 越來越重要的當下，中國芯”很難高枕憂。目前看來數(shù)據(jù)中心集群為數(shù)字基礎(chǔ)設(shè)的重要組成部，正在發(fā)生一列變化，究竟得怎么樣，有些待解問題，一個必須回答不容易回答的題。不識廬山面目，只緣身此山中。很多情，只有在貼實地一線，再離出來縱覽全，才能看到困數(shù)據(jù)中心前進步的一重重“浪山”。2023 數(shù)據(jù)中心需要跨越的山巒很多，盡管道且長，但只要直行在路上，有海闊天空任飛的那天。本來自微信公眾：腦極體 （ID：unity007），作者：藏?