在數(shù)據(jù)中心能耗中,IT設(shè)備的能耗居首,其次為制冷能耗;以一個(gè)PUE=1.5的數(shù)據(jù)中心為例,電力系統(tǒng)消耗5%～10%,接近25%～35%是制冷能耗。探索低能耗提升效率,優(yōu)化TCO成本的綠色節(jié)能制冷系統(tǒng)方式是本文探索的重點(diǎn)。

1 數(shù)據(jù)中心制冷系統(tǒng)節(jié)能的界定

數(shù)據(jù)中心制冷系統(tǒng)的綠色節(jié)能,由三個(gè)主要的指標(biāo)來(lái)界定和評(píng)估:最大化制冷效率、最小化能量傳遞能耗和系統(tǒng)成本最優(yōu)。因此對(duì)于數(shù)據(jù)中心制冷系統(tǒng)節(jié)能方式將從兩個(gè)維度進(jìn)行分析評(píng)估,即從熱量傳遞途徑橫向進(jìn)行剖析和制冷系統(tǒng)縱向的比對(duì)。通過(guò)對(duì)制冷系統(tǒng)的分解,可以劃分為四個(gè)級(jí)別(見(jiàn)圖1):

①?gòu)睦鋮s數(shù)據(jù)中心的IT設(shè)備的芯片級(jí)別開(kāi)始,是設(shè)備部件級(jí)別的冷卻級(jí),為第一級(jí);

②IT硬件設(shè)備散熱到機(jī)架,是硬件設(shè)備的冷卻級(jí),為第二級(jí);

③若干設(shè)備組成的機(jī)架和機(jī)架列散熱,是機(jī)架和模塊級(jí)別的冷卻級(jí),為第三級(jí);

④機(jī)房?jī)?nèi)部熱量被冷卻系統(tǒng)傳導(dǎo)到室外,完成整個(gè)制冷冷卻系統(tǒng)的流程,為第四級(jí),主要是縱向的不同類型制冷系統(tǒng)的對(duì)比。

這四個(gè)級(jí)別可以在每個(gè)層級(jí)進(jìn)行分析對(duì)比,尋找每個(gè)級(jí)別最佳節(jié)能方式。最后，運(yùn)營(yíng)管理和能效管控系統(tǒng)是實(shí)現(xiàn)這些節(jié)能方式發(fā)揮效果的重要手段。

2 第一級(jí)別制冷系統(tǒng)節(jié)能方式:芯片/IT節(jié)點(diǎn)設(shè)備冷卻

(1) 風(fēng)冷散熱片

風(fēng)冷散熱片是最常見(jiàn)的散熱器件,一般是導(dǎo)熱性能比較好的鋁或銅等材料,加工成散熱翅片以增加散熱面積和效率,通過(guò)特殊的介質(zhì)(通常是導(dǎo)熱硅脂)緊貼住發(fā)熱量很大的芯片,然后再在散熱片上固定一個(gè)風(fēng)扇來(lái)增加流速,提升換熱能力,更快帶走熱量,從而達(dá)到對(duì)芯片散熱的目的。提升風(fēng)冷散熱的途徑是提高散熱面積、提高換熱系數(shù)、提升輻射散熱效率、使用散熱效率更佳的材料、粘合充分接觸保證降低傳導(dǎo)熱阻等,風(fēng)冷散熱片如圖2所示。

風(fēng)冷散熱片的優(yōu)點(diǎn)是簡(jiǎn)單實(shí)用,且價(jià)格低廉。其缺點(diǎn):

①冷卻效率不高,不能完全將CPU發(fā)熱量散發(fā)出去,僅依靠傳導(dǎo)和對(duì)流容易達(dá)到風(fēng)冷散熱器導(dǎo)熱極限;

②隨著風(fēng)扇的功率和轉(zhuǎn)速的增大,噪聲也隨之增大;

③由于風(fēng)扇是運(yùn)動(dòng)部件,較易損壞,對(duì)可靠性有一定影響。

(2) 熱管散熱器(見(jiàn)圖3)

熱管散熱器對(duì)比常規(guī)的風(fēng)冷散熱片有所改變,在最貼近CPU部分使用高效的熱管替代常規(guī)金屬基座。熱管是通過(guò)封閉的金屬腔體和毛細(xì)吸熱芯,充分利用了換熱工質(zhì)在熱端蒸發(fā)后,在冷端冷凝相變(即利用液體的蒸發(fā)潛熱和凝結(jié)潛熱)和熱傳導(dǎo)原理,使熱量快速傳導(dǎo)透過(guò)熱管將發(fā)熱物體的熱量迅速傳遞到熱源外,其導(dǎo)熱能力高于同等質(zhì)量金屬達(dá)到數(shù)量級(jí)的級(jí)別,而且平板型熱管的熱溫度場(chǎng)均勻,局部換熱量大,成為更佳的散熱解決方案,當(dāng)然成本有所增加。

(3) 液冷

液體冷卻通常采用特種或特殊處理液體直接或近距離間接換熱冷卻芯片或者IT整體設(shè)備。液體冷卻分間接液冷和直接液冷。

間接液冷實(shí)質(zhì)是冷媒與發(fā)熱元件被導(dǎo)熱材料分離,不直接接觸,而是通過(guò)液冷板、液冷頭等高效熱傳導(dǎo)部件,將被冷卻對(duì)象的熱量傳遞到冷媒中,冷媒再通過(guò)制冷系統(tǒng)實(shí)現(xiàn)冷媒的循環(huán)和降溫。

采用間接冷卻的液冷散熱系統(tǒng),對(duì)IT設(shè)備沒(méi)有明顯改動(dòng),僅需將原風(fēng)冷散熱片替換為液冷散熱片,成為冷媒換熱系統(tǒng)。常規(guī)情況下,芯片工作溫度為20～60℃區(qū)間,可以使用無(wú)相變的水(離子水+銅緩蝕劑)或者水氟轉(zhuǎn)換系統(tǒng)進(jìn)行換熱,通過(guò)外部冷卻水或冷凍水系統(tǒng)實(shí)現(xiàn)系統(tǒng)換熱。該系統(tǒng)重點(diǎn)在于選擇合適的冷媒,并且設(shè)計(jì)復(fù)雜的冷媒管路到達(dá)每個(gè)機(jī)架,為每個(gè)IT設(shè)備設(shè)計(jì)無(wú)滴漏的快速接頭,保證液冷系統(tǒng)支持熱插拔,實(shí)現(xiàn)維護(hù)時(shí)不中斷整個(gè)系統(tǒng),并避免換熱介質(zhì)流出。流體直通式間接冷卻如圖4所示。數(shù)據(jù)中心中較多的循環(huán)管路,成了故障維護(hù)和水力平衡的難題。

直接冷卻是采用密閉的氟化液等礦物質(zhì)直接浸泡冷卻IT設(shè)備的芯片、內(nèi)存等發(fā)熱部件,形成密封的一級(jí)散熱循環(huán)系統(tǒng),而二級(jí)循環(huán)系統(tǒng)可以采用自然風(fēng)冷或者冷卻水系統(tǒng)進(jìn)行冷卻。對(duì)比間接制冷系統(tǒng),直接冷卻對(duì)發(fā)熱元器件冷卻的均勻度更好,冷卻液溫度可以更高,尤其是選擇一定溫度下相變的液體,局部散熱能力強(qiáng),散熱效果更好;比如對(duì)于60℃的芯片,可以采用50℃冷卻水或冷卻蒸發(fā)溫度在55～60℃的冷媒流體,因此,即使夏季45℃高溫天氣,也可以實(shí)現(xiàn)直接新風(fēng)冷卻或者冷卻塔,從而數(shù)據(jù)中心實(shí)現(xiàn)全年自然冷卻,降低能耗,這對(duì)于全球溫帶和熱帶區(qū)域?qū)崿F(xiàn)制冷系統(tǒng)的高效帶來(lái)了突破,是有競(jìng)爭(zhēng)力的制冷方案。整體浸泡式液冷直接冷卻如圖5所示。

但是液體冷卻面臨較多挑戰(zhàn):

①目前液冷更適合于高功率密度和全新的服務(wù)器架構(gòu)設(shè)計(jì),無(wú)法兼容目前主流的風(fēng)冷的服務(wù)器架構(gòu)和數(shù)據(jù)中心設(shè)計(jì),改造難度大。

②因規(guī)模和應(yīng)用范圍的限制,尤其是部分IT設(shè)備部件材料在直接冷卻液體中的兼容性和化學(xué)穩(wěn)定特性需要長(zhǎng)期測(cè)試驗(yàn)證,液體冷卻的成本較高。

③系統(tǒng)設(shè)計(jì)有待項(xiàng)目驗(yàn)證和優(yōu)化,如對(duì)于每個(gè)IT設(shè)備液冷需要大量的管路優(yōu)化設(shè)計(jì)和水力平衡及流量控制、冷媒冷卻溫度的控制和二級(jí)循環(huán)冷卻管路的匹配聯(lián)動(dòng)控制等。

④IT設(shè)備的維護(hù)更換需要液冷支持快速插拔無(wú)滲漏的更換,供電電纜和傳輸?shù)墓饫|連接器等有源部件的密封和散熱都需要優(yōu)化設(shè)計(jì)。

在這一級(jí)別的換熱環(huán)節(jié)中,不論散熱片還是熱管均需要IT設(shè)備級(jí)別的風(fēng)扇強(qiáng)制對(duì)流換熱,二者的區(qū)別無(wú)非是使用換熱效率和溫度場(chǎng)均勻度方面存在差異,風(fēng)冷散熱片的散熱極限一般為40W/cm2。

利用腔體內(nèi)的沸騰或者熱管配合風(fēng)冷強(qiáng)制換熱,常規(guī)做到100W/cm2,利用IC工藝制成的多根微型熱管陣列的水冷泵循環(huán),其冷卻功率可達(dá)200W/cm2,而當(dāng)水的流量為10cm3/s,水的溫升為71℃時(shí),冷卻熱流高達(dá)790W/cm2,是目前散熱能力最大的水冷裝置。

3 第二級(jí)別制冷節(jié)能方式:IT設(shè)備機(jī)架散熱

這一級(jí)別的換熱是IT機(jī)架與數(shù)據(jù)中心區(qū)域環(huán)境的熱交換,可以將換熱方式劃分為兩種模式:一種是直接風(fēng)冷換熱或風(fēng)冷結(jié)合某種高效液冷換熱單元部分進(jìn)行接力傳遞換熱;另一種是直接浸泡換熱。

(1)機(jī)架的風(fēng)冷換熱

機(jī)架的風(fēng)冷換熱的核心是在實(shí)現(xiàn)IT設(shè)備正常工作的均勻溫度場(chǎng)基礎(chǔ)上,實(shí)現(xiàn)溫差和風(fēng)量的匹配均衡,其節(jié)能實(shí)現(xiàn)的途徑主要為兩種:第一種是在保證IT設(shè)備正常工作溫度基礎(chǔ)上,盡量提升送風(fēng)溫度,保證合適的風(fēng)量,降低上一級(jí)換熱系統(tǒng)的能耗,實(shí)現(xiàn)系統(tǒng)的節(jié)能,是主要的節(jié)能方式;另一種是大溫差減少送風(fēng)量對(duì)應(yīng)減少風(fēng)機(jī)能耗的節(jié)能方式,調(diào)風(fēng)量降低風(fēng)機(jī)能耗主要是使用直流或者變頻風(fēng)機(jī)根據(jù)IT設(shè)備工作情況進(jìn)行自動(dòng)調(diào)節(jié),但是對(duì)于數(shù)據(jù)中心整個(gè)制冷環(huán)節(jié),1臺(tái)250W的服務(wù)器常規(guī)配置兩個(gè)12～15W的風(fēng)扇,風(fēng)機(jī)能耗占比為5%左右,即使可以采用變頻或者直流風(fēng)機(jī)對(duì)比定頻風(fēng)機(jī)實(shí)現(xiàn)10%～20%的節(jié)能,但是整體節(jié)能空間僅(10%～20%)×5%=0.5%～1%,節(jié)能空間有限。

(2)IT機(jī)架氣流組織的改善

IT機(jī)架可以在滿足運(yùn)營(yíng)安全的情況下,去除機(jī)柜前后柜門改善氣流組織。目前機(jī)架常規(guī)的柜門開(kāi)孔率在40%～70%,去除柜門,可以有效降低送風(fēng)和回風(fēng)阻力。

更有效的氣流組織改善方式是IT設(shè)備機(jī)架的進(jìn)行盲板密封,可以將IT機(jī)架前后進(jìn)出風(fēng)空間有效密封,避免服務(wù)器吸入熱通道回流熱風(fēng)而導(dǎo)致的局部過(guò)熱,增加IT設(shè)備的能耗,另外,這一措施為提升整體送風(fēng)溫度做準(zhǔn)備。

筆者在某運(yùn)營(yíng)的數(shù)據(jù)中心中,對(duì)比測(cè)試機(jī)架密封與不密封情況;在風(fēng)冷空調(diào)送風(fēng)13～14℃時(shí),IT機(jī)架密封時(shí)正面進(jìn)風(fēng)溫度場(chǎng)比較均勻,穩(wěn)定在14～15℃;而當(dāng)機(jī)架沒(méi)有盲板密封情況下,因機(jī)架熱回風(fēng)容易短路回流,整個(gè)機(jī)架溫度場(chǎng)會(huì)提升到20～22℃,服務(wù)器風(fēng)溫度提升到30℃,出現(xiàn)局部區(qū)域過(guò)熱的趨勢(shì)。圖6和圖7分別是IT機(jī)架在密狀態(tài)下和有漏風(fēng)無(wú)盲板密封狀態(tài)下的溫度分布圖。

(3) IT機(jī)架局部高效換熱

IT設(shè)備機(jī)架散熱效率提升,主要采用各種近距離高效換熱設(shè)備,如無(wú)風(fēng)扇背板換熱器和熱管換熱器、有源的定點(diǎn)風(fēng)機(jī)盤管(置頂/機(jī)架架空地板下均可)、列間空調(diào)、冰箱式內(nèi)部風(fēng)機(jī)盤管等;因應(yīng)用場(chǎng)合和對(duì)于水進(jìn)入機(jī)房的考慮不同,循環(huán)工質(zhì)可以選擇水或者氟利昂等介質(zhì)。

近距離制冷單元(見(jiàn)圖8)對(duì)比遠(yuǎn)距離的機(jī)房空調(diào)等,有兩個(gè)亮點(diǎn):一是機(jī)柜級(jí)別的換熱循環(huán),循環(huán)路徑僅為機(jī)柜的深度或者高度,可以減少循環(huán)路徑中的漏風(fēng)或者短路影響,即減少循環(huán)風(fēng)機(jī)的能耗,風(fēng)機(jī)能耗同比降低10%～20%。但因?yàn)轱L(fēng)機(jī)能耗在整體能耗所占比例低,節(jié)能空間有限。二是直接最短距離與IT設(shè)備機(jī)架的熱回風(fēng)直接換熱(IT設(shè)備熱回收常規(guī)在30～40℃),可以將循環(huán)換熱供回水溫度提升到17℃/22℃,對(duì)比常規(guī)數(shù)據(jù)中心制冷系統(tǒng)設(shè)計(jì)的循環(huán)供回水溫度(如10℃/15℃)提升了7℃,節(jié)能環(huán)節(jié)可以轉(zhuǎn)移在外部制冷循環(huán)上。有的文獻(xiàn)對(duì)各種空調(diào)系統(tǒng)的能耗系數(shù)做了比較,指出機(jī)房級(jí)別的風(fēng)冷空調(diào)能耗最高,其次為高溫冷凍水空調(diào),再次是機(jī)架級(jí)別的列間空調(diào)和水冷背板系統(tǒng),最優(yōu)為芯片級(jí)別,其能耗最低。所以,減少制冷環(huán)節(jié)中的損耗、更有效的冷卻換熱設(shè)備、更短途徑的冷卻發(fā)熱設(shè)備,能實(shí)現(xiàn)更低的能耗。

4 第三級(jí)別制冷節(jié)能方式:機(jī)架列-模塊房間節(jié)能

在機(jī)架列到數(shù)據(jù)中心機(jī)房的節(jié)能,主要是通過(guò)房間和區(qū)域的氣流組織優(yōu)化,提升機(jī)房空調(diào)的利用效率,對(duì)于IT設(shè)備發(fā)熱源進(jìn)行相對(duì)精確的冷量匹配,溫度場(chǎng)調(diào)優(yōu),實(shí)現(xiàn)最大化利用冷風(fēng)冷卻IT設(shè)備,實(shí)現(xiàn)節(jié)能。節(jié)能方式有冷熱通道進(jìn)行分離,再增加送風(fēng)地板或回風(fēng)吊頂,有組織的進(jìn)行氣流組織引導(dǎo),有效減少同等散熱量情況下的風(fēng)量和壓頭損失,從而降低風(fēng)機(jī)能耗;再次將冷通道或者熱通道進(jìn)行密閉,從而保證送風(fēng)溫度場(chǎng)的均勻,避免局部熱點(diǎn),目的是提升送風(fēng)溫度對(duì)應(yīng)提高制冷系統(tǒng)的蒸發(fā)溫度從而實(shí)現(xiàn)制冷系統(tǒng)壓縮機(jī)功耗的降低,最終在第四級(jí)別的制冷系統(tǒng)級(jí)實(shí)現(xiàn)整體節(jié)能。圖9為典型冷通道密封情況下熱成像剖面圖,下部為地板風(fēng)口,上部為通道門,兩側(cè)為服務(wù)器進(jìn)風(fēng)口。

5 結(jié)束語(yǔ)

降低數(shù)據(jù)中心的制冷能耗,是優(yōu)化PUE的重要手段。探索低能耗、提升效率,優(yōu)化TCO成本,構(gòu)筑綠色節(jié)能的制冷系統(tǒng)將成為建設(shè)綠色數(shù)據(jù)中心的重點(diǎn)。

• 上一篇：政策隨需及時(shí)調(diào)整 空調(diào)采購(gòu)規(guī)范有序
• 下一篇：數(shù)據(jù)中心機(jī)房柴油發(fā)電機(jī)組容量選擇和計(jì)算
  
• 文章標(biāo)簽： 數(shù)據(jù)中心 系統(tǒng)
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載，如有轉(zhuǎn)載，請(qǐng)標(biāo)明出處。如有內(nèi)容侵犯您的權(quán)益，請(qǐng)聯(lián)系刪除！QQ:315212307