1 引言

隨著數據中心技術的大規模建設,以及更為關注能源利用效率,數據中心供電技術未來的發展方向一定是市電直供技術,在降低前期投資成本的同時,還通過高效率供電減少后期運營成本。如圖1所示,未來供電技術的總體發展趨勢是高壓/集中式/交流大UPS向低壓/分布式/直流小UPS方向發展,由機房外集中式鉛酸電池向IT機柜內分布式小(鋰)電池等方向發展,從化石能源向綠色能源方向發展。

數據中心供電不間斷的核心在于不間斷電源及其電池技術,因此電池連接的位置也決定了不同的供電架構。目前,業界主流的備用電池電壓從高到低分別有UPS的400多伏,到直流電源的380V、240V及48V,甚至電池內嵌到IT設備內的12V等。圖2是目前業界在數據中心供電方面的主要技術方案,首先從集中式400多伏鉛酸電池的傳統UPS,其次到標準服務器不用定制、240V電池直掛輸出母線的240V高壓直流技術,接著還有服務器采用定制48V或者380V輸入電源的48V直流或者380V高壓直流電池直掛技術,最后再到Google等的12V電池直掛服務器主板輸入方案。電池越靠近末端服務器主板或者CPU,供電系統越為分散,相應的IT系統也更為分布式;電池越靠近末端,供電系統的定制化程度越高,普通用戶規模開展的難度也越大;電池越靠近末端,對IT電源及電池的控制管理水平要求也越高。最后,電池越靠近末端,從電網到CPU供電路徑上的轉換級數也相應減少,帶來更高的轉換效率,但可能在低壓側傳輸損耗又會增加。因此,對比集中式和分布式、高壓還是低壓,選擇不同的供電架構,會很大程度上影響供電系統可靠性、供電效率、造價成本等,還有技術、生態的成熟性以及應用靈活性等。

　　2 380V的高壓直流系統

(1) 傳統的380V直流暫時沒有市場

380V高壓直流技術在國內外已經開展了很多年,也有很多研究和標準等,雖然較傳統的UPS及48V通信電源系統有很多優勢,但涉及IT設備電源的定制以及直流供配電等配套的跟進,截至目前開展的應用規模都很小,基本停留在實驗室試點階段。數據中心內部的設備復雜多樣,涉及很多行業及不同供應商,如果僅僅為了適應380V直流供電,數據中心內的全部設備都要定制,那么帶來的成本增加及開展難度就足以抵消了其節能利好,不僅在數據中心租賃方難以推廣,在用戶側也無法接受,因此截至目前業界開展的380V高壓直流項目規模都很小,示范意義大于實際節能收益。

(2) 380V高壓直流在未來新能源方面存在一定應用空間

隨著太陽能、風能及燃料電池等綠色能源的發展,這些分布式供電可能在未來會推進380V高壓直流電源技術的發展。因為大部分的分布式清潔能源通常都是波動性的,需要先整流穩壓形成直流并經電池儲能后才可以直接用于數據中心供電,如圖3所示。而傳統的48V電源系統因為電壓較低,傳輸損耗及線纜投資較大,不適合于較大規模的分布式能源使用。相對而言,380V高壓直流系統在這方面有較大優勢。在IT設備側,可以由DC/DC變換器直接將380V高壓直流降壓到12V或5V甚至更低電壓,減少了電源內部AC/DC整流環節,整個供電路徑上效率較高,很可能是未來的發展趨勢。但同樣涉及IT設備電源的定制,以及依賴電池儲能技術的發展,短期內仍無法規模開展。

3 基本不用定制的240V直流

針對380V高壓直流技術不夠成熟,且需要定制IT設備電源等問題,目前在國內大規模應用的240V高壓直流技術很好地解決了380V高壓直流的這些問題。源于220V電力電源技術和48V通信電源技術的240V高壓直流,具有較為成熟的技術及生態積累,以及絕大多數的IT設備不用任何改造,可直接由240V高壓直流直接供電。此外,240V高壓直流技術具有高達96%的效率、智能節能休眠、高可靠性、熱插拔易維護等特性,這些優點大大普及了240V高壓直流技術在國內的開展實用。圖4是中國電信統計的240V供電IT設備增長情況。截至目前,全國已經有近10萬臺以上IT設備運行在240V高壓直流下。

(1)市電+240VHVDC50%+50%

目前,業界以騰訊為首的互聯網公司提出的基于240V高壓直流技術衍生出來的市電+240V高壓直流供電架構,正進一步改變傳統UPS等靠硬件多重冗余來保障可靠性的高投入低能效模式。

對于目前大多數的雙電源服務器,可以采用如圖5所示的一路市電直供,另外一路來自240V高壓直流的供電架構。服務器電源內部自動均流,市電和240V高壓直流各承擔一半負載。由于市電直供支路可以達到近100%的供電效率,而240V高壓直流供電具有的節能休眠控制策略可使其效率在全負載范圍內達到94%～96%,這樣均分負載情況下的綜合供電效率高達97%～98%,比傳統的UPS供電架構效率高出很多,特別如圖6所示的輕載下高壓直流的節能休眠特性,在保證2N供電可靠基礎上還實現了準市電直供技術的高效率。當然,對于少量的單電源服務器,可以直接掛接在240V高壓直流支路上。

(2)市電+240VHVDC100%+0%服務器主從模式

在前面市電+240V高壓直流數據中心側不用任何變化,如果能在服務器的電源上做些主從設置,或者目前部分廠家的服務器具備支持休眠一個電源的功能,那么這種主從模式下,市電主供、高壓直流系統休眠后備,綜合供電效率更是高達99%,如圖7所示,可以實現數據中心供電系統的超高效率。

實現服務器電源主從模式的方式很多,采用騰訊專利的服務器電源調壓技術可以通過電源硬件上的微調,即可實現可靠的主從工作及故障切換等,開展起來非常容易,圖8顯示了采用該專利的切換波形。當然也可以通過更為高級的軟件控制等策略實現雙電源工作在主從模式下。

采用主從模式工作下的服務器,由于從電源在市電正常的時候基本不帶載,因此高壓直流系統可以只是個容量很小的充電器,大大節省了240V高壓直流電源系統的投資及空間占用,可以是電源和電池一體柜的簡單電池柜設計。市電正常情況下,市電幾乎承擔全部負載,同時對電池充電備用,實現99%的供電效率。當市電停電時,電池瞬間承擔起全部IT負載,直至柴油發電機起動正常運行,帶起整個數據中心負載,電池逐步退出并重新被充滿,繼續等待下一次停電發生。

采用240V高壓直流技術可以比傳統供電方案實現高效率,甚至實現近100%的市電直供,但其雙電源配置(當然也可以類似Facebook,采用市電+240V高壓直流的單模塊雙輸入電源設計來降低成本)以及高壓電池等仍不是很完美方案,仍屬于過渡技術,將會被新的更好技術取代。

4 現有12V的市電直供應用情況

Google的12V掛電池方案采用分布式電源加分布式電池作掉電備份,原理是每個服務器帶一個電源并配一個鉛酸電池,市電正常時,市電直接給設備供電并給電池充滿電。市電中斷時,電池放電備份幾分鐘,直至柴油發電機起動正常供電。有兩個顯著特點:

①電源產自中國,輸出參數為13.65V&20.5A,這個服務器的總輸出功率不會超過250W。有趣的是這個電池接入開關電源,那么開關電源當成一個UPS看也不為過,就是一個13.65V輸出的UPS,不會比市面上幾百塊錢最低檔次的UPS更貴。

②電池為免維護鉛酸蓄電池無疑,從公開的資料上可知其容量只有3.2Ah,充其量只能夠維持3～4min以內的服務器掉電保護時間。

該方案的核心技術是電池管理及切換控制,原理如圖9所示,實現供電效率達到99.99%。

(2)微軟的12VBBU集中式市電直供方案

圖10是微軟的12V電池BBU集中式市電直供方案,微軟在2010年推出該ITPAC的機柜服務器供電方案,從概念圖上看,機柜采用集中電源供電,并在12V母排集中掛鋰電池備份方案。分為上半區和下半區單獨供電,單機柜達到18.6kW功率給96臺服務器供電。選用的4.5kW服務器電源也是高效率的電源模塊,通過12V集中母排給服務器子機單元供電。市電正常時,直接給設備供電,市電中斷時,靠鋰電池短時間放電過渡,直至柴油發電機起動承擔全部負載。

(3) 隨著功率增加,12V將不再適合于數據中心

從前面的兩個案例可以看出,不管是Google的12V帶電池分布式小UPS供電方案,還是微軟的12V鋰電池BBU半集中式供電方案,都實現了市電直供近100%的供電效率。但12V電池要么直接掛在IT設備內,要么就安裝在服務器機柜內,主要的目的都是為了盡量減少12V低壓供電的傳輸損耗。谷歌12V分布式供電雖然12V傳輸損耗較小,但電源和電池數量大、成本高、電源負載率、效率偏低;而微軟的12V集中式供電的電源和電池數量少、成本稍低、負載率高、電源效率高,但12V傳輸損耗大,兩者都存在一定不足。

隨著業界IT機柜功率的不斷增加,以及對能效的更高要求,12V低壓傳輸損耗及成本會成為嚴重的限制。例如,對于12kW的機柜,如果采用12V集中單母線供電,那么供電電流可以高達1000A,假設電源插框和母線等的接觸電阻為1mΩ,僅接觸電阻的損耗也會高達1kW,若算上銅排上的大電流傳輸損耗及電源插框的電源轉換效率損耗,總損耗高達3～4kW。而采用較高電壓的48V供電方案,則可以大大降低傳輸及接觸電阻損耗,且48V電源的效率也比12V電源的效率高2%以上,圖11為兩者損耗對比分析。采用12V集中供電方案,機柜的總功率不宜超過6～8kW,如果超過10kW以上,傳輸及接觸電阻損耗就會很大。而采用48V供電方案則沒有這個問題,整機柜的總功率可以高達30kW以上,傳輸及接觸損耗都可以做到較小。

當然采用類似前面微軟的做法,將總功率分散在兩個甚至更多的電源插框中,可以減少母線電流,但仍會帶來更多電源插框占用寶貴機柜空間,以及更多電源和電池帶來更大投資成本等問題。

最后,對于12V低壓市電直供,還存在電源及電池BBU設計挑戰的問題,畢竟通常允許5%的電壓波動,以及至少幾分鐘電池掉電備份時間要求等,對于電源及電池的設計和選擇都是很大挑戰。總體而言,目前業界采用12V直掛電池市電直供方案的用戶較少,且在未來會逐步往48V市電直供技術方向上發展。

5 面向未來的48V市電直供架構

如圖12所示,從電網側到CPU的整個供電路徑上,采用傳統12V供電方式帶來的供電損耗會比采用48V供電方式的損耗高出很多,特別是在未來高功率密度應用場合,12V已經不再適宜采用了。48V市電直供方案在通訊行業已經非常成熟,只是傳統的48V供電方案是集中式電源系統,而未來發展的48V市電直供方案是分布式電源和IT融合的方案,電源和電池就近放在IT機柜邊上,甚至放到IT機柜內部,大大減少供電傳輸損耗及線纜投資等。且允許48V電池電壓有個很寬的波動范圍,電池備電時間也可以得到較大提高。目前,48V電源最高效率也高達97%以上,成本也比12V電源要低得多,是個低成本高效率的解決方案,帶來的問題是部分IT設備需要定制。但目前在數據中心行業,很多IT設備及基礎設施都已經實現了48V供電架構,推動起來難度比采用380V高壓直流要小很多,目前業界已經有較多互聯網等公司已采用48V供電架構了。

(1)Facebook的48V半集中供電及下一代架構

從Facebook的公開資料上看,采用了分布式服務器電源加分布式48V電池的方案,每臺服務器配一個277Vac和48Vdc雙輸入、單輸出為12.5V的定制電源。其中,277Vac接口直接接到市電交流PDU上,而48Vdc接口連接到48V直流PDU。市電正常的時,市電直供,48V電池作為后備,當市電異常或者中斷時,48V電池瞬間放電短時備份,直至柴油發電機起動承擔負載。

在實際的物理布局上,由于分布式48V備份電源不能長距離傳輸供電,因此電池就近擺放在IT機柜邊上,每個電池柜覆蓋6個IT機柜。如前面所述,市電正常情況下市電承擔了全部負載,所以48V電源只作為充電器使用,保證對備份電池的充電即可,因此48V電源只是個小充電插框,直接放置在電池柜頂部即可,如圖13所示。

Facebook的這個市電直供48V備份方案由于采用的是鉛酸電池作為后備,考慮鉛酸電池的功率密度低、對溫度敏感且存在漏夜等風險,因此把電池放在了IT機柜之外但靠近IT機柜安裝。其每個市電+48V雙輸入服務器電源內部實際還是兩個電源并聯在一起,數量多,定制成本高等,投資造價還是很大,所以在后續的整機柜版本中Facebook改用了電源更少的集中電源插框方式供電。且隨著電池技術的發展,比如更高密度、放電能力及高溫特性更好的鋰電池等價格下來,那么電源及電池會更為分布,直接從IT機柜外轉移到IT機柜內部,如OpenRack的V2.0版本。

如前面的12V供電分析,Facebook的這個V2版本雖然電源適當集中,且電池和電源就近匹配安裝,但單機柜內仍采用了三個電源插框,以及多根供電母線排等,并沒有解決電源數量多,12V低壓傳輸損耗大等問題。而48V供電架構,可以只用一個電源插框及一根母線排搞定,且48V鋰電池包較為成熟且容易設計,因此這個V2應該只是個過渡版本,未來一定會向48V供電架構切換(數據中心基礎設施可以基本保留不變,只是將電池柜替換成整機柜即可完成升級)。

圖14為市電轉48V再直接降壓到1.2V的供電架構,如前述,具有極高的供電效率,且很低的傳輸損耗,技術成熟度最高,且可選的供應商非常多,因此已經是未來數據中心的供電架構方向。據不可靠資料,目前業界的Google、Amazon和思科等公司已經在采用此方案。當然,這個架構的不足之處在于需要修改傳統服務器主板上的12V輸入供電,改用48V輸入供電,但技術難度很小,比如很多刀片服務器、網絡板卡等都是48V輸入供電。且對于服務器白牌化、深度定制的今天,對于前述互聯網巨頭而言,定制48V輸入供電的服務器已經完全不是問題了。

(2)考慮數據中心的整體需求,包括交換機、網絡設備、行間空調等供電的歸一化

隨著數據中心技術的發展,未來的IT和基礎設施會更為融合在一起,就像我們今天看到的機柜級服務器集成了電源和風扇,服務器會板卡化,支撐的電源和散熱組件也會適當集中。集中式48V系統到分布式48V系統的發展見圖15,再往上一級,比如微模塊級,一定是分布式供電和散熱組件更為靠近IT負載,分期投資并彈性配置,實現就近供電和高效散熱,這種情況下散熱系統的供電跟著分布式電源一起走。剛好目前主流的末端空調EC風機等很大部分也是48V供電,分布式電池還可對散熱系統做持續供電保障。

數據中心內部的交換機、防火墻等網絡設備基本都是可以選配可支持48V供電的電源,比如Facebook數據中心的網絡設備基本也是采用48V直供電源,因此網絡設備和其他弱電、監控、照明等可以很容易選擇適當的48V電源以支持數據中心內的其他部分供電,最終實現IT和基礎支撐48V供電的歸一化。

(3)和鐵鋰電池、燃料電池、太陽能、風能等結合在一起的直流微網架構

前面提到數據中心供電技術很大程度取決于電池技術的進步和發展,傳統的鉛酸電池由于功率密度以及安全性等原因不適合直接和IT設備放在一起,但鋰電池則由于其高功率密度以及高溫特性好等,未來很有可能會以BBU等形態和IT設備就近擺放,甚至會放在IT設備內部。其大電流放電能力非常適合此應用。

除了鐵鋰電池等會集成到IT機柜之外,未來燃料電池也可能給IT機柜供電。據微軟公開的一份白皮書顯示,微軟正在研究使用基于沼氣的燃料電池來提升設備能效,同時還能達到降低總體運營成本的目的。微軟表示,把燃料電池直接放到機架層(RackLevel)的話,將大幅減輕設備對于UPS、發電機、開關裝置等“耗電大戶”的依賴。

數據中心的高能耗,以及目前主流的依靠燃燒化石能源發電帶來的環境污染問題正逐步成為整個數據中心行業關注的問題,綠色環保組織也在持續曝光各公司的碳排放。目前業界一些互聯網等公司已經開始采用綠色的風能、太陽能等新能源用于數據中心的供電,而這些通常不穩定的綠色能源發出來的交流電需要被整流并儲能才可用于IT設備的計算,因此對于大型的數據中心可能采用380V等高壓直流來儲能,但對于小型的分布式數據中心則會采用48V的直流微網架構(見圖16)。

6 結束語

隨著數據中心技術的發展以及降低運營成本和節能減排的需求,市電直供方案將在大型的互聯網數據中心等場合的應用會越來越廣泛,成為未來趨勢。380V高壓直流在短期內因為行業生態沒建立起來,無法大規模應用,但在未來綠色能源鋪開后存在一定應用可能。目前階段采用240V高壓直流技術可以不用改造設備快速實現節能。如果IT設備電源微調甚至可以實現接近100%效率的市電主供高壓直流后備架構,但雙電源高成本、全路徑效率不高,只是未來幾年的過渡技術。隨著IT設備單機架功率上升以及對能效和成本的極致追求,未來12V母線供電不管在能耗,還是在技術難度等方面都不占優勢,會逐步被48V的分布式供電架構取代掉,且48V架構還歸一了IT設備、網絡、空調末端、弱電監控等的統一供電,而鋰電池、燃料電池以及風能、太陽能等綠色能源的進步以及發展會加快這一進程。帶電池插框的48V市電直供技術會是未來數據中心IT供電架構的重要發展方向,期待數據中心技術規劃以及IT設備甚至基礎設施各設備廠家共同一起營造此生態,實現高效節能、綠色環保、彈性靈活的低成本高可靠數據中心供電之路。

作者簡介

李典林,數據中心資深專家,騰訊數據中心架構師,高級工程師。現任職于騰訊IDC平臺部數據中心規劃組。

編輯：Harris

關鍵詞：ups電源參數http://lbjsjzl.com/list-3-1.html

• 上一篇：穩壓器和UPS電源對醫療設備的重要性
• 下一篇：數據中心如何能夠提升電力系統的可用性
  
• 文章標簽： 淺析 技術發展 數據中心
• 注：原創內容，禁止轉載，如有轉載，請標明出處。如有內容侵犯您的權益，請聯系刪除！QQ:315212307