文｜深圳市騰訊計算機系統(tǒng)有限公司 朱 華

1 前言和概要

數(shù)據(jù)中心行業(yè)最近幾年的發(fā)展速度和進步超越了過去的很多年，Google數(shù)據(jù)中心的創(chuàng)新引領(lǐng)了數(shù)據(jù)中心的一個新的發(fā)展方向，并代表了未來的一些行業(yè)發(fā)展趨勢，用一句中國俗語“敢為天下先”，準(zhǔn)確地描述了Google對于數(shù)據(jù)中心行業(yè)的深遠影響。2005年，Google率先使用的集裝箱式數(shù)據(jù)中心，再次引發(fā)了數(shù)據(jù)中心行業(yè)的“震動”，讓許多用戶、廠商和行業(yè)專家開始了對集裝箱式數(shù)據(jù)中心的前景、意義和產(chǎn)業(yè)發(fā)展進行了思考，嘗試和進一步的創(chuàng)新以及產(chǎn)品化。經(jīng)歷過幾年的探索和發(fā)展，數(shù)據(jù)中心行業(yè)人士認(rèn)同和總結(jié)了關(guān)鍵的幾點因素，正如集裝箱的著作中所描述的一樣，集裝箱式數(shù)據(jù)中心的出現(xiàn)，使得數(shù)據(jù)中心更標(biāo)準(zhǔn)化、靈活、快捷、迅速甚至對整個數(shù)據(jù)中心的經(jīng)濟發(fā)展也將產(chǎn)生革命性的影響。

2 集裝箱式數(shù)據(jù)中心的起源與發(fā)展

在論述集裝箱式數(shù)據(jù)中心的起源之前，我們不妨先關(guān)注下集裝箱，因為是集裝箱式數(shù)據(jù)中心，集裝箱是其表現(xiàn)形式，其核心還是數(shù)據(jù)中心，因此，在這里，我們有必要花點篇幅來回顧一下集裝箱的起源和發(fā)展。

集裝箱的起源和發(fā)展：為了紀(jì)念集裝箱化50周年，美國普林斯頓大學(xué)出版社2006年出版了美國著名經(jīng)濟學(xué)家Mark Levinson先生的著作《THE BOX：How the shipping container Make the World Smaller and the World Economy Bigger》。這本書講述了集裝箱的由來、為開辟海運市場而經(jīng)歷的斗爭、標(biāo)準(zhǔn)化進程、在世界范圍內(nèi)的廣泛應(yīng)用和未來的發(fā)展。集裝箱的出現(xiàn)，使全球的貨物運輸成本更低，更加方便快捷。集裝箱化對國際物流乃至全球的經(jīng)濟發(fā)展產(chǎn)生了革命性的影響。

集裝箱的典型特點和數(shù)據(jù)中心的結(jié)合點，換一句話說，為什么數(shù)據(jù)中心會采用集裝箱，因為集裝箱本身有些特點是符合下一代數(shù)據(jù)中心的發(fā)展思路和應(yīng)用的。我們總結(jié)歸納一下，主要有以下幾個關(guān)鍵的特點吸引了數(shù)據(jù)中心的用戶和人士。

（1）標(biāo)準(zhǔn)化：這一點和集裝箱發(fā)展過程中的思路是一樣的，標(biāo)準(zhǔn)化意味著更廣泛的通用性和適用性。這一點，集裝箱數(shù)據(jù)中心發(fā)展的思路是一致的，甚至和整個IT行業(yè)的發(fā)展也是一致的。

（2）靈活性：集裝箱的出現(xiàn)，對于物流行業(yè)而言，意味著最大的靈活性，可以把物品通過陸地、海運運輸?shù)饺澜绺鞯?，無論是輪船，還是卡車，集裝箱都是可適應(yīng)的，因為大家都遵循了這個標(biāo)準(zhǔn)，從而運輸變得很方便。

（3）快速：有了集裝箱，運輸很方便，都是按照集裝箱的尺寸來安排貨運，縮短了時間，對于數(shù)據(jù)中心行業(yè)而言，我們也希望可以實現(xiàn)快速部署。

3 國外集裝箱式數(shù)據(jù)中心的發(fā)展

Google集裝箱式數(shù)據(jù)中心的出現(xiàn)，在過去的幾年中，主要經(jīng)歷了以下幾個關(guān)鍵階段和里程碑：

（1）Google集裝箱數(shù)據(jù)中心的出現(xiàn)。

（2）在2005年之后，許多IT廠商如IBM的 PMDC（Portable Modular Data Centre），HP 的 POD，DELL、SUN 的“BlackBox”，SGI（Rackable）的ICE CUBE等陸續(xù)開始嘗試推出自己的集裝箱產(chǎn)品，并且針對集裝箱式數(shù)據(jù)中心的標(biāo)準(zhǔn)、特點、性能、測試、應(yīng)用場景等開始進行研究和探索。在這個階段，尚屬于產(chǎn)品走向產(chǎn)品化、市場化的初級階段，尚未達到成熟階段，比較典型的特點是，各個IT廠商的集裝箱式數(shù)據(jù)中心產(chǎn)品并沒有取得一定規(guī)模的訂單，市場上的最終客戶，還是相對謹(jǐn)慎和保守的來看待這個“BOX”。市場上大部分客戶還處于觀望期。

（3）近兩年，數(shù)據(jù)中心基礎(chǔ)設(shè)施的設(shè)備廠商也開始陸續(xù)推出了自己的集裝箱產(chǎn)品，如APC、EMERSON、Active Power等公司，這些原本為數(shù)據(jù)中心提供電力、UPS、發(fā)電機、制冷等的廠商也開始涉足，并將集裝箱式數(shù)據(jù)中心的概念進一步推廣，和自己原有的產(chǎn)品進行了結(jié)合，在這一階段，集裝箱式數(shù)據(jù)中心的應(yīng)用范圍進一步擴大和發(fā)展，如集裝箱柴油發(fā)電機、集裝箱UPS、集裝箱的各種產(chǎn)品組合，進而更大的演變?yōu)榧b箱式數(shù)據(jù)中心的概念、體系和應(yīng)用。

（4）里程碑：Microsoft在自己的一個數(shù)據(jù)中心采用了大規(guī)模集裝箱式數(shù)據(jù)中心，進一步推動了集裝箱式數(shù)據(jù)中心的應(yīng)用發(fā)展。

思考：一些國外用戶，在近兩年，也在嘗試采用集裝箱式數(shù)據(jù)中心，如果我們回顧集裝箱的發(fā)展歷程，發(fā)現(xiàn)了兩者的相似點，集裝箱在1956年誕生了，但是真正繁榮是在1965年，而當(dāng)時的繁榮是有外力的介入，即用今天IT行業(yè)的名詞——業(yè)務(wù)驅(qū)動。從集裝箱式數(shù)據(jù)中心的這幾年發(fā)展來看，尤其是這兩年云計算的發(fā)展也必將從業(yè)務(wù)驅(qū)動來促進集裝箱式數(shù)據(jù)中心的繁榮，即在未來2～3年，集裝箱式數(shù)據(jù)中心可能會到達一個繁榮階段。

4 國內(nèi)集裝箱式數(shù)據(jù)中心的現(xiàn)狀和發(fā)展

國內(nèi)集裝箱的發(fā)展，從過去幾年的發(fā)展歷程來看，也分為以下幾個階段：

階段一：簡單模仿階段，基本屬于實驗性質(zhì)，尚處于早期的嘗試，市場基本沒有反應(yīng)，大家只是抱著對新鮮事物的關(guān)注來看待這個新興產(chǎn)品，只是關(guān)注而已。而中國市場的用戶也沒有購買集裝箱式數(shù)據(jù)中心，無論是國內(nèi)自己生產(chǎn)的，還是購買國外廠商生產(chǎn)的集裝箱。

階段二：主要是近一年，全國各地，包括市場上的一些通信和IT企業(yè)開始進行試制，并陸續(xù)宣布自己的集裝箱式數(shù)據(jù)中心產(chǎn)品的誕生。

里程碑：在今年四月北京舉行的英特爾開發(fā)者論壇，英特爾和富士康展出了一個集裝箱的樣品，在這個時間點上，也恰巧是中國數(shù)據(jù)中心行業(yè)發(fā)展的一個新的時期，“一石激起千層浪”，市場被點燃了，無論是服務(wù)器生產(chǎn)廠商、通信廠商，還是電信運營商，開始加大研發(fā)，實驗生產(chǎn)。與此同時，以互聯(lián)網(wǎng)用戶為代表的一些行業(yè)用戶，都在開始深入探討、研究、嘗試集裝箱式數(shù)據(jù)中心的部署。

5 國內(nèi)傳統(tǒng)數(shù)據(jù)中心面臨的挑戰(zhàn)

在國內(nèi)，大多數(shù)傳統(tǒng)數(shù)據(jù)中心在構(gòu)建時旨在滿足當(dāng)時的需求，如今已變得陳舊老化，面臨著電力和空間嚴(yán)重不足的問題。因此，這類數(shù)據(jù)中心很難繼續(xù)支持不斷增加的電源密度和空間需求。特別是云計算這種浪潮席卷大地的時候，面臨著爆發(fā)性的云計算數(shù)據(jù)中心擴大需求，許多公司不得不花費巨額的成本和漫長的研制周期來構(gòu)建全新的數(shù)據(jù)中心空間。

另外設(shè)計傳統(tǒng)的數(shù)據(jù)中心時，需要對未來業(yè)務(wù)擴展做出準(zhǔn)確的預(yù)測和規(guī)劃，這將迫使構(gòu)建的數(shù)據(jù)中心容量遠遠超過當(dāng)前所需的容量，將造成巨大的人力和財力的浪費，即便如此，傳統(tǒng)的數(shù)據(jù)中心的建設(shè)速度仍然無法滿足云計算時代對數(shù)據(jù)中心訪問日益快速發(fā)展的需求。

6 國內(nèi)集裝箱數(shù)據(jù)中心的瓶頸和問題所在

正如前面所論述的中國集裝箱式數(shù)據(jù)中心發(fā)展的一樣，我們目前到了一個即將產(chǎn)業(yè)化的前夜，曙光就在明天，而從目前，我們所研究的國內(nèi)生產(chǎn)或者處于設(shè)計階段的集裝箱式數(shù)據(jù)中心來看，都存在很多缺陷和需要解決的問題。典型存在的問題如下：

（1）標(biāo)準(zhǔn)化：雖然各個廠商推出了自己的集裝箱式數(shù)據(jù)中心的產(chǎn)品，但是架構(gòu)、思路都不相同，甚至有的是大相徑庭，差距很大。部分廠家追求高密度，部分廠家單純追求某一個指標(biāo)，集裝箱式數(shù)據(jù)中心的設(shè)計等級也不相同，因此，對于用戶而言，很難將不同廠家的產(chǎn)品放在一起共同運行。

（2）制造成本：我們不難發(fā)現(xiàn)，目前而言，他們的建造成本還很高，甚至有點昂貴，當(dāng)我們的用戶對比單位計算單元的建造成本的時候，不難發(fā)現(xiàn)，遠高于傳統(tǒng)數(shù)據(jù)中心。

（3）產(chǎn)品化和產(chǎn)業(yè)化：目前，還很難說這些集裝箱數(shù)據(jù)中心是否可以作為真正的商品，包括產(chǎn)品專利、商標(biāo)、產(chǎn)品認(rèn)證、測試等都還不成熟。而對于生產(chǎn)廠家而言，其產(chǎn)品配套的上下游供應(yīng)鏈，也遠遠沒到成熟階段，產(chǎn)品也還沒有達到產(chǎn)品系列化。

7 國內(nèi)對集裝箱式數(shù)據(jù)中心的理解誤區(qū)

下面是目前國內(nèi)對集裝箱式數(shù)據(jù)中心優(yōu)勢的總結(jié)，這里筆者做了一些剖析：

（1）高密度：可容納高密度計算設(shè)備，相同空間內(nèi)可容納六倍于傳統(tǒng)數(shù)據(jù)中心的機柜數(shù)量；這個看法我們反對，在實際的工程實施中，也可以在傳統(tǒng)建筑中以同樣水平的密度部署存儲和服務(wù)器。

（2）低PUE：由于采用了全封閉、冷熱通道分離，減少了冷空氣的消耗，令電力使用率大大提高；這個看法我們反對，在傳統(tǒng)數(shù)據(jù)中心也可以利用這些制冷技術(shù)。

（3）快速部署：集裝箱式數(shù)據(jù)中心不需要企業(yè)再經(jīng)過空間租用、土地申請、機房建設(shè)、硬件部署等周期，可大大縮短部署周期；這個看法需要一分為二的看待，目前集裝箱放置的土地、建筑、配電站依然需要政府審批，流程一樣也不能少，倒是服務(wù)器機房建設(shè)、硬件部署可產(chǎn)品化，的確可以大大縮短。

（4）按需部署：一個模塊可以安裝400至2000臺服務(wù)器，這些服務(wù)器都是預(yù)先安裝并經(jīng)過測試的，可以在幾個小時內(nèi)投入運行，因為所有這些測試和聯(lián)網(wǎng)工作都是在出廠前完成的。這個看法我們是支持的，集裝箱式數(shù)據(jù)中心的確可以在工廠里進行預(yù)裝和調(diào)試。

（5）即插即用：模塊的安裝非常容易，只需提供電源連接、水源連接（用于冷卻）和數(shù)據(jù)連接即可。這個看法我們是全部支持的，集裝箱式數(shù)據(jù)中心提供標(biāo)準(zhǔn)接口，基礎(chǔ)設(shè)施建設(shè)時可以設(shè)立接駁站。

（6）將成本的投入時間從前期投資推遲到服務(wù)器部署：模塊化數(shù)據(jù)中心的一大優(yōu)勢是，模塊將電源、冷卻設(shè)備和IT設(shè)備集成在一起，客戶付費后即可使用。這不但推遲了資本成本的投入時間，而且由于數(shù)據(jù)中心能夠滿負(fù)荷運行，還消除了未使用計算能力，顯著的節(jié)約了成本。這個看法我們支持的，集裝箱是模塊化的一種形式，階梯型增長，顆粒度小。

（7）節(jié)約成本：具有大量空調(diào)甚至活動地板和天花板的傳統(tǒng)數(shù)據(jù)中心相比，集裝箱數(shù)據(jù)中心在設(shè)計和建造上要便宜30%？這個看法我們是反對的，目前沒有標(biāo)準(zhǔn)化，完全產(chǎn)品化，成本上沒有優(yōu)勢。

（8）移動性：便于移動，部署靈活？這個看法我們也是反對的，數(shù)據(jù)中心既定需求，互聯(lián)網(wǎng)數(shù)據(jù)中心為什么要移動？

下面為目前集裝箱式數(shù)據(jù)中心的一些劣勢的分析：

（1）受到空間的限制，不能兼容所有的廠商的服務(wù)器或者網(wǎng)絡(luò)設(shè)備。這個看法是支持的，因為需求不一，集裝箱的規(guī)格比較單一，即使你貨比三家，可能也只有兩三種規(guī)格。集裝箱的規(guī)格嚴(yán)格限制了集裝箱式數(shù)據(jù)中心的計算能力。

（2）集裝箱式數(shù)據(jù)中心內(nèi)部機架之間的空間狹窄，極不便于技術(shù)人員來回走動工作。這個看法是支持的，因此集裝箱的運維難度，本身設(shè)施的冗余不夠，出現(xiàn)故障，不易在線維護。

8 國內(nèi)集裝箱數(shù)據(jù)中心產(chǎn)業(yè)化發(fā)展機遇和急需解決的問題

在這個非常時期，我們雖然面臨著很多困難和瓶頸，但是我們也看到了很多發(fā)展機遇和切入點。概括來說，主要有以下幾個方面：

（1）服務(wù)器生產(chǎn)廠商：無論是Google，或是Facebook，他們的服務(wù)器都不是一個市場標(biāo)準(zhǔn)的服務(wù)器，其初衷都是降低一次性購買成本，同時降低運行成本。針對集裝箱式數(shù)據(jù)中心而言，涉及到定制，而國外的服務(wù)器廠商很難根據(jù)中國用戶的節(jié)奏和期望來設(shè)計和制造最符合用戶需求的服務(wù)器，這就給了中國國內(nèi)的本土服務(wù)器制造廠商一個巨大的機遇。針對集裝箱式數(shù)據(jù)中心，來生產(chǎn)適應(yīng)集裝箱式數(shù)據(jù)中心的服務(wù)器，甚至可以建立集裝箱服務(wù)器的標(biāo)準(zhǔn)，對于民族產(chǎn)業(yè)的振興，自主研發(fā)提供了一個千載難逢的機遇。

（2）機柜廠商：傳統(tǒng)的基于工業(yè)標(biāo)準(zhǔn)的42U標(biāo)準(zhǔn)機柜不再適應(yīng)集裝箱式數(shù)據(jù)中心，洋品牌的機柜生產(chǎn)廠商不會輕易根據(jù)這個需求改變設(shè)計，或者特定設(shè)計，而這也是國內(nèi)機柜生產(chǎn)廠家的一個機會，也是其銷售市場的一個重要延伸。

（3）電源廠商：傳統(tǒng)數(shù)據(jù)中心中，無論是UPS，或者電源配電柜等，都是洋品牌占據(jù)主導(dǎo)，針對集裝箱式數(shù)據(jù)中心而言，也面臨同樣的定制和適應(yīng)的問題（包括高壓直流），同樣也給了國內(nèi)生產(chǎn)廠家一個機會，無論是品牌的升華，或是研發(fā)的升級，都是難得的市場機會。

（4）集裝箱生產(chǎn)：雖然我們國家有很多生產(chǎn)集裝箱的廠家，但是特種集裝箱生產(chǎn)廠家很少，而對于集裝箱式數(shù)據(jù)中心而言，必須有配套的下游可生產(chǎn)特種集裝箱的生產(chǎn)廠家來做配套。由于研制階段，產(chǎn)量低、成本高，其生產(chǎn)質(zhì)量、標(biāo)準(zhǔn)、工藝、公差等都存在問題。

9 集裝箱標(biāo)準(zhǔn)化和產(chǎn)品化的示范案例

怎么來解決標(biāo)準(zhǔn)化和產(chǎn)品化的問題？站在業(yè)務(wù)的高度去注意歸納和總結(jié)，嘗試把握其中的規(guī)律，結(jié)合云計算的四大基本業(yè)務(wù)需求：

（1）搜索業(yè)務(wù)：CPU要求高；內(nèi)存要求高；存儲要求低。

（2）數(shù)據(jù)挖掘：CPU要求高；內(nèi)存要求低；存儲要求高。

（3）數(shù)據(jù)存儲：CPU要求低；內(nèi)存要求低；存儲要求高。

（4）虛擬機：CPU要求多；內(nèi)存要求高；存儲要求高。

我們可以抽取其中的數(shù)據(jù)挖掘業(yè)務(wù)舉例，服務(wù)器硬件：標(biāo)準(zhǔn)1U機架式服務(wù)器，Intel Tylersberg-EP平臺，雙路Nehalem或Westmere處理器，6英寸×3.5英寸2T容量硬盤，12英寸×13英寸主板，12V直流供電，針對數(shù)據(jù)挖掘這樣的業(yè)務(wù)需求，硬件的單機功耗確定在250W的標(biāo)準(zhǔn)，確定數(shù)據(jù)中心最小單元規(guī)格后，集裝箱式數(shù)據(jù)中心依據(jù)此可以做如下標(biāo)準(zhǔn)設(shè)計：采用45尺高柜，所有的供電制冷設(shè)備加上1200臺服務(wù)器全部放置在一個集裝箱內(nèi)。機柜共30臺，每臺機柜尺寸（寬500×深550×高2300），共50U空間，每臺機柜耗電10kW。總服務(wù)器空間：30×40=1200U。電源采用380AC/280VDC直流供電方案，280VDC@15分鐘電池，占地水平空間2400。機柜內(nèi)電源280VDC/12VDC：總共為40～43臺服務(wù)器按峰值功率10kW，正常工況功率9000W設(shè)計。

對于接口做如下標(biāo)準(zhǔn)規(guī)定：每個集裝箱留有兩個冷凍水進水管和兩個冷凍水出水管，水管的位置位于集裝箱兩側(cè)靠近底部的位置，集裝箱上安裝防護裝置，水管尺寸為DN80，采用法蘭連接。電氣接口箱內(nèi)置2×250A 3P開關(guān)，三線五線。

所有設(shè)計經(jīng)過CFD模擬驗證后，理論計算PUE＝1.2，這樣的一個應(yīng)用數(shù)據(jù)挖掘業(yè)務(wù)的集裝箱占地不足32m2，卻可以提供1200臺服務(wù)器的裝載能力，其服務(wù)器配置、尺寸、機柜尺寸、密度、高壓直流UPS、PSU、行間冷卻盤管、消防、監(jiān)控皆可作為一種產(chǎn)品標(biāo)準(zhǔn)（針對數(shù)據(jù)挖掘業(yè)務(wù)）確定下來。整個集裝箱可以等同于一臺具備超大能力的服務(wù)器型號，與此相關(guān)的內(nèi)部設(shè)備及配件涉及的生產(chǎn)廠家形成一套完整的產(chǎn)品鏈、配套鏈。

就此類推，未來數(shù)據(jù)中心的規(guī)劃建設(shè)將依據(jù)未來可以提供的業(yè)務(wù)，最小建設(shè)單元將是集裝箱式模塊，數(shù)據(jù)中心的前期規(guī)劃建設(shè)就如同飛機場，設(shè)計好許多的?？恐T元而已。

10 結(jié)束語

集裝箱式數(shù)據(jù)中心的發(fā)展歷程如同集裝箱產(chǎn)品本身的歷程相似，除特種行業(yè)（如石油勘探），目前在國內(nèi)還未見大規(guī)模的應(yīng)用，存在很多認(rèn)識上的誤區(qū)，集裝箱式數(shù)據(jù)中心的優(yōu)勢不需要很多，兩點足以使之應(yīng)用普及：一是快速生產(chǎn)部署；二是價格低廉。要彰顯這兩點，集裝箱式數(shù)據(jù)中心必須標(biāo)準(zhǔn)化、產(chǎn)品化，所幸運的是，國內(nèi)風(fēng)起云涌的云計算產(chǎn)業(yè)勢頭將帶來集裝箱式數(shù)據(jù)中心發(fā)展的契機和環(huán)境。對此，還有一段路需要共同努力，前景充滿期待。