張興 公誠(chéng)管理咨詢(xún)有限公司
引言:在信息技術(shù)快速發(fā)展的背景下,數(shù)據(jù)中心作為各行各業(yè)的關(guān)鍵基礎(chǔ)設(shè)施,為我國(guó)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)提供了重要支撐。
(1)我國(guó)數(shù)據(jù)中心利用率和能效水平不斷提高。東部一線(xiàn)城市數(shù)據(jù)中心較飽和,中西部地區(qū)利用率不斷提高。
(2)我國(guó)數(shù)據(jù)中心總體布局逐步優(yōu)化,尤其是大型、超大型數(shù)據(jù)中心逐漸向西部以及北上廣深周邊地區(qū)轉(zhuǎn)移。
(3)運(yùn)維管理逐漸成為數(shù)據(jù)中心產(chǎn)業(yè)關(guān)注熱點(diǎn)。
(4)國(guó)際企業(yè)加快中國(guó) IDC 市場(chǎng)布局。
《指導(dǎo)意見(jiàn)》提出科學(xué)推動(dòng)數(shù)據(jù)中心的建設(shè)和布局的指導(dǎo)思想。堅(jiān)持以市場(chǎng)為導(dǎo)向,以資源節(jié)約和提高效率為著力點(diǎn),通過(guò)引導(dǎo)市場(chǎng)主體合理選址、長(zhǎng)遠(yuǎn)設(shè)計(jì)、按需按標(biāo)建設(shè),逐漸形成技術(shù)先進(jìn)、結(jié)構(gòu)合理、協(xié)調(diào)發(fā)展的數(shù)據(jù)中心新格局。
2.1.1 更高的性能和速度成為數(shù)據(jù)中心 IT 設(shè)備技術(shù)發(fā)展趨勢(shì)
GPU服務(wù)器突破了CPU服務(wù)器的效率瓶頸,計(jì)算速度大幅提升。人工智能的發(fā)展讓數(shù)據(jù)中心面臨更大的計(jì)算難題,對(duì)計(jì)算性能、能耗、吞吐和延遲等方面的提出更高要求。
2.1.2 大規(guī)模、高流量加速數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備與技術(shù)演進(jìn)
數(shù)據(jù)中心承載業(yè)務(wù)的不斷變化,以及計(jì)算虛擬化、存儲(chǔ)虛擬化等技術(shù)的應(yīng)用,使得數(shù)據(jù)中心東西流量高速增長(zhǎng),對(duì)數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)管理和性能提出了更高要求。而無(wú)損網(wǎng)絡(luò)、光模塊等技術(shù)則可以幫助更好地實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)部快速、高效的數(shù)據(jù)傳輸。
技術(shù)是服務(wù)于業(yè)務(wù)的,沒(méi)有業(yè)務(wù)需求的技術(shù)架構(gòu)是無(wú)源之水。微服務(wù)化架構(gòu)下的系統(tǒng)必將引入分裂的數(shù)據(jù)存儲(chǔ),對(duì)于有些高并發(fā)大數(shù)據(jù)量的服務(wù)還會(huì)采用分庫(kù)分表的設(shè)計(jì)思想。
2.2.1 探索期
在當(dāng)前主流數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品中,數(shù)據(jù)加工速度和數(shù)據(jù)管理能力是不可兼得的,任何數(shù)據(jù)倉(cāng)庫(kù)在無(wú)限量的數(shù)據(jù)量下處理速度都會(huì)出現(xiàn)瓶頸;數(shù)據(jù)存儲(chǔ)產(chǎn)品都有自己特定的應(yīng)用場(chǎng)景,應(yīng)該根據(jù)需要選擇合適的數(shù)據(jù)存儲(chǔ)方案;流計(jì)算在處理海量數(shù)據(jù)實(shí)時(shí)處理最佳的選擇。
(1)HBase分析
由于需要統(tǒng)一業(yè)務(wù)系統(tǒng)的設(shè)計(jì)需要,數(shù)據(jù)庫(kù)必須滿(mǎn)足多維度數(shù)據(jù)查詢(xún),查詢(xún)條件分散,引入第三方索引以后部署使用成本較高。
(2)MongoDB選擇
面向文檔的存儲(chǔ),可以基本滿(mǎn)足聚合操作需求。原生支持索引,支持自建索引,支持組合索引。對(duì)于熱點(diǎn)數(shù)據(jù)會(huì)緩存,數(shù)據(jù)查詢(xún)性能強(qiáng),更新性能不弱,支持分片模式橫向擴(kuò)展。
2.2.2 發(fā)展期
(1)消息隊(duì)列數(shù)據(jù)同步
在最初的技術(shù)架構(gòu)中,采用業(yè)務(wù)消息數(shù)據(jù)同步的方式,如下圖:
圖1 :業(yè)務(wù)消息數(shù)據(jù)同步
這種架構(gòu)結(jié)構(gòu)簡(jiǎn)單,但并不可靠。對(duì)業(yè)務(wù)系統(tǒng)侵入性強(qiáng),業(yè)務(wù)系統(tǒng)變更,數(shù)據(jù)設(shè)計(jì)變更等因素都會(huì)影響數(shù)據(jù)一致性,而且每次業(yè)務(wù)變動(dòng)都需要在各種系統(tǒng)對(duì)數(shù)據(jù)同步代碼做相應(yīng)的修改,容易影響業(yè)務(wù)系統(tǒng)功能性能。
(2)BINLOG事件同步
圖 2:Zookeeper集群
數(shù)據(jù)同步與平臺(tái)業(yè)務(wù)完全解耦,對(duì)業(yè)務(wù)系統(tǒng)和消息中間件實(shí)現(xiàn)零依賴(lài)。BinLog數(shù)據(jù)是事務(wù)執(zhí)行成功后的數(shù)據(jù),可以達(dá)到數(shù)據(jù)最終一致的效果,數(shù)據(jù)模型靈活,元數(shù)據(jù)與Mysql數(shù)據(jù)1:1復(fù)制,整合數(shù)據(jù)模型靈活多樣。
(3)數(shù)據(jù)模型建立
數(shù)據(jù)模型的作用就是滿(mǎn)足各種運(yùn)營(yíng)需求。為了兼容后續(xù)需求變更,數(shù)據(jù)模型是以mysql元數(shù)據(jù)(行數(shù)據(jù))為基本單位,數(shù)據(jù)冗余比較多,但勝在兼容性強(qiáng),模型組合簡(jiǎn)單。
2.2.3 拓展期
在滿(mǎn)足基本業(yè)務(wù)需求的同時(shí),MongoDB在大數(shù)據(jù)量聚合上性能并不理想,對(duì)于大數(shù)據(jù)量聚合統(tǒng)計(jì)的需求需要引入實(shí)時(shí)流計(jì)算,以下是數(shù)據(jù)流程圖:
圖3 :數(shù)據(jù)流程圖
實(shí)時(shí)流數(shù)據(jù)計(jì)算在處理大數(shù)據(jù)計(jì)算方面都有得天獨(dú)厚的優(yōu)勢(shì)??梢耘cMongoDB數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)互補(bǔ)。
3.1.1 高密度、綠色化引發(fā)數(shù)據(jù)中心基礎(chǔ)設(shè)施變革
受高成本、高能耗驅(qū)動(dòng),數(shù)據(jù)中心供電架構(gòu)逐步簡(jiǎn)化。隨著產(chǎn)業(yè)規(guī)模快速增長(zhǎng),數(shù)據(jù)中心建設(shè)成本和能耗激增,可靠性高、成本低的高壓直流(HVDC),成為數(shù)據(jù)中心供電系統(tǒng)的新選擇。
3.1.2 模塊化數(shù)據(jù)中心成為數(shù)據(jù)中心建設(shè)新模式
模塊數(shù)據(jù)中心進(jìn)入大批量投產(chǎn)應(yīng)用階段,節(jié)能降支效果非常明顯,對(duì)數(shù)據(jù)中心產(chǎn)業(yè)模塊化、綠色化具有很強(qiáng)的帶動(dòng)和引領(lǐng)作用。
3.1.3 定制化成為數(shù)據(jù)中心設(shè)施設(shè)備的發(fā)展方向
自主設(shè)計(jì)的整機(jī)柜服務(wù)器迭代創(chuàng)新支撐新技術(shù)新應(yīng)用。整機(jī)柜服務(wù)器通過(guò)整體機(jī)柜、集中供電、集中散熱、統(tǒng)一管理、一體化交付、模塊化運(yùn)維,可實(shí)現(xiàn) TCO(總投入成本)有效降低。
3.1.4 綠色節(jié)能仍是地方數(shù)據(jù)中心政策的主要抓手
各地積極出臺(tái)數(shù)據(jù)中心節(jié)能減排鼓勵(lì)政策,促進(jìn)數(shù)據(jù)中心綠色化發(fā)展。受北上廣等一線(xiàn)城市政策限制,部分?jǐn)?shù)據(jù)中心建設(shè)需求向周邊地區(qū)外溢。
無(wú)論數(shù)據(jù)中心的規(guī)模和類(lèi)型以及交換機(jī)拓?fù)浣Y(jié)構(gòu)和應(yīng)用如何,創(chuàng)建連接數(shù)據(jù)中心設(shè)備所需的所有鏈路的底層布線(xiàn)基礎(chǔ)設(shè)施應(yīng)遵循行業(yè)標(biāo)準(zhǔn)確立的相同的基本設(shè)計(jì)原則。
(1)《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》GB50174-2017是目前我國(guó)最新的數(shù)據(jù)中心的設(shè)計(jì)規(guī)范國(guó)家標(biāo)準(zhǔn),等級(jí)分為A級(jí)(容錯(cuò))、B級(jí)(冗余)、C級(jí)(基本)。
(2)ANSI/TIA-942-B數(shù)據(jù)中心基礎(chǔ)設(shè)施標(biāo)準(zhǔn)——該北美標(biāo)準(zhǔn)參考TIA-568系列標(biāo)準(zhǔn),但包含針對(duì)數(shù)據(jù)中心的附加信息。
(3)國(guó)際正常運(yùn)行時(shí)間(Uptime institute)協(xié)會(huì)——該咨詢(xún)機(jī)構(gòu)提供改進(jìn)數(shù)據(jù)中心關(guān)鍵基礎(chǔ)設(shè)施性能、效率和可靠性的指導(dǎo)原則。建立了分級(jí)系統(tǒng)以定義數(shù)據(jù)中心的可用性,1級(jí)提供基本容量,II級(jí)提供冗余容量,III級(jí)可同時(shí)維護(hù)性,IV級(jí)為容錯(cuò)能力。
針對(duì)以上三種較常見(jiàn)的標(biāo)準(zhǔn)進(jìn)行對(duì),情況見(jiàn)下表:
表1 :GB50174/TIA942B/Uptime特性類(lèi)比一覽表
?
數(shù)據(jù)中心發(fā)展已進(jìn)入互聯(lián)網(wǎng)的下半場(chǎng),需我們繼續(xù)關(guān)注發(fā)展趨勢(shì)與技術(shù)演進(jìn),緊隨時(shí)代步伐,同時(shí)熟悉數(shù)據(jù)中心基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)與差異,有利于我們根據(jù)市場(chǎng)業(yè)務(wù)類(lèi)型,應(yīng)用不同的場(chǎng)景與規(guī)范,最優(yōu)化滿(mǎn)足市場(chǎng)發(fā)展的根本需求。