白猛+張建文+張波

【摘要】 本文首先分析了兗礦礦井云數(shù)據(jù)中心的現(xiàn)狀及存在的問題，提出了利用SDN技術(shù)實現(xiàn)集團“內(nèi)外一朵云”的總體建設(shè)思路；介紹了SDN技術(shù)應(yīng)用于構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)的優(yōu)勢；對基于SDN實現(xiàn)多數(shù)據(jù)中心互聯(lián)的架構(gòu)和方法進行探討；最后對實現(xiàn)兗礦礦井級數(shù)據(jù)中心互聯(lián)的需要重點解決的問題進行了總結(jié)。

【關(guān)鍵字】 云數(shù)據(jù)中心 軟件定義網(wǎng)絡(luò) EVI 數(shù)據(jù)中心互聯(lián)

一、兗礦數(shù)據(jù)中心發(fā)展現(xiàn)狀

1.1現(xiàn)狀及問題

目前云計算已從技術(shù)導(dǎo)入階段進入產(chǎn)業(yè)蓬勃發(fā)展、應(yīng)用迅速普及階段，隨著大數(shù)據(jù)戰(zhàn)略和云計算創(chuàng)新發(fā)展 ，我國云計算產(chǎn)業(yè)發(fā)展處在重要時刻，云計算作為未來信息產(chǎn)業(yè)發(fā)展的戰(zhàn)略方向之一，是推動經(jīng)濟增長、加速產(chǎn)業(yè)轉(zhuǎn)型的引擎。兗礦集團多年來大力發(fā)展云計算，完成了集團級私有云建設(shè)，同時在外部新建礦井金雞灘煤礦、石拉烏素煤礦、轉(zhuǎn)龍灣煤礦、營盤壕煤礦完成了礦井級數(shù)據(jù)中心建設(shè)，在本部礦井中正在積極推進興隆莊煤礦、東灘煤礦的數(shù)據(jù)中心建設(shè)。云計算數(shù)據(jù)中心顛覆了傳統(tǒng)的ICT產(chǎn)業(yè)，它所帶來的按需使用、資源共享、綠色節(jié)能、快速業(yè)務(wù)部署等好處，可帶來更加低成本的應(yīng)用、更加快速簡潔的部署，為集團公司創(chuàng)造了巨大的社會效益和經(jīng)濟效益。

但是由于地理位置的限制，兗礦礦井級數(shù)據(jù)中心處在不同的物理站點，形成了多個獨立數(shù)據(jù)中心的孤島，同時因投資預(yù)算有限多數(shù)礦井級數(shù)據(jù)中心只配置了單臺服務(wù)器刀箱，不能滿足災(zāi)備和擴容的需求，沒有形成統(tǒng)一的計算資源池，存在著資源利用率低、安全級別等級低、業(yè)務(wù)連續(xù)性差、可維護差等諸多問題。

1.2需求分析

在云計算模式下，提高資源利用率、服務(wù)器高可用集群、虛擬機遷移、資源靈活調(diào)度、容災(zāi)備份、就近服務(wù)體驗等新的業(yè)務(wù)需求，促進了 DCI（Data Center Interconnection，數(shù)據(jù)中心互聯(lián)）發(fā)展。其主要解決的問題：

（1）數(shù)據(jù)中心資源利用率不均；

（2）數(shù)據(jù)中心間的實時數(shù)據(jù)災(zāi)備；

（3）跨數(shù)據(jù)中心的服務(wù)器高可用集群和虛擬；

（4）用戶訪問數(shù)據(jù)中心以及數(shù)據(jù)中心間互訪；

（5）數(shù)據(jù)中心網(wǎng)絡(luò)智能化、差異化需求；

因此基于SDN技術(shù)實現(xiàn)礦井級數(shù)據(jù)中心互聯(lián)，構(gòu)建一個軟件定義、多活、安全的統(tǒng)一云數(shù)據(jù)中心資源池體系，從根本上打破原有的物理站點的限制，實現(xiàn)集團層面的集約化運營，實現(xiàn)集團“內(nèi)外一朵云”成為下一步集團公司礦井級云數(shù)據(jù)中心建設(shè)的工作重點。

二、SDN技術(shù)簡介

SDN（軟件定義的網(wǎng)絡(luò)）是一種新型的網(wǎng)絡(luò)體系結(jié)構(gòu)，通過將網(wǎng)絡(luò)控制與網(wǎng)絡(luò)轉(zhuǎn)發(fā)解耦合構(gòu)建開放可編程的網(wǎng)絡(luò)體系結(jié)構(gòu)。SDN認為不應(yīng)無限制地增加網(wǎng)絡(luò)的復(fù)雜度，需要對網(wǎng)絡(luò)進行抽象以屏蔽底層復(fù)雜度，為上層提供簡單的、高效的配置與管理。SDN旨在實現(xiàn)網(wǎng)絡(luò)互聯(lián)和網(wǎng)絡(luò)行為的定義和開放式的接口，從而支持未來各種新型網(wǎng)絡(luò)體系結(jié)構(gòu)和新型業(yè)務(wù)的創(chuàng)新。軟件定義的網(wǎng)絡(luò)SDN是一種新型的網(wǎng)絡(luò)體系結(jié)構(gòu)，通過將網(wǎng)絡(luò)控制與網(wǎng)絡(luò)轉(zhuǎn)發(fā)解耦合構(gòu)建開放可編程的網(wǎng)絡(luò)體系結(jié)構(gòu)。SDN認為不應(yīng)無限制地增加網(wǎng)絡(luò)的復(fù)雜度，需要對網(wǎng)絡(luò)進行抽象以屏蔽底層復(fù)雜度，為上層提供簡單的、高效的配置與管理。SDN旨在實現(xiàn)網(wǎng)絡(luò)互聯(lián)和網(wǎng)絡(luò)行為的定義和開放式的接口，從而支持未來各種新型網(wǎng)絡(luò)體系結(jié)構(gòu)和新型業(yè)務(wù)的創(chuàng)新。

在數(shù)據(jù)中心互聯(lián)方面，谷歌的案例最為業(yè)界熟知。谷歌利用光纖資源把全球12個主要的IDC進行了互聯(lián)，利用集中部署的TE工程，通過SDN技術(shù)實現(xiàn)統(tǒng)一調(diào)度，宣稱可以達到95%的鏈路利用率。作為國內(nèi)互聯(lián)網(wǎng)巨頭，騰訊也在這方面做了些創(chuàng)新，騰訊把全國規(guī)劃為四大區(qū)域，每個區(qū)域部署20到30萬臺量級的服務(wù)器，進而進行數(shù)據(jù)中心節(jié)點互聯(lián)。

三、數(shù)據(jù)中心互聯(lián)

利用SDN技術(shù)構(gòu)建多活數(shù)據(jù)中心體系架構(gòu)，實現(xiàn)高資源利用率、高業(yè)務(wù)連續(xù)性、資源靈活調(diào)度統(tǒng)一的計算資源池。

3.1總體架構(gòu)

基于 SDN 的數(shù)據(jù)中心互聯(lián)架構(gòu)，通常由 數(shù)據(jù)中心內(nèi)部實現(xiàn)組網(wǎng)、DCI 廣域骨干網(wǎng)、數(shù)據(jù)中心 間業(yè)務(wù)協(xié)同控制平臺3個部分組成。

（1） 在數(shù)據(jù)中心內(nèi)部：在數(shù)據(jù)中心內(nèi)部要求實現(xiàn)高帶寬、低延時、可擴展的大二層網(wǎng)絡(luò)。通常是部署 SDN 交換機，便于虛擬資源和網(wǎng)絡(luò)策略的同步快速遷移，可以使網(wǎng)絡(luò)和計算 / 存儲資源更緊密的協(xié)同并能實現(xiàn)對全局資源的有效控制。采用虛擬交換機，實現(xiàn)基于物理網(wǎng)絡(luò)的二層疊加網(wǎng)絡(luò)技術(shù)。實現(xiàn)物理網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)互通的網(wǎng)關(guān)（以軟件實現(xiàn)虛擬路由器、虛擬 DHCP、NAT、防火墻、虛擬負載均衡、虛擬 VPN）等功能 ；實現(xiàn)東西向三層互通的分布式路由器以及東西向流量隔離的分布式防火墻 ；實現(xiàn)數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)配置、監(jiān)控、編排、流量、自動化部署等控制。（2）DCI廣域網(wǎng)骨干 ：數(shù)據(jù)中心間網(wǎng)絡(luò)可以選擇 ：裸光纖、租用運營商 網(wǎng)絡(luò)、城域承載網(wǎng)、Internet 或者自建 WAN 等。（3）DCI 業(yè)務(wù)協(xié)同控制器 ：在 DCI 廣域網(wǎng)基礎(chǔ)上，通過 SDN 控制器，將用戶的網(wǎng)絡(luò)策略集中在控制器端，負責(zé)對整個 DCI網(wǎng)絡(luò)配置進行集中管理，并對 轉(zhuǎn)發(fā)器的流表轉(zhuǎn)發(fā)控制。

3.2總體方案

實現(xiàn)數(shù)據(jù)中心整合、業(yè)務(wù)統(tǒng)一運營、異地容災(zāi)備份、虛擬機遷移等首要需求就是虛擬機能夠跨站點透明遷移，遷移前后IP地址不變，所以必須在各站點間實現(xiàn)二層網(wǎng)絡(luò)互聯(lián)。

數(shù)據(jù)中心之間二層互聯(lián)需要具備以下基本要求：

（1）站點相互獨立。數(shù)據(jù)中心間二層互聯(lián)后，某個站點的故障不會傳遞到其它站點，如廣播風(fēng)暴。另外，站點內(nèi)的拓撲互不影響和依賴。

（2）傳輸無關(guān)性。對站點之間傳輸數(shù)據(jù)時使用的技術(shù)與站點位置、提供商的網(wǎng)絡(luò)無特殊要求，盡量使用最通用的技術(shù)，例如只要求核心網(wǎng)絡(luò)支持IP即可。

（3）高可靠性。使用多歸屬來提供冗余接入，并具有在站點間避免流量環(huán)路的機制。

（4）鏈路使用效率。站點之間的流量包括組播和廣播必須得到充分的優(yōu)化從而盡量節(jié)省帶寬，在具有冗余鏈路時實現(xiàn)負載分擔。

（5）靈活性。數(shù)據(jù)中心互聯(lián)不要依賴于站點的拓撲結(jié)構(gòu)，不對站點拓撲結(jié)構(gòu)有特定要求。

（6）運營維護簡單。站點互聯(lián)使用的技術(shù)盡量簡單，可以快速新增和減少站點。邊緣設(shè)備上的配置要盡量簡單，并且對站點現(xiàn)有的網(wǎng)絡(luò)變動最小化，部署過程對流量轉(zhuǎn)發(fā)不產(chǎn)生影響。

我們采用EVI（以太網(wǎng)虛擬互聯(lián)）解決方案。EVI是一種先進的“MAC in IP”技術(shù)，基于IP核心網(wǎng)實現(xiàn)二層互聯(lián)。通過EVI連接到IP核心網(wǎng)的數(shù)據(jù)中心站點，就像是直接連接到二層交換機上，同時能夠?qū)崿F(xiàn)數(shù)據(jù)中心之間的安全隔離。 EVI可以通過匯聚層和核心層之間的IP網(wǎng)絡(luò)實現(xiàn)二層互通，所以通過EVI擴展多個二層域的時候不需要更改布線或是設(shè)備，僅僅需要在匯聚設(shè)備上啟用EVI特性即可，這樣可以平滑的擴展二層網(wǎng)絡(luò)的規(guī)模。其技術(shù)成熟、架構(gòu)穩(wěn)定，能夠支持大規(guī)模二層網(wǎng)絡(luò)，運維簡單方便。

四、結(jié)束語

本文對基于SDN的多數(shù)據(jù)中心互聯(lián)方案進行了探討，但真正意義上的數(shù)據(jù)中心互聯(lián)的統(tǒng)一資源池實際上還要在數(shù)據(jù)中心的從上到下各個層面，網(wǎng)絡(luò)、存儲、服務(wù)器、數(shù)據(jù)庫、應(yīng)用都要有互聯(lián)的設(shè)計。

1、2015年已經(jīng)有企業(yè)開始采用SDN解決方案。預(yù)計2016年將會是SDN井噴發(fā)展的一年，因此我們應(yīng)該抓住機遇，按照統(tǒng)一規(guī)劃、分步實施的原則盡快啟動礦井級數(shù)據(jù)中心互聯(lián)建設(shè)工作。

2、大多數(shù)情況下，SDN仍然是一個全新的事物，雖然新技術(shù)能帶來各種優(yōu)勢，但如果不了解真正的需求以及SDN將如何發(fā)揮功能，那么失敗在所難免。因此我們要仔細調(diào)研自身業(yè)務(wù)情況，同時組織人員深入了解SDN技術(shù)。

3、各個層面的整合是實現(xiàn)數(shù)據(jù)中心互聯(lián)的難點，從硬件設(shè)備、網(wǎng)絡(luò)、存儲、應(yīng)用軟件、中間件到數(shù)據(jù)庫都是各種各樣的，不同層面的整合又有不同的技術(shù)，需要在多種可能中尋求符合兗礦自身實際又符合虛擬化、云計算發(fā)展趨勢的技術(shù)方案，同時應(yīng)充分考慮到標準性、開放性、靈活性、可維護性等因素。