◆苑順周 姚曉冬 邢羽

基于超融合技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)安全設(shè)計

◆苑順周 姚曉冬 邢羽

（公安部第一研究所 北京 100048）

近年來，基于超融合技術(shù)構(gòu)建數(shù)據(jù)中心領(lǐng)域的基礎(chǔ)架構(gòu)受到越來越多的關(guān)注。相比于傳統(tǒng)架構(gòu)和虛擬化技術(shù)，超融合技術(shù)實現(xiàn)了計算、網(wǎng)絡(luò)和存儲資源的統(tǒng)一管理，具有更高的平臺投資效費比、簡化管理難度及擴(kuò)展性強(qiáng)等優(yōu)勢。隨著網(wǎng)絡(luò)安全的重要性不斷提升，對基于超融合技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)安全方面提出了更高的挑戰(zhàn)。通過劃分超融合架構(gòu)的不同子網(wǎng)，分析其中涉及的網(wǎng)絡(luò)安全風(fēng)險點，提出了物理隔離、VLAN隔離、訪問控制、配置安全策略等網(wǎng)絡(luò)安全設(shè)計思路，在提升數(shù)據(jù)中心運行效能的前提下，使得數(shù)據(jù)中心網(wǎng)絡(luò)更加安全、可靠。

超融合；數(shù)據(jù)中心；網(wǎng)絡(luò)安全

傳統(tǒng)的數(shù)據(jù)中心在過去經(jīng)歷了幾個發(fā)展階段，包括：大型機(jī)時代、獨立服務(wù)器時代、中心化存儲時代、虛擬化時代。目前，由標(biāo)準(zhǔn)x86架構(gòu)加上虛擬化技術(shù)組成的云計算已經(jīng)占據(jù)了大部分市場。但新的架構(gòu)目前還存在著諸多問題，特別是對于私有云來說，虛擬機(jī)快速增長可能導(dǎo)致存儲網(wǎng)絡(luò)壓力的增加，更多的機(jī)器和存儲陣列導(dǎo)致管理復(fù)雜度的提高[1]。超融合技術(shù)打破了傳統(tǒng)的服務(wù)器、網(wǎng)絡(luò)和存儲的孤立界線，實現(xiàn)了統(tǒng)一的超融合架構(gòu)（Hyper-Converged-Infrastructure，HCI）形態(tài)[2]。超融合技術(shù)（以下簡稱超融合）更加高效、天然地將計算、存儲、網(wǎng)絡(luò)等組件融合到一起，有利于系統(tǒng)的橫向擴(kuò)展、提高整體系統(tǒng)的I/O和性能，基于超融合的軟件定義數(shù)據(jù)中心能更好為用戶提供云服務(wù)[3]。

超融合是近幾年興起的一種新的 IT 基礎(chǔ)架構(gòu)，符合軟件定義數(shù)據(jù)中心理念，通過軟件結(jié)合標(biāo)準(zhǔn)的 x86 服務(wù)器來構(gòu)建分布式存儲，強(qiáng)調(diào)的是分布式存儲軟件和虛擬化軟件的融合部署，并不是單純指軟、硬件融合。絕大多數(shù)的數(shù)據(jù)中心基礎(chǔ)架構(gòu)的層次劃分很清晰，對于物理架構(gòu)分層，大概可以分為以太網(wǎng)絡(luò)層、服務(wù)器層、光纖網(wǎng)絡(luò)層和存儲層。超融合架構(gòu)，主要基于分布式存儲等技術(shù)來壓縮傳統(tǒng)SAN架構(gòu)的服務(wù)器層、光纖網(wǎng)絡(luò)層和存儲層為一層，可簡稱為超融合層。超融合層的設(shè)備具備計算、網(wǎng)絡(luò)（主要是存儲網(wǎng)絡(luò)）和存儲功能。超融合架構(gòu)的核心功能是對傳統(tǒng)架構(gòu)進(jìn)行縱向壓縮（融合）的，免去了復(fù)雜的SAN網(wǎng)絡(luò)，并提供了更高的存儲IOPS和支持服務(wù)器虛擬化，如圖1所示。

圖1 數(shù)據(jù)中心傳統(tǒng)架構(gòu)與超融合架構(gòu)對比

國際上，Nutanix、VMware、DELL EMC、HPE、Cisco、Microsoft等大公司紛紛進(jìn)入到超融合市場的競爭之中；在中國的情況也類似，有華為、新華3 深信服、浪潮、曙光等一線廠商紛紛推出各自的超融合產(chǎn)品。各廠商的技術(shù)和實現(xiàn)方式各不相同，但是對超融合的概念理解基本是一致的，比如使用通用硬件平臺、軟件定義、虛擬化、統(tǒng)一管理平臺等。在超融合逐漸成為企業(yè)云環(huán)境主流基礎(chǔ)設(shè)施的趨勢下，超融合的核心競爭力依然是在軟件上，用軟件定義來實現(xiàn)IT基礎(chǔ)架構(gòu)各項服務(wù)，包括計算、存儲、網(wǎng)絡(luò)融合、災(zāi)備、運維管理等，實現(xiàn)以虛擬化為中心的技術(shù)架構(gòu)（圖2）。

圖2 超融合架構(gòu)示意圖

目前，通過Gartner關(guān)于超融合市場的報告，包括了國內(nèi)外的各大知名廠商（如圖3），市場競爭的激烈程度可見一斑。

圖3 2019年11月Gartner超融合基礎(chǔ)架構(gòu)魔力象限

超融合產(chǎn)品在數(shù)據(jù)中心基礎(chǔ)設(shè)施中扮演的角色越來越重要，會有越來越多行業(yè)開始接受和采用它，并會將它放入到更多的生產(chǎn)環(huán)境之中，分析認(rèn)為超融合市場在未來一段時間中依然會處于高速增長的狀態(tài)（資料來源于Gartner官網(wǎng)）。

1 超融合架構(gòu)的網(wǎng)絡(luò)劃分

網(wǎng)絡(luò)是超融合技術(shù)架構(gòu)不可缺少的組成部分。當(dāng)業(yè)務(wù)系統(tǒng)對性能有著很高的要求時，很容易使得超融合網(wǎng)絡(luò)遇到瓶頸。傳統(tǒng)數(shù)據(jù)中心的集群有專門的存儲系統(tǒng)，訪問共享的數(shù)據(jù)。然而，基于超融合架構(gòu)的數(shù)據(jù)中心通常將內(nèi)部每個節(jié)點的存儲匯聚到一個虛擬存儲池，I/O需求負(fù)擔(dān)較重的環(huán)境會將負(fù)載都壓在了超融合網(wǎng)絡(luò)之上?；谑袌錾现髁鞒诤蠌S商的基礎(chǔ)架構(gòu)，大致都分為帶外管理網(wǎng)、集群管理網(wǎng)、存儲網(wǎng)、業(yè)務(wù)網(wǎng)以及業(yè)務(wù)系統(tǒng)涉及的對外接口網(wǎng)，共5種網(wǎng)絡(luò)類型。

1.1 帶外管理網(wǎng)

帶外管理（Out-of-Band Management）是基于硬件的一種管理方式，使用專用硬件模塊或特殊的遠(yuǎn)程管理卡提供管理接口，通過專用的數(shù)據(jù)通道對設(shè)備進(jìn)行遠(yuǎn)程維護(hù)和管理，完全獨立于設(shè)備操作系統(tǒng)之外，甚至可以在設(shè)備關(guān)機(jī)狀態(tài)下進(jìn)行遠(yuǎn)程監(jiān)控與管理。目前，絕大部分服務(wù)器都提供帶外管理接口。

帶內(nèi)管理使得網(wǎng)絡(luò)中的管理數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)在相同的鏈路中傳輸，當(dāng)管理數(shù)據(jù)（SNMP、NetFlow、計費等）較多時，將會影響到整個網(wǎng)絡(luò)的性能，只有當(dāng)管理數(shù)據(jù)較少時，對整個網(wǎng)絡(luò)的性能影響不明顯，可采用帶內(nèi)管理。帶外管理網(wǎng)將管理數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)分開，在這個通道中，只傳輸管理數(shù)據(jù)、統(tǒng)計信息、計費信息等，可以提供網(wǎng)絡(luò)管理的效率與可靠性，也有利于提高網(wǎng)絡(luò)管理數(shù)據(jù)的安全性。對于超融合架構(gòu)的數(shù)據(jù)中心來講，涉及多個集群的眾多節(jié)點的管理與監(jiān)控，可能運維人員需要面對幾十、幾百甚至上萬臺服務(wù)器，對設(shè)備的訪問控制、操作記錄等均需借助帶外管理網(wǎng)來完成。

1.2 集群管理網(wǎng)

集群管理網(wǎng)是管理超融合平臺的基礎(chǔ)，保證了集群內(nèi)各個節(jié)點互相通訊，使得各個節(jié)點信息同步。對于超融合架構(gòu)來說，集群是一個分布式結(jié)構(gòu)，將多個節(jié)點融合在一起，集群中的各個節(jié)點將共同管理集群資源和任務(wù)，構(gòu)成分層存儲的統(tǒng)一資源池，以實現(xiàn)虛擬機(jī)對資源的無縫訪問。管理集群涉及配置、監(jiān)視集群內(nèi)的對象，包括虛擬機(jī)、存儲、網(wǎng)絡(luò)、硬件、運行狀況、任務(wù)監(jiān)視、報警等，各個超融合廠商基本上都支持基于Web的管理控制臺進(jìn)行集群管理。

1.3 存儲網(wǎng)

存儲網(wǎng)實現(xiàn)了超融合架構(gòu)下多設(shè)備的分布式存儲，提高了存儲的IO性能和可靠性。超融合架構(gòu)的核心功能是對傳統(tǒng)架構(gòu)進(jìn)行縱向壓縮（融合），免去了復(fù)雜的SAN網(wǎng)絡(luò)，每個超融合節(jié)點都有存儲設(shè)備，存儲節(jié)點互相熱備，如果一個節(jié)點出現(xiàn)故障，整個業(yè)務(wù)系統(tǒng)仍可以正常工作。為了保證存儲IO的性能，通常超融合節(jié)點之間存儲網(wǎng)絡(luò)采用萬兆以太網(wǎng)交換機(jī)進(jìn)行通信。

1.4 業(yè)務(wù)網(wǎng)

業(yè)務(wù)網(wǎng)是基于超融合架構(gòu)的數(shù)據(jù)中心最為核心的網(wǎng)絡(luò)。根據(jù)數(shù)據(jù)中心建設(shè)背景，在超融合架構(gòu)上可能運行著各種各樣的不同的業(yè)務(wù)系統(tǒng)，而每個業(yè)務(wù)系統(tǒng)構(gòu)成一個業(yè)務(wù)網(wǎng)，一個超融合集群上可能運行著多個業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)。

1.5 對外接口網(wǎng)

每個業(yè)務(wù)系統(tǒng)除了完成系統(tǒng)功能外，通常需要與其他系統(tǒng)進(jìn)行業(yè)務(wù)對接，從而在超融合架構(gòu)上需要單獨考慮對外接口網(wǎng)絡(luò)的設(shè)置。

2 網(wǎng)絡(luò)風(fēng)險點

2.1 不同子網(wǎng)連接到同一個網(wǎng)絡(luò)安全域

在搭建超融合架構(gòu)時，考慮到降低建設(shè)成本或管理復(fù)雜度，有些系統(tǒng)將帶外管理網(wǎng)、集群管理網(wǎng)、存儲網(wǎng)、業(yè)務(wù)網(wǎng)、對外接口網(wǎng)絡(luò)的兩種、三種甚至是5種網(wǎng)絡(luò)合并成一個網(wǎng)絡(luò)，這種未有效控制網(wǎng)絡(luò)安全邊界的系統(tǒng)具有較大的安全風(fēng)險。超融合基于分布式存儲技術(shù)，對超融合節(jié)點間的存儲網(wǎng)的IOPS要求極高，否則無法保證節(jié)點間的同步，當(dāng)其他子網(wǎng)與其連接到同一個網(wǎng)絡(luò)安全域內(nèi)時，導(dǎo)致超融合系統(tǒng)故障的風(fēng)險比較大。業(yè)務(wù)網(wǎng)屬于平臺最為關(guān)鍵的子網(wǎng)，不建議與其他子網(wǎng)進(jìn)行合并。集群管理網(wǎng)是管理超融合的唯一入口，也不建議與其他占高帶寬的子網(wǎng)進(jìn)行合并，否則影響平臺的管理順暢度。相比其他子網(wǎng)的網(wǎng)絡(luò)可靠度，對外接口網(wǎng)屬于最不可信的網(wǎng)絡(luò)安全域，更不應(yīng)跟其他子網(wǎng)混用。

2.2 子網(wǎng)之間網(wǎng)段未有效隔離

對于兩個或多個子網(wǎng)之間不需要進(jìn)行數(shù)據(jù)交互的情況下，設(shè)計網(wǎng)段時應(yīng)該設(shè)置不同的網(wǎng)段進(jìn)行部署。如果未按照信息的重要程度劃分子網(wǎng)，使得廣播風(fēng)暴、惡意代碼的傳播、網(wǎng)絡(luò)攻擊等變得更容易，并且管理者為不同業(yè)務(wù)區(qū)域部署相應(yīng)的安全策略變得更為復(fù)雜，不利于對系統(tǒng)的安全運維，最終對系統(tǒng)的穩(wěn)定運行造成影響。

2.3 重點業(yè)務(wù)網(wǎng)安全策略不夠

超融合業(yè)務(wù)網(wǎng)絡(luò)系統(tǒng)內(nèi)包含各種業(yè)務(wù)需求的虛擬機(jī)，如果業(yè)務(wù)網(wǎng)內(nèi)虛擬機(jī)未安裝殺毒軟件、端口限定、路由控制等方式進(jìn)行防護(hù)時，系統(tǒng)易受到病毒的侵襲、黑客的非法闖入、數(shù)據(jù)竊聽和攔截、拒絕服務(wù)攻擊、垃圾郵件等等。

2.4 對外網(wǎng)絡(luò)未部署訪問控制措施

如果超融合架構(gòu)的對外網(wǎng)絡(luò)系統(tǒng)未在網(wǎng)絡(luò)邊界處部署諸如防火墻、入侵檢測等訪問控制設(shè)備，則無法對來自外部非可信網(wǎng)絡(luò)的網(wǎng)絡(luò)通信進(jìn)行控制，無法對可能潛在的網(wǎng)絡(luò)攻擊行為進(jìn)行檢測和報警，極易存在被網(wǎng)絡(luò)攻擊的風(fēng)險。

2.5 網(wǎng)絡(luò)管理不規(guī)范

對于網(wǎng)絡(luò)安全的管理，很多企業(yè)都存在多名用戶使用同一賬戶進(jìn)行登錄管理的情況，對系統(tǒng)僅設(shè)置超級管理員用戶，存在管理賬戶濫用權(quán)限和惡意破壞的風(fēng)險。超融合架構(gòu)下子網(wǎng)劃分更為復(fù)雜，管理制度、操作規(guī)范的缺乏可能使得相關(guān)工作缺乏規(guī)范依據(jù)和質(zhì)量保障，進(jìn)而影響到系統(tǒng)的安全建設(shè)和運維。

3 網(wǎng)絡(luò)安全設(shè)計

結(jié)合超融合架構(gòu)技術(shù)特點，每個子網(wǎng)都可以看作一個網(wǎng)絡(luò)安全域，設(shè)計原則是系統(tǒng)網(wǎng)絡(luò)安全域之間的邊界應(yīng)劃分明確，安全域與安全域之間的所有數(shù)據(jù)通信都應(yīng)安全可控。設(shè)計方法考慮合理劃分安全域邊界，實施“分域分級防護(hù)”的策略。設(shè)計目標(biāo)是保障超融合為數(shù)據(jù)中心提供高效的技術(shù)架構(gòu)的前提下，強(qiáng)化網(wǎng)絡(luò)安全的研究設(shè)計。根據(jù)以上分析的網(wǎng)絡(luò)風(fēng)險點，提出以下網(wǎng)絡(luò)安全設(shè)計思路：

3.1 物理網(wǎng)絡(luò)隔離

根據(jù)超融合基礎(chǔ)架構(gòu)涉及的網(wǎng)絡(luò)劃分為帶外管理網(wǎng)、集群管理網(wǎng)、存儲網(wǎng)、業(yè)務(wù)網(wǎng)、對外系統(tǒng)接口網(wǎng)，設(shè)計為物理網(wǎng)絡(luò)隔離，在每個超融合節(jié)點上對各子網(wǎng)配置不同的網(wǎng)絡(luò)端口，連接到各自不同的網(wǎng)絡(luò)交換機(jī)上（如圖4），這樣設(shè)計的安全性應(yīng)該是最高的。物理隔離的好處是避免了不同子網(wǎng)連接到同一個網(wǎng)絡(luò)安全域的風(fēng)險。當(dāng)然有些使用率低、帶寬占用少的網(wǎng)絡(luò)，可能沒有必要單獨配置網(wǎng)絡(luò)設(shè)備，也可以在做好網(wǎng)絡(luò)安全策略、網(wǎng)段隔離的情況下連接到相同的交換機(jī)上，比如帶外管理與集群管理共用一套網(wǎng)絡(luò)設(shè)備。但是，生產(chǎn)業(yè)務(wù)網(wǎng)、存儲網(wǎng)和對外接口網(wǎng)絡(luò)不建議混用網(wǎng)絡(luò)交換設(shè)備。

圖4 物理隔離的超融合節(jié)點網(wǎng)卡連接情況

3.2 不同VLAN隔離

VLAN 隔離技術(shù)的應(yīng)用，可以把超融合架構(gòu)涉及的帶外管理網(wǎng)、集群管理網(wǎng)、各種業(yè)務(wù)網(wǎng)、存儲網(wǎng)、對外接口網(wǎng)劃分成不同的邏輯子網(wǎng)（如圖5），把數(shù)據(jù)鏈路層廣播報文封閉在邏輯子網(wǎng)之內(nèi)，形成各自的廣播域。VLAN 技術(shù)有效限制了廣播報文的傳輸范圍，一定程度上抑制了廣播風(fēng)暴、防止了惡意代碼的傳播，可以一定程度上提高數(shù)據(jù)中心超融合架構(gòu)網(wǎng)絡(luò)的安全性。

圖5 超融合架構(gòu)下VLAN隔離網(wǎng)絡(luò)安全域

3.3 訪問控制設(shè)備隔離

對于各種類型系統(tǒng)來說，涉及與其他外部系統(tǒng)進(jìn)行數(shù)據(jù)交互時，可以考慮雙重防護(hù)，第一重考慮超融合節(jié)點區(qū)分對內(nèi)網(wǎng)卡和對外網(wǎng)卡進(jìn)行隔離；第二重考慮對外網(wǎng)卡與外部系統(tǒng)連接之間必須經(jīng)由防火墻隔離，根據(jù)業(yè)務(wù)需要設(shè)置防火墻安全策略為只允許指定IP網(wǎng)段或指定端口的數(shù)據(jù)通過（如圖6）。當(dāng)業(yè)務(wù)系統(tǒng)涉及外網(wǎng)連接時，超融合對外連接可能需要各種隔離網(wǎng)閘、硬件防火墻、VPN等訪問控制設(shè)備進(jìn)行隔離。

圖6 對外系統(tǒng)連接使用防火墻的情況

3.4 配置網(wǎng)絡(luò)安全策略

常用網(wǎng)絡(luò)安全策略包括安裝操作系統(tǒng)補(bǔ)丁程序、安裝殺毒軟件、關(guān)閉無用服務(wù)和端口、啟用操作系統(tǒng)防火墻、路由控制等。

傳統(tǒng)的數(shù)據(jù)中心都是由物理網(wǎng)絡(luò)來分隔不同業(yè)務(wù)系統(tǒng)，以確保各業(yè)務(wù)系統(tǒng)之間是相互隔離的。然而，根據(jù)超融合技術(shù)架構(gòu)特點，就需要對數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)做出相應(yīng)的調(diào)整，不同超融合設(shè)備廠家也設(shè)計了不同的網(wǎng)絡(luò)安全策略產(chǎn)品，比如：Nutanix自帶一款軟件定義的網(wǎng)絡(luò)產(chǎn)品Flow，該產(chǎn)品被高度集成到超融合架構(gòu)中，使用微分段（Microsegmentation）技術(shù)簡化策略管理，創(chuàng)建了分布式防火墻，保障虛擬機(jī)流量的安全性。VMware自帶的一款網(wǎng)絡(luò)與安全虛擬化產(chǎn)品VMWare NSX，該產(chǎn)品為虛擬機(jī)提供了幾乎所有的網(wǎng)絡(luò)服務(wù)，如路由器、負(fù)載均衡、防火墻等。

3.5 增強(qiáng)網(wǎng)絡(luò)安全管理

網(wǎng)絡(luò)安全管理既要保證網(wǎng)絡(luò)用戶和網(wǎng)絡(luò)資源不被非法使用，又要保證網(wǎng)絡(luò)管理系統(tǒng)本身不被未經(jīng)授權(quán)的訪問，制定合理的安全管理措施，是保證網(wǎng)絡(luò)安全的重要策略之一。

網(wǎng)絡(luò)設(shè)備的安全管理主要包括網(wǎng)絡(luò)設(shè)備的互聯(lián)原則、配置更改原則等，超融合軟件的安全管理，包括平臺軟件的使用原則、配置更改原則、權(quán)限設(shè)置原則等。網(wǎng)絡(luò)安全管理是一個有關(guān)網(wǎng)絡(luò)維護(hù)、運營和管理信息的綜合管理系統(tǒng)，主要功能是性能管理、配置管理、故障管理、計費管理等，管理的重點是安全主旨的設(shè)立、安全人事管理、安全責(zé)任與監(jiān)督等。

4 結(jié)語

基于超融合技術(shù)作為數(shù)據(jù)中心領(lǐng)域的基礎(chǔ)架構(gòu)，對傳統(tǒng)的計算、存儲、網(wǎng)絡(luò)等組件進(jìn)行了融合，使得云平臺運行更加高效且有利于系統(tǒng)橫向擴(kuò)展，順應(yīng)了當(dāng)下各行業(yè)發(fā)展，但是其安全隱患場景也越來越多。主流超融合技術(shù)將網(wǎng)絡(luò)大致分為帶外管理網(wǎng)、集群管理網(wǎng)、存儲網(wǎng)、業(yè)務(wù)網(wǎng)和對外接口網(wǎng)，結(jié)合超融合技術(shù)特點，本文梳理了涉及的各種網(wǎng)絡(luò)風(fēng)險，提出各種網(wǎng)絡(luò)安全設(shè)計思路，以供各應(yīng)用場景進(jìn)行參考。在保障超融合為數(shù)據(jù)中心提供高效的技術(shù)架構(gòu)的前提下，強(qiáng)化網(wǎng)絡(luò)安全的研究設(shè)計，更好服務(wù)于各種應(yīng)用場景。

[1]艾如鵬.基于Openstack的超融合平臺的研究與實現(xiàn)[D].華南理工大學(xué)，2017.

[2]錢朝陽，陸明勝.淺談超融合基礎(chǔ)架構(gòu)[J].數(shù)字技術(shù)與應(yīng)用，2016，9（2）：216-217.

[3]朱炎逢，徐曉安，等.超融合網(wǎng)絡(luò)技術(shù)與多區(qū)域科技合作基地平臺的建設(shè)[J].科學(xué)與技術(shù)，2019，36（21）：18.

中央級公益性科研院所基本科研業(yè)務(wù)費專項資金資助項目（公安部第一研究所面上項目：A20613）