郭軍梅

（山西省交通信息通信公司，山西 太原 030006）

近年來(lái)，山西省高速公路建設(shè)規(guī)模發(fā)生了突飛猛進(jìn)的發(fā)展，當(dāng)前信息化及網(wǎng)絡(luò)化技術(shù)日新月異，隨著山西省高速公路里程數(shù)的逐年增長(zhǎng)，車流量及網(wǎng)絡(luò)數(shù)據(jù)流量也成倍增長(zhǎng)，對(duì)網(wǎng)絡(luò)帶寬與數(shù)據(jù)存儲(chǔ)、處理的要求也越來(lái)越高，山西省收費(fèi)中心機(jī)房是全省收費(fèi)數(shù)據(jù)轉(zhuǎn)發(fā)、處理及存儲(chǔ)的中心，其核心地位要求所有設(shè)備及配置具有高可靠性、可擴(kuò)展性、先進(jìn)性的架構(gòu)設(shè)計(jì)，所以應(yīng)配置較高端、可靈活擴(kuò)展的核心處理存儲(chǔ)設(shè)備。而目前收費(fèi)中心服務(wù)器及存儲(chǔ)設(shè)備是2007年建設(shè)并運(yùn)行的，隨著長(zhǎng)時(shí)間的運(yùn)行，收費(fèi)結(jié)算中心的設(shè)備面臨著老化，系統(tǒng)設(shè)計(jì)瓶頸、性能基本飽和、業(yè)務(wù)需求增加等現(xiàn)實(shí)問(wèn)題，升級(jí)改造迫在眉睫，為此，本文主要研究收費(fèi)中心數(shù)據(jù)處理及存儲(chǔ)改造時(shí)架構(gòu)設(shè)計(jì)問(wèn)題。

1 山西省高速公路數(shù)據(jù)處理存儲(chǔ)系統(tǒng)現(xiàn)狀

數(shù)據(jù)處理存儲(chǔ)系統(tǒng)是收費(fèi)中心網(wǎng)絡(luò)系統(tǒng)的核心，由4臺(tái)小型機(jī)、一臺(tái)磁盤陣列、兩臺(tái)光纖通道交換機(jī)及備份軟件組成，小型機(jī)采用N+1熱備運(yùn)行方式，利用集群軟件組成一個(gè)3節(jié)點(diǎn)的cluster，其中兩臺(tái)小型機(jī)sever195sever196運(yùn)行兩個(gè)數(shù)據(jù)庫(kù)實(shí)例，分別對(duì)全省收費(fèi)數(shù)據(jù)進(jìn)行處理及存儲(chǔ)，另外一臺(tái)sever197做為備份服務(wù)器，平時(shí)3臺(tái)主機(jī)同時(shí)工作，兩臺(tái)承載生產(chǎn)業(yè)務(wù)，當(dāng)其中一臺(tái)出現(xiàn)故障，應(yīng)用業(yè)務(wù)自動(dòng)切換到備用主機(jī)上，故障修復(fù)后，應(yīng)用業(yè)務(wù)切換回原主機(jī)運(yùn)行，sever194做為應(yīng)用測(cè)試及備份數(shù)據(jù)恢復(fù)測(cè)試使用，結(jié)構(gòu)網(wǎng)絡(luò)圖如圖1、圖2。

圖1 收費(fèi)中心數(shù)據(jù)處理存儲(chǔ)系統(tǒng)現(xiàn)狀結(jié)構(gòu)網(wǎng)絡(luò)圖

圖2 收費(fèi)中心數(shù)據(jù)處理存儲(chǔ)系統(tǒng)現(xiàn)狀架構(gòu)圖

1.1 系統(tǒng)設(shè)備老化

4臺(tái)小型機(jī)、光纖交換機(jī)及磁盤陣列是2007年更換的設(shè)備，24 h不停機(jī)已運(yùn)行8年之久，一般根據(jù)電子設(shè)備工作壽命及更新?lián)Q代5～8年來(lái)計(jì)算，該批設(shè)備已停產(chǎn)，配件已無(wú)法在市場(chǎng)上采購(gòu)到，而且在運(yùn)行當(dāng)中多次出現(xiàn)主板、電源、光纖模塊老化等故障。

1.2 系統(tǒng)性能及設(shè)備容量基本飽和

根據(jù)2007年收費(fèi)存儲(chǔ)系統(tǒng)更換方案的設(shè)計(jì)，當(dāng)時(shí)山西省高速公路通車?yán)锍碳s為2000 km，而2016年通車?yán)锍踢_(dá)5265 km，約是當(dāng)時(shí)的2.6倍，當(dāng)時(shí)全省通車運(yùn)營(yíng)的收費(fèi)站有160個(gè)，目前通車運(yùn)營(yíng)的收費(fèi)站為307個(gè)，是原來(lái)的1.9倍?，F(xiàn)金及非現(xiàn)金的磁盤陣列存儲(chǔ)量及每天數(shù)據(jù)增長(zhǎng)量如表1所示。

表1 數(shù)據(jù)量增長(zhǎng)表

隨著高速公路通車?yán)锍痰脑鲩L(zhǎng)，收費(fèi)站數(shù)量逐年增加，隨之帶來(lái)的是網(wǎng)絡(luò)邊界與設(shè)備的不斷擴(kuò)容，以上數(shù)據(jù)表明2011年以后數(shù)據(jù)量呈現(xiàn)猛增的趨勢(shì)，因此對(duì)數(shù)據(jù)處理系統(tǒng)提出了更高的要求。通過(guò)查看服務(wù)器設(shè)備CPU使用率與內(nèi)存占用率，發(fā)現(xiàn)CPU使用率已達(dá)90%，內(nèi)存占用率已達(dá)95%以上，磁陣硬盤剩余空間只有1.5 T左右，因此數(shù)據(jù)處理服務(wù)器處于高負(fù)荷運(yùn)行狀態(tài)，升級(jí)更換核心存儲(chǔ)設(shè)備迫在眉睫。

1.3 未來(lái)業(yè)務(wù)應(yīng)用的需求

在信息化蓬勃發(fā)展的今天，應(yīng)用業(yè)務(wù)及新技術(shù)應(yīng)用增長(zhǎng)異常迅猛，高速公路產(chǎn)生的收費(fèi)數(shù)據(jù)業(yè)務(wù)不僅內(nèi)容多，結(jié)構(gòu)也會(huì)發(fā)生較大的變化，尤其是在2015年全國(guó)29省市ETC聯(lián)網(wǎng)以后，新業(yè)務(wù)形式會(huì)在收費(fèi)系統(tǒng)中大量地應(yīng)用，根據(jù)山西省高速公路管理局2017年的計(jì)劃，本年度內(nèi)將在全省所有車道增加全車牌高清識(shí)別系統(tǒng)，收費(fèi)數(shù)據(jù)中不僅有各類報(bào)表、還增加了圖片，以后還可能有視頻、音頻等，另外管理者對(duì)數(shù)據(jù)的專項(xiàng)校核、數(shù)據(jù)的查詢頻率也相應(yīng)增大，全國(guó)聯(lián)網(wǎng)前收費(fèi)中心要求數(shù)據(jù)進(jìn)行月報(bào)，聯(lián)網(wǎng)后交通部路網(wǎng)監(jiān)測(cè)及應(yīng)急處置中心要求數(shù)據(jù)進(jìn)行旬報(bào)，數(shù)據(jù)的查詢、統(tǒng)計(jì)消耗大量的系統(tǒng)資源，對(duì)小型機(jī)處理能力提出了極大的挑戰(zhàn)。因此，不僅需要提升網(wǎng)絡(luò)設(shè)備性能，增加網(wǎng)絡(luò)的接入帶寬，更主要的是提升核心服務(wù)器的數(shù)據(jù)處理及存儲(chǔ)的性能和容量。

2 改造的架構(gòu)設(shè)計(jì)

2.1 新架構(gòu)設(shè)計(jì)原則

2.1.1 可用性

分為用、可用兩個(gè)方面，滿足需求，考慮應(yīng)用增速，預(yù)留富余能力。

a）用 系統(tǒng)能力要符合應(yīng)用需求。

b）可用 要有足夠的冗余度，考慮今后5～8年應(yīng)用需求，保證應(yīng)用持續(xù)可使用。

2.1.2 成本

分為構(gòu)建成本、運(yùn)維成本兩個(gè)方面，滿足第一原則的前提下，越低越好。

a）構(gòu)建成本 系統(tǒng)構(gòu)建需要的硬件、軟件、實(shí)施費(fèi)用等。

b）運(yùn)維成本 系統(tǒng)上線后，維保、升級(jí)、擴(kuò)容的費(fèi)用。

2.1.3 可擴(kuò)展性

每一個(gè)方案在設(shè)計(jì)時(shí)不能只針對(duì)當(dāng)前需求去設(shè)計(jì)，在設(shè)計(jì)之初就要考慮好擴(kuò)展的問(wèn)題，擴(kuò)展性從兩個(gè)方向考慮。

a）技術(shù)的發(fā)展方向。在目前技術(shù)的基礎(chǔ)上，要考慮未來(lái)5年之內(nèi)技術(shù)的發(fā)展方向及業(yè)務(wù)需求。

b）選擇的自由度。

2.1.4 日常運(yùn)維

應(yīng)考慮有效監(jiān)控、維護(hù)簡(jiǎn)單、便捷與可視化。主要有以下4點(diǎn)：

a）易檢查；

b）易管理；

c）維護(hù)簡(jiǎn)單；

d）能耗低。

2.2 新架構(gòu)設(shè)計(jì)方案

根據(jù)以上數(shù)據(jù)處理服務(wù)器、存儲(chǔ)系統(tǒng)現(xiàn)狀及問(wèn)題本文提出3種改造架構(gòu)。

2.2.1 傳統(tǒng)UNIX小型機(jī)架構(gòu)

圖3 傳統(tǒng)UNIX小型機(jī)架構(gòu)圖

傳統(tǒng)UNIX架構(gòu)，3臺(tái)小型機(jī)+SAN網(wǎng)絡(luò)+FC存儲(chǔ)+SF+Oracle+NBU，將目前oracle9i升級(jí)到11g或12c。

a）采用2+1集群配置，搭建oracle集群，一備二有效利用硬件資源。

b）通過(guò)SF軟件強(qiáng)大的snap功能，每日進(jìn)行數(shù)據(jù)庫(kù)快照容災(zāi)，有效保障數(shù)據(jù)安全，將數(shù)據(jù)恢復(fù)時(shí)間從天縮短至分鐘級(jí)，規(guī)避人為誤操作。

c）通過(guò)SF軟件專有的ODM功能，大幅提升oracle運(yùn)行速度。

d）當(dāng)前7.1版的NBU不支持oracle11g，需升級(jí)NBU到最新7.7.2。

優(yōu)點(diǎn) 技術(shù)成熟，穩(wěn)定性高。

缺點(diǎn) 硬件成本高，后期維護(hù)費(fèi)用大。小型機(jī)技術(shù)處于淘汰階段，發(fā)展不明朗。

2.2.2 X86超融合架構(gòu)

圖4 X86超融合架構(gòu)圖

全新X86 VSAN架構(gòu)，X86服務(wù)器+IB網(wǎng)絡(luò)+SF+Oracle+NBU，將目前oracle9i升級(jí)到11g或12c。

采用4節(jié)點(diǎn)集群配置，搭建FSS集群，2U機(jī)架式X86服務(wù)器，本地高性能SSD盤+大容量SAS盤混用。

a）FSS軟件搭建VSAN架構(gòu)，利用本地盤替代傳統(tǒng)存儲(chǔ)，在節(jié)省成本的同時(shí)，大幅提高IO性能。

b）通過(guò)SF軟件專有的ODM功能，大幅提升oracle運(yùn)行速度。

c）當(dāng)前 7.1版 NBU不支持oracle11g，需升級(jí)NBU到最新7.7.2。為提高備份速度建議采購(gòu)專用的X86服務(wù)器用于備份，配合未來(lái)機(jī)房的萬(wàn)兆網(wǎng)環(huán)境，實(shí)現(xiàn)數(shù)據(jù)庫(kù)快速備份。

優(yōu)點(diǎn) IT技術(shù)發(fā)展方向，價(jià)格低廉、高性能、低維護(hù)成本。

缺點(diǎn) X86架構(gòu)穩(wěn)定性差，日常故障較小型機(jī)多。

2.2.3 X86高可用架構(gòu)

圖5 X86高可用架構(gòu)圖

傳統(tǒng)架構(gòu)X86化，X86服務(wù)器+萬(wàn)兆網(wǎng)絡(luò)+混合式存儲(chǔ)+SF+NBU，將目前oracle9i升級(jí)到11g或12c。

采用2+1集群配置，搭建X86集群，一備二有效利用硬件資源。

a）采用混合式存儲(chǔ)，充分利用閃存盤的高性能和SAS盤的高容量特性，配合先進(jìn)的消重技術(shù)，用最小的空間，獲取最大的容量，最高的性能。

b）通過(guò)SF軟件強(qiáng)大的snap功能，每日進(jìn)行數(shù)據(jù)庫(kù)快照容災(zāi)，將數(shù)據(jù)恢復(fù)時(shí)間從天縮短至分鐘級(jí)，有效保障數(shù)據(jù)安全，規(guī)避人為誤操作。

c）通過(guò)SF軟件專有的ODM功能，大幅提升oracle運(yùn)行速度。

d）當(dāng)前7.1版 NBU不支持oracle11g，需升級(jí)NBU到最新7.7.2。為提高備份速度建議采購(gòu)專用的X86服務(wù)器用于備份，配合機(jī)房的萬(wàn)兆網(wǎng)環(huán)境，實(shí)現(xiàn)數(shù)據(jù)庫(kù)快速備份。

e）利用混合式存儲(chǔ)大容量特性，結(jié)合NBU7.7.2新特性將日常備份任務(wù)從物理帶庫(kù)遷移至磁盤空間，大幅提高備份速度。

優(yōu)點(diǎn) IT技術(shù)發(fā)展方向，價(jià)格低廉、高性能、高容量、低維護(hù)成本。

缺點(diǎn) 穩(wěn)定性介于1、2方案之間，成本介于1、2方案之間。

2.3 選擇一種方案應(yīng)主要從3方面考慮

2.3.1 技術(shù)發(fā)展方向，X86替代小型機(jī)為大勢(shì)所趨

目前整個(gè)電子行業(yè)增速最快的兩個(gè)行業(yè)就是手機(jī)和服務(wù)器。服務(wù)器每年有6%以上的增速，而這些年Intel X86架構(gòu)的服務(wù)器已經(jīng)占據(jù)了90%以上的份額，隨著英特爾至強(qiáng)處理器的性能不斷提升，業(yè)內(nèi)有種說(shuō)法是X86服務(wù)器有搶占小型機(jī)市場(chǎng)的趨勢(shì)。

圖62016 年——2018年全球服務(wù)器出貨量（單位：千臺(tái)）

2.3.2 數(shù)據(jù)處理能力

新的X86架構(gòu)CPU突破了主頻，核數(shù)的瓶頸，計(jì)算能力有質(zhì)的突破。

表2 服務(wù)器與小型機(jī)數(shù)據(jù)處理能力比較

2.3.3 經(jīng)濟(jì)性、穩(wěn)定性、可擴(kuò)展性

表3 各種服務(wù)器成本費(fèi)用、性能值比較表

從以上分析可以看出，X86服務(wù)器在穩(wěn)定性方面不及小型機(jī)，但是硬件成本、軟件成本、后期的維護(hù)成本要遠(yuǎn)低于小型機(jī)。中國(guó)移動(dòng)設(shè)計(jì)院根據(jù)河南移動(dòng)實(shí)際情況進(jìn)行的對(duì)比分析，小型機(jī)、X86服務(wù)器5年的成本TCO分別為702萬(wàn)及47.3萬(wàn)元，按照相同可靠性組建小型機(jī)及X86服務(wù)器集群，X86服務(wù)器的投資效率比小型機(jī)高58%[1]。

在可擴(kuò)展性能上，X86平臺(tái)橫向的向外擴(kuò)展功能能滿足大多數(shù)企業(yè)關(guān)鍵應(yīng)用環(huán)境的負(fù)載需求，包括對(duì)內(nèi)存和CPU要求都較高的數(shù)據(jù)庫(kù)、商業(yè)應(yīng)用和虛擬化。

X86經(jīng)過(guò)20多年的發(fā)展，通用性和標(biāo)準(zhǔn)化相當(dāng)成熟，更加適合于企業(yè)長(zhǎng)遠(yuǎn)應(yīng)用和需求擴(kuò)展，更加容易維護(hù)與更新。

通過(guò)以上的分析，綜合考慮各種因素，結(jié)合收費(fèi)中心數(shù)據(jù)存儲(chǔ)系統(tǒng)現(xiàn)狀及未來(lái)發(fā)展方向，推薦采用X86高可用架構(gòu)，進(jìn)行系統(tǒng)有計(jì)劃、有重點(diǎn)、有步驟地設(shè)計(jì)及改造。