安 彪 王來鎖

1.2.內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團有限公司 內(nèi)蒙古 呼和浩特市 010051

1 BOSS系統(tǒng)簡介

BOSS（業(yè)務(wù)運營支撐系統(tǒng)）是企業(yè)信息化系統(tǒng)的重要組成部分，支撐廣電網(wǎng)絡(luò)業(yè)務(wù)的運營和用戶的管理，并為所有周邊系統(tǒng)提供基礎(chǔ)數(shù)據(jù)和能力支撐，是企業(yè)運營管理思想和戰(zhàn)略的集中體現(xiàn)。內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團有限公司（以下簡稱“內(nèi)蒙古廣電網(wǎng)絡(luò)”）原有BOSS 系統(tǒng)已不能很好的支撐各類新業(yè)務(wù)，嚴(yán)重影響企業(yè)的轉(zhuǎn)型、發(fā)展。同時，BOSS 系統(tǒng)存在底層架構(gòu)和數(shù)據(jù)模型老化、功能落后、硬件平臺性能不足、不可擴展等問題，無法滿足新形勢下全業(yè)務(wù)融合運營、客戶分級服務(wù)、網(wǎng)格化管理、大數(shù)據(jù)分析及精準(zhǔn)營銷等轉(zhuǎn)型的支撐要求。

目前，BOSS 系統(tǒng)的架構(gòu)技術(shù)和運維模式為每新增一個業(yè)務(wù)系統(tǒng)都需要完成一次軟、硬件部署，對企業(yè)的整個運營來說是一件非常繁瑣和復(fù)雜的事情。另一方面，每個業(yè)務(wù)系統(tǒng)都單獨分配服務(wù)器創(chuàng)建平臺，造成嚴(yán)重的硬件資源浪費，同時舊設(shè)備無法匹配軟件升級的要求，不僅資源利用率低，且運營成本增加。

目前，內(nèi)蒙古廣電網(wǎng)絡(luò)正在規(guī)劃建設(shè)新BOSS域支撐系統(tǒng)。為了讓新平臺具備彈性擴展、資源按需使用、業(yè)務(wù)敏捷上線的能力，包括以后數(shù)據(jù)業(yè)務(wù)向云化發(fā)展的趨勢能夠平滑的演進，決定對現(xiàn)有技術(shù)平臺架構(gòu)進行創(chuàng)新性改造，更好的支撐未來業(yè)務(wù)發(fā)展，并簡化業(yè)務(wù)平臺的管理運維工作。

2 建設(shè)目標(biāo)

在新BOSS 域系統(tǒng)建設(shè)上，以提升服務(wù)支撐為目的，充分借鑒電信、廣電行業(yè)成熟和先進的業(yè)務(wù)運營經(jīng)驗及IT 技術(shù)發(fā)展趨勢，結(jié)合公司戰(zhàn)略要求，按照高起點、循序漸進、適度超前的建設(shè)思路，打造一個結(jié)構(gòu)完整、功能完善、操作便捷、模型成熟、擴展性強、配置程度高要求的新BOSS支撐系統(tǒng)，滿足企業(yè)未來5～10年的業(yè)務(wù)發(fā)展需要。

經(jīng)過多次論證，BOSS 域系統(tǒng)構(gòu)建基于云技術(shù)的全新技術(shù)架構(gòu)體系平臺，選擇采用超融合技術(shù)作為新BOSS 全業(yè)務(wù)承載及運營的基礎(chǔ)架構(gòu)設(shè)計，主要原因如下：

（1）具有高部署性。通過融合技術(shù)能夠快速創(chuàng)建多臺虛擬機，實現(xiàn)新業(yè)務(wù)快速上線、快速推廣、快速迭代功能，縮短了新業(yè)務(wù)系統(tǒng)部署上線流程。

（2）具有高利用性。利用虛擬化技術(shù)，將超融合平臺硬件設(shè)備資源利用率發(fā)揮到最大。解決了廣電網(wǎng)絡(luò)在業(yè)務(wù)發(fā)展過程中，存儲空間等資源不足和業(yè)務(wù)無法快速靈活部署等難題。

（3）具有高管理與維護性。超融合技術(shù)架構(gòu)可通過云管理平臺實現(xiàn)集群統(tǒng)一管理和硬件資源的整合與調(diào)用，將所有的資源管理和分配，經(jīng)統(tǒng)一的WEB 界面操作，通過鼠標(biāo)的拖拽連線即可進行拓?fù)浯罱?。同時，為管理員提供一鍵故障定位功能，整個平臺簡單易用，后期維護變得更方便。

（4）具有很高的可擴展性。超融合技術(shù)提供高IOPS、易彈性擴展的存儲資源，在不影響現(xiàn)有業(yè)務(wù)運行下實現(xiàn)在線硬件擴容，對于未來業(yè)務(wù)的擴容，也只需添加超融合物理機，整個架構(gòu)可實現(xiàn)彈性擴展。在大幅度提升性能和業(yè)務(wù)吞吐量的基礎(chǔ)上，最大化的節(jié)約建設(shè)和運營成本。

（5）具有高安全性。超融合架構(gòu)屬于當(dāng)前行業(yè)內(nèi)成熟、先進的技術(shù)產(chǎn)品，可提供極高的可靠性和數(shù)據(jù)備份保護機制，確保任意硬件出現(xiàn)故障時，能實現(xiàn)數(shù)據(jù)的快速重建，確保系統(tǒng)安全運行，業(yè)務(wù)不中斷，數(shù)據(jù)不丟失。

3 方案設(shè)計

3.1 規(guī)模介紹

本次新BOSS 域系統(tǒng)建設(shè)，采用20 臺x86 服務(wù)器（共40C 授權(quán)）+超融合HCI 軟件+4 臺萬兆交換機。

每臺服務(wù)器配置了2 顆24 核2.3GHz 主頻CPU、256G 內(nèi)存、2 塊 600G SAS 硬盤、1 塊 1.6T NVME SSD。其中，10 臺服務(wù)器配置10 塊960 GB讀寫混合型SSD 硬盤用于應(yīng)用層業(yè)務(wù)承載，剩余10 臺配置10 塊1.2T SAS 硬盤用于數(shù)據(jù)庫業(yè)務(wù)承載。

四臺萬兆交換機兩兩采用堆疊技術(shù)，避免存儲網(wǎng)絡(luò)的單點故障，對業(yè)務(wù)系統(tǒng)的影響。

業(yè)務(wù)系統(tǒng)主要承載客戶核心BOSS 業(yè)務(wù)，包括：運行業(yè)務(wù)系統(tǒng)核心組件BBS、EDA 報表數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫，還包括PORTAL 認(rèn)證系統(tǒng)、OSS、網(wǎng)格應(yīng)用、渠道應(yīng)用、網(wǎng)廳、TV 廳、客服等業(yè)務(wù)系統(tǒng)。

使用超融合架構(gòu)組件ACMP+ASV+ASAN+ANET。超融合架構(gòu)是利用計算服務(wù)器虛擬化ASV、存儲虛擬化ASAN、網(wǎng)絡(luò)虛擬化ANET 等組件，將計算、存儲、網(wǎng)絡(luò)等虛擬資源融合到一臺標(biāo)準(zhǔn)x86服務(wù)器中，形成標(biāo)準(zhǔn)架構(gòu)單元。多套單元設(shè)備可以通過網(wǎng)絡(luò)聚合起來，實現(xiàn)模塊化的無縫橫向擴展，形成統(tǒng)一的資源池。

ACMP 即云管理平臺，以云主機的形式部署在集群上，是超融合架構(gòu)中的一個管理組件，通過云管理平臺可管理每個集群的物理資源，根據(jù)業(yè)務(wù)應(yīng)用的使用情況為每個虛擬機進行CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)資源進行分配，還可實現(xiàn)監(jiān)測虛擬機運行狀態(tài)、快速部署虛擬機業(yè)務(wù)、備份恢復(fù)等功能。

ASV 是超融合架構(gòu)解決方案中的計算虛擬化組件，也是整個超融合架構(gòu)中的核心組件，每臺x86 硬件服務(wù)器經(jīng)過ASV 組件最終呈現(xiàn)多臺標(biāo)準(zhǔn)的虛擬機。

ASAN 是分布式存儲系統(tǒng)，利用虛擬化技術(shù)“池化”集群存儲卷內(nèi)通用x86 服務(wù)器中的本地硬盤，實現(xiàn)服務(wù)器存儲資源的統(tǒng)一整合、管理及調(diào)度，最終向上層提供NFS/iSCSI 存儲接口，供虛擬機根據(jù)自身的存儲需求自由分配使用資源池中的存儲空間。

ANET 是超融合架構(gòu)解決方案中的網(wǎng)絡(luò)虛擬化組件，通過Overlay 的方式來構(gòu)建大二層和實現(xiàn)業(yè)務(wù)系統(tǒng)之間的隔離，通過NFV 實現(xiàn)網(wǎng)絡(luò)中的所需各類網(wǎng)絡(luò)功能資源按需分配和靈活調(diào)度，從而實現(xiàn)超融合架構(gòu)中的網(wǎng)絡(luò)虛擬化。

采用超融合架構(gòu)數(shù)據(jù)中心建設(shè)可以異構(gòu)和納管現(xiàn)有的Vmware 虛擬化平臺，實現(xiàn)管理平臺的統(tǒng)一管理。

3.2 設(shè)計介紹

總體物理架構(gòu)設(shè)計，如圖1所示。

圖1 總體物理架構(gòu)設(shè)計

總體網(wǎng)絡(luò)拓?fù)?，如圖2所示。

圖2 總體網(wǎng)絡(luò)拓?fù)?/p>

如圖1所示，通過20 臺高端x86 硬件服務(wù)器部署了超融合架構(gòu)，以虛擬化技術(shù)為核心，利用ASV、ASAN、ANET 等組件，以自定義的方式實現(xiàn)計算、存儲、網(wǎng)絡(luò)、安全等資源的整合及按需使用，據(jù)各個業(yè)務(wù)以及安全等級要求的不同，劃分不同的物理設(shè)備組建集群，承載不同的業(yè)務(wù)。按照企業(yè)目前的業(yè)務(wù)系統(tǒng)的特點及安全等級不同，本次部署一共創(chuàng)建四個服務(wù)器集群，見表1。在每個集群按需創(chuàng)建多個虛擬機，分別將BOSS 等相關(guān)核心業(yè)務(wù)系統(tǒng)部署在各個虛擬機上，目前在云主機上已完成70余臺虛擬機核心業(yè)務(wù)部署。

表1 四個服務(wù)器集群

3.3 功能設(shè)計

3.3.1 可視化配置

配置虛擬主機（快速部署）：在新建和部署虛擬機時，可以使用克隆技術(shù)或者導(dǎo)入虛擬機模板，實現(xiàn)快速部署功能，提升業(yè)務(wù)部署的效率。

配置虛擬主機間虛擬網(wǎng)絡(luò)：通過鼠標(biāo)的拖拽連線搭建網(wǎng)絡(luò)拓?fù)?，實現(xiàn)“所畫即所得”。

配置主機CPU、內(nèi)存、磁盤空間：可實現(xiàn)在線劃分主機資源給虛擬機，當(dāng)某個虛擬機出現(xiàn)CPU、內(nèi)存或磁盤不足時，可在運行中完成資源劃分，實現(xiàn)橫向平滑擴展容量和性能。

管理自動備份：可以針對每個虛擬機可視化配置備份策略，第一次備份為完整備份，在備份保留時間周期內(nèi)其他備份為增量備份，在虛擬機開機或者關(guān)機狀態(tài)下均可備份。

3.3.2 可視化監(jiān)控

可實現(xiàn)虛擬機監(jiān)控、物理機監(jiān)控、CPU、內(nèi)存、磁盤空間、虛擬機性能監(jiān)控、網(wǎng)絡(luò)拓?fù)浔O(jiān)控、異常告警自動通知（短信）。如圖3所示。

圖3 可視化監(jiān)控示意

3.4 可靠性設(shè)計

3.4.1 虛擬機HA

超融合架構(gòu)平臺通過多主機組建為集群，采用分層次設(shè)計，將計算平臺（CPU 和內(nèi)存）、存儲平臺（虛擬存儲或外置存儲）以及網(wǎng)絡(luò)平臺（物理出口、VXLAN 數(shù)據(jù)通信口）三者之間相互解耦。使用集群“故障遷移”功能，通過配置一定的檢測條件，當(dāng)探測到主機發(fā)生故障且持續(xù)一定時間時，觸發(fā)虛擬機HA 功能使其從其他主機上恢復(fù)運行，從而避免單點故障。

3.4.2 DRX 動態(tài)資源擴展

在虛擬機運行時，如果應(yīng)用訪問請求急增導(dǎo)致虛擬機CPU 或內(nèi)存資源使用率持續(xù)過高時，可以手動或自動為虛擬機添加CPU 或內(nèi)存資源，保證虛擬機的持續(xù)穩(wěn)定運行。

3.4.3 動態(tài)資源調(diào)度

DRS 動態(tài)資源調(diào)度，能夠持續(xù)監(jiān)控當(dāng)前集群中各主機節(jié)點的CPU、內(nèi)存的使用情況和虛擬機的主機分布情況，并自動生成虛擬機在線主機遷移調(diào)整計劃，動態(tài)調(diào)整虛擬機的運行位置，使集群的計算資源達到均衡使用的效果。DRS 技術(shù)采用的是“虛擬機在線主機遷移”的方式，只調(diào)整虛擬機的主機運行位置，不會改變存儲運行位置，遷移過程也不會對虛擬機上的業(yè)務(wù)造成影響。

3.4.4 統(tǒng)一管理設(shè)計

超融合架構(gòu)的云管平臺可以同時兼容Vmware虛擬化平臺，并支持對主流的x86 硬件資源實現(xiàn)統(tǒng)一集中管理，通過云管理平臺為用戶屏蔽異構(gòu)虛擬化平臺差異。在多虛擬化平臺環(huán)境下，能為用戶提供相同的云主機資源服務(wù)，并實現(xiàn)對異構(gòu)虛擬化平臺的統(tǒng)一管理。

3.4.5 監(jiān)控中心設(shè)計

監(jiān)控中心的設(shè)計，如圖4所示。

為了全方位監(jiān)控業(yè)務(wù)提前預(yù)警，減少業(yè)務(wù)中斷次數(shù)與時間，并支持大屏展示，讓整個數(shù)據(jù)業(yè)務(wù)可視化，更好地支撐關(guān)鍵業(yè)務(wù)上云，規(guī)劃在云管理平臺部署監(jiān)控中心。監(jiān)控中心主要功能為：

（1）主動探測業(yè)務(wù)的運行狀況。對云管平臺上部署的核心業(yè)務(wù)進行主動探測，當(dāng)業(yè)務(wù)出現(xiàn)訪問慢或不可用時，通過短信、郵件等方式進行告警。

（2）深入分析應(yīng)用性能。對Oracle、SQL Server、Web logic 應(yīng)用進行可用性、響應(yīng)時間告警，并提供內(nèi)部數(shù)據(jù)可視化及代碼級別深入分析，快速定位應(yīng)用性能瓶頸。

（3）全方位監(jiān)控虛擬機：監(jiān)控虛擬機CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)流量、進程狀態(tài)等指標(biāo)，指標(biāo)數(shù)據(jù)可保留一年，可以進行TOPN 性能分析和趨勢分析。

圖4 監(jiān)控中心設(shè)計示意

3.4.6 冗余性設(shè)計

虛擬存儲作為虛擬機的存儲位置，使用SSD盤作為緩存盤用以提升存儲的IO 效率。本設(shè)計方案使用虛擬存儲多副本實現(xiàn)數(shù)據(jù)的冗余，充分保障業(yè)務(wù)數(shù)據(jù)的可靠性和可用性，可以避免單個磁盤故障或單臺主機故障導(dǎo)致數(shù)據(jù)丟失的風(fēng)險。為了保障磁盤故障后，ASAN 自動使用熱備盤替換故障磁盤。規(guī)劃每虛擬存儲卷中配置兩塊熱備盤，每個數(shù)據(jù)分塊后存儲，以多副本的形式分布在不同的物理主機節(jié)點上，任意物理主機節(jié)點完全損壞，都不影響數(shù)據(jù)使用，保證數(shù)據(jù)的可靠性。與傳統(tǒng)的RAID 技術(shù)相比，采用超融合技術(shù)大幅度減少數(shù)據(jù)恢復(fù)時間，更大程度地確保數(shù)據(jù)恢復(fù)的完整性。

4 方案優(yōu)勢

與傳統(tǒng)IT 架構(gòu)相比，超融合方案的最大優(yōu)點在于可以一次部署并多次虛擬，可創(chuàng)建十幾個甚至數(shù)十個虛擬機來承載各業(yè)務(wù)核心系統(tǒng)的內(nèi)容，從此告別了大量的服務(wù)器、磁盤陣列安裝、上架、調(diào)試和布線工作，極大地提升了部署的效率，保障了整體業(yè)務(wù)的高穩(wěn)定性運行。通過超融合架構(gòu)基本上能實現(xiàn)三分鐘創(chuàng)建一臺虛擬機、二十分鐘搭建一個平臺、一小時投入使用，對于業(yè)務(wù)的部署非常靈活?？筛鶕?jù)業(yè)務(wù)需要完成快速部署、移動、擴展IT 資源、實現(xiàn)平臺的全面敏捷性與可用、可靠行。通過超融合架構(gòu)、無需重新配置物理網(wǎng)絡(luò)、外置存儲，即可跨集群彈性分配計算資源。在其建設(shè)階段，根據(jù)實踐需要快速追加擴容，實現(xiàn)真正的隨需應(yīng)變與資源動態(tài)供給，提高資源利用率。此外，超融合架構(gòu)提供高度可擴展的虛擬網(wǎng)絡(luò)，通過“所畫即所得”功能簡化配置，降低運營成本。

選擇超融合解決方案，主要看中了其對于企業(yè)業(yè)務(wù)系統(tǒng)的靈活承載，基于對傳統(tǒng)服務(wù)器資源的池化處理，結(jié)合可視化的管理平臺界面，實現(xiàn)了對不同業(yè)務(wù)和模塊系統(tǒng)的靈活調(diào)度和有效管理。超融合底層依托分布式架構(gòu)、存儲多副本和鏈路聚合等技術(shù)手段，確保了業(yè)務(wù)系統(tǒng)在使用過程中的安全穩(wěn)定和可靠運行，整體運營管理過程非常簡便。

減少了服務(wù)器資源和性能的消耗，有效降低了在傳統(tǒng)業(yè)務(wù)系統(tǒng)構(gòu)建過程中，面對不同CP（內(nèi)容運營商）、不同硬件需求場景下多次部署的成本，極大的解決了對于傳統(tǒng)服務(wù)器資源的浪費和托管在運營商機房維護過程中復(fù)雜的問題，進而打造出一個具有先進性、可擴展性、可靠性、可維護性、高可用性、安全性的創(chuàng)新型云化IT 基礎(chǔ)平臺架構(gòu)。

結(jié) 束 語

采用超融合架構(gòu)部署后，不僅完全承載了企業(yè)新BOSS 域核心業(yè)務(wù)系統(tǒng)，而且為未來新業(yè)務(wù)發(fā)展奠定了基礎(chǔ)保障?，F(xiàn)已完成系統(tǒng)各應(yīng)用、數(shù)據(jù)庫部署，上線后將極大的提高內(nèi)蒙古廣電網(wǎng)絡(luò)的運營支撐能力。通過超融合技術(shù)與BOSS 系統(tǒng)結(jié)合，實現(xiàn)了業(yè)務(wù)“云、管、端”業(yè)務(wù)布局，構(gòu)建了新的廣電網(wǎng)絡(luò)運營模式。