張殷希

(無錫廣播電視集團(tuán)，江蘇 無錫 214061)

?

存儲虛擬化在無錫廣電新媒體中的應(yīng)用

張殷希

(無錫廣播電視集團(tuán)，江蘇 無錫 214061)

無錫廣電兩大新媒體應(yīng)用系統(tǒng)太湖明珠網(wǎng)站和智慧無錫客戶端的存儲升級在統(tǒng)籌考慮、充分利舊的前提下，規(guī)劃建設(shè)存儲虛擬化平臺，提高存儲資源的利用率。在應(yīng)用系統(tǒng)遷移過程中，通過合理制定數(shù)據(jù)遷移步驟，確保業(yè)務(wù)不中斷的情況下完成所有遷移工作，并經(jīng)過測試驗(yàn)證虛擬化平臺的高性能和高可用性。存儲虛擬化在新媒體中的成功應(yīng)用為傳統(tǒng)媒體的存儲建設(shè)提供參考。

存儲虛擬化；新媒體；數(shù)據(jù)遷移

1 項(xiàng)目實(shí)施背景

太湖明珠網(wǎng)站和智慧無錫民生服務(wù)平臺[1]是無錫廣播電視臺旗下的兩大新媒體業(yè)務(wù)系統(tǒng)，其中太湖明珠網(wǎng)站為無錫第一門戶網(wǎng)站，日均訪問量超過200萬人次；智慧無錫民生服務(wù)平臺是移動互聯(lián)網(wǎng)應(yīng)用，提供視音頻直播點(diǎn)播、公交、互助、搖搖樂、商城等30多個功能模塊，客戶端下載總量超過300萬，注冊用戶35萬。這兩個系統(tǒng)均采用服務(wù)器虛擬化架構(gòu)搭建硬件平臺[2]，分別使用各自獨(dú)立的存儲設(shè)備存放虛擬機(jī)、視音頻圖片、數(shù)據(jù)庫等業(yè)務(wù)系統(tǒng)運(yùn)行文件，服務(wù)器僅提供計(jì)算資源，系統(tǒng)架構(gòu)示意圖如圖1所示。

經(jīng)過多年發(fā)展，太湖明珠網(wǎng)站和智慧無錫兩大系統(tǒng)的業(yè)務(wù)發(fā)展迅猛、用戶數(shù)不斷攀升，使得其業(yè)務(wù)系統(tǒng)虛擬機(jī)的數(shù)量持續(xù)增加，且數(shù)據(jù)庫、視音頻圖片的并發(fā)讀寫量也逐步上升，導(dǎo)致對存儲的帶寬、IOPS(每秒進(jìn)行讀寫操作的次數(shù))、吞吐量以及容量等各方面提出了更高的要求。此外，隨著使用年限的增加，存儲設(shè)備，尤其是在2003年建立的太湖明珠網(wǎng)站的存儲設(shè)備日漸老化，可靠性、穩(wěn)定性存在隱患。因此，為了徹底解決存儲系統(tǒng)的瓶頸，消除安全隱患，著手規(guī)劃實(shí)施兩大新媒體系統(tǒng)的存儲升級[3]。

2 總體規(guī)劃

2.1 設(shè)計(jì)方案

根據(jù)太湖明珠網(wǎng)站和智慧無錫的整體技術(shù)架構(gòu)情況，考慮存儲系統(tǒng)升級有兩種方案，一是采用傳統(tǒng)方式，即對使用年限較久的太湖明珠網(wǎng)站存儲進(jìn)行重建、對部署較晚的智慧無錫存儲進(jìn)行擴(kuò)容，兩個系統(tǒng)分別單獨(dú)升級；另一種方案是考慮到兩個應(yīng)用系統(tǒng)均為虛擬化硬件平臺，采用存儲虛擬化方式[4]，充分利用智慧無錫現(xiàn)有存儲設(shè)備，與新購存儲共同構(gòu)建存儲資源池，以平臺化服務(wù)的方式統(tǒng)一提供給太湖明珠網(wǎng)站與智慧無錫。分析這兩種方案，兩者的優(yōu)劣比較[5]如表1所示。

表1 兩種升級方案比較

考慮到第二種方案不僅滿足系統(tǒng)升級要求，也能實(shí)現(xiàn)存儲資源的集約化應(yīng)用與管理，因此決定采用存儲虛擬化架構(gòu)[6]。

2.2 系統(tǒng)架構(gòu)

存儲虛擬化平臺由存儲網(wǎng)關(guān)、新存儲、智慧無錫舊存儲等設(shè)備構(gòu)成，系統(tǒng)技術(shù)架構(gòu)示意圖如圖2所示。

圖2 存儲虛擬化平臺架構(gòu)示意圖

存儲虛擬化平臺中的存儲網(wǎng)關(guān)[7]下聯(lián)各存儲設(shè)備、上聯(lián)太湖明珠網(wǎng)站與智慧無錫業(yè)務(wù)系統(tǒng)的虛擬化服務(wù)器集群，將下層存儲設(shè)備中的物理卷轉(zhuǎn)化為虛擬卷之后，提供給上層虛擬化服務(wù)器集群應(yīng)用，是關(guān)鍵核心設(shè)備。

采用統(tǒng)一的存儲虛擬化系統(tǒng)，其優(yōu)勢有以下3方面：

1)跨系統(tǒng)、跨平臺的存儲池化，提升I/O(讀寫)性能，實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的高可用性。

存儲虛擬化是通過對下層物理存儲硬件的接管，實(shí)現(xiàn)物理存儲對業(yè)務(wù)系統(tǒng)的透明化，并且利用多鏈路聚合、負(fù)載均衡、數(shù)據(jù)分區(qū)等技術(shù)，消除數(shù)據(jù)訪問沖突，使得不同業(yè)務(wù)、不同系統(tǒng)的應(yīng)用能夠在一個存儲池中進(jìn)行統(tǒng)一管理調(diào)配。同時，可根據(jù)系統(tǒng)需要，將關(guān)鍵業(yè)務(wù)的數(shù)據(jù)卷分布在不同的物理存儲設(shè)備上，利用存儲網(wǎng)關(guān)的大容量緩存和同時寫入功能(一份數(shù)據(jù)同時寫入不同存儲中)，既能實(shí)現(xiàn)I/O負(fù)載均衡，提升I/O整體性能，又能保證業(yè)務(wù)連續(xù)在線。

2)統(tǒng)一的存儲平臺，實(shí)現(xiàn)靈活平滑擴(kuò)展。

單一的物理存儲設(shè)備在實(shí)現(xiàn)縱向或者橫向擴(kuò)展時，為了保證原有數(shù)據(jù)的準(zhǔn)確性，需要中斷業(yè)務(wù)系統(tǒng)，且根據(jù)擴(kuò)展操作的復(fù)雜程度，系統(tǒng)中斷時間通常需要數(shù)小時甚至數(shù)天，嚴(yán)重影響了業(yè)務(wù)系統(tǒng)的正常運(yùn)行。而存儲虛擬化平臺的搭建，是通過存儲網(wǎng)關(guān)實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)與存儲設(shè)備的關(guān)聯(lián)，在隱藏了存儲設(shè)備物理細(xì)節(jié)的情況下，可以適應(yīng)不同廠商、不同類別的異構(gòu)存儲平臺，方便了存儲設(shè)備的縱向與橫向擴(kuò)展，并且確保業(yè)務(wù)系統(tǒng)的連續(xù)可靠運(yùn)行[8]。

3)充分利用舊有設(shè)備，節(jié)省開支。

存儲虛擬化平臺中的存儲網(wǎng)關(guān)具有通用的接口，可容納不同類型的存儲設(shè)備。存儲系統(tǒng)一旦需要升級，可根據(jù)實(shí)際應(yīng)用情況，將舊有設(shè)備納入到新存儲平臺中繼續(xù)使用，從而達(dá)到保護(hù)投資、降本節(jié)支的目的。

3 項(xiàng)目實(shí)施

3.1 實(shí)施內(nèi)容

根據(jù)總體規(guī)劃制定詳細(xì)的實(shí)施方案，涉及的主要內(nèi)容如表2所示。

在項(xiàng)目實(shí)施過程中，要求業(yè)務(wù)不中斷，并且利用現(xiàn)有資源盡可能提高存儲系統(tǒng)性能。

表2 云存儲平臺建設(shè)的實(shí)施內(nèi)容

3.2 不中斷業(yè)務(wù)的數(shù)據(jù)遷移

太湖明珠網(wǎng)站與智慧無錫業(yè)務(wù)面向互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)用戶提供服務(wù)，需要24小時在線應(yīng)用，因此在完成新存儲搭建之后，實(shí)施系統(tǒng)數(shù)據(jù)遷移沒有任何停機(jī)時間，必須在線完成。為此，規(guī)劃制定“擺渡”方式來實(shí)現(xiàn)操作系統(tǒng)層面的虛擬機(jī)和存儲數(shù)據(jù)的遷移，確保整個系統(tǒng)不中斷，這也是整個項(xiàng)目中的重點(diǎn)和難點(diǎn)所在。以智慧無錫的數(shù)據(jù)遷移為例，詳細(xì)描述整個過程。

1)部署環(huán)境

智慧無錫的服務(wù)器虛擬化集群中有7臺物理服務(wù)器，通過策略拆分出部分無任何虛擬機(jī)應(yīng)用的服務(wù)器，其中1臺服務(wù)器作為“擺渡”服務(wù)器，同時連接智慧無錫舊存儲和云存儲平臺；其他剩余服務(wù)器連接到云存儲平臺中，作為“對岸”服務(wù)器。在此環(huán)境下，利用服務(wù)器虛擬化集群的在線數(shù)據(jù)遷移功能，將業(yè)務(wù)數(shù)據(jù)通過“擺渡”服務(wù)器分批分次遷移到云存儲平臺上。

2)遷移流程

智慧無錫業(yè)務(wù)數(shù)據(jù)遷移包括操作系統(tǒng)層面的虛擬機(jī)遷移和存儲數(shù)據(jù)遷移兩個方面，整個流程如圖3所示。

第一步，將智慧無錫舊存儲中某臺服務(wù)器上的虛擬機(jī)遷移到“擺渡”服務(wù)器上，如圖中紅色箭頭指示(原圖為彩圖，灰度圖像中為顏色最深的箭頭)。

第二步，通過“擺渡”服務(wù)器，將該虛擬機(jī)的數(shù)據(jù)從智慧無錫舊存儲遷移到云存儲平臺上，如圖中黃色箭頭指示(即顏色次深的箭頭)。

圖3 業(yè)務(wù)數(shù)據(jù)遷移的流程示意圖

第三步，將已完成數(shù)據(jù)遷移的、仍然在“擺渡”服務(wù)器上的該虛擬機(jī)遷移到“對岸”服務(wù)器虛擬化集群中，以空出“擺渡”服務(wù)器，等待下一個虛擬機(jī)進(jìn)行遷移，如圖中綠色箭頭指示(即顏色最淺的箭頭)。

重復(fù)以上三步，直到該臺服務(wù)器上的所有虛擬機(jī)和所有數(shù)據(jù)全部遷移到云存儲平臺之后，再將該臺服務(wù)器合并入服務(wù)器虛擬化集群，并連接到云存儲平臺中。針對舊存儲網(wǎng)絡(luò)中剩余服務(wù)器，同樣完成以上操作之后，即完成了所有虛擬機(jī)和存儲數(shù)據(jù)遷移的全部工作。智慧無錫的整個遷移過程歷時8個小時，在業(yè)務(wù)不中斷的情況下完成了7臺服務(wù)器包含78臺虛擬機(jī)的遷移。

在數(shù)據(jù)遷移過程中，為防止數(shù)據(jù)丟失等意外情況，事先將所有虛擬機(jī)數(shù)據(jù)進(jìn)行備份，一旦發(fā)生任何問題，都可以從備份數(shù)據(jù)中恢復(fù)，以確保數(shù)據(jù)遷移實(shí)施的安全可靠。

4 性能測試

太湖明珠網(wǎng)站和智慧無錫兩個新媒體應(yīng)用系統(tǒng)在零停機(jī)前提下，圓滿完成存儲虛擬化平臺的搭建。針對存儲IOPS、帶寬、業(yè)務(wù)系統(tǒng)模塊響應(yīng)時間等方面進(jìn)行了全面測試。

4.1 IOPS測試

升級前后數(shù)據(jù)卷IOPS測試對比圖如圖4所示，升級后IOPS性能提升了33.3%。

圖4 升級前后數(shù)據(jù)卷IOPS測試對比圖

4.2 帶寬測試

升級前后帶寬測試對比圖如圖5所示，升級后存儲帶寬提升25%。

圖5 升級前后帶寬測試對比圖

4.3 業(yè)務(wù)系統(tǒng)模塊響應(yīng)時間測試

1)太湖明珠網(wǎng)站

太湖明珠網(wǎng)站日訪問量超過200萬人次，在遷移至存儲虛擬化平臺之后，頁面打開的響應(yīng)時間平均縮短27.5%，得到了顯著改善。升級前后太湖明珠網(wǎng)站平均訪問延遲測試對比如圖6所示。

圖6 升級前后太湖明珠網(wǎng)站平均訪問延遲測試對比圖

2)智慧無錫公交模塊

作為智慧無錫客戶端最活躍的應(yīng)用模塊，公交模塊的日訪問量超過150多萬次，在遷移至存儲虛擬化平臺之后，模塊響應(yīng)時間平均縮短30%，得到了顯著改善。升級前后智慧無錫APP公交模塊平均響應(yīng)時間測試對比圖如圖7所示。

圖7 升級前后智慧無錫APP公交模塊平均響應(yīng)時間測試對比圖

以上測試結(jié)果表明，太湖明珠網(wǎng)站與智慧無錫兩大業(yè)務(wù)系統(tǒng)遷移至存儲虛擬化平臺之后，在增強(qiáng)了存儲系統(tǒng)自身的性能與可靠性的基礎(chǔ)之上，更提升了整個業(yè)務(wù)系統(tǒng)的效率，使得用戶體驗(yàn)大幅提升，達(dá)到了預(yù)期目標(biāo)。

4 結(jié)束語

無錫廣播電視臺在臺內(nèi)太湖明珠網(wǎng)站和智慧無錫兩個新媒體業(yè)務(wù)系統(tǒng)中統(tǒng)籌考慮存儲系統(tǒng)升級，充分利用舊有設(shè)備，搭建統(tǒng)一的存儲虛擬化平臺，不僅提升了存儲系統(tǒng)性能和靈活性，更為業(yè)務(wù)系統(tǒng)提供了平臺化的存儲服務(wù)。

在項(xiàng)目實(shí)施過程中，充分發(fā)揮服務(wù)器虛擬化與云存儲平臺相結(jié)合的巨大優(yōu)勢，合理制定數(shù)據(jù)遷移方案，圓滿完成包含200多個應(yīng)用、共計(jì)150多臺虛擬機(jī)的兩大業(yè)務(wù)系統(tǒng)零中斷的平穩(wěn)遷移，確保了所有業(yè)務(wù)的正常運(yùn)行。本項(xiàng)目的實(shí)施，為傳統(tǒng)媒體的業(yè)務(wù)系統(tǒng)建設(shè)提供參考，也為全臺建設(shè)私有云積累了寶貴的經(jīng)驗(yàn)。

[1] 何清，陳宏. 城市廣電媒體融合探索[J].電視技術(shù)，2015，39(6)：101-103.

[2] 徐旭. 虛擬化技術(shù)在制播系統(tǒng)應(yīng)用的研究[J].電視技術(shù)，2015，39(22)：58-60.

[3] 徐春楊.云計(jì)算技術(shù)在電視臺全臺網(wǎng)系統(tǒng)中的應(yīng)用探討[J].廣播與電視技術(shù)，2015，42(10)：38-42.

[4] 張光. 存儲虛擬化技術(shù)的研究[D].北京：北京交通大學(xué)，2013.

[5] 楊勇. 基于云存儲的數(shù)據(jù)全臺網(wǎng)方案考慮[J].電視技術(shù)，2015，39(22)：69-71.

[6] 朱承華.探索虛擬化技術(shù)構(gòu)建電視臺數(shù)據(jù)中心[J]. 世界廣播電視，2014，28(12)：89-91.

[7] 楊麗麗. 云存儲網(wǎng)關(guān)的研究與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2013.

[8] 張海濤，孫業(yè)志，張立強(qiáng)，等.“云存儲”在廣電行業(yè)的應(yīng)用探討[J].廣播與電視技術(shù)，2011，38(11)：41-42.

責(zé)任編輯：許 盈

Application of storage virtualization in new media of Wuxi Broadcasting Television

ZHANG Yinxi

(WuxiBroadcastingTelevisionGroup,JiangsuWuxi214061,China)

Storage virtualization platform is planned and constructed which takes into full account both Taihumingzhu portal site and Smart Wuxi APP for new media of Wuxi broadcasting and TV station. In the process of business migration, the work is completed successfully without interruption by making rational step. It provides reference to storage construction for traditional media.

storage virtualization; new media; data migration

張殷希. 存儲虛擬化在無錫廣電新媒體中的應(yīng)用[J].電視技術(shù)，2016，40(12)：73-76. ZHANG Y X. Application of storage virtualization in new media of Wuxi Broadcasting Television [J].Video engineering，2016，40(12)：73-76.

TN949

A

10.16280/j.videoe.2016.12.014

2016-04-27