文｜戚永

媒體融合發(fā)展的新架構(gòu)
——全融合基礎(chǔ)架構(gòu) 重報集團打造私有云平臺的實踐

文｜戚永

背景介紹

加快傳統(tǒng)媒體與新媒體的融合，促進全媒體數(shù)字化轉(zhuǎn)型升級，是重慶日報報業(yè)集團這兩年的重要戰(zhàn)略。集團要求構(gòu)建全媒體采編、發(fā)布、經(jīng)營、管理為一體的綜合性技術(shù)支撐平臺。同時要求這個平臺能夠承載未來大數(shù)據(jù)應(yīng)用、移動互聯(lián)網(wǎng)的發(fā)展以及社會化計算，成為報業(yè)集團真正的私有云平臺。

為此報業(yè)集團技術(shù)處經(jīng)過歷時半年的考察、實驗、論證，最終決定采用全融合基礎(chǔ)架構(gòu)（內(nèi)部產(chǎn)品代號eCLOUD）。這種架構(gòu)做到了從服務(wù)器計算資源、網(wǎng)絡(luò)資源、存儲資源、安全資源全部池化、虛擬化，實現(xiàn)資源的統(tǒng)一管理與調(diào)度，這樣全媒體平臺各種應(yīng)用可以靈活遷移，數(shù)據(jù)存儲通過采用分布式存儲、統(tǒng)一調(diào)度的結(jié)構(gòu)，完全融合，徹底打通信息孤島。

傳統(tǒng)基礎(chǔ)架構(gòu)的困擾

1、 隨著業(yè)務(wù)系統(tǒng)的發(fā)展，維護越來越復(fù)雜：隨著重慶日報報業(yè)集團業(yè)務(wù)不斷的發(fā)展，可以預(yù)見會有越來越多的應(yīng)用被采用。重慶日報報業(yè)集團未來建設(shè)的云數(shù)據(jù)中心從業(yè)務(wù)層面看，需要對集團內(nèi)重慶日報、晚報、商報等提供全媒體及新業(yè)務(wù)的支撐服務(wù)，服務(wù)器數(shù)量和客戶端數(shù)量將大大增加，亟待解決提高服務(wù)器的利用率并提高服務(wù)質(zhì)量，并減少維護工作量、降低維護成本。同時，更要關(guān)注到硬件故障及系統(tǒng)故障后，業(yè)務(wù)是否具備高可用性并持續(xù)提供服務(wù)，以及在計劃時間內(nèi)的停機維護時的業(yè)務(wù)是否正常運轉(zhuǎn)。

2、 信息孤島現(xiàn)象非常嚴重：

重報集團有多個應(yīng)用，包括全媒體生產(chǎn)、全媒體運營、內(nèi)網(wǎng)門戶、對外網(wǎng)站、財務(wù)系統(tǒng)等，這些系統(tǒng)硬件相對獨立，數(shù)據(jù)資源分別存儲，之間的打通只是靠軟件的接口，對于將來大規(guī)模數(shù)據(jù)運營，特別是各個系統(tǒng)的數(shù)據(jù)之間頻繁交互會形成性能瓶頸，從而導(dǎo)致信息孤島的現(xiàn)象。

3、 IOPS（IO每秒）性能差：融合媒體帶來的新應(yīng)用類似搜索、輿情、大數(shù)據(jù)等，與數(shù)據(jù)交互的頻率非常高，并要求交互的時延非常小，這要求在整個架構(gòu)中不僅要保證吞吐量、更要降低時延。在傳統(tǒng)構(gòu)架里集中存儲的性能一直是個很大的瓶頸，這也是類似互聯(lián)網(wǎng)大佬們紛紛采取融合架構(gòu)的原因之一。全融合的存儲與計算架構(gòu)就是解決這些性能問題的最佳方案

4、 非結(jié)構(gòu)化的文件急劇膨脹：報業(yè)集團隨著融合媒體的發(fā)展，視頻和圖片量激增，對存儲的要求也加大，但存儲的規(guī)劃一直是困擾技術(shù)部門的難題。規(guī)劃大了怕浪費，規(guī)劃小了又不夠，同時傳統(tǒng)專業(yè)存儲價格居高不下，讓相應(yīng)的規(guī)劃更是捉襟見肘。在這樣的前提下分布式存儲的需求就變得越來越迫切

圖一

圖二

圖三

5、 系統(tǒng)的復(fù)雜性與安全隱患的矛盾：報業(yè)集團用到的應(yīng)用系統(tǒng)將越來越多，但采用傳統(tǒng)構(gòu)架方式下，安全隱患理論上是隨著系統(tǒng)復(fù)雜度的增加而增加。要保證數(shù)據(jù)的容災(zāi)，應(yīng)用的高可用等在傳統(tǒng)構(gòu)架下的方案都非常昂貴，費用問題往往導(dǎo)致最終不是每個系統(tǒng)都能夠享有高可用方案。

重報集團融合構(gòu)架方案（eCLOUD）設(shè)計

eCLOUD將融合基礎(chǔ)設(shè)施、橫向擴展架構(gòu)和軟件定義存儲的各種優(yōu)勢結(jié)合在一起，可提供極佳的服務(wù)器虛擬化體驗。每一臺eCLOUD服務(wù)器均包含CPU、內(nèi)存、網(wǎng)絡(luò)、SSD閃存、以及HDD存儲功能。eCLOUD存儲控制器是一種虛擬化的分布式存儲控制器系統(tǒng)，運行于每臺服務(wù)器上，并將本地存儲轉(zhuǎn)換成為共享存儲。eCLOUD完整集群中的所有可用存儲均作為統(tǒng)一的裸設(shè)備資源池提供支撐，并提供分布式文件系統(tǒng)的性能優(yōu)化（圖1）。

盡管沒有專門的SAN或NAS，eCLOUD仍然能夠無縫提供高可用性、DRS和容錯等企業(yè)虛擬化功能。為了將性能最大化，eCLOUD存儲控制器將特定虛擬機的所有數(shù)據(jù)保存在同一服務(wù)器上，從而將時延最小化、網(wǎng)絡(luò)開銷最小化，并發(fā)揮SSD閃存的最大化優(yōu)勢（圖2）。

1、eCLOUD存儲容量規(guī)劃

通過分布式存儲軟件，將不同服務(wù)器節(jié)點的磁盤做統(tǒng)一管理。所以在用戶服務(wù)器上磁盤需要如下配置：

一套服務(wù)器配置4節(jié)點，每節(jié)點2塊400G SSD盤，4塊1T SATA盤，共8塊4 0 0 G S S D盤，1 6塊1TSATA盤，同時考慮一份冗余，實際可用容量為8TB。

通過如上配置，每個服務(wù)器配置2塊SSD 用于提供高IOPS性能，配置大容量1TB SATA硬盤用于存放非熱點數(shù)據(jù)。

2、重報融合架構(gòu)方案實現(xiàn)的亮點

1) 高性能：該系統(tǒng)高性能優(yōu)勢通過熱度優(yōu)化分層緩存實現(xiàn)。分層緩存是一種高性能的緩存，受到集群中每個節(jié)點的SSD的支持。虛擬機寫入數(shù)據(jù)時，數(shù)據(jù)寫入緩存盤后在后臺清空，在本地SSD上保留一個數(shù)據(jù)副本，并在不同的節(jié)點上保留另外一個數(shù)據(jù)副本。 采用的分布式元數(shù)據(jù)技術(shù)，元數(shù)據(jù)可在整個集群上進行分布，實現(xiàn)可擴展性；還可將數(shù)據(jù)復(fù)制到多個節(jié)點，高度可用，并能夠容忍多個模塊故障，保證重慶日報報業(yè)集團的業(yè)務(wù)連續(xù)性。

2) 易擴展：本次融合基礎(chǔ)架構(gòu)云數(shù)據(jù)平臺建設(shè)集群從4個節(jié)點起步，擴展至8節(jié)點，集群以一次添加一個節(jié)點的方式逐步進行擴展。未來可隨業(yè)務(wù)的增長靈活擴展至1000個節(jié)點以上。集群添加節(jié)點是一個完全動態(tài)的過程，無須停機即可在線完成。同時隨著節(jié)點數(shù)的增加，性能也將線性的提升（圖3）。

3) 成本低：省去了大量的前期投入（資金開銷），可隨增長擴展（運營開銷），能夠靈活選擇行業(yè)標準硬件。

4) 管理簡單自動：可以迅速創(chuàng)建出虛擬機以供新應(yīng)用使用,流程簡單、時間短,且不用再增加任何硬件投資,解決了之前為新應(yīng)用部署不能快速搭建計算環(huán)境、采購新設(shè)備流程復(fù)雜、時間長的難題。 節(jié)省管理成本。

5) 安全穩(wěn)定：借助基礎(chǔ)構(gòu)架軟件所提供的HA、容錯等功能,可以為所有的虛擬機提供高可用性,使所有應(yīng)用得到保護,提供不間斷服務(wù),通過策略配置，實現(xiàn)了數(shù)據(jù)冗余，即使集群中部分硬件故障，也不會造成宕機，最大化保證業(yè)務(wù)連續(xù)性。

6) 節(jié)能：該系統(tǒng)整合后機房中所有服務(wù)器、機房空調(diào)、UPS等所有硬件設(shè)備用電量與之前的減少百分比達到22%以上。

全融合基礎(chǔ)架構(gòu)對媒體融合的意義

1、 大數(shù)據(jù)業(yè)務(wù)：比如希望看到讀者（或未來讀者）的行為數(shù)據(jù)，希望看到網(wǎng)站（或移動終端）內(nèi)容的點擊分析，希望看到微博、微信的讀者偏好分析，希望看到用戶產(chǎn)生的UGC（信息、評論），準備開展數(shù)據(jù)挖掘、文本挖掘、網(wǎng)絡(luò)挖掘，發(fā)現(xiàn)價值作預(yù)判，涉足電子商務(wù)的網(wǎng)站……類似以上需求，特別是“實時性”要求，融合構(gòu)架解決方案可以帶來成本與性能的最優(yōu)體驗——徹底解決計算與存儲之間的瓶頸，

2、 桌面虛擬化平臺建設(shè)：VDI已經(jīng)成為媒體行業(yè)解決遠程作業(yè)、內(nèi)外網(wǎng)隔離、數(shù)據(jù)安全的最佳解決方案，融合基礎(chǔ)架構(gòu)給VDI虛擬化環(huán)境帶來的重要差異化因素之一就是基礎(chǔ)設(shè)施在進行擴展時其性能也隨之增長，不會形成瓶頸問題。融合基礎(chǔ)構(gòu)架為客戶提供經(jīng)過實踐檢驗的可靠參考架構(gòu)，一方面將創(chuàng)造價值的時間最大化，同時盡量降低風險。

3、 降低運維管理成本：集中化管理，同時集群中所有虛擬存儲控制器不斷彼此通信。當檢測到某個節(jié)點發(fā)生故障時，集群便立即采取行動，自動恢復(fù)到節(jié)點故障發(fā)生之前的保護水平。減少管理和運維成本，自動保障數(shù)據(jù)一致性及業(yè)務(wù)高可用性。

隨著重慶日報報業(yè)集團全媒體業(yè)務(wù)的不斷發(fā)展，一定會有越來越多的新媒體、全媒體應(yīng)用需要部署或者調(diào)整到融合基礎(chǔ)構(gòu)架中。融合基礎(chǔ)構(gòu)架在軟件定義數(shù)據(jù)中心領(lǐng)域擁有十分廣泛的經(jīng)驗，能夠提供極其詳細的指導(dǎo)，幫助客戶選擇適當規(guī)模的虛擬化數(shù)據(jù)中心基礎(chǔ)設(shè)施，隨時進行架構(gòu)改造與擴展。

（作者單位：上海怡德依云信息技術(shù)有限公司）