王丹華

【摘要】在播出領(lǐng)域視頻存儲(chǔ)系統(tǒng)中，如何解決保證數(shù)據(jù)容量、數(shù)據(jù)的高速讀寫(xiě)和安全可靠成為重點(diǎn)。本文簡(jiǎn)要介紹了廣東廣播電視臺(tái)高清系統(tǒng)的播出存儲(chǔ)系統(tǒng)框架，并著重介紹BMLE集群系統(tǒng)和UML系統(tǒng)的主要技術(shù)和確保數(shù)據(jù)安全可靠機(jī)制。

【關(guān)鍵詞】播出 存儲(chǔ) RAID冗余 故障轉(zhuǎn)移

一.引言

隨著對(duì)信息技術(shù)和存儲(chǔ)技術(shù)的不斷發(fā)展，在電視播出中視頻數(shù)據(jù)存儲(chǔ)容量和數(shù)據(jù)可靠性的需求越來(lái)越高。電視臺(tái)媒體資源的播出領(lǐng)域有著大量的素材資源存儲(chǔ)的需求，同時(shí)作為播出末端，對(duì)于數(shù)據(jù)數(shù)據(jù)的高速讀寫(xiě)和安全可靠的要求高。目前硬盤(pán)作為存儲(chǔ)的主要載體，讀寫(xiě)速度有限，可靠性差的問(wèn)題成為制約系統(tǒng)性能的關(guān)鍵問(wèn)題。本文簡(jiǎn)要介紹廣東廣播電視臺(tái)高清系統(tǒng)的播出存儲(chǔ)系統(tǒng)框架，并著重介紹該系統(tǒng)中視頻存儲(chǔ)服務(wù)器BMLE集群系統(tǒng)和UML系統(tǒng)的主要技術(shù)，以及在該存儲(chǔ)系統(tǒng)中如何通過(guò)數(shù)據(jù)冗余容錯(cuò)和故障轉(zhuǎn)移，提高保證系統(tǒng)的穩(wěn)定性，保證播出安全。

二.高清系統(tǒng)播出存儲(chǔ)框架簡(jiǎn)介

廣東臺(tái)于2012年開(kāi)始高清機(jī)房的建設(shè)，搭建了高清混播的系統(tǒng)。這個(gè)過(guò)程中經(jīng)過(guò)了數(shù)次的升級(jí)和改造，目前系統(tǒng)形成了以三臺(tái)SeachangeMCL（MediaClient）服務(wù)器、兩臺(tái)MSV（MediaServer）服務(wù)器共同作為上載服務(wù)器，完成上載視頻文件的編解碼；SeachangeUML（UniversalMediaLibrary）服務(wù)器系統(tǒng)作為中央服務(wù)器存儲(chǔ)所有的視頻素材；兩臺(tái)SeachangeBML（BroadcastMediaLibrary）服務(wù)器組成集群作為播出服務(wù)器，連接六臺(tái)MCL服務(wù)器完成視頻素材的播出解碼播出的基本系統(tǒng)框架。即高清播出存儲(chǔ)系統(tǒng)中，主要結(jié)構(gòu)由編碼服務(wù)器—中央存儲(chǔ)服務(wù)器—播出存儲(chǔ)服務(wù)器—解碼服務(wù)器四級(jí)組成。具體系統(tǒng)結(jié)構(gòu)連接如圖1所示。

系統(tǒng)中前后兩端的編解碼服務(wù)器采用了MCL服務(wù)器和MSV服務(wù)器，這兩種服務(wù)器采用了軟解碼的方式，具有實(shí)時(shí)編解碼I/O功能，通過(guò)網(wǎng)絡(luò)連接分別與BML服務(wù)器組成的集群和UML服務(wù)器構(gòu)成NAS結(jié)構(gòu)類(lèi)型的存儲(chǔ)網(wǎng)絡(luò)。這種方式改變了以往直接在BMC服務(wù)器嵌入硬件解碼器，采用解碼板實(shí)時(shí)編解碼I/O的方式，實(shí)現(xiàn)了解碼和存儲(chǔ)分離，一方面可以更加方便和自由地根據(jù)實(shí)際需要的編解碼通道數(shù)量和高標(biāo)清格式的不同構(gòu)建系統(tǒng)，另一方面有效利用資源的同時(shí)，方便設(shè)備損壞時(shí)，能夠迅速修改網(wǎng)絡(luò)設(shè)置或備機(jī)實(shí)現(xiàn)故障轉(zhuǎn)移。

播出視頻服務(wù)器系統(tǒng)采用了Seachange公司開(kāi)發(fā)的BML服務(wù)器集群，該集群采用了RAID52的技術(shù)，由有兩個(gè)由3個(gè)節(jié)點(diǎn)組成的獨(dú)立的集群系統(tǒng)互為冗余鏡像組成，分別作為播出的主備視頻服務(wù)器。每個(gè)獨(dú)立的集群中，每一個(gè)節(jié)點(diǎn)都有一塊主機(jī)通道適配（HCA），帶著兩個(gè)InfiniBand線纜接口的，分別連接到兩臺(tái)交換機(jī)上，三個(gè)節(jié)點(diǎn)就是由在SeaChange公司的私有網(wǎng)絡(luò)協(xié)議SeaNet下采用InfiniBand架構(gòu)連接構(gòu)成集群系統(tǒng)。當(dāng)素材文件寫(xiě)入集群其中一個(gè)節(jié)點(diǎn)時(shí)，首先由集群控制器做第一次的RAID5，分成3個(gè)冗余塊，通過(guò)InfiniBand構(gòu)架的網(wǎng)絡(luò)寫(xiě)入其他節(jié)點(diǎn)中；節(jié)點(diǎn)上的RAID卡對(duì)冗余塊進(jìn)行二次RAID5處理，形成數(shù)據(jù)條帶寫(xiě)入磁盤(pán)陣列內(nèi)，實(shí)現(xiàn)數(shù)據(jù)冗余和容錯(cuò)。

中央存儲(chǔ)服務(wù)器由兩個(gè)完全鏡像冗余的UML系統(tǒng)組成，主要用于存儲(chǔ)視頻素材。UML系統(tǒng)由兩個(gè)UML服務(wù)器，共享一個(gè)存儲(chǔ)陣列組成。UML服務(wù)器通過(guò)SeaCh angeHighAvailablityServer（SHAS）的配置讓兩臺(tái)由高速I(mǎi)nfiniBand內(nèi)部連接的UML服務(wù)器均可以訪問(wèn)在硬盤(pán)陣列中的所有硬盤(pán)。存儲(chǔ)陣列采用RAID6的冗余容錯(cuò)技術(shù)，并把72塊磁盤(pán)分成7個(gè)LUN，分別掛載在兩個(gè)UML服務(wù)器上，UML服務(wù)器對(duì)于它所擁有的數(shù)據(jù)LUN有讀/寫(xiě)權(quán)限。如果數(shù)據(jù)LUN屬于另一個(gè)UML服務(wù)器，讀寫(xiě)的操作由另一個(gè)UML服務(wù)器代理進(jìn)行，實(shí)現(xiàn)了負(fù)載均衡和故障自動(dòng)倒換。

三.播出存儲(chǔ)系統(tǒng)的主要技術(shù)

1.RAID52

BML集群系統(tǒng)作為播出服務(wù)器，對(duì)于數(shù)據(jù)的安全性和可靠性要求極高，對(duì)于集群使用RAID52技術(shù)的同時(shí)，雙集群完全鏡像使得數(shù)據(jù)的容錯(cuò)能力極高。

那什么RAID52為什么它保證數(shù)據(jù)的安全呢？首先，我們要先了解一下什么RAID。RAID（RedundantArraysofI ndependentDisks），即獨(dú)立冗余磁盤(pán)陣列，指由多個(gè)獨(dú)立的磁盤(pán)組成的具有冗余性的陣列。RAID通過(guò)條帶化使得多塊獨(dú)立磁盤(pán)可以同時(shí)進(jìn)行讀寫(xiě)，提高了系統(tǒng)的I/O性能，具有高存儲(chǔ)和高傳輸速率的性能；同時(shí)RAID采用數(shù)據(jù)校驗(yàn)甚至完全鏡像備份的方式，使得丟失數(shù)據(jù)可以通過(guò)校驗(yàn)值或備份數(shù)據(jù)進(jìn)行恢復(fù)，具有備份冗余性，確保數(shù)據(jù)的安全性。在RAID技術(shù)，RAID0，RAID1，RAID5，RAID6較為常用。

RAID5采用計(jì)算奇偶校驗(yàn)碼（即異或XOR）的方式來(lái)實(shí)現(xiàn)容錯(cuò)。例如，對(duì)于一個(gè)由5塊磁盤(pán)形成了陣列組的RAID5存儲(chǔ)系統(tǒng)，陣列磁盤(pán)在相同偏移處橫向邏輯分割形成多個(gè)條帶（Stripe）。當(dāng)該系統(tǒng)接收一個(gè)數(shù)據(jù)后，會(huì)對(duì)該數(shù)據(jù)采用條帶（stripe）技術(shù)分成4個(gè)塊，并通過(guò)同一條帶中一組數(shù)據(jù)進(jìn)行奇偶校驗(yàn)的方式計(jì)算校驗(yàn)值，奇偶校驗(yàn)碼的計(jì)算公式為：

RAID52技術(shù)就是在RAID5的基礎(chǔ)上再搭建一個(gè)RAID的結(jié)構(gòu)，進(jìn)一步保證數(shù)據(jù)安全。例如，我們搭建3個(gè)相同的系統(tǒng)，都是由5塊磁盤(pán)形成了陣列組的RAID5存儲(chǔ)系統(tǒng)，我們把這3個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)用RAID5方式組成一個(gè)具有3個(gè)節(jié)點(diǎn)的集群，則我們稱(chēng)這個(gè)集群使用了RAID52技術(shù)。當(dāng)該集群接收到數(shù)據(jù)是，首先集群RAID處理器分塊并校驗(yàn)計(jì)算后，把數(shù)據(jù)均衡存儲(chǔ)在3個(gè)節(jié)點(diǎn)中；節(jié)點(diǎn)收到數(shù)據(jù)后，節(jié)點(diǎn)的RAID處理器把數(shù)據(jù)再進(jìn)行條帶分塊并校驗(yàn)計(jì)算后存儲(chǔ)在磁盤(pán)中。同樣的道理，這3個(gè)節(jié)點(diǎn)中任意一個(gè)節(jié)點(diǎn)發(fā)生故障，另外2個(gè)節(jié)點(diǎn)都可以重構(gòu)出完整的數(shù)據(jù)內(nèi)容。而每個(gè)節(jié)點(diǎn)可以允許一塊磁盤(pán)發(fā)生故障，因此這個(gè)由15塊硬盤(pán)組成的集群中，最大可以允許7塊硬盤(pán)發(fā)生故障（即一個(gè)節(jié)點(diǎn)的磁盤(pán)全部故障，另外兩個(gè)節(jié)點(diǎn)各有一塊硬盤(pán)發(fā)生故障），避免了由于磁盤(pán)故障或者數(shù)據(jù)錯(cuò)誤導(dǎo)致數(shù)據(jù)丟失，極大的保證了數(shù)據(jù)的安全。endprint

2.RAID6

隨著高清電視的逐漸普及對(duì)播出域的存儲(chǔ)容量越來(lái)越高，這就要求中心存儲(chǔ)的容量足夠大，數(shù)據(jù)足夠安全可靠。這種情況下，RAID6應(yīng)運(yùn)而生，而UML服務(wù)器系統(tǒng)的存儲(chǔ)陣列即采用了該技術(shù)。在確保數(shù)據(jù)安全的前提下，RAID6的硬盤(pán)空間利用率比RAID52更高。

3.SHAS軟件

SHAS（SeaChangeHighAvailablityServer）軟件是SeaChange公司開(kāi)發(fā)的應(yīng)用于UML服務(wù)器的軟件，是以對(duì)磁盤(pán)存儲(chǔ)陣列提供RAID6數(shù)據(jù)保護(hù)和以性能和自動(dòng)切換為目的的UML服務(wù)器的硬盤(pán)I/O冗余技術(shù)。

通過(guò)配置SHAS可以讓兩臺(tái)UML服務(wù)器都訪問(wèn)同一個(gè)磁盤(pán)陣列中的硬盤(pán)，在對(duì)陣列同一個(gè)磁盤(pán)的讀寫(xiě)中，保持讀寫(xiě)一致性。它通過(guò)高速I(mǎi)nfiniBand內(nèi)部連接，在主機(jī)DRAM緩存間鏡像回寫(xiě)數(shù)據(jù)，提供故障恢復(fù)功能。當(dāng)其中一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，另一個(gè)節(jié)點(diǎn)取得對(duì)磁盤(pán)的控制權(quán)，通過(guò)”Active-Active”的配置，保證服務(wù)器快速切換時(shí)可以持續(xù)訪問(wèn)存儲(chǔ)陣列，維持系統(tǒng)運(yùn)行的可持續(xù)性。[2-3]

SHAS還對(duì)存儲(chǔ)陣列提供RAID6的數(shù)據(jù)保護(hù)，提供了RAID6配置可供選擇，10+2和8+2配置包（表1）。在UML系統(tǒng)的存儲(chǔ)陣列有6個(gè)存儲(chǔ)盤(pán)箱，每個(gè)盤(pán)箱有12塊硬盤(pán)，條帶數(shù)據(jù)交叉穿過(guò)存儲(chǔ)盤(pán)箱。[2-3]

四.存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全保障

1.冗余容錯(cuò)

首先，RAID技術(shù)提供了冗余容錯(cuò)的機(jī)制。

BML系統(tǒng)由三個(gè)節(jié)點(diǎn)服務(wù)器，每個(gè)節(jié)點(diǎn)有兩塊RAID卡，分別控制著兩個(gè)LUN組。下圖為Seachang的SeaView軟件展示的BML系統(tǒng)中每個(gè)節(jié)點(diǎn)的BML服務(wù)器的系統(tǒng)展示圖：

由上圖可以看出，廣東臺(tái)高清的BML服務(wù)器由24塊硬盤(pán)組成，每12塊硬盤(pán)組成一個(gè)RAID組由一塊RAID卡控制做RAID5配置。所以在每一塊RAID控制的12個(gè)硬盤(pán)中，允許有一塊硬盤(pán)損壞，即每個(gè)節(jié)點(diǎn)至多允許有2塊硬盤(pán)損壞，不影響數(shù)據(jù)安全。對(duì)于3個(gè)節(jié)點(diǎn)構(gòu)成RAID52集群，任意兩個(gè)節(jié)點(diǎn)就能夠重構(gòu)出整個(gè)集群的數(shù)據(jù)。所以該集群中，在極端的情況下，一個(gè)節(jié)點(diǎn)離線，另外兩個(gè)節(jié)點(diǎn)仍然允許有4塊硬盤(pán)（每個(gè)節(jié)點(diǎn)的每個(gè)RAID組各一塊）損壞而不影響數(shù)據(jù)完整，極大保證數(shù)據(jù)安全。

UML服務(wù)器系統(tǒng)的存儲(chǔ)陣列采用8+2配置包，其中包括2塊存儲(chǔ)config、metadata、journal信息的硬盤(pán)，用RAID1技術(shù)鏡像備份；70塊數(shù)據(jù)盤(pán)分成7個(gè)LUN，應(yīng)用了RAID6技術(shù)（8D+P+Q），即每個(gè)條帶中包括8個(gè)數(shù)據(jù)段和2個(gè)校驗(yàn)段，數(shù)據(jù)段和校驗(yàn)段交叉存放于硬盤(pán)中，每個(gè)LUN最多允許任意2塊硬盤(pán)發(fā)生故障。因此在最極端的情況下，不考慮負(fù)載和CPU等，在該存儲(chǔ)矩陣中，最多允許15塊硬盤(pán)發(fā)生故障。而每個(gè)LUN的10塊硬盤(pán)均衡地分布在6個(gè)存儲(chǔ)盤(pán)箱，每個(gè)盤(pán)箱都分布1-2塊，如果整個(gè)存儲(chǔ)盤(pán)箱發(fā)生故障或掉電時(shí)，對(duì)數(shù)據(jù)沒(méi)有影響。

其次，完全鏡像提高進(jìn)一步的保證。兩個(gè)BML集群組成鏡像作為主備播出視頻服務(wù)器，如果主視頻服務(wù)器發(fā)生故障，可以迅速切換到備視頻服務(wù)器，保證了安全播出。兩個(gè)同構(gòu)的UML服務(wù)器鏡像冗余，高清播控系統(tǒng)的策略軟件在每天凌晨2點(diǎn)會(huì)自動(dòng)發(fā)起對(duì)當(dāng)天新素材從存儲(chǔ)矩陣到同構(gòu)備份存儲(chǔ)矩陣的遷移，完成該操作后，即相當(dāng)于進(jìn)行了RAID1的鏡像備份，進(jìn)一步確保了系統(tǒng)的穩(wěn)定性。

2.均衡負(fù)載和故障轉(zhuǎn)移

中央存儲(chǔ)系統(tǒng)由兩個(gè)UML服務(wù)器節(jié)點(diǎn)，共享單一的矩陣存儲(chǔ)陣列構(gòu)成的UML系統(tǒng)。每一個(gè)UML服務(wù)器包括CentOS（Linux）操作系統(tǒng)、SHAS存儲(chǔ)子系統(tǒng)、以及BlueWhale文件系統(tǒng)或HyperFS文件系統(tǒng)（圖2所示）。每個(gè)UML服務(wù)器有獨(dú)立的CentOS存儲(chǔ)區(qū)，UML存儲(chǔ)區(qū)以及Snapshot文件，并且每個(gè)系統(tǒng)硬盤(pán)鏡像另一個(gè)UML服務(wù)器的分區(qū)和目錄，使故障的一臺(tái)UML服務(wù)器從對(duì)方服務(wù)器恢復(fù)原有系統(tǒng)軟件。BlueWhale文件系統(tǒng)將由SHAS控制的磁盤(pán)陣列存儲(chǔ)呈現(xiàn)為單文件系統(tǒng)卷，SHAS軟件配置讓兩臺(tái)UML服務(wù)器均可以訪問(wèn)在磁盤(pán)陣列中的所有硬盤(pán)。它通過(guò)高速I(mǎi)nfiniBand內(nèi)部連接，在主機(jī)DRAM緩存間鏡像回寫(xiě)數(shù)據(jù)。SHAS還對(duì)存儲(chǔ)陣列提供RAID6的8+2的配置包，將數(shù)據(jù)盤(pán)分為了7個(gè)LUN，按4：3劃分為2組，任意一個(gè)UML服務(wù)器擁有4個(gè)數(shù)據(jù)LUN，對(duì)應(yīng)的另一個(gè)UML服務(wù)器擁有3個(gè)數(shù)據(jù)LUN，主UML服務(wù)器還擁有Metadata，Config和JournalLUN的所有權(quán)。UML服務(wù)器對(duì)于它所擁有的數(shù)據(jù)LUN有讀/寫(xiě)權(quán)限。如果數(shù)據(jù)LUN屬于另一個(gè)UML服務(wù)器，讀寫(xiě)的操作由另一個(gè)UML服務(wù)器代理進(jìn)行。在正常配置下，當(dāng)兩個(gè)UML服務(wù)器運(yùn)行，被讀寫(xiě)的數(shù)據(jù)通過(guò)Infiniband網(wǎng)絡(luò)連接形成鏡像數(shù)據(jù)顯示。一旦其中其中一個(gè)UML服務(wù)器故障，余下的UML服務(wù)器獲得所有7個(gè)數(shù)據(jù)LUN，以及Metadata，Config和JournalLUN。一旦故障的那臺(tái)UML服務(wù)器恢復(fù)后，7個(gè)數(shù)據(jù)LUN的所有權(quán)將再次均勻分布在兩個(gè)UML服務(wù)器上。通過(guò)以上的方式，兩個(gè)UML服務(wù)器節(jié)點(diǎn)實(shí)現(xiàn)了均衡的負(fù)載和故障的轉(zhuǎn)移，保證了數(shù)據(jù)的安全和事務(wù)的完整性處理。

五.結(jié)束語(yǔ)

安全一直都是播出的第一生命線，近些年來(lái)各大電視臺(tái)不斷的進(jìn)行技術(shù)更新，不管是高清頻道的建設(shè)還是全臺(tái)網(wǎng)的系統(tǒng)改建中，中心存儲(chǔ)的容量和可靠性的一直是播出領(lǐng)域的重點(diǎn)考慮要求。在廣東臺(tái)高清播出建設(shè)中，我們通過(guò)對(duì)于數(shù)據(jù)存儲(chǔ)的安全性方面的冗余技術(shù)和故障轉(zhuǎn)移技術(shù)的介紹和應(yīng)用，達(dá)到了對(duì)于數(shù)據(jù)安全的要求，保證播出安全。B&P

參考文獻(xiàn)

[1]冬瓜頭（張冬）.大話存儲(chǔ)Ⅱ—存儲(chǔ)系統(tǒng)架構(gòu)與底層原理極限剖析[M].北京：清華大學(xué)出版社，2011.

[2]SeaChangeInternationalInc.SeaChangeUMLServerHardw areReference[R].Acton，MA：SeaChangeInternationalInc.，2010.

[3]SeaChangeInternationalInc.SeaChangeUMLSystemManag ementGuide[R].Acton，MA：SeaChangeInternationalInc.，2010.endprint