楊建光（杭州字節(jié)信息技術(shù)有限公司，杭州，310008）

?

動(dòng)態(tài)擴(kuò)容視頻存儲分發(fā)系統(tǒng)設(shè)計(jì)

楊建光
（杭州字節(jié)信息技術(shù)有限公司，杭州，310008）

摘要：在帶寬增速，互聯(lián)網(wǎng)用戶對視頻內(nèi)容的要求日趨增多的趨勢下，本文描述了大規(guī)模視頻存儲分發(fā)的系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)。該系統(tǒng)設(shè)計(jì)的目標(biāo)是把用戶上傳的視頻重新編解碼生成適合不同場景的不同格式視頻文件，然后根據(jù)客戶端支持的視頻屬性和網(wǎng)絡(luò)帶寬的實(shí)際情況，自動(dòng)分發(fā)不同碼流的視頻文件到客戶端，從而達(dá)到流暢訪問視頻的目的；對系統(tǒng)中的熱門視頻，系統(tǒng)通過算法結(jié)合緩存，實(shí)現(xiàn)同一視頻文件在不同服務(wù)器間動(dòng)態(tài)遷移，從而充分利用系統(tǒng)的計(jì)算能力，最終給用戶提供更流暢的視頻體驗(yàn)。

關(guān)鍵詞：視頻存儲；視頻分發(fā)；動(dòng)態(tài)擴(kuò)容

1 系統(tǒng)功能模塊劃分

1.1 視頻存儲模塊

視頻存儲模塊是實(shí)現(xiàn)視頻海量數(shù)據(jù)的多服務(wù)器文件存儲，主要實(shí)現(xiàn)視頻各種分辨率格式對應(yīng)的文件存儲 。熱門視頻需要在多個(gè)服務(wù)器上存儲，而非熱門視頻只需要在少數(shù)服務(wù)器存儲。視頻存儲集群結(jié)構(gòu)參見圖1。

1.2 視頻索引緩存模塊

該系統(tǒng)模塊把視頻的相關(guān)信息，如存儲集群、時(shí)間、分辨率、碼率、幀率、作者、拍攝時(shí)間、內(nèi)容介紹等信息以數(shù)據(jù)庫的方式存儲起來，并對常用檢索信息進(jìn)行索引。 特別地，由于熱門視頻可能存儲在多個(gè)服務(wù)器上，因此需要在緩存服務(wù)器中存有對應(yīng)視頻的存儲服務(wù)器的信息。視頻和存儲服務(wù)器的對應(yīng)關(guān)系可以表示為圖2。

圖1 視頻存儲集群

圖2 視頻和存儲服務(wù)器對應(yīng)關(guān)系

1.3 視頻編解碼轉(zhuǎn)換模塊

為不同網(wǎng)絡(luò)帶寬的終端提供流暢的視頻服務(wù)，需要生成同一視頻的不同版本。該模塊以原始視頻為基礎(chǔ)，通過重新編碼的方式，生成同一視頻的不同分辨率或不同幀率的不同格式視頻版本，并存儲在相關(guān)存儲服務(wù)器中。終端上傳視頻，后臺進(jìn)行重新編碼的過程如圖3。

有了上述視頻轉(zhuǎn)換并存儲基礎(chǔ)，客戶端向服務(wù)器提交視頻請求時(shí)，服務(wù)器端會根據(jù)網(wǎng)絡(luò)帶寬和終端屬性來確定下發(fā)視頻的格式和清晰度。

2 系統(tǒng)關(guān)鍵模塊設(shè)計(jì)

2.1 服務(wù)器架構(gòu)

整個(gè)視頻存儲分發(fā)系統(tǒng)分為以下幾個(gè)部分：存儲服務(wù)器集群、負(fù)載均衡/健康管理服務(wù)器、編解碼服務(wù)器、視頻元數(shù)據(jù)庫、緩存服務(wù)器。整個(gè)系統(tǒng)功能模塊示意如圖4。

圖3 視頻編解碼過程

圖4 系統(tǒng)功能模塊

圖5 單一視頻的目錄組織

在所有服務(wù)器中，只有負(fù)載均衡、健康管理服務(wù)器擁有公網(wǎng)ip地址，其它服務(wù)器只有內(nèi)網(wǎng)ip地址。

2.2 單視頻存儲設(shè)計(jì)

為適應(yīng)各種終端處理視頻的需求，需要把同一視頻的不同格式的視頻按下列目錄規(guī)則組織起來。

2.3 熱門視頻存儲遷移算法

熱門視頻存儲遷移算法描述一個(gè)非熱門視頻隨著同時(shí)訪問者的增多轉(zhuǎn)變成熱門視頻的過程。存儲遷移算法使該視頻可以動(dòng)態(tài)遷移到別的空閑服務(wù)器，并且更新緩存服務(wù)器，從而增加單一視頻服務(wù)的可用性。該遷移算法描述如圖6。

2.4 負(fù)載均衡、健康管理模塊設(shè)計(jì)

終端通過負(fù)載均衡模塊獲取視頻服務(wù)器地址然后進(jìn)行后續(xù)視頻交互流程設(shè)計(jì)如圖7。

圖7 負(fù)載均衡流程

由于視頻對服務(wù)器計(jì)算能力和網(wǎng)絡(luò)帶寬都有嚴(yán)苛的要求，為了保證給多個(gè)客戶端的并發(fā)訪問提供流暢的視頻服務(wù)器，需要設(shè)計(jì)負(fù)載均衡模塊以實(shí)現(xiàn)客戶端的引流和平衡。

而健康管理模塊維護(hù)可用視頻服務(wù)器的列表，通過Http檢測實(shí)現(xiàn)三大功能：

動(dòng)態(tài)添加視頻服務(wù)器實(shí)現(xiàn)擴(kuò)容；

檢測到某一臺服務(wù)器不可用時(shí)，把該臺服務(wù)器從可用服務(wù)器列表中刪除；

檢測到不可用服務(wù)器重新可用時(shí)，把該臺服務(wù)器重新添加到可用服務(wù)器列表中。

3 總結(jié)

視頻服務(wù)器、數(shù)據(jù)庫服務(wù)器、負(fù)載均衡服務(wù)器、視頻編解碼服務(wù)器均采用阿里云服務(wù)器，服務(wù)器端采用的技術(shù)開發(fā)框架有：Nodejs + Express的Http服務(wù)器，MongoDB非結(jié)構(gòu)化數(shù)據(jù)庫存儲引擎，Nginx反向代理，ffmpeg視頻編解碼框架等。經(jīng)測試，在請求響應(yīng)時(shí)間，視頻流暢體驗(yàn)等方面均取得了不錯(cuò)的效果，后續(xù)將進(jìn)一步把該系統(tǒng)應(yīng)用在多個(gè)領(lǐng)域。

參考文獻(xiàn)

［1］曹巖；網(wǎng)絡(luò)寬帶交互式視頻點(diǎn)播系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)；計(jì)算機(jī)工程與應(yīng)用；2012

［2］單海濤；方向忠；基于FFmpeg的高清數(shù)字與電影軟件編碼系統(tǒng)的設(shè)計(jì)；信息技術(shù)；2007

［3］龐建民；王??；視頻會議系統(tǒng)的研究與實(shí)現(xiàn)［J］；安防科技；2008.12

［4］徐向宇；電信流媒體系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］；電子科技大學(xué)；2010

圖6 視頻存儲遷移

Design of dynamic capacity expansion video storage and distribution system

Yang Jianguang
（Hangzhou byte information technology Co.， Ltd.Hangzhou，310008）

Abstract：In the Internet bandwidth growth，user demand for video content increasing trend，this paper describes the design and implementation of the system of large-scale video storage distribution.The system design goal is to users to upload video codec is generated to fit different scenarios of different video formats file，then according to the actual situation in support of the client's video attribute and network bandwidth，automatic distribution of different streams of video files to the client，so as to achieve smooth video access； on the popular video system through the algorithm combined with caching，achieve the same video file in dynamic migration between different servers，which makes full use of the computing capability of the system and ultimately to the user to provide smoother video experience.

Keywords：Video storage；video distribution；dynamic capacity expansion