李少博，王曉東，周 宇，陳美子，章聯(lián)軍

(寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江寧波315211)

1 概述

隨著多媒體技術(shù)和網(wǎng)絡(luò)通信技術(shù)的迅猛發(fā)展，由于立體視頻數(shù)據(jù)量龐大，在不穩(wěn)定的網(wǎng)絡(luò)中傳輸視頻流容易導(dǎo)致碼流丟失，從而降低終端視頻質(zhì)量，因此立體視頻相關(guān)傳輸技術(shù)成為目前廣泛研究的熱點(diǎn)［1］。目前對(duì)傳輸技術(shù)的研究主要集中在傳輸模式、傳輸控制和差錯(cuò)控制等3個(gè)領(lǐng)域［2］。其中，傳輸模式通常有單播、廣播、組播和P2P模式，單播的傳輸效率及帶寬利用率都比較低，廣播傳輸效率高，但產(chǎn)生了額外的網(wǎng)絡(luò)流量，比較實(shí)用的是組播和P2P模式，組播效率較高，但中間路由節(jié)點(diǎn)管理難度較大，P2P方式傳輸可以通過有效分配網(wǎng)絡(luò)帶寬來解決現(xiàn)有的網(wǎng)絡(luò)負(fù)載過重等問題，獲得較高的傳輸性能，但如何實(shí)現(xiàn)有效分配帶寬資源是難點(diǎn)。傳輸控制領(lǐng)域的研究重點(diǎn)是擁塞控制，常見的擁塞控制方法有基于窗口的擁塞控制、基于速率的擁塞控制以及基于丟包的擁塞控制?；诖翱趽砣刂品椒ㄖ饕峭ㄟ^在發(fā)送端或者接收端調(diào)整窗口大小以實(shí)現(xiàn)TCP友好與公平，其調(diào)節(jié)方式主要是加性增乘性減(Additive Increase Multiplicative Decrease，AIMD);基于速率的擁塞控制根據(jù)丟包率和往返時(shí)間RTT來調(diào)整發(fā)送速率，從而實(shí)現(xiàn)媒體流的平滑傳輸。TFRC(TCP-Friendly Rate Control)是基于TCP吞吐量模型的端到端友好擁塞控制協(xié)議，能獲得相對(duì)平滑的發(fā)送速率，在視頻傳輸中應(yīng)用廣泛;目前，基于丟包的擁塞控制方法研究的重點(diǎn)是如何建立合適的失真模型以區(qū)分?jǐn)?shù)據(jù)重要性，然后通過主動(dòng)丟包的方式實(shí)現(xiàn)擁塞控制，但往往復(fù)雜度比較高。主流的差錯(cuò)控制技術(shù)包括前向冗余糾錯(cuò)(Forward Error Correction，F(xiàn)EC)、自動(dòng)請(qǐng)求重傳技術(shù)(Automatic Repeat Request，ARQ)和解碼端錯(cuò)誤隱藏技術(shù)，前向冗余糾錯(cuò)和自動(dòng)請(qǐng)求重傳技術(shù)都會(huì)增加額外負(fù)載，而解碼端錯(cuò)誤隱藏技術(shù)則不需編碼端的任何反饋信息，不占用信道資源，同時(shí)不會(huì)產(chǎn)生額外的傳輸延遲，是目前最常用的差錯(cuò)控制技術(shù)。

本文主要研究基于編解碼依賴關(guān)系的幀重要性區(qū)分方法［3］，對(duì)每個(gè)GOP中的幀進(jìn)行重要性劃分，其中，I幀最重要，P幀次之，B幀最不重要，并標(biāo)記相應(yīng)的優(yōu)先級(jí)，然后依據(jù)優(yōu)先級(jí)分配不等的帶寬。在網(wǎng)絡(luò)擁塞時(shí)，首先滿足優(yōu)先級(jí)較高的數(shù)據(jù)所需帶寬，同時(shí)在解碼端采用錯(cuò)誤隱藏技術(shù)，進(jìn)而對(duì)視頻進(jìn)行修復(fù)。以此為基礎(chǔ)，本文首先搭建基于NS2的立體視頻傳輸平臺(tái)，然后根據(jù)解碼依賴關(guān)系的幀重要性區(qū)分方法和RTP/RTCP協(xié)議封裝與反饋機(jī)制，在發(fā)送端實(shí)現(xiàn)基于重要性等級(jí)進(jìn)行的調(diào)度管理方案，從而緩解網(wǎng)絡(luò)的擁塞程度，降低重要信息在轉(zhuǎn)發(fā)時(shí)的丟包幾率，實(shí)現(xiàn)對(duì)重要信息的保護(hù)，同時(shí)能增加解碼端的視頻可解碼幀數(shù)與視頻平滑度。

2 立體視頻傳輸平臺(tái)

立體視頻傳輸系統(tǒng)的構(gòu)建與實(shí)現(xiàn)，無(wú)論是對(duì)于理論研究還是實(shí)際應(yīng)用，都具有深刻的意義。首先需要分析系統(tǒng)的發(fā)展過程得到系統(tǒng)的總體框架［4］。歐盟于2002年開展了 ATTEST項(xiàng)目的研究［5］，在ATTEST項(xiàng)目的基礎(chǔ)上，MERL實(shí)驗(yàn)室于2004年構(gòu)建了自己的立體視頻傳輸系統(tǒng)，其基本的設(shè)計(jì)思想來源于ATTEST原型系統(tǒng)。微軟亞洲研究院從交互和傳輸?shù)慕嵌瘸霭l(fā)，建立了基于 IP(Internet Protocol)組播的多視點(diǎn)視頻傳輸系統(tǒng)［6-8］，該系統(tǒng)定義了3種特效視頻，能夠?yàn)橛脩籼峁┝己玫囊曈X觀賞體驗(yàn)。針對(duì)手持計(jì)算機(jī)、移動(dòng)電話等小型便攜式設(shè)備，歐盟于2008年 -2011年間建立了 Mobile 3DTV 系統(tǒng)［9-11］。

文獻(xiàn)［12-13］主要實(shí)現(xiàn)了 MPEG，H．264等編碼格式的碼流在NS2平臺(tái)的模擬傳輸，但是只考慮了單視點(diǎn)視頻的傳輸仿真，并沒有在提高傳輸效率和魯棒性等方面做更深入的研究。本文為實(shí)現(xiàn)立體視頻在網(wǎng)絡(luò)中的仿真?zhèn)鬏?，在單視點(diǎn)視頻的傳輸仿真基礎(chǔ)上，提出了基于NS2的立體視頻傳輸框架，并完成了其仿真平臺(tái)的搭建工作。立體視頻傳輸仿真框架如圖1所示。

圖1 立體視頻傳輸框架

首先，在JM編碼平臺(tái)將左右2個(gè)視點(diǎn)的YUV原始序列編碼得到發(fā)送端H．264文件，同時(shí)輸出Trace_file文件;然后對(duì)Trace_file文件進(jìn)行修正，完成后得到適合NS2傳輸?shù)腟end_Trace文件，再通過NS2網(wǎng)絡(luò)模擬仿真，得到接收端的接收文件Receive_Trace;之后根據(jù)Send_Trace文件、Receive_Trace文件和發(fā)送端H．264文件，提取出接收端H．264文件;最后在JM解碼平臺(tái)解碼得到左右視點(diǎn)的YUV文件，可在顯示器上播放。

3 擁塞控制策略

由于傳統(tǒng)的擁塞控制沒有考慮視頻的一些特點(diǎn)，例如幀的相關(guān)性、適量丟包容忍和延遲時(shí)限等。本文通過區(qū)分幀重要性，并依據(jù)不同重要程度進(jìn)行不同的調(diào)度，適當(dāng)丟棄一些不重要的數(shù)據(jù)幀，確保優(yōu)先級(jí)高的數(shù)據(jù)優(yōu)先傳輸，從而實(shí)現(xiàn)擁塞控制策略。

3．1 幀重要性區(qū)分

在立體視頻中，各個(gè)視頻幀的重要性是有差異的。目前，幀重要性區(qū)分方法主要分為2種:一種是基于編解碼依賴關(guān)系的幀重要性區(qū)分方法，在一個(gè)GOP中，通常認(rèn)為I幀最重要，P幀次之，B幀最不重要;另一種是根據(jù)幀重要性區(qū)分模型，對(duì)序列中的每一幀進(jìn)行評(píng)估，該方法相比前一種方法來說更加準(zhǔn)確，但計(jì)算復(fù)雜度增加，而且需要對(duì)每一幀進(jìn)行計(jì)算，對(duì)編碼端要求較高。本文以低復(fù)雜度為基準(zhǔn)，采用第一種方式對(duì)幀重要性進(jìn)行簡(jiǎn)單區(qū)分。

在圖2中，第1列序號(hào)若為奇數(shù)，則該行是左視點(diǎn)幀的相關(guān)信息，若為偶數(shù)，則是右視點(diǎn)幀的相關(guān)信息。從表中的標(biāo)記區(qū)域可以看出，I幀和P幀數(shù)據(jù)的重要性都為最高等級(jí)，而B幀的重要性等級(jí)有進(jìn)一步的劃分。

圖2 標(biāo)記區(qū)域?yàn)閮?yōu)先級(jí)的相關(guān)信息

在立體視頻編碼過程中，左視點(diǎn)幀只有視點(diǎn)內(nèi)參考編碼模式，而右視點(diǎn)幀既有視點(diǎn)內(nèi)編碼又有視點(diǎn)間編碼模式，即右視點(diǎn)中的部分幀在編碼時(shí)參考了左視點(diǎn)對(duì)應(yīng)幀的信息，由此可知，如果左視點(diǎn)幀丟失不僅會(huì)影響左視點(diǎn)后續(xù)幀的解碼，同時(shí)將會(huì)影響右視點(diǎn)當(dāng)前幀以及后續(xù)幀的解碼，而右視點(diǎn)幀丟失則不會(huì)出現(xiàn)這種現(xiàn)象。所以在對(duì)B幀進(jìn)行進(jìn)一步重要性劃分時(shí)，充分考慮立體視頻編碼特性，認(rèn)為左視點(diǎn)B幀的重要性要高于右視點(diǎn)對(duì)應(yīng)時(shí)刻的B幀。

因此，如圖2中所示，右視點(diǎn)的B幀重要性等級(jí)為3，即為最不重要數(shù)據(jù)，左視點(diǎn)的B幀等級(jí)為2，為次重要數(shù)據(jù)。

3．2 調(diào)度策略

依據(jù)幀的不同重要性進(jìn)行不同優(yōu)先級(jí)的劃分，并根據(jù)RTP/RTCP協(xié)議封裝與反饋機(jī)制，在發(fā)送端主動(dòng)丟棄不重要的幀信息，緩解網(wǎng)絡(luò)的擁塞程度，降低重要信息在轉(zhuǎn)發(fā)時(shí)的丟包幾率，從而最終實(shí)現(xiàn)對(duì)重要信息的保護(hù)。具體調(diào)度策略過程如下:

(1)在數(shù)據(jù)打包成RTP數(shù)據(jù)包時(shí)標(biāo)記相對(duì)應(yīng)的優(yōu)先等級(jí)。

(2)將打包后的RTP數(shù)據(jù)包根據(jù)等級(jí)存放在不同等級(jí)的隊(duì)列中，利用RTCP的反饋信息(如丟包、延時(shí)、抖動(dòng)等)，按照不同優(yōu)先級(jí)，以一定的比例去調(diào)度不同等級(jí)隊(duì)列中的數(shù)據(jù)包，優(yōu)先級(jí)高的隊(duì)列發(fā)送比例越大，具體流程如圖3所示。

圖3 基于RTP/RTCP主動(dòng)丟包的調(diào)度流程

目前，在隊(duì)列調(diào)度的研究成果中主要有3種調(diào)度算法:輪詢式的調(diào)度算法，保證優(yōu)先級(jí)的調(diào)度算法以及比例公平的調(diào)度算法。輪詢式的調(diào)度算法是最公平的，但同時(shí)其性能也被認(rèn)為是最低的。保證優(yōu)先級(jí)的調(diào)度算法的優(yōu)點(diǎn)在于實(shí)現(xiàn)比較簡(jiǎn)單，同時(shí)它能為不同業(yè)務(wù)提供不同等級(jí)的服務(wù);缺點(diǎn)在于，如果高優(yōu)先級(jí)隊(duì)列不為空，那么低優(yōu)先級(jí)隊(duì)列中的分組就難以得到服務(wù)。比例公平的調(diào)度算法的原則是通過控制帶寬資源的分配，使得各優(yōu)先級(jí)業(yè)務(wù)在指定的QoS參數(shù)上符合給定的比例。如果用，i=1，2，…，K;j=1，2，…，n 代表第 i個(gè)優(yōu)先級(jí)的第 j個(gè)性能參數(shù)，K代表系統(tǒng)提供的業(yè)務(wù)優(yōu)先級(jí)類別總數(shù)，n代表要保持比例公平的性能參數(shù)個(gè)數(shù)，則比例公平原則可以表示為:

本文依據(jù)反饋丟包信息作為性能參數(shù)，其優(yōu)先級(jí)之比即為調(diào)度主動(dòng)丟包個(gè)數(shù)之比:

其中，Δpac_num()為反饋間隔內(nèi)該等級(jí)數(shù)據(jù)的數(shù)據(jù)包個(gè)數(shù);Δtaltol_pac_num則為當(dāng)前反饋間隔內(nèi)所發(fā)送數(shù)據(jù)包個(gè)數(shù);pri(i，j，k)表示優(yōu)先級(jí)比例。根據(jù)比例公平隊(duì)列調(diào)度算法的思路，在對(duì)數(shù)據(jù)包進(jìn)行調(diào)度時(shí)，采用主動(dòng)丟包的方式，對(duì)低優(yōu)先級(jí)的數(shù)據(jù)采用最大比例丟棄，相反等級(jí)越高丟棄比例越低，如式(3)所示:

其中，dis(i，j，k)為不同等級(jí)主動(dòng)丟棄比例;high，mid，low分別對(duì)應(yīng)相應(yīng)的等級(jí)數(shù)據(jù)，比例公平的調(diào)度算法一方面考慮了不同隊(duì)列優(yōu)先級(jí)的差異，另一方面考慮了不同隊(duì)列的公平性，是一種綜合性的解決方案。具體算法如下:

當(dāng)出現(xiàn)擁塞，但丟包個(gè)數(shù)小于閾值limmin時(shí)，只丟棄最低等級(jí)的數(shù)據(jù)，即pri=3的數(shù)據(jù)，丟棄個(gè)數(shù)根據(jù)丟棄比例而定;當(dāng)擁塞進(jìn)一步加劇，反饋間隔內(nèi)丟包個(gè)數(shù)處于limmin與limmax之間時(shí)，根據(jù)丟棄比例，對(duì)pri=3和pri=2的幀按照一定的比例進(jìn)行主動(dòng)丟棄;當(dāng)嚴(yán)重?fù)砣麜r(shí)，則3個(gè)等級(jí)的幀按照比例都要丟棄;當(dāng)不擁塞以及其他時(shí)刻，數(shù)據(jù)均正常發(fā)送。

4 實(shí)驗(yàn)結(jié)果與分析

4．1 立體視頻編碼及碼流信息提取

根據(jù)本文提出的立體視頻傳輸框架，首先需要對(duì)2個(gè)視點(diǎn)的原始序列通過JM18．6編解碼平臺(tái)進(jìn)行編碼獲得H．264碼流以及Tracefile文件;再根據(jù)Tracefile文件提取如圖2格式的相關(guān)數(shù)據(jù)信息，得到一個(gè)適于模擬傳輸?shù)腟end_Trace。

4．2 TCL腳本與網(wǎng)絡(luò)拓?fù)?/h3>

在NS2網(wǎng)絡(luò)模擬器中，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的搭建都是通過編寫TCL腳本來實(shí)現(xiàn)的，為了滿足實(shí)驗(yàn)的需要，本文搭建了如圖4所示的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

圖4 傳輸網(wǎng)絡(luò)拓?fù)?/p>

圖4中包含了2個(gè)發(fā)送節(jié)點(diǎn)、2個(gè)接收節(jié)點(diǎn)以及2個(gè)路由轉(zhuǎn)發(fā)節(jié)點(diǎn)，本文采用基于RTP/RTCP協(xié)議的流媒體傳輸，其中，RTP Sender和RTP Receiver就是建立在該協(xié)議基礎(chǔ)進(jìn)行傳輸?shù)?。?duì)于UDP Sender和UDP Receiver加入是為了在傳輸期間提供一個(gè)競(jìng)爭(zhēng)機(jī)制，制造擁塞情況的發(fā)生，從而調(diào)用發(fā)送端的主動(dòng)丟包算法，實(shí)現(xiàn)對(duì)重要信息的保護(hù)。

4．3 碼流提取及解碼

搭建網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以后，運(yùn)行腳本文件，模擬流媒體在網(wǎng)絡(luò)中的傳輸，在通過碼流提取得到接收端H．264文件，解碼得到如圖5所示的結(jié)果。

在該實(shí)驗(yàn)中，左右視點(diǎn)共編碼180幀，即左右視點(diǎn)各90幀，可以看到如果不采用任何主動(dòng)丟包擁塞控制策略的情況下，接收端只能解碼出13幀的數(shù)據(jù)，如圖5中左側(cè)的一組圖所示;而采用了主動(dòng)丟棄策略以后能夠解碼出15幀的數(shù)據(jù)，如圖5中間圖所示，可解碼的幀數(shù)有明顯增加。最后采用基于重要性的主動(dòng)丟包的策略后，可解碼幀數(shù)又明顯增加，如圖5右側(cè)圖所示，從圖5上下圖中還可以看出，由于采用基于右視點(diǎn)B幀重要性比左視點(diǎn)對(duì)應(yīng)位置B幀高的主動(dòng)丟包策略，使得左視點(diǎn)可解碼幀數(shù)多于右視點(diǎn)。

表1中3組序列，每組序列左右視點(diǎn)均為90幀。通過3組不同序列的解碼幀數(shù)可以看出，采用主動(dòng)丟包的策略后，可以提高接收端的解碼幀數(shù)，通過區(qū)分幀的重要性，對(duì)不同的幀有區(qū)別的進(jìn)行丟棄，保護(hù)重要性高的數(shù)據(jù)，可解碼幀數(shù)又明顯增加，提高了視頻的流暢度和觀賞效果。

表1 不同序列可解碼幀數(shù)及提高比例

5 結(jié)束語(yǔ)

本文搭建了一個(gè)基于NS2的適合立體視頻傳輸?shù)姆抡嫫脚_(tái)，并在此平臺(tái)上進(jìn)行基于RTP/RTCP協(xié)議的主動(dòng)丟包的立體視頻傳輸?shù)难芯?，該主?dòng)丟包策略在現(xiàn)有網(wǎng)絡(luò)條件下，能有效保護(hù)視頻序列中較重要的數(shù)據(jù)，增加解碼端的可解碼幀數(shù)，提高視頻的平滑性和用戶的觀看質(zhì)量。在主動(dòng)丟包的過程中，由于大部分幀都沒有超過一個(gè)數(shù)據(jù)包的大小，都是采用主動(dòng)丟幀的方式，對(duì)于可拆分為多個(gè)包的幀來說，并非這一幀內(nèi)所有的宏塊都是重要的，因此如何根據(jù)不同宏塊的重要性進(jìn)行主動(dòng)丟包將是下一步研究的重點(diǎn)。

［1］ 周 洋，蔣剛毅，郁 梅，等．面向HBP編碼格式的立體視頻B幀整幀丟失分層錯(cuò)誤隱藏算法［J］．電子與信息學(xué)報(bào)，2014，36(2):377-383．

［2］ 王騰飛，王曉東，胡彬彬，等．交互式立體視頻系統(tǒng)傳輸質(zhì)量研究［J］．寧波大學(xué)學(xué)報(bào)，2014，27(1):37-43．

［3］ 樂德廣，靳 勇，郭東輝，等．基于幀重要性認(rèn)知的網(wǎng)絡(luò)差錯(cuò)控制策略［J］．通信學(xué)報(bào)，2011，32(11):11-20．

［4］ 楊 鈾，郁 梅，蔣剛毅．交互式三維視頻系統(tǒng)研究進(jìn)展［J］．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21(5):569-574．

［5］ Redert A，de Beeck M O，F(xiàn)ehn C，et al．ATTEST:Advanced Three-dimensional Television System Technologies［C］//Proceedings of International Symposium on 3D Data Processing Visualization and Transmission．Thessalonikj，Greece:IEEE Press，2002:258-264．

［6］ Vetro A，Matusik W，Pfstef H，et al．Coding Approaches for End-to-end 3DTV Systems［C］//Proceedings of Picture Coding Symposium．San Francisco，USA:IEEE Press，2004:215-222．

［7］ Matusik W，Pfister H．3DTV:A Scalable System for Real-time Acquisition，Transmission and Autostereoscopic Display of Dynamic Scenes［J］．ACM Transactions on Graphics，2004，23(3):814-824．

［8］ Lou Jianguang，CaiHua，LiJiang．A RealTime Interactive Multi-view Video System［C］//Proceedings of the 13th Annual ACM International Conference on Multimedia．New York，USA:ACM Press，2005:548-557．

［9］ Zuo Li，Lou Jianguang，Cai Hua，et al．Multi-cast of Real-time Multi-view Video［C］//Proceedings of International Conferenceon Multimedia and Expo．Washington D．C．，USA:IEEE Press，2006:326-333．

［10］ Lou Jianguang，Cai Hua，Li Jiang．Interactive Multiview Video Delivery Based on IP Multicast［J］．Advances in Multimedia，2007，25:97535-97542．

［11］Mobile 3DTV Content Delivery Optimization over DVBH System［EB/OL］．(2012-10-21)．http://sp．cs．-tut．fi/mobile3dtv/results/summaries/Mobile3D-TV_FinalPublic Summary．pdf．

［12］ Ke C H，Shieh C K，Hwang W S，et al．An Evaluation Framework for More Realistic Simulations of MPEG Video Transmission［J］．Journal of Information Science and Engineering，2008，24(2):425-440．

［13］ Ke C H． myEvalSVC:An Integrated Simulation Framework forEvaluation ofH．264/SVC Transmission［J］． KSII Transactions on Internet and Information Systems，2012，6(1):378-393．