郭水平，李慶

（中國電子科技集團(tuán)公司第七研究所，廣東 廣州 510310）

基于云通信的媒體自適應(yīng)技術(shù)

郭水平，李慶

（中國電子科技集團(tuán)公司第七研究所，廣東 廣州 510310）

云通信系統(tǒng)在移動(dòng)互聯(lián)網(wǎng)中應(yīng)用，受到無線網(wǎng)絡(luò)環(huán)境的影響，容易出現(xiàn)網(wǎng)絡(luò)帶寬低、時(shí)延、丟包和網(wǎng)絡(luò)抖動(dòng)等問題，導(dǎo)致音視頻通話經(jīng)常出現(xiàn)卡頓、馬賽克，甚至中斷等情況，使云通信系統(tǒng)可用性下降，因此研究媒體自適應(yīng)性技術(shù)，一方面使音視頻流媒體自適應(yīng)網(wǎng)絡(luò)帶寬，另一方面采用智能抗丟包技術(shù)最大限度恢復(fù)媒體數(shù)據(jù)包。經(jīng)過試驗(yàn)驗(yàn)證，該技術(shù)在不穩(wěn)定傳輸環(huán)境下，音視頻通信的可用性顯著提高，并且在網(wǎng)絡(luò)丟包為20%或網(wǎng)絡(luò)抖動(dòng)為1000 ms時(shí)，音視頻通話也能清晰流暢。

云通信 媒體自適應(yīng) 抗丟包 抗抖動(dòng)

1 引言

近年來，隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的來臨以及云計(jì)算技術(shù)的興起，統(tǒng)一通信開始與云計(jì)算融合，形成了云通信技術(shù)。云通信是一個(gè)PaaS（Platform as a Service，平臺(tái)即服務(wù)）通信平臺(tái)，通過將復(fù)雜的通信功能封裝成SDK和API接口，為企業(yè)及移動(dòng)互聯(lián)網(wǎng)用戶提供即時(shí)通信、音頻、視頻、會(huì)議、呼叫中心、短信、流量等通信能力及服務(wù)。

云通信面向的用戶群體很大一部分是移動(dòng)用戶，通過3G/4G無線網(wǎng)絡(luò)與系統(tǒng)互聯(lián)，無線網(wǎng)絡(luò)傳輸容易受到干擾導(dǎo)致傳輸質(zhì)量下降，使得音視頻通話質(zhì)量下降。因此，為提高音視頻通話在云通信環(huán)境的抗干擾性能，需要研究云通信媒體自適應(yīng)技術(shù)。首先，梳理云通信環(huán)境中存在的主要問題；其次，針對(duì)這些問題，優(yōu)化音視頻媒體編碼、解碼和傳輸策略，重點(diǎn)研究自適應(yīng)網(wǎng)絡(luò)帶寬和智能抗丟包技術(shù)；最后，實(shí)現(xiàn)原型系統(tǒng)，搭建驗(yàn)證環(huán)境，并通過實(shí)驗(yàn)結(jié)果進(jìn)行驗(yàn)證。

2 影響通話質(zhì)量的主要因素

音視頻通信是云通信的基本業(yè)務(wù)，影響音視頻通話質(zhì)量涉及通信網(wǎng)絡(luò)的主要因素包括：

（1）帶寬

相對(duì)于有線傳輸網(wǎng)絡(luò)，3G/4G無線網(wǎng)絡(luò)帶寬有限，而音視頻通話需要傳輸流媒體數(shù)據(jù)，帶寬的大小直接影響流媒體傳輸質(zhì)量，從而影響音視頻通話質(zhì)量。

（2）延時(shí)

數(shù)據(jù)包在網(wǎng)絡(luò)中傳輸需要經(jīng)過眾多的網(wǎng)絡(luò)設(shè)備處理，必然產(chǎn)生延時(shí)。然而，音視頻通話實(shí)時(shí)性要求很高，當(dāng)延時(shí)超過一定程度，用戶會(huì)立即感到有滯后，甚至明顯感覺到停頓，影響主觀體驗(yàn)。

（3）抖動(dòng)

網(wǎng)絡(luò)抖動(dòng)是指網(wǎng)絡(luò)時(shí)延忽大忽小的程度，也就是說流媒體到達(dá)用戶終端時(shí)忽快忽慢。對(duì)于無線網(wǎng)絡(luò)，由于受到基站故障、弱覆蓋、無線干擾、重疊覆蓋等因素影響，抖動(dòng)不可避免。當(dāng)抖動(dòng)較大時(shí)，流媒體無法按時(shí)到達(dá)用戶終端解碼器，解碼器要么進(jìn)行長(zhǎng)時(shí)間緩存，要么丟棄后面的媒體數(shù)據(jù)。緩存引起延時(shí)增大，丟棄則引起主觀丟包，都會(huì)影響影視頻通話質(zhì)量。

（4）丟包

網(wǎng)絡(luò)丟包在IP網(wǎng)絡(luò)中很常見，丟包率是丟失報(bào)文和實(shí)際發(fā)送報(bào)文的百分比。網(wǎng)絡(luò)丟包直接導(dǎo)致音視頻流媒體數(shù)據(jù)丟失，使視頻圖像卡頓、馬賽克，音頻斷續(xù)、失真等，嚴(yán)重時(shí)導(dǎo)致音視頻通話中斷。

以上是影響音視頻通話質(zhì)量的主要網(wǎng)絡(luò)因素，尤其是在無線網(wǎng)絡(luò)環(huán)境更為明顯。

3 媒體自適應(yīng)技術(shù)

云通信本質(zhì)是VoIP通信，IP網(wǎng)絡(luò)采用盡力而為的方式，是為傳輸數(shù)據(jù)業(yè)務(wù)而設(shè)計(jì)的，并沒有為傳輸高實(shí)時(shí)性的音視頻流媒體提供更多的服務(wù)質(zhì)量保障策略。因此，必須要解決視音頻數(shù)據(jù)實(shí)時(shí)傳輸過程中的延時(shí)、抖動(dòng)和丟包等問題。VoIP音視頻通話是采用RTP（A Transport Protocol for Real-Time Application，實(shí)時(shí)傳輸協(xié)議）來傳輸流媒體數(shù)據(jù)的，流媒體數(shù)據(jù)包括音頻數(shù)據(jù)流和視頻數(shù)據(jù)流，音視頻數(shù)據(jù)流采用標(biāo)準(zhǔn)的媒體編解碼算法獲得。因此，媒體自適應(yīng)性技術(shù)針對(duì)云通信網(wǎng)絡(luò)的主要問題，從流媒體數(shù)據(jù)大小控制和編解碼自恢復(fù)等方面入手，包括自適應(yīng)網(wǎng)絡(luò)帶寬技術(shù)和智能抗丟包技術(shù)。

3.1 自適應(yīng)網(wǎng)絡(luò)帶寬技術(shù)

自適應(yīng)網(wǎng)絡(luò)帶寬技術(shù)是指視頻分辨率、幀率和編碼速率（簡(jiǎn)稱“碼率”，即視頻編碼采樣速率）自適應(yīng)當(dāng)前網(wǎng)絡(luò)帶寬。當(dāng)視頻通話占用帶寬高于當(dāng)前網(wǎng)絡(luò)帶寬時(shí)，會(huì)引起數(shù)據(jù)堆積，使得網(wǎng)絡(luò)擁塞，加劇網(wǎng)絡(luò)丟包和網(wǎng)絡(luò)抖動(dòng)，導(dǎo)致視頻通話卡頓或馬賽克越來越嚴(yán)重。自適應(yīng)網(wǎng)絡(luò)帶寬技術(shù)通過動(dòng)態(tài)控制視頻通話的流媒體數(shù)據(jù)量大小來避免網(wǎng)絡(luò)擁塞，減緩丟包等情況，使得視頻通話保持流暢。當(dāng)通話帶寬高于網(wǎng)絡(luò)帶寬一定的閥值時(shí)，適當(dāng)降低碼率、幀率和分辨率，使得通話帶寬降低到網(wǎng)絡(luò)帶寬之下；當(dāng)通話帶寬低于網(wǎng)絡(luò)帶寬一定的閥值時(shí)，提高分辨率、幀率和碼率，使得通話帶寬接近網(wǎng)絡(luò)帶寬，直到視頻通話回到初始的分辨率、幀率和碼率。自適應(yīng)帶寬原理如圖1所示：

圖 1 自適應(yīng)帶寬原理

自適應(yīng)網(wǎng)絡(luò)帶寬技術(shù)主要包括兩個(gè)方面，一是網(wǎng)絡(luò)狀態(tài)信息獲取，二是根據(jù)網(wǎng)絡(luò)狀態(tài)信息調(diào)整發(fā)送端的視頻編碼參數(shù)，包括碼率、幀率和分辨率。網(wǎng)絡(luò)狀態(tài)信息獲取主要是丟包率和網(wǎng)絡(luò)抖動(dòng)信息獲取，丟包率可以從接收到的流媒體數(shù)據(jù)包中的RTCP（Real-time Control Protocol，實(shí)時(shí)傳輸控制協(xié)議）數(shù)據(jù)報(bào)文，根據(jù)預(yù)期間隔收包數(shù)和實(shí)際間隔收包數(shù)計(jì)算獲得。網(wǎng)絡(luò)抖動(dòng)也可以從RTCP報(bào)文中計(jì)算獲得。視頻編碼參數(shù)調(diào)整是根據(jù)獲取的網(wǎng)絡(luò)狀態(tài)信息調(diào)整發(fā)送端的視頻編碼參數(shù)，包括碼率、幀率和分辨率，緩解網(wǎng)絡(luò)擁塞或盡可能大地利用網(wǎng)絡(luò)資源以適應(yīng)當(dāng)前網(wǎng)絡(luò)的傳輸帶寬。在實(shí)現(xiàn)上，根據(jù)網(wǎng)絡(luò)丟包率和抖動(dòng)設(shè)置一定的閥值，當(dāng)閥值在某個(gè)區(qū)間變化時(shí)動(dòng)態(tài)地依次調(diào)整幀率、碼率和分辨率，直到丟包和抖動(dòng)緩解。實(shí)現(xiàn)原理的結(jié)構(gòu)框圖如圖2所示：

圖2 自適應(yīng)碼率控制原理圖

視頻編碼參數(shù)的頻繁動(dòng)態(tài)調(diào)整會(huì)導(dǎo)致視頻圖像質(zhì)量時(shí)高時(shí)低，帶來不好的用戶體驗(yàn)。在實(shí)際應(yīng)用中，丟包率和抖動(dòng)越界閥值和視頻編碼參數(shù)調(diào)整的幅度需要根據(jù)大量的實(shí)驗(yàn)結(jié)果進(jìn)行設(shè)置。

3.2 智能抗丟包技術(shù)

業(yè)績(jī)通常采用ARQ（Automatic Repeat Request，丟包重傳）、FEC（Forward Error Correction，前向糾錯(cuò)）、PLC（Packet Loss Concealment，丟包隱藏算法）技術(shù)來提高音視頻網(wǎng)絡(luò)傳輸抗丟包性能。這種抗丟包技術(shù)存在以下缺點(diǎn)：

（1）抗丟包性能有限

一般丟包率小于5%時(shí)，視頻通話效果可以得到很好的恢復(fù)；超過5%，效果不理想。

（2）增加冗余數(shù)據(jù)

前向糾錯(cuò)FEC技術(shù)要求在編碼時(shí)增加冗余編碼數(shù)據(jù)，解碼時(shí)根據(jù)冗余數(shù)據(jù)恢復(fù)丟失的碼流，這樣必然會(huì)增大視頻通話帶寬，視頻通話質(zhì)量也會(huì)在一定程度上下降。

（3）增加額外時(shí)延

丟包重傳ARQ技術(shù)雖然提高了視頻碼流的發(fā)送成功率，但同時(shí)也降低了視頻碼流發(fā)送的實(shí)時(shí)性，增加了時(shí)延，加劇時(shí)延抖動(dòng)。而且，當(dāng)大范圍丟包時(shí)，丟包重傳技術(shù)對(duì)視頻通話效果沒有幫助。

基于以上缺點(diǎn)，本文提出智能抗丟包技術(shù)，對(duì)傳統(tǒng)抗丟包技術(shù)進(jìn)行改進(jìn)，主要包括智能傳輸校驗(yàn)糾錯(cuò)和智能跨段校驗(yàn)糾錯(cuò)：

（1）智能傳輸校驗(yàn)糾錯(cuò)

智能傳輸校驗(yàn)糾錯(cuò)技術(shù)是在音視頻數(shù)據(jù)包網(wǎng)絡(luò)傳輸時(shí)，針對(duì)某一時(shí)間片段的數(shù)據(jù)包，通過校驗(yàn)算法生成傳輸校驗(yàn)數(shù)據(jù)包，與校驗(yàn)包一并傳輸?shù)浇邮斩?，網(wǎng)絡(luò)丟包時(shí)，根據(jù)校驗(yàn)包和校驗(yàn)算法恢復(fù)丟失的數(shù)據(jù)包。這種糾錯(cuò)技術(shù)，在時(shí)間片段內(nèi)丟失一兩個(gè)包時(shí)能全部恢復(fù)，大于兩個(gè)丟包時(shí)也能恢復(fù)到90%左右。而且，根據(jù)不同的丟包率可以智能適配不同的校驗(yàn)算法，最大限度地恢復(fù)丟包數(shù)據(jù)。

與前向糾錯(cuò)FEC技術(shù)相比，該技術(shù)不需要額外生產(chǎn)冗余編碼幀，數(shù)據(jù)量大大減小，不會(huì)占用過多的網(wǎng)絡(luò)帶寬。

（2）智能跨段校驗(yàn)糾錯(cuò)

智能跨段校驗(yàn)糾錯(cuò)技術(shù)主要是在智能傳輸校驗(yàn)糾錯(cuò)技術(shù)的基礎(chǔ)上，實(shí)現(xiàn)恢復(fù)跨時(shí)間片段丟失的多個(gè)數(shù)據(jù)包。以單位時(shí)間片段的數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)，對(duì)連續(xù)多個(gè)時(shí)間片段基礎(chǔ)數(shù)據(jù)生成跨段校驗(yàn)數(shù)據(jù)包。當(dāng)某一時(shí)間片段數(shù)據(jù)完全丟失時(shí)，可以利用前后片段數(shù)據(jù)和校驗(yàn)包及相應(yīng)算法進(jìn)行部分恢復(fù)。

綜上所述，智能抗丟包技術(shù)利用傳輸校驗(yàn)來最大限度地恢復(fù)丟失的數(shù)據(jù)，帶寬額外開銷小，抗丟包范圍更大。音視頻通話的抗丟包性一般可以從傳統(tǒng)的5%提高到20%。

4 試驗(yàn)驗(yàn)證

試驗(yàn)驗(yàn)證的重點(diǎn)是驗(yàn)證視頻通話采用媒體自適應(yīng)技術(shù)前后對(duì)比情況。搭建試驗(yàn)驗(yàn)證環(huán)境時(shí)，需要模擬云通信系統(tǒng)的軟交換設(shè)備1臺(tái)、手持終端2臺(tái)、無線網(wǎng)絡(luò)模擬器1臺(tái)、Wi-Fi路由器1臺(tái)，如圖3所示。通過無線網(wǎng)絡(luò)模擬器模擬不同帶寬、丟包和抖動(dòng)情況。

圖3 驗(yàn)證環(huán)境示意圖

首先，驗(yàn)證不同網(wǎng)絡(luò)帶寬情況，設(shè)置視頻編解碼H.264，初始視頻分辨率為720P，初始幀率為30幀，初始帶寬限制為2 Mbit/s。測(cè)試結(jié)果如表1所示。

經(jīng)過驗(yàn)證，在一定的網(wǎng)絡(luò)惡化條件下，自適應(yīng)網(wǎng)絡(luò)帶寬可以解決視頻卡頓和馬賽克的情況，網(wǎng)絡(luò)惡劣時(shí)，視頻的清晰度會(huì)有一定的下降，但依然流暢。

其次，驗(yàn)證抗網(wǎng)絡(luò)丟包視頻通話情況，設(shè)置視頻編解碼H.264，初始視頻分辨率為720P，初始幀率為20幀，帶寬限制為2 Mbit/s，在不同丟包率條件下的測(cè)試結(jié)果如表2所示。

經(jīng)過驗(yàn)證，采用抗丟包技術(shù)，丟包20%時(shí)，視頻通話依然流暢。

最后，驗(yàn)證抗網(wǎng)絡(luò)抖動(dòng)視頻通話情況，設(shè)置視頻編解碼H.264，初始視頻分辨率為720P，初始幀率為20幀，帶寬限制為2 Mbit/s，在不同網(wǎng)絡(luò)抖動(dòng)條件下的測(cè)試結(jié)果如表3所示。

表1 自適應(yīng)網(wǎng)絡(luò)帶寬測(cè)試結(jié)果

表2 抗網(wǎng)絡(luò)丟包測(cè)試結(jié)果

表3 抗網(wǎng)絡(luò)抖動(dòng)測(cè)試結(jié)果

經(jīng)過驗(yàn)證，采用抗丟包技術(shù)，網(wǎng)絡(luò)抖動(dòng)1 000 ms時(shí)，視頻通話依然流暢。

5 結(jié)束語

本文分析了云通信系統(tǒng)網(wǎng)絡(luò)環(huán)境特點(diǎn)及影響音視頻通信可用性的主要問題，針對(duì)這些問題，提出了媒體自適應(yīng)性解決方案，包括自適應(yīng)網(wǎng)絡(luò)帶寬技術(shù)和智能抗丟包技術(shù)，并進(jìn)行了試驗(yàn)驗(yàn)證，驗(yàn)證結(jié)果顯示，采用媒體自適應(yīng)性技術(shù)極大地提高了云通信音視頻通話可用性。

隨著移動(dòng)互聯(lián)網(wǎng)和云通信技術(shù)的發(fā)展，VoIP音視頻通信技術(shù)的高可用性問題越來越受到重視，是現(xiàn)階段及未來云通信技術(shù)研究的主要課題。毫無疑問，媒體自適應(yīng)技術(shù)是提高云通信主要途徑之一。

[1] Kazuhiro Morita. A Cloud Based Communication System for Elders Using Dialogue Control[J]. Jun-ichi Aoe Journal of Software, 2014,9(8).

[2] 3GPP TS 24.229. IP Multimedia Call Control based on SIP and SDP[S]. 2013.

[3] RFC 3605. Real Time Control Protocol(RTCP)[R]. 2003.

[4] 王晶晶,杜曉娟. 淺析云通信系統(tǒng)現(xiàn)狀與發(fā)展[J]. 中國新通信, 2014(3): 1.

[5] 冷波. 流媒體自適應(yīng)傳輸?shù)难芯颗c實(shí)現(xiàn)[D]. 武漢: 武漢理工大學(xué), 2007.

[6] 毛志俠. 一種自適應(yīng)流媒體數(shù)據(jù)傳輸包的設(shè)計(jì)與實(shí)現(xiàn)[D]. 湘潭: 湘潭大學(xué), 2005.

[7] 張淼. 基于RTP的流媒體自適應(yīng)QoS傳輸技術(shù)的研究與實(shí)現(xiàn)[D]. 沈陽: 東北大學(xué), 2008.

[8] 韓禮國,才書訓(xùn). 流媒體QoS端到端自適應(yīng)控制策略綜述[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2006,16(11): 246-249.

[9] 周訓(xùn)宙. 自適應(yīng)流媒體傳輸技術(shù)分析與研究[J]. 互聯(lián)網(wǎng)天地, 2013(7): 16-20.

[10] 李爭(zhēng)明,張佐,葉德建. 自適應(yīng)流媒體傳輸方案研究及其應(yīng)用[J]. 計(jì)算機(jī)工程, 2006,32(12): 226-228.

[11] 李如瑋,鮑長(zhǎng)春. VoIP丟包處理技術(shù)的研究進(jìn)展[J]. 通信學(xué)報(bào), 2007,28(6): 103-110.

[12] 蘇春梅. 中興通訊視頻會(huì)議系統(tǒng)QoS解決方案[J]. 中興通訊技術(shù), 2015(11).

[13] 滕江. 移動(dòng)流媒體QoS指標(biāo)測(cè)量與分析[D]. 北京: 北京郵電大學(xué), 2007.

[14] 李平. 自適應(yīng)傳輸?shù)臒o線視頻監(jiān)控系統(tǒng)的研究與設(shè)計(jì)[D]. 武漢: 武漢理工大學(xué), 2014.

[15] Evsqiezi. 常用的音視頻QoS保障技術(shù)[EB/OL]. (2016-08-19)[2017-05-11]. http://www.cnblogs.com/5iTech/articles/5788497.html. ★

Media Adaptation Technology Based on Cloud Communications

GUO Shuiping, LI Qing
(China Electronics Technology Group Corporation NO.7 Research Institute, Guangzhou 510310, China)

Affected by the wireless network environment, the applications of cloud communication systems in the mobile Internet are prone to the low network bandwidth, delay, packet loss and jitter. The resulting slowness, mosaic and interruption of voice and video calls lead to the degradation of cloud communication systems. Therefore, the media adaptation technology was investigated to make voice and video fl ow media adapt to the network bandwidth and recover media packets using the smart anti packet loss technique to the maximum extent. Experiments veri fi ed that the technique guarantees the high availability of voice and video communications in the environment of the unstable transmission, and the voice and video calls are clear and fl uent in the case of 20% of packet loss ratio or 1000 ms of jitter.

cloud communications media adaptation anti packet loss anti-jitter

10.3969/j.issn.1006-1010.2017.21.008

TP915.6

A

1006-1010(2017)21-0037-05

郭水平,李慶. 基于云通信的媒體自適應(yīng)技術(shù)[J]. 移動(dòng)通信, 2017,41(21): 37-41.

2017-05-11

黃耿東 huanggengdong@mbcom.cn

郭水平：碩士畢業(yè)于華南理工大學(xué)，現(xiàn)任職于中國電子科技集團(tuán)公司第七研究所，主要研究方向?yàn)槿诤贤ㄐ畔到y(tǒng)、云通信系統(tǒng)。

李慶：碩士畢業(yè)于中山大學(xué)，現(xiàn)任職于中國電子科技集團(tuán)公司第七研究所，主要研究方向?yàn)榫W(wǎng)絡(luò)通信系統(tǒng)。