道路擁堵中……

“緩沖中……”“正在加載……”“正在緩沖，請(qǐng)稍后……”看視頻的我們最鬧心的就是看到如此字樣，莫名卡頓。

看到不停轉(zhuǎn)動(dòng)的“小宇宙”，不知正在讀文章的你們是否已經(jīng)抓狂。

這時(shí)不可避免地就要嘮叨上幾句：“網(wǎng)速太慢了！”“太卡了！”

那么“網(wǎng)速慢”“卡頓”表象之下，有哪些深層次的原因呢？

除了寬帶、手機(jī)質(zhì)量及內(nèi)存之外，追溯到源頭，視頻太大導(dǎo)致傳輸過(guò)程的“堵車”是脫不了干系的。

我們需要知道一個(gè)前提條件，視頻數(shù)據(jù)不能直接傳輸而必須依據(jù)特定的協(xié)議被封裝入數(shù)據(jù)包中。視頻信號(hào)中包含很多的信息量，并且受到網(wǎng)絡(luò)帶寬的限制，在處理和傳輸視頻內(nèi)容的時(shí)候，需要對(duì)視頻進(jìn)行壓縮編碼來(lái)節(jié)省傳輸中所需的帶寬與存儲(chǔ)空間，才可以在網(wǎng)絡(luò)上傳輸或者在磁盤(pán)上存儲(chǔ)。舉個(gè)例子，一個(gè)普通的電影信息量很大，如果不經(jīng)過(guò)壓縮直接使用原始數(shù)據(jù)，就會(huì)占用幾十G甚至幾百G的空間，這些數(shù)據(jù)如果是從互聯(lián)網(wǎng)上下載的話，下載時(shí)間長(zhǎng)得不可接受，經(jīng)過(guò)壓縮編碼之后，可能也就變成了1G～2G大小。

簡(jiǎn)而言之，對(duì)視頻進(jìn)行壓縮編碼就是為了減小視頻占用的容量。數(shù)字視頻實(shí)質(zhì)上就是一幀幀連續(xù)的圖像，雖然一幀圖像的大小并不大，但它們累計(jì)起來(lái)就會(huì)占據(jù)非常大的空間，我們沒(méi)有那么多的地方存儲(chǔ)原始數(shù)據(jù)，那么只有一條路可以走，對(duì)它進(jìn)行壓縮。

視頻的編碼過(guò)程就是這個(gè)壓縮過(guò)程。某種程度上，壓縮編碼技術(shù)就決定著這個(gè)視頻的壓縮情況。形象點(diǎn)說(shuō)，視頻數(shù)據(jù)如同一個(gè)快遞，數(shù)據(jù)壓縮成的“包裹”越小，因?yàn)閿y帶方便輕快，在帶寬一定的條件下，可以隨身攜帶的“小包裹”就越多，傳輸?shù)臄?shù)據(jù)量越大，傳輸速率越快。相反，數(shù)據(jù)未被壓縮或者壓縮率不高，就很容易出現(xiàn)前文中提到的“緩沖”“加載”的情況。

隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，手機(jī)、平板等移動(dòng)終端的使用人數(shù)和頻率越來(lái)越多。各類視頻傳播方式如視頻直播、體育賽事轉(zhuǎn)播、視頻會(huì)議及視頻聊天等讓人眼花繚亂，人們對(duì)視頻質(zhì)量的清晰度、流暢度、實(shí)時(shí)度的要求也越來(lái)越高。

而與此相矛盾的是，數(shù)據(jù)“存不下”、視頻大得“傳不動(dòng)、聲畫(huà)質(zhì)量不佳”等資源道路擁堵成為視頻業(yè)務(wù)發(fā)展的重要瓶頸。據(jù)不完全統(tǒng)計(jì)，移動(dòng)視頻產(chǎn)生的數(shù)據(jù)量極其巨大，每?jī)赡昃蜁?huì)增長(zhǎng)一倍左右。但視頻壓縮率（指壓縮后的數(shù)據(jù)量與壓縮前的數(shù)據(jù)量之比）卻跟不上移動(dòng)視頻數(shù)據(jù)量的增長(zhǎng)速度，十年才增長(zhǎng)一倍。

去冗余是長(zhǎng)期研究熱點(diǎn)

視頻壓縮的實(shí)質(zhì)就是去除冗余信息。

那么何為冗余信息呢？

視頻信號(hào)里面有大量冗余，這些冗余數(shù)據(jù)往往具有高相關(guān)性，占用大量不必要的空間，給視頻網(wǎng)絡(luò)傳輸或者介質(zhì)存儲(chǔ)帶來(lái)巨大浪費(fèi)。例如，視頻描述的是連續(xù)的圖像集合，前后兩幅圖像中有大量的圖像是一樣的，每秒播放的幾十幀視頻圖片變化不大，不變的這些數(shù)據(jù)就是很明顯的冗余。這些冗余完全可以去除。當(dāng)這些冗余被去除，被占用的大量空間或者帶寬就能夠被節(jié)約或釋放。

數(shù)據(jù)信息可以以如下公式表示：

數(shù)據(jù)量=信息量+冗余數(shù)據(jù)量

在保證視覺(jué)效果的前提下，通過(guò)視頻的壓縮算法，對(duì)原始數(shù)據(jù)變換、量化、編碼，保留信息量，把實(shí)際存在的冗余信息去掉，從而減少它的數(shù)據(jù)量，達(dá)到減小占用容量的目的。

視頻壓縮是不是和我們平時(shí)用到的文件壓縮是一個(gè)概念呢？

非也。目的雖然都是為了壓縮所占空間，但是壓縮技術(shù)是完全不同的，難度也無(wú)法相比較。WORDEXCEL照片等文件是單一靜態(tài)的，而視頻是一組有連續(xù)運(yùn)動(dòng)的數(shù)字圖像的集合，有圖像，有聲音、且是動(dòng)態(tài)的，壓縮技術(shù)的難度明顯不在一個(gè)量級(jí)。

目前，業(yè)內(nèi)解決這一問(wèn)題的最好方法就是可伸縮視頻編碼（SVC）。該技術(shù)在不同設(shè)備和網(wǎng)絡(luò)環(huán)境下，用戶可以很方便地只接收解碼需要的那部分，無(wú)須解碼那些不需要的部分，以達(dá)到視頻快速流暢的體驗(yàn)效果。

其實(shí)，可伸縮視頻編碼的概念的提出已有相當(dāng)長(zhǎng)的歷史，而伴隨著視頻編碼技術(shù)的發(fā)展，相關(guān)的傳輸速率控制技術(shù)一直被研究。早期的可伸縮視頻編碼均沒(méi)有獲得成功，一方面是由于當(dāng)時(shí)的可伸縮編碼性能低下，另一方面是當(dāng)時(shí)市場(chǎng)對(duì)可伸縮視頻沒(méi)有較高的需求。然而隨著網(wǎng)絡(luò)技術(shù)的不斷演變以及可視化需求的不斷提升，新的視頻編碼標(biāo)準(zhǔn)和網(wǎng)絡(luò)傳輸技術(shù)一直是長(zhǎng)期的研究熱點(diǎn)，也是直至目前信息領(lǐng)域仍在解決的重要問(wèn)題之一。

特殊“工具包“秒變神器

上海交通大學(xué)熊紅凱教授從2005年起，就帶領(lǐng)團(tuán)隊(duì)長(zhǎng)期圍繞“如何在低碼率、低帶寬下，提供更高清晰度和流暢度的影像“這一問(wèn)題展開(kāi)攻關(guān)，并最終提出了新的“可伸縮視頻傳輸編解碼技術(shù)”——面向移動(dòng)終端的可視媒體通信及處理關(guān)鍵技術(shù)。

如何理解“可伸縮”？這并不是我們?nèi)庋劭梢?jiàn)的視頻畫(huà)面可以變大變小?？缮炜s性是一種對(duì)處理傳輸系統(tǒng)表示能力的度量指標(biāo)，高可伸縮性代表一種彈性，在系統(tǒng)擴(kuò)展成長(zhǎng)過(guò)程中，影像呈現(xiàn)能夠保證旺盛的生命力，通過(guò)很少的改動(dòng)就能實(shí)現(xiàn)整個(gè)多媒體系統(tǒng)處理能力的線性增長(zhǎng)，實(shí)現(xiàn)高吞吐量、低延遲、高性能。

“可伸縮視頻傳輸編解碼技術(shù)”通過(guò)特定的編碼技術(shù)，將視頻在時(shí)間、空間、質(zhì)量的不同維度上，增強(qiáng)傳輸數(shù)據(jù)的彈性，把視頻壓縮得足夠小，以達(dá)到更快的傳輸速率和更高的視頻質(zhì)量。熊紅凱團(tuán)隊(duì)在原有的可伸縮技術(shù)基礎(chǔ)上，制作了一個(gè)“工具包”，嵌入編碼中。這個(gè)“工具包”可不容小覷，功能實(shí)用且創(chuàng)新。

“工具包”可以根據(jù)整體視頻時(shí)間的長(zhǎng)度，優(yōu)先傳輸關(guān)鍵數(shù)據(jù)，不僅大幅提升了視頻壓縮效率，節(jié)省寬帶，有效減少了視頻卡頓和緩沖時(shí)間。在以往，視頻需要下載到本地之后方可播放，如果一幀的數(shù)據(jù)沒(méi)有傳輸完，視頻就卡住了，特別是當(dāng)遇到網(wǎng)絡(luò)不穩(wěn)定的情況時(shí)，視頻下載可能就會(huì)變得極其緩慢。可伸縮技術(shù)采用了比幀更小的單元比特（bit，指信息量），用戶就可以一邊下載一邊收聽(tīng)觀看，而不需要等待整個(gè)文件下載到自己的機(jī)器后才觀看。

同時(shí)，不同的終端用戶對(duì)視頻的尺寸、幀率和質(zhì)量的要求也大相徑庭，有的用戶可以接受用低分辨率換取高傳輸速度，用標(biāo)清替代高清已經(jīng)完全可以滿足他的觀看需求。“工具包“可以適應(yīng)不同的帶寬條件、終端能力和視頻流業(yè)務(wù)中的質(zhì)量要求，根據(jù)需求輸出適合用戶的視頻質(zhì)量。數(shù)字視頻是一組有連續(xù)運(yùn)動(dòng)的數(shù)字圖像的集合。當(dāng)人眼接收到的圖像速率達(dá)到或超過(guò)每秒24幀時(shí)，人眼就會(huì)感覺(jué)接收到的是動(dòng)態(tài)的視頻而不是單一的靜態(tài)圖像。因此，該功能的創(chuàng)新讓用戶有了更多的選擇，是追求畫(huà)質(zhì)，還是追求倍速，隨意切換。這一突破較國(guó)際H.264 標(biāo)準(zhǔn)獲得平均0.8 dB 的PSNR（Peak Signal to Noise Ratio，即峰值信噪比，是一種評(píng)鑒畫(huà)質(zhì)的客觀標(biāo)準(zhǔn)）提升，較最新的視頻壓縮標(biāo)準(zhǔn)HEVC國(guó)際標(biāo)準(zhǔn)平均節(jié)約3.16%比特率。

另一大創(chuàng)新就是，在網(wǎng)絡(luò)動(dòng)態(tài)環(huán)境下，“工具包”可以對(duì)資源再分配，減少數(shù)據(jù) “丟包”。丟包，顧名思義，在通信中是指通信數(shù)據(jù)包丟失。數(shù)據(jù)包丟失會(huì)導(dǎo)致視頻畫(huà)面出現(xiàn)馬賽克現(xiàn)象、圖像模糊、局部變形、圖像靜止等等，也會(huì)導(dǎo)致音頻失真、間斷甚至中斷等。如果發(fā)生在視頻會(huì)議中，可能就會(huì)導(dǎo)致幻燈片變形、翻頁(yè)速度減慢、會(huì)議中斷、增加調(diào)試與等待，嚴(yán)重降低了視頻會(huì)議的質(zhì)量和效益。

在以往的視頻傳輸中，網(wǎng)絡(luò)只會(huì)確定一條路由器上的路線，一旦路由器“開(kāi)小差”丟了數(shù)據(jù)，視頻就會(huì)缺損。而“工具包”增強(qiáng)了“魯棒性”（魯棒性，可以理解為健壯性，在發(fā)生故障時(shí)仍能保持穩(wěn)定），為數(shù)據(jù)傳輸拓展了新的路徑，多了一條備選路徑，重新分配帶寬、緩存、時(shí)延。一旦原規(guī)劃傳輸路徑出現(xiàn)異常，網(wǎng)絡(luò)高速發(fā)生了擁堵，視頻數(shù)據(jù)就可以自動(dòng)選取最優(yōu)路線，以保證傳輸?shù)乃俾蔬_(dá)到最高。相較代表性的分布式優(yōu)化算法能降低50%的收斂時(shí)間。同時(shí)，團(tuán)隊(duì)在國(guó)際互聯(lián)網(wǎng)標(biāo)準(zhǔn)化組織IETF建立P2P流媒體工作組，完成3項(xiàng)國(guó)際標(biāo)準(zhǔn)制定。

除了探索壓縮視頻信息的編解碼技術(shù)，熊紅凱團(tuán)隊(duì)也將信息識(shí)別的編解碼技術(shù)納入項(xiàng)目。一份完整的視頻信息，由視頻、音頻和輔助信息組成。輔助信息是指那些為了幫助人們更好理解視頻信息的字幕、解說(shuō)框、彈幕等信息，并可以實(shí)現(xiàn)與觀影者互動(dòng)。這項(xiàng)技術(shù)可以先從視頻編碼的目標(biāo)位置上識(shí)別出指定的符號(hào)，再將符號(hào)信息進(jìn)行編碼存放進(jìn)視頻的輔助信息。

例如，可以識(shí)別出視頻里某偶像所穿的服裝顏色、品牌，并在播放時(shí)顯示出品牌名稱，甚至購(gòu)買(mǎi)鏈接。同時(shí)，通過(guò)豐富的數(shù)據(jù)庫(kù)，輔助信息中不僅可以編入表演者的服裝顏色、品牌這些簡(jiǎn)單的信息，還可以在沒(méi)有表演者的場(chǎng)景圖像中直接生成帶人物的圖像。與國(guó)際主流方法（如微軟研究院、加州大學(xué)等研發(fā)的技術(shù)）相比，這項(xiàng)技術(shù)的語(yǔ)義提取精度及語(yǔ)義編碼效率分別提升10%以上。這也是在國(guó)際上首次提出的針對(duì)目標(biāo)位置語(yǔ)義信息的編碼技術(shù)，能夠節(jié)約10%以上的編碼率。

在移動(dòng)終端可視媒體通信及處理關(guān)鍵技術(shù)上，熊紅凱團(tuán)隊(duì)解開(kāi)了一個(gè)個(gè)難題，也取得一個(gè)個(gè)突破。經(jīng)中國(guó)移動(dòng)現(xiàn)網(wǎng)測(cè)試，應(yīng)用本項(xiàng)目成果的可視電話體驗(yàn)通話視頻幀率提升到60%，音視頻同步延遲減少30%，視頻掉幀率減少30%，視頻文件緩沖時(shí)間縮短50%，大幅改善了移動(dòng)可視媒體通信與處理的效率和體驗(yàn)。

數(shù)十位國(guó)內(nèi)外院士和國(guó)際權(quán)威學(xué)者引用并肯定上述成果，并評(píng)價(jià)“提出的可伸縮視頻傳輸技術(shù)，突破了現(xiàn)有方法性能局限”。同時(shí)，部分項(xiàng)目成果已進(jìn)入目前最廣泛普及的國(guó)際視頻壓縮標(biāo)準(zhǔn)H.264/MPEG-4 AVC，打破了核心技術(shù)長(zhǎng)期受制于發(fā)達(dá)國(guó)家專利和標(biāo)準(zhǔn)的壟斷格局。

該技術(shù)在智能手機(jī)可視電話、在線視頻直播、智能前端監(jiān)控等領(lǐng)域應(yīng)用推廣，大幅度提高了移動(dòng)視頻的編解碼與傳輸效率。通過(guò)產(chǎn)學(xué)研合作，相關(guān)關(guān)鍵技術(shù)成果還集成、應(yīng)用在上海航天技術(shù)基礎(chǔ)研究所的航天高速攝像視頻分析和處理、上海市公安局的智能前端監(jiān)控系統(tǒng)和大尺度人群目標(biāo)分析檢測(cè)，均得到充分肯定。項(xiàng)目應(yīng)用推廣三年后，就實(shí)現(xiàn)銷售額16.98億元，利潤(rùn) 0.8 億元，利稅 0.63 億元，創(chuàng)收外匯0.35億美元。

深度學(xué)習(xí)，探索人工智能方向

視頻壓縮沒(méi)有最小，只有更小。

在目前普及的國(guó)際視頻壓縮標(biāo)準(zhǔn)H.264和正在推廣的H.265中，視頻壓縮技術(shù)的重點(diǎn)方向是進(jìn)一步去冗余，即利用編程算法將視頻數(shù)據(jù)中的關(guān)鍵信息更加精準(zhǔn)識(shí)別并更快傳輸。

但去冗余的方法本身還是以犧牲圖像質(zhì)量為代價(jià)。如果不問(wèn)質(zhì)量，一味壓縮，雖然壓縮比很高，但壓縮后嚴(yán)重失真，顯然達(dá)不到要求；反之，如只講質(zhì)量，壓縮比太小，也不符合要求。因此，在研究中的國(guó)際視頻壓縮標(biāo)準(zhǔn)H.266走向了人工智能的方向，結(jié)合深度學(xué)習(xí)，探索在去冗余的基礎(chǔ)上還原并提升視頻畫(huà)質(zhì)。

熊紅凱教授帶領(lǐng)的項(xiàng)目團(tuán)隊(duì)未來(lái)也計(jì)劃朝這個(gè)方向前行，目標(biāo)是只需要極低的bit就可以生成視頻影像。

據(jù)透露，新的研究將從源頭理解信號(hào)，根據(jù)學(xué)習(xí)網(wǎng)絡(luò)（數(shù)據(jù)庫(kù)）中的信息，結(jié)合深度學(xué)習(xí)，通過(guò)圖像生成的方式補(bǔ)償圖像畫(huà)質(zhì)。未來(lái)我們看到的大部分影像，也許就不是鏡頭拍攝采集到的，而是來(lái)自系統(tǒng)通過(guò)編碼生成，真實(shí)和虛擬的界限將更加模糊。