蘇建軍,慕世友,楊 波,孫曉斌,趙海武,顧 曉

(1.國網(wǎng)山東省電力公司電力科學(xué)研究院,濟南 250000; 2.山東魯能智能技術(shù)有限公司,濟南 250101;3.上海大學(xué) 通信與信息工程學(xué)院,上海 200444) (*通信作者電子郵箱814313949@qq.com)

數(shù)字視頻轉(zhuǎn)碼失真分析

蘇建軍1,慕世友2,楊 波1,孫曉斌1,趙海武3,顧 曉3*

(1.國網(wǎng)山東省電力公司電力科學(xué)研究院,濟南 250000; 2.山東魯能智能技術(shù)有限公司,濟南 250101;3.上海大學(xué) 通信與信息工程學(xué)院,上海 200444) (*通信作者電子郵箱814313949@qq.com)

在互聯(lián)網(wǎng)視頻應(yīng)用領(lǐng)域中,視頻在經(jīng)過多次轉(zhuǎn)碼后相對于原始節(jié)目的失真難以控制,為此，提出一種對視頻多次轉(zhuǎn)碼后的總失真進行估計的方法。首先,研究多次有損轉(zhuǎn)碼失真的疊加過程,找到了多次失真疊加后總體失真的下限；然后，用概率論的方法給出了總體失真的一個估計；最后,根據(jù)估計誤差,采用最小二乘擬合對該估計進行修正。實驗結(jié)果表明,經(jīng)過修正后,Y、U和V三分量最終失真的平均估計誤差僅為0.02 dB, 0.05 dB和0.06 dB,這說明該方法能夠有效且準(zhǔn)確地估計出視頻轉(zhuǎn)碼的總體失真值。

視頻轉(zhuǎn)碼;視頻編碼;失真分析;MPEG2;中國數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)

0 引言

在數(shù)字視頻應(yīng)用中經(jīng)常需要轉(zhuǎn)碼。所謂轉(zhuǎn)碼就是把數(shù)字視頻數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式,例如從碼率50 Mb/s的MPEG-2全I幀轉(zhuǎn)換為碼率6 Mb/s的MPEG-2含I/P/B幀的基本流,或者從MPEG-2格式轉(zhuǎn)換為MPEG-4、H.264以及音視頻編解碼技術(shù)標(biāo)準(zhǔn)(Audio Video coding Standard, AVS)等。尤其是最近新涌現(xiàn)出了多種視頻應(yīng)用,比如網(wǎng)絡(luò)直播、虛擬現(xiàn)實等,這些應(yīng)用的內(nèi)容在到達最終用戶眼前之前,往往要經(jīng)過多次轉(zhuǎn)碼,以適應(yīng)各種不同的、不斷變化的環(huán)境。由于視頻格式都是有損壓縮格式,所以每次轉(zhuǎn)碼都會引起視頻信號質(zhì)量的下降。在設(shè)計應(yīng)用系統(tǒng)時,需要對最終的節(jié)目質(zhì)量有所控制。但是在轉(zhuǎn)碼時往往拿不到原始節(jié)目,也就不能準(zhǔn)確計算出轉(zhuǎn)碼后的節(jié)目相對于原始節(jié)目的失真情況,這個問題會對數(shù)字視頻應(yīng)用的發(fā)展造成制約。為了解決該問題,本文提出了一種估計視頻多次轉(zhuǎn)碼后的總失真的方法。

以前關(guān)于轉(zhuǎn)碼的研究,包括不同標(biāo)準(zhǔn)之間的轉(zhuǎn)碼和同標(biāo)準(zhǔn)之間的轉(zhuǎn)碼。文獻[1-2]對視頻轉(zhuǎn)碼的研究進行了全面的綜述,包括轉(zhuǎn)碼過程中遇到的各種技術(shù)問題。隨著新的視頻編碼標(biāo)準(zhǔn)的出現(xiàn),新老標(biāo)準(zhǔn)之間的轉(zhuǎn)碼成為視頻轉(zhuǎn)碼研究的主要內(nèi)容,文獻[3-8]都是關(guān)于新老標(biāo)準(zhǔn)之間轉(zhuǎn)碼的文獻。但是,在眾多的轉(zhuǎn)碼文獻當(dāng)中,探討多次轉(zhuǎn)碼后失真的疊加情況的文獻非常少,因此目前還沒有可以準(zhǔn)確估計視頻經(jīng)過多次轉(zhuǎn)碼的總失真的方法。

本文將對轉(zhuǎn)碼過程中引起質(zhì)量下降的過程進行分析,給出定量估計多次轉(zhuǎn)碼后峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)的公式,并通過初次的估計誤差得到修正公式對估計結(jié)果進行修正。這種方法能準(zhǔn)確高效地估計視頻經(jīng)過多次轉(zhuǎn)碼的總失真。值得注意的是本文討論的是發(fā)生在數(shù)字壓縮格式之間的轉(zhuǎn)碼,不包括視頻信號的A/D、D/A轉(zhuǎn)換以及模擬格式之間的轉(zhuǎn)換。

目前常用的數(shù)字視頻編碼格式有MPEG-2、H.264和AVS。另外,一些新出現(xiàn)的數(shù)字視頻編碼標(biāo)準(zhǔn)例如H.265和AVS2等,也會逐漸在實際中采用。AVS是我國制定的數(shù)字音視頻編解碼標(biāo)準(zhǔn),本文以MPEG-2和AVS之間的轉(zhuǎn)碼為例,實際上相關(guān)方法對于其他轉(zhuǎn)碼也是適用的。

1 基本概念

(1)

(2)

(3)

(4)

其中:di為第i個采樣點的失真。由于在轉(zhuǎn)碼時得不到原始視頻數(shù)據(jù),因此無法精確計算出壓縮后的視頻序列相對于原始視頻序列的失真。本文的目的就是在假定已知轉(zhuǎn)碼前的視頻序列相對于原始序列的PSNR值的條件下,給出估計轉(zhuǎn)碼后的視頻序列相對于原始序列的PSNR值的公式。

2 理論下限

根據(jù)柯西(Cauchy)不等式,可得

(5)

依據(jù)式(5),則:

(6)

(7)

類似地,得到:

(8)

(9)

其中:R是第二次壓縮后相對于原始序列的PSNR值。將式(7)～(9)代入式(6)并化簡后,得到

再經(jīng)過變形,可得R下限公式:

(10)

式(10)給出了R的下限公式,但是在實際應(yīng)用中是不可能達到這個下限的。因為只有當(dāng)兩次壓縮在每一個采樣點的失真成比例時才能達到這個下限,由于視頻序列采樣點數(shù)很多,在每個采樣點的失真成比例是極小概率事件。本文更關(guān)心的應(yīng)該是R最可能的取值,或者R最可能的取值范圍。

3 對多次轉(zhuǎn)碼后的失真進行估計

設(shè)視頻序列有N個亮度采樣點,亮度的取值范圍是0～255,令Ω={-255,-254,…,254,255},F={A|A是Ω的子集},P(A)=NA/N,其中NA是失真值為A中元素的采樣點總數(shù),則(Ω,F,P)構(gòu)成一個概率空間。每一次有損壓縮,都確定了一個定義在(Ω,F,P)上的隨機變量ξ。若依次進行的兩次有損壓縮確定的隨機變量分別為ξ和η,則兩次壓縮產(chǎn)生的總失真對應(yīng)的隨機變量ζ等于ξ與η的和,即

ζ=ξ+η

(11)

由第2章的符號,可得

(12)

(13)

(14)

由于MPEG-2、H.264和AVS等壓縮算法對直流分量的保真度高,因此直流分量的失真非常小,一般情況下,可以認為直流分量的失真為0,即E(ξ)=E(η)=0。因此可得:

(15)

(16)

D(ξ+η)=E[(ξ+η)2]-[E(ξ+η)]2=

(17)

假設(shè)ξ和η是相互獨立的,則:

D(ξ+η)=D(ξ)+D(η)

(18)

將式(15)～(17)代入式(18)并化簡,得

(19)

將式(7)～(9)代入式(19)并化簡,得

(20)

解得

(21)

式(21)給出了兩次有損壓縮后總的PSNR的估計值。該公式需要知道兩次有損壓縮的分別的PSNR。

表1 MPEG2壓縮至不同碼率后再用AVS壓縮的PSNR值 dB

圖2 估計誤差與兩次壓縮的PSNR之差的絕對值之間的關(guān)系

4 實驗結(jié)果

本章對式(21)進行驗證。采用運動較劇烈的通用影像傳輸格式(Common Intermediate Format, CIF)的Stefan序列作為測試序列。第一次壓縮采用MPEG-2,分別壓縮到2 Mb/s、3 Mb/s和4 Mb/s三種不同碼率;第二次壓縮采用AVS,采用固定QP的方式壓縮編碼,QP取28、32、36三個值。

為描述方便，先定義以下符號：R1是用MPEG2按確定碼率壓縮原始視頻的PSNR；R2是在MPEG2壓縮后的視頻再用AVS按確定QP壓縮的PSNR；R是經(jīng)過MEPG2和AVS兩次壓縮后的視頻相對于原始視頻后的PSNR；R3是根據(jù)理論計算得到的PSNR。

測試流程如圖1所示,測試所得數(shù)據(jù)見表1。

從實驗數(shù)據(jù)可以看出,實際的PSNR比用式(21)估計的PSNR要高,也就是說式(21)比較保守。出現(xiàn)估計誤差的原因是兩次壓縮產(chǎn)生的失真不是完全獨立的。由于MPEG2和AVS都是以宏塊為基本編碼單元,變換和量化的基本塊尺寸都是8×8,因此在失真上具有相關(guān)性。另外,失真的相關(guān)性還來自視頻的內(nèi)容。一般而言,在紋理較為復(fù)雜的區(qū)域,失真較大,在紋理較為平坦的區(qū)域失真較小,無論是MPEG-2還是AVS,失真都具有這個特點。

圖1 測試流程

5 對概率論方法估計結(jié)果的修正

由表1的數(shù)據(jù)可得出：兩次壓縮產(chǎn)生的失真不完全獨立，從而使得概率論方法的估計結(jié)果存在一定誤差;并且由于視頻轉(zhuǎn)碼過程涉及的因素較多，難以對該類誤差進行理論分析。從表1可看出,估計誤差R-R3的值基本在1～2 dB內(nèi)。估計誤差的值與兩次壓縮的PSNR有關(guān),當(dāng)兩次壓縮的PSNR相差比較大時,估計誤差較小,說明失真的相關(guān)性較小;當(dāng)兩次壓縮的PSNR相差比較小時,估計誤差較大,說明失真的相關(guān)性較大。

把估計誤差和兩次壓縮的PSNR之差的絕對值畫出來,得到圖2。

采用最小二乘擬合得到的R～R3和|R1-R2|之間的關(guān)系為:

Y:y=-0.116 62x+1.770 4

(22)

U:y=-0.144 12x+2.031 2

(23)

V:y=-0.149 15x+2.087 4

(24)

使用式(22)～(24)對結(jié)果進行修正,得到表2～4，其中：R4是經(jīng)過修正后的結(jié)果，Δ是R4相對于原計算結(jié)果R3的偏移量，D是R減去R4的差。表中的數(shù)據(jù)按照|R1-R2|從小到大排列。值得注意的是,雖然不同的視頻序列局部紋理不同導(dǎo)致局部的轉(zhuǎn)碼失真也不同,但是整體的轉(zhuǎn)碼失真都是服從正態(tài)分布的,因此式(22)～(24)并非只適用于本實驗中用到的序列,而是適用于所有序列。

從表2～4可以看出,經(jīng)過修正以后,對兩次編碼后總的PSNR的估計已經(jīng)非常準(zhǔn)確了,尤其是Y分量,誤差小于0.1 dB。

表2 Y分量修正后的結(jié)果

表3 U分量修正后的結(jié)果

表4 V分量修正后的結(jié)果

6 結(jié)語

本文研究了在視頻轉(zhuǎn)碼過程中的失真疊加問題,根據(jù)理論推導(dǎo)給出了失真疊加后PSNR的下限值和估計值,而且該方法可以推廣到N次轉(zhuǎn)碼的情形。

本文首先推導(dǎo)出失真值的初始估計,實驗中該值大于實際失真值。這是因為兩次有損壓縮的失真具有相關(guān)性，而且這種相關(guān)性和有損壓縮的算法有關(guān),也和視頻的內(nèi)容有關(guān)。

根據(jù)實驗統(tǒng)計分析,發(fā)現(xiàn)初始估計誤差與先后兩次編碼的PSNR之差的絕對值基本成線性關(guān)系。采用最小二乘擬合算法對初始估計值進行修正以后,獲得了良好的效果,Y、U和V三分量的平均估計誤差僅0.02 dB,0.05 dB, 0.06 dB。

在此估計的基礎(chǔ)上,在進行轉(zhuǎn)碼時,可以根據(jù)第一次編碼的失真(PSNR)和轉(zhuǎn)碼后期望的節(jié)目質(zhì)量(PSNR),倒推得到轉(zhuǎn)碼時失真(PSNR),從而保證最終的節(jié)目質(zhì)量。

References)

[1] VETRO A, CHRISTOPOULOS C, SUN H. Video transcoding architectures and techniques: an overview[J]. IEEE Signal Processing Magazine, 2003, 20(2): 18-29.

[2] AHMAD I, WEI X, SUN Y, et al. Video transcoding: an overview of various techniques and research issues[J]. IEEE Transactions on Multimedia, 2005, 7(5): 793-804.

[3] 王國中, 趙海武, 顧君忠. Mpeg-2 到AVS視頻轉(zhuǎn)碼器的實現(xiàn)[J]. 計算機工程, 2005, 31(19): 189-191. (WANG G Z, ZHAO H W, GU J Z. Implementation of efficient transcoding from MPEG-2 to AVS[J]. Computer Engineering, 2005, 31(19): 189-191.)

[4] WANG G, ZHAO H, TENG G. Usage of MPEG-2 to AVS transcoder in IPTV system[C]// PCM 2007: Proceedings of the 8th Pacific Rim Conference on Multimedia. Berlin: Springer, 2007: 65-70.

[5] WANG B, SHI Y, YIN B. Transcoding of H.264 bitstream to AVS bitstream [C]// WiCom 2009: Proceedings of the 5th International Conference on Wireless Communications, Networking and Mobile Computing. Piscataway, NJ: IEEE, 2009: 1-4.

[6] LU Z, SIU W, JIA K. Fast block size selection for H.264 video-downsizing transcoding[C]// Proceedings of the 2010 10th International Conference on Information Sciences Signal Processing and their Applications. Piscataway, NJ: IEEE, 2010: 101-104.

[7] HUANG S-C, HSU C-T, CHEN M-J. Efficient motion re-estimation for H.264 B- and P-frame transcoding by using maximun likelihood[C]// Proceedings of the 2010 International Conference on Electronics and Information Engineering. Piscataway, NJ: IEEE, 2010, 1: 557-561.

[8] FERNANDEZ-ESCRIBANO G, KALVA H, MARTINEZ J L, et al. An MPEG-2 to H.264 video transcoder in the baseline profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(5): 763-768.

[9] LUO R, XIE R, ZHANG L. Fast AVS to HEVC transcoding based on ROI detection using visual characteristics [C]// Proceedings of the 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting. Piscataway, NJ: IEEE, 2014: 1-6.

[10] DIAZ-HONRUBIA A J, MARTINEZ J L, CUENCA P, et al. Adaptive fast quadtree level decision algorithm for H.264 to HEVC video transcoding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(1): 154-168.

[11] MORA E G, CAGNAZZO M, DUFAUX F. AVC to HEVC transcoder based on quadtree limitation[J]. Multimedia Tools and Applications, 2017, 76(6): 8991-9015.

[12] XIN J, LIN C-W, SUN M-T. Digital video transcoding[J]. Proceedings of the IEEE, 2005, 93(1): 84-97.

Distortionanalysisofdigitalvideotranscoding

SU Jianjun1, MU Shiyou2, YANG bo1,SUN Xiaobin1,ZHAO Haiwu3, GU Xiao3*

(1.StateGridShandongElectricPowerResearchInstitute,JinanShandong250000,China;2.ShandongLunengIntelligenceTechnologyCompanyLimited,JinanShandong250101,China;3.SchoolofCommunicationandInformationEngineering,ShanghaiUniversity,Shanghai200444,China)

Video transcoding is applied in the field of Internet video coding. When the original video is transcoded multiple times, only the distortion between the input video and the output video can be calculated and the distortion between the output video and the original video can not be learned. Here an algorithm for estimating the distortion between the output video and the original video was proposed to control the quality of the output program. Firstly, the superposition of distortion caused by multiple lossy transcoding was analyzed to derive the lower limit of total distortion. Then the probability method was exploited to make an estimation on the distortion between the original video and the final output video. Finally, the least square fitting was used to correct the estimation according to the prediction error. Experimental results demonstrate that the proposed algorithm can accurately estimate the distortion with the prediction error of 0.02 dB, 0.05 dB and 0.06 dB for Y, U and V components on average respectively after correction.

video transcoding; video coding; distortion analysis; MPEG2; Audio Video coding Standard (AVS)

2017- 04- 28;

2017- 06- 27。

國家電網(wǎng)公司總部科技項目(520626140006)。

蘇建軍(1962—),男,山東濟南人,高級工程師,碩士,主要研究方向:電力系統(tǒng)與自動化; 慕世友(1968—),男,山東濟南人,高級工程師,主要研究方向:高電壓及信息處理、目標(biāo)識別; 楊波(1977—),男,山東濟南人,高級工程師,碩士,主要研究方向:電力系統(tǒng)巡檢、機器視覺; 孫曉斌(1979—),男,山東濟南人,高級工程師,碩士,主要研究方向:架空輸電線運行與檢修、缺陷識別與檢測; 趙海武(1973—),男,河北廊坊人,高級工程師,博士,主要研究方向:數(shù)字視音頻編碼與通信、視頻壓縮; 顧曉(1994—),男,上海人,碩士研究生,主要研究方向:視頻壓縮、VR視頻編碼。

1001- 9081(2017)10- 2899- 04

10.11772/j.issn.1001- 9081.2017.10.2899

TN911.73

A

This work is partially supported by the Science and Technology Program of State Grid Corporation (520626140006).

SUJianjun, born in 1962, M. S., senior engineer. His research interests include power system and automation.

MUShiyou, born in 1968, senior engineer. His research interests include high voltage technology and information processing, target recognition.

YANGBo, born in 1977, M. S., senior engineer. His research interests include power system inspection, machine vision.

SUNXiaobin, born in 1979, M. S., senior engineer. His research interests include overhead transmission line operation and maintenance, defect identification and detection.

ZHAOHaiwu, born in 1973, Ph. D., senior engineer. His research interests include digital video and audio coding and communication, video compression.

GUXiao, born in 1994, M. S. candidate. His research interests include video compression technology, VR video coding.