鄒 鈞，姜秀華，楊 爽

（中國(guó)傳媒大學(xué) 信息工程學(xué)院，北京 100024）

0 引言

視頻圖像質(zhì)量評(píng)價(jià)方法可以分為主觀(guān)評(píng)價(jià)方法和客觀(guān)評(píng)價(jià)方法。前者憑感知者主觀(guān)感受評(píng)價(jià)圖像的質(zhì)量，后者依據(jù)模型給出的量化指標(biāo)或參數(shù)衡量圖像質(zhì)量[1]。目前，國(guó)際上公認(rèn)一個(gè)評(píng)價(jià)視頻圖像質(zhì)量最可靠的方法是主觀(guān)評(píng)價(jià)方法，因?yàn)樵趹?yīng)用過(guò)程中，人是最終的接受者，但是這種評(píng)價(jià)受觀(guān)察者的知識(shí)背景、觀(guān)測(cè)目的、觀(guān)測(cè)環(huán)境和人的視覺(jué)心理的影響，在工程應(yīng)用中不但成本高、費(fèi)時(shí)費(fèi)力，而且很多情況下無(wú)法采用?？陀^(guān)評(píng)價(jià)方法采用數(shù)學(xué)模型計(jì)算失真圖像和原始圖像的相似度得到評(píng)價(jià)結(jié)果，因而具有簡(jiǎn)單，便于內(nèi)置于圖像處理系統(tǒng)中等優(yōu)點(diǎn)，是目前圖像質(zhì)量評(píng)價(jià)領(lǐng)域的研究重點(diǎn)。

圖像質(zhì)量客觀(guān)評(píng)價(jià)方法研究的目的是使評(píng)價(jià)結(jié)果與人的主觀(guān)感覺(jué)相符。傳統(tǒng)的圖像質(zhì)量客觀(guān)評(píng)價(jià)方法，例如均方誤差（Mean Square Error，MSE）和峰值信噪比（Peak Signal Noise Ratio，PSNR）都是基于對(duì)應(yīng)像素點(diǎn)間的誤差進(jìn)行圖像質(zhì)量評(píng)價(jià)。采用這種方法，當(dāng)參考圖像與受損圖像的像素位置發(fā)生偏移時(shí)，將會(huì)帶來(lái)較大的評(píng)價(jià)誤差，因此無(wú)法對(duì)經(jīng)過(guò)變換后的圖像進(jìn)行質(zhì)量評(píng)價(jià)，并且由于未考慮到人眼的視覺(jué)特性，評(píng)價(jià)結(jié)果與人的主觀(guān)感覺(jué)相關(guān)性也不高。

研究表明，人眼視覺(jué)系統(tǒng)的主要功能是提取圖像和視頻中的結(jié)構(gòu)信息[2]。由于結(jié)構(gòu)相似度（SSIM）模型算法具有對(duì)像素偏移不敏感、計(jì)算簡(jiǎn)單、評(píng)價(jià)性能優(yōu)于PSNR與MSE等特點(diǎn)，應(yīng)用較為廣泛，但是SSIM算法不能較好地評(píng)價(jià)嚴(yán)重模糊圖像的質(zhì)量，因此，本文提出了一種基于邊緣提取的結(jié)構(gòu)相似度（ESSIM）的視頻圖像質(zhì)量評(píng)價(jià)方法。

1 結(jié)構(gòu)相似度方法

方法的基本理論是[3]：人眼的主要功能是從視覺(jué)區(qū)域提取圖像的結(jié)構(gòu)化信息，模型框圖如圖1所示。

在圖1中，設(shè)原始圖像和失真圖像分別為x和y，分成不重疊的子塊。從結(jié)構(gòu)信息出發(fā)計(jì)算塊的結(jié)構(gòu)相似度，其計(jì)算公式為

式中：μx和μy表示原始子塊和受損子塊的均值，C1=(K1L)2，C2=(K2L)2，σx和σy表示原始子塊和受損子塊的標(biāo)準(zhǔn)差，σx=，σxy表示子塊的協(xié)方差，C3=，K1=0.01，K2=0.03，L=255，C1，C2和C3是為了保證分式的分母不為零而添加的常數(shù)。式（1）表示子塊的結(jié)構(gòu)相似度，整幅圖像的結(jié)構(gòu)相似度為

式中：N是整幅圖像的分塊數(shù)。實(shí)驗(yàn)表明，相對(duì)于傳統(tǒng)的PSNR和MSE方法，SSIM算法所得結(jié)果能夠更好地與人的主觀(guān)評(píng)價(jià)相符合，但對(duì)嚴(yán)重模糊圖像的評(píng)價(jià)效果較差。

2 邊緣結(jié)構(gòu)檢測(cè)算法改進(jìn)結(jié)構(gòu)相似度

邊緣就是指圖像局部亮度變化最顯著的部分[4]，如灰度、顏色、紋理結(jié)構(gòu)的突變，是人眼提取視覺(jué)信息的重要依據(jù)。人眼對(duì)邊緣或輪廓信息更加敏感，特別是在觀(guān)看運(yùn)動(dòng)序列時(shí)。邊緣是圖像的重要信息，也是視覺(jué)感知的重要線(xiàn)索，不僅能夠傳遞圖像的大部分信息，而且能夠勾勒出物體的基本輪廓，尤其是當(dāng)圖像的邊緣信息損傷時(shí)人眼特別容易察覺(jué)，因此邊緣信息一直是國(guó)內(nèi)外研究的熱點(diǎn)。

ESSIM算法的核心思想是[5]：首先計(jì)算色調(diào)、飽和度、亮度等三個(gè)分量的邊緣信息，然后對(duì)三個(gè)分量進(jìn)行邊緣提取合成得到總邊緣信息，最后通過(guò)非極大值抑制，得到視頻圖像的邊緣。ESSIM算法模型框圖如圖2所示。

為了保證檢測(cè)到所有的邊緣，采用改進(jìn)的4方向的Sobel邊緣檢測(cè)算子，分別為水平方向、垂直方向、45°方向和135°方向。4個(gè)邊緣檢測(cè)算子為

分別對(duì)色調(diào)、飽和度、亮度按照式（6）的梯度算子進(jìn)行4個(gè)方向的邊緣提取[6]，定義合成的G為4個(gè)方向的邊緣強(qiáng)度值，同時(shí)也作為該圖像的邊緣信息。圖3為原始圖像，圖4～圖8分別是經(jīng)過(guò)4個(gè)方向邊緣提取后所得的圖像。

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)中共用了3個(gè)經(jīng)過(guò)H.264壓縮的高清序列（花、港口、秋葉），其中每個(gè)序列包含了（原始，8 Mbit/s，10 Mbit/s，12 Mbit/s，14 Mbit/s，16 Mbit/s，18 Mbit/s，20 Mbit/s，25 Mbit/s）等8個(gè)碼率；高清序列幀頻均為25 f/s，色度格式為4∶2∶0，GoP長(zhǎng)度為12，GoP結(jié)構(gòu)均采用廣播電視系統(tǒng)常用的IBBPBBPBBPBB結(jié)構(gòu)。

在實(shí)驗(yàn)中，對(duì)未經(jīng)過(guò)邊緣提取的結(jié)構(gòu)相似度客觀(guān)值與經(jīng)過(guò)邊緣提取后得出的結(jié)構(gòu)相似度客觀(guān)值進(jìn)行主客觀(guān)相關(guān)性計(jì)算，其結(jié)果如表1所示。

表1 SSIM，ESSIM與主觀(guān)評(píng)價(jià)的相關(guān)性比較

SSIM與主觀(guān)評(píng)價(jià)值的擬合如圖9所示，ESSIM與主觀(guān)評(píng)價(jià)值的擬合如圖10所示。

從實(shí)驗(yàn)數(shù)據(jù)中可分析出，經(jīng)過(guò)邊緣提取后的ESSIM模型得出的客觀(guān)值與主客觀(guān)評(píng)價(jià)值具有更高的相關(guān)性，能更好地反映視頻圖像的質(zhì)量。

4 小結(jié)

本文從人眼的視覺(jué)模型出發(fā)，深入研究了SSIM模型算法，分析其優(yōu)缺點(diǎn)。并在此基礎(chǔ)上加入了邊緣檢測(cè)算法，綜合利用了梯度的幅度和方向信息，很好地反映了圖像的邊緣紋理結(jié)構(gòu)特征，得到更好的評(píng)價(jià)結(jié)果。在實(shí)驗(yàn)中，ESSIM算法的仿真效果優(yōu)于SSIM算法，能更好地評(píng)價(jià)圖像質(zhì)量，更符合人眼視覺(jué)系統(tǒng)的特性，具有廣泛的應(yīng)用價(jià)值。

[1]袁飛，黃聯(lián)芬，姚彥.視頻質(zhì)量客觀(guān)評(píng)價(jià)技術(shù)研究[J].電視技術(shù)，2007，31（3）：91-94.

[2]張文俊，王興國(guó)，陳國(guó)斌.一種基于視覺(jué)感知的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法[J].電視技術(shù)，2004，28（8）：57-59.

[3]朱里，李喬亮，張婷，等.基于結(jié)構(gòu)相似性的圖像質(zhì)量評(píng)價(jià)方法[J].光電工程，2007，34（11）：108-113.

[4]WANG Zhou，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.

[5]FAN Jianping，AREF W G，HACID M S ，et al.An improved automatic isotropic color edge detection technique[J].Pattern Recognition Letters，2001，22（3）：1419-1429.

[6]WANG Z，BOVIK A C，SHEIKH H R.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.