魏樂松，陳俊豪，牛玉貞

（福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福州350100）

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，屏幕內(nèi)容圖像（Screen Content Image，SCI）被廣泛應(yīng)用于現(xiàn)代多媒體應(yīng)用，如無線顯示、遠(yuǎn)程教育、屏幕共享、實(shí)時(shí)通信等。由于技術(shù)和設(shè)備的缺陷，在壓縮、傳輸、獲取等過程中不可避免地會(huì)引入各種失真，影響用戶的體驗(yàn)。例如，當(dāng)利用智能手機(jī)中的相機(jī)創(chuàng)建屏幕內(nèi)容圖像時(shí)，由于相機(jī)運(yùn)動(dòng)和不同的環(huán)境，可能會(huì)產(chǎn)生噪聲和模糊失真。對(duì)于通過因特網(wǎng)傳輸屏幕內(nèi)容圖像，為了進(jìn)行有效傳輸，可能由于圖像編碼而產(chǎn)生壓縮失真。因此，迫切需要屏幕內(nèi)容圖像的視覺質(zhì)量評(píng)估算法，用來優(yōu)化多媒體應(yīng)用系統(tǒng)。

客觀質(zhì)量評(píng)估算法根據(jù)參考原始圖像的程度，評(píng)估算法可以分為3類：全參考（Full Reference，F(xiàn)R）、半?yún)⒖迹≧educe Reference，RR）和無參考（No Reference，NR）。其中，全參考圖像質(zhì)量評(píng)估算法使用了原始圖像作為失真圖像的參照?qǐng)D像；半?yún)⒖紙D像質(zhì)量評(píng)估算法中僅使用了部分參照?qǐng)D像的信息；無參考圖像質(zhì)量評(píng)估算法沒有使用任何的參照?qǐng)D像中的信息作為先驗(yàn)數(shù)據(jù)。然而，在許多實(shí)際應(yīng)用中，特別是在大數(shù)據(jù)應(yīng)用領(lǐng)域，獲取全部或部分的參考圖像信息是非常昂貴的，甚至是不可能的。而無參考圖像質(zhì)量評(píng)估不依靠任何參考圖像的信息，比全參考圖像質(zhì)量評(píng)估和半?yún)⒖紙D像質(zhì)量評(píng)估具有更大的實(shí)際應(yīng)用前景。

在過去的幾十年中，圖像質(zhì)量評(píng)估領(lǐng)域得到很大的發(fā)展，已經(jīng)有針對(duì)視覺內(nèi)容設(shè)計(jì)的各種圖像質(zhì)量評(píng)估算法。大多數(shù)傳統(tǒng)的評(píng)估指標(biāo)都是全參考算法，諸如峰值信噪比算法（Peak Signal-to-Noise Ratio，PSNR）和均方誤差（Mean Square Error，MSE），它們通過簡(jiǎn)單地計(jì)算參考和失真圖像之間的像素差異來預(yù)測(cè)圖像的視覺質(zhì)量。由于其簡(jiǎn)單有效，這些方法在工業(yè)界和學(xué)術(shù)界得到廣泛的應(yīng)用。其沒有考慮人類視覺系統(tǒng)的屬性，因此，無法獲得與人類感知較一致的質(zhì)量預(yù)測(cè)結(jié)果。為了解決這個(gè)問題，許多研究人員根據(jù)人類視覺系統(tǒng)的特點(diǎn)，提出了各種不同的評(píng)估算法，如結(jié)構(gòu)相似性（Structural Similarity，SSIM）算法［1］、梯度幅度相似性偏差（Gradient Magnitude Similarity Deviation，GMSD）算法［2］、自然圖像質(zhì)量評(píng)估（Natural Image Quality Evaluator，NIQE）算法［3］、以及盲/無參考圖像空間質(zhì)量評(píng)估（Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE）算法［4］。

但是，上述的評(píng)估算法是專為自然圖像設(shè)計(jì)的，對(duì)屏幕內(nèi)容圖像效果不好。通常，屏幕內(nèi)容圖像由計(jì)算機(jī)生成，由文本、圖形和圖像組成，具有特殊的布局，導(dǎo)致這2種圖像在統(tǒng)計(jì)特征上存在明顯差異。對(duì)于屏幕內(nèi)容圖像的研究，Yang等［5］進(jìn)行了主觀實(shí)驗(yàn)并構(gòu)建了一個(gè)SIQAD數(shù)據(jù)庫，基于該數(shù)據(jù)庫，提出了各種針對(duì)屏幕內(nèi)容圖像的評(píng)估算法，且提出了SPQA（SCI Perceptual Quality Assessment）算法，該算法通過分析圖像區(qū)域和文本區(qū)域的質(zhì)量感知特征來考慮圖像整體質(zhì)量。Wang等通過考慮視野自適應(yīng)和局部信息內(nèi)容加權(quán)，提出了SQI（SCI Quality Index）算法［6］，且基于主要視覺信息和不可預(yù)測(cè)的不確定性提取圖像的統(tǒng)計(jì)特征，然后提出了半?yún)⒖寄Ｐ停?］。Shao等［8］通過利用稀疏表示框架提出了BLIQUP-SCI（Blind Quality Predictor for SCI）算法。Fang等［9］通過對(duì)圖像亮度和紋理特征的局部和全局表示，提出了 NRLT（No Reference quality assessment method by incorporating statistical Luminance and Texture features）算法。

現(xiàn)有的針對(duì)屏幕內(nèi)容圖像質(zhì)量評(píng)估的無參考算法［8-9］不能與主觀感知產(chǎn)生較高的一致性，因此，針對(duì)屏幕內(nèi)容圖像設(shè)計(jì)有效的無參考質(zhì)量評(píng)估算法仍然存在挑戰(zhàn)。本文結(jié)合文本、圖形、圖像和布局對(duì)屏幕內(nèi)容圖像質(zhì)量的影響，提出了針對(duì)屏幕內(nèi)容圖像的基于邊緣和結(jié)構(gòu)的無參考質(zhì)量評(píng)估（Blind quality assessment for screen content images based on Edge and Structure，BES）算法。

與自然圖像不同，屏幕內(nèi)容圖像由具有大量邊緣的文本、圖形和圖像組成，并且人類視覺系統(tǒng)對(duì)邊緣高度敏感。因此，BES算法首先對(duì)失真圖像的亮度分量進(jìn)行雙三次插值處理，然后使用Gabor濾波器的虛部對(duì)插值后的亮度分量提取邊緣，并計(jì)算每個(gè)失真圖像的邊緣特征。

屏幕內(nèi)容圖像以獨(dú)特的布局顯示文本、圖形和圖像，因此，BES算法提取結(jié)構(gòu)特征來表示屏幕內(nèi)容圖像的布局，首先使用雙三次插值對(duì)失真圖像進(jìn)行插值，然后使用Scharr濾波器在插值后的失真圖上計(jì)算得到局部二值模式（Local Binary Pattern，LBP）圖，接著通過LBP圖計(jì)算得到結(jié)構(gòu)特征。與其他算法中直接使用頻率直方圖描述全局信息不同［9］，BES算法通過累加圖像中具有相同LBP模式的像素的梯度值來表示失真圖像的結(jié)構(gòu)特征。

利用相應(yīng)的方法提取邊緣特征和結(jié)構(gòu)特征，將隨機(jī)森林回歸（Random Forest Regression，RFR）算法作為映射函數(shù)，將邊緣和結(jié)構(gòu)特征映射為主觀質(zhì)量分?jǐn)?shù)。

1 BES算法

Guo等［10］研究表明，通過雙三次插值處理，可以減少屏幕內(nèi)容圖像和自然圖像之間的統(tǒng)計(jì)特征差異，使得輸入的屏幕內(nèi)容圖像在統(tǒng)計(jì)特征上更加類似于自然圖像，以便更好地表示圖像。Ni等［11］通過實(shí)驗(yàn)證明了Gabor濾波器的虛部可以有效地提取邊緣信息。文獻(xiàn)［1］中表明，圖像結(jié)構(gòu)攜帶重要的視覺信息，人類視覺系統(tǒng)可以通過獲取圖像結(jié)構(gòu)信息來感知和理解圖像。因此，通過雙三次插值處理之后，結(jié)合屏幕內(nèi)容圖像的邊緣和結(jié)構(gòu)特征來表示圖像。最后，利用隨機(jī)森林回歸算法將從多尺度中提取的邊緣和結(jié)構(gòu)特征映射為主觀質(zhì)量分?jǐn)?shù)。

1.1 提取邊緣特征

根據(jù)生理學(xué)實(shí)驗(yàn)發(fā)現(xiàn)，二維Gabor濾波器可以有效地模擬哺乳動(dòng)物視覺皮層中的簡(jiǎn)單細(xì)胞感受野剖面［12-13］，說明了Gabor濾波器可以有效地表征人類視覺系統(tǒng)感知。因此，利用Gabor濾波器提取屏幕內(nèi)容圖像的邊緣特征。

BES算法首先將失真的屏幕內(nèi)容圖像從RGB顏色空間轉(zhuǎn)換為LMN顏色空間［14］，以便提取亮度分量。這里選擇LMN顏色空間的原因是顏色空間轉(zhuǎn)換過程中的權(quán)重針對(duì)人類視覺系統(tǒng)進(jìn)行了優(yōu)化［15］。接著使用雙三次插值來對(duì)每個(gè)輸入的失真屏幕內(nèi)容圖像的亮度分量進(jìn)行插值，將其進(jìn)行放大，平滑圖像中的邊緣。雙三次插值的表達(dá)式為

式中：aij為一個(gè)鄰近像素的權(quán)重系數(shù)，這個(gè)權(quán)重系數(shù)是根據(jù)像素分布導(dǎo)數(shù)計(jì)算得來的。

社會(huì)中的個(gè)體想獲得幸福，應(yīng)做到不但愛自己，還應(yīng)該愛他人。自我價(jià)值的實(shí)現(xiàn)是雙向的，一方面自我的社會(huì)價(jià)值實(shí)現(xiàn)在于個(gè)體對(duì)他人的服務(wù)與奉獻(xiàn)；另一方面?zhèn)€人價(jià)值的實(shí)現(xiàn)在于社會(huì)給予個(gè)體的物質(zhì)與精神回報(bào)，正如馬克思所理解的那樣，人類的終極幸福是實(shí)現(xiàn)最大多數(shù)人的最大幸福。每個(gè)人在追求自身幸福的過程中，不僅意識(shí)到自身的需要，還應(yīng)該意識(shí)到他人的利益和需要，意識(shí)到社會(huì)的整體需要和幸福，以此尋找個(gè)體需要同他人需要的交匯點(diǎn)，從而將個(gè)體對(duì)幸福的追求納入社會(huì)整體和諧發(fā)展的軌道。和諧融洽的社會(huì)關(guān)系能夠推動(dòng)個(gè)人、集體和社會(huì)的和諧發(fā)展，從而達(dá)到個(gè)人幸福和社會(huì)幸福的統(tǒng)一。

在空間域中，二維Gabor濾波器可以描述為由正弦平面波調(diào)制的高斯核函數(shù)，其虛部是奇對(duì)稱的并且是用于檢測(cè)邊緣的有效工具。文獻(xiàn)［18-19］表明，水平或垂直方向的視覺靈敏度高于其他方向。因此，選擇水平和垂直方向，即θ=0和θ=π/2（θ為Gabor濾波器中的方向參數(shù)），以獲得水平和垂直方向上的Gabor濾波器，分別表示為gh和gv。將通過雙三次插值處理過的輸入圖像的亮度分量與每個(gè)Gabor濾波器進(jìn)行卷積，以獲得水平和垂直方向的邊緣圖，卷積計(jì)算公式為

式中：“?”表示卷積計(jì)算；l為通過雙三次插值處理過的輸入圖像的亮度分量；eh和ev分別為水平和垂直方向的梯度圖，接著將這2個(gè)結(jié)果相加得到最終的梯度圖，表示為e，即

這里將e的絕對(duì)值直方圖作為輸入圖像的邊緣特征，直方圖分組設(shè)置為10，因此用一個(gè)10維向量｛f1，f2，…，fk｝來表示邊緣特征，向量中第n（1≤n≤k=10）個(gè)元素的計(jì)算式為

式中：Q（n）為第n個(gè)分組的取值范圍；M 為圖像中的像素個(gè)數(shù)；ei為圖像中第i個(gè)像素。

1.2 提取結(jié)構(gòu)特征

文獻(xiàn)［1］中表明，圖像結(jié)構(gòu)信息的有效提取和描述對(duì)圖像感知質(zhì)量評(píng)估有很大幫助。本文提出的算法中，先利用雙三次插值對(duì)失真圖像進(jìn)行插值，接著分別使用水平和垂直方向的Scharr濾波器與插值后的圖像進(jìn)行卷積計(jì)算，得到梯度圖，計(jì)算公式為

式中：p為插值后的失真屏幕內(nèi)容圖像；sh和sv分別為水平和垂直方向的Scharr濾波器；th和tv分別為插值后的圖像和對(duì)應(yīng)方向的Scharr濾波器經(jīng)過卷積計(jì)算后得到的水平和垂直方向的插值后圖像的梯度圖；t為最終的插值后圖像的梯度圖。

接著，基于上述得到的梯度圖利用LBP算子來提取插值后圖像的結(jié)構(gòu)信息。LBP算子是用來描述中心像素和其周圍像素的關(guān)系［16］，常規(guī)的LBP算子表達(dá)式為

式中：I和R分別為周圍像素?cái)?shù)量和鄰域的半徑；tc為局部區(qū)域中心位置像素的梯度值；ti為鄰接位置的梯度值。為了獲得旋轉(zhuǎn)不變性，局部旋轉(zhuǎn)不變均勻LBP算子［16］定義為

式中：N為圖像的像素個(gè)數(shù)；v∈［0，V］為可能的LBP模式；tj為LBP模式的權(quán)重。在本文中，設(shè)置I=8，鄰域半徑設(shè)置為R=1，這樣一張失真圖的結(jié)構(gòu)特征將由一個(gè)10維向量來表示。在圖1中給出了SIQAD數(shù)據(jù)庫中典型的失真圖，及其對(duì)應(yīng)的邊緣圖、LBP圖和表示特征的直方圖。

1.3 回歸模型

給定一張失真屏幕內(nèi)容圖像，根據(jù)上述算法，在每個(gè)尺度上可以獲得20維特征，包括10維邊緣特征和10維結(jié)構(gòu)特征。文獻(xiàn)［18］表明，人類視覺系統(tǒng)可以從粗略到細(xì)致地獲得圖像信息。因此，為了使提取的圖像特征更符合人類視覺系統(tǒng)的特點(diǎn)，本文對(duì)圖像進(jìn)行4次下采樣，并在這4個(gè)尺度上以及原尺度上提取特征。因此，對(duì)于每張失真圖像，總共提取100維特征。在實(shí)驗(yàn)中，將雙三次插值因子設(shè)置為2，并將隨機(jī)森林回歸算法作為映射函數(shù)，把質(zhì)量感知特征映射為主觀質(zhì)量分?jǐn)?shù)。將隨機(jī)從數(shù)據(jù)庫中選擇的80%圖像用來訓(xùn)練模型，然后將剩余圖像作為測(cè)試集并計(jì)算出其視覺質(zhì)量分?jǐn)?shù)。該實(shí)驗(yàn)進(jìn)行1 000次，然后將其中位數(shù)作為最終的結(jié)果。

圖1 失真屏幕內(nèi)容圖像以及對(duì)應(yīng)的特征圖和特征直方圖示例Fig.1 Examples of distorted screen content images，their feature maps，and feature histograms

2 實(shí)驗(yàn)結(jié)果

為了測(cè)試所提算法的性能，本文在2個(gè)數(shù)據(jù)庫SIQAD［5］和SCID［19］上，將所提算法與其他評(píng)估算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1和表2所示。SIQAD數(shù)據(jù)庫包含20張?jiān)紙D像和980張失真圖像，980張失真圖像有7種失真類型，每種失真類型有7種失真等級(jí)。這7種失真類型包括高斯噪聲（GN）、高斯模糊（GB）、運(yùn)動(dòng)模糊（MB）、對(duì)比度變化（CC）、JPEG 壓縮（JPEG）、JPEG2000壓縮（J2K），基于層劃分的壓縮（LSC）。SCID數(shù)據(jù)庫具有40張?jiān)紙D像和1800張失真圖像，失真圖像中有9種失真類型，每種失真類型有5種失真等級(jí)。這9種失真類型包括GN、GB、MB、CC、JPEG、J2K，顏色飽和度變化（CSC）、具有抖動(dòng)的顏色量化（CQD），高效視頻編碼標(biāo)準(zhǔn)（HEVC-SCC）。這2個(gè)數(shù)據(jù)庫都提供了平均主觀得分差（DMOS）作為主觀評(píng)分。

本文使用3個(gè)常用指標(biāo)來評(píng)估主觀和客觀評(píng)分之間的一致性：皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC），斯皮爾曼等級(jí)相關(guān)系數(shù)（Spearman Rank-order Correlation Coefficient，SRCC）和 根 均 方 根 誤 差 （Root Mean Squared Error，RMSE）。PLCC可用于評(píng)估預(yù)測(cè)的準(zhǔn)確性，SRCC可用于評(píng)估預(yù)測(cè)的單調(diào)性，RMSE是評(píng)估預(yù)測(cè)一致性的一種方法。PLCC和SRCC值越高，算法的性能越好。相反，較小的RMSE表示更好的精度。

不同的圖像質(zhì)量評(píng)估算法可能會(huì)產(chǎn)生不同范圍的分?jǐn)?shù)，為了將各種評(píng)估算法進(jìn)行比較，就需要把評(píng)估分?jǐn)?shù)映射到共同的分?jǐn)?shù)空間，這里使用邏輯斯蒂函數(shù)對(duì)評(píng)估分?jǐn)?shù)進(jìn)行映射：

式中：p1、p2、p3、p4和p5是5個(gè)擬合參數(shù)；q為擬合前數(shù)據(jù)集；z（q）為擬合后數(shù)據(jù)集。

為了證明本文提出的算法的優(yōu)越性，本文將其與以下經(jīng)典的質(zhì)量評(píng)估算法進(jìn)行比較：PSNR、

SSIM［1］、GMSD［2］、MAD（Most Apparent Distortion）［20］、SPQA［5］、SQI［6］、ESIM（Edge Similarity）［19］、GFM（Gabor Feature Model）［11］、NIQE［3］、IFC（Information Fidelity Criterion）［21］、BRISQUE［4］、GWH-GLBP（Gradient-Weighted Histogram of Local Binary Pattern calculated on the Gradient map）［17］、GSIM（Gradient Similarity）［22］以及NRLT［11］。在 這 些 評(píng) 估 算 法 中，SPQA、SQI、ESIM、GFM和NRLT是針對(duì)屏幕內(nèi)容圖像設(shè)計(jì)的算法，其余的算法是為自然圖像設(shè)計(jì)的。

表1和表2分別列出了上述圖像質(zhì)量評(píng)估算法在SIQAD數(shù)據(jù)庫和SCID數(shù)據(jù)庫上每種失真類型以及整體性能的測(cè)試結(jié)果。在2個(gè)表列出來的全參考算法中，每個(gè)測(cè)量指標(biāo)（即PLCC、SRCC和RMSE）的最佳值用黑色粗體顯示，而無參考算法中的每個(gè)測(cè)量指標(biāo)的最佳值用黑色粗體加下劃線顯示。這些用來比較的算法的程序源代碼都是從原始地址下載的。在表1中，對(duì)于SQI算法，失真類型上的RMSE值沒有提供。

從表1中可以看出，針對(duì)屏幕內(nèi)容圖像設(shè)計(jì)的全參考算法，即SPQA、SQI、ESIM 和GFM，實(shí)現(xiàn)了比針對(duì)自然圖像設(shè)計(jì)的全參考算法更好的性能，即PSNR、SSIM、MAD 和GMSD。在數(shù)據(jù)庫SIQAD中，本文BES算法在所有無參考算法中取得最佳的性能，其中除了NRLT算法，其余算法都

是針對(duì)自然圖像提出的，只考慮了圖像部分的特征，忽略了文字部分的特點(diǎn)，使得性能不佳；NRLT算法結(jié)合亮度和結(jié)構(gòu)特征來表示圖像，但是圖像中存在大量文字，文字對(duì)亮度的敏感度低于圖像部分，而本文BES算法利用圖像中存在大量邊緣這一特性，結(jié)合圖像的特殊布局來表示圖像，PLCC指標(biāo)相比NRLT算法提高了2.63%。

表1 SIQAD數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果Table 1 Experimental results on SIQAD database

表2 SCID數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果Table 2 Exper imental results on SCID database

本文BES算法的整體性能甚至高于專門為屏幕內(nèi)容圖像設(shè)計(jì)的全參考算法SPQA和SQI。其中，SPQA算法主要是考慮圖像的亮度以及銳度特征，SQI算法結(jié)合圖像局部結(jié)構(gòu)相似性以及局部信息內(nèi)容加權(quán)來計(jì)算圖像分?jǐn)?shù)，但是這2個(gè)算法都沒有考慮圖像中文字存在大量邊緣這一特點(diǎn)，導(dǎo)致性能較低。在單個(gè)失真類型上，BES算法的性能除了在JPEG失真類型上略低于NRLT算法外，在其他失真類型上的性能都是無參考算法中最好的。

從表2中可以看出，在SCID數(shù)據(jù)庫中，BES算法的整體性能在3個(gè)指標(biāo)上不僅高于對(duì)比的無參考算法，而且高于經(jīng)典的全參考算法，即PSNR、SSIM、MAD、IFC和GSIM。其中，NRLT是對(duì)比方法中是先進(jìn)的無參考算法，所提算法PLCC指標(biāo)相比其提高了11.22%。在單個(gè)失真類型上，除了在GN、JPEG、J2K以及HEVC-SCC這4種失真類型上性能比其他無參考算法低以外，對(duì)于其余5種失真類型，BES算法的性能在無參考算法中都是最高的。

3 結(jié) 論

本文根據(jù)人類視覺系統(tǒng)特點(diǎn)提出了一種新的針對(duì)屏幕內(nèi)容圖像的基于邊緣和結(jié)構(gòu)的無參考質(zhì)量評(píng)估（EBS）算法，此算法是基于邊緣信息和結(jié)構(gòu)信息。提出的BES算法經(jīng)實(shí)驗(yàn)驗(yàn)證，得到：

1）本文算法考慮到屏幕內(nèi)容圖像具有特殊布局以及豐富邊緣這2個(gè)特征，利用Gabor濾波器和LBP算子分別提取邊緣和結(jié)構(gòu)特征，并從5個(gè)尺度上提取特征，實(shí)現(xiàn)了與主觀感知較高的一致性。

2）本文算法可以實(shí)現(xiàn)對(duì)多種失真類型的屏幕內(nèi)容圖像較好的質(zhì)量評(píng)估效果，在數(shù)據(jù)庫SIQAD和SCID上的性能都優(yōu)于經(jīng)典的評(píng)估算法，甚至優(yōu)于一些全參考算法。

通過實(shí)驗(yàn)驗(yàn)證，本文算法的屏幕內(nèi)容圖像質(zhì)量評(píng)估效果取得一定的提升，提高了與主觀感知的一致性。在未來，可以分別從圖像區(qū)域和文字區(qū)域考慮，進(jìn)一步提高該圖像的質(zhì)量評(píng)估效果。