曹玉東，蔡希彪

（遼寧工業(yè)大學(xué)電子與信息工程學(xué)院，遼寧錦州 121001）

（?通信作者電子郵箱lgcaixb@163.com）

0 引言

圖像質(zhì)量評價（Image Quality Assessment，IQA）是圖像處理與圖像理解中的一個熱點問題，在圖像編碼以及視頻監(jiān)控中都有重要的應(yīng)用，因此，建立一個有效的圖像質(zhì)量評價模型至關(guān)重要。依據(jù)利用參考圖信息的情況，圖像評價模型通常分為全參考（Full-reference）、半?yún)⒖迹⊿emi-reference）和無參考（No-reference）三種類型［1］。全參考圖像質(zhì)量評價（Full-Reference Image Quality Assessment，F(xiàn)R-IQA）方法需要參考未失真原圖像的信息來評估圖像的質(zhì)量分?jǐn)?shù)；無參考圖像質(zhì)量評價（No-Reference Image Quality Assessment，NR-IQA）方法不利用任何參考信息，又稱為盲圖像質(zhì)量評價（Blind Image Quality Assessment，B-IQA）方法；半?yún)⒖紙D像質(zhì)量評價是部分利用參考圖的信息。綜上，F(xiàn)R-IQA 方法最大的優(yōu)勢在于可以基于失真圖像和參考圖像之間的不同來量化視覺敏感性，這能有效模擬人類視覺系統(tǒng)（Human Visual System，HVS）。由于NR-IQA 方法缺乏參考信息，只能從圖像的統(tǒng)計特性和特征學(xué)習(xí)出發(fā)，盡力提取符合HVS 系統(tǒng)特性的特征，而HVS 的特性又很復(fù)雜，使得NR-IQA 的性能很難與FR-IQA相媲美。

NR-IQA方法直接評價待測圖像的質(zhì)量，是符合實際需求的［1］，但是效果不如FR-IQA 方法好。文獻(xiàn)［2］分別提取參考圖像和失真圖像的相位一致性、梯度、視覺顯著性和對比度特征，采用機(jī)器學(xué)習(xí)的方法自動預(yù)測圖像質(zhì)量分?jǐn)?shù)。文獻(xiàn)［3］提出一種專屬任務(wù)類型的人臉圖像質(zhì)量評價模型，最終目的是想解決由于人臉圖像質(zhì)量差帶來的低識別率問題。文獻(xiàn)［4］提出了一種針對非對稱失真的立體圖像質(zhì)量評價算法，利用自適應(yīng)的支持向量回歸模型將感知特征向量映射成質(zhì)量評價分?jǐn)?shù)。2014 年Goodfellow 等［5］提出生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），采用對抗思想和深度學(xué)習(xí)技術(shù)生成樣本數(shù)據(jù)，此后GAN 模型在學(xué)術(shù)界和工業(yè)界得到高度重視并不斷演進(jìn)，在遷移學(xué)習(xí)、對抗樣本、表示學(xué)習(xí)、超分辨率和數(shù)據(jù)增強(qiáng)等方面表現(xiàn)出色，被廣泛應(yīng)用于計算機(jī)視覺、人機(jī)交互、自然語言處理等領(lǐng)域。但是現(xiàn)有的GAN模型［6-8］不能完全獲取到模糊圖像丟失的細(xì)節(jié)和紋理信息，所以生成高質(zhì)量的新樣本圖像仍舊是一件比較困難的事情［9］。文獻(xiàn)［10］做了比較成功的嘗試。

由于FR-IQA方法能利用未失真的參考圖，大多數(shù)的研究工作圍繞失真圖像和未失真圖像的差異展開。例如，經(jīng)典的結(jié)構(gòu)相似索引測度算法（Structural SIMilarity index，SSIM）［11］把HVS 敏感性融入結(jié)構(gòu)信息中，從亮度、對比度和結(jié)構(gòu)三方面計算2 張圖片的結(jié)構(gòu)相似性，模擬人類視覺過程，判斷圖像的失真程度。此后，很多學(xué)者又在此基礎(chǔ)上進(jìn)行改進(jìn)［12-14］。

NR-IQA由于缺乏可參考的圖像，只能從失真圖像本身出發(fā)，提取圖像的統(tǒng)計特征。文獻(xiàn)［15］根據(jù)失真圖像丟失的信息，在空間域中不同的子集上計算區(qū)域互信息，進(jìn)而來預(yù)測質(zhì)量分?jǐn)?shù)；文獻(xiàn)［16］將RGB 圖像轉(zhuǎn)換到Y(jié)CbCr 顏色空間，提取關(guān)鍵點特征，用于圖像質(zhì)量評價；文獻(xiàn)［17］基于結(jié)構(gòu)、自然屬性和感知特性提取具有統(tǒng)計性的度量值，結(jié)合無監(jiān)督學(xué)習(xí)方法實現(xiàn)圖像質(zhì)量評價；文獻(xiàn)［18］用局部質(zhì)量圖的梯度方差來預(yù)測整體圖像的質(zhì)量；文獻(xiàn)［19］在4 個不同的尺度上計算DLM 特征，然后通過SVR 預(yù)測質(zhì)量分?jǐn)?shù)；文獻(xiàn)［20］認(rèn)為在小波域上圖像的失真會影響小波變換的子帶系數(shù)，因此用廣義高斯分布和daubechies 小波基變換的系數(shù)來描述失真特性；Kim 等［21］使用4 種傳統(tǒng)的FR-IQA 算法得到圖像塊的質(zhì)量分?jǐn)?shù)，以此作為基準(zhǔn)進(jìn)行有監(jiān)督學(xué)習(xí)。

NR-IQA 方法通常都假設(shè)失真會改變自然圖像的某種特性，但僅依靠手工特征很難提取到完整準(zhǔn)確的特征，不便于模擬HVS 系統(tǒng)。近幾年，隨著以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)的進(jìn)步，自動特征學(xué)習(xí)逐漸代替了手工特征提取，出現(xiàn)了一些基于深度學(xué)習(xí)IQA 的算法。例如，文獻(xiàn)［22］將圖像分割為圖像塊，結(jié)合不同塊的權(quán)重，通過卷積層提取失真圖像和未失真原圖像的特征以及它們特征的差異，基于深度學(xué)習(xí)模型預(yù)測質(zhì)量分?jǐn)?shù)；Hou 等［23］提出了一個基于深度學(xué)習(xí)的B-IQA 評價模型，通過回歸網(wǎng)絡(luò)將失真的程度分為5 個等級，預(yù)測圖像的質(zhì)量分?jǐn)?shù)。

由于缺乏參考圖像，NR-IQA很難將失真的程度量化為一個具體的分?jǐn)?shù)，導(dǎo)致最終的評判不夠準(zhǔn)確。本文提出一種基于增強(qiáng)型學(xué)習(xí)的無參考圖像質(zhì)量評價方法（Enhanced Adversarial Learning based Image Quality Assessment，EALIQA），通過改進(jìn)GAN 模型，加強(qiáng)對抗學(xué)習(xí)，生成更可靠的模擬仿真圖充當(dāng)“參考圖”。

1 基于增強(qiáng)對抗學(xué)習(xí)的無參考圖像評價

IQA 算法就是用一種客觀的和計算機(jī)可執(zhí)行的方法預(yù)測圖像質(zhì)量的分?jǐn)?shù)。由于現(xiàn)實應(yīng)用中很難獲得對應(yīng)的原始圖像，因此無參考圖像評價算法最具應(yīng)用價值。GAN 是一種新興的深度生成模型（deep generative model），需要同時訓(xùn)練兩種模型：生成模型G 和判別模型D，由生成模型和判別模型的相互博弈產(chǎn)生輸出。在訓(xùn)練G 的過程中，以隨機(jī)噪聲作為輸入生成難以區(qū)分的樣本試圖欺騙判別模型D，最大限度地提高D 犯錯的可能性［5］。也就是在定義了生成模型G 和判別模型D 的情況下，通過對抗學(xué)習(xí)完成訓(xùn)練。訓(xùn)練GAN 模型是比較困難的，除了對算力要求較高外，經(jīng)常面臨梯度消失的困擾，采用ReLU（Rectified Linear Unit）激活函數(shù)可以緩解這一問題。

提出的EAL-IQA 主要包括3 個步驟：1）首先利用失真的圖像和未失真的原圖像作為輸入，通過增強(qiáng)對抗學(xué)習(xí)訓(xùn)練GAN 模型；2）利用失真圖及其標(biāo)簽和已經(jīng)訓(xùn)練好的GAN（輸出模擬仿真圖像），訓(xùn)練圖像評價系統(tǒng)中的圖像特征提取模型和回歸網(wǎng)絡(luò)模型；3）在測試階段，將待測圖像輸入NR-IQA 網(wǎng)絡(luò)系統(tǒng)，輸出質(zhì)量評價分?jǐn)?shù)。步驟1）和步驟2）為訓(xùn)練過程，步驟3 為測試過程。綜上，改進(jìn)的GAN 結(jié)構(gòu)通過增強(qiáng)型對抗學(xué)習(xí)，能獲取更可靠的仿真圖。

無參考圖像質(zhì)量評價可以被看作回歸問題，提取圖像特征，輸入回歸模型，然后輸出圖像質(zhì)量評價分?jǐn)?shù)。如果無參考圖像質(zhì)量評價算法沒有參考圖，則無法模擬人的視覺比較過程。提出的無參考EAL-IQA 算法利用由深度卷積神經(jīng)網(wǎng)構(gòu)建的GAN 模擬生成了仿真“參考圖”，使得評價過程類似FRIQA，能模擬人的視覺比較過程。HVS 是復(fù)雜的非線性系統(tǒng)，深度神經(jīng)網(wǎng)絡(luò)有類似特性。

為了進(jìn)一步提升NR-IQA 方法的性能，設(shè)計了雙輸出的生成對抗網(wǎng)絡(luò)模型，通過加強(qiáng)對抗學(xué)習(xí)訓(xùn)練，生成更可靠的仿真圖，提高圖像質(zhì)量評價系統(tǒng)的性能。

1.1 生成模型

改進(jìn)后的G網(wǎng)絡(luò)模型架構(gòu)如圖1所示。使用GAN 模型的目的是通過對抗學(xué)習(xí)生成可靠的新樣本圖像（模擬仿真圖）Ir'，彌補(bǔ)圖像評價系統(tǒng)沒有參考圖的缺陷。生成器模型G 的結(jié)構(gòu)以文獻(xiàn)［24］中卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，僅僅依靠生成的仿真圖Ir'訓(xùn)練GAN 模型，效果并不理想，然后在其末端增加1個2層的卷積神經(jīng)網(wǎng)絡(luò)，將僅能輸出仿真圖Ir'的單輸出網(wǎng)絡(luò)改進(jìn)為還能輸出顯著圖Is'的雙輸出網(wǎng)絡(luò)，根據(jù)文獻(xiàn)［11］提出的SSIM 算法，通過學(xué)習(xí)失真圖Id和對應(yīng)的未失真原圖Ir之間的結(jié)構(gòu)相似性，輸出結(jié)構(gòu)相似圖（簡稱為SSIM 圖）Is，SSIM圖能夠描述圖像的失真特性。生成網(wǎng)絡(luò)學(xué)習(xí)模擬仿真圖Ir'和失真圖Id之間的相似性，輸出顯著圖Is'。在GAN 中，無論是輸出的仿真圖Ir'還是顯著圖Is'，都描述由失真帶來的變形，不同之處在于仿真圖學(xué)習(xí)如何還原圖像的細(xì)節(jié)、邊緣和紋理等信息，顯著圖學(xué)習(xí)失真圖像Id與模擬仿真圖Ir'之間的差別。SSIM 算法在設(shè)計時充分考慮了HVS的特性，在對抗學(xué)習(xí)中引入SSIM 的另一個目的就是希望提出的無參考評價方法能更好地模擬人的視覺比較過程。

1.2 判別網(wǎng)絡(luò)模型

改進(jìn)的雙輸出生成器模型G同時生成模擬仿真圖Ir'和顯著圖Is'，根據(jù)生成對抗網(wǎng)絡(luò)的博弈思想，需要判別模型D分辨2組圖像：未失真的原圖像和仿真圖像、顯著圖和SSIM圖。如果只設(shè)計1 個判別器同時分辨2 組圖像，效果會很差，進(jìn)而影響生成器G 的性能。如圖1 所示，采用2 個卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)的判別器模型D1和D2完成此任務(wù)，即判別模型D1用于區(qū)分未失真原圖Ir和仿真圖Ir'，判別模型D2用于區(qū)分顯著圖Is'和結(jié)構(gòu)相似映射圖Is。通過增強(qiáng)對抗訓(xùn)練后，訓(xùn)練好的生成器模型G 能生成更逼真的仿真圖。如果D1和D2分辨結(jié)果經(jīng)常出錯，說明生成器生成仿真圖和原圖極其相似，對抗學(xué)習(xí)取得成功。改進(jìn)后的GAN 可以輸出令人滿意的模擬仿真圖，充當(dāng)NR-IQA算法中的參考圖。

圖1 改進(jìn)的GAN模型結(jié)構(gòu)Fig.1 Structure of improved GAN model

1.3 損失函數(shù)

給定一系列的失真圖像Id以及隨機(jī)噪聲矢量v，由生成模型G得到對應(yīng)的新樣本圖像（即為模擬仿真圖）Ir'，原圖Ir和模擬仿真圖Ir'之間的距離度量損失函數(shù)為：

式中：G 為生成器函數(shù)，其輸入為失真圖像Id、參考圖像Ir和隨機(jī)噪聲v，度量距離時使用l1范數(shù)生成的圖像更清晰，比使用l2范數(shù)的效果好［25］。對抗損失函數(shù)為：

將距離損失函數(shù)和對抗損失函數(shù)合并，生成器模型期望合并后的損失函數(shù)值最小化，判別器模型期望合并后的損失最大化，即：

式中：λ 為學(xué)習(xí)系數(shù)，判別器函數(shù)D1學(xué)習(xí)分辨參考圖像Ir和模擬參考圖像Ir'，最小化Ltotal(G，D1)能夠增加判別模型的識別難度。輸入失真圖像Id和對應(yīng)的參考圖Ir，得到SSIM 映射圖Is，生成器模型輸出顯著圖Is'，距離度量損失函數(shù)為：

對抗損失函數(shù)為：

類似的，將距離損失函數(shù)和對抗損失函數(shù)合并，則有：

綜上，最終的損失函數(shù)為：

借鑒文獻(xiàn)［5］的方法，對生成模型G 和判別模型D1+D2輪流應(yīng)用梯度下降法，即采用minibatch SGD 和Adam 算子優(yōu)化模型參數(shù)［25］。

1.4 IQA回歸網(wǎng)絡(luò)模型

基于深度學(xué)習(xí)技術(shù)建IQA 網(wǎng)絡(luò)，旨在模擬人類視覺過程，給出更可靠的圖像的評測分?jǐn)?shù)。IQA 主要由特征提取模型、特征融合以及回歸網(wǎng)絡(luò)三個部分組成，圖2 給出了IQA 網(wǎng)絡(luò)模型的測試流程。其中2 個特征提取模型的結(jié)構(gòu)是一致的，以VGG 卷積網(wǎng)絡(luò)為原型，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包含卷積層和池化層，其主要特點是非全連接和共享權(quán)值，在卷積和池化的過程中包含了對圖像樣本進(jìn)行特征提取的過程?；貧w網(wǎng)絡(luò)是由2 個卷積層構(gòu)成的全連接結(jié)構(gòu)，通過訓(xùn)練優(yōu)化模型參數(shù)。由1.1節(jié)和1.2節(jié)，已經(jīng)訓(xùn)練好的生成網(wǎng)絡(luò)G也作為回歸網(wǎng)絡(luò)模型的一部分。將失真圖像、失真圖像的真實質(zhì)量分?jǐn)?shù)作為標(biāo)簽，作為特征提取模型和回歸網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。

圖2 IQA回歸網(wǎng)絡(luò)測試流程Fig.2 Test flowchart of IQA regression network

假設(shè)失真圖像提取的特征矢量為f1，仿真圖的特征矢量為f2，則輸出的融合圖像特征矢量為{ f1，f2，f1-f2}。測試時，輸入待測圖像以后，質(zhì)量回歸網(wǎng)絡(luò)會輸出預(yù)測分?jǐn)?shù)?？偨Y(jié)提出的EAL-IQA算法，描述如下：

輸入 失真圖Id；

輸出 失真圖Id的評價分?jǐn)?shù)。

訓(xùn)練階段：

1）利用訓(xùn)練集中的失真圖Id和對應(yīng)的未失真原圖Ir生成SSIM映射圖，用于對抗學(xué)習(xí)。

2）向GAN 模型輸入失真圖Id，通過對抗學(xué)習(xí)生成仿真圖Ir'和顯著圖Is'。

3）利用已經(jīng)訓(xùn)練好的生成網(wǎng)絡(luò)G，輸入失真圖Id，訓(xùn)練IQA的圖像特征提取模型和回歸網(wǎng)絡(luò)模型。

測試階段：

1）輸入待測失真圖Id；

2）提取待測失真圖Id，輸出仿真圖Ir'的融合特征，送入IQA回歸網(wǎng)絡(luò)，輸出圖像質(zhì)量評價分?jǐn)?shù)。

2 實驗

2.1 數(shù)據(jù)集

實驗使用的數(shù)據(jù)集為LIVE［26］、TID2008［27］和TID2013［28］。LIVE 數(shù)據(jù)集總計有25 幅參考圖像，982 幅失真圖像包含白噪聲、高斯模糊、瑞利衰減、JPEG2000、JPEG 等5種失真類型，圖像質(zhì)量用范圍為［0，100］的平均主觀得分差異（Differential Mean Opinion Score，DMOS）值表示，161 人參加主觀實驗評分。數(shù)據(jù)集TID2018按照失真類型分為17類，總計1 700幅圖像，838 人參加主觀實驗評分。數(shù)據(jù)集TID2013 總計3 000 幅圖像，包括25 幅參考圖像和24 種失真類型，源自不同的加性高斯噪聲、稀疏采樣重構(gòu)等，給出了峰值信噪比、結(jié)構(gòu)相似度等信息，931 人參加主觀實驗評分。TID2008 和TID2013 的圖像質(zhì)量用范圍為［0，9］的主觀得分差異（Mean Opinion Score，MOS）值表示。圖像文件的命名方式為“參考圖像號_失真類型_失真水平.bmp”。圖3為采自該數(shù)據(jù)庫的樣本圖像。

圖3 數(shù)據(jù)集TID2013的樣例Fig.3 Samples of TID2013 dataset

2.2 評價測度

評價測度采用均方根誤差（Root Mean Squared Error，RMSE）、斯皮爾曼秩相關(guān)系數(shù)（Spearman Rank Order Coefficient，SROCC）和皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）［29］。RMSE 預(yù)測相關(guān)的一致性，RMSE 的值越小說明算法的預(yù)測分?jǐn)?shù)與人的主觀評價分?jǐn)?shù)越接近；SROCC 指標(biāo)度量評測算法的單調(diào)性，計算結(jié)果越接近1，表明與主觀評測結(jié)果越接近；LCC 指標(biāo)使用相對距離度量預(yù)測值與主觀評分在非線性回歸后的線性相關(guān)性，計算結(jié)果越接近0，表明相關(guān)性越弱。3 個評價測度都用于衡量算法性能與人類視覺評測結(jié)果的符合程度。SROCC的計算公式為：

式中：n表示數(shù)據(jù)對的數(shù)量，rxi和ryi分別表示xi和yi在各自數(shù)據(jù)樣本的排名。PLCC的計算公式為：

將提出的無參考EAL-IQA算法和文獻(xiàn)［30］列出的具有代表性的FR-IQA方法在LIVE數(shù)據(jù)集上做性能比較，實驗結(jié)果如表1 所示?？梢钥闯觯禾岢龅腅AL-IQA 算法在LIVE 數(shù)據(jù)庫上表現(xiàn)出與主觀評價很好的一致性，RMSE性能已經(jīng)遠(yuǎn)遠(yuǎn)超過列出的其他全參考比較算法，SROCC和PLCC性能指標(biāo)已經(jīng)超過大部分全參考算法，諸如RFSIM（Riesz transforms based Feature SIMilarity index）［31］、NQM（Noise Quality Measure index）［32］、IFC（Information Fidelity Criterion index）［33］、UQI（Universal Quality Index）［34］。提出的EAL-IQA 的SROCC 值略低于MSSSIM（Multi-Scale Structural SIMilarity）全參考算法［35］，與FSIM（Feature Similarity Index Method）［13］、VIF（Visual Information Fidelity index）［36］方法接近。與無參考算法相比，全參考算法的質(zhì)量預(yù)測結(jié)果更符合人的感知特性［31］，本文的目標(biāo)之一是希望借助對抗學(xué)習(xí)生成模擬的參考圖像，從而像全參考算法那樣，在功能上實現(xiàn)“模擬”人的視覺主觀評價過程，這也是將提出的無參考算法和全參考算法做性能比較的原因。

將提出的無參考EAL-IQA 算法和文獻(xiàn)［1］列出的具有代表性的同類無參考IQA 方法在LIVE 數(shù)據(jù)集上進(jìn)行性能比較。由表2 可以看出，提出的算法的性能已經(jīng)超過同類算法。SROCC 性能比MVG（MultiVariate Gaussian model）算法［17］提高6個百分點，比BIQI（Blind Image Quality Index）［20］高10個百分點，比 ILNIQE（Integrated Local Natural Image Quality Evaluator）［37］提高7個百分點，比BRISQUE（dubbed Blind/Referenceless Image Spatial QUality Evaluator）［38］提高2 個百分點，比CNN（Convolutiona Neural Networks）［39］和HOSA（High Order Satistics Aggregation）算法［40］提高1 個百分點。PLCC 性能比CORNIA（COdebook Representation for No reference Image Assessment）［1］提高1個百分點?？偨Y(jié)表1和表2，在LIVE 數(shù)據(jù)集上，本文算法雖有優(yōu)勢，但是并不明顯，分析原因可能是LIVE數(shù)據(jù)庫較小，容易導(dǎo)致本文算法產(chǎn)生過擬合，造成測試性能偏低，如果采用數(shù)據(jù)增強(qiáng)的辦法，會失去比較的公平性，考慮在更大的數(shù)據(jù)庫TID2008和TID2013進(jìn)行實驗，后續(xù)的實驗也驗證了上述分析的正確性。

表1 在LIVE數(shù)據(jù)集上與全參考算法的性能比較Tab.1 Comparison between EAL-IQA and full-reference algorithms on LIVE dataset

表2 在LIVE數(shù)據(jù)集上EAL-IQA與無參考算法的性能比較Tab.2 Comparison between EAL-IQA and no-reference algorithms on LIVE dataset

將提出的算法與文獻(xiàn)［10］和文獻(xiàn)［41］列出的具有代表性的算法在TID2008 數(shù)據(jù)庫上繼續(xù)做對比實驗，結(jié)果如表3 所示。在該數(shù)據(jù)集上，提出算法的性能明顯優(yōu)于傳統(tǒng)的SSIM［11］、FSIM［13］、IW-SSIM（Information content Weighted SSIM index）［14］、VIF 算法［36］、VSI（Visual Saliency-induced Index）［41］，略微優(yōu)于H-IQA（Hallucinated-Image Quality Assessment）算法［10］、CNN［39］和SOM（Semantic Obviousness Metric）［42］。3 個算法中，SOM算法采用了關(guān)聯(lián)圖像感知評測的語義級特征，CNN算法采用了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，H-IQA 算法使用了GAN 和深度卷積神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)技術(shù)的特征之一是需要大數(shù)據(jù)支撐才能取得較好的效果，然后在更大的數(shù)據(jù)庫TID2013上繼續(xù)做實驗，實驗結(jié)果參見表4。此次增加3 個具有代表性的基于深度學(xué)習(xí)的算 法，其 中VI（Vgg and Inception net）［43］是使用 了VGG 和Inception 融合深度神經(jīng)網(wǎng)和感知視覺特性的圖像質(zhì)量評價算法、DIQaM-NR（Deep Image Quality assessment Metric-No Refenence）被稱為無參考的加權(quán)平均深度圖像質(zhì)量評價算法和 WaDIQaM-NR （Weighted-average Deep Image Quality assessment Metric-No Refenence）算法［22］被稱為無參考的深度圖像質(zhì)量評價算法。DIQaM-NR 和WaDIQaM-NR 算法都用了深度卷積神經(jīng)網(wǎng)絡(luò)，共計10 個卷積層、5 個池化層，也使用ReLU作激活函數(shù)，被作者統(tǒng)稱為DeepIQA。

表3 在TID2008數(shù)據(jù)集上幾種算法的性能比較Tab.3 Performance comparison of several algorithms on TID2008 dataset

表4 在TID2013數(shù)據(jù)集上幾種算法的性能比較Tab.4 Performance comparison of several algorithms on TID2013 dataset

由表4 可以看出：在較大的數(shù)據(jù)庫TID2013 上，5 個基于深度學(xué)習(xí)技術(shù)的評價算法的性能優(yōu)于傳統(tǒng)算法，在5 個基于深度學(xué)習(xí)的算法中，提出的EAL-IQA 算法又最具優(yōu)勢。一般來說，在大型數(shù)據(jù)庫上，采用了深度學(xué)習(xí)技術(shù)的圖像質(zhì)量評價方法的性能要好于傳統(tǒng)算法，可能是目前的數(shù)據(jù)量還不能滿足DIQaM-NR 和WaDIQaM-NR 算法中使用的深度神經(jīng)網(wǎng)絡(luò)，導(dǎo)致其性能偏弱一些。

目前，深度學(xué)習(xí)技術(shù)是人工智能領(lǐng)域的主流技術(shù)，基于深度神經(jīng)網(wǎng)絡(luò)模型的生成對抗網(wǎng)絡(luò)被認(rèn)為是最具前景的算法之一。在TID2013數(shù)據(jù)集的24種失真類型［28］上，對VI、H-IQA和EAL-IQA 三種使用了深度學(xué)習(xí)技術(shù)的算法做了逐一比較，其中H-IQA 和EAL-IQA 均使用了生成對抗網(wǎng)絡(luò)技術(shù)，圖4 給出了三種算法的比較結(jié)果。

圖4 三種算法在TID2013不同失真類型上的比較Fig.4 Comparison of three algorithms on different distortion types of TID2013 dataset

從圖中可以看出，在第1、2、4、5、6、8、11、12、15、16、17、18、21、23和24種失真類型上，提出的EAL-IQA算法明顯優(yōu)于H-IQA 算法；在第3、7、9 和20 種失真類型上提出的算法劣于H-IQA 算法。同VI 算法相比，提出算法在第15、16、17、18 種失真類型上占有優(yōu)勢，在第3、7、9、11、12、13、14、19、20、21、23和24種失真類型上遜于VI方法。EAL-IQA、H-IQA和VI的SROCC 性能值分別為0.89、0.87 和0.81，提出的EAL-IQA 算法在總體性能上占據(jù)優(yōu)勢。總結(jié)已有的文獻(xiàn)報道和實驗結(jié)果，目前還沒有哪一種圖像質(zhì)量評價算法能在所有的失真類型上都優(yōu)于其他算法，因此設(shè)計通用型、高性能的圖像質(zhì)量評價算法將是以后相關(guān)研究工作的目標(biāo)。

3 結(jié)語

為了提升無參考圖質(zhì)量評價方法的性能，本文采用目前流行的深度學(xué)習(xí)技術(shù)設(shè)計了雙輸出生成對抗網(wǎng)絡(luò)模型，訓(xùn)練期間，利用未失真原圖模擬生成可靠的仿真圖和顯著圖；判別模型則負(fù)責(zé)分辨仿真圖和未失真原圖、顯著圖和SSIM 圖。通過增強(qiáng)型學(xué)習(xí)獲取可靠的模擬仿真圖，彌補(bǔ)NR-IQA在測試中沒有參考圖的缺陷。由于圖像失真類型豐富，每種類型的特性千差萬別，如何提高IQA模型的通用性是今后的研究重點。

致謝 感謝馬遙同學(xué)在論文初期階段所做的研究工作。