張哲, 齊春, 張釗強(qiáng), 陳曉璇

(1.西安交通大學(xué)電子與信息工程學(xué)院, 710049, 西安; 2.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院, 710049, 西安)

人臉超分辨率重建是一種利用單幅或多幅低分辨率人臉圖像重建高分辨率人臉圖像的方法[1],由于其在計(jì)算機(jī)視覺、民用安防等多個(gè)領(lǐng)域[2-4]的重要作用,近年受到了廣大科研工作者的關(guān)注。由于人臉固有特征較多,相似程度高,因此基于學(xué)習(xí)的超分辨率重建方法在人臉超分辨率重建中得到了廣泛的應(yīng)用,這其中使用最為廣泛的,當(dāng)屬鄰域嵌入的方法。鄰域嵌入的方法首先由文獻(xiàn)[5]提出,該方法的理論基礎(chǔ)是流形假設(shè)。流形假設(shè)指出,高低分辨率圖像在不同的特征空間中擁有相似的局部流形結(jié)構(gòu)。也就是說,如果該假設(shè)成立,低分辨率圖像的重建權(quán)值就可以直接用來重建對(duì)應(yīng)的高分辨率圖像,以獲得人臉超分辨率重建結(jié)果,但文獻(xiàn)[6-16]指出,由于高低分辨率圖像間一對(duì)多的關(guān)系,這種流形假設(shè)并不一定成立。為了克服這個(gè)問題,研究者嘗試將原始高低分辨率圖像投影到一致性更強(qiáng)、更符合流形假設(shè)的空間進(jìn)行鄰域嵌入。文獻(xiàn)[10]利用高低分辨率圖像對(duì)投影后相距較近作為約束條件來計(jì)算線性投影矩陣并投影;文獻(xiàn)[11]利用偏最小二乘(PLS)算法獲取線性投影矩陣,從而將高低分辨率圖像投影到新的線性空間;文獻(xiàn)[12-13]通過引入非線性核函數(shù),將原始圖像投影到更高維度的空間進(jìn)行鄰域嵌入;文獻(xiàn)[14]在非線性函數(shù)投影的基礎(chǔ)上,增加了額外的投影矩陣,并通過以上兩者,將原始圖像投影到新的高維空間。另外,文獻(xiàn)[17-19]還利用典型相關(guān)分析(CCA)等方法從原始圖像中提取特征,進(jìn)而在特征空間中進(jìn)行鄰域嵌入。

雖然以往有各種方法將圖像映射到更為一致的投影空間來滿足流形假設(shè),進(jìn)而獲得更好的圖像重建效果,但是,不同的投影空間該如何選擇呢?針對(duì)上述問題,本文通過引入空間一致性,給出了一種投影空間的選擇方法。該方法可以在人臉超分辨率重建前對(duì)投影空間進(jìn)行篩選,為獲得更好的人臉超分辨率重建結(jié)果奠定基礎(chǔ)。另外,本文還對(duì)各大類投影空間的優(yōu)缺點(diǎn)進(jìn)行了分析,指出了目前投影算法存在的一些問題。

1 本文方法

對(duì)于基于流形假設(shè)的投影空間人臉超分辨率重建算法來說,隨著投影空間一致性的增強(qiáng),算法最終的重建結(jié)果也會(huì)越來越好[10-16]。圖1為鄰域嵌入示意圖[5-6],圖2為投影空間人臉超分辨率重建算法模型[5-19],由圖1、圖2可以看出,投影空間人臉超分辨率重建算法的結(jié)果主要由兩大因素決定:高低分辨率近鄰塊對(duì)(Hi與Li)的選擇,以及將低分辨率圖像塊重建權(quán)值(ωL)直接作為高分辨率圖像塊重建權(quán)值(ωH)所帶來的影響。如果所選高低分辨率近鄰塊對(duì)中的高分辨率近鄰塊(Hi)恰好能利用低分辨率圖像塊重建權(quán)值(ωL)得到高分辨率圖像塊(yi),那么就能夠完全重建出高分辨率測(cè)試圖像。

圖2 投影空間人臉超分辨率重建算法模型

由于高分辨率測(cè)試樣本塊的不可知性,合適的高分辨率近鄰塊難以被直接選取。目前大多數(shù)算法使用2-范數(shù)在低分辨率圖像空間進(jìn)行近鄰選取,然后將所選低分辨率圖像塊對(duì)應(yīng)的高分辨率圖像塊作為近鄰塊[5-11],因此對(duì)高低分辨率近鄰塊對(duì)的選擇不會(huì)在各投影算法間產(chǎn)生較大影響;另一方面,由于低分辨率圖像與高分辨率圖像間一對(duì)多的關(guān)系,流形假設(shè)并不一定成立,將低分辨率圖像塊重建權(quán)值直接作為高分辨率圖像塊重建權(quán)值會(huì)帶來一定的誤差,而一致性強(qiáng)的投影空間將會(huì)獲得更相關(guān)的高低分辨率圖像塊重建權(quán)值,因此可以通過高低分辨率圖像塊重建權(quán)值的相關(guān)性來評(píng)估投影空間的一致性。

1.1 選取高低分辨率圖像塊

考慮到人臉對(duì)應(yīng)位置塊的相似性,本文在獲取測(cè)試與訓(xùn)練人臉圖像之后,將其按一定規(guī)律切分成圖像塊,然后對(duì)于低分辨率圖像,隨機(jī)選取p幅測(cè)試圖像q個(gè)位置的圖像塊作為中心塊,并將相應(yīng)位置的部分訓(xùn)練圖像塊作為近鄰塊。對(duì)于高分辨率圖像也做同樣處理。

1.2 獲取高低分辨率圖像塊重建權(quán)值

隨著投影算法的不同,獲取高低分辨率圖像塊重建權(quán)值的方式也有所區(qū)別。此處將以低分辨率圖像塊為例給出不同投影的重建權(quán)值計(jì)算方法,高分辨率圖像塊的重建權(quán)值計(jì)算方法同理可得。另外,為了方便比較,本文從投影矩陣是否為單位陣以及投影方式是否為線性這兩方面,將投影算法及其對(duì)應(yīng)的投影空間分為4大類,并將各類算法與其對(duì)應(yīng)的權(quán)值獲取方式列舉如下。

根據(jù)拉格朗日乘數(shù)法,可得[5]

式中:Q=(xi·1T-Li)T(xi·1T-Li),1表示元素全為1的列向量。

(2)線性一般投影。線性一般投影即投影矩陣為一般矩陣P的線性投影算法,采用這種投影方法的有文獻(xiàn)[6,10-11]等。為了保證投影后的反投影不影響算法最終結(jié)果,一般約束PP-1=I。線性一般投影權(quán)值優(yōu)化函數(shù)為

根據(jù)拉格朗日乘數(shù)法,可得

式中:Q=(xi·1T-Li)TPTP(xi·1T-Li)。

另外,投影矩陣P的獲取將根據(jù)算法的不同而有所區(qū)別。為方便比較,本文實(shí)驗(yàn)部分采用文獻(xiàn)[10]中所述方法獲取線性投影矩陣P。

本研究以從環(huán)境中分離得到的菌株 Y17作為出發(fā)菌株，對(duì)其進(jìn)行反復(fù)多次ARTP等離子誘變，利用氯化鉀敏感篩選得到核酸含量提高的突變菌株Y17aM3，然后對(duì)突變菌株進(jìn)行生理生化特性分析，并進(jìn)行發(fā)酵培養(yǎng)條件優(yōu)化及傳代穩(wěn)定性分析。

(3)非線性單位投影。非線性單位投影即投影矩陣為單位陣I的非線性投影算法,利用這種投影空間的文獻(xiàn)有[12-13]等。非線性單位投影權(quán)值優(yōu)化函數(shù)為

根據(jù)拉格朗日乘數(shù)法,可得

式中:Q=(Φ(Xi)-Φ(Li))T(Φ(Xi)-Φ(Li))=KXiXi-KXiLi-KLiXi+KLiLi,其中Xi=xi·1T,Φ(·)為非線性映射矩陣,Φ:Rd→RF(d∈F),KXiLi為核矩陣,kx,y為核函數(shù),其計(jì)算式如下

本文實(shí)驗(yàn)部分采用高斯核化方法,其中σ=1。

(4)非線性一般投影。非線性一般投影即投影矩陣為一般矩陣P的非線性投影算法,文獻(xiàn)[14]等使用這種方法進(jìn)行空間投影,非線性一般投影權(quán)值優(yōu)化函數(shù)為

根據(jù)拉格朗日乘數(shù)法,可得

式中:Q=(Φ(Xi)-Φ(Li))TPTP(Φ(Xi)-Φ(Li))。

另外,由于上式非線性投影向量的內(nèi)積之間存在投影矩陣P,因此并不能直接采用非線性單位投影中的核矩陣方法進(jìn)行處理,而需要通過變量代換進(jìn)行計(jì)算,其具體實(shí)現(xiàn)過程請(qǐng)參考文獻(xiàn)[14]。

1.3 相關(guān)性度量與分析

兩向量間的相關(guān)性通常有3種衡量方法:歐氏距離、相關(guān)系數(shù)及余弦相似度。對(duì)于重建權(quán)值的相關(guān)性度量來說,歐氏距離并不能體現(xiàn)出兩權(quán)值間夾角信息,相關(guān)系數(shù)并不能區(qū)分歸一化與非歸一化權(quán)值之間的區(qū)別。因此,本文選用既考慮到夾角問題、又對(duì)權(quán)值歸一化敏感的余弦相似度進(jìn)行相關(guān)性度量。對(duì)于測(cè)試高分辨率圖像塊重建權(quán)值ωH,與對(duì)應(yīng)測(cè)試低分辨率圖像塊重建權(quán)值ωL,其余弦相似度scos計(jì)算公式如下。

當(dāng)高低分辨率圖像塊重建權(quán)值均歸一化后,其余弦相似度將與相關(guān)系數(shù)計(jì)算結(jié)果相同。余弦相似度的均值計(jì)算公式如下

最后,算法對(duì)第p幅測(cè)試圖像第q個(gè)位置的圖像塊所獲得的n個(gè)余弦相似度Scos進(jìn)行直方圖統(tǒng)計(jì)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 各投影空間一致性分析

為了說明本文算法的正確性,分別從線性單位投影、線性一般投影、非線性單位投影、非線性一般投影方法中,各選出一種代表性方法對(duì)其投影空間一致性進(jìn)行實(shí)驗(yàn)驗(yàn)證,分別為文獻(xiàn)[5,10,13-14]方法。

本文的實(shí)驗(yàn)圖像均從CAS數(shù)據(jù)庫(kù)[20]中獲取,實(shí)驗(yàn)參數(shù)設(shè)置如下:在CAS數(shù)據(jù)庫(kù)810幅圖像中,隨機(jī)選取115幅圖像作為測(cè)試樣本,其余作為訓(xùn)練樣本。圖像放大倍數(shù)為4,低分辨率圖像塊大小為4×4像素,低分辨率圖像塊間重疊像素?cái)?shù)為2,近鄰塊個(gè)數(shù)為50,高斯模糊算子方差為0.85,實(shí)驗(yàn)隨機(jī)選取48 000個(gè)測(cè)試塊進(jìn)行測(cè)試。另外,下文所列各投影空間余弦相似度統(tǒng)計(jì)圖(圖3～圖5)均是在10次獨(dú)立隨機(jī)選取的48 000個(gè)測(cè)試樣本上進(jìn)行實(shí)驗(yàn)后求均值獲得的。

各投影空間的余弦相似度統(tǒng)計(jì)圖如圖3所示,其對(duì)應(yīng)算法的超分辨率重建結(jié)果如表1所示。由于實(shí)驗(yàn)所選算法在投影空間超分辨率重建后,進(jìn)行了其他后處理,為避免誤解,本文將分別給出投影部分峰值信噪比(RPSN)結(jié)果與最終RPSN結(jié)果,其中各投影空間對(duì)應(yīng)的余弦相似度曲線及余弦相似度均值均對(duì)應(yīng)投影部分RPSN結(jié)果。另外,以上結(jié)果均為115副測(cè)試樣本進(jìn)行對(duì)應(yīng)處理后的RPSN均值,為方便比較,各投影空間余弦相似度均值在表2中一并列出。

圖3 各投影空間余弦相似度統(tǒng)計(jì)圖

各投影空間余弦相似度統(tǒng)計(jì)圖(圖3～圖5)的橫坐標(biāo)表示余弦相似度,橫軸中心的0表示線性無關(guān),向兩側(cè)余弦相似度絕對(duì)值越接近于1表示越線性相關(guān);縱坐標(biāo)則表示所統(tǒng)計(jì)出的擁有對(duì)應(yīng)余弦相似度的樣本對(duì)個(gè)數(shù),其數(shù)量大小反映投影空間在不同余弦相似度值處的強(qiáng)弱。對(duì)于任何一個(gè)高低分辨率圖像樣本對(duì)來說,其余弦相似度的絕對(duì)值越接近于1,表示高低分辨率圖像樣本對(duì)重建權(quán)值ωH與ωL之間的相關(guān)性越強(qiáng),將ωL作為ωH進(jìn)行鄰域嵌入給重建結(jié)果所帶來的誤差也會(huì)越小。因此,對(duì)于投影空間余弦相似度統(tǒng)計(jì)曲線來說,越向圖像兩側(cè)偏移,說明該空間所擁有的高相關(guān)性高低分辨率圖像樣本對(duì)越多,由于這些樣本擁有更小的重建誤差,能獲得更好的圖像超分辨率重建結(jié)果。

表1 各投影方法的超分辨率重建峰值信噪比結(jié)果

在線性投影空間的一致性評(píng)估上,從表2中可以看到,文獻(xiàn)[10]算法所選投影空間的余弦相似度均值為0.443 4,要優(yōu)于文獻(xiàn)[5]所選投影空間的余弦相似度均值0.426 6。同時(shí),圖3中相對(duì)于線性單位投影空間,線性一般投影空間的統(tǒng)計(jì)曲線也整體向右移動(dòng)。這些都說明線性一般投影空間要比線性單位投影空間能獲得更多相關(guān)性強(qiáng)的高低分辨率圖像樣本對(duì),余弦相似度均值更大,空間一致性更強(qiáng)。另外,從表1中可以看到,使用線性一般投影空間的文獻(xiàn)[10]算法投影部分峰值信噪比均值比使用線性單位投影空間的文獻(xiàn)[5]算法投影部分峰值信噪比均值要高,這說明擁有更強(qiáng)空間一致性的線性一般投影空間的確能夠獲得更好的超分辨率重建效果。

表2 各投影空間余弦相似度均值

在非線性投影高維空間的一致性評(píng)估上,對(duì)余弦相似度統(tǒng)計(jì)曲線、余弦相似度均值與其對(duì)應(yīng)算法的超分辨率重建結(jié)果進(jìn)行分析也可以得出一致的結(jié)論。此外,關(guān)于非線性投影所采用的近似處理以及表2中理想非線性投影的具體分析將在2.3節(jié)進(jìn)行。

2.2 近鄰選擇對(duì)投影空間的影響

不同訓(xùn)練樣本的選擇將會(huì)對(duì)投影矩陣等參數(shù)產(chǎn)生影響,進(jìn)而獲得不同的投影空間,而目前大部分算法均利用近鄰關(guān)系選擇訓(xùn)練樣本。為了說明近鄰選擇所建立的投影空間在一致性方面的優(yōu)勢(shì),本文對(duì)隨機(jī)選擇與近鄰選擇所建立投影空間進(jìn)行了一致性評(píng)估,實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 近鄰選擇對(duì)線性與非線性投影空間的影響

從圖4可以看出:相比于隨機(jī)選擇的余弦相似度統(tǒng)計(jì)曲線,近鄰選擇的余弦相似度統(tǒng)計(jì)曲線均在相關(guān)系數(shù)接近于1的部分出現(xiàn)了向上的凸起,且非線性投影空間受其影響更為顯著;各近鄰?fù)队翱臻g的余弦相似度均值相比隨機(jī)投影空間的余弦相似度均值也提升了0.03～0.04左右。也就是說,通過近鄰選擇,高低分辨率圖像塊重建權(quán)值間的相關(guān)性得到了增強(qiáng),即近鄰選擇比隨機(jī)選擇能夠獲得更為一致的投影空間。這不僅給出了之前各文獻(xiàn)[5-19]均采用近鄰?fù)队暗脑?也從側(cè)面說明了本文評(píng)估方法的正確性。

2.3 非線性投影中近似處理對(duì)投影空間的影響

從2.1節(jié)可以看到,非線性投影高維空間的余弦相似度統(tǒng)計(jì)曲線不如線性投影空間,這是由于目前非線性投影方法在重建高分辨率圖像時(shí)采用折中方法所導(dǎo)致的。這種折中方法在保持低分辨率圖像使用非線性鄰域嵌入的情況下,用高分辨率圖像在原圖像空間進(jìn)行線性重建代替投影后的高分辨率圖像使用非線性鄰域嵌入進(jìn)行重建,再反投影回原圖像空間,以避開非線性反投影難以獲取的問題。也就是說,這種折中將一個(gè)高低分辨率圖像共同投影到的非線性投影高維空間,近似表示成了一個(gè)低分辨率圖像投影到的非線性投影高維空間與一個(gè)高分辨率圖像所在的原始圖像空間。圖1中的非線性投影余弦相似度統(tǒng)計(jì)曲線即為利用該折中方法所獲得的結(jié)果。為了進(jìn)一步分析該近似處理所帶來的影響,本文做了相關(guān)對(duì)比實(shí)驗(yàn),其結(jié)果如圖5所示。

圖5 非線性投影近似處理對(duì)投影空間的影響

圖5中的理想非線性投影是指未采用折中方法,高低分辨率圖像塊均在非線性投影高維空間中進(jìn)行鄰域嵌入所得出的余弦相似度統(tǒng)計(jì)曲線。從圖中可以看到,理想非線性投影所獲得的相關(guān)系數(shù)遠(yuǎn)高于線性投影及折中后的非線性投影,余弦相似度均值也可達(dá)0.7左右。這是由于圖像之間并非簡(jiǎn)單的線性關(guān)系,而是非線性關(guān)系造成的[12-14]。由于目前沒有很好的非線性反投影方法,因此非線性投影算法通常會(huì)通過增加額外約束項(xiàng)或者多次迭代,來弱化這種折中所帶來的影響。從文獻(xiàn)[13]算法投影部分RPSN均值(27.376 9 dB)與最終結(jié)果RPSN均值(30.337 4 dB)的差別即可看出額外約束與迭代所帶來的影響。

因此,雖然自然圖像之間的關(guān)系更接近于非線性,但若不能很好地解決非線性反投影難以獲取的問題,將很難利用非線性投影高維空間更為一致的優(yōu)勢(shì)。而如何獲取非線性反投影,以及尋找能更好地降低折中處理所帶來影響的約束項(xiàng),可以作為投影空間人臉超分辨率重建算法一個(gè)新的研究方向。

3 總 結(jié)

本文對(duì)投影空間人臉超分辨率重建算法中常用的投影空間進(jìn)行了分類與研究,給出了一種投影空間的選擇方法。通過此方法,本文對(duì)各類投影空間進(jìn)行了實(shí)驗(yàn)分析,不僅說明了該方法的正確性,還利用此方法解釋了近鄰選擇對(duì)于投影空間的影響。最后,本文還通過實(shí)驗(yàn)分析指出了目前存在的問題,即非線性投影雖然理論上更符合自然圖像規(guī)律,但因其反投影困難而采取的折中方法會(huì)對(duì)超分辨率重建結(jié)果造成損失。因此,尋找有效降低這種損失的方法,可以作為今后投影空間人臉超分辨率重建算法研究的新方向。