劉靖丹,逯 洋,王 淳

(吉林師范大學(xué) 數(shù)學(xué)與計算機學(xué)院,吉林 四平 136000)

圖像處理技術(shù)是利用計算機處理圖像來進行科學(xué)研究的一門新興科學(xué)。圖像處理技術(shù)[1]的研究內(nèi)容十分廣泛,包括圖像處理的基礎(chǔ),圖像處理的研究方法等。圖像處理技術(shù)的主要內(nèi)容之一是圖像識別。圖像識別在圖像采集過程中容易受到干擾(如尺度[2]、光照[3]或噪聲[4]等),使得這項工作具有極大的挑戰(zhàn)性,在其領(lǐng)域中一個較少被研究的性質(zhì)是模糊[5-6]。環(huán)境中運動和大氣湍流、低質(zhì)量的圖像系統(tǒng)很可能會產(chǎn)生圖像的模糊不清。模糊圖像會使圖像效果惡化,對圖像數(shù)據(jù)的收集造成障礙。所以,模糊圖像特征辨識的方法有著重大研究價值,已成為有關(guān)學(xué)者探討的焦點問題而受到了普遍重視。對此,2008年Ville Ojansivu[7]提出了一種用于紋理描述的模糊不敏感紋理分類方法,稱為局部相位量化(LPQ)。該方法已經(jīng)被證明比LBP算子[8-10]對模糊的容忍度更高。之后Timo Ahonen[11]將此方法引用到模糊人臉識別領(lǐng)域,大大提高了人臉識別效率,同時提高了圖像處理的效率。后來LPQ算法在人臉識別領(lǐng)域中被不斷改進,在局部特征提取方面取得了很好的效果,獲得了很大的成功。LPQ算法也被應(yīng)用于其他領(lǐng)域,如手勢識別、面部識別和掌紋識別等。因此,有必要對該方法的相關(guān)研究成果進行全面的綜述和討論。

本文系統(tǒng)綜述了局部相位量化方法在處理模糊圖像上的研究進展,進一步深入研究局部相位量化并以求為拓展其應(yīng)用領(lǐng)域奠定基礎(chǔ)。本文從介紹LPQ算子的起源開始,闡述了不同實驗研究的動機、原理、優(yōu)缺點,揭示了各種方法之間的差異和聯(lián)系,最后思考了該方法的發(fā)展方向。

1 模糊不變的局部相位量化方法

模糊不變的局部相位量化方法的優(yōu)勢有以下五點:(1)在處理圖像時不需要加入特征點;(2)不需要對圖像進行分類;(3)不需要新建模型,對已有的舊模型進行訓(xùn)練,計算結(jié)果與模型的性能指標(biāo)保持一致;(4)可以作為快速處理的對象和模型;(5)在處理過程中具有可擴展性。在LPQ方法中,可以直接在計算機上用LPQ方法對圖像進行分類。

基于二維離散傅里葉變換[12](DFT)的LPQ算子,使用短期傅里葉變換(Short-Term Fourier Transform,STFT)計算像素點局部鄰域內(nèi)的相位信息。

1.1 離散傅里葉變換(DFT)

在數(shù)字圖像處理中,模糊圖像g(x)可以通過原始圖像f(x)和點擴散函數(shù)(PSF)卷積構(gòu)成,其表達式如下:

g(x)=(f*h)(x)

(1)

將其進行傅里葉變換轉(zhuǎn)變到頻域,則式(1)轉(zhuǎn)化為:

G(u)=F(u)·H(u)

(2)

其中G(u),F(u)和H(u)分別是g(x)、f(x)和h(x)進行離散傅里葉變換(DFT)后的結(jié)果?？梢詫?2)式的幅值和相部分開,得到如下相位關(guān)系表達式:

|G(u)|=|F(u)|·|H(u)|和

∠G(u)=∠F(u)+∠H(u)

(3)

假設(shè)模糊點擴散函數(shù)h(x)是中心對稱的,即h(x)=h(-x),如果傅里葉變換總是得到實值,那么它的相位只是一個二值函數(shù),如式(4)所示:

對于規(guī)則的點擴散函數(shù),使得當(dāng)所有H(u)≥0時都有:

∠G(u)=∠F(u)

(5)

這一關(guān)系就為模糊不變特征提取奠定了理論基礎(chǔ)。

1.2 短期傅里葉變換(STFT)

STFT是由(6)式定義的f(x)的每個像素位置x處的M·M鄰域Nx上計算的,其中Wu是頻率u的二維DFT的基向量,fx是另一個包含來自Nx的所有M2圖像樣本的向量。

可以看出,實現(xiàn)STFT的一種有效方法是對所有u使用二維卷積。

4個頻點u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T通過局部傅立葉系數(shù)計算,a表示范圍很小,a=1/M。每個像素位置通過向量表示,如式(7)所示:

Fx=[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]

(7)

傅里葉相位系數(shù)可使用各部分的實數(shù)和虛數(shù)的符號來表達,如式(8)所示。

gj是向量G(x)=[Re(Fx),Im(Fx)]的第j個部分。然后qj對其進行二進制編碼,如式(9)所示。

LPQ(x)表示窗口尺寸為M×M的算法,圖1中是窗口為5×5的LPQ算法實例。

圖1 LPQ算法

2 LPQ算子的研究概況

2.1 針對灰度圖像的LPQ算子及變體

LPQ算法大多針對灰度圖像,研究內(nèi)容大多是以人臉和紋理圖像為研究對象來進行歸納。不同的實驗研究使用了不同的數(shù)據(jù)集,包括Outex、YALE、AR和ORL等。

2.2 對單一圖像模糊不敏感紋理分類方面的研究

Ville Ojansivu等人[7]提出了一種用于紋理描述的模糊不敏感紋理分類方法,稱為局部相位量化。其研究重點是模糊不敏感的紋理分類,相比之下,LPQ比LBP對模糊的容忍度更高。Timo Ahonen等人[11]將LPQ算子用于模糊人臉的識別,通過向LPQ添加一個去相關(guān)來達到要求。通過對不同區(qū)域直方圖的連接,完成人臉的全局描述,提高了算法識別率。朱長水等人[13]提出將局部二值模式和LPQ進行融合的人臉識別方法,具體算法如圖2所示。該方法比較直方圖的相似性,根據(jù)最近鄰原則進行識別,提高了算法的魯棒性。

圖2 LBP/LPQ算法

Xiao等人[14]提出局部相位量化加(LPQ+),將LPQ嵌入到Fisher向量(FV)中,利用FV增強模糊圖像識別性能,并且LPQ+直接量化STFT的局部相位。該方法有更強的局部模式表征能力,可以提高模糊圖像的識別性能。Zhu等人[15]對LPQ+進行改進,提出一種判別模糊不敏感的紋理描述符,稱為局部相位量化加加(LPQ++)。該方法是在STFT產(chǎn)生的歸一化模糊不敏感特征映射之間,建立空間信道相互作用以增強描述能力,同時保持對模糊的不敏感。

陳曉文等人[16]提出用高斯拉普拉斯邊緣檢測和局部相位量化增強結(jié)合的模糊圖像識別算法MrELPQ和MsLoG(Multi-resolution ELPQ and Multi-scale LoG)。通過正負量化和幅值量化的操作,得到具有互補符號特征的ELPQ_S和幅值特征的ELPQ_M,將特征直方圖進行串聯(lián),得到增強的局部相位量化模式,該算法增強了模糊的魯棒性,并且具有更好的識別性能。

Ojansivu等人是最早專門針對模糊圖像進行研究的,后來的研究者都是以他們的研究為依據(jù)不斷改進,以達到更好的效果。這是當(dāng)時最具代表性和最具影響力的研究成果,也為識別模糊圖像打開了新篇章。Ahonen是首個將LPQ方法應(yīng)用于人臉識別領(lǐng)域的,研究成果是LPQ算法應(yīng)用人臉識別領(lǐng)域的開端。他的實驗巧妙地在LPQ上使用去相關(guān)來進行改進算法,最后發(fā)現(xiàn)LPQ不僅可以很好地處理模糊,而且可以很好地處理現(xiàn)實圖像中的其他干擾,實驗更加驗證了LPQ在識別模糊圖像上的優(yōu)越性。朱長水基于Ahonen的實驗進行畫面分塊,發(fā)現(xiàn)這個技術(shù)還存在著一定的局限,需要重復(fù)試驗計算以確定最合適的大小來達到較好的識別率。以上實驗都是針對簡單的模糊圖像,遇到復(fù)雜的圖像時,只通過LPQ單一方法不容易得出好的結(jié)果。Xiao等人創(chuàng)新了人臉識別方法,借助FV在BoW模型中獲得新的模糊圖像,改變LPQ對STFT操作過程,從而獲得更強的局部表征能力。同時針對多種不同數(shù)據(jù)集進行試驗,做了大量改進工作,實驗結(jié)果很好,但主要問題是對不同紋理的辨別能力沒有得到充分利用。Zhu等人發(fā)現(xiàn)LPQ+忽略了STFT特征圖中不同頻率點之間的空間和通道相關(guān)性,可能導(dǎo)致某些具有內(nèi)在價值的紋理線索被忽略,所以進行再次改進,過程中發(fā)現(xiàn)歸一化STFT系數(shù)特征圖之間的通道梯度可以從本質(zhì)上幫助區(qū)分特定圖像中的邊緣和平坦區(qū)域,這對于模糊紋理的識別是至關(guān)重要的。

2.3 結(jié)合旋轉(zhuǎn)變化和圖像模糊不敏感紋理分類方面的研究

圖像去模糊工作復(fù)雜且困難,為預(yù)防圖像處理工作受到其他外部因素的影響,Ville Ojansivu等人[17]提出一種新的模糊和旋轉(zhuǎn)不敏感紋理描述子,稱為旋轉(zhuǎn)不變局部相位量化(RILPQ)方法,是對模糊不敏感的LPQ紋理描述子進行旋轉(zhuǎn)不變的擴展。通過估計局部特征方向并計算有向二值描述子,使其在旋轉(zhuǎn)模式下表現(xiàn)更好。

2.4 結(jié)合尺度變化和圖像模糊不敏感紋理分類方面的研究

圖像處理過程容易受到尺度變化的影響,朱長水等人[18]提出尺度不變特征轉(zhuǎn)換(SIFT)和LPQ結(jié)合的人臉圖像識別方法。SIFT算法檢測并獲取所有人臉圖像特征點,統(tǒng)計所有特征點鄰域的LPQ數(shù)據(jù)并顯示成直方圖序列,該方法是計算特征點鄰域距離比得到的,在尺度、旋轉(zhuǎn)、明暗等方面存在著一定的魯棒優(yōu)勢,具有較好的識別效果,能有效降低面部信息的維度。提取的特征點主要集中在眼睛、鼻子和嘴巴上,這些點與面部特征相匹配,可以實現(xiàn)快速識別。以上基于LPQ方法的優(yōu)缺點及其工作原理,如表1所示。

表1 基于LPQ方法的優(yōu)缺點及其工作原理

2.5 針對彩色圖像的LPQ算子

上述實驗數(shù)據(jù)集大多是對灰度圖像進行識別,而現(xiàn)如今獲取到的人臉圖像多為彩色圖像,一些研究者會將彩色圖像轉(zhuǎn)化為灰度圖像,這也將大大增加工作量,更加費時費力。想要實現(xiàn)符合現(xiàn)代的人臉識別技術(shù),Matteo Pedone等人[19]提出針對處理彩色圖像的LPQ描述符的擴展方法,該方法是利用顏色值的多向量表示得到的,是一種基于克利福德代數(shù)的LPQ描述子顏色擴展方法,該方法在模糊和非模糊紋理分類中具有較好的魯棒性。LPQ描述符僅限于灰度圖像,該描述子比灰度描述子和其他顏色紋理描述子具有更高的精度。此外,它的光照不變特性保證了在具有挑戰(zhàn)性場景中的卓越性能,而無需用顏色不變算法預(yù)處理紋理。該算法也解決了分類的圖像可能會經(jīng)歷的輻射失真、噪聲和模糊等原因?qū)е碌耐嘶?/p>

3 拓展LPQ方法應(yīng)用領(lǐng)域

上述內(nèi)容研究領(lǐng)域單一,依據(jù)本身對模糊不敏感的獨特特征,一些學(xué)者將此算子拓展到其他領(lǐng)域,擴大了算法的通用性,以下內(nèi)容對此進行了列舉。

3.1 在掌脈識別中的應(yīng)用

在手掌靜脈識別系統(tǒng)中,因為人類手掌生理構(gòu)造特點易產(chǎn)生影像模糊,使得識別精度降低。林森等人[20]提出了基于子區(qū)域LPQ魯棒識別問題的方法。通過建立一個LPQ特征提取模型,將掌脈圖像分為幾個子段,提取并集成每個分區(qū)的LPQ特征,最后利用卡方距離匹配識別。該方法具有良好的手掌圖像模糊強度,有效提升了手掌靜脈識別系統(tǒng)的性能。

3.2 在人耳識別中的應(yīng)用

現(xiàn)實中獲得的人耳圖像數(shù)據(jù)往往具有不同程度的信號退化,最典型的信號衰減類型是模糊和熱噪聲。為改善這一問題,黃冠等人[21]比較人耳圖像識別過程中三種不同的圖像識別算法的影響,分別用到方向梯度直方圖(HOG)、LPQ和 LBP方法進行實驗,經(jīng)過對比LPQ算法對模糊性有很好的識別能力,LBP算法如圖3所示。

圖3 LBP算法

3.3 在車標(biāo)識別中的應(yīng)用

賀敏雪等人[22]提出基于抗模糊特征的車標(biāo)識別方法,以解決標(biāo)識圖像上的圖像模糊問題。通過構(gòu)建標(biāo)志圖像金字塔模型,利用LPQ算法提取車標(biāo)圖像的抗紋理和抗邊緣模糊特征,并且使用典型相關(guān)分析(CCA)以促進后續(xù)的降維和分類。該方法結(jié)合兩種抗模糊特征,具有較好的識別效果和較強的魯棒性和抗模糊性。

3.4 在森林火災(zāi)圖像識別中的應(yīng)用

為減少森林大火的誤報概率和提升火災(zāi)報警效率,李巨虎等人[23]提出火焰獨特色彩和紋理特征的火焰識別算法,將LBP和LPQ直方圖特征融合到了分塊中。算法將圖像變換到Y(jié)CbCr顏色空間,根據(jù)LBP與LPQ算法提煉所有疑似火災(zāi)區(qū)的圖像與數(shù)據(jù),并且利用支持向量機(SVM)識別火焰紋理。該算法提高了識別率,能成功區(qū)分紅葉林與火焰,可以快速預(yù)測火災(zāi)。

3.5 在維吾爾文離線手寫簽名中的應(yīng)用

為了提高離線手寫簽名識別的精確性,張淑婧等人[24]提出基于紋理特征的維吾爾文離線簽名識別方法。提取多尺度塊LBP和LPQ紋理特征,通過隨機森林(RF)對圖像進行分類識別。該方法對簽名識別具有較好的準確性。針對不同實驗基于LPQ方法的圖像識別效果如表2所示。

表2 不同實驗基于LPQ方法的圖像識別效果

4 結(jié)語

通過介紹模糊圖像基于LPQ方法的研究進展情況,可以看出基于LPQ方法的圖像處理是一種有效的方法?？梢奓PQ算法及其變體在圖像處理、計算機視覺領(lǐng)域提供了一類重要的特征提取方法,并且LPQ算法通用性強,不局限于灰度圖像,甚至在多個領(lǐng)域圖像識別結(jié)果中都有著極高識別率。

LPQ方法具有強大的應(yīng)用價值與廣泛的應(yīng)用前景,對紋理特征提取過程中解決模糊因素影響的研究方法越來越豐富。因此,在實際操作中研究者應(yīng)該對基于LPQ的圖像處理方法進行不斷的改進與完善。一方面,可以結(jié)合多種影響因素進行紋理特征提取,以獲取更全面、準確的特征信息;另一方面,也可以改進現(xiàn)有的相關(guān)方法或者尋找更加合適的模糊度量方法,從而提高算法的精度和魯棒性。這些改進措施可以大幅提升算法的性能,使其在實際應(yīng)用中表現(xiàn)更加優(yōu)越。

在研究LPQ這類問題過程中發(fā)現(xiàn),處理模糊圖像也能夠通過深度學(xué)習(xí)的方法得到解決。關(guān)于深度學(xué)習(xí)方法來解決圖像模糊的問題,后續(xù)會進行深入研究并繼續(xù)擴展LPQ的應(yīng)用領(lǐng)域,嘗試對圖像進行分割處理來有效地提取圖像信息,從而能夠更好地解決模糊圖像處理中復(fù)雜系統(tǒng)的不確定性的難題。