田配云,鄭碧波,陳偉清
(華南師范大學(xué)物理與電信工程學(xué)院,廣東 廣州 510006)
局部紋理特征是圖像的重要特征之一,近年來(lái),由于局部紋理圖像特征對(duì)幾何的位移變化、角度的旋轉(zhuǎn)變化、光照的變化[1-3]等良好的適應(yīng)性,已成為紋理分類(lèi)中的一個(gè)重要的特征表示形式[4-6]。現(xiàn)有的局部紋理特征表示形式主要有Gabor小波[7-8]和局部二值模式(Local Binary Patterns,LBP)[9-10]。但是這些方法多數(shù)是針對(duì)紋理的灰度特征提取進(jìn)行研究,為了提高局部紋理特征分類(lèi)的準(zhǔn)確性,文獻(xiàn)[11]把彩色信息加入紋理特征的提取和表示中,與傳統(tǒng)的灰度LBP特征相比較來(lái)說(shuō),彩色LBP因加入了顏色特征而具有更好的紋理表征能力。然而目前的許多工作都是局限于簡(jiǎn)單地將灰度紋理特征提取轉(zhuǎn)變?yōu)樵诓煌男盘?hào)通道下的彩色紋理特征,而沒(méi)有考慮將多個(gè)信號(hào)通道獲取的紋理特征進(jìn)行融合,因此在光照變化時(shí),并沒(méi)有顯著地提升灰度紋理特征的分類(lèi)準(zhǔn)確率。文獻(xiàn)[12]提出了一種彩色LBP特征提取和表示方法,即局部彩色矢量二值模式(Local Color Vector Binary Patterns,LCVBPs),對(duì)不同光照變化下人臉的彩色圖像進(jìn)行分類(lèi),提高了光照變化條件下對(duì)人臉圖像識(shí)別的準(zhǔn)確率。
本文采用彩色局部角度二值模式[12](Color Local Angle Binary Patterns,CLABP)對(duì) Outex紋理數(shù)據(jù)庫(kù)[13]在不同光照下的紋理圖像進(jìn)行分類(lèi)。首先提取Y、Cb、Cr顏色模型空間不同信號(hào)通道的彩色紋理圖像,獲取Y、Cb、Cr三個(gè)信號(hào)通道兩兩之間的夾角,并使用旋轉(zhuǎn)不變的uniform LBP進(jìn)行角度的編碼;最后將得到的多個(gè)信號(hào)通道的直方圖級(jí)聯(lián)起來(lái)得到CLABP直方圖。實(shí)驗(yàn)結(jié)果表明,本文采用的方法在Outex紋理圖像數(shù)據(jù)庫(kù)中能取得滿意的分類(lèi)效果。下面就彩色局部二值模式(Color Local Binary Patterns,CLBP)和彩色局部角度二值模式[12](CLABP)分別進(jìn)行詳細(xì)的介紹。
文獻(xiàn)[11]提出彩色局部二值模式用于彩色圖像的人臉識(shí)別,這種方法通過(guò)將彩色圖像分解為Y、Cb、Cr三個(gè)信號(hào)通道的圖像,分別提取這3個(gè)信號(hào)通道的LBP特征,最后將這3個(gè)通道的LBP特征作為圖像的特征用于人臉圖像分類(lèi)。
圖像I表示一幅彩色圖像,則彩色圖像I可以在Y、Cb、Cr顏色空間分解為Y 亮度、Cb、Cr色度這3個(gè)信號(hào)通道的3幅圖像。給定某個(gè)像素點(diǎn)z=(x,y),則該像素點(diǎn)可以表示為三維的向量 c=[v1,v2,v3]T,其中vi表示第i個(gè)信號(hào)通道中該像素點(diǎn)的值。
彩色局部二值模式對(duì)于Y、Cb、Cr三個(gè)信號(hào)通道中分別提取像素點(diǎn)的顏色值構(gòu)建LBP特征,也即是通過(guò)比較3個(gè)信號(hào)通道圖像中每個(gè)像素點(diǎn)和相鄰的像素點(diǎn)得到一個(gè)二進(jìn)制數(shù),將此二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)即此像素點(diǎn)的LBP特征表示。把每幅紋理圖像中所有像素點(diǎn)的LBP特征所構(gòu)成的直方圖看作該紋理圖像的總體LBP特征,如圖1所示。中心像素點(diǎn)周?chē)鷧^(qū)域的LBP特征計(jì)算公式為:
其中s(gp-gc)表示一個(gè)階躍函數(shù),當(dāng)x≥0時(shí),s(x)=1;當(dāng) x<0時(shí),s(x)=0。gc表示中心像素點(diǎn),gp(p=0,1,…,P-1)表示gc的鄰近像素點(diǎn)。P和R分別表示鄰近像素點(diǎn)的個(gè)數(shù)和半徑。
圖1 彩色LBP特征表示
LBP特征比較相鄰像素值與中心位置對(duì)應(yīng)的像素值,且對(duì)于不同位置的比較結(jié)果賦予不同的權(quán)值,對(duì)于圖像的平移具有很好的不變性。此外LBP特征通過(guò)獲取2P個(gè)模式中的最小值來(lái)消除圖像旋轉(zhuǎn)產(chǎn)生的影響,因此LBP具有很強(qiáng)的紋理描述能力。利用歸一化的旋轉(zhuǎn)不變uniform LBP特征提取紋理的局部特征的方法,在具有平移不變性和旋轉(zhuǎn)不變性的基礎(chǔ)上,降低了LBP特征的維度。
把彩色局部二值模式應(yīng)用于紋理圖像的分類(lèi),雖然加入了顏色的特征信息,但是顏色對(duì)光照的變化比較敏感。在自然條件下,圖像采集過(guò)程中很難將光照控制在一個(gè)具體的值。因此就需要提取出不同光照變化下具有光照不變性的紋理特征。
為了解決現(xiàn)有的彩色局部二值模式特征在光照變化下識(shí)別率不高的問(wèn)題,本文采用彩色局部角度二值模式提取圖像的局部紋理特征來(lái)解決不同光照變化對(duì)彩色紋理分類(lèi)的影響。當(dāng)同一幅圖像的光照發(fā)生變化時(shí),相當(dāng)于在Y、Cb、Cr顏色模型中3個(gè)信號(hào)通道內(nèi)的圖像像素值發(fā)生了等比例的增大或減小,這將導(dǎo)致彩色LBP特征編碼發(fā)生改變,從而無(wú)法識(shí)別紋理,因此單純地利用Y、Cb、Cr顏色模型中3個(gè)信號(hào)通道的顏色值不能解決光照變化下的彩色紋理分類(lèi)問(wèn)題。而采用彩色局部角度二值模式,當(dāng)光照發(fā)生變化時(shí),雖然Y、Cb、Cr顏色模型中3個(gè)信號(hào)通道內(nèi)的圖像像素值發(fā)生了等比例的變化,但是Y、Cb、Cr顏色模型中3個(gè)信號(hào)通道內(nèi)的圖像像素值之間的夾角是不會(huì)變化的。如圖2所示。
圖2 彩色圖像和光照變化圖像的顏色夾角示意圖
由圖2(c)、圖2(d)矢量圖對(duì)比可知:無(wú)論空間矢量的大小發(fā)生怎樣的變化,它與各個(gè)通道的夾角始終沒(méi)有發(fā)生變化。
現(xiàn)假設(shè)每個(gè)像素點(diǎn)Cb、Cr值構(gòu)成的矢量r與Cb軸(參光線)的夾角為θ,如圖3所示。
圖3 矢量r與Cb軸的夾角
在Cb、Cr兩個(gè)信號(hào)通道平面內(nèi),若空間矢量r與參光線的夾角為θ,當(dāng)所求空間矢量與參光線的夾角θ1>θ時(shí),取值為1,當(dāng)所求矢量與參光線的夾角θ1<θ時(shí),取值為0。同理,在Y、Cb和Y、Cr信號(hào)通道平面內(nèi)亦是如此。
因此可以利用Y、Cb、Cr顏色模型的夾角對(duì)光照變化后的圖像進(jìn)行識(shí)別,采用一種彩色局部角度二值模式(CLABP)特征來(lái)彌補(bǔ)彩色LBP特征不能有效地識(shí)別光照變化后的紋理圖像的缺點(diǎn)。如圖4所示,當(dāng)圖像的光照發(fā)生變化時(shí),CLBP的分布發(fā)生了明顯的變化,而CLABP的分布沒(méi)有發(fā)生明顯的變化。這樣就保證了,即使圖像的光照發(fā)生了變化,該方法同樣可以有效地利用CLABP特征來(lái)識(shí)別圖像。
由上述分析可以看出,當(dāng)像素點(diǎn)的光照發(fā)生變化時(shí),夾角θ不會(huì)發(fā)生明顯的變化,因此用旋轉(zhuǎn)不變的uniform LBP對(duì)像素點(diǎn)z及其鄰近像素點(diǎn)的彩色角度進(jìn)行編碼:
其中:
對(duì)一幅紋理圖像分別獲取Y、Cb、Cr各信號(hào)通道的CLABP直方圖hca,然后級(jí)聯(lián)起來(lái),得到該圖像的CLABP直方圖的總體特征h:
當(dāng)P=8,R=2時(shí),得到的CLABP特征直方圖h的維度是3×9=27維。
圖4中,用CLBP進(jìn)行歐式距離比較的結(jié)果是14.3616,而用CLABP進(jìn)行歐式距離比較的結(jié)果是7.7055,兩者均沒(méi)有進(jìn)行歸一化處理,可以看出,CLABP對(duì)光照變化的圖像更為適應(yīng)。
圖4 CLBP和CLABP對(duì)光照變化圖像的分布比較
本文采用的實(shí)驗(yàn)平臺(tái)是Windows 7,用MATLAB 2011b編程實(shí)現(xiàn),評(píng)價(jià)數(shù)據(jù)集是公開(kāi)的紋理數(shù)據(jù)庫(kù)Outex[13]。所有的圖像尺度都重新轉(zhuǎn)化為128×92像素大小。
本文方法CLABP和彩色局部二值模式CLBP方法的比較,都采用了不同的LBP設(shè)置,即對(duì)P和R進(jìn)行修改。采用的分類(lèi)策略是最近鄰策略,距離度量是歐式距離度量,即最接近的紋理類(lèi)別即是測(cè)試圖像的類(lèi)別。為了提高分類(lèi)的準(zhǔn)確性,對(duì)提取的紋理特征進(jìn)行10次實(shí)驗(yàn),分類(lèi)的準(zhǔn)確率取這10次實(shí)驗(yàn)的平均值。圖5是Outex紋理圖像數(shù)據(jù)庫(kù)的部分示例圖像,該數(shù)據(jù)庫(kù)包含了大量的紋理圖片,包括自然紋理和表面紋理,而且提供了不同的光照條件、旋轉(zhuǎn)和分辨率。
圖5 Outex紋理數(shù)據(jù)庫(kù)部分示例圖像
下面對(duì)Outex紋理數(shù)據(jù)庫(kù)進(jìn)行評(píng)價(jià)。
Outex紋理數(shù)據(jù)庫(kù)[13]是為了解決不同光照下紋理分類(lèi)問(wèn)題而設(shè)計(jì)的,它提供了在2856 K亮度的白熾燈光照(縮寫(xiě)為“inca”)下獲取的大量紋理圖像。Outex的測(cè)試數(shù)據(jù)分為兩個(gè)部分,分別代表兩種不同的光照變化下的紋理圖像,其中“tl84”代表4000 K亮度的日光燈光源;而“horizon”代表2300 K亮度的自然光源。每個(gè)測(cè)試部分均有24個(gè)類(lèi)別的紋理圖像,每個(gè)類(lèi)別選取54幅圖像,其中14幅圖像用于訓(xùn)練,40幅圖像用于分類(lèi),這些圖像涵蓋了9種不同角度(00、05、10、15、30、45、60、75、90)的旋轉(zhuǎn),通過(guò)大量(336幅圖像用于訓(xùn)練,960幅圖像用于分類(lèi))的數(shù)據(jù)能夠充分驗(yàn)證本文方法的有效性。
表1 Outex紋理庫(kù)的分類(lèi)結(jié)果
從表1中的實(shí)驗(yàn)結(jié)果可以看出,本文采用彩色局部角度二值模式(CLABP)來(lái)提取和表示紋理特征的方法在P=16,R=2時(shí)得到了最高的分類(lèi)準(zhǔn)確率,這是因?yàn)橥ㄟ^(guò)提取彩色紋理圖像多個(gè)信號(hào)通道之間的夾角信息,有效地避免了不同光照變化帶來(lái)的影響,而LBP紋理特征本身的平移旋轉(zhuǎn)不變性,也有效地保證了紋理圖像發(fā)生平移旋轉(zhuǎn)變化時(shí)紋理圖像的分類(lèi)準(zhǔn)確率。
本文針對(duì)光照變化的彩色紋理圖像分類(lèi)問(wèn)題,采用了彩色局部角度二值模式(CLABP)特征提取和表示的方法,該方法充分利用了LBP特征提取迅速的特點(diǎn),通過(guò)提取紋理圖像的彩色局部角度二值模式適應(yīng)了不同光照變化的影響。此外,通過(guò)求取多個(gè)信號(hào)通道之間的局部夾角,融合各個(gè)信號(hào)通道之間的像素值,為后續(xù)的分類(lèi)提高了準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,本文所采用的彩色角度局部二值模式方法在Outex紋理數(shù)據(jù)庫(kù)上具有較高的分類(lèi)準(zhǔn)確率。
由于LBP本身不具有自適應(yīng)的多尺度特性,所以本文所用的彩色局部角度二值模式特征提取和表示方法中,采用的也是固定半徑來(lái)確定LBP的提取范圍,并不具備自適應(yīng)的多尺度特性。因此下一步的工作重點(diǎn)就是如何更好地提取出具有自適應(yīng)的多尺度光照不變性的局部紋理特征。另一方面,本文采用的歸一化旋轉(zhuǎn)不變uniform LBP特征提取紋理的局部特征的方法,雖然降低了LBP特征的維度,但同時(shí)也降低了紋理分類(lèi)的準(zhǔn)確率,所以在保留原有uniform LBP分類(lèi)準(zhǔn)確率的基礎(chǔ)上,降低特征提取的維度,也是今后研究的重點(diǎn)。
[1] Li S Z,Chu R,Liao S,et al.Illumination invariant face recognition using near-infrared images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(4):627-639.
[2] Tan X,Triggs B.Enhancedlocal texture feature sets for face recognition under difficult lighting conditions[J].IEEE Transactions on Image Processing,2010,19(6):1635-1650.
[3] Liu Z,Liu C.Fusion of color,local spatial and global frequency information for face recognition[J].Pattern Recognition,2010,43(8):2882-2890.
[4] Zhang J,Marszalek M,Lazebnik S,et al.Local features and kernels for classification of texture and object categories:A comprehensive study[J].International Journal of Computer Vision,2007,73(2):213-238.
[5] Rodriguez Y,Marcel S.Face authentication using adapted local binary pattern histograms[C]//Proceedings of the 9th European Conference on Computer Vision.2006,4:321-332.
[6] Hennings-Yeomans P H,Kumar B V K V,Baker S A.Robust low-resolution face identification and verification using high-resolution features[C]//Proceedings of the 16th IEEE International Conference on Image Processing.2009:33-36.
[7] Zhu F,Zhang X,Hu Y.Gabor filter approach to joint feature extraction and target recognition[J].IEEE Transactions on Aerospace and Electronic Systems,2009,45(1):17-30.
[8] Liu C,Wechsler H.Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition[J].IEEE Transactions on Image Processing,2002,11(4):467-476.
[9] Ahonen T,Hadid A,Pietikainen M.Face description with local binary pattern:Application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.
[10] Ojala T,Pietikainen M,Maenpaa T.Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.
[11] Choi J Y,Plataniotis K N,Ro Y M.Using colour local binary pattern features for face recognition[C]//Proceedings of the17th IEEE International Conference on Image Processing.2010:4541-4544.
[12] Lee S H,Choi J Y,Ro Y M,et al.Local color vector binary patterns from multichannel face images for face recognition[J].IEEE Transactions on Image Processing,2012,21(4):2347-2353.
[13] Ojala T,Maenpaa T,Pietikainen M,et al.Outex:New framework for empirical evaluation of texture analysis algorithms[C]//Proceedings of the 16th International Conference on Pattern Recognition.2002,1:701-706.