許允喜　陳方

特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合的局部圖像描述符

許允喜1陳方1

提出了一種新的局部圖像描述符:特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合描述符（Feature combination and rotation invariant space division combination descriptor，F(xiàn)CSCD）.提出了一種新的局部特征:WLBP（Weber local binary pattern），該特征由局部二進(jìn)制模式和韋伯二進(jìn)制差分激勵聯(lián)合得到.提出了一種新的用于特征匯聚的旋轉(zhuǎn)不變空間分割方法，該方法由強(qiáng)度序空間分割和圓環(huán)空間分割聯(lián)合得到.WLBP在局部旋轉(zhuǎn)不變坐標(biāo)系計算得到，強(qiáng)度序和圓環(huán)空間分割本身也具有旋轉(zhuǎn)不變性，所以FCSCD描述符在不需要計算圖像塊主方向下保持了旋轉(zhuǎn)不變性.與現(xiàn)有的局部描述符相比，本文的聯(lián)合方法編碼了多種類型的信息在描述符直方圖中，所以FCSCD辨別能力更強(qiáng)，魯棒性更強(qiáng).圖像匹配實驗結(jié)果表明了本文方法的有效性和優(yōu)越性，所提出的描述符具有很高的匹配性能，優(yōu)于其他的主流局部描述符（SIFT、CS-LBP、OSID、LIOP、EOD和MRRID）.

局部圖像描述符，SIFT，圖像匹配，旋轉(zhuǎn)不變

引用格式許允喜，陳方.特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合的局部圖像描述符.自動化學(xué)報，2016，42（4）:617?630

局部圖像描述符已廣泛應(yīng)用于從運(yùn)動恢復(fù)結(jié)構(gòu)［1］、機(jī)器人導(dǎo)航［2］、目標(biāo)識別［3］、圖像搜索［4］、圖像分類［5］、圖像拼接［6］等眾多計算機(jī)視覺和圖像處理領(lǐng)域.

SIFT描述符［7］是目前最流行、應(yīng)用最為廣泛的局部圖像描述符，其描述8個方向的梯度特征的空間分布，采用4×4笛卡兒坐標(biāo)網(wǎng)格的空間匯聚方法，產(chǎn)生128維直方圖向量.隨后，研究者提出了各種SIFT描述符變體.針對SIFT描述符的高維度，Ke和Sukthankar［8］利用主分量分析方法對SIFT進(jìn)行了維數(shù)約簡，得到了低維的PCASIFT描述符.針對PCA-SIFT中對本征向量空間的求解非常耗時的缺點，顏雪軍等［9］提出了采用2DPCA對梯度向量塊進(jìn)行降維的局部區(qū)域描述方法.Mikolajczyk等［10］提出了采用新的空間匯聚方法的GLOH（Gradient location and orientation histogram）描述符，該描述符采用3個徑向方向和8個角度方向的log-polar網(wǎng)格坐標(biāo)對興趣區(qū)域進(jìn)行空間劃分.Mikolajczyk等［10］并對各類局部圖像描述符（形狀上下文、矩、復(fù)雜濾波器、互相關(guān)描述符、微分描述符、方向可調(diào)描述符、Spin描述符、SIFT、PCA-SIFT、GLOH）進(jìn)行了性能評價.評價結(jié)果表明：SIFT描述符及其變體在各種圖像變換下的性能都優(yōu)于其他類型的描述符.接著，Bay等［11］提出了SURF（Speeded up robust features）描述符，其利用Box濾波代替高斯濾波，利用哈爾濾波器代替梯度.相對于SIFT描述符，SURF描述符的計算速度提高了3～7倍.Tola等［12］提出了應(yīng)用于寬基線立體和稠密特征提取的DAISY描述符，該描述符采用了分布在中心圓環(huán)上的不同圓形區(qū)域進(jìn)行空間匯聚.Brown等［13］提出了利用機(jī)器學(xué)習(xí)的方法來學(xué)習(xí)最佳的、與DAISY類似的空間匯聚策略.但Brown等采用的優(yōu)化準(zhǔn)則不是解析的，容易陷入局部最小.針對該問題，Simonyan等［14］提出了采用凸優(yōu)化的局部描述符學(xué)習(xí)方法.當(dāng)然，除了這些采用梯度特征的SIFT描述符及其變體外還存在許多其他局部描述符.Heikkil¨a等［15］提出了中心對稱局部二進(jìn)制模式（Center-symmetric local binary pattern，CS-LBP）描述符，描述了中心對稱像素對強(qiáng)度對比的空間分布.Tang等［16］提出了序空間強(qiáng)度分布（Ordinal spatial intensity distribution，OSID）描述符，該描述符是空間位置和強(qiáng)度序的二維分布.受韋伯準(zhǔn)則啟發(fā)，Chen等［17］提出了韋伯局部描述符（Weber local descriptor，WLD），該描述符包含差分激勵和方向二部分.WLD主要用于紋理分類和人臉檢測.Kim等［18］提出了一種基于精確序的局部描述符（Exact order based descriptor，EOD）.EOD對CS-LBP和OSID兩種描述符進(jìn)行改進(jìn)和融合，其計算分為三步：1）為了解決OSID中相同強(qiáng)度像素的序模糊性，通過把圖像的離散強(qiáng)度值轉(zhuǎn)化為k維的連續(xù)值得到精確的序圖像，從而得到GEOF（Global exact order feature）特征；2）為了解決CS-LBP描述符對高斯噪聲敏感的問題，利用哈爾特征算子進(jìn)行改進(jìn)得到LEOF（Local exact order feature）特征；3）使用離散余弦變換對直接級聯(lián)的LEOF和GEOF特征進(jìn)行維數(shù)約簡，得到最后的EOD描述符.

上面提到的SIFT及其他局部描述符都需要估計圖像塊的主方向來達(dá)到旋轉(zhuǎn)不變性.然而，主方向估計是不可靠、不精確的.Lazebnik等［19］提出了旋轉(zhuǎn)不變特征變換（Rotation invariant feature transform，RIFT）描述符.RIFT采用旋轉(zhuǎn)不變圓環(huán)空間分割方法，圓形歸一化圖像塊分成4個相同寬度的同心環(huán)，在局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)下計算每個圓環(huán)內(nèi)的梯度方向直方圖.由于圓環(huán)空間分割方法的分組數(shù)目非常有限，丟失了許多空間信息，所以RIFT描述符的辨別性很低［20］.Fan等［20］提出了2個在多支撐域上計算的基于強(qiáng)度序匯聚局部特征的圖像描述符：基于序的多支撐域梯度直方圖（Multisupport region order-based gradient histogram，MROGH）和多支撐域旋轉(zhuǎn)和強(qiáng)度單調(diào)不變描述符（Multisupport region rotation and intensity monotonic invariant descriptor，MRRID）.MROGH采用方向梯度作為局部特征，MRRID采用LBP作為局部特征.強(qiáng)度序作為一種空間分割方法對局部特征進(jìn)行匯聚形成統(tǒng)計直方圖.Wang等［21］提出了局部強(qiáng)度序模式（Local intensity order pattern，LIOP）描述符，其空間分割方法也采用強(qiáng)度序，局部特征采用局部強(qiáng)度序模式.和RIFT一樣，MROGH、MRRID和LIOP中的局部特征也都在局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)下計算得到，保持旋轉(zhuǎn)不變性.RIFT采用的圓環(huán)空間分割方法具有旋轉(zhuǎn)不變性，MROGH、MRRID和LIOP采用的強(qiáng)度序空間分割方法也具有旋轉(zhuǎn)不變性.所以，RIFT、MROGH、MRRID和LIOP具有內(nèi)在的旋轉(zhuǎn)不變性，在不需要估計圖像塊的主方向條件下達(dá)到了旋轉(zhuǎn)不變.

本文聯(lián)合WLD描述符中的韋伯二進(jìn)制差分激勵和LBP，得到新的WLBP（Weber local binary pattern）局部特征.WLBP在局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)下計算，是旋轉(zhuǎn)不變的.韋伯二進(jìn)制差分激勵從另一個方面描述了像素的局部鄰域信息，所以相對于LBP，WLBP對局部鄰域的描述能力更強(qiáng).提出了一種新的用于特征匯聚的旋轉(zhuǎn)不變空間聯(lián)合分割方法，該方法由強(qiáng)度序空間分割和圓環(huán)空間分割聯(lián)合得到.通過該旋轉(zhuǎn)不變空間聯(lián)合分割方法匯聚WLBP局部特征得到新的局部圖像描述符FCSCD.相對于單獨(dú)利用強(qiáng)度序空間分割或圓環(huán)空間分割的方法相比，聯(lián)合分割方法能更好地描述不同類型圖像塊的局部特征空間分布.綜合而言，相對于存在的其他局部描述符，F(xiàn)CSCD在直方圖中編碼了多種類型的信息，所以其性能也更加優(yōu)越.

最后，進(jìn)行了標(biāo)準(zhǔn)數(shù)據(jù)集上的匹配實驗來驗證本文算法的有效性.實驗結(jié)果表明：本文提出的描述符匹配性能優(yōu)于其他的主流局部圖像描述符（SIFT、CS-LBP、OSID、LIOP、EOD和MRRID）.

1　局部圖像描述符的設(shè)計

1.1局部特征提取

MRRID描述符中計算LBP特征采用局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)，本文的LBP特征計算方法和MRRID一樣.由于維數(shù)限制，用于局部圖像描述符的LBP特征都是指CS-LBP［15，20］，所以本文的LBP特征也為CS-LBP.如圖1所示，假定P為興趣點，Xc為其支撐域中的一個像素點.設(shè)為正y軸，則建立了該像素點的局部xy坐標(biāo)系統(tǒng).該局部坐標(biāo)系是旋轉(zhuǎn)不變的，則在該坐標(biāo)系下計算得到的局部特征也具有旋轉(zhuǎn)不變性.在該局部坐標(biāo)系統(tǒng)下旋轉(zhuǎn)不變局部二進(jìn)制模式和韋伯二進(jìn)制差分激勵（Weber binary differential excitation，WBDE）計算如下：

其中，Xj為中心像素點Xc在局部xy坐標(biāo)系統(tǒng)下沿x和y軸分布的鄰居點，如圖1所示.R為周圍鄰居點的半徑，N為鄰居點數(shù)目.根據(jù)文獻(xiàn)［15，17，20］的研究，R取2、N取8時最好.I（Xj）表示Xj的強(qiáng)度.WBDE特征是韋伯差分激勵［17］的二進(jìn)制版本.LBP計算與中心像素對稱的2個像素之間的強(qiáng)度差，大于0或小于0表示一個像素的強(qiáng)度大于或小于另一個像素的強(qiáng)度.WBDE計算所有鄰居點與中心像素之間的強(qiáng)度差之和，大于0表示周圍點比中心像素點更亮，小于0表示周圍點比中心像素點更黑.由此可見，WBDE特征和LBP特征對局部鄰域的描述是完全不同的，具有一定的互補(bǔ)性.聯(lián)合WBDE特征和LBP特征將增強(qiáng)像素的局部鄰域描述能力.本文對WBDE特征和LBP特征進(jìn)行二維聯(lián)合，再把二維特征聯(lián)合轉(zhuǎn)化為一維特征，得到本文的WLBP特征，計算如下：

WLBP特征維數(shù)m=2N/2+1.因為N取8時最好，所以m=32.

圖1　局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)Fig.1　Local rotation-invariant coordinate system

1.2空間分割

1.2.1強(qiáng)度序空間分割

對支撐域中所有像素點根據(jù)其強(qiáng)度值進(jìn)行排序，得到每個像素點的強(qiáng)度序值.這樣就把原始的強(qiáng)度值轉(zhuǎn)化為序值.強(qiáng)度序?qū)D像塊的旋轉(zhuǎn)保持不變.設(shè)支撐域中共有n個像素點，每個像素點有唯一的強(qiáng)度序，則像素點的強(qiáng)度序值取值范圍為1～n.把1～n從小到大平均分為k段，每個像素點根據(jù)其強(qiáng)度序值進(jìn)行分組：

其中，d（Xj）為像素點Xj的強(qiáng)度序值.因為每個像素的強(qiáng)度序是唯一的，所以每個像素所屬的組別也是唯一的.因為強(qiáng)度序的分組數(shù)目不能太大，僅利用強(qiáng)度序空間分割方法匯聚局部特征的描述符性能是受限的，后面的圖像匹配實驗也證實了該結(jié)論.

1.2.2圓環(huán)區(qū)域空間劃分

文獻(xiàn)［19］把支撐區(qū)域分為4個互不相交的圓環(huán)區(qū)域.這種劃分方法有兩個缺點：1）因為支撐區(qū)域半徑是有限的（通常為20.5個像素），劃分為4個區(qū)域?qū)е聢A環(huán)的寬度很窄，得到的描述符對大的幾何形變是不魯棒的；2）相同徑向尺寸的圓環(huán)區(qū)域，離圓心越近的圓環(huán)區(qū)域所包含的像素越少.所以僅利用圓環(huán)空間分割方法匯聚局部特征的RIFT描述符辨別性很低，遠(yuǎn)低于非旋轉(zhuǎn)不變的空間分割方法（如SIFT）［20］.

所以，本文給出了一種相互重疊的圓環(huán)區(qū)域劃分，且離圓心越近的圓環(huán)區(qū)域其徑向尺寸越大.圖2給出了2個相互重疊的圓環(huán)區(qū)域劃分方法，同一種線型2個不同半徑的內(nèi)外圓組成1個圓環(huán)區(qū)域.其中，最靠近圓心的一個圓環(huán)區(qū)域的內(nèi)圓半徑為0，所以圓環(huán)區(qū)域就變?yōu)閳D2中一個虛線的圓.若支撐域分為d個相互重疊的圓環(huán)區(qū)域，則d個區(qū)域分別表示為Sbin1，Sbin2，···，Sbind.由于圓環(huán)區(qū)域有一定的重疊，所以有些像素所屬的組別不是唯一的.

圖2　相互重疊的兩個圓環(huán)區(qū)域劃分Fig.2　Two overlapping annular regions division

1.2.3旋轉(zhuǎn)不變空間分割聯(lián)合

假定一像素點位于Ibini強(qiáng)度序分組中并且也位于圓環(huán)空間區(qū)域分組Sbinj中，則該像素點位于分組ISbinl中.ISbinl分組表達(dá)如下：

由上式可知：ISbinl分組是強(qiáng)度序分組Ibini和圓環(huán)空間區(qū)域分組Sbinj的空間分割聯(lián)合，是2種區(qū)域分組的交集，是像素點的聯(lián)合二維空間分類，ISbinl的維數(shù)S=k×d.像素的強(qiáng)度序描述了一個圖像塊中像素的全局亮度屬性.像素的2D圓環(huán)位置描述了像素的空間幾何屬性.這2種空間分割方法是完全不同的，聯(lián)合這2種互補(bǔ)的空間分割方法將更好地描述不同類型圖像塊的局部特征空間分布.因為有些像素所屬的Sbinj不是唯一的，所以這些像素所屬的ISbinl也不是唯一的.圖3給出了旋轉(zhuǎn)不變空間分割聯(lián)合過程.首先對如圖3（a）所示的歸一化圓形支撐區(qū)域進(jìn)行強(qiáng)度序和圓環(huán)空間分割，圖3（b）和圖3（c）為2個圓環(huán)空間分割，圖3（d）、圖3（e）和圖3（f）為3個強(qiáng)度序空間分割.最終得到的如圖3（g）、圖3（h）、圖3（i）、圖3（j）、圖3（k）和圖3（l）所示的6個空間分組區(qū)域，由2個圓環(huán)空間分割和3個強(qiáng)度序空間分割的空間交集聯(lián)合得到.

圖3　通過聯(lián)合空間分割匯聚支撐域中局部特征的流程Fig.3　The procedure of pooling local features in a support region by the combination of space divisions

1.3局部特征空間匯聚

FCSCD描述符的構(gòu)建過程如圖3所示，在每個空間分組ISbinm中匯聚WLBP特征，然后把它們級聯(lián)起來，得到我們的描述符.數(shù)學(xué)上，F(xiàn)CSCD描述符的計算如下：

FCSCD描述符的維數(shù)為S×m=k×d×m.最后，對描述符進(jìn)行歸一化.

1.4多支撐域討論

區(qū)域檢測子提取用于計算描述符的興趣區(qū)域.為了得到尺度或仿射不變性，局部興趣區(qū)域需要?dú)w一化為一個標(biāo)準(zhǔn)區(qū)域（通常為41×41像素的圓形區(qū)域），然后在這個標(biāo)準(zhǔn)區(qū)域中計算描述符，CS-LBP［15］、OSID［16］、MRRID［20］、LIOP［21］和EOD［18］都在該標(biāo)準(zhǔn)區(qū)域上計算.這個歸一化的標(biāo)準(zhǔn)區(qū)域也稱為支撐域.尺度或仿射區(qū)域不變檢測子提取的興趣區(qū)域用對稱矩陣A∈R2×2表示，則區(qū)域中的任何一點X可表示為［20］

歸一化區(qū)域中的像素點需滿足以下條件：

r為歸一化區(qū)域的半徑（一般為20.5個像素）.由式（8）和式（9）可以得到下式［20］：

所以，利用式（10）和興趣區(qū)域的像素點強(qiáng)度值可以計算得到歸一化區(qū)域中每個像素點的強(qiáng)度值.由式（8）可知：對矩陣A乘以一個尺度因子，在不改變興趣區(qū)域形狀的條件下可以改變興趣區(qū)域的尺寸.所以，對矩陣A分別乘以幾個不同的尺度因子可以得到幾個不同尺寸的興趣區(qū)域，再對這些興趣區(qū)域進(jìn)行歸一化就得到幾個不同的支撐域，如圖4所示.局部描述符［15?16，18，20?21］都在該歸一化的標(biāo)準(zhǔn)支撐域上計算，所以多支撐域?qū)儆趨^(qū)域歸一化步驟，任何局部描述符都有多支撐域形式.不同場景的2個特征點在某個局部區(qū)域可能會出現(xiàn)相似的外觀.然而，不同場景的2個特征點在幾個不同大小的局部區(qū)域出現(xiàn)相似外觀的可能更小.所以，在多個支撐域上構(gòu)建描述符將提高他們的辨別性能.文獻(xiàn)［20］選擇4個以興趣點為中心的不同尺寸大小的橢圓區(qū)域，對其分別進(jìn)行歸一化，得到4個支撐區(qū)域，如圖4所示.在每個支撐域i上獨(dú)立計算一個局部描述符向量Di.在4個支撐域上計算得到的所有局部描述符向量級聯(lián)起來形成多支撐域局部描述符（D1，D2，D3，D4）.

圖4　四個支撐區(qū)域選擇及其歸一化Fig.4　The selection of four support regions and their normalization

使用多支撐域的描述符通常都比使用單支撐域的描述符具有更高的性能，不同的是：有些描述符提高得很少，如SIFT；有些描述符提高得很多，如MRRID.多支撐域局部描述符的計算復(fù)雜度很高，因為多支撐域中每個不同尺寸的局部區(qū)域都需要重新歸一化，對每個歸一化的區(qū)域都必須重新計算描述符.所以，N個支撐域的局部描述符的計算量通常是單支撐域的N倍.本文主要研究單支撐域局部描述符，但為了表明本文描述符在多支撐域條件下也有很好的性能，后面的實驗對FCSCD的多支撐域形式也進(jìn)行了性能評估.

1.5算法復(fù)雜度分析

FCSCD描述符的構(gòu)建過程主要包括局部特征提取、空間分割、空間匯聚幾個步驟.在計算WLBP時，支撐域中每個像素點都要建立局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)，每個像素點周圍需計算8個鄰居點的強(qiáng)度值.由于8個鄰居點不一定剛好在像素點網(wǎng)格上，所以需要利用雙線性內(nèi)插方法計算這8個鄰居點的強(qiáng)度值，每個像素點的雙線性內(nèi)插需要計算8次乘法運(yùn)算和11次加減法運(yùn)算，所以局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)的乘法運(yùn)算次數(shù)為64×n，加減法運(yùn)算次數(shù)為88 ×n.建立局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)后，LBP的計算需要4次加減法運(yùn)算，WBDE需要8次加減法運(yùn)算，聯(lián)合特征操作需要1次乘法運(yùn)算和1次加減法運(yùn)算，所以WLBP的乘法運(yùn)算次數(shù)為n，加減法運(yùn)算次數(shù)為13×n.所以局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)的計算復(fù)雜度遠(yuǎn)遠(yuǎn)高于特征提取本身的計算復(fù)雜度.FCSCD和MRRID都需要計算局部旋轉(zhuǎn)不變坐標(biāo)系統(tǒng)，所以在整個局部特征提取中FCSCD比MRRID只增加了很小的計算量.空間分割中強(qiáng)度序分割需要對n個數(shù)進(jìn)行排序，其計算復(fù)雜度為O（n×logn）.而圓環(huán)空間分割的計算復(fù)雜度僅為O（n）.所以FCSCD描述符的聯(lián)合空間分割比MRRID的強(qiáng)度序空間分割只增加了很小的計算量.

空間匯聚的計算復(fù)雜度和描述符維數(shù)Dim相關(guān)，其計算復(fù)雜度為O（Dim）.n的值遠(yuǎn)大于Dim，所以相對于局部特征提取和空間分割兩個步驟，空間匯聚的計算量很小.

從以上分析可以得出：相對于MRRID，F(xiàn)CSCD雖然采用了特征聯(lián)合和旋轉(zhuǎn)不變空間匯聚聯(lián)合兩個策略，但增加的計算復(fù)雜度很小，可以忽略，這在后面的描述符計算時間實驗中也得到了驗證.

2　實驗

實驗使用標(biāo)準(zhǔn)圖像數(shù)據(jù)集［10］對本文方法進(jìn)行了測試.該數(shù)據(jù)集包含了視角變換、圖像模糊、JPG壓縮、光照變化、旋轉(zhuǎn)和尺度變換這6種變換下的場景圖像.圖5展示了評價局部圖像描述符性能所采用的6組實驗數(shù)據(jù).每組數(shù)據(jù)包含6幅圖像，第1幅為基準(zhǔn)圖像，其余5幅為變換后的圖像，從第2幅到第6幅其圖像變換越來越大.第1組Bikes為圖像模糊變化，第2組Leuven為光照變化，第3組Boat為旋轉(zhuǎn)和尺度變化，第4組UBC為JPG圖像壓縮，第5組Wall為紋理圖像的視角變化，第6組Graffiti為結(jié)構(gòu)圖像的視角變化.

圖5　實驗數(shù)據(jù)集Fig.5　Data sets for the experiments

本文采用和文獻(xiàn)［10］一樣的評價準(zhǔn)則，其計算圖像對的正確匹配數(shù)和錯誤匹配數(shù).描述符之間的匹配依賴于匹配策略.匹配方法主要有基于距離閥值的匹配、最近鄰匹配、基于最近鄰和次近鄰比值的匹配三種.文獻(xiàn)［10］指出：不同局部描述符的性能排序?qū)τ谌N匹配方法是相似的，但描述符之間的距離是主要的相似性度量準(zhǔn)則，基于距離閥值的匹配結(jié)果反映了描述符的空間分布，所以基于距離閥值的匹配方法是局部描述符最合適的匹配準(zhǔn)則.因此，本文的實驗也采用基于距離閥值的匹配方法.在基于距離閥值的匹配方法中，如果兩個描述符之間的距離小于某個閥值則表示它們相互匹配.變化距離閥值則得到一條曲線：查全率-查錯率曲線.查全率是正確匹配數(shù)占對應(yīng)特征數(shù)目的比率，查錯率是錯誤匹配數(shù)目占總匹配數(shù)目的比率.好的局部描述符應(yīng)該能夠在提高查全率的同時降低查錯率.

為了對局部圖像描述符進(jìn)行公平的對比，本文采用廣泛應(yīng)用于局部描述符評價的區(qū)域檢測子.和文獻(xiàn)［10］一樣，本文采用Hession仿射不變和Harris仿射不變兩個區(qū)域檢測子［22］來評價描述符的性能.限于篇幅限制，本文僅給出Hession仿射不變區(qū)域的實驗結(jié)果.雖然每個描述符的性能隨不同的特征檢測子變化，但不同描述符的相對性能是一致的.區(qū)域特征檢測子和SIFT描述符均從牛津大學(xué)仿射不變特征研究小組網(wǎng)站上下載.

2.1參數(shù)設(shè)置實驗

本文的FCSCD描述符有兩個參數(shù)需要設(shè)置：圓環(huán)空間分組數(shù)目和強(qiáng)度序分組數(shù)目.一般而言，分組數(shù)越多，描述符捕獲的信息越多.但如果分組數(shù)太多，則會使描述符對圖像噪聲（變化）很敏感，從而導(dǎo)致描述符性能下降.而且，分組數(shù)越多，描述符的維數(shù)越高.本文采用wall序列來研究分組參數(shù)設(shè)置對匹配性能的影響.如表1，本文對各種參數(shù)組合進(jìn)行了描述符匹配對比實驗.從圖6可以看出，k=3，d=2（192）性能最差；其次是k=4，d=2（256），k=3，d=3（288）和k=5，d=2（320），三者性能相差不大；k=4，d=3（384）和k=5，d=3（480）性能最好，二者性能相當(dāng).綜合考慮匹配性能和復(fù)雜度（維數(shù)），本文采用k=4，d=2的參數(shù)設(shè)置.所以FCSCD描述符的維數(shù)為256，后面的實驗均采用該參數(shù)設(shè)置.

表1　FCSCD描述符的參數(shù)設(shè)置Table 1　The setting of parameters for FCSCD descriptor

圖6　不同參數(shù)下FCSCD描述符的匹配性能Fig.6　Matching performances of FCSCD under different parameter settings

2.2特征聯(lián)合和空間分割聯(lián)合性能評價

SCD128是指僅采用空間分割聯(lián)合，沒有特征聯(lián)合，局部特征采用LBP的描述符，其維數(shù)為128維.FCD128是指僅采用特征聯(lián)合，沒有空間分割聯(lián)合，空間分割采用強(qiáng)度序的描述符，其維數(shù)為128維. FCD256與FCD128不同的是：強(qiáng)度序分組數(shù)目設(shè)為8，其維數(shù)為256維.限于篇幅限制，圖7給出了部分匹配結(jié)果，其他數(shù)據(jù)集也得到相似的結(jié)果.從圖7可以看出，相對于SCD128、FCD128和FCD256，本文的FCSCD256匹配性能更高.特征聯(lián)合和空間分割聯(lián)合方法都能顯著提高描述符的局部圖像塊描述能力，從而提高了描述符的匹配性能.在僅利用強(qiáng)度序空間分割方法匯聚局部特征的情況下，即使增加強(qiáng)度序分組數(shù)目對描述符的性能提高也是非常有限的，在圖7（b）和圖7（d）的圖像變化條件下FCD256的性能比FCD128略有提高，在圖7（c）的圖像變化條件下FCD256的性能和FCD128相當(dāng)，在圖7（a）的圖像變化條件下FCD256的性能反而比FCD128略有下降.

2.3多支撐域性能評價

MFCSCD（2）指在2個支撐域上計算的FCSCD多支撐域描述符版本.MRRID（4）為文獻(xiàn)［20］中提出的多支撐域描述符，其在4個支撐域上計算得到.本文把MFCSCD（2）與FCSCD和MRRID（4）做了詳細(xì)的性能對比.限于篇幅限制，圖8給出了部分匹配結(jié)果，其他數(shù)據(jù)集也得到了相似的結(jié)果.圖8可以看出，相對于單支撐域FCSCD描述符，MFCSCD（2）有了很大的性能提高，且高于4個支撐域的MRRID（4）描述符.

圖7　各種聯(lián)合情況下FCSCD描述符的匹配性能對比Fig.7　Matching performance comparisons of FCSCD under different combination situations

2.4FCSCD描述符與其他局部描述符的匹配性能對比

最后，本文把FCSCD描述符與SIFT，LIOP，MRRID，CS?LBP，EOD和OSID描述符進(jìn)行了性能對比.SIFT是目前最流行的局部描述符，LIOP，MRRID，CS-LBP，EOD和OSID是最近提出的并且和本文相關(guān)的局部描述符.LIOP和MRRID都采用強(qiáng)度序匯聚局部特征，具有旋轉(zhuǎn)不變性.LIOP匯聚局部強(qiáng)度序模式，MRRID匯聚LBP特征.CSLBP采用非旋轉(zhuǎn)不變空間分割方法匯聚LBP特征. OSID采用強(qiáng)度序和非旋轉(zhuǎn)不變空間分割方法，不匯聚局部特征，是強(qiáng)度序和空間位置的二維分布. SIFT，CS-LBP，EOD和OSID都需要估計圖像塊的主方向達(dá)到旋轉(zhuǎn)不變性.其他描述符都是單支撐域描述符，所以為了公平評價，MRRID和FCSCD也采用單支撐域形式.圖9給出了牛津大學(xué)數(shù)據(jù)集中每個圖像序列的第2幅、第4幅和基準(zhǔn)圖像之間的描述符匹配結(jié)果.第2幅代表較小的圖像變化，第4幅代表較大的圖像變化［21］.相對于評價的其他描述符，F(xiàn)CSCD描述符的總體性能最優(yōu)越.FCSCD描述符在圖像模糊、視角變化、光照變化、JEPG壓縮、旋轉(zhuǎn)和尺度變化這幾種圖像幾何和光度變化下都表現(xiàn)出了超越其他描述符的優(yōu)越性能，這主要?dú)w功于本文的聯(lián)合編碼方法.聯(lián)合編碼方法（特征聯(lián)合和旋轉(zhuǎn)不變空間分割聯(lián)合）在FCSCD描述符直方圖中編碼了多種類型的信息.為了更直觀地展示局部描述符的匹配性能，圖10給出了各描述符的圖像匹配圖.和查全率-查錯率曲線一樣，匹配策略也采用基于距離閥值的匹配.限于篇幅限制，圖10僅給出了Graffiti 1～4和Wall 1～4的匹配結(jié)果，其他數(shù)據(jù)集也得到相似的結(jié)果.圖10中，白線表示正確匹配，黑線表示錯誤匹配.從圖10可以看出，F(xiàn)CSCD描述符的匹配性能優(yōu)于其他描述符.

圖8　多支撐域條件下FCSCD描述符的匹配性能對比Fig.8　Matching performance comparisons of FCSCD under multiple support regions

圖9　FCSCD描述符和其他主流描述符的匹配性能對比Fig.9　Matching performance comparisons of FCSCD and other popular descriptors

圖10　FCSCD描述符和其他主流描述符的圖像匹配圖Fig.10　Image matching results of FCSCD and other popular descriptors

最后，對描述符的計算時間進(jìn)行了評價.表2給出了本文描述符和其他7個描述符的計算時間，算法在主頻為2.2GHz的Intel Core 2 Duo T6600筆記本電腦上運(yùn)行.從表2可以看出：在所有單支撐域描述符中，CS-LBP的計算時間最短，EOD的計算時間最長，F(xiàn)CSCD和MRRID的計算時間相當(dāng)，所有單支撐越描述符的計算時間都相差不大.計算時間最長的多支撐域描述符MRRID（4）是單支撐域MRRID的四倍.

表2　描述符運(yùn)行時間對比Table 2　Comparison of run-time of descriptors

3　總結(jié)

本文提出了一種新的基于特征聯(lián)合和空間分割聯(lián)合的局部圖像描述符.提出的聯(lián)合特征WLBP由局部二進(jìn)制模式和韋伯二進(jìn)制差分激勵聯(lián)合得到.提出的聯(lián)合空間分割方法由強(qiáng)度序空間分割和圓環(huán)空間分割聯(lián)合得到.由這兩種聯(lián)合方法得到的FCSCD描述符編碼了多種類型的信息在直方圖中.標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果驗證了本文方法的有效性和優(yōu)越性，F(xiàn)CSCD描述符的匹配性能優(yōu)于目前主流的局部圖像描述符.

References

1 Dong Z L，Zhang G F，Jia J Y，Bao H J.Efficient keyframebased real-time camera tracking.Computer Vision and Image Understanding，2014，118:97?110

2 Cummins M，Newman P.Appearance-only SLAM at largescale with FAB-MAP 2.0.The International Journal of Robotics Research，2011，30（9）:1100?1123

3 Gui Zhen-Wen，Wu Ting，Peng Xin.A novel recognition approach for mobile image fusing inertial sensors.Acta Automatica Sinica，2015，41（8）:1394?1404（桂振文，吳侹，彭欣.一種融合多傳感器信息的移動圖像識別方法.自動化學(xué)報，2015，41（8）:1394?1404）

4 Zhou W G，Li H Q，Hong R C，Lu Y J，Tian Q.BSIFT: toward data-independent codebook for large scale image search.IEEE Transactions on Image Processing，2015，24（3）:967?979

5 Liu Pei-Na，Liu Guo-Jun，Guo Mao-Zu，Liu Yang，Li Pan.Image classification based on non-negative localityconstrained linear coding.Acta Automatica Sinica，2015，41（7）:1235?1243（劉培娜，劉國軍，郭茂祖，劉揚(yáng)，李盼.非負(fù)局部約束線性編碼圖像分類算法.自動化學(xué)報，2015，41（7）:1235?1243）

6 Zhu Ji-Hua，Zhou Yi，Wang Xiao-Chun，Han Wen-Xin，Ma Liang.Grid map merging approach based on image registration.Acta Automatica Sinica，2015，41（2）:285?294（祝繼華，周頤，王曉春，邗汶鋅，馬亮.基于圖像配準(zhǔn)的柵格地圖拼接方法.自動化學(xué)報，2015，41（2）:285?294）

7 Lowe D G.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision，2004，60（2）:91?110

8 Ke Y，Sukthankar R.PCA-SIFT:a more distinctive representation for local image descriptors.In:Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington，USA:IEEE，2004.II-506?II-513

9 Yan Xue-Jun，Zhao Chun-Xia，Yuan Xia.2DPCA-SIFT:an efficient local feature descriptor.Acta Automatica Sinica，2014，40（4）:675?682（顏雪軍，趙春霞，袁夏.2DPCA-SIFT:一種有效的局部特征描述方法.自動化學(xué)報，2014，40（4）:675?682）

10 Mikolajczyk K，Schmid C.A performance evaluation of local descriptors.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）:1615?1630

11 Bay H，Ess A，Tuytelaars T，van Gool L.Speeded-up robust features（SURF）.Computer Vision and Image Understanding，2008，110（3）:346?359

12 Tola E，Lepetit V，F(xiàn)ua P.DAISY:an efficient dense descriptor applied to wide-baseline stereo.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（5）: 815?830

13 Brown M，Gang H，Winder S.Discriminative learning of local image descriptors.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（1）:43?57

14 Simonyan K，Vedaldi A，Zisserman A.Learning local feature descriptors using convex optimisation.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（8）: 1573?1585

15 Heikkil¨a M，Pietik¨ainen M，Schmid C.Description of interest regions with local binary patterns.Pattern Recognition，2009，42（3）:425?436

16 Tang F，Lim S H，Change N L，Tao H.A novel feature descriptor invariant to complex brightness changes.In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami，F(xiàn)L:IEEE，2009.2631?2638

17 Chen J，Shan S G，He C，Zhao G Y，Pietikainen M，Chen X L，Gao W.WLD:a robust local image descriptor.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）:1705?1720

18 Kim B，Yoo H，Sohn K.Exact order based feature descriptor for illumination robust image matching.Pattern Recognition，2013，46（12）:3268?3278

19 Lazebnik S，Schmid C，Ponce J.A sparse texture representation using local affine regions.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（8）:1265?1278

20 Fan B，Wu F C，Hu Z Y.Rotationally invariant descriptors using intensity order pooling.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（10）:2031?2045

21 Wang Z H，F(xiàn)an B，Wu F C.Local intensity order pattern for feature description.In:Proceedings of the 2011 IEEE Conference on Computer Vision.Barcelona，Spain:IEEE，2011.603?610

22 Mikolajczyk K，Tuytelaars T，Schmid C，Zisserman A，Matas J，Schaffalitzky F，Kadir T，van Gool L.A comparison of affine region detectors.International Journal of Computer Vision，2005，65（1?2）:43?72

許允喜湖州師范學(xué)院信息工程學(xué)院講師.主要研究方向為計算機(jī)視覺，圖像處理和機(jī)器學(xué)習(xí).本文通信作者.E-mail:xuyunxi@hutc.zj.cn

（XU Yun-XiLecturer at the School of Information Engineering，Huzhou University.His research interest covers computer vision，image processing，and machine learning.Corresponding author of this paper.）

陳方湖州師范學(xué)院信息工程學(xué)院講師.主要研究方向為計算機(jī)視覺和圖像處理.E-mail:cf@hutc.zj.cn

（CHENFangLectureratthe School of Information Engineering，Huzhou University.Her research interest covers computer vision and image processing.）

Local Image Descriptor of Feature Combination and Rotation Invariant Space Division Combination

XU Yun-Xi1CHEN Fang1

This paper proposes a novel local image descriptor called FCSCD（feature combination and rotation invariant space division combination descriptor）.A new local feature，WLBP（Weber local binary pattern），is proposed which combines Weber binary differential excitation and local binary pattern.A new rotation-invariant space division for feature pooling is also proposed which combines intensity order space division and annular space division.WLBP is computed in a rotation invariant local coordinate system.Intensity order and annular space division are inherently rotation invariant. So，F(xiàn)CSCD obtains rotation invariance without computing principle orientation of the image patch.Compared with other existing descriptors，this combination method makes FCSCD encode various types of information into a histogram，and so it is more distinctive and robust.Experimental results on image matching demonstrate the effectiveness and superiorities of the proposed descriptor compared to the state-of-the-art descriptors including SIFT，CS-LBP，OSID，LIOP，EOD，and MRRID.

Local image descriptor，SIFT，image matching，rotation invariance

Manuscript April 10，2015；accepted December 11，2015

10.16383/j.aas.2016.c150206

Xu Yun-Xi，Chen Fang.Local image descriptor of feature combination and rotation invariant space division combination.Acta Automatica Sinica，2016，42（4）:617?630

2015-04-10錄用日期2015-12-11

國家自然科學(xué)基金（61370173），湖州市重點科技創(chuàng)新團(tuán)隊（2012KC 04）資助

Supported by National Natural Science Foundation of China（61370173）and Key Science and Technology Innovation Team of Huzhou City（2012KC04）

本文責(zé)任編委黃慶明

Recommended by Associate Editor HUANG Qing-Ming

1.湖州師范學(xué)院信息工程學(xué)院湖州313000

1.School of Information Engineering，Huzhou University，Huzhou 313000