姚萌，賈克斌，蕭允治

1.北京工業(yè)大學(xué)信息學(xué)部，北京100124

2.香港理工大學(xué)電子資訊工程學(xué)系，香港999077

3.先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室，北京100124

4.未來網(wǎng)絡(luò)科技高精尖創(chuàng)新中心，北京100124

基于關(guān)鍵區(qū)域的二值化場景特征快速提取方法

姚萌1，2，賈克斌1，3，4，蕭允治2

1.北京工業(yè)大學(xué)信息學(xué)部，北京100124

2.香港理工大學(xué)電子資訊工程學(xué)系，香港999077

3.先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室，北京100124

4.未來網(wǎng)絡(luò)科技高精尖創(chuàng)新中心，北京100124

1 引言

近年來，高級駕駛輔助系統(tǒng)（Advanced Driver Assistance Systems，ADAS）被廣泛應(yīng)用于車輛控制系統(tǒng)，以提高車輛行駛的安全性。其中，定位模塊作為ADAS的重要組成部分，是其他高級功能的基礎(chǔ)。城市輕軌列車運(yùn)行環(huán)境包含隧道、樓宇之間甚至建筑物內(nèi)部，基于全球定位系統(tǒng)（Global Positioning System，GPS）的ADAS系統(tǒng)因信號不穩(wěn)定造成的位置誤差將對列車行駛和調(diào)度造成巨大安全隱患。因此，基于視覺信息的定位技術(shù)成為研究的熱門領(lǐng)域[1-2]。

圖1 輕軌定位系統(tǒng)拓?fù)涞貓D

基于視覺信息的定位系統(tǒng)在車輛行駛過程中不間斷地采集視覺信息并轉(zhuǎn)化成拓?fù)涞貓D（Topological map）[3]存儲在數(shù)據(jù)庫中，拓?fù)涞貓D由節(jié)點(diǎn)和邊構(gòu)成，其中，節(jié)點(diǎn)包含定義的歷史場景，邊反映了場景之間的位置關(guān)系。當(dāng)車輛再次駛?cè)胂嗤膱鼍埃ㄎ幌到y(tǒng)根據(jù)攝像機(jī)拍攝的當(dāng)前視頻幀，使用場景匹配在拓?fù)涞貓D中找到最相似的節(jié)點(diǎn)，從而定位當(dāng)前位置。在輕軌定位系統(tǒng)中，拓?fù)涞貓D可簡化為單向一維場景鏈，如圖1所示，并使用基于路徑的場景跟蹤算法獲取位置信息[4]。

在基于視頻信息的定位系統(tǒng)中，場景匹配易受運(yùn)動(dòng)物體遮擋、光照變化以及場景內(nèi)容變化等噪聲干擾，如圖2所示。針對光照變化問題，由激光雷達(dá)獲取的場景三維信息[5]、紅外傳感器獲得的長波熱成像[6]以及雙目攝像機(jī)獲得的深度信息[7]具有較強(qiáng)的光照魯棒性，被廣泛用于車輛定位系統(tǒng)。然而這些方法都依賴特殊的傳感器，不利于算法向手機(jī)等移動(dòng)平臺移植。因此基于單目攝像機(jī)的視覺定位系統(tǒng)仍然是目前研究的熱門領(lǐng)域[8-16]。

圖2 場景匹配中的噪聲干擾

通過機(jī)器學(xué)習(xí)的方式可以獲取穩(wěn)定的視覺特征描述符[17-19]，例如旋轉(zhuǎn)與尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）[20]和加速穩(wěn)健特征（Speeded-Up Robust Feature，SURF）[21]，或移除陰影等場景中對光線敏感的成分以獲得穩(wěn)定的場景特征[8-11]。近年來，隨著深度學(xué)習(xí)方法的興起，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNNs）[22]被應(yīng)用到了視覺定位系統(tǒng)中以獲取穩(wěn)定的場景信息[12-13]。場景變換學(xué)習(xí)[14-16，19]可以預(yù)測場景變化以實(shí)現(xiàn)不同條件下的場景匹配。然而這些基于機(jī)器學(xué)習(xí)的方法往往需要采集大量視頻序列并進(jìn)行人工標(biāo)定生成訓(xùn)練數(shù)據(jù)。因此基于單參考序列的定位系統(tǒng)仍然面臨著諸多挑戰(zhàn)[7]。

基于視頻信息的定位精度由參考視頻序列幀率決定，高幀率參考序列記錄了更多的地理位置信息，因此通過逐幀匹配可獲得精確度較高的位置信息。然而高幀率鐵路視頻序列（如25幀/s）中的場景相似度高，如圖1所示，因而在時(shí)域上被降采樣至1幀/s[4，13]，在提高了場景匹配成功率的同時(shí)降低了定位精度。因此，如何利用高幀率參考序列獲取高精度定位信息成為研究的難點(diǎn)。

為解決定位系統(tǒng)訓(xùn)練數(shù)據(jù)大、定位精度低以及計(jì)算復(fù)雜度高等問題，本文基于單目視頻序列，提出了一種面向高精度場景匹配的關(guān)鍵區(qū)域檢測及二值化特征提取方法。與其他方法相比，該方法創(chuàng)新點(diǎn)在于：（1）僅使用一個(gè)高幀率單目視頻序列作為參考序列與訓(xùn)練數(shù)據(jù)，針對該序列提出一種關(guān)鍵區(qū)域提取方法，以提高系統(tǒng)對連續(xù)高相似度視頻幀（如圖1所示）的區(qū)分能力；（2）提出一種基于關(guān)鍵區(qū)域的二值化特征，利用該二值化特征可實(shí)現(xiàn)場景特征快速提取與匹配，滿足了場景跟蹤系統(tǒng)對實(shí)時(shí)性的需求。

2 關(guān)鍵區(qū)域提取

關(guān)鍵區(qū)域包含了高相似度視頻幀之間的差異信息。為減少分析計(jì)算量并提高算法穩(wěn)定性，首先在視頻幀中建立感興趣區(qū)域，進(jìn)而在感興趣區(qū)域中進(jìn)一步檢測關(guān)鍵區(qū)域。

2.1 感興趣區(qū)域設(shè)置

對于基于視頻信息的定位系統(tǒng)而言，輕軌視頻中的感興趣區(qū)域（Region Of Interest，ROI）不包含三類無用區(qū)域，如圖3所示。被移除的區(qū)域包括：容易產(chǎn)生臨時(shí)遮擋的矩形區(qū)域（圖3（a））、長時(shí)間無明顯變化的鐵軌區(qū)域（圖3（b））以及邊緣模糊區(qū)域（圖3（c））。最終的感興趣區(qū)域如圖3（d）所示。

2.2 顯著性分?jǐn)?shù)與關(guān)鍵區(qū)域提取

視頻幀中的關(guān)鍵區(qū)域由顯著性較高的像素組成，顯著性分?jǐn)?shù)被用來衡量像素的顯著程度。像素的顯著性分?jǐn)?shù)反映了該像素與其他幀相同位置像素之間的差別。標(biāo)記某時(shí)刻的視頻幀ft中位于(x,y)位置的像素為p(x,y,ft),其鄰近視頻幀組成的集合為Fk(t)。p(x,y,ft)的視覺信息由周圍區(qū)域內(nèi)的梯度方向直方圖（Histogram of Oriented Gradients，HOG）[23]特征Dpt(x,y,ft)表示。則像素的顯著性分?jǐn)?shù)Sp(p(x,y,ft))可由公式（1）計(jì)算獲得：

其中，T為Fk(t)集合中鄰近幀的數(shù)量，F(xiàn)k(t)由公式（2）定義：

計(jì)算得到感興趣區(qū)域內(nèi)所有像素的顯著性分?jǐn)?shù)后，通過設(shè)定顯著性分?jǐn)?shù)閾值Tk得到ft中顯著性較高的關(guān)鍵區(qū)域。圖4展示了某幀ROI內(nèi)像素的顯著性分?jǐn)?shù)以及該幀提取的關(guān)鍵區(qū)域。圖4（a）中紅色區(qū)域代表顯著性較高的區(qū)域，反之由藍(lán)色表示。圖4（b）包含2個(gè)關(guān)鍵區(qū)域，閾值Tk為ROI內(nèi)顯著性分?jǐn)?shù)平均值的1.05倍，外接矩形小于40×40像素的單連通區(qū)域容易受到噪聲干擾，不作為關(guān)鍵區(qū)域。

圖3 感興趣區(qū)域提取

圖4 關(guān)鍵性區(qū)域提取

3 關(guān)鍵區(qū)域的二值化特征描述符

與傳統(tǒng)特征描述方法相比，以BRIEF[24]與ORB[25]等為代表的二值化特征的提取及匹配計(jì)算復(fù)雜度較低，被廣泛應(yīng)用到實(shí)時(shí)系統(tǒng)中。然而傳統(tǒng)的二值化特征描述符用于較小的規(guī)則區(qū)域，不適用于面積較大且形狀不規(guī)則區(qū)域。本文為每一個(gè)參考幀的關(guān)鍵區(qū)域生成二值化特征提取模式，用于場景匹配時(shí)計(jì)算參考幀與當(dāng)前幀的二值化特征。

二值化特征向量由級聯(lián)的比特位構(gòu)成，其每一個(gè)比特位反映了特征描述區(qū)域內(nèi)某一對像素之間的亮度關(guān)系，如公式（3）所示：

其中I(?)為像素亮度值，τ(?)為二值化函數(shù)。

針對視頻幀ft，建立其關(guān)鍵區(qū)域的像素集合Pk，該集合包含了關(guān)鍵區(qū)域內(nèi)的所有像素。在Pk中反復(fù)隨機(jī)抽取N個(gè)像素對P(pm,pn)建立ft的二值化提取模式H(ft)，級聯(lián)H(ft)在ft中提取二值化結(jié)果，得到ft的二值化特征描述符B(ft)，如公式（4）所示：

其中，(pm,pn)∈H(ft)。

從Pk中提取的像素對可分為兩種類型，分別為區(qū)域內(nèi)像素對和區(qū)域間像素對，如圖5所示，圖中每條直線代表一個(gè)像素對，像素由直線的端點(diǎn)表示。藍(lán)色直線為區(qū)域內(nèi)像素對的示意圖，其兩個(gè)端點(diǎn)位于同一個(gè)關(guān)鍵區(qū)域，這種類型的像素對記錄了某個(gè)關(guān)鍵區(qū)域的局部紋理信息。綠色的直線為區(qū)域間像素對的示意圖，其端點(diǎn)位于兩個(gè)不同的關(guān)鍵區(qū)域，因此該種像素對記錄了關(guān)鍵區(qū)域之間的位置信息。

圖5 區(qū)域內(nèi)像素對和區(qū)域間像素對

4 實(shí)驗(yàn)結(jié)果與分析

為評價(jià)本文提出的關(guān)鍵區(qū)域以及二值化特征提取方法的有效性，本章使用自行錄制的香港輕軌數(shù)據(jù)集和公開的Nordland數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并統(tǒng)計(jì)分析了實(shí)驗(yàn)結(jié)果。

4.1 數(shù)據(jù)庫

香港輕軌數(shù)據(jù)集中的兩段視頻序列采集自安裝在輕軌車輛中的單目攝像機(jī)，視頻分辨率為640×480，采集幀率為每秒25幀。由于采集時(shí)間不同，本文使用的5 731幀中相同位置的光照、路況與車速等皆不相同。兩段視頻中的所有幀被人工標(biāo)定了對應(yīng)關(guān)系。Nordland數(shù)據(jù)庫包含四段視頻，分別采集自春夏秋冬四個(gè)季節(jié)，視頻分辨率為1 920×1 080，采集幀率為每秒25幀。本文使用夏季與秋季視頻中的6 000幀作為訓(xùn)練與測試數(shù)據(jù)，為保持與香港數(shù)據(jù)集的一致性，視頻分辨率被降采樣為640×480，兩段視頻中列車保持相同速度運(yùn)行，因此相同序號的視頻幀采集自同一位置。

4.2 基于關(guān)鍵區(qū)域的單場景匹配評價(jià)

為驗(yàn)證本文提出的關(guān)鍵區(qū)域的有效性，本文基于HOG特征，測試了4種不同區(qū)域生成的場景特征在單場景匹配中的準(zhǔn)確率。（1）全局HOG特征，使用一個(gè)HOG特征描述整個(gè)視頻場景；（2）局部HOG特征，將視頻幀分割成40×40宏塊，分別計(jì)算每個(gè)宏塊內(nèi)的HOG特征向量；（3）基于感興趣區(qū)域的HOG特征，該方法只計(jì)算位于感興趣區(qū)域內(nèi)宏塊的HOG特征向量；（4）基于關(guān)鍵區(qū)域的HOG特征，在本文提出的關(guān)鍵區(qū)域內(nèi)計(jì)算HOG特征向量。

匹配參考序列中的單幀場景與當(dāng)前序列中具有高相似度的連續(xù)的場景，將匹配結(jié)果與人工標(biāo)定結(jié)果之間的差作為匹配偏差。4種方法的平均計(jì)算時(shí)間與偏差如表1所示。

表1 場景匹配計(jì)算時(shí)間與錯(cuò)誤率

基于全局HOG特征的場景匹配計(jì)算速度最快，但同時(shí)其匹配精度最差，平均匹配偏差為15.24幀。雖然基于局部HOG特征的場景匹配錯(cuò)誤偏差下降至2.10幀，但是其過長的計(jì)算時(shí)間無法在實(shí)際系統(tǒng)中應(yīng)用。同時(shí)，基于感興趣區(qū)域的場景匹配計(jì)算時(shí)間下降了78.22%，匹配偏差比基于局部HOG特征的方法上升了0.16幀?；诒疚奶岢龅年P(guān)鍵區(qū)域的場景匹配方法將匹配偏差降低至1.44幀，相對于局部HOG特征方法，匹配偏差下降了31.43%，并節(jié)約了94.22%的匹配時(shí)間。

實(shí)驗(yàn)結(jié)果表明，基于全局的HOG特征只提取視頻幀整體的HOG特征，雖然其時(shí)間復(fù)雜度較低，但是因?yàn)槿狈鼍凹?xì)節(jié)信息，從而導(dǎo)致匹配偏移過大?；诰植縃OG特征的方法能夠記錄場景細(xì)節(jié)與整體信息，然而大量的HOG特征計(jì)算以及特征匹配使得該方法無法用于實(shí)際系統(tǒng)中?；诟信d趣區(qū)域的方法減少了計(jì)算HOG特征的宏塊數(shù)量，因而大幅降低了場景匹配的時(shí)間復(fù)雜度?；陉P(guān)鍵區(qū)域的方法使得場景匹配模塊只計(jì)算場景內(nèi)最具有顯著信息的區(qū)域，一方面降低了場景特征計(jì)算與場景匹配的計(jì)算復(fù)雜度，同時(shí)減少了非關(guān)鍵區(qū)域給場景匹配帶來的噪聲干擾。

4.3 基于二值化特征的場景跟蹤評價(jià)

實(shí)驗(yàn)使用場景跟蹤測試所提出的二值化特征的匹配性能。參考序列為Nordland數(shù)據(jù)集中的秋季序列，夏季序列作為當(dāng)前序列。作為一種較為新穎的場景序列匹配算法，SeqSLAM[4]被廣泛應(yīng)用于基于路徑的場景跟蹤算法中[26-27]。本實(shí)驗(yàn)對于每個(gè)當(dāng)前幀，首先使用SeqSLAM在所有參考幀中篩選出候選幀，利用二值化特征在候選幀中選出與當(dāng)前幀最匹配的參考幀。本文比較了SeqSLAM以及本文方法的場景跟蹤精確率。場景匹配得到的實(shí)際結(jié)果與理想結(jié)果（Ground truth）之間的差別小于3幀則被認(rèn)為是正確匹配，反之則為錯(cuò)誤匹配。在統(tǒng)計(jì)了所有的正確匹配數(shù)量和錯(cuò)誤匹配數(shù)量后，匹配精確率可使用公式（5）計(jì)算獲得。實(shí)際結(jié)果與理想結(jié)果之間的偏差平均值被統(tǒng)計(jì)為匹配偏移。

表2展示了SeqSLAM以及本文算法的匹配精確率與運(yùn)行時(shí)間。與SeqSLAM相比，在不顯著增加時(shí)間代價(jià)的前提下，本文方法的場景跟蹤精確率提高了9.84%，匹配偏移下降了39.79%。

表2 場景跟蹤精確率與運(yùn)行時(shí)間

圖6 C#7370當(dāng)前幀與參考幀及其匹配距離

圖6（a）展示了當(dāng)前幀C#7370在理想匹配結(jié)果（R#7370參考幀）領(lǐng)域內(nèi)的匹配距離分布。圖中橫軸為參考幀序號，左側(cè)縱軸為SeqSLAM方法的匹配距離，右側(cè)縱軸為基于本文的關(guān)鍵區(qū)域二值化特征匹配的漢明距離。在SeqSLAM匹配結(jié)果中，包括R#7366與R#7375的10個(gè)參考幀與當(dāng)前幀C#7370匹配距離為0，如圖6（a）中黑線所示。與此相對，基于本文提出的二值化特征在理想匹配結(jié)果處（橫軸7370處）達(dá)到匹配距離極小值，如圖6（a）中藍(lán)線所示。

圖6（b）為SeqSLAM中10個(gè)匹配距離為0的參考幀，這10個(gè)參考幀包含高度相似的場景。這表明SeqSLAM所使用的全局特征僅僅保留場景整體大致信息，無法區(qū)分這些高度相似的場景。本文方法中的二值化特征在關(guān)鍵區(qū)域中生成，而關(guān)鍵區(qū)域包含該幀相對鄰近幀最突出的視覺信息，實(shí)驗(yàn)結(jié)果表明本文提出的二值化特征保留了這些突出特征，對高度相似的連續(xù)場景有較強(qiáng)的區(qū)分力。

5 結(jié)束語

本文提出了一種面向高精度實(shí)時(shí)場景匹配的關(guān)鍵區(qū)域與二值化特征提取方法。針對高幀率下連續(xù)場景相似度高的問題，該方法逐幀分析并提取了包含場景顯著性信息的關(guān)鍵區(qū)域。同時(shí)，為滿足實(shí)時(shí)系統(tǒng)對匹配速度的需求，針對不規(guī)則關(guān)鍵區(qū)域提取了二值化特征。在香港輕軌數(shù)據(jù)集以及Nordland數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明，所提出的關(guān)鍵區(qū)域及二值化特征在保證場景跟蹤系統(tǒng)運(yùn)行效率的同時(shí)，有助于提高場景識別的精確率。

[1] Lowry S，Sünderhauf N，Newman P，et al.Visual place recognition：A survey[J].IEEE Transactions on Robotics，2016，32（1）：1-19.

[2] Dornaika F，Assoum A，Moujahid A.Place recognition using image retrieval with covariance descriptors[C]//ISAT International Symposium on Electronic Imaging，2016：1-6.

[3] Shatkay H，Kaelbling L P.Learning geometrically-constrained hiddenmarkovmodelsforrobotnavigation：Bridging the topological-geometrical gap[J].Journal of Artificial Intelligence Research，2002，16（1）：167-207.

[4] Milford M J，Wyeth G F.SeqSLAM：Visual route-based navigation for sunny summer days and stormy winter nights[C]//2012 IEEE International Conference on Robotics and Automation（ICRA）.Saint Paul，MN，USA：IEEE，2012.

[5] Mcmanus C，F(xiàn)urgale P，Barfoot T D.Towards lightinginvariant visual navigation：An appearance-based approach using scanning laser-rangefinders[J].Robotics and Autonomous Systems，2013，61（8）：836-852.

[6] Maddern W，Vidas S.Towards robust night and day place recognition using visible and thermal imaging[C]//RSS 2012：Beyond Laser and Vision：Alternative Sensing Techniques for Robotic Perception，2012.

[7] Linegar C，Churchill W，Newman P.Made to measure：Bespoke landmarks for 24-hour，all-weather localisation with a camera[C]//International Conference on Robotics and Automation（ICRA）.Stockholm，Sweden：IEEE，2016.

[8] Ross P，English A，Ball D，et al.A novel method for analysing lighting variance[C]//Australian Conference on Robotics and Automation，Sydney，NSW，2013.

[9] Ross P，English A，Ball D，et al.A method to quantify a descriptor’s illumination variance[C]//Australian Conference on Robotics and Automation，Melbourne，VIC，2014.

[10] Corke P，Paul R，Churchill W，et al.Dealing with shadows：Capturing intrinsic scene appearance for imagebased outdoor localisation[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.Tokyo，Japan：IEEE，2013.

[11] Mcmanus C，Churchill W，Maddern W，et al.Shady dealings：Robust，long-term visual localisation using illuminationinvariance[C]//2014IEEEInternationalConference on Robotics and Automation（ICRA）.Hong Kong，China：IEEE，2014.

[12] Chen Z，Lam O，Jacobson A，et al.Convolutional neural network-based place recognition[C]//2014 Australasian Conference on Robotics and Automation，2014.

[13] Sünderhauf N，Shirazi S，Dayoub F，et al.On the performance of convnet features for place recognition[C]//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）.Hamburg，Germany：IEEE，2015.

[14] Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[15] Lowry S M，Milford M J，Wyeth G F.Transforming morning to afternoon using linear regression techniques[C]//2014 IEEE International Conference on Robotics and Automation（ICRA）.Hong Kong，China：IEEE，2014.

[16] Lowry S，Wyeth G，Milford M.Unsupervised online learning of condition-invariant images for place recognition[C]//AustralasianConferenceonRoboticsand Automation，Melbourne，Australia，2014.

[17] Neubert P，Sünderhauf N，Protzel P.Superpixel-based appearance change prediction for long-term navigation across seasons[J].Robotics and Autonomous Systems，2015，69：15-27.

[18] Milford M，Vig E，Scheirer W，et al.Vision based simultaneous localization and mapping in changing outdoor environments[J].Journal of Field Robotics，2014，31（5）：780-802.

[19] Lowry S，Milford M J.Supervised and unsupervised linear learning techniques for visual place recognition in changing environments[J].IEEE Transactions on Robotics，2016，32（3）：600-613.

[20] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[21] Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features（SURF）[J].Computer Vision and Image Understanding，2008，110（3）：346-359.

[22] Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems 25（NIPS 2012），Curran Associates Inc，2012.

[23] Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego，CA，USA：IEEE，2005.

[24] Calonder M，Lepetit V，Strecha C，et al.Brief：Binary robust independent elementary features[C]//Proceedings of the 11th European Conference on Computer Vision，2010：778-792.

[25] Rublee E，Rabaud V，Konolige K，et al.ORB：An efficient alternative to SIFT or SURF[C]//2011 IEEE International Conference on Computer Vision（ICCV）.Barcelona，Spain：IEEE，2011.

[26] Bresson G，Alsayed Z，Yu L，et al.Simultaneous Localization and Mapping：A survey of current trends in autonomous driving[J].IEEE Transactions on Intelligent Vehicles，2017，2（3）：194-220.

[27] Kim P，Coltin B，Alexandrov O，et al.Robust visual localization in changing lighting conditions[C]//IEEE International Conference on Robotics and Automation.Singapore：IEEE，2017.

YAO Meng,JIA Kebin,SIU Wanchi.Key region identification with binary feature extraction for high accurate scene matching.Computer Engineering andApplications,2018,54（6）：14-18.

YAO Meng1，2,JIAKebin1，3，4,SIU Wanchi2

1.Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China
2.Department of Electronic and Information Engineering,Hong Kong Polytechnic University,Hong Kong 999077,China
3.Beijing Laboratory ofAdvanced Information Networks,Beijing 100124,China
4.Advanced Innovation Center for Future Internet Technology,Beijing 100124,China

As one of the most important component in advanced driver assistance systems,the visual-based localization techniques have been widely studied in recent years.Dealing with the problems of high accurate scene matching caused by the extremely similar scene appearances in the high frame rate reference sequence,a new and powerful method of key region and binary feature extraction is proposed in this paper.The key regions with discriminative information are extracted from the similar reference frames.The binary patterns of these key regions are generated to reduce the computational complexity of online scene matching procedure.The proposed method is evaluated on the Hong Kong light railway dataset and Nordland dataset.With the proposed key regions,the error and the computation time of scene matching are reduced by 31.43%and 94.22%.The precision rate of scene tracking with proposed method is 9.84%higher than that of SeqSLAM.The experimental results show that the proposed method has high performance.

fast scene matching;key region extraction;binary feature extraction

近年來，駕駛輔助系統(tǒng)中基于視頻信息的車輛定位技術(shù)受到廣泛關(guān)注。針對輕軌系統(tǒng)高精度場景匹配中場景相似度過高導(dǎo)致定位困難的問題，提出了一種關(guān)鍵區(qū)域及二值化特征提取方法。該方法以離線處理的方式在高相似度的參考序列幀內(nèi)提取具有顯著性信息的關(guān)鍵區(qū)域，并在這些區(qū)域中生成二值化特征描述符以提高實(shí)時(shí)場景匹配的速度與準(zhǔn)確率。在香港輕軌數(shù)據(jù)集以及公開的Nordland數(shù)據(jù)集中，相對于局部場景特征，基于提出的關(guān)鍵區(qū)域特征的場景匹配方法錯(cuò)誤偏差下降31.43%，同時(shí)節(jié)約了94.22%的匹配時(shí)間；與SeqSLAM場景跟蹤算法相比，在不顯著增加運(yùn)行時(shí)間的前提下，基于關(guān)鍵區(qū)域二值化場景特征的場景跟蹤正確率提高了9.84%。實(shí)驗(yàn)結(jié)果表明，提出的關(guān)鍵區(qū)域以及二值化特征提取方法在降低了場景匹配計(jì)算時(shí)間的同時(shí)，提高了匹配精確度。

快速場景匹配；關(guān)鍵區(qū)域提??；二值化特征提取

2017-12-18

2018-02-08

1002-8331（2018）06-0014-05

A

TP391.4

10.3778/j.issn.1002-8331.1712-0243

國家自然科學(xué)基金面上項(xiàng)目（No.61672064）；北京市自然科學(xué)基金重點(diǎn)項(xiàng)目（No.KZ201610005007）。

姚萌（1988—），男，博士研究生，研究領(lǐng)域?yàn)閳D像處理、基于視覺信息定位技術(shù)；賈克斌（1962—），通訊作者，男，博士，教授，研究領(lǐng)域?yàn)閳D像/視頻信號與信息處理技術(shù)、生物信息處理與計(jì)算技術(shù)、基于Internet網(wǎng)的多媒體系統(tǒng)等，E-mail：kebinj@bjut.edu.cn；蕭允治（1950—），男，博士，教授，研究領(lǐng)域?yàn)閳D像處理、小波變換、模式識別等。