□ 劉海龍 □ 肖 攀 □ 邱明瑋 □ 劉 巖 □ 李兵兵 □ 馬春生 □ 柴慶冕 □ 劉志煒

國(guó)家電網(wǎng)北京市電力公司客戶服務(wù)中心 北京 100062

1 研究背景

物體識(shí)別在場(chǎng)景理解、機(jī)器人學(xué)、虛擬現(xiàn)實(shí)等領(lǐng)域中具有廣闊的應(yīng)用前景，也是實(shí)現(xiàn)機(jī)器人操作、同步定位與建圖不可缺少的重要一環(huán)［1-2］。在物體識(shí)別過(guò)程中，實(shí)際環(huán)境往往伴隨光線變化、背景干擾、陰影遮擋等復(fù)雜情況，因此，設(shè)法從場(chǎng)景圖像中識(shí)別出物體，并進(jìn)行位置估計(jì)是一項(xiàng)富有挑戰(zhàn)性的任務(wù)［3］。

數(shù)字圖像傳感器問(wèn)世以來(lái)，國(guó)內(nèi)外研究重心主要集中在二維圖像物體識(shí)別。二維圖像物體識(shí)別特征描述主 要有 DoG、SIFT、PCA-SIF、Harris、NCC 和 SURF算法等［4］。SIFT（尺度不變特征轉(zhuǎn)換）是一種在尺度空間尋找特征的匹配算法，由David G.Lowe在2004年總結(jié)完善［5］。 SURF（加速穩(wěn)健特征）算法是 SIFT 的改進(jìn)版，在一定條件下通過(guò)對(duì)積分圖像求導(dǎo)，基本實(shí)現(xiàn)兩幅圖像匹配的實(shí)時(shí)處理［6］。

近年來(lái)，隨著三維傳感器及其相關(guān)技術(shù)的發(fā)展，國(guó)內(nèi)外學(xué)者對(duì)從三維點(diǎn)云中進(jìn)行三維物體識(shí)別進(jìn)行廣泛研究［7］。傳統(tǒng)三維傳感器有激光雷達(dá)、雙目視覺相機(jī)等，特別是RGB-D相機(jī)的出現(xiàn)，可以實(shí)現(xiàn)實(shí)時(shí)獲得高精度RGB-D圖像，RGB-D圖像也稱三維彩色點(diǎn)云圖像［8］。三維物體識(shí)別算法主要有兩類——基于三維霍夫變換投票機(jī)制的聚類算法［9］和基于幾何一致性的聚類算法［10］，這兩種算法存在兩個(gè)問(wèn)題，一是三維場(chǎng)景適應(yīng)性，二是可擴(kuò)展性與延時(shí)性［11］。

在物體識(shí)別方面，二維物體識(shí)別可收集二維顏色紋理信息，具有速度快、實(shí)時(shí)性高等優(yōu)點(diǎn)，但是缺乏深度信息。三維物體識(shí)別能夠識(shí)別深度信息，但是算法復(fù)雜，速度較慢。若將二維與三維物體識(shí)別相結(jié)合，形成RGB-D物體識(shí)別，不失為一種新的嘗試。

筆者提出一種基于二維SURF算法、三維霍夫算法與RGB-D圖像的物體識(shí)別與位置估計(jì)方法。這一方法首先應(yīng)用二維SURF算法進(jìn)行二維物體識(shí)別，快速?gòu)膱?chǎng)景點(diǎn)云中分割出目標(biāo)點(diǎn)云；然后應(yīng)用三維霍夫算法從目標(biāo)點(diǎn)云中進(jìn)行三維物體識(shí)別，得到物體點(diǎn)云并估算出物體的位置。筆者通過(guò)構(gòu)建模型RGB-D物體庫(kù)，選取日常場(chǎng)景常見物品進(jìn)行識(shí)別試驗(yàn)，驗(yàn)證這一方法的可行性。

2 物體識(shí)別與位置估計(jì)實(shí)現(xiàn)原理

目前應(yīng)用的RGB-D相機(jī)主要有微軟Kinect、華碩Xtion等，筆者以華碩Xtion相機(jī)獲取RGB-D圖像為例，闡述基于RGB-D圖像的物體識(shí)別與位置估計(jì)方法具體實(shí)現(xiàn)過(guò)程。

2.1 RGB-D圖像獲取

華碩Xtion相機(jī)有三個(gè)鏡頭，中間為彩色相機(jī)鏡頭，左右兩邊分別為紅外發(fā)射器鏡頭和深度相機(jī)鏡頭。筆者建立基于華碩Xtion相機(jī)的RGB-D圖像獲取數(shù)學(xué)模型，如圖1所示。物體坐標(biāo)系｛I｝原點(diǎn)位于深度相機(jī)鏡頭的中心。X軸沿彩色相機(jī)鏡頭與深度相機(jī)鏡頭的中心連線，正向遠(yuǎn)離紅外發(fā)射器。Z軸垂直于相機(jī)成像平面，正向指向物體平面。Y軸由右手法則確定。物體平面上的 k 點(diǎn)在物體坐標(biāo)系｛I｝中的坐標(biāo)（Xk，Yk，Zk）為：

式中：Zo為k點(diǎn)在參考平面上投影點(diǎn)o的深度距離；f為深度相機(jī)鏡頭的焦距；b為深度相機(jī)鏡頭與紅外發(fā)射器鏡頭中心之間的距離；d為實(shí)際物體長(zhǎng)度H在深度相機(jī)中的投影長(zhǎng)度；（xk，yk）為k點(diǎn)的深度圖像像素坐標(biāo)；（xo，yo）為投影點(diǎn) o的深度圖像像素坐標(biāo)。

深度圖像與紅、綠、藍(lán)三色圖像融合時(shí)，需要將物體坐標(biāo)系｛I｝轉(zhuǎn)換到彩色相機(jī)坐標(biāo)系｛C｝上，其變換矩陣包含三個(gè)平移量Tr=（tx，ty，tz）T和 三個(gè)旋轉(zhuǎn)量Rr=（rx，ry，rz）T。 彩色相機(jī)鏡頭與深度相機(jī)鏡頭內(nèi)外參數(shù)值可通過(guò)標(biāo)定獲得。將彩色相機(jī)鏡頭獲取的紅、綠、藍(lán)圖像和紅外發(fā)射器鏡頭與深度相機(jī)鏡頭獲取的深度圖像進(jìn)行融合，即可得到RGB-D圖像。

▲圖1 RGB-D圖像獲取數(shù)學(xué)模型

2.2 二維物體識(shí)別與目標(biāo)點(diǎn)云分割

采用二維SURF算法對(duì)場(chǎng)景RGB圖像進(jìn)行二維特征提取，得到對(duì)應(yīng)的二維興趣點(diǎn)及其特征值，并與預(yù)處理過(guò)程得到的模型圖像二維興趣點(diǎn)及其特征值進(jìn)行匹配，分割出模型圖像所處的目標(biāo)區(qū)域。圖2所示為基于二維SURF算法的二維杯子識(shí)別，左上角為杯子圖像，右側(cè)為場(chǎng)景圖像。由于場(chǎng)景中背景干擾、外界光線、物體尺度等因素的影響，匹配過(guò)程不可避免地會(huì)出現(xiàn)少量錯(cuò)誤對(duì)應(yīng)點(diǎn)。圖2中用圓形標(biāo)記模型圖像和場(chǎng)景圖像中檢測(cè)的二維SURF算法興趣點(diǎn)位置，用直線連接兩者之間匹配的對(duì)應(yīng)點(diǎn)，用四邊形標(biāo)記場(chǎng)景圖像中識(shí)別出的杯子所在目標(biāo)區(qū)域。

▲圖2 二維杯子識(shí)別

從場(chǎng)景RGB圖像中分割出待識(shí)別杯子所處的目標(biāo)區(qū)域之后，還需要通過(guò)坐標(biāo)變換從場(chǎng)景點(diǎn)云中分割得到目標(biāo)點(diǎn)云。場(chǎng)景圖像中待識(shí)別杯子位于RGB圖像坐標(biāo)系｛R｝之中，用ER表示待識(shí)別杯子所處的四邊形區(qū)域，有：

此時(shí)能確定待識(shí)別杯子所處的空間長(zhǎng)方體區(qū)域Φ：

空間長(zhǎng)方體區(qū)域Φ所包裹的點(diǎn)云即為所需要進(jìn)行三維物體識(shí)別與位置估計(jì)的目標(biāo)點(diǎn)云。圖3所示為確定出待識(shí)別的杯子所處空間長(zhǎng)方體區(qū)域的場(chǎng)景RGB-D圖像。

▲圖3 杯子所處空間RGB-D圖像

2.3 目標(biāo)點(diǎn)云三維物體識(shí)別與位置估計(jì)

三維霍夫算法進(jìn)行物體識(shí)別旨在從目標(biāo)點(diǎn)云中確定所識(shí)別物體三維位置信息，并精確估計(jì)出物體的位置。圖4所示為基于局部參考幀的三維霍夫表決示意圖。 圖 4中 PiM與 PiS（i=1，2，3）圓分別為模型點(diǎn)云與目標(biāo)點(diǎn)云中提取的三維興趣點(diǎn)，圓CM與CS分別為模型點(diǎn)云與目標(biāo)點(diǎn)云的參考點(diǎn)。筆者選取模型點(diǎn)云與目標(biāo)點(diǎn)云的中心作為其參考點(diǎn)。對(duì)于檢測(cè)的三維興趣點(diǎn)，通過(guò)三維興趣點(diǎn)特征值來(lái)表征其近鄰信息。三維霍夫表決機(jī)制旨在從目標(biāo)點(diǎn)云中搜尋并積累待識(shí)別物體的位置信息表征，即三維興趣點(diǎn)及其特征值。圖5所示為三維霍夫物體識(shí)別表決機(jī)制示例，用實(shí)線表示模型點(diǎn)云與目標(biāo)點(diǎn)云之間的正確對(duì)應(yīng)點(diǎn)，用點(diǎn)劃線表示兩者之間的誤匹配對(duì)應(yīng)點(diǎn)。由于場(chǎng)景中背景干擾、噪聲及點(diǎn)云不完整等因素的影響，匹配過(guò)程中不可避免地會(huì)產(chǎn)生一些誤對(duì)應(yīng)點(diǎn)。

▲圖4 基于局部參考幀的三維霍夫表決示意圖

▲圖5 三維霍夫物體識(shí)別表決機(jī)制示例

三維物體識(shí)別預(yù)處理階段主要負(fù)責(zé)三維霍夫表決器的初始化工作。圖6所示為模型點(diǎn)云與場(chǎng)景目標(biāo)點(diǎn)云之間基于局部參考幀的坐標(biāo)變換。模型點(diǎn)云的坐標(biāo)是在全局參考幀坐標(biāo)系｛G｝下給出的，提取的興趣點(diǎn)相對(duì)于參考點(diǎn)CM的參考矢量為：

▲圖6 基于局部參考幀的坐標(biāo)變換

整幀RGB-D圖像中的三維興趣點(diǎn)相對(duì)于參考點(diǎn)的參考矢量存儲(chǔ)需建立在局部參考幀坐標(biāo)系下，因此，矢量需轉(zhuǎn)化到局部參考幀坐標(biāo)系｛L｝下，即：

三維物體識(shí)別在線處理階段主要負(fù)責(zé)模型點(diǎn)云與目標(biāo)點(diǎn)云之間對(duì)應(yīng)點(diǎn)匹配及物體位置估計(jì)。對(duì)于模型點(diǎn)云和目標(biāo)點(diǎn)云中的一對(duì)對(duì)應(yīng)點(diǎn)而言，矢量經(jīng)過(guò)變換后，有：

當(dāng)從模型點(diǎn)云和目標(biāo)點(diǎn)云中搜尋得到一系列匹配的對(duì)應(yīng)點(diǎn)時(shí)，通過(guò)設(shè)定合適的閾值即可從場(chǎng)景目標(biāo)點(diǎn)云中識(shí)別出三維物體，并通過(guò)絕對(duì)定向算法計(jì)算得到待識(shí)別物體的位置。

3 物體識(shí)別試驗(yàn)及結(jié)果

試驗(yàn)場(chǎng)景為擺放有五件物品的0.7 m×0.6 m長(zhǎng)方桌，五件物品分別為杯子Ⅰ～Ⅲ、易拉罐與瓶子，圖7所示為物體識(shí)別場(chǎng)景。采用筆者提出的基于RGB-D圖像的物體識(shí)別與位置估計(jì)方法，從場(chǎng)景RGB-D圖像與三維點(diǎn)云中識(shí)別出上述五件物品，并估計(jì)對(duì)應(yīng)的位置，通過(guò)定性和定量的分析結(jié)果來(lái)驗(yàn)證基于RGBD圖像的物體識(shí)別方法的可行性。

圖 7 中，a、b、c、d 和 e 依次標(biāo)記場(chǎng)景 A、B、C、D和 E目標(biāo)點(diǎn)云對(duì)應(yīng)識(shí)別出的物體點(diǎn)云，用線連接模型點(diǎn)云與場(chǎng)景目標(biāo)點(diǎn)云之間匹配的對(duì)應(yīng)點(diǎn)。由圖7可以看出：對(duì)于外形差別較大的不同種類的物品，能準(zhǔn)確識(shí)別出不同種類的物體，并估計(jì)出對(duì)應(yīng)的位置，具有較高的算法穩(wěn)定性和物體識(shí)別精度；對(duì)于外形較為類似的同一類物品，能準(zhǔn)確地識(shí)別出對(duì)應(yīng)的杯子物品，并估計(jì)出對(duì)應(yīng)的位置，具有較高的物體識(shí)別辨識(shí)度。表1列出基于RGBD圖像的物體識(shí)別方法所估計(jì)出的上述五件物品的位置。

表1 物體識(shí)別位置

4 結(jié)論

筆者提出一種基于二維SURF算法、三維霍夫算法與RGB-D圖像的物體識(shí)別與位置估計(jì)方法。這一方法將二維SURF算法與三維霍夫算法進(jìn)行有效融合，適應(yīng)性和穩(wěn)定性好，并克服了單一的二維或三維物體識(shí)別算法識(shí)別精度與準(zhǔn)確率低、識(shí)別速度慢等問(wèn)題，實(shí)現(xiàn)了快速物體識(shí)別與位置估計(jì)。物體識(shí)別是一項(xiàng)復(fù)雜的任務(wù)，盡管筆者以日常生活常見物品識(shí)別為例，對(duì)這一方法進(jìn)行了驗(yàn)證，達(dá)到了預(yù)期的效果，但是對(duì)復(fù)雜場(chǎng)景的適應(yīng)性，以及對(duì)紋理少、形狀相似度大的物體進(jìn)行識(shí)別，仍需要進(jìn)一步深入研究。

▲圖7 物體識(shí)別場(chǎng)景