孫 海，牛 晨，魯 飛

（合肥工業(yè)大學(xué) 電氣與自動(dòng)化工程學(xué)院，合肥 230009）

0 引言

目前，工業(yè)化生產(chǎn)過程中，大部分工業(yè)機(jī)器人只能在特定環(huán)境下根據(jù)預(yù)先設(shè)計(jì)好的流程，采用人工示教的方式進(jìn)行抓取。但是抓取環(huán)境中的待抓取物體位置與姿態(tài)常常是不確定或者變化的，示教方式的抓取有時(shí)不能滿足實(shí)際的生產(chǎn)生活需求[1]。如今，隨著機(jī)器視覺技術(shù)的發(fā)展，人們開始考慮采用機(jī)器視覺對(duì)工業(yè)機(jī)器人進(jìn)行輔助引導(dǎo)。

針對(duì)目標(biāo)的定位與檢測(cè)，目前視覺檢測(cè)常采用單目攝像機(jī)或者雙目攝像機(jī)兩種方式。單目攝像機(jī)由于結(jié)構(gòu)特點(diǎn)，只能采集目標(biāo)物的二維信息，對(duì)于位姿的測(cè)量，常使用經(jīng)過換算后求得的特征點(diǎn)信息，運(yùn)用PNP算法[2]求得相機(jī)相對(duì)目標(biāo)物的位姿信息。對(duì)于雙目相機(jī)，由于結(jié)構(gòu)上的特點(diǎn)，可以獲得目標(biāo)物的視差與深度，在如今的位姿測(cè)量中常結(jié)合點(diǎn)云進(jìn)行三維重構(gòu)[3]獲得目標(biāo)物的定位與位姿信息。

本文結(jié)合特定目標(biāo)物的結(jié)構(gòu)特征與使用環(huán)境綜合考慮，提出一種簡(jiǎn)單的單目視覺位姿檢測(cè)模型。該模型可分為四個(gè)部分：?jiǎn)文繑z像機(jī)標(biāo)定、目標(biāo)檢測(cè)、特征角點(diǎn)提取、位姿計(jì)算。首先利用SURF模板匹配的方式[4]，檢測(cè)出空間圖片中特定目標(biāo)立方體的感興趣區(qū)域，相比于如今盛行的RCNN、Faster-RCNN[5]等機(jī)器學(xué)習(xí)檢測(cè)方式，本文選擇的算法具有計(jì)算開銷小，精準(zhǔn)度滿足要求的特點(diǎn)。其次，相比于Harris角點(diǎn)檢測(cè)[6]，采用霍夫變化[7]擬合出目標(biāo)物上不同的角點(diǎn)可以減少誤檢情況的發(fā)生。最后，根據(jù)圖像特征角點(diǎn)像素坐標(biāo)與用戶坐標(biāo)間的映射關(guān)系，得到目標(biāo)物的位置與姿態(tài)信息。

1 單目位姿計(jì)算原理

目標(biāo)物位姿檢測(cè)包括物體整體的朝向與坐標(biāo)的范圍，本文利用特定目標(biāo)的先驗(yàn)信息及后期檢測(cè)到的特征點(diǎn)信息，經(jīng)過相關(guān)計(jì)算得到。以規(guī)則立方體為例進(jìn)行如下說明。

圖1中，O-XYZ為用戶坐標(biāo)系，P1、P4為目標(biāo)平面上的兩個(gè)角點(diǎn)。h為立方體先驗(yàn)高度，從而P1、P4兩點(diǎn)的Z坐標(biāo)易知均為h。設(shè)上表面的兩點(diǎn)的用戶坐標(biāo)分別為(X1,Y1,h)，(X4,Y4,h)，則棱P1P4相對(duì)于X軸的偏轉(zhuǎn)角度為：

圖1 位姿計(jì)算示意圖

同時(shí)，一般采用規(guī)則立方體的重心坐標(biāo)表征其整體位置，重心的(XM,YM,ZM)坐標(biāo)可按式(2)計(jì)算。

由上表達(dá)式可知，根據(jù)目標(biāo)立方體的上表面任意兩個(gè)角點(diǎn)的用戶坐標(biāo)系可換算出目標(biāo)物的位姿朝向與定位信息，為此，需要采用視覺成像原理進(jìn)行圖像坐標(biāo)系與用戶坐標(biāo)系的轉(zhuǎn)化[8]，攝像機(jī)的線性成像模型如圖2所示。

圖2 線性成像模型

空間點(diǎn)P的用戶坐標(biāo)(XW,YW,ZW)與投影點(diǎn)p的像素坐標(biāo)(u,v)映射關(guān)系如式(3)所示：

式(3)中，fx，fy，u0，v0為攝像機(jī)的內(nèi)部參數(shù)，M1即為內(nèi)部參數(shù)整合矩陣，R，T分別為旋轉(zhuǎn)矩陣與平移矩陣，為攝像機(jī)的外部參數(shù)，整合成M2，Zc為尺度信息。

一般求解用戶坐標(biāo)采用的是雙目攝像機(jī)，因?yàn)槠淇梢阅７氯搜鄣某上裨懋a(chǎn)生視差與深度信息，但是雙目攝像機(jī)存在匹配困難與視場(chǎng)小等缺點(diǎn)。在有先驗(yàn)信息目標(biāo)立方體高度h，即用戶坐標(biāo)下Zw的前提下，可以通過單目攝像機(jī)進(jìn)行測(cè)量，具體測(cè)量原理如下，首先將式(3)中的內(nèi)、外部參數(shù)M1與M2合并。

在先驗(yàn)信息ZW已知的前提下，對(duì)式(4)進(jìn)行進(jìn)一步轉(zhuǎn)化：

這樣，轉(zhuǎn)化成最終式(5)兩邊維數(shù)就相等了，通過求解參數(shù)矩陣即可實(shí)現(xiàn)由圖像坐標(biāo)得到用戶坐標(biāo)。參數(shù)矩陣中的參數(shù)可以通過相機(jī)的預(yù)先標(biāo)定獲得，本文采用的是張正友棋盤標(biāo)定法[9]。

本文空間位姿檢測(cè)系統(tǒng)流程如圖3所示。

圖3 空間位姿檢測(cè)流程圖

2 目標(biāo)檢測(cè)

目標(biāo)物所在區(qū)域一般存在很多干擾。因此，對(duì)于目標(biāo)物感興趣區(qū)域的提取有利于排除無(wú)關(guān)背景因素干擾的影響，提高后序特征檢測(cè)效率與準(zhǔn)確性。目前有卷積神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)的方式，且效果良好，本文結(jié)合設(shè)計(jì)環(huán)境，采用運(yùn)算量小的SURF基于局部特征的模版匹配方式進(jìn)行目標(biāo)檢測(cè)

1）根據(jù)本文所需求解的問題，對(duì)先驗(yàn)?zāi)繕?biāo)物體360°每隔30°拍攝一張圖片，對(duì)所拍攝圖片進(jìn)行手工裁剪目標(biāo)物輪廓進(jìn)行標(biāo)記。

2）將目標(biāo)拍攝圖片特征點(diǎn)與樣本圖片特征點(diǎn)集進(jìn)行匹配。本文采用基于歐式距離的K-D tree特征點(diǎn)二臨近方式進(jìn)行匹配。該法比例閾值的選取對(duì)于匹配結(jié)果的準(zhǔn)確性會(huì)造成直接影響。比例閾值的大小與準(zhǔn)確度成反比關(guān)系，本文的閾值選定為0.5。

3）當(dāng)特征點(diǎn)粗匹配完成，再進(jìn)行RANSAC算法[10]對(duì)特征匹配情況進(jìn)行精匹配。經(jīng)過反復(fù)試驗(yàn)，本文設(shè)定最終匹配個(gè)數(shù)閾值為6效果最佳，若大于該特征點(diǎn)個(gè)數(shù)閾值，則說明目標(biāo)區(qū)域存在目標(biāo)物，結(jié)合單應(yīng)性矩陣[11]，將模板圖片的四個(gè)頂點(diǎn)坐標(biāo)由單應(yīng)矩陣映射到場(chǎng)景圖片中，得到xmin、xmax、ymin和ymax，將x、y坐標(biāo)進(jìn)行兩兩組合，得到圖像坐標(biāo)系上四個(gè)角點(diǎn)，進(jìn)而框定感興趣區(qū)域。

圖4 SURF模板匹配

3 特征點(diǎn)提取與整合

在目標(biāo)檢測(cè)識(shí)別出物體并且框定感興趣區(qū)域后，可以通過相關(guān)處理得到特征點(diǎn)，進(jìn)而提取特征點(diǎn)的像素坐標(biāo)，處理步驟主要包括對(duì)感興趣區(qū)域中目標(biāo)物邊緣檢測(cè)、直線檢測(cè)以及特征點(diǎn)篩選。

邊緣檢測(cè)是為了獲得待檢測(cè)物的幾何輪廓，本文采用canny檢測(cè)算法[12]。在對(duì)其進(jìn)行輪廓檢測(cè)前，為了使檢測(cè)更準(zhǔn)確可以對(duì)感興趣區(qū)域進(jìn)行中值濾波法[13]減小噪聲干擾，為了減小顏色相似與光照影響，可以調(diào)整物體與背景對(duì)比度，對(duì)圖5的檢測(cè)效果如圖6所示。

圖5 目標(biāo)檢測(cè)結(jié)果

圖6 邊緣輪廓檢測(cè)結(jié)果

檢測(cè)出目標(biāo)的大致輪廓，利用霍夫變換來提取特征直線以擬合出特征角點(diǎn)?；舴蛑本€檢測(cè)就是把圖像空間中的直線變換到參數(shù)空間中的點(diǎn)，通過統(tǒng)計(jì)特性來解決檢測(cè)問題。

霍夫變換返回的結(jié)果包括檢測(cè)到的每條直線的極坐標(biāo)參數(shù)ρ、θ以及直線段的起點(diǎn)與終點(diǎn)。一條特征直線可能對(duì)應(yīng)霍夫變換檢測(cè)出多條線段，為了檢測(cè)結(jié)果的準(zhǔn)確性，要根據(jù)實(shí)際情況選擇兩點(diǎn)之間的距離閾值（小于此閾值則認(rèn)為兩點(diǎn)屬于一條線段）、線段長(zhǎng)度閾值（大于此閾值則返回該線段參數(shù)）?；舴蜃儞Q檢測(cè)到的直線會(huì)有很多條，需要從中篩選出特征直線，特征直線的篩選需要滿足以下條件：

1）線段是目標(biāo)物與背景的分界線，一側(cè)像素為背景色，一側(cè)像素偏目標(biāo)物表面顏色?；叶忍荻容^大，屬于強(qiáng)邊緣。

2）是目標(biāo)物上表面線段，距離俯拍攝像機(jī)較近，誤差較小。

3）雖然目標(biāo)物上各條平行的棱在圖片上不會(huì)嚴(yán)格平行，但其θ值差異不會(huì)過大，如圖5中線段1、2的θ值相近。因此以強(qiáng)邊緣特征直線θ值為基準(zhǔn)，設(shè)置偏差閾值，經(jīng)多次試驗(yàn)，閾值取±15°時(shí)篩選的特征直線較為可靠。霍夫變換檢測(cè)特征直線效果如圖7所示。根據(jù)篩選的條件，返回上表面2、3線段與3直線極坐標(biāo)參數(shù)ρ、θ后，擬合的P1和P4點(diǎn)滿足用于檢測(cè)位姿的要求。

圖7 直線擬合角點(diǎn)結(jié)果

4 實(shí)驗(yàn)結(jié)果及分析

4.1 單目相機(jī)的標(biāo)定

本文采用張正友棋盤標(biāo)定法對(duì)單目USB攝像機(jī)進(jìn)行標(biāo)定。先將攝像機(jī)固定，采用20mm×20mm的6×11規(guī)格的黑白棋盤，改變棋盤相對(duì)攝像機(jī)的位置拍攝19張圖(分辨率640*480)，再將棋盤擺放至與XOY平面重合的位置拍攝第20張照片，將20張照片放入MATLAB標(biāo)定工具箱進(jìn)行標(biāo)定，得到相機(jī)在拍取工件點(diǎn)的相機(jī)標(biāo)定參數(shù)。具體參數(shù)如表1所示。

表1 相機(jī)的內(nèi)外參數(shù)

4.2 定位與位姿檢測(cè)

保證相機(jī)俯拍目標(biāo)工件完整的前提下，移動(dòng)目標(biāo)工件（高44mm），測(cè)量30次角點(diǎn)坐標(biāo)信息。為了實(shí)驗(yàn)的方便測(cè)量，被檢測(cè)工件某一直角邊與棋盤X軸和Y軸平行，每次測(cè)量整體沿著棋盤X和Y軸平行移動(dòng)，從中選取7組P1和P4橫縱坐標(biāo)數(shù)據(jù)如表2所示。

表2 角點(diǎn)檢測(cè)實(shí)驗(yàn)數(shù)據(jù)表

由于待檢測(cè)工件位姿檢測(cè)精度主要取決于本模型的角點(diǎn)檢測(cè)精度，故接下來只討論角點(diǎn)誤差。

圖8和圖9是被檢測(cè)工件上P1和P4的角點(diǎn)縱坐標(biāo)誤差與橫縱坐標(biāo)的曲線關(guān)系圖。從圖中可以看到，P1角點(diǎn)在移動(dòng)過程中，縱坐標(biāo)小于160mm情況下，縱坐標(biāo)誤差具有隨機(jī)性，但平均誤差均在2mm以內(nèi)，當(dāng)縱坐標(biāo)超過160mm，縱坐標(biāo)誤差出現(xiàn)增長(zhǎng)趨勢(shì)，但是誤差不超過3.5mm；P4角點(diǎn)縱坐標(biāo)小于160mm情況下，縱坐標(biāo)平均誤差不超過2.5mm，當(dāng)縱坐標(biāo)超過160mm，縱坐標(biāo)誤差出現(xiàn)更大的增長(zhǎng)，但縱坐標(biāo)誤差不超過3.5mm。

圖8 P1角點(diǎn)縱坐標(biāo)誤差曲線圖

圖9 P4角點(diǎn)縱坐標(biāo)誤差曲線圖

圖10和圖11是被檢測(cè)工件上P1和P4角點(diǎn)橫坐標(biāo)誤差與橫縱坐標(biāo)的曲線關(guān)系圖。分析發(fā)現(xiàn)，角點(diǎn)的縱坐標(biāo)對(duì)于檢測(cè)的橫坐標(biāo)影響不大。橫坐標(biāo)對(duì)于橫坐標(biāo)誤差影響較大，隨著橫坐標(biāo)距離的增大，橫坐標(biāo)誤差會(huì)隨之增大，最大絕對(duì)誤差接近2.5mm。

圖10 P1角點(diǎn)橫坐標(biāo)誤差曲線圖

圖11 P4角點(diǎn)橫坐標(biāo)誤差曲線圖

5 結(jié)語(yǔ)

本文提出了一種單目視覺特定立方體位姿檢測(cè)模型，該模型成本低，算法簡(jiǎn)單，易于實(shí)現(xiàn)，基本滿足實(shí)際需要。通過SURF模板匹配實(shí)現(xiàn)目標(biāo)檢測(cè)，在保證識(shí)別準(zhǔn)確率的前提下，實(shí)時(shí)性基本得到滿足。本文結(jié)合相機(jī)標(biāo)定信息與工件先驗(yàn)信息，采用霍夫變換擬合的方式得到了角點(diǎn)的坐標(biāo)信息。實(shí)驗(yàn)結(jié)果表明，角點(diǎn)縱坐標(biāo)平均誤差在160mm內(nèi)小于2.5mm，橫坐標(biāo)平均誤差在220mm以內(nèi)小于2.5mm，基本滿足檢測(cè)誤差要求。本模型角點(diǎn)誤差的來源，主要來自于相機(jī)自身構(gòu)造精度與測(cè)量工具精度。同時(shí)，在后續(xù)的工作中，對(duì)于如何提高復(fù)雜背景目標(biāo)檢測(cè)效率，還有待研究改進(jìn)。