韓振華 劉書桂 高禮圳 余 飛

天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室，天津，300072

?

智能三坐標(biāo)測量機(jī)的零件位姿識別

韓振華 劉書桂 高禮圳 余 飛

天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室，天津，300072

提高三坐標(biāo)測量機(jī)對零件檢測的智能化，實現(xiàn)零件的位姿識別是非常必要的。提出了一種新的視覺識別零件及位姿的方法，該方法首先比較全面地提取實際零件的三維特征信息，然后根據(jù)零件三維特征在虛擬空間中尋找匹配組合，并根據(jù)匹配組合計算旋轉(zhuǎn)平移矩陣，最后根據(jù)實際和虛擬的零件成像輪廓的相似度進(jìn)行位姿識別。實驗表明新方法能夠?qū)α慵拔蛔诉M(jìn)行識別，并且最大誤差不超過1 mm。

智能的；三坐標(biāo)測量機(jī)；視覺；位姿；識別

0 引言

隨著科技的發(fā)展，制造業(yè)對數(shù)控檢測等設(shè)備的智能化提出了越來越高的要求，某些應(yīng)用場合需要在無人的條件下對有毒、易爆和強(qiáng)輻射零部件進(jìn)行檢測[1]，數(shù)控檢測設(shè)備的智能化及防碰撞能力[2]成為其發(fā)展的技術(shù)瓶頸[3]。因此提高數(shù)控檢測設(shè)備的智能化對制造業(yè)發(fā)展具有重要的意義。

為了提高包括三坐標(biāo)測量機(jī)(CMM)在內(nèi)的數(shù)控機(jī)器設(shè)備的安全性和智能化，早期的研究工作主要是針對二維場景中的問題。AHMAD等[4]應(yīng)用軟件Matrox inspector對零件進(jìn)行檢測和定位，但沒有提到相關(guān)識別零件及位姿的技術(shù)細(xì)節(jié)。TIAN等[5]利用攝像機(jī)在虛擬空間和實際空間中，用同樣的方位對零件拍照并進(jìn)行圖像識別，提出了一種基于圖像識別的標(biāo)定方法?，F(xiàn)有的零件位姿識別方法大多限于零件被平放在檢測平臺上，例如馬新輝等[6]假定零件是通過表平面和數(shù)控檢測平臺充分接觸擺放的，利用零件所有可能表平面和檢測平臺接觸時位姿的虛擬成像和單個相機(jī)實際成像進(jìn)行一一識別，將相似度最大的虛擬成像所對應(yīng)的零件姿態(tài)作為實際零件姿態(tài)，總體實現(xiàn)精度比較高，但無法對零件非表平面和檢測平臺接觸的情況進(jìn)行準(zhǔn)確識別，比如由于夾具等導(dǎo)致零件放置姿態(tài)傾斜等情況。黃風(fēng)山等[7]利用角點進(jìn)行零件位姿判定，但是相機(jī)在2個位置提取的特征信息容易產(chǎn)生匹配錯誤，且只是利用角點特征信息，過于單一。

本文針對智能三坐標(biāo)測量機(jī)提出了一種新的視覺識別零件各種位姿的方法：利用三坐標(biāo)測量機(jī)高精度地移動單個相機(jī)在3個不同位置對零件進(jìn)行特征定位，能夠最大限度地對零件三維特征信息進(jìn)行準(zhǔn)確定位，避免出現(xiàn)誤匹配。該方法不僅能對零件表平面和測量平臺接觸時的位姿進(jìn)行識別，而且能夠?qū)α慵潜砥矫婧蜏y量平臺接觸的位姿進(jìn)行識別。

1 系統(tǒng)構(gòu)成

本文中系統(tǒng)的結(jié)構(gòu)如圖1所示，三坐標(biāo)測量機(jī)的坐標(biāo)系為owxwywzw，相機(jī)固定在三坐標(biāo)測量機(jī)橫梁上，朝向測量平臺，相機(jī)的內(nèi)部參數(shù)已提前經(jīng)過標(biāo)定。攝像機(jī)坐標(biāo)系ocxcyczc和三坐標(biāo)測量機(jī)坐標(biāo)系owxwywzw的轉(zhuǎn)換關(guān)系為

(1)

si=sinici=cosii=α,β,γ

旋轉(zhuǎn)矩陣R、平移矩陣T是通過標(biāo)準(zhǔn)球標(biāo)定得到的[8]。三坐標(biāo)測量機(jī)坐標(biāo)系向攝像機(jī)坐標(biāo)系旋轉(zhuǎn)的變換如下：首先圍繞xw軸旋轉(zhuǎn)角度α，然后圍繞yw軸旋轉(zhuǎn)角度β，最后圍繞zw軸旋轉(zhuǎn)角度γ。相應(yīng)的平移矩陣T=[txtytz]T。

圖1 視覺系統(tǒng)分布示意圖Fig.1 Vision system distribution diagram

2 零件特征信息的定位

零件特征信息的定位步驟：首先根據(jù)零件的實際成像提取二維特征信息；然后根據(jù)視覺系統(tǒng)和匹配的二維特征信息進(jìn)行三維特征信息的定位，部分實現(xiàn)方法見文獻(xiàn)[9]。

視覺系統(tǒng)定位的零件特征信息包括角點坐標(biāo)、圓心坐標(biāo)、半徑以及棱邊所在的直線方程。圖1中，攝像機(jī)固定在三坐標(biāo)測量機(jī)的橫梁上，通過移動三坐標(biāo)測量機(jī)使得yw坐標(biāo)發(fā)生變化，帶動相機(jī)移動到不同位置。由于三坐標(biāo)測量機(jī)具有較高的定位精度，因此不同位置的攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系就可以根據(jù)三坐標(biāo)測量機(jī)在yw軸方向移動的距離求解得到。為了避免不同位置相機(jī)提取的圖像特征匹配出現(xiàn)多解，提出了三坐標(biāo)測量機(jī)帶動相機(jī)分別移動3個不同位置的方法。為減小特征信息的定位精度受相機(jī)移動距離大小的影響，本系統(tǒng)根據(jù)相機(jī)在不同位置時零件成像位置的變化以及相機(jī)成像面大小，確定三坐標(biāo)測量機(jī)在yw軸方向相距最遠(yuǎn)的兩個位置的坐標(biāo)，然后取上述兩個坐標(biāo)的中點為第三個位置。

零件的特征信息包括角點、圓、直線等，為了充分利用各類有效特征信息，本文對零件的特征信息分三類介紹：

(1)空間點(包括角點、圓心)的坐標(biāo)計算。具體的計算原理如圖2所示，每兩個不同位置的相機(jī)提取的信息為一組，設(shè)相機(jī)坐標(biāo)系的原點分別為Oc1、Oc2，空間點Pd在兩個相機(jī)中的成像分別為P′、P″。 線段P′P″為射線Oc1P′、Oc2P″的公垂線段，取線段P′P″的中點為空間點Pi，i為相機(jī)組的編號。將按照

(2)

求得的平均坐標(biāo)作為空間點Pd的坐標(biāo)。

圖2 空間點計算Fig. 2 Space point calculation

(2)圓的特征信息的提取。圖3中，特征圓的圓心為點O，在特征圓所在的范圍內(nèi)有無數(shù)個直徑，所有的直徑都經(jīng)過圓心O且所在直線的方向都不相同，只有經(jīng)過圓心O直徑A0B0所在的直線且和相機(jī)的成像面平行時，直徑的成像最長。特征圓成像一般為橢圓，圓的直徑成像長度約等于特征圓成像橢圓的長軸長度。由于位姿識別系統(tǒng)允許有一定的誤差，在系統(tǒng)允許的誤差范圍之內(nèi)，本文設(shè)定成像橢圓的長軸即為經(jīng)過圓心O的直徑成像。不妨設(shè)特征圓的直徑為2r。每兩個相機(jī)為一組，首先按照式(1)確定圓心點的空間位置坐標(biāo)。假設(shè)圓心點在其中一個相機(jī)坐標(biāo)系中zc軸方向的坐標(biāo)為zi，圓的直徑為2ri, 成像橢圓長軸長度為li, 根據(jù)小孔成像原理有

2ri=lizi/f

(3)

圖3 提取圓特征Fig.3 Extracting the circle feature

(3)求解空間直線方程。當(dāng)相機(jī)從3個不同的位置看到同一條直線時，每兩個位置的相機(jī)為一組，按圖4所示原理求解，最后把所有結(jié)果相加并求平均值，由平均值即可得到空間直線方程各項系數(shù)。相機(jī)只在一條空間直線上移動，為減小提取誤差，本系統(tǒng)只定位和三坐標(biāo)測量機(jī)移動方向夾角比較大的直線。相機(jī)坐標(biāo)系的原點為Oc1、Oc2，空間直線段A1B1在兩個相機(jī)上的成像分別為線段a1b1、a2b2。平面Oc1a1b1和平面Oc2a2b2求交即可確定直線A1B1的方程。

圖4 提取空間直線Fig.4 Extracting space line

3 零件位姿識別方法

基于視覺的零件位姿識別方法步驟：首先利用視覺系統(tǒng)提取零件的三維特征信息，然后根據(jù)三維特征信息在零件模型數(shù)據(jù)庫里搜索匹配，計算所有匹配的結(jié)果，最后根據(jù)零件的輪廓特征確定出最優(yōu)的零件位姿。虛擬空間中，由所有零件虛擬模型信息組成的數(shù)據(jù)庫稱為零件模型數(shù)據(jù)庫。

識別零件的位姿實際就是計算正確的零件坐標(biāo)系和三坐標(biāo)測量機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，計算方法見文獻(xiàn)[10]。Open CASCADE幾何造型庫讀入的零件CAD文件以零件設(shè)計坐標(biāo)系為基準(zhǔn)，文中的零件坐標(biāo)系就是零件設(shè)計坐標(biāo)系，因此需要結(jié)合視覺系統(tǒng)提取的零件特征信息在三坐標(biāo)測量機(jī)坐標(biāo)系和零件坐標(biāo)系下的坐標(biāo)一起計算兩個坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。由文獻(xiàn)[10]可知，根據(jù)3個公共的非共線點，可以求解2個坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。

實際提取特征信息向量xs=(xs1,xs2,xs3,xs4,xs5,xs6,xs7,xs8)，零件三維特征信息可以分為以下4類組合，N2為每類特征組合中匹配組合個數(shù)。

(1)3個非共線的空間點特征組合，空間點包括圓心和角點。對每一種3個非共線點的組合進(jìn)行如下處理：以3個非共線點之間相互距離xs1、xs2、xs3為搜索特征，圓心以該圓半徑xs4為搜索特征，在零件模型數(shù)據(jù)庫中搜索所有此類組合，特征信息向量xs中的其他特征值為0，N2=1。

(2)空間點(包括角點和圓心)和直線的特征組合，且該空間點不在這條直線上。所有此類組合按照圖5中Sp1所示進(jìn)行處理，點B2為空間點，直線A2C2為一空間直線，點A2為點B2在直線上的垂足，點C2和點A2具有固定的距離。以A2B2的長度xs5及圓半徑xs4為特征，在零件模型數(shù)據(jù)庫中搜索點線組合，特征信息向量xs中的其他特征值為零。每種匹配點線組合都按照圖5中的Sp2所示進(jìn)行處理，做點ps1在直線上的垂足qs1，在點qs1兩邊的直線上取距離點qs1具有相同長度的點ms1、ns1。虛擬空間中，每個點線組合又可以分為兩種不同的匹配組合，N2=2。

圖5 點和直線組合Fig.5 Point and straight combination

(3)兩條相離的直線特征組合。對于所有此類組合，按照圖6中Sp3所示進(jìn)行處理。首先求取兩條相離直線距離最近的點A3、B3以及兩條直線的夾角。在其中一條直線上取一點，如在點A3所在的直線上取點C3，使點C3和點A3具有固定的距離。然后以兩條相離直線的距離xs6和夾角大小xs7為特征，在零件模型數(shù)據(jù)庫中尋找相離直線組合，特征信息向量xs中的其他特征值為0。每一種匹配組合都按照圖6中Sp4所示進(jìn)行處理，即首先求取兩條相離直線上距離最近的點ps2、qs2，然后分別在兩條直線及點ps2、qs2兩邊取兩個點滿足：

|ps2es2|=|ps2fs2|=|ms2qs2|=|ns2qs2|=|A3C3|

(4)

圖6 相離直線Fig.6 Disjoint straight lines

虛擬空間中，每個相離直線組合就可以分為4種和實際空間對應(yīng)的匹配組合，N2=4。

(4)兩條相交直線特征組合。所有此類組合按照圖7中Sp5進(jìn)行處理，交點為C4，在兩條直線上取點A4、B4，使|A4C4|=|B4C4|，再求取兩條直線的夾角。以夾角大小xs8為特征，在零件的三維虛擬模型中尋找相交直線的匹配組合，特征信息向量xs中的其他特征值為零。每一種匹配組合都按照圖7中的Sp6所示進(jìn)行處理,即求取角點qs3，分別在每條直線及點qs3兩邊取兩個點滿足：

|qs3es3|=|qs3fs3|=|ms3qs3|=|ns3qs3|=|A4C4|

(5)

虛擬空間中，每個相交直線組合又可以分為8種與實際空間對應(yīng)的匹配組合，N2=8。

圖7 相交的直線Fig.7 Intersecting straight lines

綜合以上可得4種類別總的匹配判別函數(shù)：

g(xjk)=wT(xs-xjk)

(6)

j=1，2，…，N1k=1，2，…，N2

零件模型數(shù)據(jù)庫中，匹配特征向量xjk=(xjk1,xjk2,xjk3,xjk4,xjk5,xjk6,xjk7,xjk8), 權(quán)向量w=(w1,w2,w3,w4,w5,w6,w7,w8)，N1為每類特征組合個數(shù)，如果|g(xjk)|≤δ，則成功搜索到匹配組合，δ為判別閾值。每類特征組合可能有多種合適匹配組合，因此需要對每一種組合計算位姿并虛擬成像，然后綜合文獻(xiàn)[6]方法，對零件實際輪廓和虛擬成像輪廓進(jìn)行識別，如果所有組合計算的輪廓相似度都小于設(shè)定閾值，則判定此類特征信息組合無法識別零件位姿，具體原因是零件模型數(shù)據(jù)庫中沒有此零件。整個零件位姿識別方法實施具體過程為：首先視覺系統(tǒng)提取零件的特征信息；判斷是否符合組合(1)即3個非共線空間點特征組合，如果是就按照組合(1)原理進(jìn)行計算，然后通過輪廓識別確定零件位姿；如果不是組合(1)就進(jìn)行組合(2)即空間點和特征直線的組合判斷，如果符合組合(2)，就按照其相應(yīng)的原理進(jìn)行計算，然后輪廓識別確定零件位姿；如果不是組合(2)就進(jìn)行組合(3)即兩條相離直線的特征組合判斷，如果符合組合(3)，就按照其相應(yīng)的原理進(jìn)行計算，然后輪廓識別確定零件位姿；如果不是組合(3)就進(jìn)行組合(4)即兩條相交直線的特征組合判斷，如果符合組合(4)，就按照其相應(yīng)的原理進(jìn)行計算，然后輪廓識別確定零件位姿。

新的位姿識別方法能有效利用零件的三維幾何特征，不僅能夠?qū)α慵砥矫婧蜋z測平臺接觸時的位姿實現(xiàn)識別，而且能夠?qū)A具等設(shè)備造成零件傾斜放置在檢測平臺上時的位姿進(jìn)行準(zhǔn)確識別。

4 位姿識別實驗

實驗所用三坐標(biāo)測量機(jī)為海克斯康制造的Global classic SR 07.10.07。相機(jī)型號為MQ013MG-E2，分辨率為1280像素×1024像素；鏡頭型號為VTS0614-M2，焦距標(biāo)注值為6 mm。

從圖8可以看出，本文方法不僅能對零件平放在測量平臺上的位姿進(jìn)行識別，而且能對零件傾斜放置在平臺接觸上的位姿進(jìn)行識別。

(a)零件的一個表平面和測量平臺充分接觸

(b)物體的位姿成像圖8 識別結(jié)果Fig.8 The result of recognition

由于視覺系統(tǒng)對零件特征信息提取精度直接影響著最后位姿識別的精度，本實驗通過視覺系統(tǒng)對零件特征信息提取及定位的精度來驗證位姿識別的精度。首先將零件在檢測的空間內(nèi)放置多個位姿，分別提取每個位姿的角點、圓心及半徑、直線。如圖9所示，標(biāo)記點是零件的角點a、c，圓心為b、零件棱邊為直線L，圓心b所在圓的半徑為r。

圖9 零件特征信息Fig.9 The feature information of part

以視覺系統(tǒng)提取的角點a和三坐標(biāo)測量機(jī)檢測的同一角點的距離為視覺系統(tǒng)角點提取的誤差。同樣，以視覺系統(tǒng)提取的圓心b及所在圓半徑和三坐標(biāo)測量機(jī)檢測的同一圓心的距離及半徑的差值為視覺系統(tǒng)提取圓心和半徑的誤差。以三坐標(biāo)測量機(jī)檢測角點c到視覺系統(tǒng)提取的直線L的距離為判定提取直線的誤差。多次實驗誤差如圖10所示，圖10a中e1表示角點、直線定位誤差，圖10b中e2表示圓心坐標(biāo)及半徑的誤差。

(a)定位誤差

(b)圓心坐標(biāo)及半徑的誤差圖10 提取特征誤差Fig.10 The error of extracting feature

從圖10中可以看出，角點、直線、圓心及半徑的提取誤差都在0.8 mm以內(nèi)。直線的提取誤差相對較大，提取直線的精度受圖像中直線和相機(jī)移動方向夾角的影響，為了減小此類誤差，本系統(tǒng)設(shè)置只提取夾角大于45°的直線。所有零件特征的提取精度受相機(jī)的分辨率、光照等條件影響。此外，理論上圓特征信息的提取精度受圓大小、位置等多個因素影響，多次實驗表明，本文中零件位姿識別的最大誤差在1 mm以內(nèi)。圖10所示的提取誤差表明，本文方法能滿足智能三坐標(biāo)測量機(jī)的應(yīng)用需求。

5 結(jié)論

(1)本文方法利用三坐標(biāo)測量機(jī)高精度移動的特點實現(xiàn)了單個相機(jī)在3個不同位置對零件進(jìn)行特征定位，能夠最大限度地對零件三維特征信息進(jìn)行定位，提高了定位精度，節(jié)省了硬件設(shè)備，避免了不同位置相機(jī)提取特征出現(xiàn)誤匹配的問題。

(2)該識別方法能夠較大限度利用零件的三維幾何特征，實現(xiàn)了零件及位姿在實際空間和虛擬空間內(nèi)的統(tǒng)一，不僅能對零件表平面和檢測平臺接觸時的位姿實現(xiàn)識別，而且能對由夾具等設(shè)備造成零件非表平面和檢測平臺接觸時的位姿進(jìn)行準(zhǔn)確識別。 實驗結(jié)果表明，本文方法具有較好的實用性、適用性。

[1] ZHANG G X, LIU S G. Towards the Intelligent CMM[J]. CIRP Annal—Manufacturing Technology, 2002, 51(1): 437-442.

[2] STOJADINOVIC S M, MAJSTOROVIC V D, DURAKBASA N M, et al. Towards an Intelligent Approach for CMM Inspection Planning of Prismatic Parts[J]. Measurement, 2016, 92:326-339.

[3] CHO M W, LEE H, YOON G S, et al. A Feature-based Inspection Planning System for Coordinate Measuring Machines[J]. International Journal of Advanced Manufacturing Technology, 2005, 26(9):1078-1087.

[4] AHMAD R, TICHADOU S, HASCOET J Y. Integration of Vision Based Image Processing for Multi-axis CNC Machine Tool Safe and Efficient Trajectory Generation and Collision Avoidance[J]. Journal of Machine Engineering, 2010, 10(4): 53-65.

[5] TIAN X, ZHANG X, YAMAZAKI K, et al. A Study on Three-dimensional Vision System for Machining Setup Verification[J]. Robotics and Computer-Integrated Manufacturing, 2010, 26(1):46-55.

[6] 馬新輝, 張國雄, 王建利, 等. 智能三坐標(biāo)測量機(jī)中零件位置自動識別系統(tǒng)[J]. 儀器儀表學(xué)報, 2003, 24(2): 165-170. MA Xinhui, ZHANG Guoxiong, WANG Jianli, et al. Automatic Recognition for the Position and Orientation of Parts in Intelligent CMMs[J]. Chinese Journal of Scientific Instrument, 2003,24(2):165-170.

[7] 黃風(fēng)山, 劉恩福, 方憶湘,等. 基于智能三坐標(biāo)測量機(jī)的零件位姿單目立體視覺識別[J]. 光學(xué)精密工程, 2013, 21(5):1326-1332. HUANG Fengshan, LIU Enfu, FANG Yixiang, et al. Single Camera Stereo Vision Recognition for Parts’pose Based on Intelligent Three Coordinate Measuring Machine[J]. Optics & Precision Engineering, 2013, 21(5):1326-1332.

[8] 劉書桂, 宋宣曉, 韓振華. 球形靶標(biāo)中心成像點的高精度定位[J]. 光學(xué) 精密工程, 2016, 8(24): 1862-1869. LIU Shugui, SONG Xuanxiao, HAN Zhenhua. High-precision Positioning of Projected Point of Spherical Target Center[J]. Optical and Precision Engineering, 2016, 8(24): 1862-1869.

[9] 高禮圳, 劉書桂, 韓振華. 零件的角點提取及匹配定位[J]. 中國光學(xué), 2016, 9(4)：398-403. GAO Lizhen, LIU Shugui, HAN Zhenhua. Corner Extraction and Matching Location of Parts[J]. Chinese Optics, 2016,9(4):398-403.

[10] 陳宇, 白征東, 羅騰. 基于改進(jìn)的布爾沙模型的坐標(biāo)轉(zhuǎn)換方法[J]. 大地測量與地球動力學(xué), 2010, 30(3):71-73. CHEN Yu, BAI Zhengdong, LUO Teng. An Improved Bursa Model for Coordinate Transformation[J]. Journal of Geodesy and Geodynamics, 2010, 30(3):71-73.

(編輯 張 洋)

Part Position and Orientation Recognitions on Intelligent CMM

HAN Zhenhua LIU Shugui GAO Lizhen YU Fei

State Key Laboratory of Precision Measuring Technology & Instruments,Tianjin University,Tianjin,300072

In order to improve the intelligence of CMM for part detection, it was necessary to recognize positions and orientations of parts. A new visual recognition method for positions and orientations of parts was proposed. The new method firstly extracted actual 3D feature informations of parts more comprehensively, and then matched combinations of the 3D features were found in virtual space. Rotation matrix and translation matrix were computed by matched combinations. Finally, the positions and orientations were determined according to part contour matching similarity between real and virtual imaging. Experiments show that the positions and orientations may be recognized by the new method.

intelligent; coordinate measuring machine(CMM); vision; position and orientation; recognition

2016-07-19

天津市自然科學(xué)基金資助重點項目(13JCZDJC34500)

TP391

10.3969/j.issn.1004-132X.2017.14.016

韓振華，男，1986年生。天津大學(xué)精密儀器與光電子工程學(xué)院博士研究生。主要研究方向為視覺檢測、智能控制、三維虛擬現(xiàn)實、模式識別。E-mail：hanzhenhua@tju.edu.cn。劉書桂，男，1954年生。天津大學(xué)精密儀器與光電子工程學(xué)院教授、博士研究生導(dǎo)師。髙禮圳，男，1991年生。天津大學(xué)精密儀器與光電子工程學(xué)院碩士研究生。余 飛，男，1989年生。天津大學(xué)精密儀器與光電子工程學(xué)院碩士研究生。