任建華 張寧可 高瑞貞

（河北工程大學(xué)機(jī)械與裝備工程學(xué)院，河北 邯鄲 056038）

工業(yè)機(jī)器人結(jié)合雙目視覺模仿人眼去感受現(xiàn)實(shí)世界的真實(shí)場景，已經(jīng)成為工學(xué)、醫(yī)學(xué)等交叉學(xué)科的新型技術(shù)。對于工業(yè)機(jī)器人，如何快速實(shí)現(xiàn)對工件的定位抓取已經(jīng)成為行業(yè)發(fā)展的關(guān)鍵性問題[1-3]。參考國內(nèi)外研究現(xiàn)狀，有關(guān)機(jī)器人定位的研究多數(shù)集中在自主定位方面，常見的是結(jié)合激光雷達(dá)、三維掃描儀等傳感器[4-6]進(jìn)行點(diǎn)云重構(gòu)計(jì)算。該類方法當(dāng)中，多數(shù)過程采用補(bǔ)償技術(shù)結(jié)合運(yùn)動學(xué)分析進(jìn)行位姿計(jì)算估計(jì)，可以有效地提高定位精度[7]。但是成像范圍小、設(shè)備投入昂貴等因素，以至于得不到大規(guī)模推廣應(yīng)用。其中雙目立體視覺技術(shù)以設(shè)備簡單、投資少等優(yōu)點(diǎn)成為當(dāng)前機(jī)器人視覺定位研究的熱點(diǎn)[8]。

并聯(lián)機(jī)器人屬于工業(yè)機(jī)器人的一種，相比傳統(tǒng)的工業(yè)機(jī)器人，并聯(lián)機(jī)器人具有更快速度、更高精度和剛度等優(yōu)點(diǎn)，采用末端執(zhí)行器定位的方法。在機(jī)器人定位圖像立體匹配中，對于窗口半徑選取的變換、像素計(jì)算以及視差計(jì)算等操作具有較好的可行性。但在實(shí)際的工作環(huán)境中，如外部光照、內(nèi)部弱紋理特征以及視差圖不連續(xù)等一些因素，都會影響立體匹配的精度結(jié)果，導(dǎo)致三維重建不佳。其中對于弱紋理區(qū)域，由于圖像局部分辨率變化，加上光照不均等因素，就會導(dǎo)致計(jì)算的紋理結(jié)果有較大偏差、誤匹配率增高和出現(xiàn)“空洞”等一些問題。針對弱紋理區(qū)域存在的缺點(diǎn)，很多研究學(xué)者在局部算法方面也做了眾多研究。Gómez-Espinosa A[9]基于深度RGB 傳感器獲取對象表明顏色，結(jié)合立體視覺進(jìn)行模型重建，該方法雖提高了焊接軌跡的定位識別精度，但耗資較高，應(yīng)用不廣泛。陸明軍[10]等將弱區(qū)域分類，將引導(dǎo)濾波結(jié)合視差融合，在保證匹配率的情況下具有更高的匹配精度。Liu H[11]等運(yùn)用梯度增強(qiáng)的方法對引導(dǎo)濾波進(jìn)行改進(jìn)，通過自適應(yīng)“十”字窗口進(jìn)行代價(jià)聚合，提高匹配精度，但對引導(dǎo)濾波邊緣保持性的缺點(diǎn)有待考慮。郁懷波[12]等根據(jù)不同區(qū)域像素的顏色選擇性賦值系數(shù)，以樹形結(jié)構(gòu)算法為基礎(chǔ)，進(jìn)行代價(jià)聚合計(jì)算，在弱紋理區(qū)域取得了較好的匹配結(jié)果，但對于匹配窗口、權(quán)值計(jì)算等都是采用人為設(shè)置，缺少一定的不確定性、靈活性。傳統(tǒng)的稀疏點(diǎn)云立體匹配算法是通過獲取視差圖進(jìn)行三維重建，周泩樸[13]以此為基礎(chǔ)進(jìn)行分析和改進(jìn)，雖然整體的準(zhǔn)確效率提高了，但是在特征點(diǎn)提取不足的缺點(diǎn)依舊存在。Feng H[14]等結(jié)合ADCensus 立體匹配算法對特征點(diǎn)進(jìn)項(xiàng)濾波處理，有效地降低了像素點(diǎn)局部噪聲的影響，提高魯棒性。魯光明[15]等針對視差突變的問題，采用AD 算法變換結(jié)合代價(jià)聚合SGM 改進(jìn)，提高了弱紋理區(qū)域匹配效率，但缺乏實(shí)時(shí)性的改進(jìn)。趙春暉[16]以特征點(diǎn)為基礎(chǔ)，選取主方向尺度信息作為匹配代價(jià)數(shù)據(jù)，提高匹配率，該算法在旋轉(zhuǎn)和縮放的情況下表現(xiàn)良好。

綜上分析，結(jié)合傳統(tǒng)工業(yè)機(jī)器人二維情況下存在定位抓取準(zhǔn)確率低、適用性差等缺點(diǎn)，引入三維信息到機(jī)器人定位抓取中。設(shè)計(jì)一種將梯度信息、自適應(yīng)雙邊濾波應(yīng)用到SGBM 算法當(dāng)中，以提高三維點(diǎn)云質(zhì)量為基礎(chǔ)，提高機(jī)器人的準(zhǔn)確定位抓取方法。該算法解決了在代價(jià)計(jì)算階段對于弱紋理區(qū)域，存在的像素變換不連續(xù)、普通算法視差有殘缺等問題?？梢越档蛨D像在立體匹配時(shí)的誤差，較好地抑制了弱紋理區(qū)域像素變化對代價(jià)的影響，增強(qiáng)了噪聲、光照因素對立體匹配的穩(wěn)定性，提高了視差圖的匹配效率和質(zhì)量精度，實(shí)現(xiàn)了工件任意擺放下的準(zhǔn)確定位抓取。

1 雙目成像原理

在圖像處理中，單目相機(jī)是無法估計(jì)像素的深度恢復(fù)三維模型坐標(biāo)的，但是類似于人眼的雙目相機(jī)，可以通過引入更多的約束求解出圖像的三維模型坐標(biāo)。雙目相機(jī)同時(shí)從不同角度拍攝物體，物體表面上的像素點(diǎn)會被映射到投影平面，其模型原理如圖1。

圖1 雙目立體相機(jī)模型

圖中以左相機(jī)為原點(diǎn)。基線b：相機(jī)光心距離，f：相機(jī)焦距。假定像素點(diǎn)P在左右成像面交點(diǎn)橫坐標(biāo)為Pl、Pr、xl、xr。結(jié)合三角形相似原理，由POlOr組成的三角形可以得出俯視圖上P點(diǎn)到成像平面的距離，也就是該點(diǎn)所在的深度信息。其結(jié)果為

由結(jié)果可知，其中fb乘積是固定不變的，左右成像平面橫坐標(biāo)xl-xr越小，深度值Z越大，相反越小，這種方式求得的Z又被稱為視差。在雙目立體匹配中，左右相機(jī)就是通過這種方法根據(jù)左右像素點(diǎn)坐標(biāo)，通過計(jì)算找到三維空間中的同一點(diǎn)像素，進(jìn)而求算出圖像的視差圖進(jìn)行三維點(diǎn)云重建。進(jìn)一步，以手眼標(biāo)定算法實(shí)現(xiàn)物體坐標(biāo)在相機(jī)、機(jī)器人之間轉(zhuǎn)換，完成定位。其總的流程如圖2。

圖2 整體定位算法流程圖

2 算法的實(shí)現(xiàn)描述

2.1 匹配代價(jià)計(jì)算

匹配代價(jià)計(jì)算是對左右兩幅圖的相似性度量。常見的有AD、SAD、SSD 和NCC 算法，其中基于差的絕對值和（sum of absolute difference，SAD）匹配代價(jià)算法計(jì)算量小、速度快，能夠滿足實(shí)時(shí)響應(yīng)的要求[17]。本文在此基礎(chǔ)上又融入梯度信息，在視差圖像不連續(xù)區(qū)域中梯度可以有效地解決誤匹配問題。首先以SAD 算法構(gòu)建一個(gè)窗口遍歷左右圖像，計(jì)算左右匹配圖像窗口內(nèi)所對應(yīng)像素之差的絕對值之和，通過閾值比較，最小值即為顏色匹配代價(jià)進(jìn)行視差計(jì)算。其公式表示為

式中：C1(p,d) 為 SAD 匹配代價(jià)、C2(p,d)梯度匹配代價(jià)、C(p,d)融合匹配代價(jià)。受文獻(xiàn)[18]啟發(fā)，根據(jù)SAD 窗口邊長選取的不同，將權(quán)重系數(shù) ω引入一個(gè)調(diào)整系數(shù)K，這樣在融合代價(jià)計(jì)算時(shí)可更好地分配權(quán)重?？啥x為

式中：像素點(diǎn)選窗口R越大，則對應(yīng)的調(diào)整系數(shù)就越小，從而所在的SAD 匹配代價(jià)權(quán)重就越小，梯度代價(jià)權(quán)重就偏大。因此，對于那些在弱紋理區(qū)，可以更好地使用梯度代價(jià)來進(jìn)行計(jì)算。

2.2 自適應(yīng)雙邊濾波代價(jià)聚合

2.2.1 傳統(tǒng)雙邊濾波

雙邊濾波（bilateral filter）[19]其工作也是采用加權(quán)平均的計(jì)算方式，主要是以待處理像素點(diǎn)與四周像素點(diǎn)歐式距離及像素亮度作為權(quán)重。在濾波器分類中，雙邊濾波屬于非線性濾波，其數(shù)學(xué)模型公式為

式中：S(x,y)所 代表的是以像素點(diǎn)為中心 2R+1為邊長的方形領(lǐng)域坐標(biāo)集合，和SAD 窗口的選取f(x,y)為濾波處理后圖像在點(diǎn) (x,y)的 灰度值，g(i,j)為未經(jīng)處理的噪聲圖像灰度值。在整體的算法當(dāng)中綜合權(quán)重w(i,j)由 空間域權(quán)重ws(i,j)、領(lǐng)域灰度權(quán)重wr(i,j)組成，可表示為

對于參數(shù)R、δs、δr是影響雙邊濾波器大小的主要因素。當(dāng)濾波器窗口半徑R越大濾波程度就越大；空間域標(biāo)準(zhǔn)差 δs越 大，與其對應(yīng)的空間高斯函數(shù)ws權(quán)重越分散，雖然去噪效過提高了，但圖像邊界越模糊；領(lǐng)域灰度標(biāo)準(zhǔn)差 δr越大，與其對應(yīng)的灰度相似度函數(shù)wr對灰度的要求就越低，顏色平均區(qū)域越模糊。選取樣品局部區(qū)域?yàn)轵?yàn)證對象，設(shè)置R=4，空間域標(biāo)準(zhǔn)差 δs=2領(lǐng) 域灰度標(biāo)準(zhǔn)差 δr=0.1的參數(shù)效果如圖3 所示。可以看出圖3c 雙邊濾波和中值濾波相比紋理變換邊界更加清晰。對于不同的噪聲圖像，要想獲取更清晰的圖像需要手動設(shè)置參數(shù)，很少存在“通用”的現(xiàn)象，也正是因?yàn)檫@樣繁瑣的步驟，提出自適應(yīng)雙邊濾波。

圖3 噪聲對比圖

2.2.2 自適應(yīng)雙邊濾波

高斯濾波是最常見，也是最原始的一種濾波器，它是以待處理像素點(diǎn)與四周像素點(diǎn)的歐氏距離作為權(quán)重計(jì)算的一種算法。與其對應(yīng)的數(shù)學(xué)模型是二維高斯函數(shù)，其分布是一維高斯函數(shù)分別在X軸、Y軸上的乘積。

不難理解服從正態(tài)分布的一維高斯函數(shù)具有對稱性原則，且二維高斯函數(shù)結(jié)合空間Z軸則有旋轉(zhuǎn)對稱性，函數(shù)效果如圖4 所示

圖4 函數(shù)效果圖

雙邊濾波綜合了高斯和結(jié)尾均值濾波，同時(shí)考慮空間域、鄰域之間的關(guān)系。

（1）空間域標(biāo)準(zhǔn)差

結(jié)合高斯函數(shù)，拋開灰度標(biāo)準(zhǔn)差，可以看出空間域標(biāo)準(zhǔn)差 δs與所選窗口邊長的大小還是存在一定的線性關(guān)系。同理高斯函數(shù)分布，從圖4 中可以看出正態(tài)分布95%的量都分布在 [-2δs、2δs]之間，冗余的并沒有太大影響。當(dāng)標(biāo)準(zhǔn)差 δs越小，圖形分布越集中。為了獲取更多的目標(biāo)像素作為樣本數(shù)據(jù)，可設(shè)定

式中：r為常數(shù)經(jīng)驗(yàn)值其小于窗口半徑R，與傳統(tǒng)相比，95%的分量都會落在半徑為Rr的區(qū)域內(nèi)，可以有效地解決圖像權(quán)重分散、模糊的問題，其余分布在邊緣窗口的像素點(diǎn)主要是參與噪聲的計(jì)算。

（2）鄰域灰度標(biāo)準(zhǔn)差

與空間域標(biāo)準(zhǔn)差相比，灰度標(biāo)準(zhǔn)差對雙邊濾波的處理效果具有更大的影響。當(dāng)標(biāo)準(zhǔn)差值越大，圖像的去噪效果越好，但是圖像清晰度會更差。根據(jù)文獻(xiàn)[20]灰度標(biāo)準(zhǔn)差 δr和 噪聲差值 δz存在一定的線性關(guān)系，該文獻(xiàn)進(jìn)行了不同噪聲下圖像灰度標(biāo)準(zhǔn)差的取值，經(jīng)試驗(yàn) δr/δz的比值大致分布在[2,3]之間，為了獲得更多的細(xì)節(jié)信息，選取 δr=2δz。結(jié)合文獻(xiàn)[21]噪聲方差的初步估計(jì)，F(xiàn)-NLE 方法在圖像處理中，為了降低紋理邊緣計(jì)算時(shí)得出的二階導(dǎo)數(shù)對初步估計(jì)結(jié)果的影響，所以采用2 個(gè)Laplacian 掩模算子差值N來評估噪聲。

則圖像噪聲標(biāo)準(zhǔn)差的計(jì)算 δz表示為

即灰度標(biāo)準(zhǔn)差

以VS2019 為編程實(shí)驗(yàn)平臺，首先取窗口R=4，常數(shù)r取1，得出的結(jié)果如圖3 所示。通過圖3 中c 和d 相比，改進(jìn)后的自適應(yīng)雙邊濾波處理結(jié)果與事先設(shè)定參數(shù)的傳統(tǒng)濾波處理結(jié)果極為相似?？梢缘贸?，改進(jìn)后的算法實(shí)現(xiàn)了空間域標(biāo)準(zhǔn)差和鄰域灰度標(biāo)準(zhǔn)差的自適應(yīng)調(diào)整，為后面做立體匹配特征提取提供了需求。

2.3 代價(jià)計(jì)算

經(jīng)過代價(jià)聚合后利用Winner-Take-All(WAT)算法策略，選取最小匹配代價(jià)視差值作為初始視差

式中：D表示計(jì)算范圍中所有可能的視差值。

2.4 視差后處理

SGBM 算法通過WTA 代價(jià)計(jì)算后，所得的初始視差圖并非最終結(jié)果，還需要進(jìn)一步的后處理操作剔除異常匹配點(diǎn)。首先，通過視差值進(jìn)行的置信度檢測，可以去除相差懸殊的代價(jià)值；結(jié)合亞像素插值使圖像視差更平滑；再以左右一致性測量為準(zhǔn)則，判定初始視差圖中的最大誤差像素點(diǎn)，其定義公式為

式中：dl(p)是p點(diǎn)在左視差圖中的視差值，相反dr[p-dl(p)]為右視差圖的視差值，如果通過比較不能滿足公式（15），則視為像素p點(diǎn)所在視差為無效視差值。

3 物件對象處理

3.1 基于外輪廓的形心點(diǎn)定位

采用圓柱工件為驗(yàn)證對象，結(jié)合外觀輪廓形狀以及三維重建后點(diǎn)云模型，選取其上表面中心作為機(jī)械手的定位點(diǎn)，對于像素坐標(biāo)系下定位點(diǎn) (u,v)的定義求解方式為

為了求解物體中心像素坐標(biāo)，首先對目標(biāo)圖像的外輪廓進(jìn)行二值化處理，其結(jié)果如圖5 所示，結(jié)合式（16），通過計(jì)算可以分別得出左右圖像的像素形心坐標(biāo) (ul,vl),(ur,vr)，其兩點(diǎn)形心坐標(biāo)在實(shí)際三維點(diǎn)云模型中即為中心點(diǎn)。

3.2 相機(jī)坐標(biāo)獲取

為了獲取在圖像識別特征配準(zhǔn)后，所做標(biāo)記點(diǎn)Z方向上的三維坐標(biāo)信息，利用改進(jìn)算法分別對方形、圓柱形物體進(jìn)行立體匹配處理。對其視差圖和三維點(diǎn)云如圖6 所示。在物體上選取的5 個(gè)特征點(diǎn)為分析對象，以小孔成像原理為基礎(chǔ)，利用像素下坐標(biāo)信息結(jié)合齊次坐標(biāo)式（17），畸變矯正式（18）以及式（1）計(jì)算出物體相對于主（左）相機(jī)下的三維空間坐標(biāo)Xl、Yl、Zl。其中xl、yl為 像素坐標(biāo)，f為焦距，ul、vl為相機(jī)內(nèi)參數(shù)，實(shí)驗(yàn)數(shù)據(jù)如表1。

表1 標(biāo)記點(diǎn)相機(jī)下三維坐標(biāo)

3.3 三維點(diǎn)云坐標(biāo)轉(zhuǎn)換

根據(jù)實(shí)際并聯(lián)機(jī)器人識別分揀系統(tǒng)實(shí)驗(yàn)，防止工作過程中機(jī)械手臂、相機(jī)之間發(fā)生沖突，所以采用Eye in Hand 的方式進(jìn)行標(biāo)定。將采樣點(diǎn)得到的坐標(biāo)信息通過此方法轉(zhuǎn)換到機(jī)器人坐標(biāo)系下。其轉(zhuǎn)換公式如下

式中：Rc、Tc分別為相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系的旋轉(zhuǎn)和平移矩陣。將獲得的三維坐標(biāo)信息通過上位機(jī)輸送給并聯(lián)機(jī)器人，在驅(qū)動器下完成物件的定位抓取。其變換后的坐標(biāo)信息如表2 所示。

表2 標(biāo)記點(diǎn)機(jī)器人下三維坐標(biāo)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 視差圖算法驗(yàn)證

為了驗(yàn)證改進(jìn)后加入梯度信息的代價(jià)計(jì)算算法，以及自適應(yīng)雙邊濾波代價(jià)聚合算法在SGBM 算法中的真實(shí)性，本文先對Middlebury 平臺四組標(biāo)準(zhǔn)圖像進(jìn)行實(shí)驗(yàn)，然后再應(yīng)用到實(shí)拍圖像上進(jìn)行分析算法的可行性。以誤匹配率PBM 以及計(jì)算時(shí)間T來評價(jià)表明結(jié)果的好壞。其中對PBM 的定義為

首先選取標(biāo)準(zhǔn)數(shù)據(jù)集中雙目矯正后的Art、Baby、Cloth、Aloe 為實(shí)驗(yàn)對象。其SAD 窗口選擇為9×9，對比的時(shí)候其他參數(shù)一致,其實(shí)驗(yàn)結(jié)果如圖7。

觀察圖7c、d 和e 可以看出，在弱紋理過度區(qū)域，本文優(yōu)化改進(jìn)算法可以彌補(bǔ)BM、SGBM 的不足，在弱紋理區(qū)域能夠把一些邊緣輪廓進(jìn)行填充，圖中紅色圈僅進(jìn)行了局部標(biāo)注說明。本文優(yōu)化方法及其他兩種算法視差圖計(jì)算時(shí)間T 如表3 所示、誤匹配率對比如表4 所示。

表3 計(jì)算時(shí)間對比

表4 誤匹配率PBM

圖7 立體匹配及優(yōu)化算法實(shí)驗(yàn)結(jié)果

由表3 數(shù)據(jù)可以看出，對標(biāo)準(zhǔn)數(shù)據(jù)集圖像的測試，改進(jìn)后的立體匹配算法時(shí)間上雖然不及BM，但與傳統(tǒng)算法相比，在計(jì)算時(shí)間上平均縮短了22.54%。表4 分析可以看出，優(yōu)化改進(jìn)后的算法較BM、SGBM 算法誤匹配率更低，平均誤匹配率降低了3.024%，更加接近標(biāo)準(zhǔn)視差圖。

4.2 實(shí)際抓取驗(yàn)證

為了驗(yàn)證改進(jìn)后算法的真實(shí)有效性，將其應(yīng)用到并聯(lián)機(jī)器人中，其實(shí)驗(yàn)結(jié)果如圖8 所示。整個(gè)系統(tǒng)主要包括：上位機(jī)、工控機(jī)、拍照系統(tǒng)和機(jī)械手等。實(shí)驗(yàn)步驟：首先由相機(jī)拍照系統(tǒng)獲取圖像，經(jīng)改進(jìn)算法進(jìn)行處理獲取物體三維重建模型的坐標(biāo)信息，通過手眼標(biāo)定將相機(jī)坐標(biāo)系下獲得的信息轉(zhuǎn)換到機(jī)器人坐標(biāo)系下，應(yīng)用上位機(jī)通信將物體形心坐標(biāo)信息傳送給并聯(lián)機(jī)器人。并與BM、SGBM 下總體時(shí)間和效率兩方面進(jìn)行分析對比，從而驗(yàn)證了本文算法應(yīng)用在機(jī)器人上應(yīng)用有效可行性。

圖8 實(shí)際抓取實(shí)驗(yàn)

圖9 一共統(tǒng)計(jì)了20 組方形塊和圓柱塊隨意擺放抓取時(shí)的相對誤差實(shí)驗(yàn)數(shù)據(jù)，分析可以看出，對于表面紋理較為復(fù)雜的對象，其相對誤差率平均可以控制在5%以下，對于表面光滑的對象，其相對誤差率平均可以控制在3%以下，較比另外兩種算法有了明顯的改進(jìn)。

圖9 抓取對象標(biāo)記點(diǎn)測試誤差分析

5 結(jié)語

針對傳統(tǒng)機(jī)器人定位抓取中有關(guān)相機(jī)立體匹配方法的準(zhǔn)確率低、匹配時(shí)間長問題，提出了一種機(jī)器人定位抓取的改進(jìn)雙目視覺算法。通過實(shí)驗(yàn)對比可以得出，對于弱紋理區(qū)域引入梯度信息到SAD算法當(dāng)中，對于不同像素，通過調(diào)整系數(shù)K 更好地均分SAD 代價(jià)、梯度代價(jià)；以自適應(yīng)雙邊濾波替換人為設(shè)置參數(shù)，最終得到匹配代價(jià)；進(jìn)而提高三維點(diǎn)云的重建效果，促使機(jī)器人完成準(zhǔn)確地定位抓取，通過實(shí)驗(yàn)驗(yàn)證可以將誤差率平均控制在5%以下，具有不錯(cuò)的應(yīng)用前景。