杜欽生， 李丹丹,， 陳 浩， 李雄飛

(1. 長春大學(xué) 計算機科學(xué)技術(shù)學(xué)院， 吉林 長春 130022；2. 蘇州深淺優(yōu)視智能科技有限公司， 江蘇 蘇州 215000；3. 吉林大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 吉林 長春 130012；4. 長春大學(xué) 旅游學(xué)院 工學(xué)院， 吉林 長春 130122)

1 引 言

電子連接器引腳是工業(yè)接插件的關(guān)鍵部位，在生產(chǎn)過程中會存在翹腳、歪腳、缺腳和斷腳等問題。引腳會直接決定產(chǎn)品的質(zhì)量，因此對其位置的檢測要求也非常嚴格。一方面，人工檢測速度慢，誤檢率高，勞動力大[1]；另一方面，運用機器視覺進行質(zhì)量檢測，PIN針檢測均是基于硬件為2D相機、鏡頭加上光源在一定的工作距離對工件進行拍攝[2-4]，得到的圖像為單通道灰度圖或三通道彩色圖，但像素值均是灰度值的2D平面圖，這種方法對硬件的選型及擺放需要精準設(shè)置，且光照等外部因素會影響圖片質(zhì)量，最重要的是相機拍攝的空間物體投影到平面上會丟失很多關(guān)鍵信息，導(dǎo)致結(jié)果誤差較大。相比之下，三維點云數(shù)據(jù)增加了深度信息，具有非常靈活、強大的表示能力，因此在機器視覺領(lǐng)域的應(yīng)用越來越廣泛，成為近幾年來的研究熱點[5-6]。但由于相機拍攝角度、人為因素、物體表面自身遮擋等問題，在無序點云中存在大量噪點，包括體外飛點、離群成簇噪點、混雜的毛刺噪點等。目前國內(nèi)外學(xué)者提出了一些點云去噪和分割的方法[7]。袁華等通過將噪聲進行分類，采用不同濾波算法對噪聲去除的方法，提高了計算效率且避免了細節(jié)失真[8]。王曉輝等通過直接計算曲率及法向距離將點云數(shù)據(jù)分成平滑區(qū)域和尖銳區(qū)域進行去噪，可以說是按照點云的特征進行分類去噪，但是點云數(shù)據(jù)越多其法向量計算時間越長[9]。同樣，吳祿慎等通過對點云曲率的計算將點云分成不同區(qū)域，然后采用平均濾波和自適應(yīng)雙邊濾波算法去噪，但是在計算微分幾何信息時耗時長，并且如果離群點很多時很難進行分類，則會出現(xiàn)較大誤差[10]。

本文提出一種基于結(jié)構(gòu)光3D點云的PIN針針尖平面提取方式。通過結(jié)構(gòu)光及工業(yè)相機采集點云信息。由于在工業(yè)中采集的點云數(shù)據(jù)量非常多，但又只對工件的某一部分進行提取處理，所以采用點云的特征進行分類去噪并提取[11]。首先使用直通濾波去除大量非目標點云。對目標點云進行粗提取，采用歐氏聚類分割算法，滿足工業(yè)上對速度性和準確性的要求。對于電子連接器引腳在工業(yè)中的高精度需求，對分割后的點云進行法矢量估算，并與基準平面的法向量進行對比，從而提高引腳重心的計算精度。該方法吸取了前人算法的優(yōu)點，且對無序點云和網(wǎng)格化后的點云均適用，既能測量PIN針針尖高度，又能通過該方法在保留PIN針針尖細節(jié)的同時去除了干擾的點云數(shù)據(jù)，滿足了在實際工業(yè)上電子連接器引腳檢測的準確性、速度性、高精度的要求。

2 面結(jié)構(gòu)光技術(shù)

三維測量技術(shù)中主動式三維測量采用結(jié)構(gòu)照明方式，能快速、高精度地獲得物體表面三維信息，具有精度高、測量速度快、成本低等優(yōu)點，非常適合在光照不足、缺乏紋理的場景下使用。因此，本文采用結(jié)構(gòu)光技術(shù)獲取工件點云數(shù)據(jù)信息[12]。如圖1所示，結(jié)構(gòu)光由投影儀和相機兩部分組成。通過投影儀投射特定的光信號覆蓋到物體，然后利用相機收集物體信息[13]。面結(jié)構(gòu)光三維測量方法的基本原理是將計算機生成的已知相位的光柵條紋圖像投影到被測物體輪廓，從與投影方向成一定角度的方向觀測，因為物體位置及外面深度差別，光柵條紋的相位發(fā)生變化。變形的光柵攜帶了物體的三維信息，通過解相和相位展開等技術(shù)，可得出相位信息，進而利用三角法根據(jù)相位與物體空間坐標的轉(zhuǎn)化關(guān)系求出物體的三維坐標[14]。

圖1 結(jié)構(gòu)光三維測量原理Fig.1 Three dimensional measurement principle of structured light

3 PIN針針尖提取

3.1 PIN針針尖提取

3.1.1 直通濾波

點云中濾波方法有很多。實際應(yīng)用中電子連接器引腳在實際傳送帶進行檢測時，放置的位置均是在同一平面(高度)下，因此引腳的針尖高低差距不大?；谶@一特點，直通濾波可以很好地將坐標系某一軸的大面積離群點去除，適合用于偏離主體點云比較遠的離群點和非目標點，達到粗處理的目的，非常簡單實用[15]。其基本原理是對點云模型周圍的某點到三維掃描儀的距離與給定的閾值進行比較，剔除不在給定閾值之內(nèi)的噪聲點云，保留在閾值之內(nèi)的模型點云。

給定散亂點云數(shù)據(jù)P={p1,p2,p3,…,pn}(共n個點)，直接根據(jù)工件拍到的點云圖像信息確定在某一方向軸上進行閾值選擇進行閾值分割，設(shè)置保留的點云數(shù)據(jù)中點的坐標在某方向軸的最小值dmin和最大值dmax。去除閾值范圍以外的冗余點，將目標點云分割出來，從而去除背景點云。圖2為原始拍攝的電子連接器點云圖，圖中的顏色是按照總體點云數(shù)據(jù)的高度進行渲染，從低到高依次為赤、橙、黃、綠、青、藍、紫，其中由藍至紫為PIN針的針尖部分。從圖中可以看出，PIN針針尖的點云在所有點云中面積較小，因此存在大量不同方向、不同位置的無價值點云及離群點云，且離群點云大小也不盡相同。圖3所示為閾值分割與直通濾波之后的點云圖，從圖中可以看出該濾波方法有效去除了電子連接器的底面點云，將PIN針的針尖點云提取出來。

圖2 電子連接器原始點云圖Fig.2 Points cloud chart of electronic connector

圖3 直通濾波后點云圖Fig.3 Points cloud chart after straight through filtering

3.1.2 歐氏距離聚類分割

從圖3的點云圖可以看出，閾值分割與直通濾波可以高效地過濾掉閾值之外的非目標點云，但無法濾除在閾值之內(nèi)的散亂噪點。圖4為圖3旋轉(zhuǎn)放大后某一區(qū)域內(nèi)的點云圖，可以看出針尖上存在大量噪點，且閾值分割無法精準得到PIN針的針尖點云。點云分割可以劃分出多個點云子集，保證每塊點云子集的屬性相同或者相近[16]?；跉W式距離的聚類分割是利用量化的方式來定義每個樣本的相似程度[17-18]，從而去掉散亂點云噪點。在實際工業(yè)中，3D相機拍攝在同一位置下同一個物體且物體不發(fā)生形變條件下，點云圖片也會發(fā)生細微差異，點云數(shù)據(jù)中的噪點也會時有時無或發(fā)生位置的改變，且引腳針尖的點云數(shù)據(jù)與噪點相比，距離是有效的差異因素，因此采用歐式距離聚類分割算法去除噪點。

圖4 直通濾波后點云存在的噪點Fig.4 Noise points existing in the point cloud after through filtering

在歐式距離聚類分割中，對于散亂點云的按序查找，本文選擇采用 KD-tree法。KD樹是基于二叉樹可以實現(xiàn)多維數(shù)據(jù)的組織和儲存的一種結(jié)構(gòu)形式。KD樹每一個節(jié)點都可以劃分為兩個空間，直至節(jié)點中包含的數(shù)據(jù)少于設(shè)定值[19]。

本文中的歐氏距離聚類分割可以同時去除目標點云附近的背景點云及目標點云周圍的散亂噪點，從而準確地找到針尖點云。按照點與點之間的間隔作為判斷是否為同一類點云的指標。針對點云數(shù)據(jù)剩下的Q個點，需要定義距離閾值t，小于閾值的點放在同一簇中，大于閾值的點則不放進該簇中[20]。則每兩個點之間的間隔d的計算公式為：

(1)

其中(xi,yi,zi)、(xj,yj,zj)的i,j∈n，是任意兩點在該工件坐標系的下標。

除此之外，在歐氏聚類分割中，增加一個判斷是否屬于同一局內(nèi)點的指標，即簇內(nèi)點的數(shù)量。電子連接器每個引腳的針尖外觀、面積都接近一致大小，因此每一簇內(nèi)的點云數(shù)量都在某一數(shù)值上下范圍跳動，因此根據(jù)該指標可以判斷該類點云是否為針尖點云。根據(jù)面積可以設(shè)定針尖點數(shù)量的閾值范圍，即最小值nmin與最大值nmax。在這個閾值范圍內(nèi)則保留該類點云，否則，過濾掉該類點云。歐式距離聚類分割的詳細算法流程：

(1)輸入點云數(shù)據(jù)P，創(chuàng)建一個KD-tree數(shù)據(jù)結(jié)構(gòu)。

(2)隨機選取P中一個點pi進行近鄰搜索，計算pi與搜索到的每一個點的距離，將小于距離閾值點保留在類N中。

(3)對N中的每一個點Ni進行近鄰搜索，同樣判斷搜索到的每個點到Ni的距離，如果符合要求則放入N中。直到N沒有新的點加入為止，完成搜索進程。將N中一簇聚類加入點云索引T中，重置N。

(4)遍歷P中所有點，重復(fù)(2)、(3)操作。

(5)設(shè)置一個聚類需要的最小點數(shù)目m1和最大點數(shù)目m2。

(6)迭代訪問點云索引T，保留點數(shù)在m1與m2之前的點云子集，完成聚類分割。

歐氏距離聚類分割后的點云圖如圖5所示，從圖中可以看出該算法過濾掉了圖3中存在的離群點及引腳中小的稀疏噪點，有效地去除了非目標點云并準確提取了PIN針的針尖。圖6為圖5旋轉(zhuǎn)放大后某一區(qū)域內(nèi)的點云圖。從圖6可以看出，分割后的目標點云雖被準確地提取出來，但在針尖上存在少量上下浮動的噪點，且實物中該PIN針的針尖為平面，上下浮動的噪點對針尖測量的精確性存在一定程度的影響。

圖5 歐氏聚類分割后點云圖Fig .5 Points cloud chart after Euclidean distance clustering segmentation

圖6 歐氏聚類分割后點云側(cè)視圖Fig.6 Points cloud side view after Euclidean distance clustering segmentation

3.2 針尖平面濾波

法向量估計是點云處理的重要屬性之一。點云中每一點的法向量夾角及曲率值均不隨物體的運動而改變，具有剛體運動不變性。且法向量計算可以使點云既保持特征又能平滑區(qū)域。由于引腳中心提取的準確性非常高，否則就會對精度造成損失，又因為聚類分割后的點云數(shù)量并不是十分龐大，所以采用法向量估計對分割后仍然具有上下浮動噪點的針尖點云(圖6)進行細化處理。

目前已有的點云法向量估計方法可以分為3種類型：基于局部表面擬合的方法[21]、基于Delaunay/Voronoi的方法和基于魯棒統(tǒng)計的方法[22-23]，根據(jù)實驗結(jié)果及電子連接器引腳的特點，本文采用文獻[24]提供的方法結(jié)合實際情況計算引腳點云的法向量。

本文方法中，分割后的點云數(shù)據(jù)P={p1,p2,p3,…,ps}(共s個點)，點集中任意點pi的最近k鄰域可表示為N(pi)。通過在pi及其k鄰域上采用加權(quán)最小二乘擬合來定義一個平面P，該平面近似為局部切平面。對每個點的所有相鄰點添加高斯(Gaussian)權(quán)重函數(shù)，即式(2)中的θ(·)。這意味著距離點對法向量估計結(jié)果會產(chǎn)生不同的影響，從而可以得到較好的結(jié)果：

(2)

其中n為平面P的法向量，d為P到坐標原點的距離。同時法向量n需要滿足‖n‖2=1，θ(·)為高斯權(quán)函數(shù)，此處的加權(quán)函數(shù)以p中當(dāng)前點與其k鄰域上的點的距離作為參考，其中pii為pi的k鄰域上任一點(j∈N(pi))，pi為點云數(shù)據(jù)p中任一點(i∈s)。

電子連接器引腳的底座作為檢測時的基準，通過在基準底座上擬合一個平面P2來去除引腳點云的噪點?；鶞势矫娴臄M合采取穩(wěn)定性高、速度快的最小二乘法。

擬合平面P2表示為：

(3)

其中n2為平面P2的法向量，d2為P2到坐標原點的距離。

法向量濾波的最后一步是測量P2的法向量與P的法向量的夾角α。對夾角設(shè)置閾值，在閾值內(nèi)的點則保留，閾值之外的點則判定為噪點，進行剔除。圖7為法向量濾波后的點云圖，從圖中可以看出法向量濾波并沒有改變針尖形體特征，也沒有將目標點過多的濾除造成失真的情況。圖8是圖7經(jīng)過放大旋轉(zhuǎn)后其中一個引腳針尖的點云圖。從圖中可以看出，該算法將針尖平面緊密相連的上下范圍跳動的點也可以很好地去除，從而得到近似在同一平面的點云數(shù)據(jù)，避免噪點數(shù)據(jù)的干擾，對下一步針尖中心點的提取更加準確穩(wěn)定。

圖7 法向量濾波后的點云圖Fig.7 Points cloud chart after normal vector filtering

圖8 單個引腳針尖平面點云Fig.8 Single pin tip plane point cloud

4 實驗結(jié)果與分析

4.1 不同工件去噪?yún)?shù)設(shè)置及結(jié)果分析

為了驗證本文算法的準確性，實驗采用工業(yè)上常用的電子連接器引腳進行中心點提取，通過dpt 3D相機進行拍攝，操作是在主頻2.90 GHz，8 GB內(nèi)存，Window10操作系統(tǒng)環(huán)境下，利用VS2017實現(xiàn)。表1為4種工件進行引腳針尖提取的最優(yōu)參數(shù)設(shè)置。

表1 多個工件引腳針尖提取的最優(yōu)參數(shù)設(shè)置Tab.1 Optimal parameter setting for multiple workpiece pin tip extraction

其中直通濾波的參數(shù)：d為方向軸的選擇，dmin為坐標范圍最小值，dmax為坐標范圍最大值；歐氏聚類分割的參數(shù)：t為點距離閾值，nmax為針尖最大點數(shù)目，nmin為針尖最小點數(shù)目;法向量濾波的參數(shù)：α為法向量余弦角。

圖2與圖7為工件1原始點云圖及提取的針尖平面點云圖，圖9～圖14為另外3種工件的點云圖。其中圖9、圖11、圖13為3種工件原始點云圖，圖10、圖12、圖14是采用本文算法根據(jù)表1的參數(shù)提取的對應(yīng)的針尖平面點云圖。工件1～4形狀不同，引腳位置不同、列數(shù)不同、大小不同、個數(shù)不同，但均能準確提取引腳針尖平面的點云，濾除背景點云，剔除引腳針尖周圍的細小噪點及針尖上的小范圍的干擾點，從而對引腳的高度測量提供了準確的前提條件，說明本文算法具有普適性。

圖9 工件2原始點圖Fig.9 Original point cloud of Workpiece 2

圖10 工件2針尖平面圖Fig.10 Pinpoint plane of Workpiece 2

圖11 工件3原始點云圖Fig.11 Original point cloud map of Workpiece 3

圖12 工件3針尖平面圖Fig.12 Pinpoint plane of Workpiece 3

圖13 工件4原始點云圖Fig.13 Original point cloud of Workpiece 4

圖14 工件4針尖平面圖Fig.14 Pinpoint plane of Workpiece 4

4.2 平面度檢測

分別計算每個工件的每個引腳針尖平面的平面度。計算得到的引腳針尖平面的所有點數(shù)據(jù)與基準面的距離，將最大值與最小值做減法即為一張圖所有引腳針尖的平面度。與原始圖像每個引腳針尖平面的平面度進行對比，原始圖像計算平面度步驟如下：經(jīng)過直通濾波與聚類分割后，計算引腳針尖平面所有點到基準面的距離，將得到的最大值與最小值做減法，得到原始圖像針尖平面度。對比結(jié)果如表2所示。

表2 本文算法計算的針尖平面度與原始圖像的針尖平面度對比

根據(jù)表中數(shù)據(jù)得出，本文算法平面度約是原始圖像計算的針尖平面度的0.5倍，相較于原始圖像，本文算法得到的針尖平面點云數(shù)據(jù)更平整，無效噪點更少，體現(xiàn)了法向量濾波在引腳針尖檢測的重要性，因此本文算法在提取引腳針尖平面上的點云數(shù)據(jù)具有很好的準確性。

4.3 高度測量

對工件1進行PIN針的高度測量。由于通過3D測量可直接得到PIN針的三維坐標點，因此工件1采用本文算法提取的針尖點云計算每根針尖的中心點坐標c(x,y,z)，計算公式為式(4)，再根據(jù)式(5)計算中心點到基準面的距離即為PIN針的高度H。

(4)

(5)

其中(xi,yi,zi)為工件1提取到的k個針尖點坐標(i∈k)。a、b、c、d為通過公式(3)得到的基準平面的系數(shù)。

重復(fù)實驗10次，圖15為工件1中引腳高度測量的10次統(tǒng)計結(jié)果。工件的標準值為2.5(±0.05) mm，從圖15可以看出，所有針尖高度均在真值以內(nèi)，表3為圖15中19根引腳測量10次得到的每根引腳的最大值、最小值、差值、標準差。從表中得知，引腳的最大值與最小值之間的差值在0.003 mm以內(nèi)，說明本文算法可實現(xiàn)的精度在±0.005 mm以內(nèi)，準確性較強；同時標準差在0.001以內(nèi)，說明本文算法的穩(wěn)定性強。因此，本文算法對PIN針針尖提取結(jié)果準確有效且魯棒性強。

圖15 工件1中19根引腳高度測量10次統(tǒng)計圖Fig.15 Statistical diagram of 19 pin height measurements for 10 times in workpiece 1

表3 工件1中19根引腳測量10次統(tǒng)計表

續(xù) 表

4.4 與現(xiàn)有方案對比

采用500萬像素2D相機，25 mm景深的鏡頭，光源為平行背光，曝光時間為1 000 ms對工件3進行采圖(圖16)，并根據(jù)近幾年研究的基于機器視覺技術(shù)的文獻[4]計算PIN針的高度。首先使用3×3的中值濾波對圖像進行去噪處理，梯度銳化法清晰2D圖像輪廓，Qtsu算法進行閾值分割，然后使用Canny算子進行邊緣檢測，Harris算子進行角點檢測及最小二乘法進行直線擬合，從而通過簡單的數(shù)學(xué)運算公式對2D圖像進行引腳高度的測量。

圖16 工件3側(cè)面灰度圖Fig.16 Gray-scale images of workpiece 3 sides

表4為根據(jù)現(xiàn)有2D相機拍攝方案與本文方案測得的針尖高度進行數(shù)據(jù)統(tǒng)計，圖17為表3、4數(shù)據(jù)折線圖。通過精度為1 μm的螺旋測微器檢測針尖距離基準面的標準高度為(6.000±0.005)mm，通過表3和圖17可知，本文算法更接近真值，更準確，且在范圍內(nèi)高度值跳動小，魯棒性較好。表5為本文算法與現(xiàn)有算法的運行時間測試，由在相同電腦上(未使用GPU)的測試結(jié)果可知，本文算法效率更高，時間更快。

表4 工件3的PIN針高度測量結(jié)果Tab.4 Height measurements of ten pins in different directions (mm)

圖17 不同方法計算針尖高度統(tǒng)計圖Fig.17 Statistic chart of tip height was calculated by different methods

表5 PIN針檢測運行時間Tab.5 Run time of pins (ms)

5 結(jié) 論

在工業(yè)生產(chǎn)中對PIN針的檢測精度要求越來越高，本文采用結(jié)構(gòu)光技術(shù)對PIN針的針尖平面在三維空間中進行提取。根據(jù)點云數(shù)據(jù)存在毛刺現(xiàn)象、孔洞、離群點及大量不同類型的噪點等問題，首先利用幾何特性和直通濾波進行點云粗提取，快速準確地行定位目標點云并去除大量非目標點云及離群點。然后使用歐氏距離聚類分割算法，采用對點云數(shù)量進行范圍限制及歐式距離閾值設(shè)置的方式對目標點云進行分割，穩(wěn)定有效地去除目標點云附近的小范圍噪點，更精細化地提取PIN針針尖。最后通過對目標點云法向量與基準面法向量夾角的判斷方法篩選符合閾值夾角的針尖點云，有效且精確地去除目標點云內(nèi)不平整的噪點，對針尖點云數(shù)據(jù)的提取更加準確。實驗結(jié)果表明，本文算法的標準差在0.001以內(nèi)，比現(xiàn)有方案精度高，魯棒性好，用時提高了122.6 ms。