趙偉鵬 潘盛輝 李鎮(zhèn)楠

摘 要：傳統(tǒng)PIN針歪斜檢測(cè)主要依靠人工觀察或利用插排等工件測(cè)試，存在檢測(cè)效率低、精度無法滿足工業(yè)要求的問題。為解決這類問題，通過Halcon視覺開發(fā)軟件和C#語言聯(lián)合編程，設(shè)計(jì)基于機(jī)器視覺的連接器PIN針歪斜檢測(cè)系統(tǒng)。通過對(duì)連接器端子內(nèi)部的視覺特征進(jìn)行分析，并采用行列等比例縮放模板匹配確定基準(zhǔn)點(diǎn)和定位PIN針區(qū)域，解決了傳統(tǒng)形狀模板匹配在目標(biāo)尺寸發(fā)生變化后定位不準(zhǔn)確的問題。對(duì)定位的插針進(jìn)行Sobel邊緣檢測(cè)和形狀轉(zhuǎn)換確定其中心點(diǎn)，再計(jì)算基準(zhǔn)點(diǎn)與中心點(diǎn)的歐式距離，得出插針偏移量。實(shí)際應(yīng)用結(jié)果表明，本文歪斜檢測(cè)系統(tǒng)精度為0.1 mm，通過率為98.61%，誤判率為0，檢測(cè)時(shí)間在1 s以內(nèi)，滿足工業(yè)生產(chǎn)需求。

關(guān)鍵詞：Halcon；機(jī)器視覺；PIN針歪斜檢測(cè)；行列等比例縮放模板匹配；Sobel邊緣提取

中圖分類號(hào)：TP391.4 DOI：10.16375/j.cnki.cn45-1395/t.2023.02.014

0 引言

在國(guó)家加強(qiáng)節(jié)能減排部署的背景下，節(jié)能環(huán)保是現(xiàn)代汽車發(fā)展的必然趨勢(shì)，新能源汽車邁入加速發(fā)展的快車道[1]。連接器作為新能源汽車的電力與信息傳輸橋梁，其插針歪斜程度是判斷該產(chǎn)品是否符合生產(chǎn)要求的重要指標(biāo)[2]。當(dāng)連接器插針位置與標(biāo)準(zhǔn)模板偏差較大時(shí)，會(huì)出現(xiàn)短路現(xiàn)象，使得電力與信息傳輸受阻[3]。為了減少該類現(xiàn)象發(fā)生，研究者們不斷探索性能更加優(yōu)良的連接器PIN針歪斜檢測(cè)方法[4]。

傳統(tǒng)插針歪斜檢測(cè)方式主要是人工觀察或者利用插排等工件檢測(cè)。在生產(chǎn)過程中發(fā)現(xiàn)，傳統(tǒng)方式經(jīng)常發(fā)生誤判現(xiàn)象，且效率低。從提高精度和減少誤判出發(fā)，南京晨光集團(tuán)有限責(zé)任公司等[5]發(fā)明一款電連接器插針歪斜遠(yuǎn)心視覺檢測(cè)裝置，將遠(yuǎn)心鏡頭引入PIN針歪斜檢測(cè)領(lǐng)域，減少成像畸變，提高了檢測(cè)精度和準(zhǔn)確性。該裝置雖有效減少誤判現(xiàn)象，但主要針對(duì)成像系統(tǒng)進(jìn)行優(yōu)化，其本質(zhì)是人工觀測(cè)，并未提升檢測(cè)效率。從提高檢測(cè)效率出發(fā)，蘇州百拓智能裝備有限公司[6]發(fā)明一款電測(cè)與PIN針歪斜檢測(cè)機(jī)構(gòu)，將電測(cè)與插針歪斜檢測(cè)結(jié)合。導(dǎo)通測(cè)試時(shí)，驅(qū)動(dòng)機(jī)構(gòu)使檢測(cè)件向前運(yùn)動(dòng)，當(dāng)插針歪斜時(shí)，插針無法探入檢測(cè)孔，導(dǎo)通測(cè)試失敗。反之，插針可深入檢測(cè)孔，導(dǎo)通測(cè)試成功。實(shí)際生產(chǎn)發(fā)現(xiàn)，該裝置雖提高檢測(cè)效率，但檢測(cè)精度低。從提高精度和檢測(cè)效率出發(fā)，姜景科等[2]根據(jù)插針的3D特征，設(shè)計(jì)了基于3D激光傳感器的PIN針高度檢測(cè)系統(tǒng)，利用3D Gocator激光傳感器相機(jī)實(shí)時(shí)獲取目標(biāo)物體的三維點(diǎn)云圖像，實(shí)現(xiàn)PIN針高度檢測(cè)，然后與插針標(biāo)準(zhǔn)高度對(duì)比，進(jìn)而判斷PIN針是否歪斜。該系統(tǒng)檢測(cè)精度和效率高，但是設(shè)備成本高且對(duì)產(chǎn)品固定機(jī)構(gòu)的穩(wěn)定性要求嚴(yán)格。

機(jī)器視覺檢測(cè)技術(shù)具有精度高、速度快、自動(dòng)化水平高等特點(diǎn)[7-8]，滿足工業(yè)對(duì)插針歪斜檢測(cè)要求。本文設(shè)計(jì)了基于機(jī)器視覺的連接器PIN針歪斜檢測(cè)系統(tǒng)，該系統(tǒng)為提高檢測(cè)系統(tǒng)的成像效果，參考了電連接器插針歪斜遠(yuǎn)心視覺檢測(cè)裝置，使用遠(yuǎn)心鏡頭減小成像畸變，提高了成像穩(wěn)定性。其系統(tǒng)原理為：根據(jù)端子內(nèi)部結(jié)構(gòu)特點(diǎn)，采用行列等比例縮放形狀模板匹配定位插針區(qū)域和基準(zhǔn)點(diǎn)，即插針穿插孔洞中心點(diǎn)；然后，利用Sobel邊緣檢測(cè)提取插針邊緣并進(jìn)行形狀轉(zhuǎn)化，獲取PIN針中心點(diǎn)；最后，求基準(zhǔn)點(diǎn)與插針中心點(diǎn)的歐式距離，從而判斷PIN針是否歪斜。

1 PIN針歪斜檢測(cè)系統(tǒng)結(jié)構(gòu)與工作原理

1.1 檢測(cè)內(nèi)容

需檢測(cè)的連接器端子內(nèi)PIN針分布如圖1所示。九針端子：內(nèi)含18個(gè)針孔、15根插針；寬×高為16.5 mm×25.2 mm；拱形重心到插針中心距離為1.5 mm。七針端子：內(nèi)含14個(gè)針孔、10根插針；寬×高為15.6 mm×20.8 mm；拱形重心到插針中心距離為1.5 mm。

PIN針歪斜檢測(cè)要求：

1）能檢測(cè)出歪斜程度大于0.1 mm的PIN針，并將其用紅色線圈出；

2）對(duì)每根針的歪斜程度進(jìn)行標(biāo)注（單位：mm）；

3）單個(gè)產(chǎn)品檢測(cè)時(shí)間少于1 s；

4）在合格狀態(tài)下，一次通過率100%。

1.2 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)與運(yùn)行工作原理

根據(jù)插針歪斜檢測(cè)標(biāo)準(zhǔn)，所設(shè)計(jì)的連接器PIN針歪斜檢測(cè)系統(tǒng)總體結(jié)構(gòu)如圖2所示。檢測(cè)系統(tǒng)包括圖像采集單元、上位機(jī)處理單元[9]。圖像采集單元由工業(yè)相機(jī)、遠(yuǎn)心鏡頭、同軸光源和光源控制器等構(gòu)成；上位機(jī)處理單元又稱視覺信息處理單元，由工控機(jī)及相應(yīng)外設(shè)構(gòu)成。其中，工控機(jī)作為視覺檢測(cè)系統(tǒng)核心，主要作用是圖像處理與分析、數(shù)據(jù)傳輸與通訊。

PIN針歪斜檢測(cè)系統(tǒng)的工作原理為：系統(tǒng)相機(jī)1采用連續(xù)采集的方式，方便工作人員觀察并調(diào)整產(chǎn)品在機(jī)構(gòu)5上的位置。檢測(cè)開始時(shí)，相機(jī)1會(huì)連續(xù)采集圖像并顯示在上位機(jī)上，工作人員根據(jù)圖像顯示將產(chǎn)品按照規(guī)定方式固定在機(jī)構(gòu)5上，并使用掃碼槍進(jìn)行掃碼；之后視覺信息處理單元7觸發(fā)控制信號(hào)給圖像采集單元，使其采集產(chǎn)品最后一張圖像并暫停采集；單元7利用視覺處理算法和上位機(jī)程序?qū)Σ杉淖詈笠粡垐D像進(jìn)行處理，從而獲取PIN針歪斜信息，標(biāo)注并顯示在上位機(jī)界面上。該系統(tǒng)的檢測(cè)流程如圖3所示。

2 PIN針歪斜檢測(cè)算法原理研究及處理結(jié)果分析

圖像采集單元所獲取的圖像，其本質(zhì)是二維矩陣信息，因此，可采用矩陣?yán)碚撝R(shí)對(duì)數(shù)對(duì)采集圖像進(jìn)行數(shù)字化分析處理。圖4為檢測(cè)系統(tǒng)最后一次采集的產(chǎn)品信息，通過分析圖中連接器端子內(nèi)部視覺特征，對(duì)檢測(cè)算法原理進(jìn)行研究。

2.1 圖像旋轉(zhuǎn)與傾斜矯正

由圖4可知，若直接進(jìn)行歪斜檢測(cè)，一是受人工安裝或機(jī)構(gòu)自身影響，導(dǎo)致端子呈傾斜狀態(tài)，檢測(cè)效果不佳；二是若將檢測(cè)結(jié)果標(biāo)注在對(duì)應(yīng)插針上，受觀察習(xí)慣影響，使員工不便觀察。為方便觀察，本文采用基于雙線性插值的圖像旋轉(zhuǎn)算法將圖像順時(shí)針旋轉(zhuǎn)[90]°。為解決端子傾斜問題，本文采用閾值分割提取端子，然后利用仿射旋轉(zhuǎn)變換將端子旋轉(zhuǎn)至水平。

2.1.1 基于雙線性插值的圖像旋轉(zhuǎn)

在笛卡爾坐標(biāo)系中，圖像中心為原點(diǎn)[O]，向右為x軸正方向，向上為y軸正方向。設(shè)圖像中任一點(diǎn)為[x0，y0]，以原點(diǎn)[O]為圓心順時(shí)針旋轉(zhuǎn)α角后坐標(biāo)為[x，y]，數(shù)學(xué)表達(dá)式為[10]：

[xy1=cosαsinα0-sinαcosα0001x0y01]. （1）

在圖像坐標(biāo)系中，左上角為原點(diǎn)[O]，向右為[x]軸正方向，向下為y軸正方向，因此2種坐標(biāo)系需要平移變換[10]。2種坐標(biāo)系對(duì)應(yīng)關(guān)系如圖5所示，圖中：[O1]、[O2]代表圖像坐標(biāo)系；[O0]為笛卡爾坐標(biāo)系；設(shè)[x1，y1]、[x2，y2]、[x0，y0]分別為[O1]、[O2]、[O0]中的旋轉(zhuǎn)對(duì)應(yīng)點(diǎn)；原圖像寬、高分別是[w、h]；目標(biāo)圖像寬、高分別是[w1、h1]。

坐標(biāo)系[O1]到[O0]的變換矩陣為：

[x0y01=10-0.5w0-10.5h001x1y11]. （2）

坐標(biāo)系[O0]到[O2]的變換矩陣為：

[x2y21=100.5w10-10.5h1001x0y01]. （3）

圖像旋轉(zhuǎn)首先用式（2）完成坐標(biāo)系[O1]到[O0]的變換，然后利用式（1）將坐標(biāo)系[O0]順時(shí)針旋轉(zhuǎn)[α]角，最后用式（3）完成坐標(biāo)系[O0]到[O2]的變換。變換矩陣為：

[x2y21=100.5w10-10.5h1001cosαsinα0-sinαcosα0001]·

[10-0.5w0-10.5h001x1y11]. （4）

式（4）的逆變換矩陣為：

[x1y11=100.5w0-10.5h001cosα-sinα0sinαcosα0001]·

[10-0.5w10-10.5h1001x2y21]. （5）

由式（4）可知，[x2，y2]可能存在非整數(shù)現(xiàn)象，又因?yàn)閳D像[fx，y]是離散函數(shù)，即[x，]y為整數(shù)，所以出現(xiàn)旋轉(zhuǎn)后圖像的某些像素值未知的情況，因此需要插值計(jì)算。常見的插值算法有：最近鄰插值、雙線性插值、等權(quán)雙線性插值、雙三次插值等[11]。為了保證旋轉(zhuǎn)處理時(shí)間和旋轉(zhuǎn)后圖像的質(zhì)量，考慮到旋轉(zhuǎn)并未改變圖像大小，本文采用雙線性插值算法。

雙線性插值實(shí)質(zhì)是利用式（5）將旋轉(zhuǎn)后圖像逆變換，然后將[x1，y1]所對(duì)應(yīng)原圖周圍4個(gè)點(diǎn)分別進(jìn)行線性插值，如圖6所示，其對(duì)應(yīng)的數(shù)學(xué)表達(dá)式為式（6）。

[fP≈]{[[y2-yx2-x]]/[[y2-y1x2-x1]]}[fQ11] +

{[[y2-yx-x1]] ?/ [[y2-y1x2-x1]]}[fQ21] + {[[y-y1x2-x]] ?/ [[y2-y1x2-x1]]}[fQ12] [+] {[[y-y1x-x1]] / [[y2-y1x2-x1]]} [fQ22]. （6）

利用雙線性插值將圖4順時(shí)針旋轉(zhuǎn)[90°]，如圖7所示。該算法解決了員工觀察困難和難以標(biāo)注插針歪斜信息的問題。

2.1.2 仿射旋轉(zhuǎn)變換

連接器圖像的目標(biāo)區(qū)域（端子）受到人工安裝或機(jī)構(gòu)自身原因影響導(dǎo)致傾斜，考慮到雙線性插值算法只對(duì)圖像中心進(jìn)行旋轉(zhuǎn)，不能進(jìn)行傾斜矯正，因此，需要仿射旋轉(zhuǎn)變換對(duì)端子傾斜矯正。

二維平面任意向量[νx，y]到[ν1x1，y1]的仿射變換可拆分為線性變換和平移變換[12]：[v1=Av+b]。其中[A=a11a12a21a22；b=a13a23]。其矩陣形式為：[v11=Ab01v1]，本文使用矩陣[M=A，b=a11a12a13a21a22a23]表示仿射變換。仿射旋轉(zhuǎn)變換是二維平面上任意一點(diǎn)以[x0，y0]為中心逆時(shí)針旋轉(zhuǎn)[β]弧度的變換，可以拆分為2次平移變換和1次原點(diǎn)旋轉(zhuǎn)變換，即該點(diǎn)先按[-x0，-y0]平移至原點(diǎn)，然后繞原點(diǎn)逆時(shí)針旋轉(zhuǎn)β弧度，最后以[x0，y0]平移，經(jīng)計(jì)算旋轉(zhuǎn)矩陣[A=cosβ-sinβsinβcosβ]，平移矩陣[b]=[x0（1-cosβ）+y0sinβy0（1-cosβ）-x0sinβ]。由仿射變換矩陣可知，仿射旋轉(zhuǎn)變換矩陣為：

[M=cosβ-sinβx0（1-cosβ）+y0sinβsinβcosβy0（1-cosβ）-x0sinβ]. （7）

以九針端子為例，若要對(duì)目標(biāo)區(qū)域（九針端子）進(jìn)行旋轉(zhuǎn)矯正，需對(duì)圖7閾值分割提取端子，然后獲取其外接矩形中心點(diǎn)和傾斜角，最后用式（7）計(jì)算仿射旋轉(zhuǎn)變換矩陣完成傾斜矯正，如圖8（a）所示。同理，七針端子傾斜矯正同上，如圖8（b）所示。

2.2 行列等比例縮放模板匹配

由于產(chǎn)品固定位置和端子大小存在差異，使得旋轉(zhuǎn)校正后，端子中心和PIN針穿插孔洞中心坐標(biāo)不同，導(dǎo)致不能直接設(shè)置端子中心和基準(zhǔn)點(diǎn)坐標(biāo)。本文分析端子內(nèi)形狀特征發(fā)現(xiàn)，穿插孔與拱形結(jié)構(gòu)成對(duì)出現(xiàn)且兩者中心點(diǎn)的距離固定，若定位拱形結(jié)構(gòu)中心點(diǎn)，則可計(jì)算出基準(zhǔn)點(diǎn)坐標(biāo)。由圖8可知，因?yàn)樵诓遽橅敹藢?duì)焦，所以拱形結(jié)構(gòu)模糊，導(dǎo)致該區(qū)域邊緣梯度復(fù)雜多樣。如圖9所示，若使用該拱形區(qū)域?yàn)樾螤钅０暹M(jìn)行模板匹配，會(huì)出現(xiàn)誤選、漏選、時(shí)間長(zhǎng)等現(xiàn)象。

針對(duì)該問題需優(yōu)化形狀模板和模板匹配算法。為解決拱形結(jié)構(gòu)模糊導(dǎo)致模板梯度復(fù)雜的問題，首先，需要重新對(duì)焦于拱形區(qū)域直至清晰；然后，進(jìn)行預(yù)處理如：強(qiáng)化、閾值分割、膨脹等提取模板圖像；最后，創(chuàng)建形狀模板。其流程如圖10所示。

行列等比例縮放形狀模板創(chuàng)建流程：首先，利用Canny算子提取模板圖像[n]個(gè)邊界點(diǎn)[p={（xi，yi）|i=1，2，…，n}]；然后，利用Sobel算子計(jì)算對(duì)應(yīng)梯度向量[dmi=（ti，ui）T]，其中[t]和[u]分別對(duì)應(yīng)[x和y]方向梯度向量。因此，形狀模板表示為式（8）?？紤]到模板圖像與圖8拱形區(qū)域尺寸大小不同且角度不同，若直接用式（8）進(jìn)行模板匹配，七針端子匹配不到，九針端子匹配位置不準(zhǔn)確，因此，模板[M]要進(jìn)行旋轉(zhuǎn)和尺寸變換。由于尺寸不同是由對(duì)焦產(chǎn)生等比例行列縮放所導(dǎo)致，所以模板[M]需進(jìn)行旋轉(zhuǎn)和等比例縮放變換[13]。設(shè)矩陣[A]為滿足旋轉(zhuǎn)和等比例縮放變換矩陣，則[p=Ap]，梯度向量為[dmi=（t′i，u′i）T]。本文根據(jù)拱形結(jié)構(gòu)與形狀模板大小和角度比較，設(shè)置行列縮放比例為0.95～1.25，九針端子旋轉(zhuǎn)角度為[rad（45）]到[rad（-45）]，七針端子旋轉(zhuǎn)角度為[rad（135）]到[rad（225）]，其形狀模板為式（9）。

[M={xi，yi，dmi|i=1，2，…，n}]， （8）

[M={x′i，y′i，dmi|i=1，2，…，n}]. （9）

模板匹配機(jī)制是將形狀模板與待匹配對(duì)象的相似度與設(shè)定閾值進(jìn)行比較，若大于閾值則匹配成功，且相似度越高則匹配對(duì)象與形狀模板越吻合，反之匹配失敗[14]。模板匹配過程是目標(biāo)圖像利用模板參考點(diǎn)（一般為模板重心）和邊緣點(diǎn)的相對(duì)位置關(guān)系，得出一系列點(diǎn)[q=（x，y）T]及其梯度向量[dsx，y=（vx，y，wx，y）T]，然后求式（9）中[dmi]與[dsx，y]的相似度。其相似度函數(shù)為：[S=1ni=1n（dmi，dsx+x′i，y+y′i）]，由該表達(dá)式可知，相似度的值取決于梯度向量模，即取決于圖像灰度值大小[15]。因此，需要對(duì)該函數(shù)進(jìn)行歸一化，消除環(huán)境對(duì)結(jié)果的影響。

[S=1ni=1n（dmi，dsx+x′i，y+y′i）||dmi||*||dsx+x′i，y+y′i||]. （10）

將式（9）與式（10）進(jìn)行匹配發(fā)現(xiàn)，雖然準(zhǔn)確率高，但是匹配時(shí)間需要8.6 s左右，原因是目標(biāo)圖像與模板分辨率高，模板遍歷圖像并計(jì)算相似度的過程耗費(fèi)時(shí)間多。因此，構(gòu)建圖像金字塔從低分辨率到高分辨率逐步定位匹配，能提高目標(biāo)搜索效率[16]。本文通過實(shí)驗(yàn)的方式，對(duì)比1～5層塔模型匹配時(shí)間和準(zhǔn)確率來選擇合適的金字塔層數(shù)。由表1可知，構(gòu)建3層金字塔最為合適。

行列等比例模板匹配能夠有效定位端子的拱形結(jié)構(gòu)并獲取重心坐標(biāo)。根據(jù)產(chǎn)品實(shí)際測(cè)量，拱形區(qū)域重心距離穿插孔洞中心約1.5 mm。旋轉(zhuǎn)矯正后視野寬×高為39.4 mm×59.1 mm，圖8中圖像大小寬×高為3 648 pix×5 472 pix。根據(jù)式（11）可計(jì)算出像素實(shí)際尺寸（S）為0.010 8 mm，則1.5 mm和0.1 mm分別為136個(gè)像素和9.26個(gè)像素。

[S=maxWs/Wt，hs/ht]. （11）

其中：S——像數(shù)實(shí)際尺寸；[Ws]——視野寬；[Wt]——圖像寬；[hs]——視野高；[ht]——圖像高。

利用拱形結(jié)構(gòu)重心到穿插孔中心像素距離，定位插針區(qū)域。如圖11所示，十字標(biāo)注為重心位置，矩形框是以基準(zhǔn)點(diǎn)為中心生成的PIN針區(qū)域。與圖9對(duì)比發(fā)現(xiàn)，該算法適用于模板尺寸變化的情況，且未發(fā)生漏選現(xiàn)象，定位準(zhǔn)確。

2.3 邊緣檢測(cè)與PIN針偏移量獲取

該檢測(cè)系統(tǒng)對(duì)焦于PIN針尖端。如圖8所示，尖端邊緣灰度值突變，其周圍平滑。根據(jù)該特點(diǎn)，對(duì)插針區(qū)域圖像增強(qiáng)，然后利用Sobel邊緣檢測(cè)獲取頂端邊緣信息[17]，如圖12所示。

Sobel算子能有效檢測(cè)邊緣特征明顯的圖像，其利用一階微分求導(dǎo)，來計(jì)算水平和垂直邊緣的梯度值，并利用閾值來選擇邊緣點(diǎn)[18]。算法過程如下：

1）圖像[f（x，y）]強(qiáng)化為[f（x，y）]。

2）對(duì)圖像[f（x，y）]分別在[x和y]方向求導(dǎo)，得到[Gx]和[Gy]。Sobel算子的卷積模板：

[Gx=-10+1-20+2-10+1，Gy=-1-2-1000+1+2+1]. （12）

3）計(jì)算圖像近似梯度：[G=G2x+G2y]。

4）設(shè)置合適閾值得出邊緣點(diǎn)。

本文檢測(cè)PIN針中心點(diǎn)流程如圖13所示。

設(shè)插針中心點(diǎn)為[（x1，y1）]，基準(zhǔn)點(diǎn)為[（x0，y0）]，則偏移量[H=（x1-x0）2+（y1-y0）2]。

利用單位轉(zhuǎn)換后的偏移量與閾值0.1 mm比較，判斷插針是否歪斜。表2—表5列出了PIN針偏移結(jié)果。

由表2—表3可知，該系統(tǒng)可判斷出大于0.1 mm的歪斜插針，由于測(cè)量?jī)x器精度為0.05 mm，測(cè)量的實(shí)際偏移量誤差大，導(dǎo)致計(jì)算的相對(duì)誤差不準(zhǔn)確。因此，利用中心點(diǎn)行、列相對(duì)誤差，判斷插針中心點(diǎn)求取的準(zhǔn)確性。由表4—表5可知，每行和每列的相對(duì)誤差控制在0.3%以下，反映了測(cè)量的準(zhǔn)確性。根據(jù)現(xiàn)場(chǎng)實(shí)際情況判斷，從4月份設(shè)備投入使用到10月份截止，通過率為98.61%，誤判率為0，滿足工業(yè)精度要求。圖14為檢測(cè)結(jié)果圖。

3 PIN針歪斜檢測(cè)軟件設(shè)計(jì)

Halcon是德國(guó)MVtec公司開發(fā)的視覺算法工具[19]。本文通過對(duì)采集圖像的視覺信息特點(diǎn)進(jìn)行分析并設(shè)計(jì)圖像處理步驟，利用Halcon編程環(huán)境對(duì)圖像旋轉(zhuǎn)、傾斜矯正、模板創(chuàng)建、模板匹配、邊緣檢測(cè)及偏移量獲取等算子進(jìn)行編寫和修改，方便上位機(jī)進(jìn)行調(diào)用。圖15（a）為算子編寫。

WPF是微軟推出的面向?qū)ο蟮挠脩艚缑婵蚣埽赏瓿缮衔粰C(jī)界面設(shè)計(jì)、圖像處理算子調(diào)用與通訊。圖15（b）為檢測(cè)軟件上位機(jī)界面，該軟件實(shí)現(xiàn)了圖像實(shí)時(shí)顯示、計(jì)數(shù)匯總、檢測(cè)結(jié)果追述、掃碼、自動(dòng)檢測(cè)、自動(dòng)保存結(jié)果、MES通訊等功能。

4 結(jié)論與展望

本實(shí)驗(yàn)在規(guī)定時(shí)間內(nèi)對(duì)PIN針歪斜進(jìn)行有效地檢測(cè)，利用旋轉(zhuǎn)和仿射變換的方法，實(shí)現(xiàn)對(duì)圖像傾斜的矯正；基于行列等比例模板匹配的方法對(duì)拱形區(qū)域提取，實(shí)現(xiàn)基準(zhǔn)點(diǎn)和插針區(qū)域定位；通過Sobel邊緣檢測(cè)算子實(shí)現(xiàn)對(duì)PIN針中心點(diǎn)獲取，從而完成對(duì)PIN針偏移量的計(jì)算。根據(jù)現(xiàn)場(chǎng)實(shí)際情況判斷，從4月份設(shè)備投入使用到10月份截止，歪斜檢測(cè)通過率為98.61%，誤判率為0，檢測(cè)時(shí)間為0.7 s，滿足工業(yè)生產(chǎn)要求。

該視覺采集設(shè)備對(duì)焦于PIN針尖端，無法清晰采集插針底部和中部，導(dǎo)致無法檢測(cè)彎曲的或呈螺旋狀且不歪斜的插針。下一步研究將針對(duì)螺旋插針，利用PIN針頂部角度進(jìn)行篩選；針對(duì)彎曲插針，利用模組z軸移動(dòng)，改變相機(jī)焦距，實(shí)現(xiàn)對(duì)彎曲插針的判斷。

參考文獻(xiàn)

[1] 徐永軍.電動(dòng)乘用車快換電池連接器設(shè)計(jì)及性能研究[J].汽車實(shí)用技術(shù)，2019（5）：3-6，10.

[2] 姜景科，秦琴，嚴(yán)學(xué)井，等.基于3D激光傳感器的汽車連接器PIN針高度檢測(cè)系統(tǒng)[J].上海第二工業(yè)大學(xué)學(xué)報(bào)，2020，37（2）：124-128.

[3] 趙大興，彭煜，孫國(guó)棟，等.高精度視覺測(cè)量系統(tǒng)中檢測(cè)方法的研究[J].制造業(yè)自動(dòng)化，2014，36（9）：25-27.

[4] 王衢，林川，陳永亮.基于ResNet網(wǎng)絡(luò)與離散變分自編碼器的精細(xì)輪廓檢測(cè)方法[J].廣西科技大學(xué)學(xué)報(bào)，2022，33（3）：8-13，28.

[5] 南京晨光集團(tuán)有限責(zé)任公司，江蘇金陵智造研究院有限公司.電連接器插針歪斜遠(yuǎn)心視覺檢測(cè)裝置：202020956432.0[P].2020-12-04.

[6] 蘇州百拓智能裝備有限公司.電測(cè)與PIN針歪斜檢測(cè)機(jī)構(gòu)及檢測(cè)方法：201910408873.9[P].2019-09-20.

[7] 威洛斯，焦宗夏.基于VisionPro的焊膏印刷機(jī)視覺定位系統(tǒng)[C]//第十二屆中國(guó)體視學(xué)與圖像分析學(xué)術(shù)會(huì)議論文集，2008：543-549.

[8] 張曉，林川，王蕤興.輪廓檢測(cè)深度學(xué)習(xí)模型的多尺度特征解碼網(wǎng)絡(luò)[J].廣西科技大學(xué)學(xué)報(bào)，2021，32（3）：60-66.

[9] 凡良玉，潘豐.基于視覺的接插件pin針正位度檢測(cè)系統(tǒng)設(shè)計(jì)[J].江南大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，14（6）：762-768.

[10] 郝蕊潔，萬小紅.插值算法在圖像旋轉(zhuǎn)中的應(yīng)用[J].運(yùn)城學(xué)院學(xué)報(bào)，2014，32（2）：86-88.

[11] 行薇.圖像插值技術(shù)在圖像處理中的應(yīng)用[D].長(zhǎng)春：長(zhǎng)春理工大學(xué)，2012.

[12] 管焱然，管有慶.基于OpenCV的仿射變換研究與應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26（12）：58-63.

[13] 王凱，余振軍，何顯輝，等.改進(jìn)的多尺度形狀模板匹配算法[J].激光雜志，2022，43（4）：82-87.

[14] 陳金勝，陳興杰，彭樂樂，等.基于邊緣特征的無砟軌道扣件定位方法[J].計(jì)算機(jī)測(cè)量與控制，2018，26（5）：166-169.

[15] STEGER C.Occlusion，clutter，and illumination invariant object recognition[C]//2002 International Symposium of ISPRS Commission III on Photogrammetric Computer Vision，PCV 2002：345-350.

[16] 劉思丹，卓勇，施哲彥，等.改進(jìn)的模板匹配金字塔搜索算法[J/OL].激光雜志，2022：1-7（2022-08-05）[2022-09-10].http：//kns.cnki.net/kns8/defaultresult/

index.

[17] 羅霞，唐清善，崔興倩.基于Sobel算子的爆竹筒裝藥量檢測(cè)方法的研究[J].電子設(shè)計(jì)工程，2022，30（12）：113-117.

[18] 朱地博，李春貴.多尺度結(jié)構(gòu)元素形態(tài)學(xué)邊緣檢測(cè)算法的研究[J].廣西科技大學(xué)學(xué)報(bào)，2017，28（4）：92-96.

[19] 張偉超.基于HALCON的PCB缺陷在線視覺檢測(cè)系統(tǒng)[D].濟(jì)南：齊魯工業(yè)大學(xué)，2021.

Design of connector PIN needle skew detection system based

on machine vision

ZHAO Weipeng1， PAN Shenghui*1， LI Zhennan2

（1. School of Automation， Guangxi University of Science and Technology， Liuzhou 545616， China;

2. R&D Center， Jiangsu Lider Electronic Information Co.， Ltd.， Nantong 226600， China）

Abstract： Traditional PIN needle skew detection mainly relies on manual observation or testing with sockets and other workpiece， which can not meet industrial requirements due to the low detection efficiency and accuracy. To solve these problems， the Halcon vision development software and C# language are jointly programmed to design a connector PIN needle skew detection system based on machine vision. Firstly， through the analysis of the internal visual features of the connector terminals， the row and column equal scaling template matching is adopted to determine the reference point and locate the PIN needle area， which solves the problem that the traditional shape template matching is not accurate after the target size changes. Secondly， Sobel edge detection and shape transformation on the positioning PIN needle are performed to determine its center point; Finally， the Euclidean distance between the reference point and the center point is calculated to obtain the PIN needle offset. The practical application results show that the skew detection system in this paper has an accuracy of 0.1 mm， a pass rate of 98.61%， a false positive rate of 0， and a detection time of less than 1 s， which meets industrial requirements.

Key words： Halcon; machine vision; PIN needle skew detection; row and column equal scaling template matching; Sobel edge extraction

（責(zé)任編輯：黎 婭）