黃新康 袁嫣紅

摘? 要： 針對(duì)汽車線束檢測項(xiàng)種類結(jié)構(gòu)繁多、位置角度多變，以及人工檢測效率低、漏檢率高等問題，提出基于圖像的汽車線束結(jié)構(gòu)檢測方案。通過匹配數(shù)據(jù)庫汽車線束字符自動(dòng)切換線束檢測算法，結(jié)合各種圖像檢測傳統(tǒng)算法和深度學(xué)習(xí)檢測算法，實(shí)現(xiàn)不同線束各檢測項(xiàng)的普適檢測。應(yīng)用到汽車線束生產(chǎn)檢測中，平均誤報(bào)率為2.38%，漏報(bào)率為0，證明了該檢測方案能準(zhǔn)確高效地完成不同汽車線束的檢測。

關(guān)鍵詞： 汽車線束； 圖像檢測； 傳統(tǒng)檢測算法； 深度學(xué)習(xí)檢測算法； 人機(jī)界面

中圖分類號(hào)：TP391.4? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）06-129-05

Image-based detection of automobile wiring harness structure

Huang Xinkang1，2， Yuan Yanhong1

（1. College of Mechanical Engineering， Zhejiang University of Technology， Hangzhou， Zhejiang 310018， China;

2. Xinchang Research Institute of Zhejiang University of Technology）

Abstract： An image-based automobile harness structure detection scheme is proposed to solve the problems such as various types and structures of automobile harness detection items， variable position angles， and low efficiency and high leakage rate of manual detection. The harness detection algorithm is automatically switched by matching the automotive harness characters in the database. Combining various traditional image detection algorithms and deep learning detection algorithms， universal detection of different harness detection items is achieved. In the actual application to automobile harness production detection， the average false alarm rate is 2.38%， and the missed alarm rate is 0. It proves that the detection scheme can accurately and efficiently complete the detection requirements of different automobile harness.

Key words： automobile wiring harness; image detection; traditional detection algorithm; deep learning detection algorithm; interface

0 引言

汽車線束，被稱為汽車的神經(jīng)網(wǎng)絡(luò)，它起著連接汽車各部分為一個(gè)整體的重要作用。汽車線束的零部件生產(chǎn)工藝已經(jīng)比較成熟，由于汽車線束具有線材柔軟、種類多、要求高、定位不準(zhǔn)和部分特征不明顯等特點(diǎn)，導(dǎo)致汽車線束的成品檢測比較困難，人工全檢效率低、準(zhǔn)度差。同時(shí)汽車線束的生產(chǎn)具有周期性的特點(diǎn)，針對(duì)單一特定線束設(shè)計(jì)的檢測方案不適用其他生產(chǎn)周期的汽車線束檢測，并且即使是單一線束生產(chǎn)也偶爾會(huì)增減特定的檢測項(xiàng)導(dǎo)致檢測方案不適用。

常用的汽車線束檢測算法如模板匹配、特征匹配等難以應(yīng)對(duì)汽車線束易變形、定位不準(zhǔn)、特征不明顯和車間環(huán)境光變化的問題[1]，采用深度學(xué)習(xí)目標(biāo)檢測算法雖然可以準(zhǔn)確檢測，但汽車線束檢測項(xiàng)繁多導(dǎo)致訓(xùn)練成本極高，而且不能應(yīng)對(duì)檢測不同線束的問題。因此，研發(fā)一種高效、準(zhǔn)確并適用于常用汽車線束的檢測方案，對(duì)于企業(yè)生產(chǎn)和汽車線束檢測研究具有重要的意義。

1 汽車線束檢測內(nèi)容與檢測方案整體設(shè)計(jì)

目前國內(nèi)尚無完全自動(dòng)化的汽車線束組裝生產(chǎn)機(jī)械，企業(yè)一般采用流水線作業(yè)來提高線束的生產(chǎn)效率[2]，如圖1所示。依據(jù)線束的結(jié)構(gòu)特征，設(shè)計(jì)的流水線和相應(yīng)的線束工裝板。線束工裝板在流水線上循環(huán)，由工位1開始組裝到工位12結(jié)束，裝配成一個(gè)完整的線束，拿掉線束后空板回到工位1繼續(xù)循環(huán)。

各工位工人使用扎帶、膠布、膠帶等緊固件將線束固定成型，如圖2所示，下圖紅框中扎帶、膠布、膠帶統(tǒng)稱為汽車線束上的緊固件，各緊固件在工裝板上都有位置、長度、角度等要求，正是緊固件數(shù)量、種類和位置不同導(dǎo)致汽車線束結(jié)構(gòu)不同從而形成形態(tài)各異的汽車線束。

1.1 汽車線束檢測內(nèi)容與檢測要求

由于人工裝配的不確定性，扎帶、膠布和膠帶的三種緊固件裝配數(shù)量、位置可能出現(xiàn)錯(cuò)誤，因此汽車線束的檢測項(xiàng)即為線束上的緊固件：扎帶、膠布、膠帶，如圖3所示。各種緊固件組合成不同的汽車線束，通過調(diào)研常用汽車線束，歸納汽車線束上需要檢測的緊固件種類，其中緊固件中常用檢測扎帶有12種，膠布種類只有一種但有不同長度的要求，膠帶是采用在線束上互壓膠帶寬度1/2的方式全纏而成[2]，膠帶互壓過程中會(huì)產(chǎn)生凸起的帶痕，因此膠帶不僅有長度的差別，還有左纏膠帶和右纏膠帶的區(qū)別。

1.2 汽車線束檢測方案整體設(shè)計(jì)

汽車線束在工裝板上進(jìn)行裝配，工裝板在流水線上循環(huán)，工位12完成線束最后一道裝配任務(wù)，工裝板由氣缸推入檢測區(qū)域，工裝板到達(dá)指定位置后觸發(fā)位置傳感器輸出給PLC，PLC與相機(jī)通信，相機(jī)開始線束圖像采樣，經(jīng)過算法判定，判定結(jié)果信號(hào)輸出到PLC，PLC控制線束機(jī)械臂抓取線束，根據(jù)判定結(jié)果將線束放入到線束不同分類區(qū)，然后機(jī)械臂回到原點(diǎn)，氣缸推動(dòng)空工裝板到工位1，繼續(xù)循環(huán)，如圖4所示。

針對(duì)汽車線束檢測項(xiàng)不同特性采用不同的檢測算法。特征明顯容易識(shí)別的汽車線束檢測項(xiàng)采用傳統(tǒng)檢測算法，特征不明顯難以識(shí)別的檢測項(xiàng)采用深度學(xué)習(xí)檢測算法，結(jié)合傳統(tǒng)檢測算法與深度學(xué)習(xí)檢測算法既能高效準(zhǔn)確地完成汽車線束檢測，又能節(jié)省檢測算法開發(fā)成本，如圖5所示。

2 汽車線束圖像硬件選型與圖像預(yù)處理

2.1 圖像采集系統(tǒng)硬件選型

圖像采集系統(tǒng)是圖像檢測的基礎(chǔ)，選型圖像采集硬件系統(tǒng)需要考慮汽車線束檢測項(xiàng)檢測內(nèi)容、檢測要求、機(jī)械結(jié)構(gòu)、檢測環(huán)境等[3]。

相機(jī)選型決定著拍攝圖像質(zhì)量的高低。因汽車線束是組裝到工裝板上，拍攝汽車線束的范圍不得小于工裝板大小，工裝板標(biāo)準(zhǔn)長寬170mm*40mm，檢測精度要求0.1mm，同時(shí)線材類需要顏色檢測、檢測范圍廣、檢測時(shí)間長、檢測精度要求不高等特點(diǎn)，選擇相機(jī)型號(hào)為MV-CE200-10GM，部分參數(shù)如表1所示。

鏡頭選型決定了機(jī)器視覺系統(tǒng)成像的特性。汽車線束拍攝工作距離為60cm～90cm，針對(duì)線束不需要大光圈、視野寬等特點(diǎn)，選擇鏡頭型號(hào)為MVL-KF0814M-12MPE，部分參數(shù)如表2所示。

光源選型決定機(jī)器視覺系統(tǒng)成像的質(zhì)量。汽車線束檢測項(xiàng)檢測環(huán)境寬廣、空間密封、檢測項(xiàng)主體為黑色，經(jīng)實(shí)驗(yàn)后選擇兩塊方形白色光源LTDS-H-300-W均勻?qū)ΨQ分布在相機(jī)兩側(cè)。

圖像采集系統(tǒng)搭建與調(diào)試

根據(jù)以上各部件選型及檢測環(huán)境、機(jī)構(gòu)搭建圖像采集硬件系統(tǒng)如圖6所示，調(diào)試出最佳拍攝效果，拍攝圖像成像質(zhì)量高、檢測內(nèi)容畫面清晰、特征明顯，證明圖像采集硬件選型準(zhǔn)確合適，如圖7所示。

2.2 圖像預(yù)處理

原始的拍攝圖含有大量干擾區(qū)域，并且部分檢測特征不明顯清楚，在進(jìn)行圖像算法設(shè)置前需要對(duì)原始拍攝圖進(jìn)行預(yù)處理，其中主要包括：ROI區(qū)選取與灰度化、圖像濾波、圖像增強(qiáng)等。

2.2.1 ROI區(qū)選取與圖像灰度化

在圖像處理領(lǐng)域，ROI是指在原始圖像中選擇的一個(gè)合適圖像區(qū)域，排除干擾信息，減少計(jì)算機(jī)運(yùn)算量，后期只對(duì)該區(qū)域做進(jìn)一步處理。同時(shí)為獲得更豐富的缺陷特征信息，相機(jī)所拍攝的圖像為RGB三通道位圖圖像，信息量較大，為降低上位機(jī)的數(shù)據(jù)處理量，需將采集到的圖像進(jìn)行單通道灰度化處理。

2.2.2 圖像濾波

由于檢測系統(tǒng)工作環(huán)境惡劣，圖像在拍攝和傳輸過程中會(huì)受到隨機(jī)干擾信號(hào)的影響，導(dǎo)致采集到的圖像存在一定的噪聲[3]。這些干擾源在硬件上是無法避免的，因此有必要在處理算法上對(duì)圖像進(jìn)行濾波，以降低噪聲，從而提高檢測的準(zhǔn)確性。

2.2.3 圖像增強(qiáng)

圖像增強(qiáng)的目的是改善圖像的局部或整體特征，根據(jù)研究的需要對(duì)圖像進(jìn)行特定的處理，提高圖像的判斷和識(shí)別效果[4]。

經(jīng)過圖像預(yù)處理后圖像干擾信息大大減少，檢測項(xiàng)特征清晰明顯，如圖8所示，說明圖像預(yù)處理效果合適明顯。

3 汽車線束檢測算法設(shè)計(jì)

3.1 汽車線束智能切換檢測算法

一個(gè)完整的汽車線束檢測項(xiàng)是由常用檢測項(xiàng)其中的某幾項(xiàng)組合而成，因此在檢測不同線束或者同種線束加/減某個(gè)特定檢測項(xiàng)時(shí)，只需增刪對(duì)應(yīng)的檢測項(xiàng)算法就行，從而實(shí)現(xiàn)汽車線束檢測模塊化，這樣大大提高了汽車線束檢測算法的普適性以及便捷性。

step 1 建立汽車線束樣本資料庫：將幾種常用的汽車線束字符與其對(duì)應(yīng)的檢測項(xiàng)信息錄入數(shù)據(jù)庫以供后續(xù)算法調(diào)用。

step 2 由于線束是安裝在工裝板上，對(duì)工裝板的匹配定位就是對(duì)線束的匹配定位，識(shí)別線束字符判斷生產(chǎn)線束是否為目標(biāo)生產(chǎn)線束，如圖9所示，如果用錯(cuò)工裝板應(yīng)及時(shí)更換，避免浪費(fèi)工時(shí)。

step 3 得到線束字符后匹配數(shù)據(jù)庫中的線束字符，自動(dòng)調(diào)用數(shù)據(jù)庫中線束字符對(duì)應(yīng)的線束檢測項(xiàng)種類、數(shù)量、位置ROI區(qū)信息實(shí)現(xiàn)自動(dòng)化切換檢測不同汽車線束的目的。

3.2 基于混合技術(shù)的圖像檢測算法

汽車線束檢測項(xiàng)繁多，相比單一使用某一種檢測方法檢測汽車線束，針對(duì)不同檢測項(xiàng)、不同檢測要求選取不同檢測算法或融合多種檢測方法，使得檢測整體汽車線束變得更高效、準(zhǔn)確。

3.2.1 基于YOLO算法的深度學(xué)習(xí)目標(biāo)檢測算法

固定扎帶檢測因在特殊角度下不同扎帶表現(xiàn)出的特征非常相似，如圖10所示，導(dǎo)致檢測易產(chǎn)生漏報(bào)；膠布檢測因膠布兩端通常緊挨扎帶，導(dǎo)致檢測長度失誤出現(xiàn)漏報(bào)；膠帶檢測因膠帶特征不明顯且特征不固定導(dǎo)致誤報(bào)率高且出現(xiàn)漏報(bào)。這三項(xiàng)要求用傳統(tǒng)檢測方法不能控制漏報(bào)為0，采用深度學(xué)習(xí)目標(biāo)檢測算法可以實(shí)現(xiàn)準(zhǔn)確地檢測。

step1 對(duì)線束樣本進(jìn)行數(shù)據(jù)采集，線束樣本的主要部件為多角度的固定扎帶，膠布，左旋膠帶，右旋膠帶。本次實(shí)驗(yàn)共對(duì)1000組線束進(jìn)行數(shù)據(jù)采集，再對(duì)采集圖像進(jìn)行數(shù)據(jù)清洗，篩選掉由于抖動(dòng)、對(duì)焦不準(zhǔn)等原因?qū)е碌哪：龢颖緢D，得到高質(zhì)量的線束樣本圖像895張，如表4所示，其中圖像的分辨率為5472×3648。

step2 根據(jù)汽車線束數(shù)據(jù)集大小和檢測要求精度選擇YOLOv5s.pt進(jìn)行預(yù)訓(xùn)練從而加快后續(xù)訓(xùn)練速度，然后導(dǎo)入汽車線束數(shù)據(jù)集和驗(yàn)證集，修改訓(xùn)練路徑開始模型訓(xùn)練，啟用tensorbord查看訓(xùn)練結(jié)果，mAP數(shù)值逐漸提高后趨于平穩(wěn)值0.9左右，如圖11所示。

step3 模型訓(xùn)練完會(huì)產(chǎn)生一個(gè)最好的權(quán)重文件best.pt，導(dǎo)入驗(yàn)證圖片測試權(quán)重文件，測試圖片中需要檢測的扎帶、膠布、左旋膠帶都能準(zhǔn)確地識(shí)別出來，且準(zhǔn)確率均大于0.8，如圖12所示。

3.3 傳統(tǒng)檢測算法設(shè)計(jì)

除以上采用深度學(xué)習(xí)的三項(xiàng)檢測項(xiàng)外，其余特征明顯容易識(shí)別的檢測項(xiàng)采用傳統(tǒng)檢測算法可以減少檢測成本，檢測運(yùn)行高效便捷。

3.3.1 基于圖像邊緣梯度的NCC匹配算法

由于汽車線束的裝配是在車間流水線上，檢測環(huán)境無法做到完全封閉，即使有專用的光源補(bǔ)充，拍攝環(huán)境光也會(huì)隨著時(shí)間或者遮蓋發(fā)生變化。常規(guī)模板匹配算法cv2.matchTemplate是基于像素的匹配算法[5]，很容易受光照的影響導(dǎo)致誤報(bào)。

基于圖像邊緣梯度的NCC模板匹配算法對(duì)圖像光照與像素遷移都有很強(qiáng)的抗干擾能力[6]，如圖13所示。在檢測特征明顯的扎帶匹配算法上，基于圖像邊緣梯度的NCC模板匹配算法在魯棒性、運(yùn)算速率、精準(zhǔn)度上是優(yōu)于已有的模板匹配算法，如表5所示。

3.3.2 其他傳統(tǒng)檢測算法

由于檢測項(xiàng)與線材顏色有灰度上的差異，當(dāng)存在檢測項(xiàng)時(shí)則有線束橫向的一個(gè)寬度值，不存在檢測項(xiàng)時(shí)則沒有，所以可采用間距測量算法檢測有無。除此之外，還有相似度檢測算法、顏色檢測算法等運(yùn)用于汽車線束檢測的不同檢測場景，即使是同一個(gè)檢測項(xiàng)，可采用的檢測算法也不止一種，檢測準(zhǔn)度、速度、魯棒性等也是不一樣的[7]。

3.4 人機(jī)界面及檢驗(yàn)成果

設(shè)計(jì)人機(jī)交互界面，便于工人查看汽車線束檢驗(yàn)狀態(tài)，包括顯示當(dāng)前線束拍攝示意圖、統(tǒng)計(jì)生產(chǎn)數(shù)據(jù)、檢測結(jié)果等，如圖14所示。

我們對(duì)常用五種汽車線束進(jìn)行算法檢驗(yàn)，基于圖像的汽車線束結(jié)構(gòu)檢測方案平均每小時(shí)檢測線束數(shù)量846個(gè)，誤報(bào)率在2.38%，漏報(bào)率為0，結(jié)果證明了該檢測方案可以實(shí)現(xiàn)對(duì)不同線束不同檢測項(xiàng)的準(zhǔn)確高效檢測。

4 總結(jié)與展望

本文設(shè)計(jì)了基于圖像的汽車線束結(jié)構(gòu)檢測系統(tǒng)，調(diào)研總結(jié)汽車線束常用檢測項(xiàng)，針對(duì)不同檢測項(xiàng)單獨(dú)設(shè)計(jì)檢測算法，結(jié)合傳統(tǒng)檢測算法與深度學(xué)習(xí)檢測算法實(shí)現(xiàn)對(duì)汽車線束檢測項(xiàng)高效準(zhǔn)確的檢測。通過算法與數(shù)據(jù)庫的通訊實(shí)現(xiàn)對(duì)汽車線束的智能切換檢測方案，提高檢測算法的普適性。設(shè)計(jì)簡潔明了、便于操作的人機(jī)交互界面，方便工人更換不同汽車線束檢測算法、導(dǎo)出檢測統(tǒng)計(jì)數(shù)據(jù)。設(shè)計(jì)的系統(tǒng)不僅為企業(yè)提高了汽車線束生產(chǎn)效率，同時(shí)也給線束檢測領(lǐng)域提供了一種新思路。

參考文獻(xiàn)（References）：

[1] 李秀娟，李貝貝，于心俊.線束端子在線檢測系統(tǒng)[J].自動(dòng)化

儀表，2015，36（6）：65-68

[2] 雷敏華，陳良.基于機(jī)器視覺的端子尺寸檢測系統(tǒng)[J].機(jī)電工

程技術(shù)，2013（7）：27-29

[3] MackenzieM，Tieu K.Gaussian filters and filter synthesis

using aHermite/Laguerre neural network[J].IEEE Transactions on Neural Networks，2004，15（1）：206

[4] 嚴(yán)攀.基于目標(biāo)檢測的汽車線束外觀檢測應(yīng)用研究[D].碩士，

電子科技大學(xué)，2020

[5] 趙旦峰，王博，楊大偉.一種邊緣定向平滑圖像插值算法[J].

電子與信息學(xué)報(bào)，2012，34（7）：1543-1546

[6]張相勝，焦鵬，潘豐.基于機(jī)器視覺的汽車線束壓接缺陷檢測

系統(tǒng)[J].儀表技術(shù)與傳感器，2020（3）：73-7

[7] 馮策，戴樹嶺.一種改進(jìn)的非銳化掩模深度圖像增強(qiáng)算法[J].

哈爾濱：哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2014，46（8）：107-112