黃德成 任德均

摘 ?要：隨著新能源車的迅速發(fā)展，各汽車制造商正不斷推出新產(chǎn)品。在此背景下，各類工件供應(yīng)是否齊全成為相關(guān)企業(yè)關(guān)注的重要問題。文章設(shè)計了一種基于機器視覺的工件計數(shù)系統(tǒng)。該系統(tǒng)具有視覺成像系統(tǒng)，能夠?qū)Χ喾N工件進行圖像采集。同時系統(tǒng)還設(shè)計了一套簡單易操作、功能完備的工件計數(shù)軟件，滿足實時統(tǒng)計和工件種類拓展的需求。為了穩(wěn)定監(jiān)測工件位置信息，還設(shè)計了一種模擬光電傳感器的算法替代實物光電傳感器，減少系統(tǒng)受干擾的可能性。最后，運用YOLOv5目標檢測算法，實現(xiàn)了99.9%的檢測精度。

關(guān)鍵詞：機器視覺；模擬光電門；目標檢測；計數(shù)軟件

中圖分類號：TP389.1；TP391.4 文獻標識碼：A 文章編號：2096-4706（2023）16-0171-05

Design of Workpiece Counting System Based on Machine Vision

HUANG Decheng， REN Dejun

（School of Mechanical Engineering， Sichuan University， Chengdu ?610065， China）

Abstract： With the rapid development of new energy vehicles， automakers are constantly introducing new products. In this context， whether the supply of various workpieces is complete has become an important issue for relevant enterprises. In this paper， a workpiece counting system based on machine vision is designed. This system has a vision imaging system that enables to carry out image acquisition of a wide range of workpieces. At the same time， the system also designs a set of easy-to-operate and fully functional workpiece counting software to meet the needs of real-time statistics and workpiece type expansion. In order to stably monitor the position information of the workpiece， this paper also designs an algorithm that simulates the photoelectric sensor to replace the physical photoelectric sensor， so as to reduce the possibility of system interference. Finally， the YOLOv5 target detection algorithm is used to achieve a detection accuracy of 99.9%.

Keywords： machine vision; analog photoelectric door; object detection; counting software

0 ?引 ?言

在汽車工業(yè)當中，汽配維修是一個長期的領(lǐng)域。對于汽修廠而言，因汽車零部件的替換維修等業(yè)務(wù)，需要對各類零件進行存儲統(tǒng)計以方便調(diào)用。因汽車品牌及款式眾多，對應(yīng)的零件種類更加紛繁復雜，且相當一部分汽車零部件為金屬器件，大量的搬運和人工計數(shù)統(tǒng)計對維修人員而言耗時費力且效率、準確度均不高。

目標檢測技術(shù)是計算機視覺以及機器學習中的重要研究領(lǐng)域，而視覺檢測在計數(shù)領(lǐng)域主要應(yīng)用于農(nóng)牧業(yè)和水產(chǎn)養(yǎng)殖業(yè)等。田冉等[1]在2016年通過紅外傳感器與機器視覺融合的技術(shù)替代人工對果樹誘捕靶標害蟲進行檢測，實現(xiàn)了遠距離、大面積、可持續(xù)的果樹害蟲檢測技術(shù)支撐。中國計量大學古亭[2]在2020年運用機器視覺對蠶繭進行計數(shù)和分類識別，在預(yù)處理和二值化的基礎(chǔ)上，采用距離變換的方法對蠶繭進行準確計數(shù)。2021年，鞠文輝[3]使用YOLOv3算法在單幀圖像中對麥穗進行檢測，從而完成對小麥產(chǎn)量的預(yù)估，同時用Faster R-CNN算法對水流中浮游生物進行目標檢測計數(shù)。

上述文獻中處理機器視覺檢測計數(shù)問題多以傳統(tǒng)視覺算法為立足點，對圖像進行BLOB分析，在形態(tài)學處理以及閾值分割等操作下找到合適的提取方法。此類方法需要人工對特定類別圖像目標物進行特征分析和提取，具體算法僅適用于特定目標物，不具備通用性。且農(nóng)牧業(yè)及水產(chǎn)養(yǎng)殖業(yè)大多不具備穩(wěn)定的機器視覺成像采集環(huán)境，例如內(nèi)蒙古科技大學李雪冬[4]在對羊群的計數(shù)追蹤研究中因數(shù)據(jù)缺乏，采用無人機進行跟拍采集對應(yīng)數(shù)據(jù)，天氣情況以及地理環(huán)境背景完全不穩(wěn)定，給傳統(tǒng)算法設(shè)計以及特征提取帶來了很多困擾?？紤]到工業(yè)廠家在生產(chǎn)線上對小型零部件的統(tǒng)計計數(shù)需求，以及稱重計量的較大偏差和傳統(tǒng)人工計數(shù)錯誤率高、勞動力強度大、效率低、不穩(wěn)定等固有缺點。本文設(shè)計了一套通用的工件計數(shù)檢測系統(tǒng)，通過設(shè)計的機械分堆結(jié)構(gòu)進行工件分攤，形成姿態(tài)角度隨機但無重疊的成堆工件，通過圖像采集硬件系統(tǒng)，結(jié)合傳統(tǒng)圖像處理以及深度學習目標檢測算法進行實時檢測，對各類小型生產(chǎn)工件進行識別計數(shù)統(tǒng)計。

1 ?軟硬件方案設(shè)計

本文工件計數(shù)系統(tǒng)結(jié)構(gòu)由機械分堆控制模塊、光源成像采集模塊、軟件操作模塊和檢測算法模塊四部分構(gòu)成。機械分堆控制模塊運行流程圖如圖1所示，金屬擋板閉合阻止工件前進從而形成分堆，金屬擋板由PLC控制的電機驅(qū)動，PLC根據(jù)傳送帶傳送速率控制擋板開閉時間，使分堆零件數(shù)量大致相同。硬毛刷轉(zhuǎn)動掃下重疊的零件，避免工件相互間遮擋。

光源成像采集模塊布局在機械分堆控制模塊后，采用頂部攝像、常亮條光及方形外殼搭配擬合為燈箱光源的效果，同時根據(jù)工件生產(chǎn)環(huán)境，工件生產(chǎn)往往多附帶油污以及灰塵，因此本文選用深色傳送帶，以抑制帶有黑色油污的工件進入傳送帶時對傳送帶造成的污染，有效減緩算法處理過程中由于圖像背景顏色差異過大導致的干擾。本文選用?？低旵E050-30UC彩色工業(yè)相機搭配6 mm鏡頭構(gòu)成成像硬件系統(tǒng)。成像硬件布局示意圖與實景圖如圖2所示。

本文在Visual Studio 2019上基于Winform框架設(shè)計制作了工件計數(shù)設(shè)備的操作軟件，包含登錄界面和操作主界面。主界面中包含兩個picture box窗口camwindow和camwindow2。camwindow位于主界面左側(cè)用于實時顯示成像系統(tǒng)采集的圖像，camwindow2用于顯示上一批次工件檢測效果，便于用戶實時監(jiān)測設(shè)備運行情況及準確度。

2 ?模擬光電傳感器

光電傳感器[5]通過把光強度變化轉(zhuǎn)化為電信號進行信息發(fā)送，工業(yè)生產(chǎn)過程中常使用光電傳感器來探測物料在傳送帶上的運行位置，并結(jié)合軟件和算法對設(shè)備運行進行控制。但由于工業(yè)生產(chǎn)環(huán)境的復雜性，光電傳感器因探測的方式?jīng)Q定其需要靠近物料，實際運用過程中相當一部分光電傳感器是以裸露在外的方式進行使用。長時間情況下，光電傳感器容易在物料搬運轉(zhuǎn)移過程中被破壞，多數(shù)生產(chǎn)車間在長時間運作的過程中會有灰塵雜物等累計，這也會對光電傳感器的功能穩(wěn)定性造成干擾。對于企業(yè)生產(chǎn)以及設(shè)備檢修都會造成延誤以及資源損耗。

2.1 ?傳感器算法邏輯

本文使用算法實現(xiàn)了一個模擬光電傳感器，用于感知進料口和出料口工件堆的位置以及輔助計數(shù)，實際使用過程中達到了替代實物光電傳感器的作用。以無工件的背景圖案作為模板，設(shè)備所拍工件照片進行目標面積值對比。設(shè)定ROI位于成像視野中部、灰度差異閾值用于判定是否進料、差異面積值用于判定進料是否完整。計算式如下：

Δarea = Spinture - Smodel ? ? ? ? ? ? ? ? ?（1）

Spinture為采集圖片中高于設(shè)定灰度閾值的面積大小，Smodel為背景模板對應(yīng)的超出灰度閾值的面積值，Δarea為二者面積差。

2.2 ?綜合計數(shù)數(shù)量判斷流程

根據(jù)機械分堆控制模塊中傳送帶運行速率與擋板開閉控制的搭配，工件被較為均勻分堆送入成像系統(tǒng)，相機拍攝時間間隔也會有相應(yīng)調(diào)整，使每堆工件在成像區(qū)域劃定的ROI區(qū)域內(nèi)被完整拍攝，軟件調(diào)用深度學習模型對每張圖片進行檢測，得到該圖檢測計數(shù)數(shù)量，本堆零件完成拍攝計數(shù)后，以所有圖片的計數(shù)眾數(shù)作為實際數(shù)量錄入總數(shù)進行疊加。若眾數(shù)不止一個，則取所有數(shù)據(jù)的中位數(shù)為中值。

2.3 ?ROI檢測區(qū)域設(shè)定

本文在成像區(qū)域前后端均設(shè)有模擬光電傳感器，入料口灰度差異面積值達到閾值時再調(diào)用深度學習模型，此時工件堆已經(jīng)完全進入成像視野范圍，當出料口灰度差異面積值達到閾值時，說明此時上一堆零件已經(jīng)基本走出成像視野范圍且下一堆零件尚未達到入料口光電傳感器，由此ROI檢測區(qū)域設(shè)定來確保用于檢測的數(shù)據(jù)為對應(yīng)的分堆圖像，同時，確保設(shè)備運行速度及效率在較高水準。模擬光電傳感器運行效果圖如圖3所示。

3 ?YOLOv5檢測算法

YOLO系列算法作為One-stage的代表性算法，把目標分類與定位均轉(zhuǎn)化為回歸問題，相比于Faster-RCNN等兩階段系列算法，YOLO系列算法在檢測精度上稍遜，但在檢測速度上展現(xiàn)出明顯優(yōu)勢，在工業(yè)的應(yīng)用場景中廣受歡迎。YOLOv3[6]借用ResNet[7]（殘差網(wǎng)絡(luò)）的優(yōu)點，改進提出DarkNet53網(wǎng)絡(luò)進行特征提取，并引入特征金字塔（Feature Pyramid Networks）[8]進行多尺度預(yù)測。YOLOv4繼續(xù)改進，加入Mosaic數(shù)據(jù)增強法，分為輸入端、Backbone、Neck以及預(yù)測四個部分。YOLOv5緊跟YOLOv4提出，在原有的基礎(chǔ)上不斷創(chuàng)新集成，在準確度上與YOLOv4相當?shù)耐瑫r，在速度上遠優(yōu)于YOLOv4，模型明顯輕量化，有利于在工業(yè)中進行部署，是深度學習現(xiàn)有技術(shù)的優(yōu)化整合。

本文選用YOLOv5目標檢測對工件進行計數(shù)統(tǒng)計，YOLOv5共有4個版本：YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，區(qū)別在于網(wǎng)絡(luò)通道數(shù)量以及模塊堆疊次數(shù)不一致，模型大小也因此不同。結(jié)合計數(shù)項目實際檢測需求，本文選擇YOLOv5s作為檢測模型。

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)分為輸入端、骨干網(wǎng)絡(luò)（Backbone）、頸部（Neck）以及預(yù)測（prediction）四個部分。輸入端保留YOLOv4中的Mosaic數(shù)據(jù)增強方法，把4張圖片隨機縮放、隨機分布和隨機裁剪，最后拼接整合成一張圖，達到豐富數(shù)據(jù)集和提升網(wǎng)絡(luò)訓練速度的目的。Backbone模塊用于提取圖像特征，采用Focus結(jié)構(gòu)與CSP結(jié)構(gòu)相結(jié)合的方式。Focus結(jié)構(gòu)通過slice操作對圖像進行切片，slice操作用等距離的方式提取圖像原圖中的對應(yīng)像素，然后按照原圖行列關(guān)系進行對應(yīng)拼接，循環(huán)依次對圖像所有像素進行相同操作，最終原圖被裁剪為幾張等大的小圖，再經(jīng)過Concat操作把所有完成裁剪的小圖合成多通道的圖像序列用于與后續(xù)卷積核進行特征提取。YOLOv5在保留YOLOv4設(shè)計的包含殘差模塊的CSP結(jié)構(gòu)的同時，另外新增了疊加卷積模塊的CSP結(jié)構(gòu)。Neck網(wǎng)絡(luò)中與YOLOv4相同，仍然保留FPN+PAN[9]結(jié)構(gòu)，強化不同層之間的特征融合，增強多尺度上進行預(yù)測的能力。預(yù)測模塊用于模型的最終檢測。YOLOv5框架結(jié)構(gòu)如圖4所示。

4 ?實驗結(jié)果與分析

本文數(shù)據(jù)集采用自制的數(shù)據(jù)集，以某汽車配件廠提供的工件作為樣品，搭建本文實驗平臺，使用Labelimg對采集到的數(shù)據(jù)進行數(shù)據(jù)標注，類別名為工件生產(chǎn)的實際名稱，生成平行框xml數(shù)據(jù)集后，數(shù)據(jù)集以7：2：1比例劃分訓練集、驗證集以及測試集，以VOC2007文件格式導入YOLOv5進行訓練。

本文選取三種在形狀、顏色、大小、材質(zhì)上各有異同的工件進行實驗，來驗證所選YOLOv5s網(wǎng)絡(luò)在各類工件檢測中的普適性和通用性。20-P007與28-T001外觀上均為圓形，體積大小稍有不同，材質(zhì)均為硬性塑料，28-T001尺寸最小，單個工件標注框大小約為70×70，同時30-2001與其他工件相比傳送帶背景相比和傳送帶背景更為接近，材質(zhì)為軟塑料，相比其他兩種工件更易變形。三種工件均在同一成像環(huán)境、硬件條件以及拍攝距離下進行采集。工件圖樣如圖5所示，訓練后測試結(jié)果如表1所示。測試集原圖效果圖如圖6所示。

定量評價方面，選取的指標為：召回率（Recall， R）、準確率（Precision， P）[10]、平均精度均值mAP（mean Average Precision）等。計算式如下：

（2）

（3）

（4）

（5）

上式中TP表示IoU≥設(shè)定閾值的檢測框數(shù)目；FP表示IoU＜設(shè)定閾值的檢測框數(shù)目；FN表示漏檢的目標數(shù)目，mAP表示平均精度，n表示檢測目標類別數(shù)。

YOLOv5中損失包含三個部分：矩形框損失（lossrect）、置信度損失（lossobj）、分類損失（lossclc）。總體損失為三部分損失的加權(quán)和。損失函數(shù)如下：

loss = a · lossobj + b · lossrect + c · lossclc ?（6）

其中a、b、c分別表示三種損失的權(quán)重。

本文使用CIoU loss[11]來衡量矩形框的損失。DIoU把兩矩形框的重疊面積以及中心點距離用于損失計算，CIoU在此基礎(chǔ)上把兩矩形框的寬高比作為影響因素帶入計算，公式更加合理：

lossCIoU = 1 - CIoU ? ? ? ? ? ? ? ? ? （7）

（8）

（9）

（10）

其中，ρ表示兩矩形框中心點之間的距離，c表示兩矩形框的最小外接矩形的對角線長度，v表示兩框?qū)捀弑鹊南嗨贫?，α表示v的權(quán)重，IoU表示兩矩形框面積的交并比值。預(yù)測矩形框左上角坐標為（xp1，yp1），右下角坐標為（xp2，yp2）；標簽矩形框左上角坐標為（xl1，yl1）、xl2，yl2）。

實驗訓練了200輪，由表1分析可知，實驗條件下，工件的計數(shù)準確度可達99.9%，滿足企業(yè)的生產(chǎn)檢測需求。

5 ?結(jié) ?論

本文針對工業(yè)中批量工件識別計數(shù)的實際需求，設(shè)計開發(fā)出一套工件識別計數(shù)系統(tǒng)。通過光源與機械結(jié)構(gòu)的搭配構(gòu)造出燈箱光源的成像效果，形成具備通用穩(wěn)定的視覺成像環(huán)境，滿足多類別工件的成像采集需求；在winform軟件框架下設(shè)計出一套簡單易觀察的操作軟件，滿足實時檢測和統(tǒng)計的生產(chǎn)需求。算法中選用了YOLOv5s目標檢測模型，檢測速度快的同時，在少量數(shù)據(jù)用于訓練的情況下即可達到極高的檢測精度；同時還使用算法模擬實現(xiàn)了光電傳感器的功能，效果穩(wěn)定，減少了系統(tǒng)可能受到的干擾。

參考文獻：

[1] 田冉，陳梅香，董大明，等.紅外傳感器與機器視覺融合的果樹害蟲識別及計數(shù)方法 [J].農(nóng)業(yè)工程學報，2016，32（20）：195-201.

[2] 古亭.基于機器視覺的蠶繭計數(shù)與識別研究 [D].杭州：中國計量大學，2020.

[3] 鞠文輝.基于深度學習的視覺計數(shù)方法研究 [D].濟南：山東師范大學，2021.

[4] 李雪冬.基于計算機視覺的羊群計數(shù)算法研究與實現(xiàn) [D].包頭：內(nèi)蒙古科技大學，2021.

[5] 顏曉河，董玲嬌，蘇紹興.光電傳感器的發(fā)展及其應(yīng)用 [J].電子工業(yè)專用設(shè)備，2006（1）：59-62.

[6] REDMON J，F(xiàn)ARHADI A .YOLOv3：An Incremental Improvement [J/OL].arXiv：1804.02767 [cs.CV].（2018-04-08）.https：//arxiv.org/abs/1804.02767.

[7] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas：IEEE，2016：770-778.

[8] LIN T Y，DOLL?R P，GIRSHICK R，et al. Feature pyramid networks for object detection [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Honolulu：IEEE，2017：2117-2125.

[9] LI H，XIONG P，AN J，et al. Pyramid Attention Network for Semantic Segmentation [J/OL].arXiv：1805.10180 [cs.CV].（2018-05-25）.https：//arxiv.org/abs/1805.10180v1.

[10] 任秋霖，任德均，李鑫，等.基于卷積自編碼器的醫(yī)用玻璃瓶口缺陷檢測方法 [J].計算機與現(xiàn)代化，2022，324（8）：114-120.

[11] ZHENG Z，WANG P，REN D，et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation [J].IEEE Transactions on Cybernetics，2021，52（8）：8574-8586.

作者簡介：黃德成（1997—），男，漢族，四川成都人，碩士研究生，研究方向：機器視覺、深度學習；通訊作者：任德均（1971—），男，漢族，四川成都人，副教授，碩士生導師，博士，研究方向：機器視覺、機器人、嵌入式系統(tǒng)、機電一體化。