丁家皓,李柏巖,劉曉強,涂文奇,鄭佳明
(東華大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,上海 201620)
近年來,隨著制造業(yè)的蓬勃發(fā)展,我國正從制造業(yè)大國向制造業(yè)強國轉(zhuǎn)變。隨著工業(yè)制造業(yè)規(guī)模的擴大,機器設(shè)備不斷增多,相應(yīng)的強、弱電配電柜的使用量也與日俱增。配電柜在配電控制系統(tǒng)中起著至關(guān)重要的作用,是整個配電設(shè)備安全運行的重要保障[1],因此配電柜在全部接線完成,通電之前,必須進行接線連通檢測,以確保所有線路都被已正確連接,防止燒毀設(shè)備。通常,配電柜的組成元器件主要包括斷路器、PLC控制器、電源、繼電器、接線端子等,負(fù)責(zé)將電能分配到各個負(fù)荷部位、通常還具有調(diào)控以及信息傳遞等功能[2]。在配電柜配置過程中,各組件之間不正確連接可能導(dǎo)致系統(tǒng)范圍的故障,接線正確性是電路設(shè)備整體能否正常運行的先決條件。
傳統(tǒng)模式下的配電柜的生產(chǎn)從設(shè)計、制造、安裝到質(zhì)檢的各個環(huán)節(jié)較為獨立,設(shè)計人員在最初設(shè)計配電柜結(jié)構(gòu)時只考慮原理的正確性而忽略了在制造和安裝中布局的合理性[3],隨著德國EPLAN Platform軟件的問世和廣泛使用,這種狀況發(fā)生了的改變。該軟件為設(shè)計人員提供了虛擬樣機與物理實物的數(shù)字孿生模型,通過“基于網(wǎng)絡(luò)的布線優(yōu)化”功能,可以在虛擬樣機進行器件布局,并自動優(yōu)化接線關(guān)系[4],得到接線表和接線圖,將配電柜的生產(chǎn)過程帶入了一個數(shù)字化、一體化設(shè)計的生產(chǎn)模式中。
EPLAN Platform將設(shè)計、制造和安裝的過程聯(lián)系了起來,從制造過程角度優(yōu)化了生產(chǎn)時間,提高了自動化,甚至可以直接導(dǎo)出配電柜的接線表和接線圖。但配電柜的接線檢測工作依舊是依賴于人工、工作量大、自動化程度低、容易出錯的工作。如圖1所示,檢測員根據(jù)接線圖,在配電柜面板上查找接線點,用檢測筆依次測量線路的通斷情況。這不僅對檢測員的經(jīng)驗和精神集中度有極高要求,也無疑耗費了大量的人力和時間,增加了企業(yè)成本。顯然,采用新的技術(shù)手段,提高接線質(zhì)量檢測工作流程的自動化程度,減輕人工檢測的工作難度和工作量,對配電柜生產(chǎn)企業(yè)尤為迫切。
圖1 基于接線圖的接線檢測示意圖
近年來,隨著計算機新技術(shù)的不斷涌現(xiàn),以工業(yè)4.0所代表的智能制造技術(shù)發(fā)展迅速[5- 6],使用信息化、智能化技術(shù)改造傳統(tǒng)制造業(yè)成為一種趨勢[7],例如,朱雨賀[8]將YOLOv3(you only look once)應(yīng)用于制造業(yè)的分揀工作中,并實現(xiàn)了深度學(xué)習(xí)下的自動分揀系統(tǒng)。王林[9]等以CNN(convolutional neural networks)為框架設(shè)計行人檢測系統(tǒng),有效檢測了在各個狀態(tài)和姿勢下的行人;馮碩[10]等結(jié)合嵌入式系統(tǒng)和CNN結(jié)構(gòu)設(shè)計實現(xiàn)了一套奇異果自動采摘系統(tǒng),優(yōu)化了繁重的采摘工作;梁赟[11]通對深度學(xué)習(xí)中定位與識別的研究,實現(xiàn)了生產(chǎn)線產(chǎn)品的檢測。這些工作都為生產(chǎn)現(xiàn)場的自動化和智能化改造提供了值得借鑒經(jīng)驗。
本文通過分析傳統(tǒng)人工檢測配電柜接線工作流程,采用一系列計算機智能化技術(shù),優(yōu)化了傳統(tǒng)配線接線工作,主要貢獻如下:
1)設(shè)計并實現(xiàn)了接線檢測輔助系統(tǒng),針對接線檢測的需求,提供人機交互繪制面板布局圖的界面,并結(jié)合接線表,為檢測員標(biāo)示每對接線對在配電柜中的位置,優(yōu)化了配線接線的質(zhì)量檢查工作的效率和可靠性。
2)收集且標(biāo)注了配電柜圖像,構(gòu)建了配電柜常用器件數(shù)據(jù)集,借助卷積神經(jīng)網(wǎng)絡(luò)識別機柜圖,輔助繪制面板布局圖。利用目標(biāo)檢測網(wǎng)絡(luò)YOLOX檢測配電柜圖,對配電柜中的常用器件進行識別和定位。
智能接線檢測輔助系統(tǒng)的總體結(jié)構(gòu)如圖2所示,分為服務(wù)器、移動檢測終端(上位機)和檢測儀三部分。接線檢測管理軟件系統(tǒng)服務(wù)器端運行在服務(wù)器上,其主要模塊包括系統(tǒng)管理、用戶管理、產(chǎn)品管理、檢測實例管理、檢測終端管理、檢測過程管理、檢測結(jié)果分析等。檢測終端是每個檢測員在工作現(xiàn)場使用的輔助設(shè)備,它提示當(dāng)前要檢測的線對、并在屏幕上指示檢測點在配電柜面板上的位置。服務(wù)器與檢測終端之間采用TCP/IP協(xié)議C/S架構(gòu)通過Wi-Fi連接。檢測儀是一個微型移動設(shè)備,它有兩只帶有作為導(dǎo)電觸頭的探針的檢測筆,用于連接要檢測的接線。工作時,檢測員將檢測終端貼掛在配電柜面板旁,查看當(dāng)前要檢測的接線對及其接線柱的位置,然后把測量儀探針與接線柱接觸好,按“檢測”按鈕,檢測儀將測量結(jié)果(線路通斷情況)通過Wi-Fi傳回上位機傳回上位機,然后進入下一個接線對的檢測。
圖2 系統(tǒng)總體結(jié)構(gòu)圖
智能輔助檢測系統(tǒng)在實際工作中的應(yīng)用流程如圖3所示,總體可分成3部分,由技術(shù)人員、管理人員和檢測人員分別完成不同的工作并相互協(xié)助完成整個檢測流程:
圖3 系統(tǒng)工作流程圖
1)技術(shù)人員:首先,由技術(shù)人員設(shè)計配電柜的總體布局,得到接線表和接線圖,并配置完成配電柜,得到配電柜實物圖。其中,接線表中包含了對應(yīng)配電柜中所有的接線對信息,包括源端與目標(biāo)端器件的標(biāo)號與標(biāo)簽、線纜標(biāo)簽、線色等信息;技術(shù)人員在完成所有工作后,將接線表、接線圖和配電柜實物圖交由管理人員,進入下一步工作。
2)管理人員:然后,由管理人員針對配電柜新建其對應(yīng)的產(chǎn)品,并進入維護產(chǎn)品階段,導(dǎo)入接線表及配電柜實物圖,如缺少相關(guān)文件則聯(lián)系相關(guān)技術(shù)人員完成配電柜的配置并提供相關(guān)文件。管理人員通過系統(tǒng)中人機交互繪制界面,完成在配電柜面板實物圖層之上各個器件的繪制工作,系統(tǒng)記錄各個器件的坐標(biāo)位置等信息得到面板布局圖,為檢測人員的檢測通過做好準(zhǔn)備工作。
3)檢測人員:最后,檢測人員檢測面板布局圖是否繪制完畢并創(chuàng)建產(chǎn)品對應(yīng)的檢測實例,如缺少面板布局圖則聯(lián)系管理人員進行產(chǎn)品面板布局圖的維護。系統(tǒng)通過接線對信息中的器件名與面板布局圖中繪制的器件名相對應(yīng),在檢測時,通過在配電柜實物圖上標(biāo)識并高亮顯示當(dāng)前接線對源端與目標(biāo)端對應(yīng)器件的位置,起到了幫助檢測人員快速定位目標(biāo)器件的輔助檢測效果。
面對配電柜接線正確性的檢測問題,傳統(tǒng)的檢測方式需要質(zhì)量檢測人員在配電柜讀取接線表和接線圖,得到各個器件之間的連接關(guān)系,并且在配電柜繁多的器件中尋找當(dāng)前接線對的對應(yīng)器件,使用萬用表的表筆連通器件接線柱,并觀察萬用表數(shù)據(jù)變化來確定器件連通情況,然后手工記錄每一條接線對的連通情況并撰寫檢測結(jié)果報告。因此這種檢測方式不但需要質(zhì)量檢測人員擁有相當(dāng)?shù)膶I(yè)知識,同時復(fù)雜且繁重的工作,加上手工的記錄方式,對于檢測人員的工作態(tài)度和精神集中程度都有很高的要求,同時,對于量產(chǎn)的同一配電柜,檢測員每檢測一個配電柜,就要重復(fù)讀取接線表和接線圖并找尋器件的工作,如此情況下,導(dǎo)致檢測工作的效率低下且對檢測員讀取接線圖尋找器件的成果的利用率低。
所以為了減少檢測員查找接線對和接線柱的時間,本系統(tǒng)引入了面板布局圖。面板布局圖是一種根據(jù)配電柜實際器件布局,在實物圖圖層之上繪制矩形框的示意圖,其中,矩形框用于標(biāo)識器件的位置和名稱,便于用戶確定接線對關(guān)聯(lián)器件位置,系統(tǒng)通過數(shù)據(jù)庫記錄矩形框,保存了器件的位置和名稱,因此只需要一次接線表和接線圖的解讀,就可以用于所有該種配電柜的檢測,提高了讀圖成果的利用率,同時在檢測階段為檢測員顯示當(dāng)前器件位置,幫助檢測員快速定位了目標(biāo)。建立面板布局圖有兩種方式:基于實物圖利用人機交互界面繪制或基于機器學(xué)習(xí)中的標(biāo)檢測技術(shù)輔助繪制。
1.3.1 人機交互繪制
本系統(tǒng)建立了人機交互界面,采用計算機輔助繪圖的方式,人機交互繪制面板布局圖,實現(xiàn)了矩形框的繪制、矩形框拖拽和移動、鎖定矩形框、調(diào)整圖片顯示比例、自定義顏色名稱等功能。系統(tǒng)對用戶導(dǎo)入的接線表中源端與目標(biāo)端名稱抽取去重,獲得配電柜中各個器件對應(yīng)的器件名稱,并顯示在器件列表中。用戶可在器件列表中選擇器件并在配電柜實物圖中用鼠標(biāo)繪制出對應(yīng)區(qū)域的半透明框圖,面板布局圖繪制效果如圖4所示,面板布局圖分為實物圖圖層及矩形框圖層,實物圖層為用戶導(dǎo)入的配電柜實物圖,矩形框圖層為用戶在系統(tǒng)人機交互界面中繪制的半透明框圖,系統(tǒng)記錄了其名稱及坐標(biāo)信息。最終經(jīng)繪制得到的面板布局圖將被拆分為配電柜實物圖和器件矩形框信息的方式,分別存入數(shù)據(jù)庫,并在檢測階段讀取,為檢測員指示當(dāng)前檢測器件位置。
圖4 面板布局圖繪制示意圖
1.3.2 目標(biāo)檢測輔助面板圖生成
雖然人機交互繪制面板圖的方式非常靈活,適應(yīng)性好,但是對繪制人員來說,定位符號所對應(yīng)器件并進行繪制的過程仍耗費過多時間,且要求繪制人員熟悉設(shè)備和器件布局。
近年來,計算機視覺領(lǐng)域,目標(biāo)檢測、語義分割、圖片分類等人工智能技術(shù)發(fā)展迅速,并被廣泛應(yīng)用運用于各個領(lǐng)域[12- 15],取得了很好的效果。所以,本文在人機交互繪制面板布局圖的基礎(chǔ)上,進一步采用計算機視覺領(lǐng)域目標(biāo)檢測算法對配電柜中的常用器件進行分類定位,并與接線表中各個器件名稱所對應(yīng)的符號進行匹配,幫助繪制人員快速定位當(dāng)前器件名稱在配電柜中對應(yīng)的所有器件,輔助面板圖布局圖的繪制。
針對此項需求,本系統(tǒng)采用YOLOX目標(biāo)檢測算法[16]對配電柜實物圖中的常用器件進行識別定位,獲取器件的類別和坐標(biāo)信息,并為用戶在配電柜圖片相應(yīng)器件位置處進行標(biāo)注,優(yōu)化了面板圖繪制過程,進一步提高了配線接線的質(zhì)量檢查工作的效率。
訓(xùn)練器件檢測的機器學(xué)習(xí)模型,需要一個包含足夠多器件實物圖像的數(shù)據(jù)集。本文中用于建模的圖片有自拍配電柜面板圖片、來自配電柜廠家及網(wǎng)上收集的圖片,其中包括了各個廠商的產(chǎn)品圖片,如西門子、霍尼韋爾、艾默生等品牌的產(chǎn)品,篩選后的得到圖片共1 714張。
訓(xùn)練數(shù)據(jù)集中選擇標(biāo)注的常用器件類型共11種,分別是斷路器、接觸器、繼電器、接線端子、斷熔器底座、溫控器、插座、PLC模塊、變頻器、電源和互感器。標(biāo)注采用開源工具LabelImg,主要針對圖像中的器件,標(biāo)注其位置和類別,保存為xml格式文件。
YOLO[17]系列算法是目前目標(biāo)檢測算法中比較主流的算法之一,并且YOLOv3網(wǎng)絡(luò)更是在工程領(lǐng)域中得到廣泛運用[18-19]。YOLOX是曠視科技公司在2021年提出超越Y(jié)OLO系列的算法,其在YOLOv3~v5的基礎(chǔ)上改進,無論是在檢測速度還是在檢測精度上都優(yōu)于YOLOv3~v5[20]。故本文選擇YOLOX預(yù)訓(xùn)練模型建模。
2.2.1 YOLOX網(wǎng)絡(luò)結(jié)構(gòu)
YOLOX整體可分為三部分——CSPDarknet、FPN和YOLO Head,如圖5所示。
圖5 YOLOX-X網(wǎng)絡(luò)結(jié)構(gòu)
1)主干部分CSPDarknet:CSPDarknet負(fù)責(zé)特征提取,沿用了YOLOv5——BackBone網(wǎng)絡(luò)的基本結(jié)構(gòu),在輸入端對圖像采用Mosaic數(shù)據(jù)增強策略和Focus網(wǎng)絡(luò)結(jié)構(gòu),豐富了圖像的背景和通道。并在每次卷積后,YOLOX選擇進行歸一化處理并修改激活函數(shù)為SiLU函數(shù)。SiLU函數(shù)具有無上界有下界、平滑、非單調(diào)的特性,計算公式如式(1)所示:
f(x)=x*sigmoid(x)
(1)
YOLOX采用多維度檢測方法,共提取3種不同維度的特征層,分別為x1=80*80*256、x2=40*40*512、x3=20*20*1024,3種維度分別用于檢測圖像中不同大小的目標(biāo)物體,維度越大,對于小物體的敏感度越高。其中在x3維度的特征提取過程中加入SPP[21](patial Pyramid Pooling空間金字塔池化)結(jié)構(gòu),有效地避免了因圖像裁剪和變形導(dǎo)致特征提取偏差的問題。
2)FPN特征金字塔:FPN負(fù)責(zé)對主干網(wǎng)絡(luò)的3個維度的特征進行特征融合,如圖5所示,在YOLOv5——Neck結(jié)構(gòu)的基礎(chǔ)上對高層特征進行下采樣并與低層特征再進行一次堆疊,使得高層特征和低層特征能互相利用,起到了進一步加強特征的作用,并將3個維度特征分別傳遞到Y(jié)OLO Head,即網(wǎng)絡(luò)的分類器部分中,用以檢測不同大小的目標(biāo)。
3)YOLOHead解耦頭:以往的YOLO算法版本中,分類器部分都選擇將分類與回歸同時進行,即在一個1×1卷積里實現(xiàn)。但是,由于分類是對于物體特征差異的比較,而回歸則是提取的物體輪廓處特征,所以分類和回歸的過程可能會互相影響而產(chǎn)生沖突,不利于模型檢測,所以與以往的YOLO算法不同,YOLOX采用了解耦頭,將物體預(yù)測框和類別的預(yù)測分別實現(xiàn)。
2.2.2 YOLOX的特殊處理
1)無先驗框(anchor free):YOLOv3~v5都采用了先驗框,而YOLOX認(rèn)為先驗框的預(yù)設(shè)在一定程度上限制了模型的預(yù)測效果,因為不同數(shù)據(jù)集目標(biāo)可能出現(xiàn)的位置也會不同,并且設(shè)定好的先驗框?qū)τ诓灰?guī)則目標(biāo)的檢測反倒帶來了干擾,模型默認(rèn)的先驗框也一定不適合當(dāng)前需解決問題的數(shù)據(jù)集,人為分析獲取最優(yōu)先驗框無疑增加了模型訓(xùn)練的難度和復(fù)雜度,降低了靈活性,同時隨著Anchor Free策略的發(fā)展,其預(yù)測精度已不亞于Anchor Base[22-23],所以YOLOX選擇使用AnchorFree策略。
2)SimOTA正樣本匹配:SimOTA能動態(tài)得為每個真實框分配正樣本數(shù)量,即各個不同的目標(biāo)對應(yīng)的正樣本數(shù)量不同,相比以往的正樣本分配策略速度更快,參數(shù)更少,分配更合理。其核心思想是為每一個真實框計算一個cost代價矩陣,矩陣包含了每個真實框與預(yù)測框重合程度和種類預(yù)測準(zhǔn)確度,以及真實框中心點和特征點的距離的接近程度。計算真實框與預(yù)測框重合程度前10的IOU總和并取整得到k,cost最低的k個點即為該真實框的正樣本。
本文模型在Python 3.7、Tensorflow2.2.0的環(huán)境下運行,訓(xùn)練的服務(wù)器GPU為NVIDIA TeslaGPU_V100_32 GB,內(nèi)存為32 G。
mAP為目標(biāo)檢測準(zhǔn)確率的評價指標(biāo),通過精確率和召回率共同計算而來。其中,精確率指真陽性在預(yù)測為正類中的占比,計算公式如式(2)所示;召回率指真陽性在實際為正類中的占比,計算公式如式(3)所示:
(2)
(3)
式中,TP代表預(yù)測為正類并且實際為正類目標(biāo),F(xiàn)P代表預(yù)測為正類但實際為負(fù)類的目標(biāo)。FN代表預(yù)測為負(fù)類但實際為正類的目標(biāo)。
以召回率為X軸,精確率為Y軸建立直角坐標(biāo)系,召回率和精確率相交點的集合即稱為P-R線,P-R線與召回率X軸所圍成圖形的面積即AP,而模型所有類別AP的平均值即mAP。
模型使用YOLOX-X預(yù)訓(xùn)練,將數(shù)據(jù)集以9∶1∶1的比例劃分為訓(xùn)練集、驗證集和測試集。訓(xùn)練時,先對模型主干部分(CSPDarknet)進行凍結(jié),凍結(jié)階段模型訓(xùn)練參數(shù)如表1所示,此時模型特征提取網(wǎng)絡(luò)部分參數(shù)不變,僅對FPN結(jié)構(gòu)參數(shù)微調(diào)。在100輪迭代后,解凍模型主干網(wǎng)絡(luò),解凍階段模型訓(xùn)練參數(shù)如表1所示,訓(xùn)練迭代輪數(shù)不固定,通過觀察驗證集損失變化情況動態(tài)停止網(wǎng)絡(luò),此時模型的主干不再凍結(jié),網(wǎng)絡(luò)所有參數(shù)都會發(fā)生改變。
表1 模型訓(xùn)練參數(shù)表
訓(xùn)練集及驗證集損失函數(shù)變化趨勢如圖6所示。圖中train loss為訓(xùn)練集損失,val loss為驗證集損失,同時為了便于觀察損失變化趨勢,對訓(xùn)練集損失及驗證集損失折線進行平滑處理,得到smooth train loss和smooth train loss曲線。如圖6所示,模型在經(jīng)過400輪迭代后,train loss和val loss都趨于平穩(wěn),因此在此處停止模型訓(xùn)練,保存模型權(quán)重,并參照本章3.1節(jié)所介紹的AP和mAP的計算方法,根據(jù)測試集的預(yù)測結(jié)果計算mAP。
圖6 訓(xùn)練集、驗證集loss變化圖
模型對各器件預(yù)測AP值結(jié)果如表2 所示??梢钥吹剑P偷钠骄鵄P值以及達(dá)到了95.49%,且各個器件的AP值都保持在了90%以上,實驗結(jié)果顯示YOLOX網(wǎng)絡(luò)對各個器件都有較高的識別率,可以滿足工程需求。
表2 各類別預(yù)測數(shù)據(jù)及對應(yīng)符號
將訓(xùn)練好的YOLOX檢測模型運用到面板布局圖的繪制,在基于實物圖的人機交互繪制階段,在維護產(chǎn)品流程中,將配電柜實物圖通過訓(xùn)練好的器件識別模型進行器件識別,得配電柜中器件的位置和名稱信息,并導(dǎo)入人機交互繪制面板布局圖階段,將從接線表中提取出的器件名中的器件符號與模型中識別的器件名稱相匹配,器件符號與器件名稱的對應(yīng)關(guān)系如表2所示,系統(tǒng)提取器件符號并將模型中所檢測出的所有對應(yīng)器件在圖片中的位置使用標(biāo)注框高亮出來,用戶根據(jù)器件序號選擇對應(yīng)的標(biāo)注框,確認(rèn)后該標(biāo)注框變更為繪制框。例如,選擇器件名為KM1的器件,其中符號KM對應(yīng)的器件為接觸器,數(shù)字1對應(yīng)該器件的序號,系統(tǒng)讀取模型中接觸器的坐標(biāo)信息,并在配電柜圖中以標(biāo)注框的形式框標(biāo)注出所有未繪制的接觸器在圖中所處的位置,用戶選擇序號為1的接觸器所對應(yīng)的標(biāo)注框,點擊該標(biāo)注框,確認(rèn)操作后,該標(biāo)注框變更為繪制框并添加器件名稱KM1,優(yōu)化了面板布局圖繪制過程。
本文針對配電柜接線檢測問題,實現(xiàn)了一種智能接線檢測輔助系統(tǒng),并提出了一種用虛實結(jié)合的分層面板接線布局圖來引導(dǎo)檢測人員快速定位檢測點的方法,根據(jù)配電柜實際器件布局,在實物圖圖層之上繪制矩形框用于記錄器件的位置和名稱,并在檢測階段為檢測員在配電柜實物圖上進行標(biāo)示,大大減輕了檢測員的工作強度,加快了檢測速度。同時提出了兩種方式針對面板布局圖的繪制:
1)采用計算機與人工相結(jié)合的方式繪制面板布局圖。以Qt為開發(fā)框架,C++為編程語言,建立了人機交互面板布局圖繪制界面,采用計算機輔助繪圖的方式,由人工通過計算機可視化交互界面繪制面板布局圖,為用戶提供一個可以自主繪制面板布局圖系統(tǒng)。
2)借助目標(biāo)檢測網(wǎng)絡(luò)識別配電柜實物圖中的常用器件生成面板布局圖。收集并標(biāo)注了配電柜常用器件數(shù)據(jù)集,通過YOLOX目標(biāo)檢測算法檢測配電柜實物圖中的常用器件,進行識別和定位,得到器件在配電柜中的坐標(biāo)位置,并在繪制階段為用戶標(biāo)注出當(dāng)前器件所在位置,為用戶提供了一個可直接在標(biāo)注框中尋找對應(yīng)器件的接口,優(yōu)化了繪制過程的復(fù)雜程度和時間損耗。
當(dāng)然,由于市場上配電柜器件的樣式眾多,目前系統(tǒng)對于非常用器件的識別能力有限,需收集更多的配電柜面板圖片,豐富數(shù)據(jù)集,訓(xùn)練能力更強的模型。