王睿，胡云雷，劉衛(wèi)朋，李海濤

(1.河北工業(yè)大學(xué)，天津，300131；2.哈爾濱工業(yè)大學(xué)，先進(jìn)焊接與連接國家重點實驗室，哈爾濱，150001)

0 序言

X 射線焊縫檢測在管道焊接和連接領(lǐng)域應(yīng)用廣泛[1].針對X 射線焊縫圖像底片的質(zhì)檢，更多的是采用人工檢測的方式，根據(jù)工程師的經(jīng)驗來判斷檢測結(jié)果的好壞，在檢測效率和檢測標(biāo)準(zhǔn)上會受到主觀性的制約.X 射線焊縫圖像的檢測大多基于主觀設(shè)定閾值來凸顯缺陷特征，焊縫缺陷對比度低，許多時候不易直接提取特征，而且，基于閾值的方式很難對缺陷類型進(jìn)行定位和分類[2].隨著計算機和人工智能的發(fā)展，許多學(xué)者從傳統(tǒng)的主觀提取X 射線焊縫圖像特征，轉(zhuǎn)向用自動學(xué)習(xí)的方式提取X 射線焊縫特征[3-4].劉涵等人[5]采用卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural networks，CNN)和Softmax 分類器，研究了基于石油鋼管場景下的焊縫的缺陷檢測與識別.樊丁等人[6]改進(jìn)了模型中的指數(shù)線性單元(exponential linear unit，ELU)函數(shù)，來識別焊縫X 射線圖像的缺陷.謝經(jīng)明等人[7]通過減少X 射線焊縫識別網(wǎng)絡(luò)的檢測層數(shù)，提高卷積神經(jīng)網(wǎng)絡(luò)的推理速度.

卷積神經(jīng)網(wǎng)絡(luò)通過反向傳播學(xué)習(xí)缺陷特征，通過數(shù)據(jù)提高模型的魯棒性，利用卷積神經(jīng)網(wǎng)絡(luò)可以有效解決X 射線焊縫缺陷自動檢測問題.目標(biāo)檢測的主要算法包括以Faster R-CNN[8]系列為代表的兩階段目標(biāo)檢測算法和以YOLO[9]系列為代表的一階段算法.從焊縫缺陷檢測的已有研究來看，焊縫自動辨識技術(shù)的研究建立在高性能計算機之上[10]，所提出的算法參數(shù)較多、權(quán)重較大、訓(xùn)練較慢，更多考慮的是模型單方面性能，缺乏對硬件資源的全面考慮.

針對以上問題，結(jié)合X 射線焊縫缺陷檢測任務(wù)特點，算法基于YOLO 目標(biāo)檢測框架，引入輕量級的倒殘差結(jié)構(gòu)[11]，加快缺陷信息在邊緣硬件上的傳播效率.采用多尺度預(yù)測機制，精準(zhǔn)識別不同缺陷特征.跨網(wǎng)格擴增缺陷正樣本，加快模型訓(xùn)練過程中的收斂速度.最后，通過計算機以及邊緣設(shè)備進(jìn)行焊接質(zhì)檢試驗，研究輕量級卷積神經(jīng)網(wǎng)絡(luò)的檢測性能和智能硬件的運行性能.

1 系統(tǒng)架構(gòu)

邊緣分布式運算具有實時性、高效性、安全性和低成本等特點[12]，試驗采用的邊緣人工智能(artificial intelligence，AI)檢測器的核心部件為K210 芯片，芯片功耗為0.3 W，主要負(fù)責(zé)圖像檢測、控制器運算和數(shù)據(jù)處理.K210 是RISC-V 雙核64 位CPU，支持機器視覺多模態(tài)識別，具有神經(jīng)網(wǎng)絡(luò)硬件加速器，其處理器運算能力為1 TOPS，相比于擁有128 個CUDA 單元的Jetson Nano，K210 芯片具有良好的性能指標(biāo)和更低廉的價格.

系統(tǒng)部署流程如圖1 所示，首先組成適用于提取缺陷特征的數(shù)據(jù)集，通過深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建檢測模型，訓(xùn)練出來的模型文件通過勘智官方提供的工具鏈轉(zhuǎn)換成K210 芯片支持的KModel格式，轉(zhuǎn)換后的模型燒錄進(jìn)邊緣識別設(shè)備.

圖1 系統(tǒng)部署流程圖Fig.1 Flow chart of system deployment

具有辨識能力的嵌入式設(shè)備可以對焊縫圖像進(jìn)行區(qū)域性檢測，安裝在檢測器前方的攝像頭將缺陷圖片信息傳遞給K210 芯片，芯片利用自身神經(jīng)網(wǎng)絡(luò)加速器處理輸入圖片，最終獲得目標(biāo)位置類別等處理結(jié)果.通過物聯(lián)網(wǎng)模塊進(jìn)行MQTT 協(xié)議通信，連接物聯(lián)網(wǎng)云平臺并上傳設(shè)備狀態(tài)信息，云平臺統(tǒng)計邊緣AI 設(shè)備的狀態(tài)信息，方便工程人員觀察統(tǒng)計X 射線焊縫缺陷信息.把邊緣硬件驗證算法和云端數(shù)據(jù)存儲相結(jié)合，極大增加了缺陷識別系統(tǒng)的魯棒性.

2 CNN 模型

2.1 模型架構(gòu)

復(fù)雜模型在工業(yè)場景或低端設(shè)備上難以被使用，工程設(shè)計需要采用更加輕量的網(wǎng)絡(luò)形式，卷積網(wǎng)絡(luò)不僅要在性能和模型大小之間進(jìn)行衡量取舍，同時要考慮勘智官方工具鏈對網(wǎng)絡(luò)結(jié)構(gòu)的支持.YOLO-M 是基于格子預(yù)測，相比較于先產(chǎn)生候選區(qū)域，再生成候選框的雙階段算法，其不僅有更快的檢測速度，也具有良好的準(zhǔn)確率.如圖2 所示，針對焊縫缺陷多尺度的特征，從3 個不同輸出層對X 射線焊縫缺陷進(jìn)行檢測，網(wǎng)絡(luò)可以更好地辨別缺陷特征.

圖2 YOLO-M 架構(gòu)圖Fig.2 YOLO-M architecture diagram

考慮到邊緣設(shè)備的加速器結(jié)構(gòu)和計算效率等問題，為了充分滿足K210 邊緣設(shè)備的需求特點，算法的主干網(wǎng)絡(luò)采用輕量的線性瓶頸的倒殘差結(jié)構(gòu)，從而實現(xiàn)在不同圖像細(xì)粒度上聚合并形成圖像特征.隨著神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，網(wǎng)絡(luò)的參數(shù)不斷更新，預(yù)測層結(jié)果不斷接近目標(biāo)真實結(jié)果，訓(xùn)練結(jié)束后卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)達(dá)到最佳，通過最佳參數(shù)的模型實現(xiàn)焊縫辨識任務(wù).

2.2 主干網(wǎng)絡(luò)結(jié)構(gòu)

如圖2 所示，主干網(wǎng)絡(luò)采用倒殘差(inverted residual)結(jié)構(gòu)，倒殘差先使用1 × 1 的卷積(convolution，Conv)結(jié)構(gòu)，目的是將低維空間映射到高維空間，增加維度后采用分離提取的方式來提取特征，由于將傳統(tǒng)的卷積改為了分離提取的方式，使得網(wǎng)絡(luò)的計算量和參數(shù)大幅減少，線性瓶頸的倒殘差結(jié)構(gòu)的中間層可以增加通道數(shù)來提取更多特征，更好的識別X 射線焊縫缺陷信息.對于低維空間圖片信息而言，進(jìn)行線性映射會保存X 射線焊縫缺陷特征，而非線性函數(shù)會影響缺陷信息的傳遞，殘差結(jié)構(gòu)兩邊的維度信息通道數(shù)都比較少，可以認(rèn)為是“低維向量”，所以后面線性激活選擇大小為1 ×1 的卷積核.倒殘差結(jié)構(gòu)可以增加缺陷信息在不同層級之間的傳播能力，保持目標(biāo)向量信息傳輸，有著更好的內(nèi)存使用效率.一個瓶頸塊的操作運算F(x)可以表示為3 個運算操作的組合.

式中：A為 線性變換函數(shù)；N為卷積的每個通道非線性變換函數(shù)；B為輸出域的線性變換函數(shù)；x為卷積運算輸入.

如圖3 所示，深度可分離卷積(deep separable convolution，DSC)將傳統(tǒng)的卷積提取特征的過程分解為兩部分，首先對輸入每個通道的圖像信息采用輕量級的單通道濾波器，分別提取不同信息，然后通過逐點卷積組成新的圖像信息.在達(dá)到同樣的輸出效果的同時，采用分離提取的方式比傳統(tǒng)卷積參數(shù)減少8～9 倍.

圖3 深度可分離卷積模型Fig.3 Deeply separable convolution model

2.3 目標(biāo)框生成

在X 射線焊縫缺陷檢測訓(xùn)練任務(wù)中，YOLOM 網(wǎng)絡(luò)通過k-mean 聚類產(chǎn)生適合焊縫缺陷的先驗框，目的是對預(yù)測焊縫缺陷識別框進(jìn)行約束，根據(jù)預(yù)測頭的結(jié)構(gòu)特點，在最小的特征圖上，其單位面積內(nèi)的圖像感知范圍最大，應(yīng)用最大尺度的先驗框，適合辨識尺度較大的目標(biāo).在最大的特征圖上，其單位面積內(nèi)的圖像感知范圍最小，應(yīng)用最小尺度的先驗框，適合辨識尺度小的目標(biāo).

YOLO-M 網(wǎng)絡(luò)輸出三維特征來表達(dá)缺陷坐標(biāo)x和y、寬度w和高度h、缺陷置信度、缺陷類別.其中，缺陷坐標(biāo)x和y、缺陷寬度w、高度h經(jīng)先驗框微調(diào)與真正的目標(biāo)缺陷圖像重合，置信度信息判斷是否存在目標(biāo)缺陷，缺陷類別信息判缺陷類型.通過網(wǎng)絡(luò)訓(xùn)練得到最優(yōu)損失函數(shù)，損失函數(shù)L由邊框信息損失函數(shù)Lbox、目標(biāo)置信度損失函數(shù)Lobj和目標(biāo)分類損失函數(shù)Lcls組成.網(wǎng)絡(luò)中置信度預(yù)測和類別預(yù)測均采用二分類交叉熵?fù)p失LBCE(binary cross entropy loss，BCE)，邊框回歸采用Complete IoU(CIoU) loss[13].

式中：tx，ty，tw，th為歸化后的坐標(biāo)和寬、高度信息；gx，gy，gw，gh為 標(biāo)注框的坐標(biāo)和寬、高度信息；cx，cy為預(yù)設(shè)先驗框的左上角坐標(biāo)信息；pw，ph為預(yù)設(shè)先驗框的寬、高度信息；bx，by，bw，bh為網(wǎng)絡(luò)輸出的坐標(biāo)和寬、高度信息；σ為Sigmoid 歸一化函數(shù)[9]，加快模型收斂；n為輸出信息數(shù)量；ti為 目標(biāo)信息；oi為輸出信息；L為模型損失函數(shù)；Lbox為邊框信息損失函數(shù)；Lobj為 目標(biāo)置信度損失函數(shù)；Lcls為目標(biāo)分類損失函數(shù).

為了增加焊縫缺陷正樣本和加快網(wǎng)絡(luò)的收斂速度，如圖4 所示，網(wǎng)絡(luò)采用跨網(wǎng)格的預(yù)測機制，模型基于網(wǎng)格預(yù)測，缺陷中心點所在的網(wǎng)格負(fù)責(zé)預(yù)測缺陷，同時增加相鄰網(wǎng)格作為負(fù)責(zé)預(yù)測缺陷的網(wǎng)格，通過跨網(wǎng)格策略極大提高了網(wǎng)絡(luò)訓(xùn)練時的收斂速度.網(wǎng)絡(luò)訓(xùn)練中采用數(shù)據(jù)增強策略，隨機拼接缺陷圖片，增強小目標(biāo)的檢測能力.每一個網(wǎng)格生成3 個先驗框，先驗框通過調(diào)整生成目標(biāo)框，在輸出真正目標(biāo)框之前，模型通過目標(biāo)框分?jǐn)?shù)特征信息篩選和保留最優(yōu)目標(biāo)框.

圖4 預(yù)測機制Fig.4 Prediction mechanism

3 試驗結(jié)果與分析

3.1 X 射線數(shù)據(jù)集

訓(xùn)練算法和驗證算法的數(shù)據(jù)集由GDXray 公共數(shù)據(jù)庫[14]和中國石油天然氣管道科學(xué)研究院提供的缺陷底片樣本共同組成.從聯(lián)合數(shù)據(jù)集中獲取2 070 個具有相同大小的不同缺陷裁剪補丁，圖像的尺寸為128 像素 × 128 像素.圖5、圖6、圖7 和圖8 分別為裂紋(crack，CR)、氣孔(porosity，PO)、未焊透(lack of penetration，LOP)、未熔合(lack of fusion，LOF)缺陷圖像檢測過程可視化.X 射線焊縫缺陷圖像具有模糊、多尺度等特征，其中，裂紋缺陷大小不一，未焊透缺陷對比度極低，未熔合缺陷長寬對比大，氣泡缺陷相對微小.

圖5 CR 圖像檢測過程可視化Fig.5 Visualization of CR image detection process.(a)input；(b) output；(c) confidence；(d) class

圖7 LOP 圖像檢測過程可視化Fig.7 Visualization of LOP image detection process.(a)input；(b) output；(c) confidence；(d) class

圖8 LOF 圖像檢測過程可視化Fig.8 Visualization of LOF image detection process.(a)input；(b) output；(c) confidence；(d) class

3.2 網(wǎng)絡(luò)試驗分析

3.2.1 評價指標(biāo)

以下指標(biāo)評估網(wǎng)絡(luò)的綜合性能，例如準(zhǔn)確率(average precision，AP)、平均準(zhǔn)確率(mean average precision，mAP)、每秒幀數(shù)(frames per second，F(xiàn)PS)、模型參數(shù)(model parameters，MP).

式中：YAP為 準(zhǔn)確率；YMP為 模型參數(shù)量；NTP為檢測結(jié)果正確的圖片數(shù)量；NFP為檢測結(jié)果錯誤的圖片數(shù)量；c為卷積輸入通道數(shù)；n為卷積輸出通道數(shù)；h，w為卷積核的高度和寬度；1 為偏置因子.

3.2.2 結(jié)果可視化

卷積神經(jīng)網(wǎng)絡(luò)是黑盒模型，通過可視化輸出層的方式驗證網(wǎng)絡(luò)的效果.卷積神經(jīng)網(wǎng)絡(luò)輸出三維向量，每一層的二維向量都代表不同含義，如圖5～圖8所示，其中圖5～圖8 中b 圖為可視化缺陷檢測結(jié)果，包括缺陷位置框，缺陷類別和置信度分?jǐn)?shù).圖5～圖8 中c 圖為可視化缺陷檢測過程中置信度信息層.圖5～圖8 中d 圖為可視化缺陷檢測過程中類別信息層.

檢測過程中，缺陷圖片上會形成特征信息，把特征信息映射到原圖片上產(chǎn)生不同顏色，由于是跨網(wǎng)格預(yù)測機制，所以缺陷附近也存在不同程度信息，網(wǎng)絡(luò)篩選分?jǐn)?shù)最優(yōu)的信息，通過置信度和類別分?jǐn)?shù)的綜合評定，網(wǎng)絡(luò)最終確定缺陷類型.

3.2.3 試驗對比

對比試驗網(wǎng)絡(luò)包括主流一階段目標(biāo)識別網(wǎng)絡(luò)、二階段目標(biāo)識別網(wǎng)絡(luò)、多階段目標(biāo)識別網(wǎng)絡(luò)以及基于非邊框預(yù)測的目標(biāo)識別網(wǎng)絡(luò)，在X 射線焊縫缺陷數(shù)據(jù)集上驗證網(wǎng)絡(luò)的有效性，網(wǎng)絡(luò)運行硬件的顯卡環(huán)境為Nvidia Gefore GTX TITAN，對比結(jié)果如表1 所示.

表1 焊縫識別效果對比Table 1 Comparison of weld recognition effect

由于裂紋缺陷的尺度不均勻，對比度較小，不同檢測網(wǎng)絡(luò)對于裂紋的識別率較低.具有多尺度檢測機制的網(wǎng)絡(luò)可以更好識別不同尺度缺陷，其中，YOLO-M 網(wǎng)絡(luò)對于不同類型的缺陷都具有較好的檢測效果.特征殘差提取結(jié)構(gòu)使得YOLO-M 網(wǎng)絡(luò)整體參數(shù)量極低，模型權(quán)重僅為3.6 M，較少的計算量和更高效的殘差結(jié)構(gòu)使得網(wǎng)絡(luò)具有較高的推理速度，在計算機上的前向推理速度為100 幀/s，可以實時檢測焊縫缺陷.

由于嵌入式平臺的內(nèi)存限制，只有參數(shù)較少的網(wǎng)絡(luò)才能進(jìn)行部署.YOLO-M 網(wǎng)絡(luò)進(jìn)一步轉(zhuǎn)化為K210 芯片支持的KModel 網(wǎng)絡(luò)格式，轉(zhuǎn)化后的模型權(quán)重僅為3.7 M.識別過程中，由于攝像頭傳輸信息加大噪聲對缺陷識別任務(wù)的影響，所以使用程序?qū)?shù)據(jù)集加入隨機的椒鹽噪聲和高斯噪聲，提升網(wǎng)絡(luò)識別能力.如圖9 所示，K210 邊緣設(shè)備具有良好的識別效果.經(jīng)過測試，由于試驗中攝像頭采集性能的限制，K210 設(shè)備上的網(wǎng)絡(luò)檢測速度為11 幀/s，檢測準(zhǔn)確率為93.5%.

圖9 嵌入式設(shè)備和檢測結(jié)果Fig.9 Embedded device and detection results.(a) K210 development board；(b) bubble defect detection results

4 結(jié)論

(1) YOLO 系列檢測模型的計算量主要集中于主干網(wǎng)絡(luò)，采用倒殘差結(jié)構(gòu)減少模型參數(shù)量，加快了缺陷特征提取速度，模型參數(shù)量僅為3.6 M.從訓(xùn)練可視化圖得出，多尺度檢測網(wǎng)絡(luò)可以學(xué)習(xí)缺陷信息，識別不同焊縫缺陷.

(2) 由于裂紋缺陷的尺度不均勻，對比度較小，不同檢測網(wǎng)絡(luò)對于裂紋的識別率較低，需要不斷擴增數(shù)據(jù)集，提高網(wǎng)絡(luò)的擬合能力.

(3) 在勘智K210 設(shè)備上進(jìn)行試驗，YOLO-M 網(wǎng)絡(luò)檢測準(zhǔn)確率為93.5%，檢測速度為11 幀/s，該網(wǎng)絡(luò)可以檢測小目標(biāo)缺陷.試驗結(jié)果證明了低成本焊縫自動質(zhì)檢的可行性，所提方法可結(jié)合數(shù)字射線成像檢測設(shè)備進(jìn)行缺陷質(zhì)檢試驗.