張勇， 王鵬， 呂志剛，， 邸若海， 李曉艷， 李亮亮

（1.西安工業(yè)大學(xué) 電子信息工程學(xué)院， 陜西 西安 710021；2.西安工業(yè)大學(xué) 發(fā)展規(guī)劃處， 陜西 西安 710021；3.西安工業(yè)大學(xué) 機(jī)電工程學(xué)院， 陜西 西安 710021）

1 引言

隨著我國石油天然氣行業(yè)的高速發(fā)展，輸送油氣管道的焊接質(zhì)量問題［1］顯得尤為重要。X射線成像［2］成為工業(yè)界焊縫缺陷檢測［3］一個重要的研究手段。該方法利用X射線對焊縫管道進(jìn)行照射，進(jìn)而獲取焊縫內(nèi)部的形態(tài)圖像［4］。對焊縫缺陷檢測和評估質(zhì)量的傳統(tǒng)方式是通過工程師經(jīng)驗(yàn)來評測，此方式存在檢測人員評判標(biāo)準(zhǔn)不一、費(fèi)時費(fèi)力、檢測誤差大等問題。

為了提高焊縫底片評測［5］的精度和效率，許多科研工作者試圖提取缺陷區(qū)域［6］。文獻(xiàn)［7］提出了一種利用拉普拉斯算子［8］，根據(jù)缺陷的紋理特征來分割缺陷邊緣，最后分類圖像的特征信息的方法。Zhang［9］等人利用大律法（OSTU）結(jié)合部分不均勻像素分割焊縫，并通過串行區(qū)域分割方法識別缺陷。用圖像處理的方法進(jìn)行缺陷檢測，噪聲大且魯棒性差。在傳統(tǒng)機(jī)器學(xué)習(xí)算法中，高煒欣［10］等人研究焊縫缺陷，提出利用像素點(diǎn)個數(shù)的密度近似相等，采用聚類分析［11］的算法進(jìn)行缺陷分割。Jiang［12］等人提出用主成分分析法［13］提取缺陷信息的特征，再采用支持向量機(jī)［14］對該特征進(jìn)行缺陷分類。傳統(tǒng)機(jī)器學(xué)習(xí)的方法在缺陷分割中的靈活性與精確性表現(xiàn)欠佳。

近年來，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)在圖像分割［15］任務(wù)中取得了很好的效果。人工智能也應(yīng)用于越來越多的行業(yè)。在工業(yè)質(zhì)檢行業(yè)，人工智能和語義分割相結(jié)合有著廣泛應(yīng)用［16］。文獻(xiàn)［17］提出全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN），先輸入圖像，然后對最后一層特征圖利用反卷積的方式進(jìn)行加權(quán)，最后恢復(fù)到原尺寸大小，得到圖像像素，保留原始信息，最后逐像素分類。該方法得到的結(jié)果在細(xì)節(jié)上不夠敏感且特征表達(dá)不夠準(zhǔn)確。U-net［18］（Unity Networking）屬于FCN的變體，網(wǎng)絡(luò)結(jié)構(gòu)成U型對稱，采用Encoder-Decoder［19］的設(shè)計(jì)思想實(shí)現(xiàn)特征融合，相比FCN有優(yōu)勢，但其在訓(xùn)練不同大小數(shù)據(jù)集時，模型結(jié)構(gòu)不靈活。Schlemper［20］等人提出A-Unet（Attention Gated Networks）分割模型，即分割模型融入了注意力機(jī)制。該模型可以在相關(guān)任務(wù)中重點(diǎn)關(guān)注、捕捉感興趣的區(qū)域而抑制無用特征，但存在邊界分割不清晰等問題。Huang［21］等人提出了全尺度連接的Unet+++網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以在一定程度上提高小缺陷分割精度，但無法保證邊界缺陷的分割精度和數(shù)據(jù)不平衡導(dǎo)致的分割困難等問題，單一的密集連接［22］，易造成過擬合現(xiàn)象。Qin［23］等人提出U2net網(wǎng)絡(luò)用于圖像分割，采用RSU（ReSidual U-blocks）的池化操作，在提升模型架構(gòu)的基礎(chǔ)上，不增加計(jì)算模型的復(fù)雜度。Chen［24］等人提出了DeepLabv3+分割算法解決下采樣造成分辨率減小，導(dǎo)致分割精度降低的問題。上述方法在分割任務(wù)中均有應(yīng)用價值，但在分割過程中，模型對于細(xì)節(jié)特征提取能力較弱且產(chǎn)生了大量冗余信息，導(dǎo)致在X射線缺陷數(shù)據(jù)集上表現(xiàn)不佳。

針對上述X射線焊縫缺陷分割的不足之處，本文提出了一種在上下采樣間加入編解碼信息提取模塊DP_Block的U形網(wǎng)絡(luò)Dilated_Pooling_Unet（DP_Unet），同時融入GAM（Global Attention Mechanism）注意力模塊［25］，最后提出了一種混合損失函數(shù)Dice_BCE，提升了網(wǎng)絡(luò)對于焊縫缺陷的分割精確度。

2 Unet模型

Unet起初是一個應(yīng)用于醫(yī)學(xué)二維圖像分割的卷積神經(jīng)網(wǎng)絡(luò)。作為最經(jīng)典的語義分割模型之一，它的優(yōu)勢在于利用Encoder-Decoder的U形網(wǎng)絡(luò)結(jié)構(gòu)，Unet結(jié)構(gòu)如圖1所示，左側(cè)由4個部分組成，每個部分中有兩個卷積層，每部分之后會有一個激活函數(shù)和一個池化層操作。圖像的起始分辨率為5722，每個模塊的分辨率如圖1標(biāo)識。相應(yīng)解碼器也包含了4個部分，分辨率隨著上采樣操作而升高，從而得到最終圖像。圖1中灰色箭頭表示跳躍連接，目的是連接上采樣的輸出結(jié)果和下采樣中子模塊有著相同大小的輸出結(jié)果，作為該子模塊的下一個模塊的輸入。

圖1 Unet結(jié)構(gòu)圖Fig.1 Unet structure diagram

3 本文方法

Unet的缺點(diǎn)在于編碼器部分的語義信息既可以通過跳躍連接也可以通過上下采樣傳遞給解碼端，從而產(chǎn)生冗余的信息。傳遞方式不一樣，也會存在信息融合的不確定性，導(dǎo)致缺陷邊界分割模糊，小缺陷分割精度低。另外，在下采樣時隨著分辨率升高而生成的淺層特征信息，其缺陷邊緣有著不夠充分的特征表現(xiàn)，且通過跳躍連接將編碼端結(jié)果傳至解碼端時容易導(dǎo)致信息不完整，缺陷分割精度低。

針對上述Unet網(wǎng)絡(luò)存在的問題。改進(jìn)后的Dilated_Pooling_Unet（DP_Unet）網(wǎng)絡(luò)模型如圖2所示，本文有以下優(yōu)化：（1）提出一個介于上下采樣間的編解碼語義信息提取模塊DP_block，它由密集空洞卷積和多尺度池化層組成。通過增強(qiáng)焊縫缺陷信息及最大限度對缺陷進(jìn)行特征提取來保留圖片原始信息和提升焊縫缺陷分割效果。（2）將GAM注意力機(jī)制引入下采樣中重點(diǎn)關(guān)注缺陷信息部分，改善缺陷分割模型效果差的問題。（3）提出一種混合損失函數(shù)Dice_BCE，具體為二元交叉熵（Binary Cross Entropy，BCE）和Dice函數(shù)采用不同比重相結(jié)合的混合損失，提升焊縫缺陷邊界分割精確度和模型的泛化性。

圖2 DP_Unet模型圖Fig.2 DP_Unet model diagram

3.1 DP_block

由于X射線底片焊縫上的缺陷具有豐富的語義信息及形狀大小的不同，在缺陷分割任務(wù)中，淺層神經(jīng)網(wǎng)絡(luò)難以得到充足的特征信息。本文沿用Encoder-Decoder架構(gòu)，提出在上下采樣間加入編解碼信息提取模塊DP_block，旨在減少連續(xù)池化和卷積導(dǎo)致的信息損失，增強(qiáng)編碼器下采樣后X射線底片焊縫缺陷的語義信息及最大限度地對缺陷進(jìn)行特征提取來保留圖像原始信息，以便更好地服務(wù)于上采樣過程，達(dá)到提升底片焊縫缺陷分割效果。它由基于密集連接的空洞卷積模塊和基于空間金字塔的多卷積核大小池化模塊組成?？斩矗〝U(kuò)張）卷積網(wǎng)絡(luò)［26］的提出是為了有效計(jì)算小波變換，后來用于解決圖像語義分割的問題，空洞卷積引入”Dilated rate”參數(shù)，定義了卷積核各點(diǎn)之間的間隔數(shù)量，如圖3所示，分別是該參數(shù)rate為1的標(biāo)準(zhǔn)卷積、rate為4和rate為6的空洞卷積。

圖3 感受野示意圖Fig.3 Flowchart of height measurement

3.1.1密集連接的空洞卷積模塊

深度學(xué)習(xí)中有Inception和Resnet兩個經(jīng)典架構(gòu)。Inception系列結(jié)構(gòu)使用了不同的卷積核大小來擴(kuò)大感受野，Resnet則采用快捷機(jī)制避免梯度消失，使卷積神經(jīng)網(wǎng)絡(luò)層數(shù)突破上千。二者結(jié)合后，繼承了兩種優(yōu)點(diǎn)，至此深度神經(jīng)網(wǎng)絡(luò)達(dá)到了新的高度。受上述機(jī)制和空洞卷積的啟發(fā)，提出基于密集連接的空洞卷積模塊，發(fā)揮提取高級語義特征的作用。如圖4所示，密集連接的空洞卷積模塊有4個分支，rate值隨著卷積數(shù)量的增加而增加到1、4和6，每個支路的感受野大小分別是3、9、11和23。分別加入一個1×1卷積在并聯(lián)支路中來線性激活。最后，如同resnet快捷機(jī)制，將原始特征與其他特征相融合。大目標(biāo)的抽象特征往往被大感受野的卷積核所提取，而小感受野更適合于小缺陷。通過組合不同大小的rate值，該模塊能夠提取不同大小對象的特征。

圖4 密集連接的空洞卷積模塊Fig.4 Dense connected atrous convolution module

3.1.2基于空間金字塔的多卷積核大小池化模塊

能夠使用編解碼器中有效語義信息的多少往往取決于感受野的大小，一般只使用3×3這種單個池化核進(jìn)行池化操作。本文提出了基于空間金字塔的多卷積核大小池化模塊。圖5所示共4個不同大小的感受野池化模塊，分別對應(yīng)了4級輸出，分別含有不同池化大小的特征圖像。每池化一次，相應(yīng)地用一個1×1卷積來減少計(jì)算成本和維數(shù)，將特征圖像的權(quán)重維數(shù)減少為原始特征圖像維數(shù)的1/K，K值為原始特征圖像的通道數(shù)。然后網(wǎng)絡(luò)通過上采樣方式將低維特征圖恢復(fù)至高維原始圖像大小，最后將該特征圖與上采樣后的特征圖連接。

圖5 多卷積核大小池化模塊Fig.5 Multi convolution kernel pooling module

3.2 GAM注意力模塊

Unet模型通過下采樣和跳躍連接來提取和傳遞有效特征信息，這種途徑會導(dǎo)致傳遞冗余信息和傳遞過程中信息的不完整性和不確定性。針對上述兩種方式融合，各維度特征進(jìn)行簡單拼接，從而無法獲取豐富的特征信息，尤其對于焊縫缺陷這種具有小目標(biāo)特征提取是不利的。因此，在編碼器結(jié)構(gòu)中加入一種全局注意力（Global Attention Mechanism，GAM）模塊以提高上下文的聯(lián)系能力。如圖6所示，GAM注意力模塊是一種序貫?zāi)Ｊ降耐ǖ?空間注意力機(jī)制，對CBAM（Convolutional Block Attention Module）［27］注意力機(jī)制進(jìn)行重新設(shè)計(jì)，通過減少信息損失并放大全局交互表示來提高深度神經(jīng)網(wǎng)絡(luò)的性能。其中的通道（Channel）注意力模塊在3個維度上使用三維陣列的方式來保存信息。然后，在跨維度模式下，利用一個多層感知機(jī)放大了通道和空間的依賴性；利用兩個卷積層在空間（Spatial）注意力模塊中融合空間層的信息，便于更好地關(guān)注空間信息。

圖6 GAM注意力機(jī)制Fig.6 Overview of GAM

如圖6所示，給定輸入特征映射F1∈RC×H×W，中間狀態(tài)F2和輸出F3定義如式（1）和式（2）所示：

其中：Mc是通道圖，Ms為空間圖，?是乘法操作數(shù)。GAM模塊能夠有效地學(xué)習(xí)通道和空間的特征信息，更加關(guān)注感興趣的區(qū)域，在焊縫缺陷分割上具有良好效果。

3.3 損失函數(shù)

通常利用Dice損失函數(shù)來解決目標(biāo)和背景部分的不平衡分割問題，Dice系數(shù)用來評估正類和負(fù)類的相似程度。

Dice_loss損失函數(shù)［28］如式（3）所示：

對于語義分割任務(wù)而言，其中的|X|和|Y|分別表示分割當(dāng)中的真值圖（Ground_truth）的值和預(yù)測圖（Predict_mask）的值。通常用Dice損失函數(shù)描述分割結(jié)果和真值的相似度。隨著模型的訓(xùn)練，往往將結(jié)果Dice系數(shù)最大化，目的是為了盡可能地提高分割結(jié)果與分割真值的相似程度。但是，當(dāng)缺陷過小時，結(jié)果容易導(dǎo)致Dice損失函數(shù)值發(fā)生劇烈震蕩，從而影響整個訓(xùn)練過程。二元交叉熵（Binary Cross Entropy，BCE）函數(shù)更著重于其中每個像素單元的預(yù)估概率，其值是目標(biāo)和背景區(qū)域中所有像素的交叉熵，如式（4）所示：

如果缺陷區(qū)域較小，交叉熵?fù)p失值的變化隨著模型預(yù)測結(jié)果的變化影響較小，可解決Dice損失函數(shù)的弊端帶來的問題。本文考慮數(shù)據(jù)與模型的契合性，并結(jié)合兩種不同損失函數(shù)的特點(diǎn)，提出一種Dice_BCE混合損失函數(shù)，如式（5）所示：Loss=β· BCE_loss+(1-β)· Dice_loss ， （5）式中，權(quán)重影響因子β用于改變兩個損失函數(shù)的比重，在0～1內(nèi)取值。最后，訓(xùn)練過程中為了提升模型的泛化性，加入dropout層，目的是加快模型收斂、避免模型過擬合。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用GDX-ray公共數(shù)據(jù)集的焊縫缺陷數(shù)據(jù)集。將數(shù)據(jù)集圖片經(jīng)過裁剪、滑窗的方式，共得到4 674張底片圖像。每張圖片分辨率大小為512×512，標(biāo)簽分為缺陷與非缺陷，像素大小分別用255和0表示。訓(xùn)練集和測試集隨機(jī)劃分，前者占80%，后者占20%。訓(xùn)練圖片含3 748張，測試圖片包括926張。

4.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文實(shí)驗(yàn)所用的訓(xùn)練平臺是32G內(nèi)存的Windows10操作系統(tǒng)，處理器為AMD Ryzen 5600X，GPU是顯存為8G的RTX3070。采用Pytorch 1.11.0框架，環(huán)境為CUDA11.3，torchversion版本為0.12.0，python版本采用3.8。

4.3 評價指標(biāo)

本文采用4種常見的評價指標(biāo)來定量評價所提模型分割性能，分別是Dice系數(shù)值、體積疊加誤差率（VOE）、相對體積的差（RVD）、兩樣本之間的最大對稱距離（MSSD）。

Dice系數(shù)常應(yīng)用于圖像分割模型評價，它用于計(jì)算分割結(jié)果X和標(biāo)簽Y兩個樣本的相似度或重疊度，如式（6）所示：

其中，Dice的取值范圍在［0，1］。

VOE是體積重疊誤差，其值越小，代表分割性能越好，如式（7）所示：

RVD用于計(jì)算兩個樣本的相對體積差，如式（8）所示：

MSSD代表結(jié)果與真值的最大對稱表面距離：

其中：T（）是表面像素值，S（q，T（））表示像素到表面像素的距離。以mm為單位。

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 損失函數(shù)對分割精度的影響

本文對所提混合損失函數(shù)的影響因子β進(jìn)行分析，用來測試損失函數(shù)對分割精度的影響，如圖7所示，實(shí)驗(yàn)結(jié)果為隨著β選取不同值，Y軸產(chǎn)生不同的Dice結(jié)果，介于82.9%～87.3%。當(dāng)β值為0時，Y軸顯示的Dice值為82.9%。Y軸結(jié)果隨著X軸影響因子的增加而逐漸增高，表明混合損失函數(shù)可以提高模型分割效果，Dice系數(shù)值在影響因子選為0.7時結(jié)果為87.3%，為最高值。綜上，本文將β選為0.7進(jìn)行本文實(shí)驗(yàn)。權(quán)重β為0.7時，網(wǎng)絡(luò)模型訓(xùn)練過程中訓(xùn)練集上的Loss值隨訓(xùn)練次數(shù)的迭代降到較低值，并且保持整體穩(wěn)定下降趨勢。訓(xùn)練次數(shù)為20 000次時，損失值降至相對較少的值；訓(xùn)練次數(shù)為40 000次時，損失值趨于穩(wěn)定；最終，損失值降至約0.002，整體得到一個較好的訓(xùn)練效果。

圖7 Dice系數(shù)隨β變化趨勢圖Fig.7 Trend of Dice coefficient with weighting factor β

4.4.2 注意力機(jī)制對分割精度的影響

通過在編碼器路徑中添加GAM注意力模塊，本文以是否添加注意力模塊、添加CBAM注意力模塊和添加GAM注意力模塊做對比實(shí)驗(yàn)，圖8展示了注意力模塊提高模型分割精度的效果。如果模型中加入CBAM注意力機(jī)制，僅相比于沒有添加注意力模塊提升了0.5%；但添加GAM注意力模塊后，提升至93.45%，分割精度提高了1.05%。

圖8 添加和未添加注意力模塊的分割結(jié)果Fig.8 Segmentation results before and after adding attention module

4.4.3 消融實(shí)驗(yàn)

DP_Unet模型將密集連接的空洞卷積模塊和多卷積核池化模塊組成的DP_block加入到上下采樣間，并在下采樣添加GAM注意力機(jī)制。表1體現(xiàn)了添加的各個模塊對模型分割效果的影響。本文做了多個消融實(shí)驗(yàn)，以Unet算法為基線的算法進(jìn)行底片缺陷分割的Dice系數(shù)值僅有87.24%，而采用“Unet+密集連接空洞卷積”的Dice值達(dá)到90.55%，“Unet+多卷積核池化”的Dice結(jié)果為90.88%，“Unet+DP_block”模型可以提升至92.33%。同時VOE值、RVD值和MSSD值均有不同程度的減小。這說明DP_Unet模型中新增模塊均能提高模型分割性能，分割精度也有不同程度的提升。另外，與其他組合模型比較，DP_Unet模型通過加入密集連接空洞卷積模塊與多卷積核池化模塊組成的DP_Block和注意力模塊獲得了最高的Dice系數(shù)值和最低的VOE、RVD和MSSD等評價指標(biāo)。

表1 加入不同模塊的消融實(shí)驗(yàn)結(jié)果Tab.1 Ablation experiment results of adding different module ablation

4.4.4 實(shí)驗(yàn)結(jié)果比較

圖9為測試集部分X射線底片缺陷分割的可視化結(jié)果。從圖中可看出，Unet、U2net、Linknet、DeepLabv3+和TransUnet模型基本均可分割出底片缺陷區(qū)域，但對于邊界模糊和小缺陷，存在分割不全、過分割和漏分割現(xiàn)象。

圖9 不同算法實(shí)驗(yàn)結(jié)果Fig.9 Experimental results of different methods

可以看到，紅色框部分可以顯著突出本文算法分割更精細(xì)的地方，分割效果更為直觀。DP_Unet通過解決缺陷特征提取時難以最大限度保留圖像原始信息問題和有效彌補(bǔ)缺陷信息損失問題，且可以精確分割邊緣目標(biāo)，實(shí)驗(yàn)結(jié)果好于其他模型。表2是采用不同算法在公開數(shù)據(jù)集GDX-ray上的實(shí)驗(yàn)結(jié)果。分別采用4個不同的評價指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行定量分析。本文方法的Dice系數(shù)結(jié)果相比U2net提高了7.34%、相比Unet提高了6.21%、相比Linknet提高了2.88%，相比DeepLabv3+提高了1.79%，相比TransUnet提高了1.38%，但是DeepLabv3+的MSSD值得到了最小值11.07，比本文方法略低0.25 mm。實(shí)驗(yàn)結(jié)果表明，提出的編解碼語義信息提取模塊、GAM注意力機(jī)制和混合損失函數(shù)，可以有效提升X射線底片缺陷分割的精度。

表2 不同方法的缺陷分割性能定量比較Tab.2 Quantitative results of different defect segmentation methods

4.4.5 實(shí)測數(shù)據(jù)分割結(jié)果

本文對陜西西宇無損檢測公司提供的30張缺陷樣片圖像進(jìn)行測試，以進(jìn)一步驗(yàn)證所提算法的普適性。圖10所示為部分底片缺陷圖像的可視化結(jié)果，第一行為原始圖像，第二行為分割真值，第三行為本文方法的分割結(jié)果。可以看出，本文所提方法可有效分割氣孔、夾渣和裂紋等缺陷，且與真值結(jié)果相近。

圖10 本文方法在無損檢測公司提供的數(shù)據(jù)集上的分割結(jié)果Fig.10 Segmentation results of this method on the dataset provided by a non-destructive testing company

采用上述評價指標(biāo)對缺陷樣片30張測試圖像進(jìn)行定量分析。得到的Dice、VOE、RVD、MSSD 4個評價指標(biāo)如表3所示，分別為90.36%、23.97%、-9.06%和12.87 mm，表明無論在公共數(shù)據(jù)集還是實(shí)測數(shù)據(jù)集都有較為理想的分割效果，均可實(shí)現(xiàn)底片焊縫缺陷的高精度分割，體現(xiàn)了模型的強(qiáng)魯棒性。

表3 本文方法在無損檢測公司提供數(shù)據(jù)集上的定量分析Tab.3 Quantitative analysis of this method on data sets provided by non-destructive testing companies

5 結(jié)論

針對底片焊縫缺陷分割精度低、邊界分割模糊等問題，本文構(gòu)建了一種改進(jìn)的DP_Unet的X射線底片焊縫缺陷分割方法：（1）提出了編解碼信息提取模塊DP_block，最大程度解決特征提取過程中信息損失、分割精度低的問題；（2）在編碼器結(jié)構(gòu)中，加入GAM注意力機(jī)制，可增強(qiáng)高級語義表征能力，以更好地捕捉缺陷，抑制無用的信息；（3）采用BCE函數(shù)與Dice系數(shù)搭建混合損失函數(shù)Dice_BCE，不但可以通過Dice系數(shù)解決類的不平衡分割問題，還可通過交叉熵在回傳類別時穩(wěn)定梯度使模型加快收斂。在公開數(shù)據(jù)集GDX-ray上的實(shí)驗(yàn)結(jié)果表明，所提出的DP_Unet能夠提升缺陷區(qū)域的邊緣特征，使分割精度有所提高，Dice值達(dá)到93.45%，與基線算法相比均有大幅提高，具有更優(yōu)的模型性能，對工業(yè)無損檢測領(lǐng)域有著重要的應(yīng)用意義。