周圓昊 王震 郝昱權(quán) 劉斌

摘要：基礎(chǔ)建設(shè)逐漸老舊、破敗，產(chǎn)生了許多問題，裂紋是其中之一。在現(xiàn)有的裂紋檢測(cè)方法上，如人眼檢測(cè)和基于深度學(xué)習(xí)的裂紋檢測(cè)，該文提出了一種將不可分小波與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的新方法。首先構(gòu)造二通道不可分小波濾波器組對(duì)數(shù)據(jù)集的圖像進(jìn)行低頻提取，然后利用不可分加性小波的分解原理，得到高頻圖像數(shù)據(jù)集;再對(duì)DenseNet進(jìn)行遷移學(xué)習(xí)構(gòu)造神經(jīng)網(wǎng)絡(luò);最后將高頻圖像數(shù)據(jù)集的80%用作訓(xùn)練集，20%用作驗(yàn)證集，放入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該方法可得到較好的裂紋檢測(cè)效果。

關(guān)鍵詞：裂紋檢測(cè);深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);不可分小波;加性小波;遷移學(xué)習(xí)

中圖分類號(hào)：TP181? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）18-0006-04

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，我國(guó)的基礎(chǔ)設(shè)施建設(shè)能力越來(lái)越強(qiáng)，基礎(chǔ)建設(shè)程度也越來(lái)越發(fā)達(dá)。大量的基礎(chǔ)設(shè)施會(huì)隨時(shí)間推移而逐漸破敗，產(chǎn)生許多安全隱患。裂紋便是一個(gè)重要問題。為了降低人工維護(hù)的成本，防患于未然，裂紋檢測(cè)成了一項(xiàng)重要的技術(shù)[1-2]。

裂紋根據(jù)其所處位置不同主要分為內(nèi)部裂紋和外部裂紋，本文聚焦于外部裂紋的檢測(cè)。早期裂紋檢測(cè)方法主要是人眼識(shí)別。這種方法主要有以下三個(gè)缺點(diǎn)：1）檢測(cè)的結(jié)果會(huì)受到檢測(cè)員的個(gè)人能力、環(huán)境氣候等各種狀況影響;2）檢測(cè)員人工檢測(cè)效率較低;3）人工檢測(cè)的標(biāo)準(zhǔn)無(wú)法統(tǒng)一。

利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像裂紋檢測(cè)解決了上述的三個(gè)問題，兼具較強(qiáng)的魯棒性、高效率和客觀性的特點(diǎn)，但根據(jù)方法的不同，會(huì)出現(xiàn)識(shí)別精度不高，圖像質(zhì)量的好壞嚴(yán)重影響檢測(cè)效果，或是一些漏檢、誤檢的情況[3-7]。

因此，本文提出基于深度學(xué)習(xí)和不可分小波的裂紋檢測(cè)方法，利用不可分加性小波提取裂紋圖像的高頻部分，然后利用遷移學(xué)習(xí)構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)，再對(duì)裂紋圖像進(jìn)行檢測(cè)，取代了效率較低的人眼識(shí)別，并對(duì)僅基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法進(jìn)行了優(yōu)化。

2 相關(guān)知識(shí)簡(jiǎn)介

小波的出現(xiàn)使得提取圖片的特征信息變得較為簡(jiǎn)單，裂紋圖像中的低頻和高頻部分差別較大的特點(diǎn)尤其適合用小波來(lái)進(jìn)行特征提取。

2.1 不可分小波介紹

不可分小波在圖像處理中有著良好的特性。張量積小波是二維小波的特殊情況，二維不可分小波是近年來(lái)發(fā)展起來(lái)的一類新小波，它是二維小波更一般的情況，圖像是二維信號(hào)，張量積小波是用點(diǎn)信息去逼近二維圖像，而圖像是二維曲面，只有使用真正的二維小波才能完全、更好地逼近它。另外，相較于張量積小波，不可分小波有很多優(yōu)點(diǎn)，如可同時(shí)具有緊支撐、正交性和對(duì)稱性，在對(duì)圖像進(jìn)行分解和重構(gòu)時(shí)，能獲得具有較高空間分辨率的圖像，克服了張量積離散小波變換不能獲得高空間分辨率圖像的不足。已有的方法研究了基于四通道、三通道、二通道不可分小波濾波器組的構(gòu)造，并把它們應(yīng)用于圖像處理中，獲得了較好的效果。

在這三種方式中，二通道不可分小波有其明顯的特色。1）一般景象的圖像信息多集中在二維頻譜的所謂鉆石型區(qū)域中，采用五株型采樣能較好地提取該區(qū)域內(nèi)的信息，二通道不可分小波完全滿足此要求;2）二通道小波只有兩個(gè)通道，在對(duì)圖像進(jìn)行分解與重構(gòu)時(shí)，只需做兩個(gè)通道的濾波和采樣[8]，相對(duì)于四、三通道不可分小波，它能減少許多運(yùn)算量。

由于加性小波保留邊緣特征較好，適合用于裂紋檢測(cè)，所以本文采用了不可分加性小波進(jìn)行分解和重構(gòu)。

2.2 加性小波

加性小波本質(zhì)為利用二維低通濾波器對(duì)圖像進(jìn)行átrous分解，利用濾波器對(duì)圖像進(jìn)行卷積，不進(jìn)行抽樣，得到小波平面系列;原圖像即為小波平面之和與殘余圖像的相加。具體流程如下所示：

設(shè)[p0]為原圖像，則：

[H0p0=p1，w1=p0-p1，H0（p1）=p2，w2=p1-p2，H0（p2）=p3，w3=p2-p3，......]? ? ? ? ? ? ? ? ? ? ? ? ? （1）

其中[wi]為小波平面，[pi]為小波近似分量。其重構(gòu)公式為：

[p0=i=1nwi+pr]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

其中[pr]為殘余圖像。

2.3 卷積神經(jīng)網(wǎng)絡(luò)

近十年來(lái)，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的分支，發(fā)展迅速，并且提出許多先進(jìn)的算法，卷積神經(jīng)網(wǎng)絡(luò)就是其中一種。在裂紋檢測(cè)領(lǐng)域，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）取代傳統(tǒng)的機(jī)器學(xué)習(xí)已經(jīng)成為發(fā)展的新趨勢(shì)。CNN由多層卷積神經(jīng)網(wǎng)絡(luò)組成，每層又由多個(gè)特征圖組成，其本質(zhì)就是一種從輸入到輸出的映射，它依靠網(wǎng)絡(luò)自身學(xué)習(xí)大量輸入與輸出之間的映射關(guān)系。同時(shí)CNN可以自動(dòng)地提取圖像中不同層次的特征，再根據(jù)這些特征進(jìn)行分類或者識(shí)別等任務(wù)，可以較好地反映數(shù)據(jù)的本質(zhì)。

2.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)研究方向，主要研究如何將任務(wù)A上學(xué)習(xí)到的知識(shí)遷移到任務(wù)B上，以提高在任務(wù)B上的泛化性能[9]。例如，任務(wù)A是手機(jī)殼的劃痕區(qū)分，需要訓(xùn)練一個(gè)分類器能夠較好地區(qū)分手機(jī)殼的劃痕和手機(jī)殼本身的圖案，任務(wù)B是裂紋圖像的檢測(cè)，可以發(fā)現(xiàn)任務(wù)A和任務(wù)B存在大量的共享知識(shí)，裂紋和劃痕比較相似，背景干擾項(xiàng)也有一定程度的相似。因此，當(dāng)獲得了一個(gè)任務(wù)A的訓(xùn)練器時(shí)，在訓(xùn)練任務(wù)B時(shí)不需要從0開始訓(xùn)練，在A訓(xùn)練器的基礎(chǔ)上進(jìn)行一定的調(diào)整即可。這樣可以通過更少的樣本和更少的訓(xùn)練代價(jià)，獲得較好的泛化效果。遷移學(xué)習(xí)的結(jié)構(gòu)如圖1所示。

網(wǎng)絡(luò)微調(diào)技術(shù)是常用的遷移學(xué)習(xí)方法。這種技術(shù)能逐層提取特征，越末層的網(wǎng)絡(luò)，抽象提取的能力就越強(qiáng)，輸出層則一般使用與類別數(shù)相同輸出節(jié)點(diǎn)的全連接層，作為分布網(wǎng)絡(luò)的概率分布預(yù)測(cè)。對(duì)于相似的任務(wù)，如果前面數(shù)層可以重用，則可以只將網(wǎng)絡(luò)后面的數(shù)層根據(jù)任務(wù)設(shè)定從零開始訓(xùn)練。

由于遷移學(xué)習(xí)的高效性，本文選擇利用遷移學(xué)習(xí)在一個(gè)較為成熟的神經(jīng)網(wǎng)絡(luò)（DenseNet）上進(jìn)行使用，構(gòu)造出適合的檢測(cè)網(wǎng)絡(luò)。

3 訓(xùn)練過程

3.1 數(shù)據(jù)集

筆者在網(wǎng)上下載了的5000張裂縫圖像和5000張干擾圖像，然后進(jìn)行平移、翻轉(zhuǎn)、縮放、旋轉(zhuǎn)、調(diào)色、顏色增強(qiáng)、亮度增強(qiáng)、對(duì)比度增強(qiáng)等方式，最后獲取了20000張裂縫圖像和兩萬(wàn)張干擾圖像，其中各取4000張用作驗(yàn)證集，剩余16000張用作訓(xùn)練集。

3.2 模型架構(gòu)

3.2.1神經(jīng)網(wǎng)絡(luò)的構(gòu)造

神經(jīng)網(wǎng)絡(luò)的構(gòu)造參考了DenseNet的文章[10]，并且對(duì)其進(jìn)行了一定的優(yōu)化，具體優(yōu)化過程如下文所示：

將DenseNet最后的全連接層刪除，并將DenseNet最后一個(gè)Pooling層設(shè)計(jì)為Max Pooling，然后增加一個(gè)輸出節(jié)點(diǎn)為1024的全連接層。最后根據(jù)裂紋有無(wú)進(jìn)行二分類，添加一個(gè)輸出節(jié)點(diǎn)為2的全連接層。具體結(jié)構(gòu)如圖3所示：

其中圓1表示輸入層，圓2、3、4表示卷積層，圓5表示轉(zhuǎn)換層。

3.2.2不可分小波濾波器的構(gòu)造

不可分小波濾波器的構(gòu)造主要包括三個(gè)過程：采樣、分解和重構(gòu)。本文采用不可分加性小波，保留邊緣特征用于裂紋檢測(cè)，因此不進(jìn)行采樣。

Qiuhui Chen[11]等提出了高維具有正交性、緊支撐性的非張量積小波濾波器組的構(gòu)造方法，其構(gòu)造的高維低通濾波器[m0（ξ）]具有如下頻域形式：

[m0ξ=1sXξj∈ZNUjDGATξ×j∈ZNUTN-1-jV0，ξ∈Rd]? ? ?（3）

其相應(yīng)的[s-1（s=det（A））]個(gè)CQF濾波器的形式為：

[mj（ξ）=1sX（ξ）l∈ZN（UlD（ATξ））（l∈ZNUTN-1-l）Vj，? ξ∈Rd，（j=1，2，…，s-1）] （4）

筆者在此基礎(chǔ)上構(gòu)造二維二通道濾波器組。

設(shè)小波變換時(shí)伸縮矩陣為[111-1]，為構(gòu)造二維二通道濾波器組，取[s=2]，構(gòu)造：

[s=2，Xx，y=1，xy，DGx，y=100xy]則濾波器組形式可構(gòu)造如下：

[m0x，y，m1x，y=12Xx，yj=1KUjDGx，yUTjV ，]? ? ? ?（5）

其中[x=exp（-iω1），y=exp-iω2]，[Uj（j=1，2，...，K）]為正交陣，V1為2×1向量，V0=（1，1）T。

為構(gòu)造二通道6×6的二通道濾波器組，取K=4，得：

[U1=cosα1-sinα1sinα1cosα1，U2=cosα2sinα2-sinα2cosα2，U3=-sinα3-cosα3cosα3-sinα3，U4=sinα4cosα4-cosα4sinα4，V=111-1，]? ? ? ? ? ? ? ? ? ? （6）

可以驗(yàn)證，[Uj]均為正交矩陣（[aj]為參量），[v2]為正交陣。據(jù)此可構(gòu)造無(wú)窮多個(gè)濾波器組，[aj]取不同的值得到不同的濾波器組。筆者設(shè)計(jì)了一組具有緊支撐、正交性的小波濾波器組。為了獲得具有對(duì)稱的濾波器組，取[α1=3π/4]，[α2=π/2]，[α3=-π/4]，[α4=-π/2]代入式（3）可得：

[m0x，y=-0.125+0.375xy+0.25x2y2+0.250x3y3+0.375x4y4-0.125x5y5]，

其時(shí)域形式如下：

[H0=18-10000003000000200000020000003000000-1]? ? ? ? ? ? ? ? ? ? ? ? ?（7）

顯然，此濾波器是不可分的，不能分解為兩個(gè)一維小波濾波器的張量積，因而它是二通道不可分小波濾波器組。

3.3實(shí)驗(yàn)方法及步驟

本實(shí)驗(yàn)的具體方法及步驟如圖6所示：首先，輸入圖像，使用不可分小波提取圖像低頻部分，然后利用加性小波分解原理得到高頻圖像;再將高頻圖像隨機(jī)分為訓(xùn)練集和驗(yàn)證集，接著，將訓(xùn)練集圖像放入，利用遷移學(xué)習(xí)構(gòu)造好的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練;訓(xùn)練結(jié)束后再用驗(yàn)證集進(jìn)行驗(yàn)證;最后，使用20張數(shù)據(jù)集以外的圖片進(jìn)行測(cè)試。

3.4結(jié)果分析

本文實(shí)驗(yàn)是在處理器為Intel（R） Xeon（R） Silver 4210 CPU @2.20GHz，內(nèi)存為24G，顯卡為NVIDIA Quadro RTX 5000的主機(jī)上進(jìn)行的。

將圖片進(jìn)行不可分加性小波處理之后，隨機(jī)分成兩份，包括訓(xùn)練集32000張（16000張裂紋圖像，16000張干擾圖像），以及驗(yàn)證集8000張（4000張裂紋圖像，4000張干擾圖像），表1是學(xué)習(xí)率為[1×10-4]，Batch Size為16，訓(xùn)練20次的部分訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率。

訓(xùn)練過程中準(zhǔn)確率變化如圖7所示。

由訓(xùn)練結(jié)果可知，在完成訓(xùn)練時(shí)準(zhǔn)確率為0.9963750243，將模型進(jìn)行保存（準(zhǔn)確率：0.9963）。

3.4 調(diào)用模型預(yù)測(cè)實(shí)例

由于驗(yàn)證集數(shù)據(jù)與訓(xùn)練集數(shù)據(jù)存在相似性，為了測(cè)試神經(jīng)網(wǎng)絡(luò)模型的通用性，拍取了一些生活中的裂縫圖像進(jìn)行檢測(cè)，總共20張。部分測(cè)試的裂紋圖像如圖8所示。

其中，圖（a）、（b）、（c）為干擾圖像，圖（d）、（e）、（f）為裂紋圖像。對(duì)拍攝的20張圖像進(jìn)行測(cè)試，得到最終的準(zhǔn)確率為100%。

4 結(jié)論

本文提出了一種結(jié)合不可分加性小波和深度學(xué)習(xí)的裂紋檢測(cè)方法。利用不可分加性小波提取圖像高頻的特點(diǎn)以及卷積神經(jīng)網(wǎng)絡(luò)的自主學(xué)習(xí)能力來(lái)進(jìn)行裂紋檢測(cè)。實(shí)現(xiàn)了不可分小波與深度學(xué)習(xí)相結(jié)合的自動(dòng)化裂紋識(shí)別，并得到較好的裂紋檢測(cè)效果。

參考文獻(xiàn)：

[1] 王森，伍星，張印輝，等.基于深度學(xué)習(xí)的全卷積網(wǎng)絡(luò)圖像裂紋檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2018，30（5）：859-867.

[2] 程豐.基于計(jì)算機(jī)視覺的路面裂紋檢測(cè)研究[D].北京：北京交通大學(xué)，2018.

[3] 冉蓉，徐興華，邱少華，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的裂紋檢測(cè)方法綜述[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（9）：23-35.

[4] 王憲保，李潔，姚明海，等.基于深度學(xué)習(xí)的太陽(yáng)能電池片表面缺陷檢測(cè)方法[J].模式識(shí)別與人工智能，2014，27（6）：517-523.

[5] 林麗君，殷鷹，何明格，等.基于小波模極大值的磁瓦裂紋缺陷邊緣檢測(cè)算法[J].電子科技大學(xué)學(xué)報(bào)，2015，44（2）：283-288.

[6] 孫朝云，馬志丹，李偉，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)融合模型的路面裂縫識(shí)別方法[J].長(zhǎng)安大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，40（4）：1-13.

[7] 李良福，馬衛(wèi)飛，李麗，等.基于深度學(xué)習(xí)的橋梁裂縫檢測(cè)算法研究[J].自動(dòng)化學(xué)報(bào)，2019，45（9）：1727-1742.

[8] 劉斌，彭嘉雄.基于二通道不可分加性小波的多光譜圖像融合[J].光學(xué)學(xué)報(bào)，2007，27（8）：1419-1424.

[9] 曲蘊(yùn)慧，湯偉，成爽爽.基于深度卷積神經(jīng)網(wǎng)絡(luò)及遷移學(xué)習(xí)的紙病分類方法研究[J].中國(guó)造紙，2021，40（10）：63-70.

[10] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[11] Chen Q H，Micchelli C A，Peng S L，et al.Multivariate filter banks having matrix factorizations[J].SIAM Journal on Matrix Analysis and Applications，2003，25（2）：517-531.

【通聯(lián)編輯：唐一東】