国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

融合結(jié)構(gòu)重參數(shù)化變換的氣體泄漏紅外檢測

2024-01-29 02:35:38莊宏張印輝何自芬曹輝柱
光子學(xué)報 2024年1期
關(guān)鍵詞:候選框氨氣特征提取

莊宏,張印輝,何自芬,曹輝柱

(昆明理工大學(xué) 機電工程學(xué)院,昆明 650500)

0 引言

氣體泄漏是工業(yè)生產(chǎn)過程中存在的主要安全隱患之一,不僅會對人體造成危害,還會引起爆炸等安全事故,對人類和環(huán)境造成不小的危害[1]。傳統(tǒng)的氣體泄漏檢測主要采用氣敏型傳感器進(jìn)行點位測量的接觸式檢測,其接觸性原理造成很多待檢測區(qū)域覆蓋不完整,存在檢測范圍小、敏感性差、實時性不高、無法定位泄漏源等問題,對工作人員安全有很大的威脅[2-3]。雖然也有學(xué)者研究了新型傳感器,檢測準(zhǔn)確性不斷提升,檢測材料多樣化,但仍然存在接觸式檢測的缺點,且需要定期校準(zhǔn)[4-6]。

近年來紅外成像技術(shù)快速發(fā)展,可以在發(fā)生氣體泄漏時利用工業(yè)氣體分子在紅外波段的特征吸收進(jìn)行檢測,將氣體泄漏時的圖像直觀地呈現(xiàn)在顯示器上,同時達(dá)到廣域、高效和可視化的氣體泄漏檢測成為了可能[7-8]。在企業(yè)安全生產(chǎn)過程中,工作人員通常使用紅外熱像儀進(jìn)行泄漏視檢判斷。紅外熱像儀雖然可以手持、車載、機載或固定安裝,但工作人員的經(jīng)驗對檢測的準(zhǔn)確性有著重要的影響。此外紅外圖像分辨率較低且顯示的是灰度圖像,不符合人眼的視覺習(xí)慣且非常耗費人力。即使是經(jīng)驗豐富的工作人員在長時間工作后也容易出現(xiàn)誤判或漏判[9]。隨人工智能技術(shù)飛速發(fā)展,以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)算法已成為計算機視覺領(lǐng)域的重要技術(shù)手段,基于深度學(xué)習(xí)的氣體泄漏紅外檢測方法成為主流,這些方法具有非接觸、監(jiān)控范圍大、響應(yīng)速度快等特點,正被廣泛應(yīng)用于視覺檢測中以替代傳統(tǒng)的人工巡檢。林云[10]以LeNet 模型為基礎(chǔ)網(wǎng)絡(luò)框架,添加丟棄模塊等結(jié)構(gòu)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)框架,利用該卷積網(wǎng)絡(luò)對有害氣體紅外圖像進(jìn)行分類識別取得98%分類精度,但模型對泄漏區(qū)域進(jìn)行分類沒有對其檢測回歸泄漏點定位。翁靜等[11]以熱成像技術(shù)為核心使用支持向量機進(jìn)行泄漏氣體云團(tuán)檢測,檢測距離在10~150 m 時的泄漏氣體云團(tuán)的分類準(zhǔn)確率可達(dá)92.5%,但數(shù)據(jù)庫較少,只有1 000 個樣本數(shù)據(jù),結(jié)果并不嚴(yán)謹(jǐn)。SHI Jihao 等[12]提出一種基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region-based Convolutional Neural Network,F(xiàn)aster R-CNN)的氣體泄漏實時檢測方法,但模型權(quán)重大小較大,導(dǎo)致單張圖像模型推理時間高達(dá)到60 ms。WANG J 等[13]提出一種利用紅外攝像機對天然氣甲烷泄漏分類的卷積網(wǎng)絡(luò)模型(GasNet),建立了GasVid 數(shù)據(jù)集并且在甲烷氣體泄漏量分別為小、中、大時的分類準(zhǔn)確率達(dá)到78.2%,但模型存在無法確定泄漏源的問題。

基于以上分析,以氣敏傳感器接觸式的氣體泄漏檢測受安裝位置和風(fēng)向的影響存在無法快速定位泄漏源、檢測效率低、實時性差等問題。利用非接觸式紅外檢測能夠?qū)崿F(xiàn)在較遠(yuǎn)距離處對泄漏氣體的成像與定位,更好保障工作人員的安全,但利用熱像儀依靠人工進(jìn)行視檢判斷非常耗費人力,泄漏檢測模型較為繁瑣復(fù)雜,達(dá)不到輕量化,實施難度大且難以實現(xiàn)工業(yè)氣體泄漏實時檢測?;诩t外熱像儀獲取的紅外圖像質(zhì)量差、對比度低,造成檢測效果差以及氣體泄漏時間、地點不固定,為保證安全對實時性提出高需求,然而現(xiàn)有檢測已無法滿足現(xiàn)階段的需求。為此本文提出一種融合結(jié)構(gòu)重參數(shù)化變換的紅外非接觸式檢測網(wǎng)絡(luò)模型GRNet(Gamma Reparameter Network,GRNet)。YOLOv5(You Only Look Once,YOLO)模型是YOLO 系列模型[14-18]的第5個版本具有較強的檢測速度和魯棒性。以YOLOv5s 模型為基礎(chǔ),在自建的氣體泄漏紅外檢測數(shù)據(jù)集上開展實驗。GRNet 模型針對紅外氣體泄漏區(qū)域輪廓邊緣模糊定位困難的問題,在模型后處理階段引入完全交并比(Complete Intersection over Union,CIoU)[19]定位損失函數(shù)計算目標(biāo)間相似度,加快預(yù)測框的回歸速率,以提高模型對泄漏區(qū)域的定位準(zhǔn)確度;針對氣體泄漏紅外圖像受到紅外熱像儀的限制和多種外界環(huán)境因素的干擾,普遍存在分辨率差、對比度低且泄漏樣本單一的缺陷,造成檢測效果差的問題,采用Mosaic-Gamma變換的數(shù)據(jù)增強方法進(jìn)行預(yù)處理,提高氣體泄漏區(qū)域?qū)Ρ榷鹊耐瑫r擴(kuò)充泄漏樣本,提供給模型多種形態(tài)樣本,使模型對氣體泄漏有較高的檢測能力以及泛化性;通過K-means 聚類分析出適用于氣體泄漏紅外檢測的候選框以預(yù)置模型參數(shù);采用改進(jìn)后的輕量化網(wǎng)絡(luò)RepVGG 模塊替換特征提取網(wǎng)絡(luò)中的卷積層增強模型的特征提取能力,以實現(xiàn)輕量化的同時提高檢測精度;最后采用偽色彩映射對泄漏濃度進(jìn)行定性分析以及通過PyQt5 將模型進(jìn)行封裝,實現(xiàn)檢測系統(tǒng)界面的可視化,并在Jetson Nano嵌入式實驗平臺部署模型,驗證實際工程應(yīng)用的可行性和有效性。

1 GRNet 模型

為實現(xiàn)氣體泄漏非接觸式實時檢測,提出一種融合結(jié)構(gòu)重參數(shù)化變換的紅外非接觸式檢測網(wǎng)絡(luò)模型GRNet,其總體架構(gòu)如圖1所示。GRNet 模型主要包含輸入層(Input)、特征提取網(wǎng)絡(luò)(Backbone)、頸部(Neck)和檢測頭(Head)四個部分。在模型的Input 部分,采用Mosaic-Gamma 變換的數(shù)據(jù)增強方法進(jìn)行預(yù)處理,其目的是更好地豐富氣體泄漏樣本不同形態(tài),增強對泄漏區(qū)域的識別從而提高模型泛化能力。在Backbone 部分,采用改進(jìn)后的輕量化網(wǎng)絡(luò)RepVGG 模塊替換其中的卷積層重新構(gòu)建特征提取網(wǎng)絡(luò),提取圖像的特征信息。在Neck 部分,經(jīng)過C3 模塊加強融合圖像深淺層全局和局部的信息,使得模型獲取多尺度特征信息。在Head 部分,采用CIoU 為模型的定位損失函數(shù),對三個不同尺度的預(yù)測層生成邊界框進(jìn)行回歸優(yōu)化,以提高模型對紅外氣體泄漏區(qū)域的定位準(zhǔn)確度。

圖1 GRNet 模型總體架構(gòu)Fig.1 GRNet model general architecture

1.1 候選框參數(shù)優(yōu)化

YOLOv5s 模型中,候選框參數(shù)是根據(jù)COCO 數(shù)據(jù)集中不同的檢測目標(biāo)設(shè)置的。COCO 數(shù)據(jù)集將大于96 像素×96 像素的目標(biāo)劃分為大尺度目標(biāo),將大于32 像素×32 像素且小于96 像素×96 像素的目標(biāo)劃分為中等尺度目標(biāo),將小于32 像素×32 像素的目標(biāo)劃分為小尺度目標(biāo)。本文中氣體泄漏檢測種類為氨氣一種類別,而且氣體泄漏是從無到有的擴(kuò)散,候選框的尺寸呈從小到大規(guī)律性變化,如圖2所示。YOLOv5s 基礎(chǔ)模型候選框參數(shù)不能滿足氣體泄漏紅外圖像檢測的實際需要,需要重新設(shè)計從小到大尺寸規(guī)律性變化的候選框參數(shù)以滿足氣體泄漏過程的尺寸要求。

圖2 紅外氣體泄漏真實框變化Fig.2 Change diagram of real frame of infrared the gas leakage

基于以上分析,采用K-means 聚類算法對數(shù)據(jù)集標(biāo)注的真實框尺寸進(jìn)行聚類計算。K-means 聚類算法[20]是一種迭代型聚類算法,使模型選擇更為精準(zhǔn)的候選框能夠更好地反映目標(biāo)的特征,避免模型在訓(xùn)練時盲目尋找,以提高模型檢測效果,有助于模型快速收斂達(dá)到實時性。

YOLOv5s 一共有三個檢測層,每個檢測層有3 個不同高寬比的候選框?qū)δ繕?biāo)進(jìn)行識別定位,共9 個候選框,故以640×640 像素圖像作為輸入。以候選框的數(shù)量為9 對氨氣泄漏紅外檢測數(shù)據(jù)集的1 782 幅圖像進(jìn)行K-means 聚類分析,聚類分析可視化效果如圖3所示。聚類前后三個檢測層候選框尺寸情況對比如表1所示。對數(shù)據(jù)集候選框高寬比進(jìn)行可視化分析,結(jié)果如圖4所示。由表1、圖3、圖4 可知,聚類中心分布較好,每一聚類中心都屬于單獨一簇。聚類前YOLOv5s 基礎(chǔ)模型的候選框高寬比變化分布范圍為0.70~2.03,而氣體泄漏紅外檢測數(shù)據(jù)集聚類分析后得到的候選框高寬比分布范圍主要為0.19~1.17。聚類前后候選框高寬比分布范圍變化較大,符合標(biāo)注的真實框從小逐漸變大的情況,說明采用K-means 算法對氣體泄漏紅外檢測數(shù)據(jù)集聚類分析的效果明顯,聚類得到的候選框參數(shù)有助于模型對目標(biāo)進(jìn)行識別定位,能提高模型的收斂速度和準(zhǔn)確性。

表1 聚類前后三個檢測層初始候選框尺寸情況Table 1 The size of the initial anchor frame of the three detection layers before and after clustering

圖3 氣體泄漏候選框聚類分析可視化效果Fig.3 Visualization of gas leakage candidate box clustering analysis

圖4 氣體泄漏紅外檢測數(shù)據(jù)集候選框高寬比可視化結(jié)果Fig.4 Aspect ratio visualization results of candidate frames for gas leak infrared detection dataset

1.2 圖像增強預(yù)處理

多數(shù)應(yīng)用場景中用于訓(xùn)練模型的原始數(shù)據(jù)集量難以達(dá)到理想訓(xùn)練需求,而且獲得較多數(shù)據(jù)集需要增加額外的代價以及較大工作量,較好的辦法就是對數(shù)據(jù)做合適的預(yù)處理。針對氣體泄漏紅外氣體圖像受到紅外熱像儀的限制和多種外界環(huán)境因素的干擾,普遍存在分辨率差、對比度低且泄漏樣本單一的缺陷,造成檢測效果差的問題,采用Mosaic-Gamma 變換的數(shù)據(jù)增強方法進(jìn)行預(yù)處理,達(dá)到提高氣體泄漏區(qū)域?qū)Ρ榷鹊耐瑫r擴(kuò)充泄漏樣本,提供給模型多種形態(tài)樣本,使模型具有對氣體泄漏較高的檢測能力以及較高的泛化性。

首先,使用Mosaic 進(jìn)行增強[21],隨機旋轉(zhuǎn)和翻轉(zhuǎn)數(shù)據(jù)集的四張圖片,然后對圖像進(jìn)行平移等一系列變換操作,經(jīng)過整合塑造具有新背景的氨氣紅外圖像,如圖5。將新融合圖像樣本對象作為新數(shù)據(jù),連同原數(shù)據(jù)集共同訓(xùn)練,更好地豐富氣體泄漏背景以及提供多種泄漏形態(tài),增強對泄漏區(qū)域的識別從而提高模型泛化能力。Mosaic 增強方法在數(shù)據(jù)集上融合圖像,等于變相加大訓(xùn)練批次的規(guī)模(Batch size),在訓(xùn)練過程中能減少顯存消耗的同時達(dá)到讓算力有限的GPU 也能進(jìn)行訓(xùn)練的效果。

圖5 Mosaic 數(shù)據(jù)增強效果Fig.5 Mosaic data enhancement

在經(jīng)過Mosaic 數(shù)據(jù)增強的基礎(chǔ)上采用Gamma 變換增強,編輯氣體紅外圖像的Gamma 曲線。該方法是對氣體泄漏紅外圖像進(jìn)行非線性色調(diào)編輯的策略,過程中檢出氣體圖像信號中的深、淺兩色,并且使得二者的占比提高,從而達(dá)到增強圖像對比度的效果。Gamma 變換的表達(dá)式為[22]

式中,F(xiàn)in表示輸入圖像,F(xiàn)out表示輸出圖像;當(dāng)γ<1 時,在灰度值偏低的區(qū)域,動態(tài)范圍變大,將圖像上較為集中的低照度區(qū)范圍進(jìn)行拉伸,使得圖像對比度得到了提高;當(dāng)γ>1 時,在灰度值較高的區(qū)域,動態(tài)范圍變大,對圖像上較為集中的高照度區(qū)范圍進(jìn)行拉伸,使得圖像對比度提高,效果見圖6。Mosaic-Gamma 預(yù)處理方法在加強圖像對比度特征的同時對數(shù)據(jù)集進(jìn)行了擴(kuò)展,豐富表達(dá)圖像細(xì)節(jié),使得檢測效果較好。

圖6 Gamma 變換效果Fig.6 Gamma transform rendering

基于以上分析,氣體泄漏紅外圖像采用Mosaic-Gamma 變換的數(shù)據(jù)增強方法進(jìn)行預(yù)處理,使圖像結(jié)合了彼此4 種不同形態(tài)的氣體泄漏區(qū)域的上下文信息,豐富了泄漏的場景,在訓(xùn)練時變相增加了訓(xùn)練批次大小,這使得模型的泛化能力提升,檢測的精度提高,其原理如圖7所示。

圖7 圖像增強預(yù)處理原理Fig.7 Image enhancement preprocessing schematic

1.3 目標(biāo)定位損失函數(shù)優(yōu)化

本文氣體泄漏紅外數(shù)據(jù)集中泄漏區(qū)域目標(biāo)由小到大有規(guī)律地發(fā)生變化,它的像素面積占比與整幅圖像相比不是固定不變的,并且大部分泄漏區(qū)域存在模糊的邊緣特征、輪廓定位不夠明確,因此氣體泄漏檢測對網(wǎng)絡(luò)模型的特征提取能力以及預(yù)測框回歸有較高的要求。圖8所示分別為小型泄漏區(qū)域目標(biāo)、中型泄漏區(qū)域目標(biāo)、大型泄漏區(qū)域目標(biāo)的預(yù)測泄漏框與真實泄漏目標(biāo)框的擬合示意圖,假設(shè)預(yù)測框的寬高均與真實框一致,紅框(預(yù)測泄漏框)較藍(lán)框(真實泄漏框)沿x軸和y軸發(fā)生10 像素的偏移,計算得到大型泄漏區(qū)域目標(biāo)的交并比(Intersection over Union,IoU)為0.851、中型泄漏區(qū)域目標(biāo)的IoU 為0.684,而小型泄漏區(qū)域目標(biāo)框的IoU 為僅0.481,分析可得,中小型泄漏區(qū)域內(nèi)目標(biāo)預(yù)測框預(yù)測的精確性在很大程度上受到了定位中心擬合精度的影響。為提高模型對氨氣泄漏區(qū)域目標(biāo)定位的準(zhǔn)確性,將YOLOv5s 網(wǎng)絡(luò)模型默認(rèn)采用的廣義交并比(Generalized Intersection over Union,GIoU)損失函數(shù)函數(shù)替換為CIoU 定位損失函數(shù)。

圖8 真實框與預(yù)測框擬合示意圖Fig.8 Fitting diagram of real box and prediction box

GIoU 定位損失函數(shù)LG表示為[23-24]

式中,A為預(yù)測泄漏框面積;B為真實泄漏框面積;C為兩個框的最小閉包區(qū)域面積,I為真實框與預(yù)測框的面積交并比IoU。GIoU 定位損失函數(shù)很好地解決了IoU 中無法優(yōu)化預(yù)測泄漏框和真實泄漏框之間不相交以及無法體現(xiàn)兩個框之間是如何相交的問題,但泄漏區(qū)域的預(yù)測框與真實框在包含狀態(tài)下,兩框并集與特定框面積相等,GIoU 的定位損失函數(shù)將退化為IoU,不能分辨它們之間的相對位置關(guān)系,產(chǎn)生較大的誤差。

針對GIoU 定位損失函數(shù)回歸不準(zhǔn)確以及定位中心對氣體泄漏區(qū)域預(yù)測框準(zhǔn)確性影響較大的問題,引入CIoU 定位損失函數(shù)LC,將GIoU 兩個框的最小閉包區(qū)域面積替換為兩個框中心點的標(biāo)準(zhǔn)化距離,并且考慮了邊界框的縱橫比公式,如(4)所示[23],從而加速預(yù)測泄漏框朝著真實泄漏框的收斂速度,以提高模型對泄漏區(qū)域回歸定位精確性。

采用CIoU 定位損失可以加快泄漏區(qū)域邊界框回歸的速率,提高定位精度,并增強泄漏區(qū)域的預(yù)測對真實泄漏情況的擬合能力。把ρ2(A,B)表示預(yù)測框和真實框中心點的歐式距離記為d,CIoU 定位損失示意如圖9所示。

圖9 CIoU 定位損失Fig.9 CIoU positioning loss

1.4 結(jié)構(gòu)重參數(shù)模塊嵌入

氨氣為易燃易爆且?guī)в卸拘缘臍怏w,其泄漏發(fā)生時間、地點不固定,對其檢測的敏感性和模型推理速度提出了極高要求。為降低氨氣泄漏檢測模型的推理計算量,加快模型的推理速度,實現(xiàn)氨氣泄漏非接觸式檢測,重新構(gòu)建模型的特征提取網(wǎng)絡(luò),降低模型推理時的計算量并壓縮模型權(quán)重大小。

YOLOv5s 模型特征提取網(wǎng)絡(luò)采用淺Conv 卷積層,雖然能在氨氣泄漏紅外檢測中對泄漏區(qū)域進(jìn)行特征提取和分析,但能力有限。同時C3 模塊也會占用緩存空間降低運行速度,造成漏檢,影響氨氣泄漏檢測的準(zhǔn)確性與速率,不符合氨氣高性能檢測需求。采用RepVGG 模塊[25]改進(jìn)Conv 卷積層,重新構(gòu)建特征提取網(wǎng)絡(luò),進(jìn)行無損壓縮,提高模型檢測速率的同時減少模型參數(shù)量。RepVGG 模塊重構(gòu)后只含有3×3 卷積與ReLU 激活函數(shù)。但模型需要對氨氣泄漏之初的低濃度進(jìn)行敏感檢測,低濃度氨氣泄漏的信號會表現(xiàn)為較小的負(fù)數(shù)值。ReLU 激活函數(shù)雖然計算簡單,能輔助提高模型推理時間,但ReLU 函數(shù)對負(fù)數(shù)響應(yīng)過弱,導(dǎo)致泄漏區(qū)域為負(fù)數(shù)值的信號被截斷為零,信息丟失,檢測精度降低。SiLU 激活函數(shù)相對ReLU 激活函數(shù)而言,在氨氣檢測中可以更好地保留低濃度負(fù)數(shù)的信息,提高模型的檢測精度。因此采用優(yōu)化激活函數(shù)后的RepVGG 模塊代替Conv 卷積層,同時精簡C3 模塊數(shù)量,重新構(gòu)建特征提取網(wǎng)絡(luò),結(jié)構(gòu)示意圖如圖10所示。RepVGG 模塊在訓(xùn)練過程中使用3×3 卷積、1×1 卷積和Identity 殘差結(jié)構(gòu)多分支提高模型準(zhǔn)確度,同時在推理過程中使用單路3×3 卷積與SiLU 激活函數(shù)的架構(gòu)快速推理、節(jié)省內(nèi)存,如圖11所示。改進(jìn)的特征提取網(wǎng)絡(luò)能夠在實現(xiàn)壓縮模型權(quán)重大小的同時提升對氨氣檢測準(zhǔn)確性。

圖10 RepVGG 模塊重構(gòu)的特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Structure of feature extraction network reconstructed by RepVGG module

圖11 RepVGG 模塊結(jié)構(gòu)Fig.11 RepVGG module structure diagram

分析可知,為了滿足氨氣泄漏模型檢測精度高、速度快的需求,采用改進(jìn)的RepVGG 模塊,對模型進(jìn)行特征提取網(wǎng)絡(luò)再搭建,增強了模型特征提取能力,降低特征信息的損失,既考慮了速度問題又增強網(wǎng)絡(luò)特征提取能力,利于模型部署。

2 實驗

2.1 數(shù)據(jù)集

在目標(biāo)檢測任務(wù)中,數(shù)據(jù)集的建立與選擇對于檢測效果有著非常顯著的影響。采用氨氣作為實驗氣體,氨氣的紅外光譜波段屬于中波紅外,其最高吸收峰為10.3 μm。氨氣泄漏紅外檢測數(shù)據(jù)集使用云南北方光學(xué)科技有限公司波長為8~14 μm 的長波紅外熱像儀采集視頻后進(jìn)行取幀處理建立,最終得到1 782 幅圖像。其次按照8∶1∶1 的比例將數(shù)據(jù)集隨機劃分為訓(xùn)練集、驗證集、測試集,其中訓(xùn)練集包含1 425 幅圖像,驗證集包含182 幅圖像,測試集包含175 幅圖像。使用LabelImg 軟件對獲得的紅外圖像數(shù)據(jù)進(jìn)行手動標(biāo)注。

2.2 實驗環(huán)境

實驗環(huán)境為Ubuntu18.04 操作系統(tǒng)、內(nèi)存16 G、CPU 為AMD R5-3600、GPU 為NVIDIA GeForce RTX2080Ti 11GB 顯卡的臺式計算機。深度學(xué)習(xí)框架為Pytorch1.6.0,采用CUDA Toolkit 10.0 和CUDNN V7.6.5 作為模型訓(xùn)練加速工具包。以YOLOv5s 為基礎(chǔ)模型,使用YOLOv5s 的預(yù)訓(xùn)練權(quán)重,同時受計算機性能的限制,輸入圖像的大小統(tǒng)一為640 像素×640 像素,訓(xùn)練批次的規(guī)模(Batch size)設(shè)置為16,迭代代數(shù)(Epoch)為400,在訓(xùn)練階段超參數(shù)具體設(shè)置如表2所示。為了保證模型改進(jìn)的有效性,實驗均基于上述統(tǒng)一的軟硬件環(huán)境和超參數(shù)設(shè)置進(jìn)行。

表2 超參數(shù)配置Table 2 Hyperparameter configuration

2.3 評價指標(biāo)

采用浮點數(shù)計算量(GFLOPs)、模型大小、模型參數(shù)量(Params)、平均檢測精度(mean Average Precision,mAP)以及單張圖像平均檢測處理時間(ms)作為評價值指標(biāo),通過多種指標(biāo)綜合評價模型性能。

平均檢測精度mAP 是指在測試集中對各類目標(biāo)檢測精度的平均值Pm,計算公式為

式中,l表示數(shù)據(jù)集中的某目標(biāo)類別,Pl表示某目標(biāo)類別的平均精確率,D表示數(shù)據(jù)集中的類別數(shù)目。

單張圖像平均檢測處理時間(ms)用來衡量模型推理檢測時間,包括預(yù)處理、網(wǎng)絡(luò)推理和回歸框抑制處理所花費的時間。

考慮到實際工程應(yīng)用中對氨氣泄露檢測有一定誤報和漏報的要求,同時要保證檢測及時準(zhǔn)確[26],若使用置信度為95%的AP@0.95 評價指標(biāo)可能會導(dǎo)致氨氣泄露的檢測不及時造成漏檢,故使用AP@0.5 來衡量模型性能。

3 實驗與分析

3.1 目標(biāo)定位損失函數(shù)優(yōu)化

為驗證不同目標(biāo)定位損失函數(shù)對網(wǎng)絡(luò)模型損失的優(yōu)化效果,在YOLOv5s 模型框架下,采用2.1 節(jié)構(gòu)建的數(shù)據(jù)集在2.2 節(jié)的實驗環(huán)境上訓(xùn)練驗證分析,采用GIoU、CIoU 定位損失函數(shù)進(jìn)行實驗分析,算法驗證性能對比如表3所示。

表3 泄漏目標(biāo)不同定位損失函數(shù)驗證性能對比Table 3 Comparison of the verification performance of different localization loss functions for leaky targets

由表3 可知,YOLOv5s-CIoU 模型進(jìn)行了泄漏區(qū)域目標(biāo)定位損失函數(shù)優(yōu)化。將GIoU 損失函數(shù)替換為CIoU 損失函數(shù)后模型在參數(shù)量、大小基本一致的前提下,mAP 提升了0.60%,單張圖像檢測時間降低到3.6 ms。實驗驗證了CIoU 定位損失函數(shù)能夠改善模型對泄漏區(qū)域回歸定位精確性。

3.2 圖像預(yù)處理

為了驗證圖像預(yù)處理對模型最終檢測性能的影響,在3.1 節(jié)優(yōu)化定位損失函數(shù)的基礎(chǔ)上,在模型訓(xùn)練中使用了YOLOv5s 預(yù)訓(xùn)練權(quán)重,并分別采用兩種不同的圖像進(jìn)行訓(xùn)練。一種是氨氣泄漏紅外原圖像,另一種是在1.2 節(jié)中經(jīng)過MG(Mosaic-Gamma)變換預(yù)處理后的紅外圖像,其中采用預(yù)處理后的圖像訓(xùn)練得到的模型記為YOLOv5s-CIOU-MG,實驗驗證性能結(jié)果如表4所示。

表4 圖像預(yù)處理前后網(wǎng)絡(luò)性能驗證對比Table 4 Comparison of the network performance before and after image pre-processing

由表4 可知,YOLOv5s-CIoU-MG 模型相較于使用紅外原圖像訓(xùn)練后的模型在參數(shù)量、大小基本一致的前提下,mAP 提升至93.40%。表明1.2 節(jié)Mosaic-Gamma 變換的預(yù)處理方法能在保證模型檢測速度不變的前提下提高圖像對比度特征,同時擴(kuò)充泄漏樣本提供給模型多種形態(tài)豐富泄漏的場景,變相增加了訓(xùn)練批次大小,使模型提高了氨氣泄漏的檢測能力以及泛化性。

3.3 聚類算法

在3.2 節(jié)基礎(chǔ)上,為驗證K-means 聚類在保證模型檢測速度的同時提高模型的檢測精度和魯棒性,選擇采用表1 中對氨氣泄漏紅外數(shù)據(jù)集進(jìn)行K-means 聚類得到的候選框參數(shù)進(jìn)行實驗。分別采用無K-means 聚類候選框的原圖像、K-means 聚類候選框的原圖像和K-means 聚類候選框的Mosaic-Gamma 變換的圖像對YOLOv5s 模型進(jìn)行訓(xùn)練。其中,采用K-means 聚類候選框的原圖像訓(xùn)練得到的模型分別記為YOLOv5s-GIoU-Km、YOLOv5s-CIoU-Km,采用K-means 聚類候選框的MG 圖像訓(xùn)練得到的模型記為YOLOv5s-CIoU-MG-Km,四者的性能對比實驗如表5所示。

表5 聚類前后網(wǎng)絡(luò)性能驗證對比Table 5 Comparison of network performance before and after clustering

由表5 可知,重新預(yù)置候選框參數(shù)后對于模型的參數(shù)量和大小沒有影響,模型的參數(shù)量和大小分別為7.05 MB、14.40 MB,而檢測精度有明顯提升。采用K-means 聚類候選框的Mosaic-Gamma 變換的圖像訓(xùn)練得到的YOLOv5s-CIoU-MG-Km 平均精度mAP 提高至94.00%,表明采用K-means 聚類算法預(yù)置的候選框高寬比符合氨氣泄漏真實尺寸,有效提升模型對于氨氣泄漏檢測的準(zhǔn)確性。

3.4 結(jié)構(gòu)重參數(shù)模塊嵌入

為了驗證改進(jìn)的RepVGG 模塊對模型檢測效果提升的有效性,在YOLOv5s-CIOU-MG-Km 模型框架基礎(chǔ)上,以添加不同模塊替換特征提取網(wǎng)絡(luò)中卷積層的模型進(jìn)行性能對比,添加不同模塊結(jié)構(gòu)分別為輕量級的深度可分離卷積DWConv[25]、靈活的動態(tài)卷積ODConv[27]、RepVGG。其中,添加RepVGG 模塊訓(xùn)練得到的模型記為GRNet,實驗結(jié)果如表6所示。

表6 不同模塊嵌入網(wǎng)絡(luò)性能驗證對比Table 6 Different modules embedded network performance verification comparison

由表6可知,特征提取網(wǎng)絡(luò)部分嵌入不同模塊結(jié)構(gòu)對模型有較大的影響,GRNet模型采用RepVGG 模塊,較Conv-YOLOv5s基礎(chǔ)模型單張圖像檢測時間降低到3.40 ms,檢測精度提升2.70%,達(dá)到94.90%。嵌入其它不同模塊結(jié)構(gòu),檢測時間雖然降低但檢測精度不如RepVGG 模塊。實驗驗證了RepVGG 模塊有效地增強了模型特征提取能力,降低特征信息的損失,兼顧速度利于模型輕量化。所以針對氨氣泄漏輕量化紅外檢測選擇RepVGG 模塊作為特征提取網(wǎng)絡(luò)中的卷積層增強模型的特征提取能力,提取泄漏區(qū)域注意力,保證精度的提升。

3.5 不同模型對比

為驗證本文設(shè)計的GRNet 模型在氨氣泄漏檢測中的優(yōu)勢,將GRNet 模型與YOLOv3、YOLOv3-tiny、YOLOv5s 及YOLOx[28]模型做性能對比實驗。為確保效果,實驗在2.2 節(jié)所搭建的實驗環(huán)境中進(jìn)行,使用的數(shù)據(jù)集均采用2.1 節(jié)構(gòu)建的氨氣泄漏紅外氣體圖像數(shù)據(jù)集,實驗結(jié)果如表7所示。

表7 不同網(wǎng)絡(luò)模型精度驗證對比Table 7 Comparison of the validation accuracy among various network models

由表7 可知,與其他5 種模型相比,GRNet 模型對氨氣泄漏紅外檢測的mAP 最高,達(dá)到94.90%;單張圖像平均檢測時間達(dá)到3.40 ms,模型推理速度快;模型大小和參數(shù)量分別降為11.30 MB、5.47 MB,小于其他4 種模型。綜合考慮模型計算量、參數(shù)量、大小、單張圖像平均檢測時間和mAP,構(gòu)建的GRNet 模型在氨氣泄漏紅外非接觸式檢測中取得了較好的結(jié)果,其總體魯棒性最佳,模型檢測結(jié)果可視化效果如圖12所示。與氨氣泄漏真實區(qū)域相比,GRNet 模型對其都檢測出并進(jìn)行了回歸泄漏區(qū)域,同時工作人員在檢測區(qū)域流動未出現(xiàn)誤檢情況。在紅外成像遠(yuǎn)處區(qū)域有泄漏點,雖然檢測出的閾值只有0.5,但沒有出現(xiàn)漏檢,表明GRNet 模型有較好的魯棒性。

圖12 GRNet 模型最終檢測結(jié)果Fig.12 The final test result of the GRNet network model

3.6 氣體濃度定性分析

對氣體泄漏的濃度進(jìn)行準(zhǔn)確、可靠的定性分析可以給涉氣企業(yè)的工作人員進(jìn)行應(yīng)急處置和安全管理提供科學(xué)依據(jù)?;贕RNet 模型可以對氨氣泄漏區(qū)域進(jìn)行邊界框檢測定位,通過對泄漏區(qū)域邊界框分析,泄漏濃度較高區(qū)域的灰度值因氨氣泄漏的理化特性較低,視覺效果偏于黑色;泄漏濃度較低區(qū)域的灰度值較高,視覺效果偏于灰白色。為便于直觀可視化顯示氨氣泄漏區(qū)域濃度的分布情況,進(jìn)行定性分析,采用偽色彩映射將不同氨氣泄漏程度的灰度值映射為不同顏色的圖像,得到較好的視覺感知效果,有助于提高工作人員應(yīng)急處理的效率和準(zhǔn)確性,如圖13所示。

圖13 氨氣泄漏濃度分布可視化Fig.13 Visualisation of ammonia leak concentration distribution

泄漏區(qū)域偽色彩映射采用了彩虹漸變映射方式[29],較小的灰度值對應(yīng)深藍(lán)色,較大的灰度值對應(yīng)紅色,而中間的灰度值則對應(yīng)藍(lán)色、青色、黃色等漸變顏色。氨氣泄漏灰度值小于64 對應(yīng)為深藍(lán)色,其區(qū)域表示為泄漏溫度較低、濃度最高的區(qū)域。氨氣泄漏灰度值在64~191 之間對應(yīng)為藍(lán)色、青色、黃色等漸變顏色,其區(qū)域表示為泄漏區(qū)域濃度逐漸降低、溫度升高;氨氣泄漏灰度值在192~255 之間對應(yīng)為黃色到紅色的漸變,其區(qū)域氨氣濃度最低、溫度趨于環(huán)境溫度。

3.7 氣體泄漏紅外檢測系統(tǒng)界面設(shè)計與GRNet 模型的移動端部署

氣體泄漏紅外檢測系統(tǒng)界面設(shè)計的目的是將GRNet 模型進(jìn)行封裝,使涉氣企業(yè)工作人員可視化檢測氣體是否存在泄漏,有泄漏的情況下及時檢測到并保存檢測記錄,設(shè)計的系統(tǒng)界面如圖14所示。界面的左側(cè)是設(shè)置欄,可以選擇檢測的模型和方式,如圖像、視頻以及通過實時流傳輸(Real-Time Streaming Protocol,RTSP)協(xié)議連接紅外攝像頭實現(xiàn)檢測設(shè)備在界面端實時監(jiān)測。檢測參數(shù)設(shè)置模塊允許工作人員調(diào)整置信度閾值和IoU 值優(yōu)化檢測效果。當(dāng)工作人員更改參數(shù)時,程序?qū)⒅匦录虞d所選的檢測模型并應(yīng)用。界面的左下方有檢測結(jié)果的保存和分析模塊。右側(cè)為顯示區(qū)域,將圖像或視頻的檢測結(jié)果顯示在其區(qū)域內(nèi),分為泄漏情況原圖展示區(qū)域和檢測警示區(qū)域,同時提供停止按鈕允許工作人員停止檢測。系統(tǒng)界面以提高工作人員的使用體驗和效率并滿足各種氣體泄漏檢測實際應(yīng)用場景的需求。

圖14 氣體泄漏紅外檢測系統(tǒng)整體界面可視化Fig.14 Visualisation of the overall interface of the infrared gas leak detection system

為進(jìn)一步驗證GRNet 模型在嵌入式移動端的有效性及工程應(yīng)用價值,采用Jetson Nano B01 開發(fā)平臺對模型進(jìn)行部署,其中YOLOv3、YOLOv5s 以及GRNet 模型在Jetson Nano B01 移動端開發(fā)平臺測試驗證性能結(jié)果如表8所示。

表8 嵌入式平臺部署測試驗證結(jié)果Table 8 Embedded platform deployment test results

由表8 可知,GRNet 模型在檢測速度方面好于原來的基礎(chǔ)模型,提高達(dá)到3.03 幀/s,而檢測準(zhǔn)確度與本文中PC 端一致并沒有損失,說明模型部署有效性較高。GRNet 模型在泄漏檢測有94.90%的準(zhǔn)確度,同時兼容較快的檢測速度,在嵌入式開發(fā)平臺上部署的可行性比較高。

4 結(jié)論

本文提出了一種輕量化非接觸式氣體泄漏紅外檢測模型GRNet。在模型后處理階段引入CIoU 定位損失函數(shù)計算目標(biāo)間相似度,對預(yù)測框尺寸和中心位置進(jìn)行修正優(yōu)化,以提高模型對紅外氣體泄漏區(qū)域的定位準(zhǔn)確度;采用Mosaic-Gamma 變換的數(shù)據(jù)增強方法進(jìn)行預(yù)處理,提高氣體泄漏區(qū)域?qū)Ρ榷?,同時擴(kuò)充泄漏樣本提供給模型多種形態(tài)樣本,使模型具有對氣體泄漏較高的檢測能力以及泛化性;對氣體泄漏紅外檢測數(shù)據(jù)集使用K-means 的聚類算法聚類分析預(yù)置候選框參數(shù)符合實際氣體泄漏情景;采用改進(jìn)后的輕量化網(wǎng)絡(luò)RepVGG 模塊替換特征提取網(wǎng)絡(luò)中的卷積層增強模型的特征提取能力,降低模型參數(shù)量,壓縮模型大小,提高模型推理速度。通過與YOLOv3、YOLOv3-tiny、YOLOv5s 及YOLOx 模型對比,提出的氣體泄漏紅外非接觸式檢測GRNet 模型具有較好的整體魯棒性。GRNet 模型的mAP 達(dá)到94.90%,模型權(quán)重大小和參數(shù)量降為15.60 MB、5.47 MB,單張圖像平均檢測時間達(dá)到3.4 ms,符合涉氣企業(yè)的安全生產(chǎn)中氣體泄漏紅外非接觸式檢測。最后,對泄漏濃度進(jìn)行偽色彩映射,強化泄漏濃度的視覺感知效果,助力提高工作人員應(yīng)急處理的效率和準(zhǔn)確性,并將GRNet 模型進(jìn)行了封裝,實現(xiàn)氣體泄漏紅外檢測系統(tǒng)界面的可視化,在Jetson Nano B01 嵌入式實驗平臺部署驗證了實際工程應(yīng)用的可行性和有效性。未來將繼續(xù)研究網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整,進(jìn)一步提高模型精度。

猜你喜歡
候選框氨氣特征提取
重定位非極大值抑制算法
面向自然場景文本檢測的改進(jìn)NMS算法
基于Soft-NMS的候選框去冗余加速器設(shè)計*
基于Daubechies(dbN)的飛行器音頻特征提取
電子制作(2018年19期)2018-11-14 02:37:08
一種針對特定目標(biāo)的提議算法
氨氣還原氧化銅的微型實驗
Bagging RCSP腦電特征提取算法
絲蘭屬植物提取物降低養(yǎng)雞場氨氣排放的試驗
基于MED和循環(huán)域解調(diào)的多故障特征提取
千奇百怪的氣體
兴安盟| 建水县| 敦化市| 盐津县| 上蔡县| 正镶白旗| 博野县| 清新县| 江源县| 商水县| 镇雄县| 沭阳县| 工布江达县| 雷州市| 伊宁市| 固镇县| 德化县| 长岛县| 麻城市| 曲阳县| 礼泉县| 绥阳县| 东平县| 唐山市| 搜索| 自治县| 兴国县| 长宁区| 弥渡县| 滁州市| 高平市| 吉首市| 花莲市| 灌南县| 资中县| 东港市| 大渡口区| 苗栗市| 外汇| 延川县| 巴中市|