国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進YOLOv8的道路積水監(jiān)測方法

2024-11-02 00:00:00張崢左向陽龍巖黃浩成何立新雷曉輝王萌茜
人民珠江 2024年10期

摘 要:中國內澇災害頻發(fā),尤其是發(fā)生在道路上的內澇災害,嚴重影響了人們的正常出行,甚至是威脅生命,目前的道路積水監(jiān)測技術效率低,迫切需要一種高效監(jiān)測道路積水的方法。道路積水的精準監(jiān)測有助于政府下達政策,人員做好預防,提出了一種基于改進YOLOv8的道路積水實時監(jiān)測方法,在基于YOLOv8的算法下,在頸部結構網絡加入了CBAM(Convolutional Block Attention Module)注意力機制,增強積水區(qū)域的重要特征并抑制一般特征,提高識別道路積水的準確率,并利用透視變換和像素來計算積水面積。選取河北工程大學新校區(qū)校內道路積水進行研究,結果表明,該方法的精確率達到93. 83%,能精確實時識別出道路積水路面并輸出積水面積,滿足監(jiān)測需求。關鍵詞:內澇災害;深度學習;注意力機制;道路積水

中圖分類號:TV1 文獻標識碼:A 文章編號:1001-9235(2024)10-0044-07

Monitoring Method for Road Waterlogging Based on Improved YOLOv8

ZHANG Zheng1,2, ZUO Xiangyang1,2, LONG Yan1,2*, HUANG Haocheng3, , LEI Xiaohui1,2 , HE Lixin1,2WANGMengqian4

(1. School of Water Resources and Hydropower, Hebei University of Engineering, Handan 056038, China; 2. Hebei Smart Water

Conservancy Key Laboratory, Handan 056038, China; 3. School of Management, Hefei University of Technology, Hefei 230000, China;4. MWR General Institute of Water Resources and Hydropower Planning and Design, Beijing 100000, China)

Abstract: Flooding disasters occur frequently in China, especially on roads, which seriously affect people's normal travel and even threaten their lives. The current technologies for monitoring road waterlogging are inefficient, and there is an urgent need for an efficient method to monitor road waterlogging. Accurate monitoring of road waterlogging is helpful for the government to issue policies and personnel to take preventive measures. Therefore, this article proposed a real-time monitoring method for road waterlogging based on improved YOLOv8. Through the YOLOv8 algorithm, a convolutional block attention module (CBAM) attention mechanism was added to the neck structure network to enhance the important features of waterlogging areas, suppress general features, and improve the accuracy of identifying road waterlogging. In addition, perspective transformation and pixels were used to calculate the waterlogging area. The article studied the road waterlogging in the new campus of Hebei University of Engineering. The results show that the accuracy of this method reaches 93. 83%, which can accurately identify the road waterlogging surface and output the waterlogging area in real time, meeting the monitoring needs.

Keywords: waterlogging disaster; deep learning; attention mechanism; road waterlogging

隨著全球氣候變化的加劇和城市化的快速發(fā)展,城市內澇災害的發(fā)生頻率越來越高,范圍越來越廣[1]。根據防汛抗旱總部和水利部發(fā)布的《中國水旱災害防御公報》[2]顯示,2021年,全國30?。ㄗ灾螀^(qū)、直轄市)發(fā)生洪澇災害,造成5 901. 01萬人次受災,590人死亡失蹤,直接經濟損失2 458. 92億元,占當年GDP的0. 22%。因此,開展城市內澇過程監(jiān)測,建立科學的應對機制,降低內澇風險,減少內澇造成的損失,具有十分重要的意義。深度學習技術在城市內澇過程監(jiān)測中的應用,可以實現高效、安全、準確的內澇智能監(jiān)測[3]。

道路積水的監(jiān)測主要為人工檢測、傳感器檢測和影像監(jiān)測3種方式。人工監(jiān)測需要人員在易澇點進行測量,真實可靠,但存在人為誤差,耗費人力,不能實現實時監(jiān)測,而采用接觸式傳感器能夠實現自動化測量,且精度高,傳輸快,但容易受到積水、泥沙污染,造成損壞;維護成本高,難以滿足全面開展城市內澇監(jiān)測的需求[4]。崔奇等[5]在2018年提出了一種基于矢量約束實現面向對象高分辨率遙感影像水體提取的新方法,但缺點是對細小水體很難有效提取。白崗崗等[6]在2021年提出了一種基于YOLOv2算法對城市內澇中的積水區(qū)域進行實時監(jiān)測的方法,可識別積水區(qū)域,并計算積水區(qū)域內的實際面積。胡昊等[7]在2023年提出了一種基于視頻影像的道路積水實時監(jiān)測模型,采用YOLOv5s進行實時圖像識別,計算積水區(qū)域面積,但模型仍有優(yōu)化空間?,F階段對道路積水面積的自動化監(jiān)測技術手段較少,隨著深度學習技術的不斷改進,影像監(jiān)測也被用于道路積水的監(jiān)測,利用深度學習的方法對道路積水進行監(jiān)測,其成本低,及時性強,逐漸地,影像監(jiān)測技術將因其準確性與效能,成為城市暴雨災害監(jiān)控的主要手段。因此,本研究提出一種基于CBAM-YOLOv8的道路積水面積實時監(jiān)測方法,來達到實時精準監(jiān)測道路積水的目的。

1 網絡結構和算法

1. 1 卷積神經網絡(Convolutional Neural Networks)

Hubel等[8]在1962年發(fā)現在貓腦視覺皮層中存在一系列復雜構造的細胞,這些細胞對視覺輸入空間的局部區(qū)域很敏感,稱為感受野。在感受野中能夠更好地挖掘出存在于自然圖像中強烈的局部空間相關性。Fukushima等[9]在1980年提出了結構與之類似的神經認知機。Lecun等[10]在基于Fukushima的研究工作使用BP算法設計并訓練了CNN。CNN的基本結構由輸入層、卷積層、池化層、全連接層及輸出層構成。卷積層和池化層會取若干個,采用卷積層和池化層交替設置,即一個卷積層連接一個池化層,池化層后再連接一個卷積層,依此類推。由于卷積層中輸出特征面的每個神經元與其輸入進行局部連接,并通過對應的連接權值與局部輸入進行加權求和再加上偏置值,得到該神經元輸入值,該過程等同于卷積過程。卷積層的功能是對數據進行自動特征提取,卷積層通過卷積核在圖像中滑動進行計算來自動提取特征。一般來說,CNN中越往后的卷積層越能夠提取到更復雜的特征信息。池化層在處理經卷積運算后的特征時,其主要作用在于執(zhí)行維度壓縮。這一過程不僅顯著降低了模型的計算復雜度,而且有效緩解了過擬合的可能性。池化操作通常分為平均池化與最大池化2種類型[11]。平均池化致力于保全全局背景信息,而最大池化則專注于抽出關鍵信息,以減少對無關緊要信息的處理[12]。

1. 2 CBAM-YOLOv8網絡

YOLOv8算法是基于Pytorch框架的目標檢測算法,YOLOv8是一個包含主干網絡、頸部、頭部、輸入端和輸出端的網絡模型[13]。主干網絡主要包括Focus模塊、CSP結構、SPP池化結構;頸部結構主要是FPN+PAN網絡架構,可將位置信息和特征信息進行融合;輸入端主要包括Somaic數據增強[14]、圖像尺寸處理和自適應錨框;輸出端主要包括Bounding box損失函數和NMS非極大值抑制。在其網絡結構中,CBS模塊憑借其高效的特征融合策略、精妙的維度調控及創(chuàng)新的通道注意力機制,共同優(yōu)化了模型在特征抽取方面的效能,確保了運算效率的高水平維持。SPPF模塊有效地挖掘并集成多種尺度的特征,強化了模型的尺度不變性,顯著提升了定位的準確性。同時,該模塊確保了計算流程的優(yōu)化,維持了模型運行的高效性。SPPF模塊采用了一種先進的空間金字塔池化方法,從輸入特征圖的多種局部結構中提取出豐富的多級特征,通過在不同尺度級別上執(zhí)行池化操作,該模塊有效捕獲了廣泛的上下文信息,顯著增強了模型對于目標尺寸變化的魯棒適應能力。這些從多個尺度獲取的特征隨后被系統(tǒng)地整合為一個固定長度的特征向量,這一過程不僅保留了信息的全面性和內在一致性,而且促進了模型在目標識別與分類任務中達到更高的精確度。Concat模塊主要功能是實現特征圖的合并,旨在集成多元尺度的特征數據,較低層次的特征圖蘊含豐富的局部特性與邊界信息,而較高層次的特征圖則包含了更深層次的語義含義,通過Concatenation操作,模型得以同步利用這兩種信息源,從而強化對目標對象的探測與定位功能。特征融合這一策略不僅擴大了網絡的感知范圍,還深化了特征表達的多樣性,使模型能夠掌握更為復雜的特征模式。Upsample模塊主要功能是通過上采樣放大特征圖的尺寸,在深度學習網絡的運行過程中,下采樣步驟常引起特征圖的分辨率下降,而Upsample模塊通過采用諸如插值等復原技術,旨在恢復特征圖的原有空間分辨率,進而保全其豐富的細節(jié)信息和空間結構。這一機制對于確保模型能有效捕捉和解析高分辨率的圖像特性是必不可少的。C2f模塊旨在整合淺層與深層的特征映射,其中淺層特征富含細膩的空間信息,而深層特征則蘊含更為抽象的語義內容,這一融合策略促使模型全面覆蓋從細微局部構造到廣泛場景語境的識別需求,增強了模型的語義理解和定位能力。Conv2d模塊主要功能是通過特征提取和信息處理,為模型提供了識別和定位目標所需的關鍵特征。Box Loss模塊充當了訓練過程中的核心反饋組件,它有效地引導模型持續(xù)學習并優(yōu)化對邊界框預測的精度,從而促進更精確的目標檢測能力的提升。YOLOv8按照網絡模型的大小分為YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l和YOLOv8x五種模型[15],考慮到實際需求,本研究選用YOLOv8s作為基礎模型,在頸部結構網絡加入CBAM注意力機制模塊,增強網絡模型對重要特征的提取,抑制不重要特征[16]CBAM-YOLOv8網絡結構見圖1。

1. 3 CBAM注意力機制

CBAM注意力機制通過在通道與空間2個維度上壓縮輸入特征圖,從而識別出通道和空間中的關鍵特征,并賦予這些特征更高的注意力權重。這樣做能夠加速識別輸入特征圖中的目標區(qū)域,并更有效地抽取重要特征[17]。首先,對經過通道注意力模塊處理的特征圖執(zhí)行最大池化和平均池化,以獲得每個通道的最大和平均值。隨后,這些值被合并后送入一個全連接層,以產生代表每個像素空間權重的向量。通過將這個空間權重向量與調整后的特征圖進行相乘,生成最終的空間注意力調整特征圖。此方法有效提升了對不同像素空間重要性的識別能力,增強了特征的描述力[18],CBAM網絡結構見圖2。

1. 4 透視變換

透視變換作為一種圖像處理技術,它涉及將圖像映射到1個新的視覺平面,這種變換的主要目的是解決實際中直線在圖像中可能出現傾斜的問題。通過執(zhí)行透視變換將這些看似傾斜的線條校正為直線條,從而恢復或創(chuàng)造一種平行性,透視變換可能會改變原有圖像的尺寸和比例,以確保符合新的視圖角度。通過透視變換可將目標區(qū)域處于水平狀態(tài),去除四周背景,模型處理更少的像素[19]。通用的透視變換公式見式(1)—(3)。

X a11 a12 a éxùéêê ùúú éêê 13ùúúêê úú式中:(X,Y,Z)為原圖像像素點的齊次坐標點,將圖片由三維降至二維,處理為二維圖像時Z'=1,得到透視變換后圖像像素點的歸一化齊次坐標點為(X',Y',Z')。

2 數據集構建

2. 1 數據集的收集

采用2臺參數不同的照相機,主要在3個指定拍攝點,采集了河北工程大學新校區(qū)內道路積水的圖像,為考慮訓練樣本的多樣性,采集的積水圖像是在不同季節(jié)、不同天氣、不同時間、不同路況拍攝,相機1參數為4 800萬像素、24 mm焦距,相機2參數為1 200萬像素、13 mm焦距,拍攝的積水圖像分辨率為5 712像素×4 284像素和1 R40xG13xZWxXUKXO1zP5GPmzdbAwq4dLGlUscV0ENtk=702像素×1 276像素,2臺相機拍攝的積水圖像見圖3。共收集3 000張不同環(huán)境條件下的積水圖像,經過人工精細挑選,去除掉質量較低的圖像,共篩選出在春、夏、秋、冬4個季節(jié),晴天、陰天和雨天3種天氣條件下,上午、下午和傍晚3個時間段,不同路段條件下的1 000張積水圖像。

2. 2 數據預處理

訓練前對深度學習的數據集進行數據增強,擴充數據集,避免數據集過少造成過擬合現象,同時提升模型魯棒性,提高模型泛化能力[4]。數據擴充方法有隨機裁剪、角度變換及彩色轉換等,為增加數據多樣性,考慮到不同方位和光照強度的影響,采用上下翻轉、左右翻轉、鏡像翻轉、直方圖均衡化、添加高斯噪聲和縮放將初始數據集擴充至4 000張,其中由初始數據集中前500張圖像分別進行上下翻轉、左右翻轉、鏡面翻轉(圖4a)得到1 500張,初始數據集中后500張分別進行直方圖均衡化,添加高斯噪聲和縮放(圖4b)等操作得到1 500張,為加快訓練速度,將圖像統(tǒng)一尺寸為640像素×640像素,此操作并不會影響模型識別精度[20]。數據增強后,將4 000張道路積水照片隨機在文件夾內排列,按6∶1∶1的比例分為訓練集、驗證集和測試集,其中3 000張作為訓練集,500張作為驗證集,500張作為測試集。

2. 3 數據集的標注

采用Labelimg標注工具標注數據集,每張圖片都有其對應的標簽文件,標簽格式為“. txt”,文件信息包含了類別、中心點的x、y坐標,目標框的w和h。本研究中只有一個識別種類,標簽為“ponding”。考慮到數據集數量龐大,先采用手動標注1 000張,手動制作標簽文件見圖5,訓練出權重模型文件,用于生成其他未標注圖像的標簽文件,并進行人工檢驗,修正錯誤的標簽文件,利用半自動標注完成數據集的標注。

3 模型訓練

數據預處理后進行模型訓練,硬件配置為:中央處理器為AMD Ryzen Threadripper 3970X、GPU為RTX2080Ti×4,運行環(huán)境為Linux系統(tǒng),CUDA 10. 2和Tensorflow等深度學習框架,基于添加CBAM注意力機制的YOlOv8算法訓練模型權重文件。經多次參數調整和訓練,最終設置的模型參數為:初始學習率為0. 01,批尺寸為16,模型訓練了180個epoch。

本實驗采用精確率Pression、召回率Recall和均值平均率mAP作為評價指標,見式(4)—(6)。

式中:TP、FP和FN分別為正確檢測出的道路積水數目、錯誤檢出的道路積水數目以及未被正確檢出的道路積水數目;Precission為識別出的正確正樣本數占所有被識別為正樣本的樣本數的比例;Recall為模型識別出的正樣本數占真實正樣本數的比例;AP為單類別平均檢測精度;mAP為各類別AP的平均值,表示所有目標類別的平均檢測性能[21]。

在相同的模型參數條件下,分別以CBAM- YOLOv8模型和YOLOv8模型進行訓練,模型訓練后的精確率Pression、召回率Recall和均值平均率mAP結果見圖6—8。

由圖6—8可以看出,CBAM-YOLOv8模型和YOLOv8模型在相同模型參數條件下,CBAM-YOLOv8模型在精確率、召回率、均值平均率3項評價指標上均優(yōu)于YOLOv8模型,其中,CBAM-YOLOv8模型精確率較YOLOv8模型高出約5%。CBAM-YOLOv8模型的精確率變化曲線在前60輪曲線整體呈上升趨勢,且增長幅度較快,之后開始震蕩并呈現整體緩慢增長,在第120輪達到峰值0. 942 1,從120輪之后開始曲線在0. 92左右震蕩,之后曲線出現收斂,收斂后的精確率為0. 938 3。CBAM-YOLOv8模型的召回率變化曲線整體呈上升趨勢,在前100輪增長幅度較快,之后增長幅度減緩,在第160輪達到峰值0. 895 9,之后曲線出現收斂。CBAM-YOLOv8模型的均值平均率變化曲線在前60輪曲線整體呈上升趨勢,且增長幅度較快,之后開始震蕩并呈現整體緩慢增長,在第135輪達到峰值0. 943 3,之后曲線出現收斂。從上述分析可以得出,使用添加了CBAM注意力機制的YOLOv8網絡結構訓練得到的模型,在精確率、召回率和均值平均精度這3個關鍵評價指標上都表現出優(yōu)于標準YOLOv8網絡模型的性能。此外,該模型還展現出較好的魯棒性,因此能夠更好地適應實際監(jiān)控場景的需求。

4 結果與分析

模型訓練完成并達到精度后,可調用模型對積水圖像進行識別(圖9),對于垂直方向拍攝的圖像(圖9a、9c)可直接進行識別,并進行面積提取。對非垂直方向拍攝的圖像(圖9b),經透視變換[22]后,再進行范圍識別和面積提?。▓D10)。

由圖9和圖10可知,對檢測區(qū)域1內垂直方向拍攝的圖像a可直接進行識別,識別置信度為0. 95,識別積水區(qū)域面積為1 661. 81 cm2;對監(jiān)測區(qū)域2內非垂直方向拍攝的圖像b,圖像需要經過透視變換后再進行識別,透視變換后的圖像每個像素點會按照指定的變換規(guī)則進行重新定位[23],故圖像形狀會發(fā)生變化,在深度學習中,圖像形狀的變化會影響置信度;對存在多處積水區(qū)域的圖像c,會識別圖像內多處積水區(qū)域,并計算圖像內實際積水面積之和。

在測試集中,圖像尺寸均為640像素×640像素,圖像固定像素值面積N為 409 600像素,輸出中會計算左上角和右下角像素點坐標,可計算識別框內像素值面積n,已知固定視角下圖像真實面積為A cm2,可根據攝影測量原理[24](式7)計算識別框內的真實面積a cm2,計算結果見表1。

由表1分析可知,由于積水區(qū)域形狀不規(guī)則,矩形識別框會框選出部分非積水區(qū)域,出現3個檢測區(qū)域內識別積水面積大于實際積水面積的情況,檢測區(qū)域1、2、3圖像實際積水面積分別為1 551. 63 、420. 67 、1 268. 95 cm2,識別積水面積與實測面積之間存在誤差,在進行積水面積計算的500張測試集積水圖像中,誤差均低于10%,且誤差在允許范圍內,滿足基本監(jiān)測需求。

5 總結

對1 000張河北工程大學新校區(qū)采集的積水圖像進行6種方式的數據增強,擴充數據集,基于添加CBAM注意力機制的YOLOv8模型和未添加注意力機制的YOLOv8模型做訓練,通過生成的模型權重文件對道路積水進行識別,精確率高達93. 83%,CBAM-YOLOv8模型的評價指標均優(yōu)于未添加注意力機制的模型,CBAM-YOLOv8模型精確率較YOLOv8模型高出約5%,提高了模型識別的準確率。通過透視變換和像素值關系計算并輸出識別區(qū)域積水面積,為智慧水利系統(tǒng)提供技術支持,為城市內澇積水監(jiān)測提供經驗和參考。

參考文獻:

[1]黃澤群,陳唯天,黎躍勇,等.基于DRIVE-Urban模型的長沙市區(qū)暴雨內澇災害研究[J].災害學,2024,39(1):104-108,134.

[2]國家防汛抗旱總指揮部,中華人民共和國水利部.中國水旱災害公報[M]. 北京:中國地圖出版社,2021.

[3]侯精明.深度學習技術在城市內澇監(jiān)測中的應用[J].中國防汛抗旱,2019,29(8):8.

[4]廖宇鴻,黃國如.基于深度學習和橢圓檢測的城市道路積水深度監(jiān)測方法研究[J].人民珠江,2023,44(6):1-8,17.

[5]崔齊,王杰,汪閩,等.矢量約束的面向對象高分遙感影像水體提取[J].遙感信息,2018,33(4):115-121.

[6]白崗崗,侯精明,韓浩,等.基于深度學習的道路積水智能監(jiān)測方法[J].水資源保護,2021,37(5):75-80.

[7]胡昊,李擎,馬鑫,等.基于影像的道路積水監(jiān)測研究[J].華北水利水電大學學報(自然科學版),2023,44(1):62-70.

[8]HUBEL D H, WIESEL T N. Receptive fields binocularinteraction, and functional architecture in the cat's visual cortex[J]. Journal of Physiology,1962,160(1):106-154.

[9] FUKUSHIMA K. Neocognitron: A self-organizing neural networkmodel for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics,1980(36): 193-202.

[10]LECUN Y, BOTTOU L,BENGIO Y,et al. Gradient-basedlearning applied to document recognition[C]// Proceedings of the IEEE,1998,86(11):2278 - 2324.

[11]王琳,趙耀,余靜華,等.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].農村經濟與科技,2017,28(14):295.

[12]王建榮,鄧黎明,程偉,等.基于CNN-LSTM-SE的心電圖分類算法研究[J].測試技術學報,2024,38(3):264-273.

[13]尹晶,胡永祥.基于改進YOLOv8的道路表面缺陷檢測[J].價值工程,2024,43(9):140-143.

[14]胡欣,常婭姝,秦皓,等.基于改進YOLOv8和GMM圖像點集匹配的雙目測距方法[J].圖學學報,2024,45(4):714-725.

[15]JOCHER G. Ultralytics YOLOv8[EB/OL]. https://github. com/ultralytics/ultralytics,2023.

[16]義凱.基于優(yōu)化YOLOv5s的道路場景車輛檢測算法研究[J].機械工程與自動化,2024(2):15-17.

[17]陳義嘯,沈景鳳,仲梁維.基于改進YOLOv8的森林火災檢測算法研究[J].軟件工程,2024,27(2):49-54.

[18]SHORTEN C,KHOSHGOFTAAR T M. A survey on Image Data Augmentation for Deep Learning[J]. Journal of Big Data ,2019(6).

DOI:10. 1186/s40537-019-0197-0.

[19]黃楊樂天,劉宜勝,王俊茹.基于改進YOLOv5s的藥盒鋼印日期識別方法[J].包裝工程,2024,45(7):189-196.

[20]張昭旭. CNN深度學習模型用于表情特征提取方法探究[J].現代計算機(專業(yè)版),2016,(3):41-44.

[21]湯林東,云利軍,羅瑞林,等.基于改進YOLOv5s的復雜道路交通目標檢測算法[J].鄭州大學學報(工學版),2024,45(3):64-71.

[22]YU J, GAO N,MENG Z Z,et al. High-accuracy projector calibration method for fringe projection profilometry considering perspective transformation[J]. Optics Express,2021,29(10):15053-15066.

[23]于濤.基于透視變換和SNc-YOLOv5的大塊煤識別方法應用[J].西安科技大學學報,2024,44(1):54-63.

[24]白崗崗.基于深度學習的城市積澇邊界與水位智慧測量方法研究[D].西安:西安理工大學,2021.

双牌县| 宣汉县| 镇坪县| 盐亭县| 镶黄旗| 潜山县| 麻栗坡县| 永和县| 新宁县| 酒泉市| 木里| 彭水| 翁牛特旗| 桃源县| 海丰县| 新蔡县| 惠安县| 蓬莱市| 武川县| 行唐县| 临泽县| 江孜县| 商河县| 福海县| 谢通门县| 大冶市| 泾源县| 达拉特旗| 普格县| 东丽区| 婺源县| 团风县| 道孚县| 河西区| 凌源市| 彰武县| 包头市| 彩票| 买车| 葵青区| 合山市|