張 鑫，陳 黎

(1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065; 2.武漢科技大學(xué) 智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430065)

0 引 言

據(jù)國(guó)家應(yīng)急管理部消防救援局發(fā)布的2020年全國(guó)火災(zāi)情況，其中居民住宅火災(zāi)發(fā)生10.9萬(wàn)起，占火災(zāi)總數(shù)的43.4%，其中消防車通道被堵導(dǎo)致救援滯緩的情況時(shí)有發(fā)生，且相當(dāng)部分的占用是車輛的違停造成的，此舉嚴(yán)重危害了公共消防安全。公安消防部門常通過(guò)監(jiān)控設(shè)備的監(jiān)控畫面和執(zhí)法人員巡檢來(lái)監(jiān)督檢查消防車通道的情況。但上述方案無(wú)疑是較為耗費(fèi)人力的，容易漏檢且效率不高。因此，開(kāi)發(fā)一種可以根據(jù)監(jiān)控畫面自動(dòng)進(jìn)行消防車通道占用檢測(cè)的系統(tǒng)作為輔助會(huì)極有價(jià)值。由于現(xiàn)有的城市視頻監(jiān)控設(shè)備[1]并非是針對(duì)于消防車通道監(jiān)控而特地設(shè)立的，拍攝視角、方位差異較大會(huì)造成不同圖像中車輛和消防車通道尺度差異較大，光線亮度的差異會(huì)使圖像背景信息變得較為復(fù)雜[2]。使用傳統(tǒng)的圖像檢測(cè)方法實(shí)現(xiàn)消防車通道占用自動(dòng)檢測(cè)主要存在以下難點(diǎn):一是部分圖像中只含車輛和消防車通道的局部信息，且消防車通道線框并非是同一形狀的，因而無(wú)法人工提供所有特征;二是圖像中消防車通道標(biāo)志區(qū)受到光照、遮擋陰影等影響，出現(xiàn)模糊、邊界不清晰等現(xiàn)象極大地影響了檢測(cè)的精度。

該文利用圖像語(yǔ)義分割實(shí)現(xiàn)消防車通道占用檢測(cè)。為了降低光照因素對(duì)于分割精度的影響，提出了光照補(bǔ)償模塊，在進(jìn)入語(yǔ)義分割網(wǎng)絡(luò)之前優(yōu)化了圖像的亮度信息，特別是在夜間場(chǎng)景下；改進(jìn)了網(wǎng)絡(luò)的編碼器部分，加強(qiáng)消防車通道區(qū)域的特征信息特征融合階段，結(jié)合分割結(jié)果連通區(qū)域融合的方法提升車輛與消防車通道的檢測(cè)效果。在模型檢測(cè)的基礎(chǔ)上，設(shè)計(jì)了車輛違停造成的消防車通道占用的判定算法。

1 相關(guān)工作

語(yǔ)義分割是根據(jù)圖像中包含的對(duì)象的類別對(duì)圖像中的像素進(jìn)行語(yǔ)義劃分的技術(shù),屬于圖像分割[3-4]，是機(jī)器學(xué)習(xí)和人工智能的一個(gè)分支，是圖像處理和計(jì)算機(jī)視覺(jué)的基礎(chǔ)。語(yǔ)義分割廣泛應(yīng)用于場(chǎng)景分析[5]、自動(dòng)駕駛[6]等研究領(lǐng)域。當(dāng)前語(yǔ)義分割上最先進(jìn)的方案多基于FCN[7]、VGG16[8]、ResNet[9]等。隨著技術(shù)的發(fā)展，不同的語(yǔ)義分割網(wǎng)絡(luò)出現(xiàn)了如DeepLab[10]、R-CNN[11]、RefeneNet[12]、SegNet[13]、U-Net[14]、PSPNet[15]等各具特色的網(wǎng)絡(luò)。

其中SegNet使用了編碼器-解碼器結(jié)構(gòu)。與VGG的前幾層類似，它在編碼器中也使用這種結(jié)構(gòu)。為了獲得與輸入相同的分辨率，解碼器網(wǎng)絡(luò)執(zhí)行低分辨率特征映射，然后進(jìn)行分割。SegNet的優(yōu)點(diǎn)是在上采樣過(guò)程中不需要學(xué)習(xí)，只對(duì)得到的稀疏上采樣特征圖進(jìn)行卷積。雖然SegNet已經(jīng)取得了很好的分割效果，但是分割速度仍然很慢。于是Zhao等人提出了PSPNet，它使用基于金字塔池模塊的結(jié)構(gòu)。這種設(shè)計(jì)可以幫助模型更好地獲取全局信息，從而獲得更多的上下文信息。VGG16通常與擴(kuò)張卷積一起使用，但擴(kuò)張卷積有一些缺點(diǎn)。由于并非所有像素都被計(jì)算，因此對(duì)于小對(duì)象的像素級(jí)預(yù)測(cè)相對(duì)較差。FCN通過(guò)連續(xù)下采樣獲得高層語(yǔ)義信息。在圖像語(yǔ)義分割任務(wù)中，模型預(yù)測(cè)的細(xì)節(jié)一般由圖像的空間和細(xì)節(jié)信息決定。因此，如何對(duì)空間信息進(jìn)行編碼非常重要。使用擴(kuò)張卷積來(lái)保持圖像特征圖的空間大小，可以獲得豐富的圖像細(xì)節(jié)信息。該文將使用淺層卷積設(shè)計(jì)來(lái)編碼空間信息。由于網(wǎng)絡(luò)層數(shù)較淺，因此可以編碼更詳細(xì)的信息。雖然基于FCN的方法具有良好的分割精度，但速度太慢。為了適應(yīng)更快的語(yǔ)義分割任務(wù)，一些方法采用了基于淺層ResNet的結(jié)構(gòu)，ResNet18在模型大小和性能方面相對(duì)優(yōu)于VGG16。該模型就使用ResNet18作為主干。

特征融合[16-17]廣泛應(yīng)用在最近的圖像分割中，不同尺度的融合特征是一個(gè)來(lái)提高分割性能的重要手段。高級(jí)特征具有更高的語(yǔ)義信息，但分辨率較低，詳細(xì)信息丟失嚴(yán)重。低級(jí)特征通常包含更詳細(xì)的信息和位置信息，分辨率更高。但由于卷積較少，語(yǔ)義較低，噪聲較多。兩者結(jié)合可以相互補(bǔ)充，從而提高語(yǔ)義分割的性能。該文將重點(diǎn)使用特征融合來(lái)優(yōu)化模型提取的特征信息以達(dá)到更好的分割效果。

注意力機(jī)制[18]借鑒了人類視覺(jué)注意機(jī)制。人們一般通過(guò)掃描全局圖像來(lái)快速獲取需要對(duì)焦的目標(biāo)區(qū)域，然后將更多的注意力資源投入到這個(gè)區(qū)域。深度學(xué)習(xí)的注意力機(jī)制模仿了這個(gè)過(guò)程。注意力機(jī)制的核心任務(wù)是從大量信息中提取出當(dāng)前任務(wù)最需要的目標(biāo)信息，然后重點(diǎn)關(guān)注這些信息進(jìn)行后續(xù)處理。目前，大多數(shù)注意力模型都附屬于編解碼模型框架，但它并不僅僅在這個(gè)框架中使用，而且這種框架很容易受到輸入大小的限制。該模型使用元素乘法實(shí)現(xiàn)注意力機(jī)制，此為一種更好的注意力機(jī)制思想，計(jì)算量更小，占用資源更少。

在語(yǔ)義分割中使用以上方法也可在特定場(chǎng)景下實(shí)現(xiàn)道路區(qū)域分割[2]。但文中消防車通道區(qū)域容易受到外部因素的影響，如顏色特征受光照影響強(qiáng)烈，紋理特征由于拍攝變形、弱化變得難以提取，這些變化使得上述方法難以滿足各種場(chǎng)景下的消防車通道占用檢測(cè)需求。此外，消防車通道一般選取消防車通道標(biāo)志線框作為特征。當(dāng)消防車通道標(biāo)志線受到圖像亮度、遮擋陰影等因素的干擾時(shí)，檢測(cè)到的區(qū)域在真實(shí)區(qū)域中的占比會(huì)縮小，進(jìn)而影響檢出車輛是否造成消防車通道占用的判定，造成更多的漏判。因此需要改進(jìn)語(yǔ)義分割網(wǎng)絡(luò)在保證定位準(zhǔn)確度的前提下加強(qiáng)消防車通道區(qū)域的特征信息。

該文以識(shí)別消防車通道和其上的違停車輛為目標(biāo),采用多特征融合的方法得到包含更多細(xì)節(jié)信息的融合特征，使網(wǎng)絡(luò)更好地學(xué)習(xí)消防車通道語(yǔ)義邊界信息，改善分割過(guò)程中出現(xiàn)的消防車通道邊界不連續(xù)或模糊的現(xiàn)象。此外在解碼器部分的網(wǎng)絡(luò)修改使得模型更加輕量化，推理速度更快，占用資源更少。在保證一定的消防車通道和車輛的分割精度的基礎(chǔ)之上，設(shè)計(jì)了消防車通道是否存在車輛占用的判定算法以完成消防車通道占用檢測(cè)任務(wù)。

2 文中方法

本節(jié)首先介紹消防車通道占用檢測(cè)算法的整體框架，然后分別詳細(xì)闡述光照補(bǔ)償模塊、使用的語(yǔ)義分割網(wǎng)絡(luò)模型和消防車通道占用判定方法。

2.1 算法整體框架

以識(shí)別消防車通道以及相關(guān)聯(lián)的車輛為目標(biāo)，需要實(shí)現(xiàn)消防車通道和消防車通道上車輛的分割。因消防車通道數(shù)據(jù)集獲取難度、數(shù)量、質(zhì)量與車輛數(shù)據(jù)集存在較大差異，實(shí)驗(yàn)采用兩個(gè)分割主體使用兩套數(shù)據(jù)分開(kāi)訓(xùn)練的方案，最后將分割結(jié)果合并以判定消防車通道是否存在占用。

算法整體框架如圖1所示。首先輸入圖片后使用光照補(bǔ)償模塊對(duì)輸入圖像進(jìn)行處理，再將圖片送入語(yǔ)義分割網(wǎng)絡(luò)分別得到消防車通道與車輛的分割結(jié)果，由于不是所有的車輛都是消防車通道區(qū)域之上的，所以還設(shè)計(jì)了一個(gè)篩選階段，去掉了與消防車通道在分割結(jié)果上無(wú)交集的車輛信息，此后根據(jù)提出的消防車通道占用判定規(guī)則得到有無(wú)發(fā)生占用的最終結(jié)果。

圖1 整體框架

2.2 光照補(bǔ)償模塊

為了提高復(fù)雜光照環(huán)境中特別是夜晚低亮度場(chǎng)景下消防車通道與車輛分割的準(zhǔn)確性與穩(wěn)定性，該文提出了改進(jìn)多尺度Retinex圖像增強(qiáng)算法[19]進(jìn)行數(shù)據(jù)增強(qiáng),然后利用語(yǔ)義分割模型進(jìn)行特征融合,在一定程度上解決了光照影響下圖像細(xì)節(jié)丟失、像素誤分類的問(wèn)題,從而提升了復(fù)雜光照環(huán)境下特別是夜間環(huán)境的分割準(zhǔn)確率與占用判定準(zhǔn)確率。

一般彩色圖像多用RGB顏色模型表示，但是在三種原色相關(guān)性的影響下，增強(qiáng)圖像時(shí)色彩容易出現(xiàn)失真。HSV顏色空間模型基于人類視覺(jué)系統(tǒng)，分別表示為色調(diào)H(Hue)、飽和度S(Saturation)和亮度V(Value)，且三個(gè)屬性分量之間互不干擾。與傳統(tǒng)的RGB色彩空間相比，HSV空間具有更強(qiáng)的色彩保真度。因此，該文選擇在HSV空間下增強(qiáng)圖像。具體做法如下：

首先，將原始圖像RGB空間轉(zhuǎn)換成HSV顏色空間來(lái)提取亮度分量I：

I(x,y)=max([IR(x,y),IG(x,y),IB(x,y)])

(1)

(2)

其中，GD為高斯差分函數(shù)，Gv為高斯核函數(shù)。

(3)

其中，λi,σi分別表示中央與周邊的峰值系數(shù)和尺度系數(shù)。

(4)

為達(dá)到最好的增益效果，引入了一個(gè)增益常數(shù)α，最終三通道的輸出分量R(x,y)如下：

(5)

Fj(x,y)意為第j個(gè)中心/環(huán)繞函數(shù)，表達(dá)式如下：

(6)

經(jīng)過(guò)增益后的亮度分量I最終表示如下：

(7)

亮度經(jīng)對(duì)數(shù)變換后，圖像的對(duì)比度會(huì)有一定程度的下降，會(huì)削弱對(duì)于消防車通道分割的完整性，因此還需要采取相應(yīng)的改進(jìn)方案。將當(dāng)前像素點(diǎn)的亮度與其所在的一定大小的區(qū)域的像素平均亮度進(jìn)行對(duì)比實(shí)現(xiàn)局部對(duì)比度增強(qiáng)，增強(qiáng)后的亮度圖像I'(x,y)如下所示：

(8)

其中,A為局部的線性變化率為正值常數(shù)，由此實(shí)現(xiàn)了像素點(diǎn)亮度的局部自適應(yīng)調(diào)整，如果當(dāng)前點(diǎn)的亮度低于所處局部位置的平均亮度，則增強(qiáng)該點(diǎn)的亮度。改進(jìn)的光照補(bǔ)償算法與原算法的對(duì)比效果如圖2所示。

圖2 光照補(bǔ)償效果

2.3 網(wǎng)絡(luò)模型

圖3展示了網(wǎng)絡(luò)模型的整體結(jié)構(gòu)，該文采用的是語(yǔ)義分割常用的編碼-解碼架構(gòu)。

圖3 網(wǎng)絡(luò)整體結(jié)構(gòu)

模型輸入三張尺度不同的圖像，經(jīng)過(guò)亮度補(bǔ)償模塊增強(qiáng)后，通過(guò)三個(gè)分支從不同尺度的圖像中提取特征，然后將三個(gè)分支提取到的特征融合[20]，最后檢測(cè)頭輸出結(jié)果。首先，第一個(gè)分支由4個(gè)標(biāo)準(zhǔn)單元組成，每個(gè)標(biāo)準(zhǔn)單元都是由卷積層、規(guī)范化層和池化層組成，由于該分支網(wǎng)絡(luò)層數(shù)少，它提取的圖像特征具有豐富的詳細(xì)信息，所以此分支在大尺寸圖像上進(jìn)行特征提取。第二個(gè)分支由兩個(gè)模塊組成，一個(gè)CMCA(Conv Max-pooling Conv Average-pooling)模塊和一個(gè)注意力模塊。由于CMCA模塊也是淺層網(wǎng)絡(luò)，CMCA模塊提取的特征也包含了豐富的細(xì)節(jié)信息，所以讓該層在中等尺寸的圖像上提取特征。在CMCA后面連接的注意力模塊使得網(wǎng)絡(luò)更加關(guān)注 CMCA提取的特征。第三個(gè)分支由ResNet18骨干網(wǎng)絡(luò)和FO模塊組成。ResNet首先對(duì)圖像進(jìn)行快速下采樣以獲得足夠大的感受野，但是這會(huì)造成詳細(xì)信息的嚴(yán)重丟失，該層用以提取尺度最小的圖像的特征。此后用FO模塊將第二個(gè)分支與第三個(gè)分支合并以獲得融合有詳細(xì)的信息并且具有較大感受野的特征，在經(jīng)過(guò)一個(gè)標(biāo)準(zhǔn)單元后，通過(guò)FA模塊再融合第一分支的特征得到最終的特征。通過(guò)上述操作之后，模型得到一個(gè)多尺度的融合特征。以下為上述模塊的詳細(xì)結(jié)構(gòu)闡述。

(1)CMCA模塊。

CMCA模塊由卷積層、最大池化層和平均池化層組成。為了與ResNet18分支得到的特征圖進(jìn)行合并，CMCA的第一個(gè)結(jié)構(gòu)采用步長(zhǎng)為2、大小為7的卷積核，通過(guò)最大池化層后使用步長(zhǎng)為2、大小為3的卷積核，最后通過(guò)一個(gè)平均池化層。CMCA 模塊得到的特征圖包含豐富的圖像細(xì)節(jié)信息。

(2)FO模塊。

FO模塊結(jié)構(gòu)如圖4所示，F(xiàn)O模塊的輸入來(lái)自兩個(gè)部分，一是第三個(gè)分支ResNet18經(jīng)過(guò)三次下采樣的輸出，二是加入了CMCA模塊提取的特征的輸出。圖中RA(Refine Attention)模塊代表使用注意力機(jī)制來(lái)優(yōu)化輸入特征。具體過(guò)程為：首先分辨率為原圖1/16和1/32的特征圖利用RA模塊進(jìn)行單次優(yōu)化，此后分辨率為1/16的特征圖與第二個(gè)分支的輸出相乘。分辨率為1/32的特征圖進(jìn)行上采樣和平均池化，然后和原圖相加再通過(guò)上采樣到1/16再與上分支的中間結(jié)果進(jìn)行加法計(jì)算，最后經(jīng)過(guò)一次上采樣后與1/8的特征圖相加并輸出。以上描述中所有的上采樣都使用最近鄰插值法。

圖4 FO模塊詳細(xì)結(jié)構(gòu)

(3)FA模塊。

FA模塊主要起到融合了三個(gè)分支提取到的特征的作用。首先連接兩個(gè)輸入特征，然后執(zhí)行一系列卷積操作，再經(jīng)過(guò)平均池化層和注意力層將輸出特征和卷積特征相乘，然后相加。這樣做的好處是補(bǔ)充了融合特征的詳細(xì)信息，使得特征信息更加完整，以便在進(jìn)行語(yǔ)義分割時(shí)獲得更好的分割結(jié)果。其結(jié)構(gòu)見(jiàn)圖5(左)，其中Attention表示Attention模塊。

(4)Attention模塊。

Attention模塊主要由卷積層1、ReLu層、卷積層2、Sigmoid層組成，主要是為了優(yōu)化CMCA等模塊提取到的特征。結(jié)構(gòu)見(jiàn)圖5(右)。

2.4 消防車通道占用判定

該文提出了一種基于語(yǔ)義分割的消防車通道占用判定方法，具體流程見(jiàn)圖6。

圖6 消防車通道占用判定流程

對(duì)于車輛分割圖的結(jié)果，首先篩選出其中有效的車輛位置信息，然后將車輛分割結(jié)果與消防車通道分割結(jié)果做交集運(yùn)算，若檢測(cè)出的車輛與消防車通道無(wú)交集，則認(rèn)為是無(wú)效信息，反之則為有效信息，最后將無(wú)效信息從車輛分割結(jié)果中移除，僅保留有效信息。在信息篩選之后再將車輛分割結(jié)果與消防車通道分割圖做第二次交集運(yùn)算。在此過(guò)程中，若車輛未檢測(cè)到，則無(wú)需進(jìn)行后續(xù)的占用判定，直接得到無(wú)占用的結(jié)果；若檢測(cè)到車輛存在，首先將車輛分割二值圖與消防車通道分割二值圖做交集運(yùn)算去掉不與消防車通道重合的車輛，然后分別計(jì)算出車輛分割圖Ic與消防車通道分割圖Ifl的重合率α與相對(duì)位置關(guān)系，重合率如公式(9)～公式(11)所示。

(9)

(10)

α=max(αfl,αc)

(11)

對(duì)于網(wǎng)絡(luò)的分割結(jié)果可以分為兩種情況：當(dāng)消防車通道被車輛遮擋的面積較大時(shí)，分割得到的面積較小，此時(shí)計(jì)算Ifl和Ic的交集與Ifl的比例得到αfl；二是消防車通道分割較大時(shí)，此時(shí)車輛分割面積較小，計(jì)算Ifl和Ic的交集與Ic的比例得到αc。最終的重合率α取兩者的較大值。當(dāng)α大于設(shè)定的閾值t(實(shí)驗(yàn)中使用的閾值為5%)時(shí)，認(rèn)為車輛與消防車通道區(qū)域可能存在空間上的重疊關(guān)系，此時(shí)判定消防車通道處于被占用狀態(tài)，反之則為未占用狀態(tài)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評(píng)估指標(biāo)

(1)數(shù)據(jù)集。

由于消防車通道數(shù)據(jù)集比較特殊，網(wǎng)站上并沒(méi)有該方面的公開(kāi)數(shù)據(jù)集，因此自建了需要用到的消防車通道語(yǔ)義分割數(shù)據(jù)集FireLane。每張圖片包含一個(gè) FireLane語(yǔ)義類別用以表示消防車通道的像素語(yǔ)義，還包含一個(gè)Occupancy標(biāo)志位用以表示是否發(fā)生了消防車通道占用。該數(shù)據(jù)集一共包含878張精細(xì)標(biāo)注圖片，其中夜晚場(chǎng)景178張，均為4 000×1 824像素，白天場(chǎng)景700張，均為4 608×2 112像素。由于該數(shù)據(jù)集采集和標(biāo)注工作量較大，現(xiàn)有數(shù)量的圖像同時(shí)用以訓(xùn)練和測(cè)試顯得不夠充足，數(shù)據(jù)量不足時(shí)可能會(huì)導(dǎo)致過(guò)擬合現(xiàn)象產(chǎn)生。故在原數(shù)據(jù)集的基礎(chǔ)上使用了數(shù)據(jù)增廣技術(shù)，隨機(jī)增加擴(kuò)充樣本，減少模型對(duì)某些屬性的依賴，提高模型的泛化能力。文中選取了一些較為常見(jiàn)的預(yù)處理措施，在原有圖片的基礎(chǔ)上改變圖像的幾何學(xué)特征和紋理結(jié)構(gòu)，為訓(xùn)練出更好的語(yǔ)義分割模型奠定基礎(chǔ)。這些措施包括：水平鏡像翻轉(zhuǎn)，增加整個(gè)網(wǎng)絡(luò)在方向上的不變性；隨機(jī)增加或減小圖像亮度，提高網(wǎng)絡(luò)對(duì)環(huán)境光照情況變化的適應(yīng)能力；添加隨機(jī)噪聲，如椒鹽噪聲，獲得對(duì)某些相機(jī)失真的不變性。

文中車輛分割網(wǎng)絡(luò)使用常用的道路場(chǎng)景數(shù)據(jù)集Cityscapes進(jìn)行訓(xùn)練和測(cè)試車輛分割部分，此數(shù)據(jù)集在道路場(chǎng)景分割相關(guān)的實(shí)驗(yàn)中使用較為普遍，因此不再詳細(xì)描述。

(2)評(píng)估指標(biāo)。

選擇語(yǔ)義分割中常用的交并比(IoU)作為模型分割效果的評(píng)估指標(biāo)。使用精準(zhǔn)率(Precision)、召回率(Recall)和準(zhǔn)確率(Accuracy)作為消防車通道占用檢測(cè)效果的評(píng)估指標(biāo)。

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

在深度學(xué)習(xí)框架PyTorch上實(shí)現(xiàn)并訓(xùn)練了語(yǔ)義分割網(wǎng)絡(luò)模型，本實(shí)驗(yàn)的訓(xùn)練與測(cè)試過(guò)程均在Window 10專業(yè)版+cuda10.1+cudnn7.6系統(tǒng)環(huán)境下進(jìn)行，顯卡配置為NVIDIA GeForce GTX 2070 Super。ResNet骨干網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重參數(shù)是在Cityscapes數(shù)據(jù)集上訓(xùn)練得到的，其余部分使用隨機(jī)初始化。訓(xùn)練時(shí)所有圖像的基準(zhǔn)尺寸調(diào)整為1 152×528，批處理大小設(shè)置為4，初始學(xué)習(xí)率為0.000 05，動(dòng)量參數(shù)為0.9，權(quán)值衰減為0.000 1。

3.3 實(shí)驗(yàn)結(jié)果分析

(1)在Cityscapes數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

首先將使用的語(yǔ)義分割算法與現(xiàn)有的部分算法在Cityscapes數(shù)據(jù)集[21]上進(jìn)行了對(duì)比實(shí)驗(yàn)以評(píng)估算法在道路和車輛方面的分割性能，結(jié)果如表1所示。文中算法與常規(guī)語(yǔ)義分割算法如DeepLabV3+[22]、PSPNetV2相比，分割效果略顯不足。與ESPNetV2[23]、GUN[24]等輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)相比，道路分割效果更好，分割精度更高。需要注意的是文中使用的主干網(wǎng)絡(luò)是ResNet18，主要在解碼部分做了前文提到的屬于輕量級(jí)的改進(jìn)，文中方法不需要使用很深的網(wǎng)絡(luò)即可取得較好的分割結(jié)果，在實(shí)際應(yīng)用中分割速度較快，且主要針對(duì)消防車通道此類邊界分割做了優(yōu)化。減少光照等因素對(duì)分割性能的干擾，使得一些具有豐富的邊緣特征或紋理特征的非目標(biāo)區(qū)域被誤分割的情況顯著減少。Cityscapes數(shù)據(jù)集中的測(cè)試數(shù)據(jù)都是白天城市場(chǎng)景，無(wú)法體現(xiàn)文中方法在夜間的道路分割效果，但此對(duì)比實(shí)驗(yàn)仍然證明了文中方法在車輛和道路上分割的有效性和準(zhǔn)確性。

表1 與其他算法在Cityscapes數(shù)據(jù)集中Road和Car類別的比較結(jié)果 %

(2)在FireLane數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

圖7展示了在幾個(gè)有代表性的不同場(chǎng)景的實(shí)驗(yàn)中消防車通道分割結(jié)果，其中白天場(chǎng)景為測(cè)試集中白天拍攝的光照條件良好的圖片，夜晚場(chǎng)景為測(cè)試集中夜間拍攝的亮度較低，光照影響較大的圖片。

當(dāng)圖像質(zhì)量較高，外界因素影響較少且消防車通道線比較明顯時(shí)，各網(wǎng)絡(luò)模型都可以較為準(zhǔn)確地分割出消防車通道區(qū)域，如圖7中的白天場(chǎng)景。

圖7 在FireLane數(shù)據(jù)集上的部分實(shí)驗(yàn)結(jié)果

在夜晚場(chǎng)景1中，整體亮度稍低，消防車通道線有明顯的磨損與邊界模糊。文中在未加入光照補(bǔ)償時(shí)，相對(duì)于圖中其他方法仍具有一定的優(yōu)勢(shì)，這主要得益于解碼部分的多尺度特征融合，網(wǎng)絡(luò)對(duì)于整體特征和局部細(xì)節(jié)特征的合并使得圖像上文信息得以充分利用，減少了消防車通道線的損失。在夜晚場(chǎng)景1，2中，夜晚場(chǎng)景的分割精度在視覺(jué)上有了明顯的提升，此項(xiàng)提升歸功于光照補(bǔ)償模塊的局部亮度自適應(yīng)策略,明顯改善了圖像存在的低亮度、低對(duì)比度和陰影等問(wèn)題帶來(lái)的影響，有效地提高了圖像進(jìn)入分割時(shí)的視覺(jué)質(zhì)量。

需要注意的是，由于FireLane數(shù)據(jù)集缺少車輛的標(biāo)注信息，且車輛分割經(jīng)實(shí)驗(yàn)論證具有相當(dāng)?shù)木_性，所以文中的消防車通道占用檢測(cè)實(shí)驗(yàn)是在車輛分割結(jié)果默認(rèn)為可靠的前提下進(jìn)行的，實(shí)驗(yàn)結(jié)果如表2所示。其中的交并比IoU指標(biāo)同Cityscapes對(duì)比實(shí)驗(yàn)，反映了消防車通道分割的性能；精準(zhǔn)率Precision與召回率Recall為真實(shí)正例的統(tǒng)計(jì)情況，實(shí)驗(yàn)中召回率稍低是因?yàn)樵谝雇韴?chǎng)景中，部分圖片中消防車通道被車輛占用的部分由于遮擋和光照未檢測(cè)出來(lái)，致使檢測(cè)出的占用結(jié)果不夠全面。精確率較高則主要有兩個(gè)原因，一是分割出來(lái)的部分的占用判定結(jié)果較為準(zhǔn)確，二是測(cè)試集中相當(dāng)部分消防車通道未發(fā)生占用。占用判定的準(zhǔn)確率Accuracy為判定正確的部分占所有結(jié)果的比例，根據(jù)標(biāo)簽中的Occupancy是否命中計(jì)算得到，此部分結(jié)果反映了算法判定的準(zhǔn)確度。

表2 FireLane數(shù)據(jù)集中不同場(chǎng)景消防車通道占用檢測(cè)結(jié)果 %

實(shí)驗(yàn)結(jié)果表明，文中的消防車通道占用檢測(cè)在白天場(chǎng)景準(zhǔn)確度很高，在夜間也具有相當(dāng)?shù)臏?zhǔn)確度,其中光照補(bǔ)償模塊對(duì)夜間的提升尤為明顯。

4 結(jié)束語(yǔ)

針對(duì)消防車通道占用而堵塞“生命通道”的問(wèn)題，提出了消防車通道占用檢測(cè)算法，在圖像編碼之前使用光照補(bǔ)償模塊優(yōu)化圖片的亮度信息，解碼器部分使用多特征融合的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行基礎(chǔ)網(wǎng)絡(luò)改進(jìn)顯著強(qiáng)化了特征信息的提取過(guò)程，使得消防車通道的邊緣信息更加完整，分割結(jié)果更加準(zhǔn)確。為了合理判定車輛是否占用消防車通道，利用前述步驟得到的結(jié)果，設(shè)計(jì)了一種判定算法，在制作的含精細(xì)標(biāo)注的消防車通道數(shù)據(jù)集FireLane上，對(duì)于較為復(fù)雜和消防車通道占用易發(fā)生的夜間判定準(zhǔn)確率也達(dá)到了85%以上，具有一定的實(shí)用價(jià)值，可以大量減少城市管理部門和消防部門對(duì)于消防車通道占排查上花費(fèi)的人力物力。

深入分析實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，最終檢測(cè)結(jié)果較為依賴語(yǔ)義分割模型的輸出，且夜間場(chǎng)景上的指標(biāo)明顯低于白天場(chǎng)景。因此，如何更進(jìn)一步地提高網(wǎng)絡(luò)在夜間場(chǎng)景及更為復(fù)雜場(chǎng)景下消防車通道的分割效果，提高檢測(cè)精度將是今后的研究重點(diǎn)。