方遒，李偉林，梁卓凡，陳韜陽(yáng)

（1.廈門(mén)理工學(xué)院 福建省客車(chē)先進(jìn)設(shè)計(jì)與制造重點(diǎn)實(shí)驗(yàn)室，福建，廈門(mén) 361024；2.廈門(mén)大學(xué) 航空航天學(xué)院，福建，廈門(mén) 361005）

隨著人們對(duì)汽車(chē)需求的提高和人工智能技術(shù)的快速發(fā)展，高級(jí)駕駛輔助系統(tǒng)(advanced driver assistance system, ADAS)得到了快速的發(fā)展[1?2].ADAS 包括了自適應(yīng)巡航、車(chē)道偏移報(bào)警、車(chē)道保持、碰撞避免等功能[3].車(chē)道線(xiàn)檢測(cè)作為ADAS 獲取外界信息的基本步驟之一，在其中發(fā)揮著至關(guān)重要的作用.一個(gè)準(zhǔn)確且可靠的車(chē)道線(xiàn)檢測(cè)方法可以幫助軌跡規(guī)劃[4]、行為決策等其他模塊做出正確的決策[5].

當(dāng)前的車(chē)道線(xiàn)檢測(cè)方法大致可以分為兩類(lèi)：一類(lèi)是基于傳統(tǒng)機(jī)器視覺(jué)的車(chē)道線(xiàn)檢測(cè)方法，另外一類(lèi)基于深度學(xué)習(xí)的車(chē)道線(xiàn)檢測(cè)方法.

傳統(tǒng)的方法主要通過(guò)提取人為設(shè)計(jì)的特征來(lái)檢測(cè)車(chē)道線(xiàn).常用的特征有邊緣特征[6?8]、顏色特征[9?11]、消失點(diǎn)特征[12?14]等.此外，在車(chē)道線(xiàn)模型的選擇上也可以分為直線(xiàn)模型[15?16]、曲線(xiàn)模型[17]、混合模型[18?20]等.人為設(shè)計(jì)的特征和模型作為檢測(cè)的基礎(chǔ)雖然更加符合人類(lèi)的視覺(jué)感受，但是對(duì)于以計(jì)算機(jī)為基礎(chǔ)的計(jì)算機(jī)視覺(jué)往往不是最優(yōu)解.當(dāng)面對(duì)復(fù)雜環(huán)境比如遮擋、車(chē)道線(xiàn)缺失、光照不均勻等時(shí)，傳統(tǒng)視覺(jué)方法往往無(wú)法穩(wěn)定正確地檢測(cè)出車(chē)道線(xiàn).

基于深度學(xué)習(xí)的車(chē)道線(xiàn)檢測(cè)方法主要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取特征并進(jìn)行識(shí)別.不同于傳統(tǒng)方法的是，其特征設(shè)計(jì)是由機(jī)器學(xué)習(xí)得來(lái)的，而非人為設(shè)計(jì).這樣學(xué)習(xí)得到的特征更容易達(dá)到計(jì)算機(jī)視覺(jué)提取信息的目的.

一些學(xué)者將機(jī)器學(xué)習(xí)和傳統(tǒng)圖像處理想結(jié)合，希望能夠?qū)烧叩膬?yōu)點(diǎn)結(jié)合.LI 等[21]對(duì)圖像進(jìn)行預(yù)處理，然后通過(guò)CZF-VPGNet 網(wǎng)絡(luò)檢測(cè)預(yù)處理后圖像中的車(chē)道線(xiàn).PIZZATI 等[22]選擇ERFNet 作為第一個(gè)網(wǎng)絡(luò)來(lái)獲得車(chē)道線(xiàn)的實(shí)例分割圖像，然后通過(guò)第二個(gè)CNN 網(wǎng)絡(luò)來(lái)檢測(cè)人為設(shè)計(jì)好的不同大小的描述符來(lái)對(duì)車(chē)道線(xiàn)進(jìn)行分類(lèi).LI 等[23]通過(guò)LPU 單元以線(xiàn)路建議作為參考來(lái)定位準(zhǔn)確的交通曲線(xiàn)，迫使系統(tǒng)學(xué)習(xí)整個(gè)交通線(xiàn)路的全局特征表示.這些方法在使用深度學(xué)習(xí)進(jìn)行信息處理的同時(shí)保留了部分人為干預(yù)在其中，人為設(shè)計(jì)因素對(duì)網(wǎng)絡(luò)輸出結(jié)果影響較大.

LaneNet[24]提出將車(chē)道線(xiàn)檢測(cè)問(wèn)題轉(zhuǎn)化為實(shí)例分割問(wèn)題.通過(guò)將車(chē)道線(xiàn)檢測(cè)問(wèn)題轉(zhuǎn)化為實(shí)例分割問(wèn)題，不僅擺脫了人為設(shè)計(jì)特征的限制，而且使車(chē)道線(xiàn)檢測(cè)網(wǎng)絡(luò)可以參考較為成熟的實(shí)例分割領(lǐng)域的網(wǎng)絡(luò).在其基礎(chǔ)上，GUO 等[25]引入雙注意力機(jī)制來(lái)增強(qiáng)車(chē)道線(xiàn)特征的表示，ZHANG 等[26]利用ResNeSt 提出的分離注意力機(jī)制改進(jìn)了車(chē)道標(biāo)線(xiàn)的細(xì)長(zhǎng)和稀疏的特征，可以檢測(cè)沒(méi)有數(shù)量限制的車(chē)道.盡管與其他成熟網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合帶來(lái)了車(chē)道線(xiàn)檢測(cè)效果的提升，但是依然無(wú)法達(dá)到車(chē)道線(xiàn)檢測(cè)的要求.SCNN[27]提出一種新的圖像信息傳遞方式，使信息不僅可以在一般深度學(xué)習(xí)的層與層之間傳遞，也可以在行與行、列與列之間傳遞.該方法網(wǎng)絡(luò)結(jié)構(gòu)充分考慮了車(chē)道線(xiàn)在圖像中的特點(diǎn)，但是網(wǎng)絡(luò)運(yùn)行速度緩慢，對(duì)設(shè)備要求嚴(yán)格.PINet[28]結(jié)合關(guān)鍵點(diǎn)檢測(cè)與點(diǎn)云實(shí)例分割的方法成功實(shí)現(xiàn)了新的車(chē)道線(xiàn)處理算法，可適用于任意場(chǎng)景、檢測(cè)任意數(shù)量的車(chē)道線(xiàn).通過(guò)統(tǒng)一全部通道數(shù)使參數(shù)量大大減小，將特征提取模塊設(shè)計(jì)為可選個(gè)數(shù)的沙漏模塊，使其在不同計(jì)算能力的設(shè)備上可以選擇最符合需求的模型.

近年來(lái)，相較于同樣參數(shù)的一般卷積，可以在不增加運(yùn)算時(shí)間的同時(shí)根據(jù)需求擴(kuò)大感受野的空洞卷積被大量使用.DING 等[29]以VGG16 網(wǎng)絡(luò)為基礎(chǔ)，通過(guò)空洞卷積代替最后三個(gè)卷積層提取車(chē)道線(xiàn)特征，以計(jì)數(shù)器池的方式對(duì)編碼器進(jìn)行上采樣，實(shí)現(xiàn)語(yǔ)義分割，最終實(shí)現(xiàn)實(shí)例分割和虛實(shí)識(shí)別.LIU 等[30]將空間卷積和空洞卷積組合成信息交換塊，增強(qiáng)像素之間的信息傳遞，更有效地利用垂直空間特征，更好地檢測(cè)被遮擋的車(chē)道線(xiàn)，提高了算法的穩(wěn)健性.CAI等[31]為解決目標(biāo)像素?cái)?shù)和背景像素?cái)?shù)的不平衡的問(wèn)題，通過(guò)合理組合感受野提取特征，避免圖像過(guò)度分段的同時(shí)減少了環(huán)境的干擾，并為其提出了專(zhuān)門(mén)的評(píng)分機(jī)制.但是，這些空洞卷積在這些網(wǎng)絡(luò)中的應(yīng)用效果并不理想.這是因?yàn)?，?dāng)為了獲取更大感受野而選取較大空洞率時(shí)，卷積核每個(gè)計(jì)算點(diǎn)之間的距離會(huì)變得過(guò)大，從而導(dǎo)致對(duì)空間信息的利用效果下降.而在車(chē)道線(xiàn)檢測(cè)中，網(wǎng)絡(luò)往往需要較大的感受野才能高效率的提取其特征信息.

基于以上情況，提出一種基于多尺度復(fù)合卷積和圖像分割融合的車(chē)道線(xiàn)檢測(cè)算法.所使用的網(wǎng)絡(luò)在下采樣后使用多尺度復(fù)合卷積提取特征并在之后通過(guò)圖像分割融合模塊增強(qiáng)全局特征.結(jié)合空洞卷積、全卷積和標(biāo)準(zhǔn)卷積得到的多尺度復(fù)合卷積可以在更大感受野上有效地利用圖像信息.引入語(yǔ)義分割分支的圖像分割融合模塊提高實(shí)例分割網(wǎng)絡(luò)的全局信息利用.在CULane 數(shù)據(jù)集中的實(shí)驗(yàn)表明：本文算法相比現(xiàn)有算法做出了一定的改進(jìn)，評(píng)價(jià)指標(biāo)得到提高.

1 本文算法

本節(jié)概述了使用多尺度復(fù)合卷積獲取更大感受野的車(chē)道線(xiàn)檢測(cè)神經(jīng)網(wǎng)絡(luò).網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1 所示，網(wǎng)絡(luò)整體流程如圖2 所示，網(wǎng)絡(luò)的整體框架由4部分組成，包括下采樣模塊、多尺度復(fù)合卷積模塊、圖像分割融合模塊和解碼器模塊.下采樣模塊將圖像的特征信息進(jìn)行壓縮，降低后續(xù)網(wǎng)絡(luò)的計(jì)算量.網(wǎng)絡(luò)采用主流方式的下采樣方式，即卷積層后接最大池化層的方式.網(wǎng)絡(luò)一共對(duì)圖像進(jìn)行4 次壓縮，即采用4 個(gè)下采樣模塊，每個(gè)模塊按照信息壓縮的需求配置不同層數(shù)的卷積層和最大池化層.多尺度復(fù)合卷積模塊對(duì)下采樣后的圖像進(jìn)行進(jìn)一步的特征提取，為了進(jìn)一步提高精度，將2 個(gè)復(fù)合卷積模塊串聯(lián).多尺度復(fù)合卷積模塊有5 個(gè)分支，每個(gè)分支提取不同大小的特征.圖像分割融合模塊利用語(yǔ)義分割分支輔助實(shí)例分割分支，從而提高最終實(shí)例分割的效果.上采用模塊采用轉(zhuǎn)置卷積層和普通卷積層結(jié)合的方式實(shí)現(xiàn).相比下采樣階段，上采樣階段使用更少的卷積層，以提高網(wǎng)絡(luò)的運(yùn)行速度.網(wǎng)絡(luò)對(duì)圖像進(jìn)行實(shí)例分割，不僅區(qū)分圖像中每個(gè)像素屬于車(chē)道線(xiàn)還是背景，而且將每個(gè)車(chē)道線(xiàn)像素歸類(lèi)到具體每條車(chē)道線(xiàn)所屬的類(lèi)別中.根據(jù)所使用的數(shù)據(jù)集的圖像標(biāo)記，本文算法最多同時(shí)可檢測(cè)到4 條車(chē)道線(xiàn)，這足夠應(yīng)對(duì)大多數(shù)行車(chē)環(huán)境.網(wǎng)絡(luò)各層輸入輸出如表1 所示.

表1 網(wǎng)絡(luò)各層輸入輸出Tab.1 Input and output of each layer of the network

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall structure of the network

圖2 算法整體流程Fig.2 Overall process of algorithm

1.1 多尺度復(fù)合卷積模塊

特征金字塔作為一種提取大范圍特征信息的手段被許多車(chē)道線(xiàn)檢測(cè)網(wǎng)絡(luò)使用.在特征金字塔中，通過(guò)組合不同空洞率的卷積層來(lái)達(dá)到獲取不同尺度的特征.由于空洞率過(guò)大時(shí)候容易導(dǎo)致提取信息松散、特征提取差的情況，特征金字塔無(wú)法采取太大的空洞率而選擇增加卷積層數(shù)的方法來(lái)提取特征.但這也導(dǎo)致了網(wǎng)絡(luò)參數(shù)增加、網(wǎng)絡(luò)結(jié)構(gòu)加深，使得網(wǎng)絡(luò)更加復(fù)雜和難以訓(xùn)練.

從特征金字塔的應(yīng)用可以看出，不同局域之間的局部特征和圖像整體的全局特征之間的信息傳遞有助于實(shí)例分割的實(shí)現(xiàn).一個(gè)有利于更大范圍的局部特征和全局特征融合的網(wǎng)絡(luò)是有必要的.為了能夠在更大范圍上應(yīng)用空洞卷積，而且避免信息的丟失，本文提出一種多尺度復(fù)合卷積.此結(jié)構(gòu)不同于特征金字塔，為了拓展特征提取的感知領(lǐng)域，在網(wǎng)絡(luò)中的多種尺度的空洞卷積后面均再進(jìn)行額外的卷積.與特征金字塔相比，多尺度復(fù)合卷積可以在更大尺度上進(jìn)行特征提取，有效地收集不同層次的特征信息.

多尺度復(fù)合卷積的原理如圖3 所示，相較于一般的空洞卷積在擴(kuò)張后造成卷積位置信息的分散，多尺度復(fù)合卷積在空洞卷積后首先通過(guò)一次全卷積對(duì)不同通道的信息進(jìn)行整合，然后根據(jù)擴(kuò)張的比例在卷積位置再進(jìn)行一次標(biāo)準(zhǔn)卷積，彌補(bǔ)空間信息的丟失.在網(wǎng)絡(luò)的構(gòu)建中，為了更有效地提取信息并且防止卷積層之間的信息冗余，各個(gè)復(fù)合卷積層的第一層空洞率和第三層卷積尺寸均有不同的組合.

圖3 各卷積原理圖Fig.3 Schematic diagram of each convolution

如圖3(a)所示，一個(gè)標(biāo)準(zhǔn)3×3 卷積具有3×3 的感受野和9 個(gè)參數(shù).如圖3(b)所示，一個(gè)尺寸為3×3、空洞率為4 的空洞卷積具有9×9 的感受野和9 個(gè)參數(shù).當(dāng)空洞率為1 時(shí)，空洞卷積退化為標(biāo)準(zhǔn)卷積.如圖3(c)所示，一個(gè)全卷積具有1×1 的感受野和1 個(gè)參數(shù).感受野計(jì)算公式如式(1)所示

式中：W和H分別為卷積核的寬和高；R為空洞率.W和H一般取相同的數(shù)值，這樣方便計(jì)算且更加符合人們的直觀(guān)感受.

多尺度復(fù)合卷積效果如圖4 所示，在圖像進(jìn)行空洞卷積之后再進(jìn)行一次全卷積和標(biāo)準(zhǔn)卷積.由于第一次卷積后的每個(gè)像素實(shí)際上提取了卷積前3×3像素的信息，全卷積不改變信息范圍，因此進(jìn)行第三次卷積時(shí)，感受野相對(duì)于卷積前圖像為11×11.在獲取相同11×11 感受野的情況下，空洞卷積的卷積核尺寸為3×3、空洞率為5，雖然相比多尺度復(fù)合卷積計(jì)算更快，但是提取到的信息密度大幅度下降；標(biāo)準(zhǔn)卷積的卷積核尺寸為11×11，具有最高的信息密度，但是其參數(shù)量和計(jì)算量遠(yuǎn)遠(yuǎn)大于多尺度復(fù)合卷積.本文網(wǎng)絡(luò)多尺度復(fù)合卷積模塊的參數(shù)如圖5 所示，其中每個(gè)分支采用不同空洞卷積和標(biāo)準(zhǔn)卷積的組合，空洞卷積的空洞率和標(biāo)志卷積的尺寸決定提取特征的大小和主要效果，空洞卷積的尺寸均為3×3.網(wǎng)絡(luò)使用兩個(gè)多尺度復(fù)合卷積模塊提高效率.

圖4 復(fù)合卷積原理圖Fig.4 Composite convolution schematic diagram

圖5 多尺度復(fù)合卷積模塊Fig.5 Multiscale composite convolution module

1.2 圖像分割融合模塊

在文獻(xiàn)[31] 中，將車(chē)道線(xiàn)檢測(cè)任務(wù)分為語(yǔ)義分割任務(wù)和實(shí)例分割任務(wù)，并由網(wǎng)絡(luò)分別輸出兩者的檢測(cè)結(jié)果.這是因?yàn)橄啾葘?shí)例分割而言，將圖像視為語(yǔ)義分割任務(wù)（車(chē)道線(xiàn)和背景）更為簡(jiǎn)單，并且容易取得良好的效果.但是這樣人為的將檢測(cè)任務(wù)分為兩個(gè)不同的任務(wù)反而加大網(wǎng)絡(luò)的訓(xùn)練難度.因此，在文獻(xiàn)[32]中，將車(chē)道線(xiàn)檢測(cè)任務(wù)直接視為實(shí)例分割任務(wù)，并將每個(gè)輸出通道視為一類(lèi).這樣設(shè)計(jì)網(wǎng)絡(luò)簡(jiǎn)化了解碼器結(jié)構(gòu)，但是將一個(gè)輸出通道視為一個(gè)類(lèi)別使得每個(gè)通道更加關(guān)心自己的所屬類(lèi)別而減少了對(duì)全局信息的關(guān)注，這對(duì)車(chē)道線(xiàn)檢測(cè)來(lái)說(shuō)是不利的.

圖像分割融合模塊結(jié)構(gòu)如圖6 所示.全連接層對(duì)多尺度復(fù)合卷積模塊輸出的圖像特征信息進(jìn)行分類(lèi)后分別給出實(shí)例分割分支和語(yǔ)義分割分支的特征圖像，兩者與跳躍分支拼接后輸入解碼器中.實(shí)例分割分支和語(yǔ)義分割分支的特征圖像分別經(jīng)過(guò)一次雙線(xiàn)性插值調(diào)整到與真值圖相同尺寸，并各自通過(guò)一次卷積調(diào)整通道后計(jì)算損失函數(shù).在車(chē)道線(xiàn)檢測(cè)中，漏檢和誤檢往往是由于在解碼器初始階段全局信息的缺失，引入的語(yǔ)義分割圖像相比實(shí)例分割圖像更加注重全局特征，可以有效改善該情況.

圖6 圖像分割融合模塊Fig.6 Image segmentation fusion module

1.3 損失函數(shù)的設(shè)計(jì)

網(wǎng)絡(luò)的訓(xùn)練就是根據(jù)損失函數(shù)對(duì)預(yù)測(cè)結(jié)果和真值的差距對(duì)參數(shù)進(jìn)行更新，因此損失函數(shù)的選擇對(duì)網(wǎng)絡(luò)的訓(xùn)練至關(guān)重要.本文網(wǎng)絡(luò)將車(chē)道線(xiàn)檢測(cè)任務(wù)視為實(shí)例分割任務(wù)，因此選擇實(shí)例分割任務(wù)中常用的交叉熵作為損失函數(shù).

在網(wǎng)絡(luò)的預(yù)測(cè)圖像中，每個(gè)像素包含5 個(gè)通道，分別代表該像素屬于背景和4 條車(chē)道線(xiàn)的置信度.為了得到每個(gè)像素上預(yù)測(cè)的類(lèi)別序號(hào)，首先對(duì)預(yù)測(cè)圖像使用softmax 函數(shù)使像素各類(lèi)別的置信度歸一化到區(qū)間[0,1] 且和為1，然后對(duì)該維度進(jìn)行max 運(yùn)算選取置信度最大的類(lèi)別序號(hào)作為預(yù)測(cè)類(lèi)別

式中：Ti為某個(gè)輸出分支的真值圖的像素：Ci為該分支置信度圖像的像素；yi為像素所屬類(lèi)別.

在許多網(wǎng)絡(luò)設(shè)計(jì)中，往往單獨(dú)計(jì)算解碼器最終輸出的預(yù)測(cè)圖像和真值圖像之間的損失函數(shù).然而，這無(wú)法對(duì)解碼器其他尺寸的預(yù)測(cè)圖像進(jìn)行有效的反饋，使得網(wǎng)絡(luò)在其他同尺寸上對(duì)車(chē)道線(xiàn)的預(yù)測(cè)偏離真值.為了提高網(wǎng)絡(luò)對(duì)各尺度車(chē)道線(xiàn)的預(yù)測(cè)效果并對(duì)圖像分割融合模塊進(jìn)行監(jiān)督.本文選擇一個(gè)權(quán)值交叉熵?fù)p失函數(shù)

式中：wi和li分別為各實(shí)例分割分支的權(quán)值和交叉熵?fù)p失；wc和lc分別為語(yǔ)義分割分支的權(quán)值和交叉熵?fù)p失；lall為網(wǎng)絡(luò)總的交叉熵?fù)p失.該方法可以有效地提高反卷積層對(duì)車(chē)道線(xiàn)的復(fù)現(xiàn)能力，并充分考慮語(yǔ)義分割分支所體現(xiàn)的全局特征信息，特別是在第一層反卷積層中更好地定位到各條車(chē)道線(xiàn)的位置，降低了小尺度上的特征遺漏導(dǎo)致的最終車(chē)道線(xiàn)的漏檢率和過(guò)度擬合導(dǎo)致的誤檢率.

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集

車(chē)道線(xiàn)檢測(cè)常用到的公開(kāi)數(shù)據(jù)集有TuSimple 數(shù)據(jù)集和CULane 數(shù)據(jù)集.其中TuSimple 數(shù)據(jù)集包括3 626 張帶注釋的訓(xùn)練圖片和2 782 張測(cè)試圖片.這些圖片是在交通量很少且車(chē)道標(biāo)記透明的受限場(chǎng)景下拍攝的，且未標(biāo)記磨損和被阻擋的車(chē)道線(xiàn).同時(shí)由于圖片數(shù)量的限制，其區(qū)分不同網(wǎng)絡(luò)性能的能力不足.因此本文選擇數(shù)據(jù)量更大，更富有挑戰(zhàn)性的CULane 數(shù)據(jù)集.

CULane 數(shù)據(jù)集由安裝在6 輛由北京不同駕駛員駕駛的不同車(chē)輛上的攝像頭收集的.其收集了超過(guò)55 h 的視頻，并提取了133 235 幀.數(shù)據(jù)集分為88 880張訓(xùn)練集圖片，9 675 張驗(yàn)證集圖片和34 680 張測(cè)試集圖片，分為Noramal 和8 個(gè)具有挑戰(zhàn)性的類(lèi)別：Crowd、Dazzle、Shadow、No Line、Arrow、Curve、Cross和Night，每個(gè)場(chǎng)景的比例如圖7 所示.對(duì)于每一幀，CULane 數(shù)據(jù)集使用三次樣條曲線(xiàn)手動(dòng)注釋行車(chē)道，當(dāng)車(chē)道標(biāo)記被車(chē)輛遮擋或看不見(jiàn)時(shí)，會(huì)根據(jù)上下文將車(chē)道線(xiàn)從消失位置一直標(biāo)記到圖像最下方.數(shù)據(jù)集默認(rèn)圖片分辨率為1 640×590，這樣扁長(zhǎng)的圖片來(lái)源于車(chē)載的廣角攝像頭，但這對(duì)于深度學(xué)習(xí)是不利的.因此，本文在將圖片輸入網(wǎng)絡(luò)前，對(duì)圖片進(jìn)行了尺寸的調(diào)整和像素?cái)?shù)值的歸一化.

圖7 CULane 數(shù)據(jù)集比例Fig.7 CULane dataset scale

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

在車(chē)道線(xiàn)檢測(cè)中，車(chē)道線(xiàn)的漏檢和誤檢是造成事故的重要原因，也是人們關(guān)心的算法指標(biāo).通常在目標(biāo)檢測(cè)任務(wù)中，采用準(zhǔn)確率和召回率作為評(píng)價(jià)車(chē)道線(xiàn)檢測(cè)模型的指標(biāo).在車(chē)道線(xiàn)檢測(cè)任務(wù)中，準(zhǔn)確率反映了漏檢車(chē)道線(xiàn)的占比，召回率反映了誤檢車(chē)道線(xiàn)的占比，但是這些單個(gè)指標(biāo)不能綜合地體現(xiàn)出模型的好壞.因此，為了更好地對(duì)我們的模型做出評(píng)價(jià)，并方便與其他研究者的工作進(jìn)行對(duì)比，本文選擇CULane 官方提供的評(píng)價(jià)標(biāo)準(zhǔn)F1measure.另外，為了提高最終的評(píng)價(jià)指標(biāo)，LaneNet 通過(guò)傳統(tǒng)圖像算法對(duì)網(wǎng)絡(luò)輸出的圖像進(jìn)行后續(xù)處理[24].但是，這樣不能客觀(guān)地評(píng)價(jià)網(wǎng)絡(luò)的性能，因此在后續(xù)性能比較中，本文網(wǎng)絡(luò)輸出的圖像不進(jìn)行后續(xù)處理.

式中：T/F表示真/假，表示預(yù)測(cè)是否正確；P/N表示正/負(fù)，表示預(yù)測(cè)結(jié)果為正或負(fù)；γ的值設(shè)置為1.當(dāng)預(yù)測(cè)圖像與真值圖像的交并比（intersection over union，IOU）大于閾值時(shí)，判斷為T(mén)P，否則為FP.IOU 閾值通常選取0.3 或0.5.

2.3 本文算法不同性能指標(biāo)

選取更大的IOU 閾值可以獲取質(zhì)量更好的預(yù)測(cè)圖像，但是也容易將圖像判定為假.如圖8 所示，圖中用不同顏色標(biāo)記了檢測(cè)到的車(chē)道線(xiàn)，當(dāng)選取IOU閾值為0.5 時(shí)，黃色車(chē)道線(xiàn)由于被前車(chē)遮擋導(dǎo)致檢測(cè)效果不佳而被判為FP，而當(dāng)選取IOU 閾值為0.3 時(shí)，其依然可以判為T(mén)P.從表2 可以看出，當(dāng)選取0.3 作為閾值時(shí)，本文算法的整體F1measure高于選取0.5 作為閾值.但是為了獲取更高的圖像質(zhì)量和方便與其他算法進(jìn)行比較，后續(xù)實(shí)驗(yàn)均選取0.5 作為閾值.

表2 算法不同性能指標(biāo)Tab.2 Different performance indicators of the algorithm

圖8 算法檢測(cè)結(jié)果Fig.8 Algorithm detection results

2.4 算法整體檢測(cè)結(jié)果比較

本文提出的算法通過(guò)與其他算法比較在CULane 數(shù)據(jù)集上的F1measure值來(lái)驗(yàn)證其有效性.表3 展現(xiàn)了本文算法與LaneNet[24]、DeepLabV2[33]、ResNet-101[34]、Res34-VP[35]、Res101-SAD[36]和SCNN[27]算 法的比較結(jié)果[32?36].實(shí)驗(yàn)結(jié)果表明，本文算法在整體性能上優(yōu)于其他比較算法.在多種路況中，由于引入多尺度復(fù)合卷積和圖像分割融合模塊提取更大范圍的信息，檢測(cè)結(jié)果有明顯提升，整體的F1measure達(dá)到74.9%，運(yùn)行時(shí)間達(dá)到22.3 ms.在Noramal、Crowd、Dazzle、No Line、Cross 場(chǎng)景和Total 中均優(yōu)于其他對(duì)比算法.

表3 算法整體比較結(jié)果Tab.3 Overall comparison results of algorithms

2.5 不同場(chǎng)景檢測(cè)結(jié)果比較

圖9 給出了在多種困難場(chǎng)景下網(wǎng)絡(luò)的檢測(cè)結(jié)果，圖中用4 種顏色標(biāo)記了檢測(cè)到的車(chē)道線(xiàn)，圖片每行按照Normal、Crowd、Dazzle、Shadow、No Line、Arrow、Curve、Cross 和Night 順序排列，第1 列為輸入圖像，第2 列為預(yù)測(cè)圖像，第3 列為真值圖像.以上測(cè)試結(jié)果可以看出，本文算法在多種困難場(chǎng)景下均可有效檢測(cè)出圖片中的車(chē)道線(xiàn)，無(wú)論是Noramal 場(chǎng)景中還是在挑戰(zhàn)性條件下.本文提出的車(chē)道線(xiàn)檢測(cè)算法在Dazzle、Shadow 和Arrow 等帶有強(qiáng)烈環(huán)境干擾的場(chǎng)景中可以克服環(huán)境的干擾，在圖像中提取和識(shí)別到車(chē)道線(xiàn)的正確特征并檢測(cè)出正確的車(chē)道線(xiàn)位置.在Crowd、No Line 和Night 等車(chē)道線(xiàn)缺失、被遮擋等場(chǎng)景中可以做出一定的邏輯推理，準(zhǔn)確找到圖像中待檢車(chē)道線(xiàn)的位置.在需要檢測(cè)曲線(xiàn)段的Curve 場(chǎng)景中，網(wǎng)絡(luò)可以將斜率較大部分視為曲線(xiàn)進(jìn)行檢測(cè)，將斜率較小的部分仍然視為直線(xiàn)，最終檢測(cè)出車(chē)道線(xiàn)的正確位置.在沒(méi)有車(chē)道線(xiàn)的Arrow 場(chǎng)景中，雖然圖像中經(jīng)常會(huì)出現(xiàn)明顯的線(xiàn)段（比如人行橫道等），但是該線(xiàn)段并非需要檢測(cè)的車(chē)道線(xiàn)類(lèi)別，需要網(wǎng)絡(luò)對(duì)其進(jìn)行判斷.從圖中可知，本文提出的車(chē)道線(xiàn)檢測(cè)網(wǎng)絡(luò)在A(yíng)rrow 場(chǎng)景中可以正確地將錯(cuò)誤線(xiàn)段排除出車(chē)道線(xiàn)類(lèi)別，沒(méi)有在圖片中誤檢出車(chē)道線(xiàn).

圖9 不同場(chǎng)景檢測(cè)結(jié)果比較Fig.9 Comparison of detection results in different scenarios

2.6 各分支輸出分析

圖10 分別列出了輸入圖像(圖10(a))、真值圖像(圖10(b))、語(yǔ)義分割圖像(圖10(c))和各實(shí)例分割圖像(圖10(d)～圖10(h)，各已轉(zhuǎn)換為概率灰度圖方便顯示.由圖10 可知，第一張實(shí)例分割圖像(圖10(d))更加注重車(chē)道線(xiàn)的局部特征，但也因此減少了對(duì)全局信息的關(guān)注而容易誤檢.語(yǔ)義分割圖像(圖10(c))相比實(shí)例分割圖像更加注重車(chē)道線(xiàn)整體與背景的關(guān)系.圖像分割融合模塊(圖10(e))將兩者和跳躍分支的信息融合，后續(xù)上采樣模塊結(jié)合跳躍分支給出的信息逐步提高預(yù)測(cè)圖像的分辨率和準(zhǔn)確率，最終輸出網(wǎng)絡(luò)預(yù)測(cè)的車(chē)道線(xiàn)實(shí)例分割圖像.

圖10 各分支輸出分析Fig.10 Output analysis of each branch

3 結(jié) 論

在本文中，為了擴(kuò)大網(wǎng)絡(luò)的感受野和彌補(bǔ)大空洞率造成的信息丟失，提出了一種多尺度復(fù)合卷積；為了進(jìn)一步加強(qiáng)全局信息的利用設(shè)計(jì)了語(yǔ)義分割和實(shí)例分割信息融合的圖像分割融合模塊；為了在不同尺度上擬合真值圖像，并對(duì)各分支進(jìn)行訓(xùn)練，提出了一個(gè)權(quán)值交叉熵?fù)p失函數(shù).

實(shí)驗(yàn)結(jié)果表明，在CULane 數(shù)據(jù)集上，本文算法無(wú)論是在整體性能上，還是在單獨(dú)一個(gè)場(chǎng)景中相比其他算法均有不錯(cuò)的表現(xiàn).數(shù)據(jù)集整體F1measure達(dá)到74.9%，在多個(gè)場(chǎng)景應(yīng)用中相比其他對(duì)比算法取得最優(yōu)表現(xiàn).因此，本文提出的方法可以為車(chē)道線(xiàn)檢測(cè)的應(yīng)用提供參考.

在未來(lái)的工作中，希望可以采用更好的設(shè)備來(lái)提高網(wǎng)絡(luò)的訓(xùn)練速度和優(yōu)化網(wǎng)絡(luò)的參數(shù)，以達(dá)到提升車(chē)道線(xiàn)檢測(cè)準(zhǔn)確性和速度的目的.同時(shí)探索更大的空洞率的可能性及其對(duì)網(wǎng)絡(luò)造成的影響.