秦君，李曉敏，奪實(shí)祥偉

（云南電網(wǎng)有限責(zé)任公司德宏供電局，云南 德宏 678400）

0 前言

行人檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域解決的任務(wù)之一，在安全監(jiān)控、自動(dòng)駕駛等領(lǐng)域發(fā)揮著重要作用。在夜間或惡劣天氣等條件下，可見光圖像獲得的細(xì)節(jié)信息有限，行人檢測(cè)性能明顯下降。與可見光相機(jī)工作波長區(qū)間不同，熱紅外相機(jī)利用環(huán)境中散發(fā)的紅外波段的信息進(jìn)行成像，不需要外部光源，受惡劣天氣條件的影響較小，但在光照良好條件下熱紅外圖像獲得的細(xì)節(jié)信息遠(yuǎn)小于可見光圖像，可見光圖像與熱紅外圖像獲取的信息具有互補(bǔ)性，因此將二者融合可以有效克服光照或天氣變化的干擾，提高檢測(cè)精度，實(shí)現(xiàn)全時(shí)段檢測(cè)。另外，由于紅外熱成像儀成本的下降及其實(shí)用性的提高，熱紅外圖像信息得以在多光譜行人檢測(cè)的研究中廣泛應(yīng)用。

傳統(tǒng)的多光譜行人檢測(cè)主要基于人工設(shè)計(jì)的特征進(jìn)行檢測(cè)，包括Haar-like 特征[1]、方向梯度直方圖特征（Histogram of Oriented Gradients，HOG）[2]、 局部二值模式特征（Local Binary Pattern，LBP）[3]、 積分通道特征（Integral Channel Features，ICF）[4]和聚合通道特征（Aggregate Channel Features，ACF）[5]等特征，這些特征一般結(jié)合支持向量機(jī)等淺層分類器完成檢測(cè)。2015 年，韓國KAIST 大學(xué)Hwang 團(tuán)隊(duì)[6]制作的KAIST 數(shù)據(jù)集成為多光譜行人檢測(cè)領(lǐng)域模型算法驗(yàn)證的標(biāo)準(zhǔn)數(shù)據(jù)集，該團(tuán)隊(duì)提出的ACF+T+THOG（Aggregate Channel Features+Thermal+Thermal Histogram of Oriented Gradients）行人檢測(cè)器算法作為該數(shù)據(jù)集的基準(zhǔn)方法。人工設(shè)計(jì)的特征算子是針對(duì)行人特定屬性設(shè)計(jì)的，不具有通用性，在大規(guī)模行人檢測(cè)數(shù)據(jù)集上性能表現(xiàn)不理想。

隨著深度學(xué)習(xí)的興起以及GPU 的使用，特征的抽取不再局限于人工設(shè)計(jì)的特征算子，而是通過學(xué)習(xí)的方式自動(dòng)提取特征。研究發(fā)現(xiàn)基于深度學(xué)習(xí)抽取的高層次特征在行人檢測(cè)上表現(xiàn)出的性能整體優(yōu)于人工設(shè)計(jì)特征的行人檢測(cè)，具有代表性的模型是R-CNN 系列的模型。然而，目前大多數(shù)深度學(xué)習(xí)模型是基于可見光圖像進(jìn)行建模的，多光譜檢測(cè)通常需要比單模態(tài)方法更復(fù)雜的網(wǎng)絡(luò)架構(gòu)。設(shè)計(jì)有效的多光譜融合策略，充分利用兩種光譜的信息，提高在夜間或惡劣天氣等條件下的檢測(cè)能力是目前該領(lǐng)域的一個(gè)重點(diǎn)和難點(diǎn)問題，需要進(jìn)行更加深入和具體的研究。

1 深度學(xué)習(xí)應(yīng)用于多光譜行人檢測(cè)的原理

深度學(xué)習(xí)方法以原始數(shù)據(jù)作為輸入，通過大量數(shù)據(jù)的學(xué)習(xí)，自動(dòng)提取物體特征并分類。根據(jù)是否需要對(duì)候選區(qū)域分類，基于深度學(xué)習(xí)的多光譜行人檢測(cè)可以分為兩階段行人檢測(cè)和一階段行人檢測(cè)[7]。兩階段行人檢測(cè)通過生成的候選區(qū)域進(jìn)行分類判斷，具有代表性的網(wǎng)絡(luò)結(jié)構(gòu)是Faster R-CNN。一階段行人檢測(cè)沒有分類過程，而是直接預(yù)測(cè)行人的邊界框和置信度，具有代表性的網(wǎng)絡(luò)結(jié)構(gòu)是SSD。

1.1 基于Faster R-CNN的多光譜行人檢測(cè)網(wǎng)絡(luò)

Faster R-CNN 網(wǎng)絡(luò)由Fast R-CNN 網(wǎng)絡(luò)和RPN 網(wǎng)絡(luò)兩部分構(gòu)成。R-CNN 網(wǎng)絡(luò)[8]首先使用選擇性搜索（Selective Search，SS）算法對(duì)圖像提取候選區(qū)域，隨后使用CNN 進(jìn)行特征提取，最后進(jìn)行分類和回歸。Fast R-CNN 網(wǎng)絡(luò)是對(duì)R-CNN 網(wǎng)絡(luò)的優(yōu)化[9]，在R-CNN 網(wǎng)絡(luò)的最后一個(gè)卷積層后加入感興趣區(qū)域池化層（Region of Interest Pooling Layer，ROI Pooling Layer），將邊框回歸放入卷積神經(jīng)網(wǎng)絡(luò)中一起訓(xùn)練，即將特征提取和邊框回歸統(tǒng)一到一個(gè)網(wǎng)絡(luò)中。Faster R-CNN 網(wǎng)絡(luò)是在Fast R-CNN 網(wǎng)絡(luò)的基礎(chǔ)上加入?yún)^(qū)域建議生成網(wǎng)絡(luò)（Region Proposal Network，RPN）， 用深度學(xué)習(xí)的方式生成行人建議，可以加快訓(xùn)練速度并實(shí)現(xiàn)端到端的訓(xùn)練。

Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。特征提取網(wǎng)絡(luò)由5 個(gè)卷積層組成，輸入的圖像經(jīng)過多層卷積后輸出特征圖。特征圖輸入到RPN網(wǎng)絡(luò)生成行人建議候選區(qū)域，RPN 網(wǎng)絡(luò)利用SPPNet 網(wǎng)絡(luò)的區(qū)域映射機(jī)制[10]在特征圖上進(jìn)行滑窗，滑動(dòng)窗口即卷積核一般為3×3。在這個(gè)過程中，每個(gè)窗口的中心位置會(huì)生成9 個(gè)不同尺度和長寬比的錨點(diǎn)（Anchor）。通過RPN網(wǎng)絡(luò)可以得到幾千個(gè)候選區(qū)域，以正負(fù)樣本比為1：2 的比例選取前300 個(gè)候選區(qū)域作為RPN網(wǎng)絡(luò)產(chǎn)生的候選區(qū)域，將其輸入到Fast R-CNN網(wǎng)絡(luò)中進(jìn)行分類和邊框線性回歸。

圖1 Faster R-CNN簡要結(jié)構(gòu)

多光譜圖像特征融合策略方式較多，以較為普遍的中間層特征堆疊融合策略[11]為例，介紹基于Faster R-CNN 的多光譜行人檢測(cè)網(wǎng)絡(luò)。如圖2 所示，多光譜行人檢測(cè)網(wǎng)絡(luò)包含特征提取、融合特征生成、候選區(qū)域提取和分類回歸四部分。特征提取模塊由兩路對(duì)稱的深度卷積神經(jīng)網(wǎng)絡(luò)組成，與Faster R-CNN 特征提取網(wǎng)絡(luò)相似，不同的是在多光譜行人檢測(cè)網(wǎng)絡(luò)中，可見光圖像特征提取模塊和熱紅外圖像特征提取模塊由Conv1-Conv4 共4 個(gè)卷積層構(gòu)成。融合特征生成模塊采用Fusion 層，首先將Conv4 層輸出的多模態(tài)特征對(duì)級(jí)聯(lián)，再經(jīng)過融合層后獲得融合特征。候選區(qū)域提取模塊由卷積層Conv5 和RPN 組成，融合特征經(jīng)過Conv5 層后獲得特征圖，特征圖經(jīng)過RPN 后獲得行人建議，特征圖和行人建議經(jīng)過感興趣區(qū)域池化層后送入全連接層進(jìn)行分類回歸，與Faster R-CNN 的分類回歸部分相同。

圖2 基于Faster R-CNN的多光譜行人檢測(cè)網(wǎng)絡(luò)

1.2 基于SSD的多光譜行人檢測(cè)網(wǎng)絡(luò)

SSD 網(wǎng)絡(luò)是目前性能較好的目標(biāo)檢測(cè)框架之一，精度與Faster R-CNN 相當(dāng)且速度更快，接近實(shí)時(shí)的效果。SSD 網(wǎng)絡(luò)是一階段目標(biāo)檢測(cè)方法之一，將候選區(qū)域提取、特征提取、分類回歸步驟統(tǒng)一到一個(gè)網(wǎng)絡(luò)中。SSD 網(wǎng)絡(luò)對(duì)原始圖像直接分類回歸，采用了VGG16 的從卷積層Conv1-1 到卷積層Conv5-3 的13 個(gè)卷積層，將兩個(gè)全連接層FC6 和FC7 轉(zhuǎn)化為卷積層并額外增加了6 個(gè)卷積層，共21 個(gè)卷積層。它將6 個(gè)不同層次包括5 個(gè)卷積層和1 個(gè)池化層的特征圖分別用卷積的操作預(yù)測(cè)目標(biāo)位置偏移值和不同類別的得分，最后通過非極大抑制值得到最終的檢測(cè)結(jié)果。但SSD 網(wǎng)絡(luò)中沒有全連接層，因此網(wǎng)絡(luò)輸出對(duì)目標(biāo)周圍信息更敏感。

一種基于多光譜信息融合的SSD 網(wǎng)絡(luò)如圖3 所示。網(wǎng)絡(luò)的輸入是成對(duì)的可見光和熱紅外圖像，尺寸歸一化為固定尺寸。SSD 網(wǎng)絡(luò)由VGG16 網(wǎng)絡(luò)的Conv1-Conv5 組成，將原始VGG16 網(wǎng)絡(luò)的FC6 和FC7 用卷積層Conv6，Conv7 替代，并添加Conv8-Conv11 卷積塊，最后選取Conv1-Conv5 中的Conv4-3、Conv7以及添加的Conv8-2、Conv9-2、Conv10-2、Conv11-2 共6 個(gè)不同尺寸，不同大小感受野的特征層去做行人目標(biāo)檢測(cè)。

圖3 基于SSD的多光譜行人檢測(cè)網(wǎng)絡(luò)

1.3 多光譜圖像的融合方法

對(duì)于多光譜行人檢測(cè)，數(shù)據(jù)融合是整個(gè)檢測(cè)過程最重要的部分之一，不同形態(tài)、不同階段的特征具有不同的表達(dá)能力。2016 年，Wagner等人[12]把多光譜行人檢測(cè)方法分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合三類，并研究了兩種基于深度學(xué)習(xí)方法的多光譜行人檢測(cè)方法，分別是早期融合和晚期融合。2019 年，Li 等人[13]將融合方式分為輸入融合、早期融合、中期融合、晚期融合和兩種決策級(jí)的融合。

1.3.1 輸入融合

在數(shù)據(jù)輸入到模型之前，將可見光和熱紅外圖像簡單堆疊，形成4 通道RGBT 圖像并輸入到第一個(gè)卷積層，之后使用完整的網(wǎng)絡(luò)進(jìn)行檢測(cè)，如圖4(a) 所示。輸入融合方法是從可見光圖像行人檢測(cè)到多光譜行人檢測(cè)最直接簡單的融合方法，因?yàn)閷?duì)于不同的輸入通道，只需要對(duì)網(wǎng)絡(luò)的第一個(gè)卷積層進(jìn)行修改。

圖4 常用的4種融合方式示例

1.3.2 早期融合

早期融合方法是在可見光圖像和熱紅外圖像分別在第一個(gè)卷積層進(jìn)行特征提取之后，使用Network-in-Network（NIN）方式將特征連接起來并降維，之后通過共有的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取和分類回歸，如圖4(b)所示。早期融合方法在已有的目標(biāo)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上添加了NIN操作層。

1.3.3 中期融合

中期融合方法是在前期使用兩個(gè)純卷積網(wǎng)絡(luò)分別對(duì)可見光圖想和熱紅外圖像進(jìn)行特征提取，之后對(duì)提取的特征進(jìn)行連接并使用NIN 方法降維，再使用全連接層進(jìn)行分類回歸，如圖4(c)所示。

1.3.4 晚期融合

晚期融合方法是使用兩個(gè)子網(wǎng)絡(luò)分別處理輸入的可見光圖像和熱紅外圖像，經(jīng)過卷積層和全連接層之后再將輸出進(jìn)行連接，之后使用兩個(gè)全連接層進(jìn)行分類，如圖4(d)所示。

1.3.5 決策級(jí)融合

決策級(jí)融合方法分為兩種，級(jí)聯(lián)融合方式和非級(jí)聯(lián)融合方式。級(jí)聯(lián)融合方式是通過兩個(gè)單獨(dú)的子網(wǎng)絡(luò)檢測(cè)，將檢測(cè)結(jié)果輸入到第三個(gè)子網(wǎng)絡(luò)中，對(duì)置信度重新進(jìn)行評(píng)分，最后對(duì)兩階段檢測(cè)的置信度得分使用0.5 的權(quán)重進(jìn)行合并，該方式可看作兩個(gè)子網(wǎng)絡(luò)的簡單級(jí)聯(lián)。非級(jí)聯(lián)融合方式與晚期融合類似，通過兩個(gè)子網(wǎng)絡(luò)的特征生成最后的行人檢測(cè)框，然后將兩個(gè)子網(wǎng)絡(luò)生成的檢測(cè)邊界框回歸進(jìn)行平均生成最后檢測(cè)結(jié)果，該融合方式比級(jí)聯(lián)融合方式效率更高。

2 深度學(xué)習(xí)在多光譜行人檢測(cè)中的研究現(xiàn)狀

隨著硬件的升級(jí)以及深度學(xué)習(xí)的發(fā)展，基于可見光圖像的行人檢測(cè)技術(shù)有了巨大的發(fā)展，性能逐漸趨于完善。但是對(duì)于全時(shí)段檢測(cè)，即包含夜間或惡劣天氣條件下的檢測(cè)，主要采用可見光和熱紅外圖像融合的方式，利用多光譜信息的互補(bǔ)性可以提高行人檢測(cè)的性能。多光譜行人檢測(cè)的關(guān)鍵技術(shù)是熱紅外和可見光的融合技術(shù)，而使用深度學(xué)習(xí)進(jìn)行多光譜行人檢測(cè)的方法大多數(shù)基于特征級(jí)融合和基于決策級(jí)融合。

2.1 基于特征級(jí)的融合方法

特征級(jí)融合是指將不同的模態(tài)數(shù)據(jù)轉(zhuǎn)化為高維特征表示后在模型的中間層融合，一般包括早期融合、中期融合和后期融合。

2016 年，Wagner 等人[12]首次使用深度模型融合可見光和熱紅外圖像，并研究了前期融合和后期融合的CNN 架構(gòu)對(duì)檢測(cè)性能的影響。前期融合將可見光圖像和熱紅外圖像在像素級(jí)融合后輸入模型中進(jìn)行檢測(cè)，而后期融合是使用單獨(dú)子網(wǎng)絡(luò)為可見光和熱紅外圖像分別生成的特征表示級(jí)聯(lián)后輸入到后續(xù)全連接層中進(jìn)行檢測(cè)，結(jié)果表明后期融合檢測(cè)器性能優(yōu)于前期融合，且與ACF+T+THOG 行人檢測(cè)器相比性能更好。Liu 等人[11]深入分析了兩階段的Faster R-CNN在多光譜行人檢測(cè)任務(wù)中的應(yīng)用，并對(duì)比研究了早期融合、中期融合、晚期融合和決策級(jí)融合在實(shí)驗(yàn)中的表現(xiàn)，結(jié)果表明中間層特征相較其它層，采用通道堆疊策略可以最大限度整合紅外和可見光模態(tài)的信息，并能更好的保留低層的細(xì)節(jié)信息和高層的語義信息，結(jié)合中間層特征堆疊策略和Faster R-CNN 框架，在KAIST 多光譜行人檢測(cè)數(shù)據(jù)集上獲得了較高的準(zhǔn)確率。

2017 年，Konig 等人[14]提出Faster R-CNN并不完全適用于行人檢測(cè)任務(wù)的觀點(diǎn)，并提出了Fusion-RPN 算法，使用Faster R-CNN 框架中的區(qū)域建議生成網(wǎng)絡(luò)（RPN）和增強(qiáng)決策樹分類算法（Boosted Decision Trees，BDT）協(xié)同完成多光譜行人檢測(cè)。在特征融合部分使用Liu 等人提出的中間層特征堆疊策略。結(jié)果表明該算法在KAIST 多光譜行人檢測(cè)數(shù)據(jù)集上獲得了極優(yōu)的性能，甚至遠(yuǎn)超后來的一些研究。但是BDT 算法計(jì)算量巨大、耗時(shí)大，導(dǎo)致整體算法訓(xùn)練復(fù)雜。

2018 年，Lee 等人[15]在特征融合過程中添加了特征關(guān)聯(lián)層，用來增強(qiáng)紅外與可見光兩模態(tài)的特征信息，為融合紅外和可見光做準(zhǔn)備。該算法選用面向目標(biāo)檢測(cè)的一階段去卷積檢測(cè)器（Deconvolutional Single Shot Detector，DSSD），首先提取中間層特征Conv4 之后的一對(duì)特征，并對(duì)兩流的特征采用特征相乘操作進(jìn)行特征增強(qiáng)，再將兩特征與相乘后的特征級(jí)聯(lián)，并降維獲得融合特征，用獲得的融合特征完成后續(xù)檢測(cè)任務(wù)。

2019 年，Cao 等人[16]提出了雙流區(qū)域建議生成網(wǎng)絡(luò)（Two-stream Region Proposal Network，TS-RPN）， 在特征融合部分使用中間層特征堆疊策略，但是去除了網(wǎng)絡(luò)中的最后三層全連接層，以減小模型尺寸，并獲得了優(yōu)于中間層特征堆疊策略的性能。同時(shí)，該算法還創(chuàng)新性引入無監(jiān)督行人檢測(cè)算法（Unsupervised-TS-RPN，U-TS-RPN）， 通過可迭代的標(biāo)注器自動(dòng)生成標(biāo)注，節(jié)省人工標(biāo)注的成本和時(shí)間，但U-TS-RPN 的算法精度略低于TS-RPN。

2020 年，Zhang 等人[17]提出一種多層融合網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中間分別加入空間注意力模塊和通道注意力模塊來處理模態(tài)關(guān)系，其中通道注意力模塊用來融合紅外和可見光特征，通過自監(jiān)督的方式微調(diào)權(quán)重，而空間注意力模塊是通過外部監(jiān)督來訓(xùn)練。通過對(duì)比單獨(dú)加入兩種模塊以及同時(shí)加入兩種模塊的算法性能，得出單獨(dú)使用空間注意力模塊的多層融合網(wǎng)絡(luò)可以獲得最優(yōu)的檢測(cè)性能。Pei 等人[18]首先針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的三個(gè)卷積階段設(shè)計(jì)了三種融合架構(gòu)，然后在三種融合架構(gòu)上比較三種融合策略（相加、取最大值、堆疊）的性能，得出在該網(wǎng)絡(luò)上采用相加融合策略性能最優(yōu)，最后將得出的最優(yōu)融合策略與基于特征金字塔網(wǎng)絡(luò)的目標(biāo)檢測(cè)器（Feature Pyramid Networks for Object Detection，F(xiàn)PN） 相結(jié)合， 利用FPN+SUM 算法完成多光譜行人檢測(cè)。、

2022 年，Xiang J 等人[19]提出了單模態(tài)增強(qiáng)框架SMA-Net，通過增強(qiáng)單模態(tài)的特征提取能力來實(shí)現(xiàn)基于可見光- 熱紅外圖像的行人檢測(cè)。在該框架中引入了一種輕量級(jí)ROI 池化多尺度融合模塊PMSF，通過自適應(yīng)加權(quán)的方式對(duì)不同尺度的池化特征進(jìn)行融合，可以獲得更細(xì)粒度、更豐富的特征。實(shí)驗(yàn)結(jié)果表明，在KAIST 數(shù)據(jù)集上與目前最先進(jìn)的方法相比，SMA-Net 在檢測(cè)精度和計(jì)算效率方面具有更好的性能。

2.2 基于決策級(jí)的融合方法

決策級(jí)融合在通常使用在模型最終的預(yù)測(cè)階段，好處是融合模型的錯(cuò)誤來自不同的分類器，而來自不同分類器的錯(cuò)誤往往互不相關(guān)和影響，不會(huì)造成錯(cuò)誤的進(jìn)一步累加。決策級(jí)融合方法通常利用光照信息學(xué)習(xí)融合權(quán)值來融合可見光和熱紅外圖像的學(xué)習(xí)結(jié)果。

唐聰?shù)热薣20]利用預(yù)訓(xùn)練的單階段目標(biāo)檢測(cè)器分別對(duì)紅外與可見光圖片獲取檢測(cè)框和分類分?jǐn)?shù)，然后將所有檢測(cè)框和分類分?jǐn)?shù)收集到候選框組，刪除具有高重疊率的檢測(cè)框，并選擇置信度最高的框。

Guan 等人[21]提出了一種基于光照感知多光譜行人檢測(cè)和光照感知多光譜語義分割聯(lián)合學(xué)習(xí)的新型多光譜行人檢測(cè)器和晝夜照明子網(wǎng)絡(luò)的光照感知加權(quán)機(jī)制。利用多光譜圖像中編碼的光照信息，通過設(shè)計(jì)的光照全連接神經(jīng)網(wǎng)絡(luò)IFCNN 準(zhǔn)確計(jì)算出光照感知權(quán)值。結(jié)果表明，光照感知加權(quán)機(jī)制為改進(jìn)多光譜行人檢測(cè)器提供了一種有效的策略，該方法具有較高的檢測(cè)精度且檢測(cè)時(shí)間更短。

Li 等人[13]研究了基于Faster R-CNN 模型的六種網(wǎng)絡(luò)結(jié)構(gòu)并分析了它們的適用性，通過實(shí)驗(yàn)發(fā)現(xiàn)目標(biāo)預(yù)測(cè)置信度會(huì)受光照影響，由此提出了IAF R-CNN 模型，通過對(duì)光照信息的自動(dòng)感知輔助行人檢測(cè)，該模型具有較高的檢測(cè)準(zhǔn)確度。

2.3 基于模態(tài)遷移的融合方法

Xu 等人[22]提出使用預(yù)訓(xùn)練的VGG16 搭建卷積網(wǎng)絡(luò)來學(xué)習(xí)從可見光圖像到紅外圖像的非線性映射關(guān)系，而無需人工監(jiān)督。將學(xué)習(xí)到的特征表示遷移到第二個(gè)網(wǎng)絡(luò)中，通過學(xué)習(xí)兩者之間的關(guān)系對(duì)可見光圖像進(jìn)行操作并有效地對(duì)多模態(tài)信息進(jìn)行建模，學(xué)習(xí)到的兩者間的特征表示可以應(yīng)用在其他許多常見的單模態(tài)行人數(shù)據(jù)集上。該方法在測(cè)試階段僅使用可見光圖像，檢測(cè)性能上要差于同時(shí)使用多光譜數(shù)據(jù)的檢測(cè)器。

Liu 等人[23]提出了一個(gè)教師- 學(xué)生網(wǎng)絡(luò)來完成多光譜行人檢測(cè)任務(wù)，教師網(wǎng)絡(luò)是以紅外和可見光為輸入的雙流網(wǎng)絡(luò)，兩流網(wǎng)絡(luò)在中間層完成簡單的融合，學(xué)生網(wǎng)絡(luò)是只有可見光輸入的單流網(wǎng)絡(luò)。訓(xùn)練過程中以知識(shí)蒸餾的方式，用多模態(tài)網(wǎng)絡(luò)指導(dǎo)單模態(tài)網(wǎng)絡(luò)完成訓(xùn)練，其中學(xué)生網(wǎng)絡(luò)可以很好的應(yīng)用在只有可見光的行人數(shù)據(jù)集上。

綜上所述，使用深度學(xué)習(xí)的多光譜行人檢測(cè)方法多數(shù)采用特征級(jí)融合，基于決策級(jí)的融合主要在測(cè)試階段對(duì)目標(biāo)檢測(cè)框進(jìn)行處理，缺少網(wǎng)絡(luò)訓(xùn)練過程中的交互，因此較少采用。模態(tài)遷移方法不同依賴數(shù)據(jù)，并且遷移方法對(duì)結(jié)果的影響較大，精度較低于其它融合方法。另外還有基于混合方法的融合，即同時(shí)采用特征融合和決策級(jí)融合的方法，此類方法大多會(huì)將研究的重點(diǎn)落在特征融合上，因此基于特征級(jí)融合的多光譜行人檢測(cè)方法仍是目前最常用的研究方法。

3 深度學(xué)習(xí)在多光譜行人檢測(cè)中的應(yīng)用前景

3.1 全時(shí)段檢測(cè)

可見光圖像受到因白天和夜間光照變化的影響而導(dǎo)致不同的行人目標(biāo)特征，從而使得可見光與熱紅外圖像融合特征在不同光照環(huán)境下具有差異性。目前多光譜行人檢測(cè)大多采用單一分類器進(jìn)行特征分類，無法有效識(shí)別因光照環(huán)境變化而導(dǎo)致的不同行人特征，從而出現(xiàn)漏檢的情況，增強(qiáng)多光譜行人檢測(cè)在全時(shí)段檢測(cè)的魯棒性是未來的發(fā)展方向之一。

3.2 實(shí)時(shí)檢測(cè)

使用深度學(xué)習(xí)方法的多光譜行人檢測(cè)模型雖然檢測(cè)精度高，但檢測(cè)速度并不高，而對(duì)實(shí)時(shí)性要求高的場(chǎng)景如自動(dòng)駕駛，對(duì)檢測(cè)速度要求很高，現(xiàn)有方法并不能滿足較高的實(shí)時(shí)性，因此有必要平衡檢測(cè)精度和速度之間的矛盾，即在滿足檢測(cè)精度的條件下提高檢測(cè)速度，是多光譜行人檢測(cè)面向自動(dòng)駕駛應(yīng)用的關(guān)鍵技術(shù)之一。