趙 雙，陳樹(shù)越，王巧月

夜間復(fù)雜場(chǎng)景下紅外圖像行人檢測(cè)算法研究

趙 雙，陳樹(shù)越，王巧月

（常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164）

針對(duì)夜間紅外圖像中行人與背景灰度差異小且存在遮擋等問(wèn)題，提出了一種夜間復(fù)雜場(chǎng)景下的紅外行人檢測(cè)算法。首先利用行人語(yǔ)義融合方法生成對(duì)目標(biāo)全覆蓋的顯著圖，與原圖融合得到感興趣區(qū)域，然后構(gòu)造基于改進(jìn)的方向梯度直方圖特征的兩分支分類(lèi)器，同時(shí)提出一種遮擋判別算法，根據(jù)分類(lèi)器模糊分?jǐn)?shù)判斷是否遮擋，設(shè)計(jì)一種頭部模板實(shí)現(xiàn)最終的行人檢測(cè)。在LSI遠(yuǎn)紅外行人數(shù)據(jù)集和自主采集的冬、夏季節(jié)夜間行人數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明：在不同環(huán)境下，所提出的方法均可快速魯棒地檢測(cè)出行人，可較顯著地降低漏檢率，檢測(cè)率可達(dá)到94.20%。

紅外圖像；行人檢測(cè)；顯著性；復(fù)雜情況；方向梯度直方圖特征

0 引言

行人檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域極具挑戰(zhàn)性的問(wèn)題，廣泛應(yīng)用在公共安全、智能監(jiān)控、自動(dòng)駕駛等領(lǐng)域中[1-2]。與傳統(tǒng)的基于可見(jiàn)光的行人檢測(cè)任務(wù)相比，遠(yuǎn)紅外圖像不受光照的影響，可以檢測(cè)物體的熱分布，從而在夜間對(duì)物體進(jìn)行空間顯示。熱成像受溫度值影響大，環(huán)境溫度升高會(huì)帶來(lái)灰度值反轉(zhuǎn)問(wèn)題，當(dāng)行人與環(huán)境相接時(shí)，輪廓邊緣無(wú)法保持完整，導(dǎo)致感興趣區(qū)域提取失敗進(jìn)而無(wú)法檢出行人、路燈、車(chē)輛向陽(yáng)面等灰度值高的目標(biāo)易產(chǎn)生誤檢[3]。與此同時(shí)，還要應(yīng)對(duì)行人個(gè)體和姿態(tài)、視角及尺度的差異問(wèn)題，復(fù)雜的背景使行人極易出現(xiàn)遮擋情況導(dǎo)致誤判，現(xiàn)階段的研究多關(guān)注完整體態(tài)的行人檢測(cè)，而忽略了遮擋的情況。

傳統(tǒng)的行人檢測(cè)常采用分割及連通域分析，模板匹配等方法，Dalal[4]在2005年提出梯度方向直方圖特征（histogram of gradient，HOG），率先使用梯度描述行人，利用滑動(dòng)窗口遍歷圖像，得到了很高的檢測(cè)率，但計(jì)算資源消耗大。隨后描述紋理的局部二值模式（local binary patterns, LBP）特征、描述線(xiàn)狀、形狀、邊緣的Haar-like特征，Shapelet特征和Edgelet特征等接連被提出并應(yīng)用到行人檢測(cè)中。很多學(xué)者對(duì)HOG特征做出了改進(jìn)，比如將金字塔思想應(yīng)用于尺度縮放的PHOG特征[5]，結(jié)合邊緣信息的HEOG特征[6]，或者以HOG特征為基礎(chǔ)進(jìn)行特征融合，如HOG-LBP[7]，HOGI特征[8]等。

常見(jiàn)的感興趣區(qū)域（region of interest, ROI）提取方法是通過(guò)閾值分割，這種方法受圖像對(duì)比度影響大，效果較差，基于視覺(jué)顯著性進(jìn)行ROI提取可以最大程度模擬司機(jī)的人眼注視，將有限的計(jì)算資源分配給容易引起觀(guān)察者注意的區(qū)域，達(dá)到輔助駕駛的目的。顯著性檢測(cè)分為兩類(lèi)：自下而上基于數(shù)據(jù)驅(qū)動(dòng)的顯著性區(qū)域凸顯，和自上而下任務(wù)驅(qū)動(dòng)的目標(biāo)凸顯。

Koch[9]引入了顯著圖（saliency map）的概念來(lái)表示復(fù)雜場(chǎng)景的突出位置，他使用“贏者全取”（winner-take-all）的神經(jīng)網(wǎng)絡(luò)來(lái)選擇圖像中最顯著的位置，在此基礎(chǔ)上，許多由視覺(jué)注意機(jī)制啟發(fā)的顯著性模型被提出，如應(yīng)用廣泛的FT模型[10]，SR模型[11]等。

與相關(guān)研究相比，本文更關(guān)注在黑暗復(fù)雜環(huán)境下探測(cè)行人，考慮了遮擋、尺度不一等情況，利用行人先驗(yàn)語(yǔ)義進(jìn)行ROI提取，構(gòu)造改進(jìn)的HOG二分支分類(lèi)器進(jìn)行行人檢測(cè)，同時(shí)利用遮擋判別算法，設(shè)計(jì)頭部檢測(cè)算子對(duì)被遮擋行人進(jìn)行二次識(shí)別，實(shí)驗(yàn)證明本文方法檢測(cè)效果良好，克服了行人的多變性，背景的復(fù)雜性。

1 紅外行人候選區(qū)域提取

1.1 系統(tǒng)檢測(cè)框架

文中提出的檢測(cè)方法由3個(gè)模塊組成，包括ROI提取、基于HOG特征的二分支分類(lèi)和遮擋特征重識(shí)別，整體流程圖如圖1所示。

1.2 光譜殘差（SR, spectrum residual）模型

ROI是圖像中最吸引視覺(jué)的顯著關(guān)鍵信息，提取ROI代替原始圖像，可以減少大量無(wú)用的背景和噪聲點(diǎn)的影響。本文在光譜殘差模型的基礎(chǔ)上融入紅外行人的高層語(yǔ)義特征，得到更準(zhǔn)確的感興趣區(qū)域。Hou等人[11]認(rèn)為不同的圖像數(shù)據(jù)在對(duì)數(shù)尺度上有相似的分布趨勢(shì)，因此在不同的log譜中只需要關(guān)注差異性部分就可以得到顯著性區(qū)域。首先對(duì)輸入圖像()進(jìn)行二維離散傅里葉變換，將其從空間域轉(zhuǎn)化到頻率域，光譜殘差()定義為：

式中：A(f)為實(shí)部；hn(f)為局部平均濾波器。

利用式(2)對(duì)譜殘差()和相位()進(jìn)行二維離散傅里葉逆變換得到全局特征顯著圖()，所得的顯著性圖與人眼感知具有一致性。

1.3 行人高層語(yǔ)義特征融合

在利用SR分析得到顯著性圖的基礎(chǔ)上，本文提出了針對(duì)性的紅外行人的高層語(yǔ)義特征作為先驗(yàn)知識(shí)融合，相當(dāng)于在進(jìn)行顯著性檢測(cè)時(shí)增加了對(duì)圖像的認(rèn)知功能，提高分析準(zhǔn)確度。行人的高層語(yǔ)義特征是指在待檢測(cè)的圖片中，一個(gè)區(qū)域或者一個(gè)像素點(diǎn)被行人目標(biāo)包含的可能性的大小，求解這個(gè)可能性作為依托來(lái)求圖像的目標(biāo)性，可以獲得圖像中所有行人目標(biāo)的大概分布情況，對(duì)圖像的顯著性檢測(cè)有語(yǔ)義上的指導(dǎo)。

首先對(duì)輸入的圖像進(jìn)行塊分割，本文選擇Alexe[12]的方法對(duì)原始圖像進(jìn)行分割，然后對(duì)每個(gè)分割得到的窗口進(jìn)行評(píng)分，量化每個(gè)窗口包含行人目標(biāo)的可能性。在紅外圖像中，行人的亮度普遍高于周邊環(huán)境，頭部區(qū)域亮度最高，低頻信號(hào)強(qiáng)，邊緣紋理比內(nèi)部紋理明顯，所以本文以亮度對(duì)比度和邊緣信息作為先驗(yàn)語(yǔ)義，融入顯著性檢測(cè)中。

1）行人亮度對(duì)比度（brightness contrast, BC）。亮度特征是紅外圖像最重要的特征之一，如果一個(gè)包圍框完整包含行人部分，則得到較高的分?jǐn)?shù)，如果窗口只包含部分目標(biāo)時(shí)分?jǐn)?shù)降低。如圖2(a)所示，實(shí)線(xiàn)框代表目標(biāo)窗口，在計(jì)算的亮度對(duì)比度時(shí)，先將沿4個(gè)方向延伸一定尺度得到一個(gè)矩形外環(huán)，如圖2中虛線(xiàn)框所示，用外環(huán)框減去目標(biāo)框，得到所對(duì)應(yīng)的背景區(qū)域，此時(shí)有：

計(jì)算窗口和背景的亮度直方圖的卡方距離來(lái)定義窗口的亮度對(duì)比度：

式中：BC(,)表示亮度對(duì)比度特征值；2(·)表示卡方距離；(·)表示窗口的亮度直方圖。

2）邊緣線(xiàn)密度（edge density, ED）。相比可見(jiàn)光圖像，紅外圖像（如圖2(b)所示）考慮的是物體的溫度信息，對(duì)雜亂的背景抑制效果良好，當(dāng)溫度差距較大時(shí)，行人邊緣線(xiàn)明顯，當(dāng)溫差小時(shí)，效果不顯著。行人邊緣線(xiàn)密度指的是窗口邊界附近的邊緣密度，通常情況下目標(biāo)邊界邊緣的數(shù)量隨著目標(biāo)邊界周長(zhǎng)增大而增大，如圖2(c)所示。首先將得到的目標(biāo)窗口沿4個(gè)方向向內(nèi)收縮個(gè)尺度，得到：

式中：(,)是的矩形內(nèi)環(huán)。則ED計(jì)算公式如下：

實(shí)驗(yàn)發(fā)現(xiàn)Canny算子的邊緣線(xiàn)檢測(cè)效果最佳，IED()?{0,1}是利用Canny算子進(jìn)行邊線(xiàn)檢測(cè)后得到的二值化圖像，Len(·)表示矩形內(nèi)環(huán)的周長(zhǎng)。

對(duì)圖像的每一個(gè)窗口都從這兩個(gè)角度進(jìn)行打分，按式(7)計(jì)算圖像中每個(gè)像素點(diǎn)的目標(biāo)性：

在實(shí)驗(yàn)過(guò)程中，窗口劃分總個(gè)數(shù)W的選值決定了“行人”區(qū)域的標(biāo)定時(shí)間和準(zhǔn)確性，如果W值太小，得到的目標(biāo)性區(qū)域結(jié)果存在較大偏差，如果W值太大，則顯著性檢測(cè)的計(jì)算時(shí)間過(guò)長(zhǎng)。

2 快速行人特征提取與分類(lèi)

2.1 基于改進(jìn)的HOG特征的二分支構(gòu)造

HOG特征可以很好地表征圖像梯度的方向分布，具體計(jì)算步驟如下：

1）輸入大小為64×128的檢測(cè)窗口，每64個(gè)像素作為一個(gè)細(xì)胞單元，每4個(gè)細(xì)胞單元作為一個(gè)區(qū)塊，步長(zhǎng)設(shè)置為8個(gè)像素，水平方向得到7個(gè)掃描窗口，垂直方向得到15個(gè)掃描窗口，如圖3(a)所示。定義每個(gè)細(xì)胞的組距為2p/9，統(tǒng)計(jì)落在9個(gè)不同方向區(qū)間內(nèi)的梯度大小，如圖3(b)所示。利用式(8)、(9)計(jì)算每個(gè)像素的梯度幅值(,)和方向(,)：

式中：(,)是圖像在點(diǎn)(,)處的像素值，Dalal[4]驗(yàn)證了利用最簡(jiǎn)單的一階梯度算子[1, 0, －1]進(jìn)行水平和垂直方向的梯度計(jì)算效果最佳。

圖2 目標(biāo)性計(jì)算示意圖

圖3 HOG特征計(jì)算過(guò)程

2）利用SVM分類(lèi)器構(gòu)建超平面進(jìn)行分類(lèi)，對(duì)于給定的{x,y}，＝1,…,，y?{1,－1}，分類(lèi)器通過(guò)尋找最優(yōu)的超平面T＋＝0實(shí)現(xiàn)行人的分類(lèi)識(shí)別。

傳統(tǒng)的HOG特征提取所需的計(jì)算量非常大，分辨率為64×128的檢測(cè)窗口需要計(jì)算105個(gè)塊的梯度直方圖特征，得到3780維特征向量，同時(shí)多尺度縮放會(huì)導(dǎo)致相鄰檢測(cè)窗口間存在大量的重復(fù)計(jì)算區(qū)域，針對(duì)此種情況，本文提出了一種改進(jìn)的HOG特征并構(gòu)造了基于ROI高度的二分支分類(lèi)結(jié)構(gòu)（TBHOG, two-branches HOG），具體步驟如下：

①將得到的感興趣區(qū)域擴(kuò)充至掃描步長(zhǎng)的整數(shù)倍，用鄰域像素的灰度平均值作為擴(kuò)充像素的灰度值；

②根據(jù)ROI的高度進(jìn)行分類(lèi)，定義為最小外接矩形垂直方向上的像素?cái)?shù)，統(tǒng)計(jì)所有得到的ROI區(qū)域，平均高度為69.1pixel，所以本文選擇69像素作為分水嶺，高度小于69像素作為近景目標(biāo)，高度大于69像素作為遠(yuǎn)景目標(biāo)，分別訓(xùn)練SVM分類(lèi)器，具體參數(shù)如表1所示。

③將得到的感興趣區(qū)域分別縮放至不同的窗口大小，輸入離線(xiàn)訓(xùn)練的SVM分類(lèi)器進(jìn)行判別。

表1 兩分支的SVM分類(lèi)器訓(xùn)練參數(shù)

2.2 遮擋處理

上述行人檢測(cè)方法的出發(fā)點(diǎn)是將行人作為一個(gè)完整的整體設(shè)計(jì)，在LSI遠(yuǎn)紅外（FIR）數(shù)據(jù)集的實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)比傳統(tǒng)的HOG方法，該方法的準(zhǔn)確率有所提升，但是對(duì)本文自行拍攝的數(shù)據(jù)集來(lái)說(shuō)，效果不夠理想，因?yàn)榕臄z的視頻包含更多的遮擋情況，例如行人被樹(shù)木等背景遮擋或行人互相遮擋。

研究發(fā)現(xiàn)，如果行人發(fā)生遮擋，塊的HOG特征通過(guò)SVM分類(lèi)器得到負(fù)的內(nèi)積，每個(gè)窗口的線(xiàn)性SVM得分是HOG特征與向量的內(nèi)積，向量是學(xué)習(xí)到的所有支持向量的加權(quán)和[13]。本文選擇利用整體分類(lèi)器對(duì)得到的特征向量進(jìn)行評(píng)價(jià)，如果整體分類(lèi)器得到的置信度屬于一個(gè)模糊范圍，則判斷是否發(fā)生遮擋情況[14]，如果確定發(fā)生遮擋，則利用設(shè)計(jì)的頭部模板進(jìn)行行人頭部的檢測(cè)，對(duì)是否包含行人進(jìn)行確認(rèn)。具體步驟如下：

1）將待測(cè)窗口按圖4分塊，C是每個(gè)塊得到的特征值，維數(shù)為36，HOG特征計(jì)算過(guò)程中得到55個(gè)塊，定義窗口特征描述子＝(1,2,…,55)T，通過(guò)訓(xùn)練好的Linear SVM分類(lèi)器，根據(jù)式(10)計(jì)算返回值()：

()＝＋T·(10)

圖4 檢測(cè)窗口分塊

理論上()值越高，說(shuō)明窗口中有行人的可能性越高，反之亦然，如果分類(lèi)器的響應(yīng)接近于0，就認(rèn)為分類(lèi)是模糊的。本文定義模糊區(qū)間為(－1.5, 0.5)，認(rèn)為可能存在遮擋。

2）對(duì)于每個(gè)C，?{1,2,…,55}，定義一個(gè)局部分類(lèi)器()＝＋T·C，其中是支持向量展開(kāi)后所對(duì)應(yīng)的向量，均為36維，為每個(gè)塊的檢測(cè)誤差。

3）通過(guò)對(duì)局部響應(yīng)()進(jìn)行閾值化得到離散的標(biāo)簽t，t＝1表示是C行人的一部分，t＝－1表示C是被遮擋或是背景的一部分，得到一個(gè)二值映射(1,2,…,55)。

5）無(wú)論行人是否遮擋或出現(xiàn)不同的朝向、姿勢(shì)，行人的頭部輪廓變化基本可以保持不變，頭肩部呈現(xiàn)出類(lèi)似于“W”的形狀[15]，如圖5所示，我們?cè)O(shè)計(jì)了16×16的頭部模板進(jìn)行分類(lèi)識(shí)別，使用離線(xiàn)SVM分類(lèi)器訓(xùn)練。

圖5 頭部檢測(cè)模型

3 系統(tǒng)設(shè)計(jì)與結(jié)果評(píng)估

3.1 數(shù)據(jù)集選擇

實(shí)驗(yàn)運(yùn)行環(huán)境為Intel(R) Core(TM) i3-4170 CPU，平臺(tái)為MATLAB R2018b和Python OpenCV庫(kù)，實(shí)驗(yàn)使用3個(gè)數(shù)據(jù)集：LSI遠(yuǎn)紅外行人數(shù)據(jù)集（https://e-archivo.uc3m.es/handle/10016/17370）和利用FLIR E40熱像儀采集的冬季（Test-W）、夏季（Test-S）道路/行人（Test-L）視頻，基本信息如表2所示。

表2 測(cè)試數(shù)據(jù)的基本信息

LSI數(shù)據(jù)集來(lái)自在室外城市場(chǎng)景中駕駛的車(chē)輛，包含用于訓(xùn)練的53598張紅外圖像和用于測(cè)試的27994張圖像。自主數(shù)據(jù)采集速率為31幀/s，分辨率為320×240像素。數(shù)據(jù)采集的時(shí)間均為晚上22:00左右，涵蓋了溫度變化、遮擋、尺度變化等一系列夜間行人檢測(cè)常見(jiàn)的問(wèn)題，示例如圖6。每隔3幀標(biāo)注一次，保證了實(shí)驗(yàn)的真實(shí)有效性。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

紅外圖像中行人的檢測(cè)本質(zhì)上是一個(gè)二分類(lèi)問(wèn)題，檢測(cè)率（accuracy，ACC）是最常見(jiàn)的指標(biāo)，即：

其中參數(shù)混淆矩陣如表3所示。

定義正確的檢測(cè)需符合條件：

即預(yù)測(cè)的邊界框BBROI和真實(shí)邊界框BBGT之間的重疊率a0必須超過(guò)60%，否則就認(rèn)為是錯(cuò)誤的檢測(cè)結(jié)果（虛警）。

表3 參數(shù)混淆矩陣

其中，TP（true positive）表示指檢測(cè)器正確預(yù)測(cè)的行人窗口，F(xiàn)P（false positive）指將非行人預(yù)測(cè)為行人窗口的數(shù)目，TN（true negative）指檢測(cè)器正確分類(lèi)的非行人窗口，F(xiàn)N（false negative）指行人窗口發(fā)生漏檢的數(shù)目。

考慮行人檢測(cè)問(wèn)題的實(shí)時(shí)性，本文將每張圖片的平均檢測(cè)時(shí)間也作為評(píng)價(jià)標(biāo)準(zhǔn)，即：

式中：是檢測(cè)耗費(fèi)時(shí)間；是圖片張數(shù)。

3.3 參數(shù)選擇

隨機(jī)選取500幅LSI遠(yuǎn)紅外數(shù)據(jù)集的測(cè)試圖片，手動(dòng)標(biāo)記行人區(qū)域，統(tǒng)計(jì)不同目標(biāo)性檢測(cè)窗口數(shù)W下的行人區(qū)域數(shù)，目標(biāo)性檢測(cè)示意圖如圖7所示。

隨著W的增大，檢測(cè)結(jié)果如表4所示。

圖7 目標(biāo)性檢測(cè)

表4 Wm標(biāo)記結(jié)果

從表4可以看出，隨著W的增大，顯著性檢測(cè)框與真實(shí)標(biāo)注框的重合度也在上升，W＝150時(shí)標(biāo)記率可以達(dá)到97%，隨后增速放緩但檢測(cè)時(shí)間持續(xù)增加，所以本文選擇目標(biāo)性窗口數(shù)為150。

3.3.1 與基本算法的檢測(cè)效果對(duì)比

為了驗(yàn)證本文算法的有效性，本文在LSI遠(yuǎn)紅外數(shù)據(jù)集上進(jìn)行了如下對(duì)比實(shí)驗(yàn)，以經(jīng)典的HOG特征作為基準(zhǔn)，分別測(cè)試了二分支分類(lèi)結(jié)構(gòu)（TBHOG）、是否提取感興趣區(qū)域、是否采用遮擋處理算法，檢測(cè)結(jié)果如表5所示。

檢測(cè)結(jié)果表明與HOG特征相比，本文方法準(zhǔn)確率提高了5.5%，檢測(cè)時(shí)間縮短了23.3%，可見(jiàn)本文方法對(duì)夜間行人識(shí)別有更好的實(shí)用性。準(zhǔn)確率的提高主要來(lái)自于ROI提取和遮擋檢測(cè)算法，而二分支分類(lèi)結(jié)構(gòu)顯著降低了檢測(cè)時(shí)間。

3.3.2 與其他算法的檢測(cè)效果對(duì)比

在所有數(shù)據(jù)集上將本文的檢測(cè)方法與當(dāng)前主流的紅外行人檢測(cè)方法對(duì)比：HOG＋SVM方法，LBP＋SVM方法及融合方法，聚合通道（aggregate channel features，ACF）方法[16]，基于深度學(xué)習(xí)的RetinaNet算法[17]，該算法由Python的image AI庫(kù)集成，是一個(gè)開(kāi)源的目標(biāo)檢測(cè)項(xiàng)目。對(duì)比示意如圖8所示，檢測(cè)結(jié)果如表6所示。

表5 與基本算法檢測(cè)結(jié)果對(duì)比

傳統(tǒng)的特征提取采用滑動(dòng)窗口法并利用尺度縮放策略進(jìn)行檢測(cè)，計(jì)算量大且準(zhǔn)確率取決于特征設(shè)計(jì)的合理性[18]，由表6可以得到以下結(jié)論：

1）采用本文提出的算法，平均檢測(cè)率比使用單一HOG特征提高了11.1%，比使用融合特征如HOG-LBP和ACF均有所提高，說(shuō)明了方法的有效性與針對(duì)性。

2）本文所提算法平均檢測(cè)速度相對(duì)于基于HOG的行人檢測(cè)算法提升了27.6%，說(shuō)明了采用ROI提取及兩分支分類(lèi)器結(jié)構(gòu)的方法，相較于傳統(tǒng)尺度縮放策略能夠極大地加快檢測(cè)速度，雖然仍不能滿(mǎn)足實(shí)時(shí)性的要求，但相比檢測(cè)率較高的ACF和深度方法，檢測(cè)時(shí)間大幅縮短。

圖8 不同算法檢測(cè)效果對(duì)比

3）本文方法在LSI遠(yuǎn)紅外數(shù)據(jù)集上檢測(cè)率比次好的算法提高了0.15個(gè)百分點(diǎn)，在Test-W數(shù)據(jù)集上比次好的算法提高了3.6個(gè)百分點(diǎn)，在Test-S數(shù)據(jù)集上提高了5.4個(gè)百分點(diǎn)，可能是因?yàn)閷?shí)際道路背景復(fù)雜，對(duì)行人檢測(cè)不是很友好，行人的位置和姿態(tài)與開(kāi)源數(shù)據(jù)庫(kù)差異大，本文提出的遮擋檢測(cè)算法在復(fù)雜情況下有效地降低了漏檢。

表6 與其他算法檢測(cè)效果對(duì)比

4 結(jié)論

針對(duì)夜間行人檢測(cè)背景復(fù)雜，遮擋嚴(yán)重的情況，本文在SR模型的基礎(chǔ)上改進(jìn)了ROI提取方法，對(duì)得到的ROI構(gòu)建基于改進(jìn)的HOG特征的二分支分類(lèi)器結(jié)構(gòu)，并提出一種遮擋處理算法，性能評(píng)價(jià)表明，與標(biāo)準(zhǔn)方法相比，本方法在檢測(cè)精度和速度上均得到很大提升，為夜間復(fù)雜情況下的行人檢測(cè)提供了一種新的可能性。但算法仍無(wú)法滿(mǎn)足實(shí)時(shí)檢測(cè)的要求，且在行人較多的時(shí)候效果有限，下一步計(jì)劃采用特征性更強(qiáng)的描述子，并結(jié)合深度學(xué)習(xí)理論，嘗試解決行人的尺度不一、粘連等問(wèn)題，進(jìn)一步提高復(fù)雜情況下行人的檢測(cè)率。

[1] XU Z, ZHUANG J, LIU Q, et al. Nighttime FIR pedestrian detection benchmark dataset for ADAS[C]//, 2018: 323-333.

[2] TAO Y, FU D, SHU P. Pedestrian tracking for infrared image sequence based on trajectory manifold of spatio-temporal slice[J]., 2017, 76: 11021-11035.

[3] 劉洋. 基于LS-DYNA的汽車(chē)正面碰撞計(jì)算機(jī)模擬仿真[D]. 西安: 西華大學(xué), 2011.

LIU Yang. Simulation on the Front Impact of Vehicle Based on LS-DYNA[D]. Xi’an: Xihua University, 2011.

[4] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]// 2005(CVPR'05), 2005, 1(1): 886-893.

[5] Bosch A, Zisserman A, Munoz X. Representing shape with a spatial pyramid kernel[C]//, 2007: 401-408(doi: https://doi.org/10.1145/1282280.1282340).

[6] Sangeetha D, Deepa P. A low-cost and high-performance architecture for robust human detection using histogram of edge oriented gradients[J]., 2017, 53: 106-119.

[7] ZHENG C H, PEI W J, YAN Q, et al. Pedestrian detection based on gradient and texture feature integration[J]., 2017, 228: 71-78.

[8] 朱聰聰, 項(xiàng)志宇. 基于梯度方向和強(qiáng)度直方圖的紅外行人檢測(cè)[J]. 計(jì)算機(jī)工程, 2014, 40(12): 195-198, 204.

ZHU Congcong, XIANG Zhiyu. Infrared pedestrian detection based on histograms of oriented gradients and intensity[J]., 2014, 40(12): 195-198, 204.

[9] Itti L, Koch E. A model of saliency-based visual attention for rapid scene analysis[J].., 1998, 20(11): 1254-1259

[10] Radhakrishna A, Sheila H, Francisco E, et al. Frequency-tuned salient region detection[C]//2009, 2009: (doi: 10.1109/CVPR.2009.5206596).

[11] HOU X D, ZHANG L Q. Saliency detection: aspectral residual approach[C]//2007, 2007:(doi:10.1109/CVPR.2007.383267).

[12] Alexe B, Deselaers T, Ferrari V. Measuring the objectness of image windows[J]., 2012, 34(11):2189-2202.

[13] WANG X, HAN T X, YAN S. An HOG-LBP human detector with partial occlusion handling[C]//12, 2010:(doi: 10.1109/ICCV.2009.5459207).

[14] Javier M N, Vazquez D, Lopez A M, et al. Occlusion handling via random subspace classifiers for human detection[J].Cybernetics, 2013,44(3): V342-354.

[15] Broggi A, Bertozzi M, Fascioli A, et al. Shape-based pedestrian detection[C]//, 2000: (doi: 10.1109/IVS.2000.898344).

[16] Brehar R,Vancea C, Nedevschi S. Pedestrian detection in infrared images using aggregated channel features[C]//, 2014: (doi: 10.1109/ICCP.2014.p6936964).

[17] LIN T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]., 2017, 99:2999-3007.

[18] 車(chē)凱, 向鄭濤, 陳宇峰, 等. 基于改進(jìn)Fast R-CNN的紅外圖像行人檢測(cè)研究[J]. 紅外技術(shù), 2018, 40(6): 578-584.

CHE Kai, XIANG Zhengtao, CHEN Yufeng, et al. Research on infrared image pedestrian detection based on improved fast R-CNN[J]., 2018, 40(6): 578-584.

Infrared Pedestrian Detection in Complex Night Scenes

ZHAO Shuang，CHENShuyue，WANGQiaoyue

(,,213164,)

An infrared pedestrian detection algorithm is proposed to solve the problem of small differencesbetween pedestrians and backgroundsin gray scale images and the occurrence of occlusion in infrared images at night.First, a significant graph with the full coverage of the target is generated by the pedestrian semantic fusion method, and the region of interest is obtained by combining it with the original graph. Then,a two-branch classifier based on the improved histogram of the gradient feature is constructed. The fuzzy score of the classifier is used to determine the occurrence of occlusion and call the head template for the final detection. Experiments based on the LSI far infrared pedestrian dataset and independent datasets of pedestrians captured at night in winter and summer prove that the proposed method is robust and quick in detecting pedestrians under different environments. It can significantly reduce the rate of missed detection and realize adetection rate of94.20%.

infrared image, pedestrian detection, saliency, complex censes, HOG feature

TP391

A

1001-8891(2021)06-0575-08

2019-07-02；

2019-11-25.

趙雙（1995-），女，碩士，主要研究方向：模式識(shí)別（行人檢測(cè)）。E-mail：zhsss1030@163.com。

陳樹(shù)越（1963-），男，教授，主要研究方向：計(jì)算機(jī)視覺(jué)、圖像處理。E-mail：csyue2000@163.com。

江蘇省研究生科研創(chuàng)新基金項(xiàng)目（KYCX19_1770）。