王鑫　張鑫　寧晨

摘 要：針對紅外成像條件下人體目標(biāo)受干擾嚴(yán)重時目標(biāo)的識別準(zhǔn)確性和魯棒性較差的問題，提出了一種基于多特征降維和遷移學(xué)習(xí)的紅外人體目標(biāo)識別方法。首先，針對傳統(tǒng)的紅外人體目標(biāo)特征提取方法提取某單一特征時存在信息涵蓋不全面的問題，提取目標(biāo)不同種類的異構(gòu)特征，從而充分挖掘出紅外人體目標(biāo)的特點。其次，為了向后續(xù)識別分析提供有效且緊湊的特征描述，采用主成分分析方法對融合后的異構(gòu)特征進(jìn)行降維。最后，針對帶標(biāo)簽的紅外人體目標(biāo)樣本數(shù)據(jù)匱乏、訓(xùn)練樣本和測試樣本之間的分布及語義偏差導(dǎo)致的泛化性能差等問題，提出了一種有效的基于遷移學(xué)習(xí)的紅外人體目標(biāo)分類器，可較大程度地提高泛化性能和目標(biāo)識別準(zhǔn)確度。實驗結(jié)果表明，所提的方法在紅外人體目標(biāo)數(shù)據(jù)集上的識別準(zhǔn)確率達(dá)到了94%以上，與使用方向梯度直方圖（HOG）特征、亮度自相似（ISS）特征等單一特征進(jìn)行特征表示的方法以及使用傳統(tǒng)的非遷移分類器如支持向量機(jī)（SVM）、K-近鄰算法（KNN）等進(jìn)行學(xué)習(xí)的方法相比均有所提升，且更加穩(wěn)定，可以在實際的復(fù)雜紅外場景中提升人體目標(biāo)識別的性能。

關(guān)鍵詞：紅外;人體目標(biāo)識別;多特征;降維;遷移學(xué)習(xí)

中圖分類號： TP391.413文獻(xiàn)標(biāo)志碼：A

Infrared human target recognition method based on multi-feature dimensionality

reduction and transfer learning

WANG Xin1*， ZHANG Xin1， NING Chen2

（1. College of Computer and Information， Hohai University， Nanjing Jiangsu 211100， China;

2. School of Physics and Technology， Nanjing Normal University， Nanjing Jiangsu 210000， China）

Abstract： Aiming at the poor recognition accuracy and robustness of the human targets caused by the serious interference on the targets under infrared imaging conditions， an infrared human target recognition method based on multi-feature dimensionality reduction and transfer learning was proposed. Firstly， in order to solve the problem of incomplete information during the extraction of a single feature by the traditional infrared human target feature extraction method， different kinds of heterogeneous features were extracted to fully exploit the characteristics of infrared human targets. Secondly， to provide the efficient and compact feature description for subsequent recognition， a principal component analysis method was utilized to reduce the dimensionality of the fused heterogeneous features. Finally， to solve the problems such as poor generalization performance， caused by the lack of tagged human target samples in infrared images as well as the distributional and semantic deviations between the training samples and testing samples， an effective infrared human target classifier based on transfer learning was presented， which was able to greatly improve the generalization performance and the target recognition accuracy. The experimental results show that the recognition accuracy of the method on infrared human target data set reaches more than 94%， which is better and more stable than that of the methods with a single feature such as Histogram of Oriented Gradients （HOG）， Intensity Self Similarity （ISS） for feature representation or the methods learned with traditional non-transfer classifiers such as Support Vector Machine （SVM）， K-Nearest Neighbors （KNN）. Therefore， the performance of infrared human target recognition is improved in real complex scenes by the method.

Key words： infrared; human target recognition; multi-feature; dimensionality reduction; transfer learning

0 引言

紅外人體目標(biāo)識別是紅外圖像處理和模式識別領(lǐng)域中一個重要的研究分支。由于在紅外圖像中，人體目標(biāo)受成像噪聲的干擾，對比度一般較低;其次，目標(biāo)所處的背景一般較為復(fù)雜，目標(biāo)容易被背景所干擾;最后，人體目標(biāo)姿態(tài)多變，且容易被其他物體遮擋，因此，紅外人體目標(biāo)的有效和穩(wěn)健識別目前仍是一項富有挑戰(zhàn)性的課題，對其深入研究有著重要的理論意義和實用價值[1]。

為了有效地在紅外圖像中識別出人體目標(biāo)，首先需要對紅外人體目標(biāo)圖像進(jìn)行特征提取。為此，研究學(xué)者們提出了眾多的紅外圖像目標(biāo)特征提取方法。例如：文獻(xiàn)[2-3]提出采用方向梯度直方圖（Histogram of Oriented Gradients， HOG）對紅外人體目標(biāo)形狀進(jìn)行特征提取;文獻(xiàn)[4]在分析了紅外人體目標(biāo)特性的基礎(chǔ)上，提出了一種基于局部強(qiáng)度差異直方圖（Histograms of Local Intensity Differences， HLID）的紅外人體目標(biāo)亮度特征提取方法;文獻(xiàn)[5-6]采用局部二進(jìn)制模型（Local Binary Pattern， LBP）對紅外目標(biāo)進(jìn)行紋理特征提取;文獻(xiàn)[7]針對紅外人體目標(biāo)識別，提出了一種梯度位置方向直方圖（Gradient Location-Orientation Histogram， GLOH）對目標(biāo)進(jìn)行形狀特征提取。以上研究均通過提取紅外人體目標(biāo)的某單一特征對目標(biāo)進(jìn)行表示，雖然取得了一定的效果，但是特征描述不全面，導(dǎo)致識別精度不夠高。為此，又有學(xué)者提出對紅外人體目標(biāo)圖像進(jìn)行多特征提取和融合，改善了識別的性能。比如：文獻(xiàn)[8]提出針對紅外圖像分別采用HOG和Haar-like提取形狀和紋理特征進(jìn)行融合，提高了紅外人體目標(biāo)識別的精度;文獻(xiàn)[9]采用HOG提取紅外人體目標(biāo)的形狀特征，然后采用邊界片段模型（Boundary-Fragment-Model， BFM）提取輪廓特征，一定程度上提升了識別的性能;文獻(xiàn)[10]采用了HOG和LBP描述子分別提取形狀和紋理等特征，較單一特征而言，有利于目標(biāo)的識別。從上述分析可以得出如下幾點結(jié)論：首先，多特征融合確實能提高紅外人體目標(biāo)識別的精度;其次，針對紅外人體目標(biāo)而言，HOG特征已被證明是一種有效的特征提取方式;最后，雖然目前有很多方法提出提取紅外人體目標(biāo)的多種特征，但是有些方法提取的特征是同類的（即非異構(gòu)特征），如形狀、紋理、輪廓特征反映的實際都是目標(biāo)的結(jié)構(gòu)信息，因此，它們實際上未能從多個角度提取目標(biāo)不同類型的特征，識別性能也就無法得到更滿意的提升。

紅外人體目標(biāo)識別的第二個關(guān)鍵環(huán)節(jié)是分類器的設(shè)計。目前，針對紅外人體目標(biāo)的識別，常見的分類器有基于支持向量機(jī)（Support Vector Machine， SVM）的分類器[11-12]、基于AdaBoost的分類器[13]、基于稀疏表示（Sparse Representation， SR）的分類器[14]等。這些分類器雖然都取得了一定的效果，但是為了保證分類模型準(zhǔn)確可靠，在進(jìn)行訓(xùn)練時它們都依賴于兩個基本的假設(shè)：1）訓(xùn)練樣本與新的測試樣本需要滿足獨立同分布的條件;2）必須有足夠多的有效樣本才能訓(xùn)練出一個性能較好的分類模型。然而，在紅外人體目標(biāo)識別的實際應(yīng)用中可以發(fā)現(xiàn)，這兩個條件很難滿足。首先，原先可利用的帶標(biāo)簽的樣本可能變得不可用：由于紅外圖像特殊的成像原理，即使是同一目標(biāo)，不同外部環(huán)境仍然可能會造成成像結(jié)果的巨大差異，導(dǎo)致訓(xùn)練樣本與新的測試樣本的分布及語義產(chǎn)生較大的偏差。此外，可利用的帶標(biāo)簽的紅外圖像樣本數(shù)據(jù)比較匱乏。因此，如何利用有限的帶標(biāo)簽訓(xùn)練樣本或源領(lǐng)域數(shù)據(jù)，建立出一個可靠的模型對目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行預(yù)測（源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)可以不服從相同的數(shù)據(jù)分布）變得非常有意義。

近年來，遷移學(xué)習(xí)[15-16]在計算機(jī)科學(xué)等領(lǐng)域引起了廣泛的關(guān)注和研究。遷移學(xué)習(xí)通過遷移已經(jīng)學(xué)習(xí)到的知識來解決目標(biāo)領(lǐng)域中僅含有微量帶標(biāo)簽樣本的學(xué)習(xí)問題?，F(xiàn)階段，遷移學(xué)習(xí)在目標(biāo)識別與分類問題上已經(jīng)有了成功的應(yīng)用。比如：文獻(xiàn)[17]針對合成孔徑雷達(dá)（Synthetic Aperture Radar， SAR）目標(biāo)識別，進(jìn)行了SAR模擬數(shù)據(jù)集和實測數(shù)據(jù)集的知識遷移，將從模擬數(shù)據(jù)學(xué)習(xí)到的知識遷移到實際數(shù)據(jù)中，由此得到的識別性能比僅在實測數(shù)據(jù)集上進(jìn)行訓(xùn)練的識別性能有更大的優(yōu)勢;文獻(xiàn)[18]針對異構(gòu)遙感圖像分類問題，設(shè)計了一套迭代重加權(quán)遷移學(xué)習(xí)框架，完成了目標(biāo)的有效識別;文獻(xiàn)[19]利用遷移學(xué)習(xí)模型從源域和目標(biāo)域中深入挖掘信息，將人臉建模為結(jié)構(gòu)化和近似穩(wěn)定的表征，從而有效提升了人臉識別的準(zhǔn)確性。

基于上述分析，針對紅外人體目標(biāo)識別問題，本文提出了一種基于多特征降維和遷移學(xué)習(xí)的目標(biāo)識別方法。首先，針對紅外人體目標(biāo)特征提取問題，提出提取目標(biāo)的形狀和亮度兩種異構(gòu)特征進(jìn)行融合，并通過降維方法獲取簡潔高效的目標(biāo)特征。然后，基于遷移學(xué)習(xí)框架設(shè)計了一種有效的分類器應(yīng)用于紅外人體目標(biāo)的識別過程中，可較大程度地提高識別的準(zhǔn)確性。實驗結(jié)果表明，本文的方法有效提高了復(fù)雜背景下紅外人體目標(biāo)識別的性能。

1 本文方法

本文方法的處理流程如圖1所示，包括訓(xùn)練和識別兩個模塊。在訓(xùn)練模塊中，分別采用紅外和可見光圖像構(gòu)建源訓(xùn)練樣本集（源訓(xùn)練樣本集中含有紅外人體目標(biāo)和非人體目標(biāo)圖像）和輔助訓(xùn)練樣本集（輔助訓(xùn)練樣本集中含有可見光人體目標(biāo)和非人體目標(biāo)圖像）;然后，對不同集合里面的圖像分別采用HOG方法提取形狀特征，并采用亮度自相似（Intensity Self Similarity， ISS）方法提取亮度特征;接著，將兩種異構(gòu)特征進(jìn)行融合并采用主成分分析法（Principal Component Analysis， PCA）對其進(jìn)行降維;最后，基于降維后的特征，訓(xùn)練遷移學(xué)習(xí)分類器。在識別模塊中，給定一幅待識別紅外圖像，同樣首先提取其HOG特征和ISS特征，然后對融合特征進(jìn)行降維，最后基于降維后的特征，利用已經(jīng)訓(xùn)練好的分類器進(jìn)行分類識別，即可得到最終的識別結(jié)果。

1.1 訓(xùn)練樣本集的構(gòu)建

由于實際紅外圖像目標(biāo)樣本的規(guī)模一般較小，且訓(xùn)練樣本和測試樣本的語義分布存在一定差異。本文提出使用遷移學(xué)習(xí)框架來有效彌補(bǔ)紅外圖像目標(biāo)樣本規(guī)模過小的不足，提高泛化性能。因此，首先需要構(gòu)建源訓(xùn)練樣本集和輔助訓(xùn)練樣本集，共同組成帶標(biāo)簽的訓(xùn)練集合。

分別采用紅外和可見光圖像構(gòu)建源訓(xùn)練樣本集和輔助訓(xùn)練樣本集，記為S1=[s11，s12，…，s1m]，S2=[s21，s22，…，s2n]，其中m和n分別表示源訓(xùn)練樣本和輔助訓(xùn)練樣本的個數(shù)。將S1和S2進(jìn)行合并，得到完整的訓(xùn)練樣本集：

S=[s1，s2，…，sm，…，sm+n]（1）

對每一個訓(xùn)練樣本，添加類別標(biāo)簽，對應(yīng)的類標(biāo)集設(shè)為：

L=[label1，label2，…，labelm，…，labelm+n]（2）

其中，labeli∈{0，1}為第i個訓(xùn)練樣本圖像的類標(biāo)。源和輔助訓(xùn)練樣本類標(biāo)集分別為Ls=[label1，label2，…，labelm]，La=[labelm+1，labelm+2，…，labelm+n]。

1.2 異構(gòu)多特征的提取

本文提出分別采用HOG方法提取目標(biāo)的形狀信息和ISS方法提取亮度信息，這兩種信息是紅外人體目標(biāo)非常顯著的特征，兩者結(jié)合將形成互補(bǔ)，增強(qiáng)圖像特征描述的完備性。

1.2.1 基于HOG的形狀特征提取

基于HOG的形狀特征提取方法提取出的特征對目標(biāo)局部形狀的變化以及光照變化具有魯棒性，因此，被廣泛應(yīng)用于目標(biāo)識別、跟蹤等領(lǐng)域。

給定一幅待處理的目標(biāo)樣本圖像si（1≤i≤m+n），首先利用梯度算子求取每個像素點的橫向梯度和縱向梯度，分別設(shè)為H（x，y）和Z（x，y），每個像素點的梯度幅度和方向計算式為：

M（x，y）=H（x，y）2+Z（x，y）2（3）

θ（x，y）=arctan[Z（x，y）H（x，y）]（4）

然后，將圖像分成若干單元，每一單元劃分為9個梯度方向，得到一個9維的向量。把相鄰的4塊單元組成一個塊，得到一個36維的特征向量。最后將所有向量連在一起就得到了樣本圖像的HOG特征向量hogi。

最終，可以得到所有訓(xùn)練樣本圖像的HOG特征集：

hog_set=[hog1，hog2，…，hogm+n]T（5）

1.2.2 基于ISS的亮度特征提取

與可見光圖像相比，紅外圖像沒有豐富的顏色信息可利用，富含的是像素點的亮度信息，因此亮度信息是紅外圖像的一個非常重要的特征[20]?？紤]到紅外人體目標(biāo)圖像中，人體頭部、手臂及腿部區(qū)域亮度一般具有極較高的相似性，而軀干部分的亮度與上述區(qū)域相比相似度要低很多，根據(jù)這個特點，本文提出計算紅外人體目標(biāo)圖像中不同塊之間的灰度相似度，來表征人體目標(biāo)的亮度信息。具體方法如下：

首先，給定一幅待處理的目標(biāo)樣本圖像si（1≤i≤m+n），對其進(jìn)行不重疊分塊，設(shè)分為了u塊。統(tǒng)計每一塊的灰度直方圖信息Hp（1≤p≤u）。

然后，針對圖像中的任意兩塊，通過其對應(yīng)的兩個向量Hp、Hq之間夾角的余弦值來表征它們之間的相似度，值越大則代表越相似。兩塊之間的相似度issp，q計算式如下：

issp，q=Hp·Hq‖Hp‖·‖Hq‖（6）

這樣，可以獲得關(guān)于樣本圖像si的一個u×（u-1）/2維的相似度向量，作為樣本圖像的基于ISS的亮度特征issi。

最終，可以得到所有訓(xùn)練樣本圖像的ISS特征集：

iss_set=[iss1，iss2，…，issm+n]T（7）

1.3 基于PCA的融合特征降維

針對1.2節(jié)提取的HOG特征集和ISS特征集，將它們進(jìn)行串聯(lián)融合，得到所有樣本圖像的融合特征集feat：

feat=[hog_set，iss_set]（8）

考慮到融合后的特征維數(shù)較大，且特征向量之間可能存在大量的相關(guān)性，造成特征表示的繁冗以及計算效率的降低，因此，提出對特征進(jìn)行有效的降維。目前，常見的特征降維方法有基于PCA的方法[21]和基于線性判別分析（Linear Discriminant Analysis， LDA）的方法[22]，相較于LDA而言，PCA能夠保持特征數(shù)據(jù)的內(nèi)在信息，去除特征數(shù)據(jù)之間可能存在的相關(guān)性，因此本文采用PCA方法對融合特征向量集feat進(jìn)行降維。具體過程如下：

首先，針對feat，求其協(xié)方差矩陣C并計算其特征值。將特征值按從大到小的順序進(jìn)行排列，得到λ1，λ2，…，λp，并得到對應(yīng)的特征向量v1，v2，…，vp。

然后，計算累計方差貢獻(xiàn)率G（k）：

G（k）=∑ki=1λi/∑pj=1λj（9）

根據(jù)設(shè)定的累計方差貢獻(xiàn)率閾值，求出主成分的個數(shù)k。

第三，選取λ1，λ2，…，λp中前k個特征值λ1，λ2，…，λk所對應(yīng)的特征向量v1，v2，…，vk構(gòu)成投影矩陣V，利用投影矩陣V對原特征矩陣feat進(jìn)行投影，即可得到降維后的特征矩陣feat_p：

feat_p=feat×VT（10）

其中，源訓(xùn)練樣本降維后的特征向量集可以表示為Ts=[feat_p1， feat_p2，…， feat_pm]T，輔助訓(xùn)練樣本降維后的特征向量集則表示為Ta=[feat_pm+1， feat_pm+2，…， feat_pm+n]T。

1.4 遷移學(xué)習(xí)分類器的設(shè)計

針對降維后的特征向量集feat_p，將其融入遷移學(xué)習(xí)框架中，提出一種基于遷移學(xué)習(xí)的紅外人體目標(biāo)分類器，其設(shè)計如下：

步驟1 選取SVM作為遷移學(xué)習(xí)框架中的基本分類器。計算訓(xùn)練數(shù)據(jù)集feat_ p中所有樣本數(shù)據(jù)的初始權(quán)重w1i為：

w1i=1/m，i=1，2，…，m

1/n， i=m+1，m+2，…，m+n （11）

步驟2 設(shè)t=1，2，…，N，其中N表示迭代次數(shù)。將權(quán)重進(jìn)行歸一化：

wti=wti/∑m+ni=1wti（12）

步驟3 輸入訓(xùn)練數(shù)據(jù)集Ts和Ta，及其對應(yīng)的類標(biāo)Ls和La、歸一化權(quán)重wti （i=1，2，…，m+n），采用TradaBoost算法[15]對SVM分類器進(jìn)行訓(xùn)練，得到分類映射ht：X→Y。

步驟4 計算分類映射ht在Ts上的分類錯誤率：

et=∑mi=1wti·|ht（feat_pi）-labeli|∑mi=1wti（13）

其中：ht（feat_pi）（i=1，2，…，m）表示第i個訓(xùn)練樣本的分類結(jié)果;labeli（i=1，2，…，m）表示第i個訓(xùn)練樣本的真實類標(biāo)。

步驟5 根據(jù)計算得到的分類錯誤率，重新調(diào)整權(quán)重：

wt+1i=

wti·βt-|ht（feat_ pi）-labeli|，i=1，2，…，m

wti·β|ht（feat_ pi）-labeli|，i=m+1，m+2，…，m+n（14）

其中，參數(shù)βt=et1-et（當(dāng)et≥1/2時，調(diào)整et為0.499;et=0時，調(diào)整et為0.001）。參數(shù)β=1/（1+2lnmN）。

步驟6 將步驟2至步驟5重復(fù)執(zhí)行N次。最終可以得到一個經(jīng)過訓(xùn)練后穩(wěn)定的SVM分類器。

最后，輸入待識別的紅外圖像。首先提取其HOG和ISS融合并降維后的特征feature，然后利用訓(xùn)練好的分類器hf（x）計算最終分類識別的結(jié)果：

識別結(jié)果=人體目標(biāo)， hf（feature）=1

非人體目標(biāo)，hf（feature）=0 （15）

2 實驗與結(jié)果分析

2.1 實驗環(huán)境和數(shù)據(jù)

為了驗證本文提出的基于多特征降維和遷移學(xué)習(xí)的紅外人體目標(biāo)識別方法的有效性，在CPU主頻為1.5GHz、內(nèi)存為4GB、仿真軟件為Matlab R2014a的PC上對算法進(jìn)行了實驗。

實驗采用了LSI Far Infrared Pedestrian Dataset[23]和INRIA Person Dataset[24]這兩個公共數(shù)據(jù)集。表1詳細(xì)介紹了本文實驗的數(shù)據(jù)集。其中，源訓(xùn)練樣本集和測試集中的紅外圖像均來自于LSI Far Infrared Pedestrian Dataset中的Classification Dataset，此紅外圖像集中包含了形態(tài)各異的紅外人體目標(biāo)圖像以及不同環(huán)境下的紅外非人體目標(biāo)圖像，可以滿足訓(xùn)練樣本和測試樣本采集的需求。從LSI圖像庫中隨機(jī)挑選了310張紅外正樣本圖像和310張紅外負(fù)樣本圖像作為源訓(xùn)練樣本圖像，另外隨機(jī)挑選了正負(fù)樣本圖像各500張作為實驗的測試集。樣本圖像大小均為64×32像素。圖2給出了部分源訓(xùn)練樣本圖像示例。

輔助訓(xùn)練樣本集中的可見光圖像來源于INRIA數(shù)據(jù)集，該數(shù)據(jù)集包含了2416幅人體目標(biāo)圖像和1218幅非人體目標(biāo)圖像，圖像大小均為64×32像素。其中，包含人體目標(biāo)的圖像中行人的姿態(tài)豐富，所處的背景復(fù)雜;而非人體目標(biāo)圖像包含了街道、建筑物、自然風(fēng)景等不同的形式，滿足了本文實驗輔助樣本所需的多樣性。為了滿足遷移學(xué)習(xí)模型中輔助訓(xùn)練樣本數(shù)至少為源訓(xùn)練樣本數(shù)的2倍這一要求，從INRIA圖像集中選取了正負(fù)樣本圖像各720張來作為輔助訓(xùn)練樣本集。圖3給出了部分輔助訓(xùn)練樣本圖像示例。

本文采用識別準(zhǔn)確度（Accuracy Rate， AR）和F1-measure（F1）[25]來衡量目標(biāo)識別的效果，采用多次隨機(jī)測試的標(biāo)準(zhǔn)差（Standard Deviation， SD）來驗證算法的穩(wěn)定性。AR和F1指標(biāo)計算方法如下：

其中：TP和FN分別表示正樣本被正確識別和錯誤識別的個數(shù); TN和FP則分別表示負(fù)樣本被正確識別和錯誤識別的個數(shù)。 precision=TP/（TP+FP）表示識別的精確率，recall=TP/（TP+FN）表示識別的召回率。F1為精確率和召回率的調(diào)和均值。顯然，AR和F1的值越大，說明識別的效果越理想。

此外，多次隨機(jī)測試的標(biāo)準(zhǔn)差SD計算方法如下：

SD=1NN-1∑NNi=1（ARi-1NN∑NNi=1ARi）2（18）

其中：NN為隨機(jī)測試實驗的次數(shù);ARi為第i次實驗的識別準(zhǔn)確度。SD值越小，表明識別性能越穩(wěn)定。

2.2 異構(gòu)多特征提取實驗

首先，為了驗證提出的異構(gòu)多特征提取和融合算法的有效性，將基于HOG和ISS的融合特征（記為：HOG+ISS）或某單一特征（HOG或ISS）的識別結(jié)果進(jìn)行了對比實驗（為了公平起見，分類器選用的都是本文介紹的遷移學(xué)習(xí)分類器），結(jié)果如表2所示。由表2可以發(fā)現(xiàn)，使用單一特征HOG和ISS進(jìn)行識別，AR分別為90.60%和87.30%，F(xiàn)1分別為91.28%和88.25%;而使用兩種融合特征HOG+ISS時，AR與F1分別為91.40%和92.04%，與使用單一特征相比均有所提高。因此，本文的多特征策略可以有效提高識別的性能。

2.3 基于PCA的融合特征降維實驗

接著，為了驗證提出的基于PCA的融合特征降維方法的有效性，對比分析了降維前后融合特征用于識別的性能（為了公平起見，分類器選用的都是本文介紹的遷移學(xué)習(xí)分類器），實驗結(jié)果如表2所示。其中，降維后的融合特征記為（HOG+ISS）_p。由表2可以看出，使用降維前的融合特征進(jìn)行識別，AR和F1分別為91.40%和92.04%;使用PCA降維后的融合特征進(jìn)行識別，AR和F1分別為94.30%和94.51%，與降維前的特征識別效果相比，AR值提高了2.90個百分點，F(xiàn)1值提高了2.47個百分點。使用降維前的融合特征進(jìn)行識別的時間為4.41s;而使用降維后的融合特征進(jìn)行識別的時間為1.06s，其識別效率是降維前的4倍。由此可見，本文提出的基于PCA的融合特征降維策略，不僅大幅提高了識別效率，而且由于降維操作去除了特征數(shù)據(jù)中相關(guān)的冗余信息，為后續(xù)識別分析提供了更加有效且緊湊的特征描述，識別的準(zhǔn)確性也有較大提升。

此外，選取了其他幾種同類別性能較好的特征提取方法進(jìn)行整體識別性能的對比，分別是：完備局部二值模式（Completed Local Binary Pattern， CLBP）特征[26]，HOG特征經(jīng)過詞袋模型（Bag Of Words， BOW）編碼后的特征HOG-BOW[27]，以及HOG與CLBP的聯(lián)合特征HOG+CLBP[28]。由表2可知，在識別準(zhǔn)確性方面，本文的特征提取方法（（HOG+ISS）_p）僅低于HOG+CLBP方法0.3個百分點，優(yōu)于其他的所有方法，但本文方法的特征維數(shù)只有298維，其識別效率比HOG+CLBP方法高出2倍以上。因此本文的方法擁有更好的整體性能。

2.4 基于遷移學(xué)習(xí)的目標(biāo)識別實驗

然后，為了驗證提出的基于遷移學(xué)習(xí)的分類器分類識別的性能，將提出算法和其他幾種性能優(yōu)良的分類器如SVM、KNN[29]、AdaBoost、NaiveBayes[30]等進(jìn)行了對比分析（均使用本文提出的融合降維特征），結(jié)果如表3所示。由表3可見，針對本文提出的異構(gòu)多特征融合降維特征，若采用提出的基于遷移學(xué)習(xí)的分類器進(jìn)行紅外人體目標(biāo)識別，則AR和F1分別為94.30%和94.51%;而若采用非遷移學(xué)習(xí)分類器進(jìn)行識別時， AR和F1最好的結(jié)果為92.40%和92.51%，仍低于本文的遷移學(xué)習(xí)分類器。這一結(jié)論表明本文提出的基于遷移學(xué)習(xí)的紅外人體目標(biāo)分類器有效地從可見光樣本圖像中提取出了有助于紅外人體目標(biāo)識別的實例，提高了目標(biāo)識別的性能，一定程度上解決了傳統(tǒng)分類器由于紅外樣本圖像過少而導(dǎo)致泛化性能差、目標(biāo)識別率較低的問題。

2.5 算法的穩(wěn)定性驗證

最后，針對本文提出算法的穩(wěn)定性進(jìn)行了分析。重新從LSI圖像庫中隨機(jī)挑選了310張紅外正樣本圖像和310張紅外負(fù)樣本圖像作為源訓(xùn)練樣本圖像，另外隨機(jī)挑選了正負(fù)樣本圖像各500張作為實驗的測試集，重復(fù)10次。取10次測試實驗的平均準(zhǔn)確度AR及標(biāo)準(zhǔn)差SD對穩(wěn)定性進(jìn)一步評估，結(jié)果如表4～5所示。表4給出了前文所提的不同特征提取方法經(jīng)過10次實驗的目標(biāo)識別結(jié)果（分類器采用的都是本文的基于遷移學(xué)習(xí)的分類器）;表5給出了前文所提的不同分類器進(jìn)行10次實驗的目標(biāo)識別結(jié)果（特征采用本文提出的降維后的融合特征）。由表4～5可知，本文提出的方法在進(jìn)行紅外人體目標(biāo)識別時保持著較高的識別精度，且穩(wěn)定性均優(yōu)于其他的方法，整體性能更為優(yōu)異。

綜上可知，本文提出的方法能有效進(jìn)行紅外人體目標(biāo)的識別：異構(gòu)多特征提取策略保證了特征的完備性;基于PCA的融合特征降維方法精煉了特征的描述，提高了識別的效率;基于遷移學(xué)習(xí)的分類器則解決了傳統(tǒng)的機(jī)器學(xué)習(xí)方法在訓(xùn)練樣本較少的情況下分類識別性能不佳的問題，整個算法有效而穩(wěn)健。

3 結(jié)語

針對紅外成像條件下人體目標(biāo)受干擾嚴(yán)重時目標(biāo)的識別準(zhǔn)確性和魯棒性較差的問題，本文提出了一種基于HOG與ISS多特征降維和遷移學(xué)習(xí)的紅外人體目標(biāo)識別方法。該方法首先提取紅外人體目標(biāo)圖像基于HOG的形狀特征和基于ISS的亮度特征，這兩種異構(gòu)特征的結(jié)合能有效提升特征表達(dá)的完備性;其次，對融合后的異構(gòu)特征，提出采用PCA對其進(jìn)行降維，一方面有利于后續(xù)識別效率的提高，另一方面確保信息的緊致性，有助于提升識別的精度;最后，設(shè)計的遷移學(xué)習(xí)分類器在有效訓(xùn)練樣本較少的情況下能提高分類器的泛化性能和目標(biāo)識別的準(zhǔn)確度，且識別結(jié)果優(yōu)于傳統(tǒng)的分類器方法。雖然本文方法在進(jìn)行紅外人體目標(biāo)圖像識別時取得了較好的效果，但是識別的準(zhǔn)確性仍然有進(jìn)一步提高的空間。因此，尋找更高效準(zhǔn)確的特征提取方法以及尋求遷移學(xué)習(xí)算法的有效改進(jìn)將是我們接下來的主要研究方向。

參考文獻(xiàn) （References）

[1]WANG X， XU L， ZHANG Y， et al. A novel hybrid method for robust infrared target detection [J]. KSII Transactions on Internet and Information Systems， 2017， 11（10）： 5006-5022.

[2]LEE Y， CHAN Y， FU L， et al. Near-infrared-based nighttime pedestrian detection using grouped part models [J]. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（4）： 1929-1940.

[3]劉峰，王思博，王向軍，等.多特征級聯(lián)的低能見度環(huán)境紅外行人檢測方法[J].紅外與激光工程，2018，47（6）：127-134.（LIU F， WANG S B， WANG X J， et al. Infrared pedestrian detection method in low visibility environment based on multi feature association [J]. Infrared and Laser Engineering， 2018， 47（6）： 127-134.）

[4]KIM D S， KIM M， KIM B S， et al. Histograms of local intensity differences for pedestrian classification in far-infrared images [J]. Electronics Letters， 2013， 49（4）： 258-260.

[5]SUN J， FAN G， YU L， et al. Concave-convex local binary features for automatic target recognition in infrared imagery [J]. EURASIP Journal on Image and Video Processing， 2014， 2014： Article No. 23.

[18]LI X， ZHANG L， DU B， et al. Iterative reweighting heterogeneous transfer learning framework for supervised remote sensing image classification [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2017， 10（5）： 2022-2035.

[19]REN C， DAI D， HUANG K， et al. Transfer learning of structured representation for face recognition [J]. IEEE Transactions on Image Processing， 2014， 23（12）： 5440-5454.

[20]MIRON A， BESBES B， ROGOZAN A， et al. Intensity self similarity features for pedestrian detection in far-infrared images [C]// Proceedings of the 2012 IEEE International Symposium. Piscataway： IEEE， 2012： 1120-1125.

[21]ABDI H， WILLIAMS L J. Principal component analysis [J]. Wiley Interdisciplinary Reviews： Computational Statistics， 2010， 2（4）： 433-459.

[22]LI M， YUAN B. 2D-LDA： a statistical linear discriminant analysis for image matrix [J]. Pattern Recognition Letters， 2005， 26（5）： 527-532.

[23]KHELLAL A， MA H， FEI Q. Pedestrian classification and detection in far infrared images [C]// Proceedings of the 2015 International Conference on Intelligent Robotics and Applications， LNCS 9244. Cham： Springer， 2015： 511-522.

[24]DALAL N. Finding people in images and videos [D].? Grenoble， France： Institute National Polytechnique de Grenoble， 2006： 106-107.

[25]WANG X， SHEN S， NING C， et al. Multi-class remote sensing objects recognition based on discriminative sparse representation [J]. Applied Optics， 2016， 55（6）： 1381-1394.

[26]GUO Z， ZHANG L， ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing， 2010， 19（6）： 1657-1663.

[27]KHAN M N A， FAN G， HEISTERKAMP D R， et al. Automatic target recognition in infrared imagery using dense HOG features and relevance grouping of vocabulary [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2014： 293-298.

[28]HASSAN M A， PARDIANSYAH I， MALIK A S， et al. Enhanced people counting system based head-shoulder detection in dense crowd scenario [C]// Proceedings of the 6th International Conference on Intelligent and Advanced Systems. Piscataway： IEEE， 2016： 1-6.

[29]WANG S， LIU Z. Infrared face recognition based on histogram and k-nearest neighbor classification [C]// Proceedings of the 7th International Symposium on Neural Networks. Berlin： Springer， Heidelberg， 2010： 104-111.

[30]YANG B， LEI Y， YAN B. Distributed multi-human location algorithm using naive Bayes classifier for a binary pyroelectric infrared sensor tracking system [J]. IEEE Sensors Journal， 2015， 16（1）： 216-223.

This work is partially supported by the National Natural Science Foundation of China （61603124）， the Fundamental Research Funds for the Central Universities （2019B15314）， the Six Talents Peak Project of Jiangsu Province （XYDXX-007）.

WANG Xin， born in 1981， Ph. D.， associate professor. Her research interests include image processing， pattern recognition， computer vision， machine learning.

ZHANG Xin， born in 1995， M. S. candidate. His research interests include image processing， pattern recognition.

NING Chen， born in 1978， Ph. D. candidate， lecturer. His research interests include image processing， machine learning.

收稿日期：2019-06-12;修回日期：2019-08-26;錄用日期：2019-09-25?；痦椖浚簢易匀豢茖W(xué)基金資助項目（61603124）;教育部中央高?；究蒲袠I(yè)務(wù)費專項資金項目（2019B15314）;江蘇省 “六大人才高峰”高層次人才項目（XYDXX-007）。

作者簡介：王鑫（1981—），女，安徽阜陽人，副教授，博士，主要研究方向：圖像處理、模式識別、計算機(jī)視覺、機(jī)器學(xué)習(xí); 張鑫（1995—），男，江蘇泰州人，碩士研究生，主要研究方向：圖像處理、模式識別; 寧晨（1978—），男，安徽阜陽人，講師，博士研究生，主要研究方向：圖像處理、機(jī)器學(xué)習(xí)。

文章編號：1001-9081（2019）12-3490-06DOI：10.11772/j.issn.1001-9081.2019060982