馬哲杰 王昱霖 李平

摘? 要： 目前主流的監(jiān)控視頻處理方式仍然是根據光照條件，單獨使用可見光或紅外光視頻。本文提出雙流全卷積孿生網絡，旨在利用圖像融合技術，將可見光與紅外光圖像各自的優(yōu)點互補，輔助目標檢測與追蹤。在特征提取模塊，構建以DenseNet為主干的孿生神經網絡。在特征融合與重構階段，使用全卷神經網絡構造全局特征和模板特征。在目標追蹤階段，對全局特征和模板特征進行互相關操作，得到跟蹤結果。本文方法充分利用雙模態(tài)視頻的深度信息，有效解決極端天氣以及夜間光線不足造成的圖像采集模糊問題，增強追蹤模型在復雜情景下的魯棒性。

關鍵詞： 計算機視覺； 孿生神經網絡； 圖像融合； 目標追蹤； 紅外圖像； 可見光圖像

中圖分類號：TP399? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）06-96-07

All-weather tracking method based on infrared-visible image fusion

Ma Zhejie， Wang Yulin， Li Ping

（Department of Computer Science， Hangzhou Dianzi University， Hangzhou， Zhejiang 310018， China）

Abstract： The mainstream surveillance video processing is still using visible or infrared video alone. In this paper， a Two-Stream Fully Convolutional Siamese Network （TFSiamNet） is proposed to assist target detection and tracking. Firstly， in the feature extraction module， a Siamese network with DenseNet is constructed. Secondly， in the feature fusion and reconstruction stage， the fully convolutional layers are used to construct the global feature and template feature. Finally， in the tracking stage， the cross-correlation between the global feature and the template feature is carried out to get the tracking results. The proposed method makes full use of the depth information of the dual-mode video， effectively solves the problem of fuzzy image acquisition caused by extreme weather and insufficient light at night， and enhances the robustness of the tracking model under complex scenarios.

Key words： computer vision; Siamese network; image fusion; target tracking; infrared image; visible image

0 引言

隨著人工智能在我國高速發(fā)展以及監(jiān)控覆蓋率穩(wěn)步提升，計算機視覺在尋人、偵查等安防領域開始廣泛應用。利用目標追蹤與定位技術進行智慧安防管理已逐漸成為一個熱門的研究領域。

目前，紅外傳感器在監(jiān)控設備中普遍應用，使得監(jiān)控設備可以同時采集紅外圖像和可見光圖像組成的雙流數據。因此，目標追蹤技術主要通過兩種方式獲取圖像數據：利用紅外傳感器分辨溫度差異獲得紅外圖像；利用傳統(tǒng)光學成像原理獲得可見光圖像。紅外攝像頭基于其光線不敏感的特性，能在夜間和惡劣天氣下工作，但是當目標和背景溫度相似時，往往會發(fā)生熱交叉效應，使得跟蹤算法難以從背景中發(fā)現目標；可見光攝像頭具有較高的分辨率，可以更好地展現局部細節(jié)，但因其對光線的依賴性，使用場景較為局限。單獨使用其中的一種技術，顯然都不能很好的滿足不同場景下目標的檢測與跟蹤任務。

本文為了解決以上難點，對可見光圖像和紅外圖像組成的雙流數據進行特征級融合，使用可見光-紅外雙模態(tài)融合追蹤網絡，實現在海量監(jiān)控視頻中對目標人物的匹配與追蹤。該模型提取的目標模板特征兼具紅外圖像和可見光圖像兩者的優(yōu)點，有利于提高目標匹配與定位的精度，克服大霧、暴雨、冰雹等極端惡劣天氣，以及夜間光線不足造成的圖像采集模糊問題，增強模型在復雜情景下的魯棒性。

1 研究現狀

1.1 目標跟蹤

目標跟蹤是根據時間順序在不同的視頻幀中找相同的目標?，F實中由于目標運動的機動性高、隨機性強、自然因素干擾等問題，經常使目標跟蹤失敗。故如何使跟蹤算法具有更高的泛化能力和準確率成為國內外許多學者致力研究的課題。

2019年，Danelijan等人在[CVPR]上發(fā)表的新成果重疊最大化精確跟蹤（簡稱[ATOM][1]）提出了一個新的目標跟蹤框架，把目標跟蹤劃分成目標粗定位和目標形狀估計兩個階段。同年，張志鵬教授和鵬厚文先生提出的新概念殘差單元[2]為孿生網絡的加深提供了可能。在[2020]年，德克薩斯奧斯汀分校和英特爾研究院[3]將基于點的跟蹤與檢測結合起來，提出一個基于點的聯合跟蹤與檢測框架——CenterTrack，每一個目標都用其邊界框中心的一個點來表示，然后按時間順序跟蹤這個中心點，該跟蹤器以端到端形式進行訓練且可微分。

縱觀近年來國內外代表性的研究成果，孿生網絡以其在圖像匹配問題上的優(yōu)勢逐漸成為研究的熱點。相比傳統(tǒng)算法通過區(qū)域建議來更新矩形框，采用圖像匹配作為更新方式的孿生網絡在保持準確率的同時，由于輕量級的特點大大加快了跟蹤速度。

1.2 圖像融合

圖像融合是將多幅圖像中的信息整合成一幅圖像，為應用提供更好的數據源的一項技術。近年來，該領域產生了許多優(yōu)秀算法。

[2019]年，Li等人[4]提出一種新的深度學習方法：紅外與可見光圖像融合的體系結構。與傳統(tǒng)的卷積網絡不同，其編碼網絡結合了卷積層、融合層和密集塊，并設計了兩個融合層來融合這些特征。最后通過譯碼器對融合后的圖像進行重構。次年，Li等人[5]提出了一種新的紅外和可見光圖像融合方法，建立了基于巢穴連接的網絡和空間-通道注意模型?；谇短走B接的網絡可以在多尺度上保存輸入數據中的大量信息。

2021年，Zhu等人[6]提出了一種新的深度網絡結構，稱為質量感知特征聚合網（[FANet]），用于魯棒[RGBT]跟蹤。與現有的[RGBT]跟蹤器[7]不同，[FANet]在每個模態(tài)中聚集了層次深度特征，以處理由低光照、變形、背景雜波和遮擋引發(fā)的外觀顯著變化的挑戰(zhàn)。特別地，Zhu等人采用最大池化的操作將這些分層多分辨率的特征轉化為具有相同分辨率的統(tǒng)一空間，使用[1×1]卷積運算壓縮特征維數，實現更有效的分層特征聚合。為了模擬[RGB]和熱模態(tài)之間的相互作用，他們精心設計了一個自適應聚合子網絡，根據不同模態(tài)的可靠性對其特征進行集成，從而能夠緩解低質量源引入的噪聲效應。

紅外和可見光圖像融合，能夠將多源圖像融合，提高了成像質量，減少了冗余信息，廣泛應用于各種成像設備，以提高機器的視覺能力。融合圖像中，對場景的準確、可靠和互補的描述，使這些技術在各個領域得到了廣泛的應用。

2 雙流全卷積孿生網絡模型

2.1 模型整體架構

本文將圖像融合技術與目標追蹤技術相結合，以孿生網絡為主體架構，選用改進后的[DenseNet-121]網絡[8]模型作為骨干網絡來提取特征，然后使用全卷積神經網絡分別對目標模板特征和全局特征進行特征的融合與重構，最后對融合模板特征和融合全局特征進行互相關操作，得到目標的位置和大小信息。整個模型的架構如圖1所示。

首先對同幀同步的雙流視頻進行幀采樣，再選取視頻幀序列的首幀圖片，手動框選需要追蹤的目標，分別將目標與當前幀的可見光與紅外光圖像輸入雙流特征提取網絡。然后利用特征融合技術將兩類圖像的紅外與可見光特征融合為模板特征和全局特征。在獲取圖像有效的特征后，采用目標檢測技術，利用互相關操作將目標模板特征與視頻幀序列特征逐一進行運算，輸出目標中心位置及候選框的大小參數，實現對于目標的框選和定位。本文重點在圖像特征提取、圖像融合模塊和目標追蹤與匹配模塊進行了創(chuàng)新，將會在技術分析部分具體論述模塊結構。

2.2 技術分析

2.2.1 特征提取網絡設計

目標跟蹤的任務是，在視頻的每一幀中匹配和定位目標，因此在特征提取時，需對第一幀圖像進行目標框選，得到待追蹤目標的模板圖像，將視頻幀序列的當前幀作為待搜索圖像，因為我們處理的是雙流視頻數據，故以模板圖像和待搜索圖像均由一組同幀同步的紅外光和可見光圖像組成。特征提取網絡模型由孿生的可見光網絡和紅外光網絡構成。我們以模板特征提取網絡為例進行介紹，其內部結構由雙流異構三維卷積層和改進的[DenseNet-121]組成，具體結構如圖2所示。

在特征提取之前，由于紅外光與可見光通道數存在差異，無法直接適應相同結構的網絡，為了使后續(xù)的[DenseNet]網絡更好的進行權值共享，本文設計了一組異構的三維卷積核，分別對兩組圖像進行初步的特征提取和通道合并。首先將兩個原始的模板圖像進行尺寸縮放，轉化成[128×128×3]和[128×128×1]的標準大小，其中可見光圖像通道數為[3]，紅外光圖像通道數為[1]。針對不同通道數的圖像，分別采用異構的卷積核進行卷積運算，最后經激活層和最大池化處理，得到初始模板特征。

將初始模板特征分別輸入改進的[DensNet-121]網絡進行深度特征的提取。在最后一個密集塊的輸出部分增加過渡層，進行特征降維，可以有效過濾因密集連接產生的冗余信息，且有利于之后的特征融合與重構，最終輸出一組[4×4×512]的雙流模板特征。同理，針對全局圖像的特征提取，首先將兩個原始全局圖像縮放為[640×640×3]和[640×640×1]的標準大小，經過類似的計算，最終輸出一組[20×20×512]的雙流全局特征。

本文使用[DenseNet]作為特征提取的骨干網絡，相比[ResNet]具有更高的運行效率，基于其密集連接的網絡結構，各層特征重復利用，使其參數存儲和計算的開銷更小。同時，[Corinna Cortes]等人從理論上證明[9]，類似于[DenseNet]的網絡結構具有更小的泛化誤差界，因此，該網絡能較好地滿足融合跟蹤模型高精度、高實時性的需求。

2.2.2 特征融合與重構

將經過特征提取網絡出的模板特征和全局特征分別輸入特征融合模塊。將可見光全局特征與紅外光全局特征拼接，并生成融合全局特征，將可見光全局特征和紅外光全局特征經過全卷積網絡進行特征融合與重構，生成融合模板特征，并對通道進行切割操作，生成五個維度相同的特征圖。

我們知道，紅外光圖像和可見光圖像分別反映出目標、背景等不同方面的特征，因此在特征提取中應針對紅外光圖像和可見光圖像分別設計不同的參數和權重，但對于同類型的模板圖像和全局圖像，因為其包含的特征類別相似，為更好地保留和反映其相同的特征，同時提高模型的訓練速度，我們使用孿生神經網絡作為主體架構，分別設計紅外光特征提取網絡和可見光特征提取網絡，兩個網絡內部共享參數。最終將不同維度的模板特征和全局特征分別進行融合與重構操作，孿生網絡及特征的融合與重構如圖3所示。

2.2.3 目標追蹤

在目標追蹤與匹配模塊，輸入是由目標圖像重構的融合模板特征張量和當前幀圖像的融合全局特征張量。將待搜索幀的全局圖像劃分為[17×17]大小的網格，分別將[289]個網格與等分成五維的融合模板特征進行互相關計算，輸出[17×17×5]的矩陣，矩陣第一維度為經過[Softmax]計算后得出的當前區(qū)域含有目標圖像的概率，即全局響應圖，后四維分別為在該區(qū)域內預測的目標中心點坐標及預測框的寬和高。概率最大的方格即為目標所在的區(qū)域，根據矩陣后四維的數據即可確定目標的具體位置，該模塊具體流程如圖4所示。

2.3 算法流程設計

算法的輸入為兩組同幀同步的視頻幀序列，根據首幀給定的[Groundtruth]，得到目標模板圖像。經過特征提取、融合重構網絡，得到融合模板特征和融合全局特征，將得到的五個相同維度的融合模板特征張量作為一組卷積核，與全局特征張量進行互相關操作，從而得到一個五維的結果張量，檢索第一個維度中的最大響應值，從而，定位目標在全局圖像中的位置，然后根據該位置所對應的預測框參數，得到該幀圖像中的目標位置。

3 模型實現

3.1 圖像融合網絡的實現

在模型迭代訓練過程中，為了使融合生成的圖像更好地學習到紅外光圖像及可見光圖像各自的優(yōu)點，本文設計融合重構網絡的損失函數如下：

[Loss=λLSSIM+LTV]? ⑴

其中，[LSSIM]表示結構相似度導致的損失值，[LTV]表示總變異度導致的損失值，由于計算得出的[LSSIM]與[LTV]在數量級上存在差異，故采取[λ]平衡兩者對損失函數的影響。

3.1.1 [LSSIM]損失函數

結構相似度[SSIM]對于圖像的局部結構變化的感知較為敏感，可作為區(qū)分圖像的重要依據。[SSIM]分別從亮度[（Luminance）]、結構[（Structure）]和對比度[（Constrast）]三方面量化兩個圖像屬性的差異，取值范圍為0至1，數值越大，代表圖像越相似。用公式可具體表示為：

[SSIM（x，y）=l（x，y）α?s（x，y）β?c（x，y）γ]? ⑵

這里取[α、β、γ]的值均為1，并將原始公式進行展開可得：

[SSIM（x，y）=2μxμy+C1μ2x+μ2y+C1×2σxσy+C2σ2x+σ2y+C2×σxy+C3σxσy+C3]? ⑶

其中，[μx、μy]表示圖像[x、y]的像素平均值，[σx、σy]表示圖像[x、y]的像素標準差，[σxy]表示圖像[x、y]之間的協方差，[C1、C2、C3]均為常數。取[C2=2C3]并將原式化簡：

[SSIM（x，y）=2μxμy+C1μ2x+μ2y+C1×2σxy+C2σ2x+σ2y+C2]? ⑷

由于本文的目標是設計專門用于紅外和可見光圖像融合的損失函數，在實際應用中，因為監(jiān)控設備采集的圖像分辨率較低，局部的亮度差異不顯著，所以在這里忽略亮度的影響，取[l（x，y）]值為固定值[1]，簡化后圖像[x、y]的結構相似度可表示為：

[SSIM（x，y）=2σxy+C2σ2x+σ2y+C2]? ⑸

由于通常熱輻射信息越豐富則局部像素強度越大，當我們在對行人進行追蹤時，趨于關注圖像中的熱目標，因此可以通過像素強度進行測量。在訓練過程中分別對可見光圖像、紅外光圖像進行滑窗搜索，定義滑窗內像素平均強度為：

[X（I|w）=1a?bi=1a?bPi]? ⑹

其中，[Pi]表示滑窗內每一個像素點的大小，[a、b]分別表示滑窗的寬和高。

本文定義融合圖像的相似度評分為[S（I1，I2，IF|w）]，紅外光圖像的像素平均強度為[X（I1|w）]，可見光圖像的像素平均強度為[ X（I2|w） ]，為使融合后的圖像具備更加豐富的熱輻射信息，融合圖像的相似度評分取像素值較高圖像的SSIM值，則相似度評分可具體表示為：

[SI1，I2，IF|w=SSIMI1，IF|wXI1|w>XI2|wSSIMI2，IF|wXI1|w≤ XI2|w]? ⑺

結合融合圖像的相似度評分，[LSSIM]可最終表示為：

[LSSIM=1-1Nw=1NS（I1，I2，IF|w）]? ⑻

3.1.2 [LTV]損失函數

總變異度[TV Loss]表示圖像的噪聲，使用[LTV]作為損失函數并使其數值不斷變小可使圖像變得平滑，[LTV]公式可表示為：

[LTV=i，j（||xi，j+1-xij||2+||xi+1，j-xij||2）β2]? ⑼

其中，[xi，j+1]、[xij]、[xi+1，j]分別表示不同位置的像素值。本文使用[I1（i，j）]表示紅外光圖像在[i，j]處的像素值，[IF（i，j）]可見光圖像在[i，j]處的像素值，[Δ（i，j）]表示兩者的距離：

[Δ（i，j）=I1（i，j）-IF（i，j）]? ⑽

為方便計算，本文取[β=2]，將式⑽代入式⑼得到最終[LTV]計算公式為：

[LTV=ij（[Δ（i，j+1）-Δ（i，j）]+[Δ（i+1，j）-Δ（i，j）]）] ⑾

通過不斷減小[LTV]值可避免紅外光與可見光圖像之間像素值的突變，從而使生成的融合特征圖像更為平滑。

3.2 目標跟蹤網絡的實現

迭代訓練雙流全卷積孿生網絡模型，直至模型收斂，其中特征融合模塊的參數已預訓練完成，設定損失函數如下：

[Loss（Y，m，n，q）]

[=1Ym=117n=117q=15log（1+exp（-yc（m，n，q）?yc（m，n，q）））] ⑿

利用隨機梯度下降算法優(yōu)化模型，通過反向梯度傳播更新模型參數直至損失不再顯著下降，其中，[Y]為模型最終輸出的[feature map]，[yc]為[Y]中的值，[yc]為真實標簽中的值，若目標中心在[（m，n）]網格內，則[yc（m，n，1）]為[1]，此時[yc（m，n，2），…，yc（m，n，5）]分別表示[bounding box]的位置和大小參數[dx，dy，dw，dh]，否則[yc （m，n，1）]為0，此時，[yc（m，n，2），…，yc（m，n，5）]無意義。

3.3 模型訓練

針對圖像融合網絡，本文設計了一個端到端的融合框架，其參數的訓練在整個模型的訓練之前。該體系結構源自魯棒混合損失函數，該函數由修正的結構相似度損失（[LSSIM]）和總變異度損失（[LTV]）組成，可實現自適應融合熱輻射和紋理細節(jié)并抑制噪聲干擾的無監(jiān)督學習過程。本文使用[TNO]圖像數據集[10]和[INO]視頻數據集[11]構造[25]對不同場景下的可見光和紅外光圖像，對圖像進行抽樣處理，得到[20000]個[128×128]的補丁，從而擴充訓練樣本，此處不需要進行人工標記，使用[ADAM]優(yōu)化器對損失函數進行迭代優(yōu)化，設置學習率[α=10-4]。圖像融合模塊預訓練完成后，對整個跟蹤模型進行訓練，共訓練50個[epoch]，每個[epoch]中包含50000對圖像，學習率在訓練過程中從[10-2]至[10-5]逐漸減小。

本文設計的融合跟蹤網絡模型在華為云服務器上進行搭建和訓練，我們使用[PyTorch 1.6.0]和Cuda 10.2作為實驗框架，選用顯卡Nvidia TESLA V100進行訓練和測試，其具有32GB顯存，可高速進行數據計算和處理，實驗所用CPU為Intel Xeon E5-2690 V4。

4 模型評估

4.1 評價指標

本文使用平均重疊率（Average Overlap Rate，[AOR]）以及[ROC]曲線下的面積（Area Under Curve，AUC）對提出的融合跟蹤器性能進行測試。

計算每一幀[groundtrut]h和算法輸出[bounding box]的交并比[IoU]，定義如下：

[IoUa，b=a∩ba∪b] ⒀

其中，[a]和[b]分別表示預測得到的[bounding box]以及[groundtruth]所對應的框。對所有幀的交并比取平均值得到[AOR]。

根據公式⒀，計算交并比，當大于某個閾值[ρ∈[0，1]]時，認定跟蹤成功，從而繪制[ROC]曲線，計算曲線與x，y軸的面積，得到[AUC]。

4.2 實驗結果與分析

我們在17組紅外-可見光雙流視頻數據上測試了本文提出的模型與其他跟蹤模型的結果[13]，具體見表1。比較實驗結果可知，我們提出的[TFSiamNet]在各組數據上取得的[AUC]指標均達到較優(yōu)的結果。其中在五組數據中優(yōu)于所有比較的跟蹤模型，此外，TFSiamNet在14組視頻中均排名前三。這證明了本文提出的模型在紅外-可見光雙流視頻融合跟蹤中的有效性。

5 結束語

本文提出了一種基于圖像融合與目標跟蹤的融合跟蹤技術，通過對可見光與紅外圖像深度特征的充分利用，輔助目標跟蹤的決策。該模型以孿生網絡作為主體架構，利用全卷積網絡將紅外光特征與可見光特征進行融合，通過端到端的深度融合框架實現無監(jiān)督學習，自適應的融合熱輻射特征和顏色、紋理等可見光特征并進行重構，使生成的融合特征兼具兩者優(yōu)點。最后利用互相關操作在幀圖像中分區(qū)域匹配與定位目標，在保證較高精度的同時運行速度快，能夠較好地滿足實時性需求。

本文方法能夠充分利用目前較為普及解決由于自然環(huán)境等客觀因素導致圖像不清晰、定位不準確等問題。未來隨著社會的發(fā)展，將會對智慧安防系統(tǒng)在數據量、精度等方面提出更高的要求，需要系統(tǒng)進一步降低人工的參與度并提升模型效率，以便應對更大規(guī)模的數據和更加復雜的場景。因此目標追蹤的研究需要進一步深入，而融合追蹤將是一個很好的發(fā)展方向，具有廣闊的研究前景。

參考文獻（References）：

[1] Danelljan M， Bhat G， Khan F S， et al. Atom： Accurate

Tracking by Overlap Maximization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：4660-4669

[2] Zhang Z， Peng H. Deeper and Wider Siamese Networks

[3] for Real-Time Visual Tracking[C]//Proceedings of the

IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：4591-4600

[4] Zhou X， Koltun V， Kr?henbühl P. Tracking Objects as

Points[C]//European Conference on Computer Vision. Springer， Cham，2020：474-490

[5] Li H， Wu X J. DenseFuse： A Fusion Approach to Infrared

and Visible Images[J]. IEEE Transactions on Image Processing，2018，28（5）：2614-2623

[6] Li H， Wu X J， Durrani T. NestFuse： An Infrared and Visible

Image Fusion Architecture Based on Nest Connection and Spatial/Channel Attention Models[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（12）：9645-9656

[7] Zhu Y， Li C， Tang J， et al. Quality-Aware Feature

Aggregation Network for Robust RGBT Tracking[J]. IEEE Transactions on Intelligent Vehicles，2020，6（1）：121-130

[8] Li C， Liu L， Lu A， et al. Challenge-Aware RGBT Tracking

[C]. European Conference on Computer Vision. Springer， Cham，2020：222-237

[9] Huang G， Liu Z， Van Der Maaten L， et al. Densely

Connected Convolutional Networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：4700-4708

[10] Cortes C， Gonzalvo X， Kuznetsov V， et al. Adanet：

Adaptive structural learning of artificial neural networks[C]//International conference on machine learning. PMLR，2017：874-883

[11] Toet A. TNO Image Fusion Dataset（Version 2）[DB/OL].

（2022-10-15）[2022-11-18].https：//doi.org/10.6084/m9.figshare.1008029.v2

[12] INO team. INO Videos Analytics Dataset[DB/OL].

[2022-11-18].https：//www.ino.ca/en/videoanalytics-dataset/

[13] Zhang X， Ye P， Peng S， et al. SiamFT： An RGB-infrared

fusion tracking method via fully convolutional siamese networks[J]. IEEE Access，2019，7：122122-122133