馬昱弘

摘? 要： 針對(duì)傳統(tǒng)視頻圖像跟蹤監(jiān)控系統(tǒng)準(zhǔn)確率低的問(wèn)題，引入目標(biāo)檢測(cè)技術(shù)，設(shè)計(jì)一種新的視頻圖像跟蹤監(jiān)控系統(tǒng)。利用DSP+FPGA構(gòu)成硬件的核心部分，通過(guò)Camera Link，HD?SDI輸入接口將視頻信號(hào)轉(zhuǎn)換為FPGA能夠識(shí)別的TTL電平信號(hào)，應(yīng)用驅(qū)動(dòng)伺服技術(shù)實(shí)現(xiàn)目標(biāo)的穩(wěn)定跟蹤，重點(diǎn)設(shè)計(jì)了圖像輸入采集模塊和圖像處理模塊。在硬件平臺(tái)上設(shè)計(jì)了軟件相關(guān)算法，通過(guò)雙邊濾波和跟蹤算法實(shí)現(xiàn)軟件編程。為檢測(cè)跟蹤監(jiān)控系統(tǒng)效果，與傳統(tǒng)系統(tǒng)進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果表明，設(shè)計(jì)的系統(tǒng)能夠更加準(zhǔn)確地定位出目標(biāo)圖像，即使在復(fù)雜背景下也能夠穩(wěn)定地跟蹤目標(biāo)，實(shí)時(shí)性高，采集能力強(qiáng)。

關(guān)鍵詞： 跟蹤系統(tǒng); 監(jiān)控系統(tǒng); 視頻圖像; 目標(biāo)檢測(cè); 視頻跟蹤; 圖像處理

中圖分類號(hào)： TN948.64?34; TN710? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）11?0047?04

Design of video image tracking and monitoring system based on target detection

MA Yuhong

（East China University of Science and Technology， Shanghai 200237， China）

Abstract： In view of the low accuracy of the traditional video image tracking and monitoring system， a new video image tracking and monitoring system is designed by introducing target detection technology. In the system， DSP+FPGA is used to construct the core part of the hardware， the input interfaces of Camera Link and HD?SDI are used to convert the video signals into TTL level signals that FPGA can recognize， the drive servo technology is used to achieve stable tracking of the targets， and the image input acquisition module and image processing module are mainly designed. The software related algorithms are designed on the hardware platform. The bilateral filtering algorithm and tracking algorithm are used to achieve the software programming. In order to detect the effect of the tracking and monitoring system， contrastive experiments are performed between the designed system and the traditional system. The results show that the designed system can locate the target image more accurately， and can stably track the target even in a complex background. In addition， it is of excellent real?time performance and powerful acquisition capability.

Keywords： tracking system; monitoring system; video image; target detection; video tracking; image processing

0? 引? 言

視頻圖像跟蹤技術(shù)起源于20世紀(jì)60年代，視頻圖像跟蹤系統(tǒng)的設(shè)計(jì)過(guò)程應(yīng)用了光學(xué)、機(jī)械學(xué)、電子科學(xué)，是一種機(jī)器視覺(jué)應(yīng)用系統(tǒng)[1]。由于跟蹤監(jiān)控系統(tǒng)具有很強(qiáng)的直觀性，所以在軍事與民事活動(dòng)上得到了廣泛的應(yīng)用[2]。

最初的視頻圖像跟蹤系統(tǒng)在研制時(shí)僅對(duì)硬件進(jìn)行設(shè)計(jì)，選擇的結(jié)構(gòu)也是單一結(jié)構(gòu)，通過(guò)模擬體制進(jìn)行設(shè)計(jì)，很難處理復(fù)雜背景，也無(wú)法進(jìn)行智能判斷，不具備靈活性[3]。隨著目標(biāo)跟蹤技術(shù)的成熟，視頻圖像跟蹤系統(tǒng)也愈加多樣，目前研發(fā)的視頻圖像跟蹤系統(tǒng)不僅能夠接收可見(jiàn)光傳來(lái)的圖像，同時(shí)能夠接收紅外傳感器傳來(lái)的視頻圖像，利用傳感器修正位置誤差，從而實(shí)現(xiàn)對(duì)目標(biāo)的全程跟蹤[4]。

雖然目前研究的跟蹤系統(tǒng)隱蔽性好，具有可成像顯示功能，但是依舊存在如下幾個(gè)問(wèn)題：不能全天工作，成像光譜范圍相對(duì)狹隘;與智能技術(shù)連接不夠緊密，難以向著智能化方向發(fā)展;對(duì)于復(fù)雜背景的圖像，或者是被遮擋的圖像，難以精準(zhǔn)預(yù)判，跟蹤能力依舊很弱[5]。

為了更好地提高系統(tǒng)的適應(yīng)性、高效性和時(shí)效性，本文引入目標(biāo)檢測(cè)技術(shù)，設(shè)計(jì)了一種新的視頻圖像跟蹤系統(tǒng)。詳細(xì)地闡述了系統(tǒng)硬件各設(shè)備組成以及模塊設(shè)計(jì)，根據(jù)硬件結(jié)構(gòu)設(shè)計(jì)了系統(tǒng)軟件，最后通過(guò)對(duì)跟蹤系統(tǒng)進(jìn)行實(shí)驗(yàn)驗(yàn)證，探討了系統(tǒng)性能。本文系統(tǒng)在算法設(shè)計(jì)上進(jìn)行了強(qiáng)化處理，采取多模式跟蹤算法代替?zhèn)鹘y(tǒng)的簡(jiǎn)單算法，使得系統(tǒng)即使在復(fù)雜多樣的背景下，也可以精準(zhǔn)地完成跟蹤工作，具有高效性和實(shí)時(shí)性。

1? 系統(tǒng)硬件設(shè)計(jì)

本文設(shè)計(jì)的視頻圖像跟蹤監(jiān)控系統(tǒng)能夠同時(shí)實(shí)現(xiàn)接收數(shù)據(jù)、處理數(shù)據(jù)、分發(fā)數(shù)據(jù)和調(diào)度數(shù)據(jù)的工作，各個(gè)組件協(xié)同工作。系統(tǒng)以DSP+FPGA為設(shè)計(jì)思想，電路結(jié)構(gòu)完整，工作性能可靠，計(jì)算能力優(yōu)越，開(kāi)發(fā)難度適中，能夠高速地跟蹤目標(biāo)圖像，同時(shí)進(jìn)行邊緣增強(qiáng)[6]。系統(tǒng)硬件結(jié)構(gòu)配置了多個(gè)高速數(shù)據(jù)口，隨時(shí)可以進(jìn)行升級(jí)和擴(kuò)展，也保障了系統(tǒng)跟蹤過(guò)程的精確性。

基于目標(biāo)檢測(cè)的視頻圖像跟蹤監(jiān)控系統(tǒng)硬件結(jié)構(gòu)如圖1所示。

觀察圖1可知，本文設(shè)計(jì)的跟蹤系統(tǒng)DSP芯片選用了2片TMS320C6455芯片，F(xiàn)PGA芯片選用了1片5SGXEA7N2740。系統(tǒng)硬件結(jié)構(gòu)外部含有兩種輸入接口，分別為Camera Link，HD?SDI，能夠同時(shí)接收各種傳感器傳來(lái)的視頻信號(hào)，并將視頻信號(hào)轉(zhuǎn)換為FPGA能夠識(shí)別的TTL電平信號(hào)，根據(jù)系統(tǒng)設(shè)定的時(shí)鐘頻率完成信號(hào)采樣工作，對(duì)得到的數(shù)據(jù)進(jìn)行篩選處理，確定有效數(shù)據(jù)[7]。存儲(chǔ)部件能夠同時(shí)完成數(shù)據(jù)緩存和數(shù)據(jù)處理工作，利用DSP芯片提取出來(lái)的灰度圖像完成目標(biāo)跟蹤，由RS 422接口將輸出目標(biāo)區(qū)偏離視場(chǎng)中心的誤差量上傳給控制機(jī)構(gòu)，通過(guò)DSP配合FPGA實(shí)現(xiàn)可視信息疊加，利用驅(qū)動(dòng)伺服技術(shù)實(shí)現(xiàn)目標(biāo)的穩(wěn)定跟蹤。除此之外，系統(tǒng)還設(shè)置了通信模塊，通信模塊可以負(fù)責(zé)下達(dá)命令和收集反饋信息兩項(xiàng)工作。

不同的硬件負(fù)責(zé)不同的功能，系統(tǒng)的各個(gè)硬件部分相互配合，完成調(diào)度工作，確保順利實(shí)現(xiàn)跟蹤。系統(tǒng)硬件中的各設(shè)備所負(fù)責(zé)的工作如表1所示。

1.1? 圖像輸入和采集模塊設(shè)計(jì)

給出的圖像輸入和采集模塊能夠同時(shí)采集三種視頻信號(hào)：可見(jiàn)光視頻、紅外視頻和可見(jiàn)光照片。可見(jiàn)光照片在采集后可以直接存入到DDR中進(jìn)行緩存，而可見(jiàn)光視頻和紅外視頻在采集到信號(hào)后，還需要通過(guò)電平轉(zhuǎn)換，轉(zhuǎn)換成系統(tǒng)可以讀取的信號(hào)，再由FPGA將灰度圖像存入到SRAM中[8]。

通過(guò)HD?SDI接口接收可見(jiàn)光攝像機(jī)采集到的圖像，HD?SDI接口的幀頻設(shè)定為30 f/s，設(shè)定分辨率為1 980×1 020，接口的數(shù)據(jù)格式為YCbCr（4[∶]2[∶]2），像素深度的有效位為18 bit，可見(jiàn)光視頻輸入過(guò)程的詳細(xì)時(shí)序邏輯如圖2所示。

通過(guò)上述時(shí)序完成可見(jiàn)光視頻的輸入工作，利用SDI接口采集可見(jiàn)光視頻信號(hào)。本文采用的接口芯片為GS7921芯片，該芯片具有極快的采集速度，最高可以達(dá)到3.00 Gb/s，芯片外圍電路簡(jiǎn)單，開(kāi)發(fā)移植十分容易。GS7921芯片能夠在短時(shí)間內(nèi)將SDI信號(hào)轉(zhuǎn)換成LVTTL電平，像素時(shí)鐘為78.21 MHz。

通過(guò)LVDS接口接收紅外視頻。由于LVDS消耗功率低，工作過(guò)程很少受到外界干擾，出現(xiàn)誤碼，所以很適合作紅外視頻接收接口[91]。LVDS接口的幀頻設(shè)定為50 f/s，設(shè)定分辨率為600×710，能夠在同一時(shí)刻輸出525行數(shù)據(jù)，每行含有的有效像素為500個(gè)，像素時(shí)鐘為18.25 MHz。

紅外視頻輸入過(guò)程的詳細(xì)時(shí)序邏輯如圖3所示。

硬件通過(guò)DS90CR288芯片完成編碼工作，采集紅外視頻信號(hào)，將像素時(shí)鐘設(shè)為基準(zhǔn)，同時(shí)采集水平信號(hào)、垂直信號(hào)和圖像信號(hào)，最多能夠讀取8位數(shù)字信號(hào)，將讀取到的信號(hào)回傳給后續(xù)的處理模塊[10]。

采用Camera Link接口采集可見(jiàn)光照片，設(shè)定接口的分辨率為6 000×5 000，接口的最大工作速率為1.6 Gb/s。接口結(jié)構(gòu)如圖4所示。

可見(jiàn)光照片采集過(guò)程芯片的詳細(xì)時(shí)序邏輯如圖5所示。

通過(guò)DS90CR288芯片對(duì)可見(jiàn)光照片進(jìn)行編碼，設(shè)定像素時(shí)鐘為基準(zhǔn)，同時(shí)采用水平信號(hào)、垂直信號(hào)和圖像信號(hào)，最多能夠讀取16位數(shù)字信號(hào)，篩選有效信號(hào)傳給后續(xù)的處理模塊。

1.2? 圖像處理模塊設(shè)計(jì)

圖像處理模塊主要負(fù)責(zé)處理輸出的圖像，篩選有效圖像，處理模塊結(jié)構(gòu)示意圖如圖6所示。

觀察圖6可知，本文設(shè)計(jì)的跟蹤監(jiān)控系統(tǒng)通過(guò)FPGA完成預(yù)處理工作，采用的芯片為StratixV芯片，芯片內(nèi)部擁有700個(gè)I/O接口，486個(gè)乘法器，乘法器為16×16，21個(gè)時(shí)鐘網(wǎng)絡(luò)，預(yù)處理模塊的容量為70 Mb，傳輸?shù)姆逯禐? Gb/s。該芯片能夠有效提高系統(tǒng)的靈活性，加強(qiáng)系統(tǒng)的集成度，降低工作成本和消耗功率[11]。單芯片的加入使處理模塊的密度更高，標(biāo)準(zhǔn)功能更豐富，處理過(guò)程中支持PCI EXPRESS接口協(xié)議，用戶可以使用40G/100G/400G等專用功能。相較于傳統(tǒng)系統(tǒng)的處理模塊，本文系統(tǒng)的處理模塊功耗降低超過(guò)30%。在預(yù)處理過(guò)程中，充分發(fā)揮了FPGA的靈活性和流水處理功能，系統(tǒng)能夠同時(shí)完成濾波和去噪，DSP算法的處理壓力也得到有效減少[12]。

DSP負(fù)責(zé)跟蹤處理工作，運(yùn)行各類跟蹤算法，DSP跟蹤處理單元選擇的芯片為C6455芯片，該芯片由TI公司生產(chǎn)，具有極高的性價(jià)比和處理能力，處理過(guò)程的最高主頻為1.5 GHz，運(yùn)算能力峰值為10 000 MIPS。豐富的外圍接口使系統(tǒng)能夠在同一時(shí)間段支持多種工業(yè)標(biāo)準(zhǔn)接口協(xié)議[13]，內(nèi)部組成結(jié)構(gòu)如圖7所示。

兩個(gè)DSP芯片負(fù)責(zé)不同的工作，DSP?1負(fù)責(zé)檢測(cè)可疑目標(biāo)，并對(duì)可疑目標(biāo)進(jìn)行跟蹤，具有很高的時(shí)效性，利用系統(tǒng)的主CPU運(yùn)行;DSP?2負(fù)責(zé)控制字符，輔助DSP?1工作，利用系統(tǒng)的協(xié)助CPU運(yùn)行。

2? 系統(tǒng)軟件設(shè)計(jì)

在對(duì)圖像進(jìn)行預(yù)處理時(shí)，采用的濾波算法為雙邊濾波算法，該算法在計(jì)算過(guò)程中能夠有效去除外界信息干擾，同時(shí)，能夠?qū)D像紋理等細(xì)節(jié)特征最大程度地保留下來(lái)。雙邊濾波同時(shí)利用了領(lǐng)域內(nèi)圖像像素點(diǎn)局部加權(quán)的平均結(jié)果、灰度相似度信息、空間臨近度信息，防止處理過(guò)程對(duì)圖像的損壞。

雙邊濾波計(jì)算過(guò)程如下：

設(shè)定圖像[M]在坐標(biāo)點(diǎn)[U=（x，y）]的灰度值為[MU]，經(jīng)過(guò)濾波處理后得到的圖像[N]在坐標(biāo)點(diǎn)[U=（x，y）]的灰度值為[NU]。

[NU=1WUZ∈SGσs（U-Z）Gσr（MU-NZ）MU] （1）

根據(jù)式（1）進(jìn)而得到：

[WU=Z∈SGσs（U-Z）Gσr（MU-NZ）MU] （2）

式中：[Z=（a，b）]是中心像素[U]的圖像鄰域像素點(diǎn);[S]表示圖像各個(gè)領(lǐng)域的像素點(diǎn)集合;[WU]表示被跟蹤圖像的歸一化因子;[Gσs]是圖像的灰度相似因子;[Gσr]是圖像的空間臨近度因子。

本文使用的跟蹤算法為模板匹配算法，通過(guò)設(shè)立模板，計(jì)算圖像與模板之間的相關(guān)系數(shù)，當(dāng)相關(guān)系數(shù)達(dá)到最大，則二者最為相似。跟蹤算法流程圖如圖8所示。

3? 實(shí)驗(yàn)研究

3.1? 實(shí)驗(yàn)?zāi)康?/p>

為了檢測(cè)本文設(shè)計(jì)的基于目標(biāo)檢測(cè)的視頻圖像跟蹤監(jiān)控系統(tǒng)的實(shí)際效果，與傳統(tǒng)跟蹤監(jiān)控系統(tǒng)進(jìn)行了對(duì)比，并分析實(shí)驗(yàn)結(jié)果。

3.2? 實(shí)驗(yàn)參數(shù)設(shè)置

設(shè)置實(shí)驗(yàn)參數(shù)見(jiàn)表2。

3.3? 實(shí)驗(yàn)結(jié)果與分析

得到的跟蹤準(zhǔn)確性實(shí)驗(yàn)對(duì)比結(jié)果如圖9所示。

觀察圖9可知，在對(duì)三種輸入視頻進(jìn)行跟蹤時(shí)，本文研究的系統(tǒng)跟蹤結(jié)果準(zhǔn)確率始終高于傳統(tǒng)跟蹤系統(tǒng)的準(zhǔn)確率。當(dāng)跟蹤時(shí)間達(dá)到1.0 ms時(shí)，本文系統(tǒng)對(duì)于目標(biāo)圖像的跟蹤能力最高可以達(dá)到90%，而傳統(tǒng)系統(tǒng)對(duì)于目標(biāo)圖像的跟蹤能力最高僅為50%。由此可見(jiàn)，本文系統(tǒng)的跟蹤能力更強(qiáng)。

4? 結(jié)? 語(yǔ)

通過(guò)查找大量文獻(xiàn)總結(jié)當(dāng)前目標(biāo)檢測(cè)技術(shù)，并基于目標(biāo)檢測(cè)技術(shù)設(shè)計(jì)了新的跟蹤監(jiān)控系統(tǒng)，對(duì)系統(tǒng)的基本設(shè)計(jì)原理和架構(gòu)進(jìn)行介紹，根據(jù)硬件結(jié)構(gòu)給出了相關(guān)軟件算法。本文研究的圖像跟蹤系統(tǒng)具有實(shí)時(shí)采集和顯示的功能，即使在復(fù)雜背景下也能夠穩(wěn)定地跟蹤目標(biāo)。當(dāng)出現(xiàn)遮擋物時(shí)，跟蹤系統(tǒng)也可以及時(shí)地做出跟蹤判斷，當(dāng)遮擋結(jié)束后，對(duì)目標(biāo)進(jìn)行重新定位并再次跟蹤。本文設(shè)計(jì)的跟蹤系統(tǒng)能夠應(yīng)用在多種機(jī)載光電偵察設(shè)備中，系統(tǒng)內(nèi)部選用的技術(shù)十分成熟，跟蹤能力強(qiáng)。

參考文獻(xiàn)

[1] 張亞昕.嵌入式監(jiān)控系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[J].系統(tǒng)仿真技術(shù)，2017，13（1）：38?42.

[2] 馮瑩瑩，趙莎莎.基于智能視頻監(jiān)控系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤研究[J].赤峰學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，33（2）：15?17.

[3] 魏國(guó)鵬.智能監(jiān)控系統(tǒng)中特殊背景下移動(dòng)目標(biāo)檢測(cè)跟蹤的設(shè)計(jì)與實(shí)現(xiàn)[J].信息通信，2018（10）：32?33.

[4] 傅赟，王桂麗，周旭廷，等.交通監(jiān)控系統(tǒng)中視頻運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（8）：156?158.

[5] 梁興建，雷文，陳超.基于多路圖像融合的目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)[J].四川理工學(xué)院學(xué)報(bào)（自科科學(xué)版），2017，30（6）：40?46.

[6] 胡輝，黃思博，胡松，等.一種基于異常事件檢測(cè)的智能視頻監(jiān)控系統(tǒng)[J].現(xiàn)代計(jì)算機(jī)，2017（3）：30?33.

[7] 戴麗麗，杜蘭.應(yīng)用于嵌入式視頻監(jiān)控系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].電子技術(shù)與軟件工程，2018（15）：178?179.

[8] 蔡映雪，胡輝，黃思博，等.一種基于視頻分析的異常事件檢測(cè)技術(shù)[J].現(xiàn)代計(jì)算機(jī)，2017（4）：42?45.

[9] 杜啟亮，曾東明，田聯(lián)房，等.基于IMX6的手扶電梯智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2017，40（21）：153?157.

[10] 張文杰，戚飛虎，江卓軍.實(shí)時(shí)視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤的一種實(shí)用方法[J].上海交通大學(xué)學(xué)報(bào)，2017，36（12）：1837?1840.

[11] 趙向梅，蘇春莉，陳宏.基于視頻圖像的目標(biāo)檢測(cè)技術(shù)研究[J].電子設(shè)計(jì)工程，2013，21（16）：114?116.

[12] 胡繼強(qiáng).視頻圖像活動(dòng)輪廓目標(biāo)檢測(cè)跟蹤研究[J].計(jì)算機(jī)仿真，2012，29（1）：273?276.

[13] 楊陽(yáng).基于特定特征識(shí)別的運(yùn)動(dòng)視覺(jué)跟蹤系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2017，40（2）：94?98.

[14] 丁躍利，張波，張朗，等.多路遙感圖像高速小型化實(shí)時(shí)拼接的實(shí)現(xiàn)[J].西安工程大學(xué)學(xué)報(bào)，2017，31（5）：627?632.