劉歆瀏+田瑞娟+蔣飛+周建平

摘 要： 為了實現(xiàn)全方位監(jiān)控和智能預(yù)警，設(shè)計了一套以DM642為核心的全景多目標檢測系統(tǒng)。從硬件設(shè)計和軟件設(shè)計兩個方面分析了系統(tǒng)和算法的構(gòu)建、實現(xiàn)和優(yōu)化。針對該系統(tǒng)復(fù)雜的功能和架構(gòu)，詳細分析其工作流程，采用了基于DSP/BIOS的框架搭建，并且設(shè)計和采用基于能量累計的背景建模和基于SIFT的圖像匹配等關(guān)鍵圖像處理算法。并最終通過系統(tǒng)調(diào)試驗證其設(shè)計的可行性。

關(guān)鍵字： DM642； DSP/BIOS； 多目標檢測； 背景建模； SIFT

中圖分類號： TN964?34 文獻標識碼： A 文章編號： 1004?373X（2014）16?0123?04

Design and implementation of panorama multi?target detection system based on DM642

LIU Xin?liu1， TIAN Rui?juan1， JIANG Fei2， ZHOU Jian?ping1

（1. Department of Armament Products， No. 58 Research Institute of China Ordnance Industry， Mianyang 621000， China；

2. Equipment Research Institute of Chinese Peoples Armed Police Forces， Beijing 100000， China）

Abstract： To achieve omni directional monitoring and intelligent warning， a DM642?based panorama multi?target detection system was designed. The construction， achievement and optimization of the system and algorithm are analyzed in the aspects of hardware design and software design. A detail analysis of the systems operation flaw is done in allusion to complex functions and architecture. The framework is built by DSP/BIOS. The background modeling based on energy accumulation and critical image processing algorithm based on SIFT are applied. Finally， the feasibility was verified by the system debugging.

Keywords： DM642； DSP/BIOS； multi?target detection； background modeling； SIFT

基于視頻的目標檢測與跟蹤在軍事武器、機器人導(dǎo)航、智能監(jiān)控系統(tǒng)等領(lǐng)域具有廣泛的應(yīng)用，它是一種融合了圖像處理、模式識別、人工智能、自動控制等多領(lǐng)域先進技術(shù)的綜合應(yīng)用技術(shù)。全景視頻是對單攝像機視頻的擴展，它綜合應(yīng)用圖像配準、圖像融合技術(shù)，無縫拼接生成的更大的視場范圍。傳統(tǒng)的智能視頻分析系統(tǒng)[1?2]包括X86體系設(shè)計和嵌入式平臺設(shè)計兩種架構(gòu)?；赬86體系的安防系統(tǒng)維護成本高、功耗體積大，并且實時性不強，使用范圍限制大?；谇度胧狡脚_的設(shè)計是當今智能監(jiān)控系統(tǒng)的發(fā)展趨勢。但現(xiàn)有的嵌入式視頻分析系統(tǒng)，單個設(shè)備大多數(shù)都只是針對單路視頻的分析處理[3]，同時只能完成某一個智能分析功能。這樣不僅使用成本高，而且功能非常單一，工程化的局限性非常大。本文以TI公司的TMS320DM642為核心，設(shè)計并實現(xiàn)了全景多目標檢測系統(tǒng)。能夠同時實現(xiàn)三路視頻的采集，實時拼接輸出更大視場范圍的全景視頻；同時對全景視頻進行了不間斷的多目標智能檢測、識別和追蹤，以及虛擬警戒區(qū)域的預(yù)警。本文從硬件設(shè)計和軟件設(shè)計兩個方面，對該智能視頻分析系統(tǒng)進行了詳細的描述。

1 系統(tǒng)硬件組成

本系統(tǒng)是以TMS320DM642[4]為核心硬件構(gòu)成的，配合豐富的輔助硬件設(shè)備，完整地形成了一套具有實效性的智能視頻監(jiān)控系統(tǒng)，實現(xiàn)對現(xiàn)場全景的覆蓋監(jiān)控，以及對多目標的搜索捕獲以及鎖定跟蹤。主要由三路視頻輸入、DM642處理器、視頻編解碼模塊、電源模塊、存儲模塊、電源轉(zhuǎn)換電路等組成，如圖1所示。

三路標準模擬視頻信號通過CVBS接口接入系統(tǒng)[5]，由三個獨立視頻解碼芯片分別進行采集，編碼器選擇了Ti的TVP5150，分別由DM642的Video PortVP0A，VP1A，VP2A）進行采集。完成處理的實時全景通過SAA7121芯片進行D/A后輸出。

DM642作為系統(tǒng)的主控芯片，負責了整個智能視頻系統(tǒng)的三路的視頻捕獲，全景圖像的拼接和輸出，威脅目標的檢測和跟蹤，預(yù)警規(guī)則的設(shè)置等核心功能。同時，它與串口芯片TL16C752相連，通過串口與外部進行通信；與FLASH和SDRAM相連，用于外部存儲功能的擴展及程序的保存和燒寫。

圖1 硬件組成圖

為實現(xiàn)全景拼接顯示，視頻輸入選擇為光軸近似相交于一點、環(huán)形均布的3個高清晰低照度攝像機組成，如圖2所示。每一個攝像機的視場角為60°，相鄰的攝像機有10%的視場交叉，這樣3個相機以55°的夾角進行安裝，用于進行拼接和融合的公共參考區(qū)域。3個相機將共同生成大于150°的超大視場。

圖2 安裝示意圖

2 系統(tǒng)軟件

2.1 系統(tǒng)工作流程

本系統(tǒng)的軟件內(nèi)嵌于DSP內(nèi)部的嵌入式軟件。系統(tǒng)在完成了對DSP內(nèi)部接口、EMIF模式、存儲空間以及串口、網(wǎng)口和VIDEO PORT等的初始化后。分成兩條流程運行。一條流程用于串口數(shù)據(jù)通信，實時接收外部的通信數(shù)據(jù)，發(fā)送預(yù)警信息和目標信息；另一條流程接收三路圖像信息，進行視頻圖像采集、處理和輸出。根據(jù)視頻數(shù)據(jù)更新的速度，該線程40 ms循環(huán)運行。工作流程如圖3所示。

圖3 工作流程圖

在圖像處理的這條流程中，包含了兩個并行處理的子線程，一條是對三路視頻進行對拼接、融合，色差調(diào)整和裁剪整合；另一條用于對三路視頻進行實時監(jiān)測，實現(xiàn)多目標的檢測和跟蹤。最后將捕獲的多目標在全景視頻里面進行標定顯示。

2.2 DSP/BIOS框架搭建

從系統(tǒng)組成可以看出，本系統(tǒng)是一個多任務(wù)、多算法，同時處理多路視頻的復(fù)雜軟件系統(tǒng)。而傳統(tǒng)的DSP軟件設(shè)計，是基于main函數(shù)的無限循環(huán)、中斷處理這一順序框架來構(gòu)建的。這樣的架構(gòu)在處理復(fù)雜系統(tǒng)時容易被阻塞，使得整個系統(tǒng)的實時性不能滿足需求，并且無法準確掌握處理器的運行狀態(tài)。為了解決這些問題，本系統(tǒng)采用DSP/BIOS實時系統(tǒng)內(nèi)核進行軟件的框架搭建。DSP/BIOS是TI公司為DSP開發(fā)的一套用于實時多任務(wù)軟件開發(fā)的嵌入式操作系統(tǒng)[6]。它本身占用極少的CPU資源，提供豐富的面向用戶的API，用于編寫各種結(jié)構(gòu)復(fù)雜、實時性強、運行效率高的應(yīng)用軟件， 并提高調(diào)試效率。并且針對RTOS開發(fā)提供對象的創(chuàng)建和刪除、多線程服務(wù)、線程之間的通信。在DSP/BIOS下系統(tǒng)軟件框架如圖4所示。

本軟件框架包含4個任務(wù)[7]（tasks），其中TSKcapture，TSKparanorma，TSKdisplay負責核心流程任務(wù)，循環(huán)地實現(xiàn)了從底層驅(qū)動獲取視頻圖像，視頻圖像的全景拼接以及視頻編碼轉(zhuǎn)換輸出顯示，優(yōu)先級最高。TSKcom承載了串口通信的任務(wù)，優(yōu)先級最低。TSKmultiobj則是負責目標的檢測和跟蹤，優(yōu)先級居中。

圖4 軟件框架圖

TSKcapture線程在獲取到一幀圖像后，便將圖像BUFFER的指針隨同SCOM消息同時發(fā)送到TSKparanorma，TSKmultiobj線程的SCOM接收隊列。隨后，TSKcapture線程將由運行態(tài)轉(zhuǎn)為掛起態(tài)，等待來自TSKparanorma，TSKmultiobj線程的SCOM消息將其激活。TSKparanorma線程完成圖像處理后，將經(jīng)處理的圖像數(shù)據(jù)存儲在內(nèi)核輸出所指向的buffer中，并且將這一指針隨同一個SCOM消息發(fā)送給TSKdisplay線程。TSKmultiobj線程通過郵箱MBX以及信號燈SEM與TSKparanorma線程以及TSKcom進行通信，接收外部對此線程的控制命令以及目標疊加信息和預(yù)警信息的輸出。

2.3 圖像處理算法設(shè)計

在本系統(tǒng)中，多目標檢測與跟蹤線程TSKmultiobj和全景拼接融合TSKparanorma是圖像處理的核心模塊。在考慮到系統(tǒng)的功能和實時性的技術(shù)要求，以及針對DM642的運算能力算法優(yōu)化考慮，這是一路極其復(fù)雜的軟件架構(gòu)。兩個模塊采用的是并行處理模式，并且每個模塊也是同時對三路視頻進行處理。它們的算法流程設(shè)計如圖5所示。多目標檢測與跟蹤模塊中的三路視頻都采用了完全相同的算法，圖5（a）為單路視頻的目標檢測跟蹤算法流程，圖5（b）為全景拼接融合的算法模塊。

整個系統(tǒng)功能包含了圖像處理的多個算法，并有機的結(jié)合組成。其中涉及的圖像算法包括：背景建模和更新、多目標提取[8]、目標跟蹤、虛擬警戒判定、圖像匹配、圖像融合、圖像標定定位以及色差自動調(diào)平等算法。其中背景建模和更新、圖像匹配是其中的難點和關(guān)鍵。為建立穩(wěn)定而且準確的背景模型，同時形成一套背景更新體系[9]，筆者建立了基于能量累計的雙模型架構(gòu)的背景建模法。此方法的核心就是在背景建模中融入幀間差分的能量累計，建立背景模型和能量累計模型，將能量累計與背景進行直接對應(yīng)。當累計值觸發(fā)質(zhì)變的閾值，該像素點的背景將進行建立和更新。

公式如下：

[Ex，y，t=Ex，y，t-1+1，F(xiàn)x，y，t-Fx，y，t-1>θ0， Fx，y，t-Fx，y，t-1≤θBx，y，t=Bx，y，t，Ex，y，t>σFx，y，t，Ex，y，t≤σ]

式中：E為能量模型；B為背景模型；F為當前圖像。[θ]和[σ]為背景更新的兩個閾值，[θ]代表背景變化的劇烈程度，[σ]為背景更新周期的快慢。

圖5 算法流程圖

通過實際工程檢驗，這種背景算法高效簡便，滿足三路視頻并行處理的實時性要求，同時能夠迅速感應(yīng)背景變化進行更新。由于相機光學(xué)構(gòu)造和整個系統(tǒng)結(jié)構(gòu)設(shè)計的固定偏差，無法將光軸完全于相交一點。在進行全景圖像拼接時，三路視頻的匹配區(qū)域會由于成像距離的不同產(chǎn)生變化。這就需要兩兩圖像進行實時匹配，找到準確的匹配區(qū)域。本系統(tǒng)采用了尺度不變特征變換方法（SIFT）算法[10]，針對特征點進行匹配。

首先使用高斯差分函數(shù)對圖像進行處理：

[Dx，y，σ=Gx，y，kσ-Gx，y，σ*Ix，y =Lx，y，kσ-Lx，y，σ]

通過該算子，取這些高斯差分圖像中的局部極值，得到尺度空間域上的圖像特征點。然后形成包括位置、尺度、方向等信息的特征向量。最后對特征向量進行匹配完成該算法。在本系統(tǒng)中，由于攝像機固定安裝，所以最后將匹配區(qū)域最大范圍縮小，極大地提高了算法的執(zhí)行效率。

3 系統(tǒng)調(diào)試結(jié)果

系統(tǒng)最后針對場景形成了一套完整的全景智能監(jiān)控系統(tǒng)。3組攝像機拼接成了一幅全景視頻，對監(jiān)控區(qū)域形成了全覆蓋，同時在攝像機之間的交界處沒有明顯的圖像差異和色差。在圖6中，通過跟蹤波門的顯示，實現(xiàn)了對多個目標的鎖定和跟蹤。兩個紅色的區(qū)域是通過串口所設(shè)置的兩個虛擬警戒區(qū)，當入侵目標進入該區(qū)域，則會自動報警。

圖6 顯示效果圖

4 結(jié) 論

本文針對現(xiàn)有的監(jiān)控系統(tǒng)存在諸多不足，提出了基于DM642的全景多目標檢測系統(tǒng)，解決了包括智能預(yù)警、全視場覆蓋、多目標跟蹤等多個技術(shù)難題，并且通過工程化的實現(xiàn)，驗證了系統(tǒng)的可行性和實用性。并且架構(gòu)清晰、可靠性高、誤報率低，具有廣闊的應(yīng)用前景。

參考文獻

[1] 張濤，車彥寧，李賀寧.基于DM6467的視頻監(jiān)控系統(tǒng)設(shè)計[J].電子產(chǎn)品世界，2013（1）：66?67.

[2] 葛長偉.嵌入式智能視頻監(jiān)控系統(tǒng)的研究及實現(xiàn)[D].大連：大連海事大學(xué)，2012.

[3] 周建平，劉歆瀏，賴文娟.基于DM8168的高清視頻智能分析系統(tǒng)設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 謝晶.基于DM6467的多通道視頻網(wǎng)絡(luò)傳輸系統(tǒng)的硬件設(shè)計 [J].微型機與應(yīng)用，2012，14（31）：21?23.

[6] 張葉，曲宏松，李從善，等.基于TMS320C6x系列DSP/BIOS平臺的實時電視跟蹤系統(tǒng)設(shè)計[J].電子器件，2007（2）：300?302.

[7] 閆建強，馬莉.基于DSP/BIOS的視頻監(jiān)控系統(tǒng)多線程調(diào)度研究[J].機電工程，2010（9）：32?36.

[8] 劉歆瀏，田瑞娟，陳陽，等.基于高速球的運動目標自適應(yīng)PTZ跟蹤研究[J].兵工自動化，2009，28（9）：78?81.

[9] 劉翠微，趙友東，梁瑋.基于時空視頻塊的背景建模[J].北京理工大學(xué)學(xué)報，2012（4）：390?394.

[10] 杜京義，胡益民，劉宇程.基于區(qū)域分塊的SIFT圖像匹配技術(shù)研究與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（8）：52?58.

3 系統(tǒng)調(diào)試結(jié)果

系統(tǒng)最后針對場景形成了一套完整的全景智能監(jiān)控系統(tǒng)。3組攝像機拼接成了一幅全景視頻，對監(jiān)控區(qū)域形成了全覆蓋，同時在攝像機之間的交界處沒有明顯的圖像差異和色差。在圖6中，通過跟蹤波門的顯示，實現(xiàn)了對多個目標的鎖定和跟蹤。兩個紅色的區(qū)域是通過串口所設(shè)置的兩個虛擬警戒區(qū)，當入侵目標進入該區(qū)域，則會自動報警。

圖6 顯示效果圖

4 結(jié) 論

本文針對現(xiàn)有的監(jiān)控系統(tǒng)存在諸多不足，提出了基于DM642的全景多目標檢測系統(tǒng)，解決了包括智能預(yù)警、全視場覆蓋、多目標跟蹤等多個技術(shù)難題，并且通過工程化的實現(xiàn)，驗證了系統(tǒng)的可行性和實用性。并且架構(gòu)清晰、可靠性高、誤報率低，具有廣闊的應(yīng)用前景。

參考文獻

[1] 張濤，車彥寧，李賀寧.基于DM6467的視頻監(jiān)控系統(tǒng)設(shè)計[J].電子產(chǎn)品世界，2013（1）：66?67.

[2] 葛長偉.嵌入式智能視頻監(jiān)控系統(tǒng)的研究及實現(xiàn)[D].大連：大連海事大學(xué)，2012.

[3] 周建平，劉歆瀏，賴文娟.基于DM8168的高清視頻智能分析系統(tǒng)設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 謝晶.基于DM6467的多通道視頻網(wǎng)絡(luò)傳輸系統(tǒng)的硬件設(shè)計 [J].微型機與應(yīng)用，2012，14（31）：21?23.

[6] 張葉，曲宏松，李從善，等.基于TMS320C6x系列DSP/BIOS平臺的實時電視跟蹤系統(tǒng)設(shè)計[J].電子器件，2007（2）：300?302.

[7] 閆建強，馬莉.基于DSP/BIOS的視頻監(jiān)控系統(tǒng)多線程調(diào)度研究[J].機電工程，2010（9）：32?36.

[8] 劉歆瀏，田瑞娟，陳陽，等.基于高速球的運動目標自適應(yīng)PTZ跟蹤研究[J].兵工自動化，2009，28（9）：78?81.

[9] 劉翠微，趙友東，梁瑋.基于時空視頻塊的背景建模[J].北京理工大學(xué)學(xué)報，2012（4）：390?394.

[10] 杜京義，胡益民，劉宇程.基于區(qū)域分塊的SIFT圖像匹配技術(shù)研究與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（8）：52?58.

3 系統(tǒng)調(diào)試結(jié)果

系統(tǒng)最后針對場景形成了一套完整的全景智能監(jiān)控系統(tǒng)。3組攝像機拼接成了一幅全景視頻，對監(jiān)控區(qū)域形成了全覆蓋，同時在攝像機之間的交界處沒有明顯的圖像差異和色差。在圖6中，通過跟蹤波門的顯示，實現(xiàn)了對多個目標的鎖定和跟蹤。兩個紅色的區(qū)域是通過串口所設(shè)置的兩個虛擬警戒區(qū)，當入侵目標進入該區(qū)域，則會自動報警。

圖6 顯示效果圖

4 結(jié) 論

本文針對現(xiàn)有的監(jiān)控系統(tǒng)存在諸多不足，提出了基于DM642的全景多目標檢測系統(tǒng)，解決了包括智能預(yù)警、全視場覆蓋、多目標跟蹤等多個技術(shù)難題，并且通過工程化的實現(xiàn)，驗證了系統(tǒng)的可行性和實用性。并且架構(gòu)清晰、可靠性高、誤報率低，具有廣闊的應(yīng)用前景。

參考文獻

[1] 張濤，車彥寧，李賀寧.基于DM6467的視頻監(jiān)控系統(tǒng)設(shè)計[J].電子產(chǎn)品世界，2013（1）：66?67.

[2] 葛長偉.嵌入式智能視頻監(jiān)控系統(tǒng)的研究及實現(xiàn)[D].大連：大連海事大學(xué)，2012.

[3] 周建平，劉歆瀏，賴文娟.基于DM8168的高清視頻智能分析系統(tǒng)設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 謝晶.基于DM6467的多通道視頻網(wǎng)絡(luò)傳輸系統(tǒng)的硬件設(shè)計 [J].微型機與應(yīng)用，2012，14（31）：21?23.

[6] 張葉，曲宏松，李從善，等.基于TMS320C6x系列DSP/BIOS平臺的實時電視跟蹤系統(tǒng)設(shè)計[J].電子器件，2007（2）：300?302.

[7] 閆建強，馬莉.基于DSP/BIOS的視頻監(jiān)控系統(tǒng)多線程調(diào)度研究[J].機電工程，2010（9）：32?36.

[8] 劉歆瀏，田瑞娟，陳陽，等.基于高速球的運動目標自適應(yīng)PTZ跟蹤研究[J].兵工自動化，2009，28（9）：78?81.

[9] 劉翠微，趙友東，梁瑋.基于時空視頻塊的背景建模[J].北京理工大學(xué)學(xué)報，2012（4）：390?394.

[10] 杜京義，胡益民，劉宇程.基于區(qū)域分塊的SIFT圖像匹配技術(shù)研究與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36（8）：52?58.