游培寒，胡 瑜，盛 平，2，王志民

(1 95856部隊(duì)，南京 210000;2 94921部隊(duì)，福建晉江 362200;3南京理工大學(xué)，南京 210094)

0 引言

模版匹配和目標(biāo)跟蹤是視頻圖像實(shí)時(shí)處理中的難點(diǎn)問(wèn)題，以往系統(tǒng)設(shè)計(jì)中，由于器件的運(yùn)算速度有限，不能夠做到大規(guī)模的模版匹配和大范圍的搜索運(yùn)算。而完全依賴金字塔等算法對(duì)模版進(jìn)行壓縮又會(huì)丟失大量信息[1]，造成匹配精度不高和跟蹤不穩(wěn)定，多處理器工作方式是實(shí)時(shí)視頻處理系統(tǒng)設(shè)計(jì)的唯一解決方法。但是以往設(shè)計(jì)中，大量系統(tǒng)資源被用于總線控制和系統(tǒng)間數(shù)據(jù)傳輸，影響了系統(tǒng)性能的發(fā)揮[2]。文中設(shè)計(jì)了一套基于 DSP和 FPGA的圖像模版匹配和自動(dòng)跟蹤系統(tǒng)。DSP主要負(fù)責(zé)圖像數(shù)據(jù)的傳輸和控制，并預(yù)處理匹配模板和匹配數(shù)據(jù);而FPGA完成模版匹配并將目標(biāo)位置信息傳遞回DSP。由于模版匹配和圖像處理過(guò)程相對(duì)獨(dú)立，避免了圖像的遲滯。

1 硬件設(shè)計(jì)

硬件系統(tǒng)結(jié)構(gòu)如圖1所示，它主要由一枚TMS320DM642(簡(jiǎn)稱 DM642)和一枚 EP3C25F324C7組成。DM642內(nèi)置有完整的視頻控制模塊，它通過(guò)I2C設(shè)置解碼芯片 TVP5150和編碼芯片 SAA7121，以27MHz的速度接收 TVP5150輸出的符合ITU656標(biāo)準(zhǔn)的數(shù)字視頻，并將其傳遞到HY57V28320中的采樣圖像內(nèi)存區(qū)，完成圖像處理過(guò)程后，采樣圖像被拷貝到顯示內(nèi)存區(qū)，以標(biāo)準(zhǔn)視頻方式傳遞給編碼芯片SAA7121。DSP在進(jìn)行視頻流控制的同時(shí)，也將匹配區(qū)域數(shù)據(jù)和匹配模版進(jìn)行預(yù)處理后通過(guò)EMIF端口傳遞給FPGA的內(nèi)存區(qū)域，匹配過(guò)程由FPGA內(nèi)部狀態(tài)機(jī)控制。

圖1 系統(tǒng)硬件結(jié)構(gòu)

2 接口設(shè)計(jì)

DSP與FPGA通信是系統(tǒng)設(shè)計(jì)的關(guān)鍵。首先將DSP的EMIF端口CE2尋址空間設(shè)置為8bit的同步讀寫(xiě)接口，再利用IP核在FPGA內(nèi)部配置出匹配模板和匹配區(qū)域的雙端口存儲(chǔ)區(qū)域。其硬件連接關(guān)系如圖2所示。

圖2 硬件連接關(guān)系

在設(shè)計(jì)DSP和FPGA的通信接口時(shí)，應(yīng)注意以下幾點(diǎn):

1)由于EMIF端口是64位的，它的位選信號(hào)應(yīng)取反后接入到FPGA雙端口存儲(chǔ)區(qū)相應(yīng)的位選端口上[3]。

2)EMIF端口的通信時(shí)鐘為133MHz，在 PCB布線時(shí)應(yīng)盡量滿足等長(zhǎng)。

3)線路中的延遲時(shí)間不同，CLK接入FPGA后，應(yīng)利用片上的PLL模塊建立鎖相電路，調(diào)整時(shí)鐘相位避免通信誤碼。

4)利用CPLD建立正確的啟動(dòng)和復(fù)位順序，避免DM642和FPGA之間的相互干擾。一般DM642先啟動(dòng)，F(xiàn)PGA后啟動(dòng)。

3 軟件設(shè)計(jì)

3.1 算法分工

雖然模版匹配是一種穩(wěn)定的圖像跟蹤算法，但它只能通過(guò)修正模板的方式實(shí)現(xiàn)圖像的旋轉(zhuǎn)、縮放，這耗費(fèi)了大量的系統(tǒng)資源。文中將預(yù)處理模板數(shù)據(jù)和模板匹配分割為兩個(gè)過(guò)程，如圖3所示。

1)利用DSP預(yù)處理模板數(shù)據(jù):對(duì)目標(biāo)區(qū)域進(jìn)行濾波，去除噪聲[4]，然后計(jì)算目標(biāo)區(qū)域的梯度圖像作為原始模板，再根據(jù)原始模板計(jì)算放大模版、右旋轉(zhuǎn)模版、左旋轉(zhuǎn)模版，并將生成的模板通過(guò)EMIF端口傳輸給FPGA。

2)利用FPGA進(jìn)行模板匹配:由于FPGA的并行處理機(jī)制，可以同時(shí)對(duì)原始模板、放大和旋轉(zhuǎn)后的模版進(jìn)行匹配，尋找最佳匹配結(jié)果，用來(lái)確定目標(biāo)位置。當(dāng)匹配最優(yōu)點(diǎn)產(chǎn)生在放大模板或左右旋轉(zhuǎn)模板中時(shí)，說(shuō)明目標(biāo)狀態(tài)發(fā)生了變化，需要重新定義，這時(shí)FPGA通過(guò)模板更新標(biāo)志位給DSP一個(gè)信號(hào)，DSP將重新計(jì)算模板數(shù)據(jù)。

3.2 放大與旋轉(zhuǎn)

3.2.1 放大公式

圖像的放大和旋轉(zhuǎn)在DSP內(nèi)部完成。設(shè)放大后像素坐標(biāo)為(xs，ys)，放大關(guān)系如下[5]:

式中:(xc，yc)是放大中心，floor[]是取整函數(shù)。放大倍數(shù)α選擇直接影響算法的穩(wěn)定性。放大倍數(shù)越大，放大的速度越快系統(tǒng)跟蹤越穩(wěn)定;放大倍數(shù)小則在放大速度慢時(shí)系統(tǒng)穩(wěn)定。由于文中設(shè)計(jì)的實(shí)際需要，這里設(shè) α =1.1。

雙線性插值是一種比較常見(jiàn)的圖像縮放計(jì)算公式，它既可以避免圖像的畸變，同時(shí)計(jì)算量又相對(duì)較少，比較適合本系統(tǒng)應(yīng)用。

圖3 軟件結(jié)構(gòu)

3.2.2 旋轉(zhuǎn)公式

設(shè)旋轉(zhuǎn)后的坐標(biāo)為(xs，ys)，設(shè):要更新匹配模板，設(shè)置更新模板標(biāo)志位。在復(fù)位狀態(tài)下，F(xiàn)PGA將清空全部匹配數(shù)據(jù)。

圖4 FPGA狀態(tài)機(jī)

3.3 FPGA的狀態(tài)機(jī)設(shè)計(jì)

FPGA的工作狀態(tài)可分為更新模板區(qū)域、更新匹配區(qū)域、匹配計(jì)算、更新目標(biāo)位置、空閑和重啟6個(gè)狀態(tài)，其狀態(tài)機(jī)如圖4所示。系統(tǒng)處在空閑狀態(tài)時(shí)，根據(jù)DSP給FPGA的指令信號(hào)FPGA可以進(jìn)入更新匹配區(qū)域或更新匹配模板狀態(tài)，更新匹配區(qū)域后FPGA自動(dòng)進(jìn)入匹配計(jì)算狀態(tài)，匹配計(jì)算主要完成(x，y)位置ρ(x，y)2的計(jì)算，更新目標(biāo)位置狀態(tài)主要計(jì)算新的目標(biāo)位置，同時(shí)根據(jù)最優(yōu)點(diǎn)所對(duì)應(yīng)的模板，判斷是否需

3.4 匹配計(jì)算及其優(yōu)化

文中采用的匹配準(zhǔn)則如下[6]:

其中:(x，y)代表匹配位置，(x'，y')代表匹配區(qū)域N×M大小的鄰域坐標(biāo)，p(x'，y')是匹配區(qū)域像素，t(x'，y')是模板像素，p－是匹配區(qū)域像素均值;式(4)對(duì)于圖像的灰度線性畸變具有不變性，穩(wěn)定性較好，但直接引用式(4)，無(wú)法在FPGA中實(shí)現(xiàn)，將式(4)做了如下調(diào)整:

在FPGA中的計(jì)算時(shí)序如圖5所示。

圖5 ρ(x，y)2的優(yōu)化前的計(jì)算時(shí)序

通過(guò)圖5可以發(fā)現(xiàn)，計(jì)算ρ(x，y)2需要14個(gè)乘法器，占用時(shí)間主要集中在第一步，需要 (N×M+6)個(gè)時(shí)鐘周期。第二步和第三步所需時(shí)鐘周期總共為16個(gè)，而第二步中3個(gè)乘法和減法器在結(jié)構(gòu)上有類似之處，可以簡(jiǎn)化為一個(gè)乘法與減法器，適當(dāng)增加第二步所耗費(fèi)的時(shí)鐘周期對(duì)整個(gè)計(jì)算過(guò)程不會(huì)造成過(guò)高影響。利用一個(gè)時(shí)序狀態(tài)機(jī)優(yōu)化系統(tǒng)結(jié)構(gòu)如圖6所示。

圖6 ρ(x，y)2的優(yōu)化后的計(jì)算時(shí)序

優(yōu)化后的ρ(x，y)2的計(jì)算需要占用FPGA中11個(gè)乘法器，如果同時(shí)比較旋轉(zhuǎn)和縮放模板，需要44個(gè)乘法器，不到文中選用芯片內(nèi)部乘法器資源的一半。優(yōu)化后的 ρ(x，y)2計(jì)算需要 (N×M+38)個(gè)時(shí)鐘周期。

3.5 更新目標(biāo)位置

單個(gè)ρ(x，y)2計(jì)算完成后將其存儲(chǔ)在FPGA制定緩存中，更新坐標(biāo)(x，y)，得到匹配區(qū)域中所有子空間對(duì)應(yīng)的 ρ(x，y)2，最大 ρ(x，y)2所對(duì)應(yīng)位置就是目標(biāo)新坐標(biāo)，當(dāng)其對(duì)應(yīng)的匹配模板不是原始模板，則設(shè)置更新匹配模板標(biāo)志位為1。DSP的圖像處理周期與FPGA的計(jì)算周期存在時(shí)間差。為了避免DSP讀取非法數(shù)據(jù)，在FPGA中設(shè)置一個(gè)雙向目標(biāo)位置地址，該地址內(nèi)數(shù)據(jù)保留了目標(biāo)當(dāng)前位置和模板更新標(biāo)志位。FPGA匹配計(jì)算結(jié)束后，會(huì)更新地址內(nèi)的目標(biāo)位置和模板更新標(biāo)志。DSP在每個(gè)處理周期都會(huì)讀取該地址內(nèi)的目標(biāo)位置和模板更新位。這樣做可以保證DSP每次讀取的都是最新的目標(biāo)匹配計(jì)算結(jié)果。

4 實(shí)驗(yàn)數(shù)據(jù)

文中設(shè)計(jì)的自適應(yīng)模版匹配跟蹤系統(tǒng)硬件平臺(tái)如圖7所示。利用SDZ310相機(jī)作為成像器件，對(duì)跟蹤系統(tǒng)性能進(jìn)行了跟蹤能力和計(jì)算速度測(cè)試。

圖7 視頻跟蹤系統(tǒng)

4.1 跟蹤能力測(cè)試

利用SignalTAPII記錄FPGA部分?jǐn)?shù)據(jù)，得到靜態(tài)圖像測(cè)試結(jié)果如表1、表2所示。

參考國(guó)內(nèi)某型紅外成像導(dǎo)引頭跟蹤器指標(biāo)，對(duì)跟蹤器動(dòng)態(tài)跟蹤性能進(jìn)行了測(cè)試:將攝像機(jī)架設(shè)在云臺(tái)上，對(duì)不同灰度反差、放大倍數(shù)的移動(dòng)平面目標(biāo)進(jìn)行旋轉(zhuǎn)跟蹤。試驗(yàn)結(jié)果如表3～表7所示。表中√表示目標(biāo)在視場(chǎng)移動(dòng)速度小于8像素每秒時(shí)，跟蹤器能夠穩(wěn)定跟蹤目標(biāo)，沒(méi)有丟失目標(biāo)或跟蹤點(diǎn)大幅度抖動(dòng)現(xiàn)象。通過(guò)表3～表7可以看出，跟蹤器能夠滿足目標(biāo)視在灰度反差6%，旋轉(zhuǎn)速度小于20°/s，縮放速度小于2.0倍 /s的移動(dòng)平面目標(biāo)穩(wěn)定跟蹤要求。

4.2 計(jì)算速度測(cè)試

由于模版匹配計(jì)算與視頻通道隔離，系統(tǒng)跟蹤計(jì)算并不會(huì)遲滯視頻顯示時(shí)間，系統(tǒng)圖像處理速度可以穩(wěn)定在每秒25幀。同時(shí)由于采用FPGA完成并行計(jì)算，其可處理的模板面積較大，計(jì)算速度較快。跟蹤速度測(cè)算與實(shí)測(cè)結(jié)果如表8所示。可以看出，當(dāng)模板面積為128×128像素時(shí)，系統(tǒng)每秒仍能跟蹤28幀圖像。

5 結(jié)束語(yǔ)

文中設(shè)計(jì)了一套基于模板匹配的視頻跟蹤系統(tǒng)。該系統(tǒng)硬件采用DSP+FPGA結(jié)構(gòu)，DSP負(fù)責(zé)圖像的緩存，并負(fù)責(zé)模板數(shù)據(jù)計(jì)算，F(xiàn)PGA負(fù)責(zé)匹配準(zhǔn)則的計(jì)算和最佳匹配位置的確定等。文中給出的跟蹤系統(tǒng)的試驗(yàn)測(cè)試結(jié)果表明，系統(tǒng)能夠滿足當(dāng)目標(biāo)旋轉(zhuǎn)、縮放等條件下的跟蹤要求，同時(shí)處理速度可以滿足128×128像素的大面積模板跟蹤需要。

表1 當(dāng)匹配圖像發(fā)生6°偏轉(zhuǎn)時(shí)的部分計(jì)算結(jié)果

表2 當(dāng)匹配區(qū)域發(fā)生放大1.1倍時(shí)的部分計(jì)算結(jié)果

表3 視在灰度反差不同目標(biāo)跟蹤結(jié)果

表4 視在灰度反差為20%的目標(biāo)縮放跟蹤結(jié)果(畫(huà)面從15倍放大到30倍)

表5 視在灰度反差為15%的目標(biāo)縮放跟蹤結(jié)果(畫(huà)面從15倍放大到30倍)

表6 視在灰度反差為20%的目標(biāo)旋轉(zhuǎn)跟蹤結(jié)果

表7 視在灰度反差為15%的目標(biāo)旋轉(zhuǎn)跟蹤結(jié)果

表8 跟蹤速度測(cè)算與實(shí)測(cè)結(jié)果

[1]Luigi Di Stefano，Stefano Mattoccia. Fast template matching using bounded partial correlation[J]. Machine Vision and Applications，2003，13:213 －221.

[2]Xu Xiaoshen，Jiang Hongxu，Jin Liang，et al. A Multi-DSP system for high-performance video applications[C]//11th IEEE Singapore International Conference on Communication Systems，2008:778 － 782.

[3]Altera. Cyclone III handbook Volume 1，San Jose，CA 95134[M/OL]. 2003.

[4]McDonnell MJ. Box-filtering techniques[J]. Computer Graph Image Process，1981，17(1):65 －70.

[5]Aokage H，Wada K，Toraichi K.High quality conversion of image resolution using two-dimensional sampling function[C]//Communications，Computers and Signal Processing，2003.PACRIM. IEEE Pacific Rim Conference on，Vol.2，2003:720 －723.

[6]Zuxun Zhang，Jianqing Zhang. Digital Photogrammtry[M].Wuhan Publishing，1997.