郗潤平,薛少輝

(1.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,西安 710129; 2.空天地海一體化大數(shù)據(jù)應(yīng)用技術(shù)國家工程實(shí)驗(yàn)室,西安 710129; 3.陜西省語音與圖像信息處理重點(diǎn)實(shí)驗(yàn)室,西安 710129)

0 概述

運(yùn)動(dòng)目標(biāo)檢測與跟蹤作為數(shù)字圖像處理和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱門研究方向,具有潛在經(jīng)濟(jì)效益和重要應(yīng)用價(jià)值,長期以來吸引著大量學(xué)者對(duì)其進(jìn)行深入研究[1-3]。因復(fù)雜的環(huán)境、目標(biāo)運(yùn)動(dòng)狀態(tài)多樣性等客觀因素的影響,一種運(yùn)動(dòng)目標(biāo)跟蹤算法通常都僅適用于具體的某一環(huán)境或特定的條件,對(duì)算法在不同環(huán)境和條件下進(jìn)行客觀的性能評(píng)價(jià)非常必要。

目前,用于運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)的數(shù)據(jù)集有多種,如VIVID[4]、CAVIAR[5]和PETS[6]等。在這些圖像序列中,目標(biāo)物體通常是人或汽車等,上述數(shù)據(jù)集大多沒有考慮影響算法性能的各因素的水平(因素的取值),也沒有一個(gè)通用的標(biāo)注框。當(dāng)前的主流算法評(píng)價(jià)平臺(tái)有OTB[7-8]和VOT[9-11]等,其中,OTB使用大量包含某因素的圖像序列組合來得到算法在某因素下的性能表現(xiàn),VOT分析多種視頻跟蹤算法評(píng)價(jià)標(biāo)準(zhǔn)的相關(guān)性,找到較為合適的評(píng)價(jià)標(biāo)準(zhǔn),更新的VOT數(shù)據(jù)集甚至每幀都對(duì)影響因素進(jìn)行了注釋,從而提高了檢測精度,但其仍然沒有考慮多因素組合場景下的算法性能表現(xiàn),在評(píng)價(jià)時(shí)存在數(shù)據(jù)集大和測試次數(shù)多等問題。

運(yùn)動(dòng)目標(biāo)跟蹤算法的性能受多種因素影響,如光照變化、目標(biāo)尺度變化、目標(biāo)形變等。多因素影響分析常用簡單比較法、灰色關(guān)聯(lián)度分析法[12]和正交試驗(yàn)設(shè)計(jì)等數(shù)據(jù)分析方法。簡單比較法原理簡單,但在其他因素取值改變的情況下可能得到不同的結(jié)論,特別是當(dāng)因素較多時(shí)很容易得到錯(cuò)誤的結(jié)論。灰色關(guān)聯(lián)度分析法可應(yīng)用多種無量綱化處理方法,用以計(jì)算各影響因素之間的貼近程度,但其難以應(yīng)用于多因素多水平的測試。正交試驗(yàn)設(shè)計(jì)方法通過挑選影響試驗(yàn)結(jié)果的因素來確定因素水平數(shù),并選取適當(dāng)?shù)恼槐磉M(jìn)行測試,使用等水平正交表進(jìn)行試驗(yàn)設(shè)計(jì)可以使每個(gè)因素的不同水平均勻搭配,既減少了試驗(yàn)次數(shù),也能夠保證試驗(yàn)結(jié)果的準(zhǔn)確性。通過正交試驗(yàn)設(shè)計(jì)方法的結(jié)果,可以利用極差分析法對(duì)影響算法性能的各因素的顯著性進(jìn)行討論、分析和排序,并獲得最佳的應(yīng)用條件。

本文提出一種基于正交試驗(yàn)對(duì)運(yùn)動(dòng)目標(biāo)跟蹤算法性能進(jìn)行評(píng)價(jià)的方法。以TLD[13]和CXT[14]算法為例,利用正交試驗(yàn)方法對(duì)影響算法性能的各因素水平進(jìn)行分析討論,從而得出算法性能表現(xiàn)最佳時(shí)的各因素水平組合方式。

1 正交試驗(yàn)

基于正交試驗(yàn)的運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)方法,利用正交原理編寫標(biāo)準(zhǔn)化正交表,再依托正交表的正交性從不同水平組合試驗(yàn)中挑選出部分具有代表性的圖像序列進(jìn)行試驗(yàn),以最少的試驗(yàn)次數(shù)取得較全面的試驗(yàn)效果。

1.1 試驗(yàn)因素和水平

目前常用的運(yùn)動(dòng)目標(biāo)跟蹤算法有基于區(qū)域特征的跟蹤算法、基于輪廓特征的跟蹤算法、基于目標(biāo)特征的跟蹤算法和基于運(yùn)動(dòng)特征的跟蹤方算法。

基于區(qū)域特征的跟蹤算法(如Brox[15]等)利用圖像分割結(jié)果進(jìn)行運(yùn)動(dòng)目標(biāo)定位,再利用定位目標(biāo)位置對(duì)圖像的分割目標(biāo)進(jìn)行修正,該類算法在背景單一的環(huán)境中表現(xiàn)良好,但是,目標(biāo)的運(yùn)動(dòng)狀態(tài)和外部形狀復(fù)雜多變,如光照變化、外形變化、目標(biāo)旋轉(zhuǎn)等,在這些情況下,其無法實(shí)現(xiàn)區(qū)域特征的匹配。在基于輪廓特征的跟蹤算法中,較經(jīng)典的是Snake模型[16],在實(shí)際應(yīng)用中,運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)場景經(jīng)常存在遮擋問題,導(dǎo)致該類方法不能實(shí)時(shí)得到外部輪廓,實(shí)現(xiàn)輪廓信息匹配的難度較大,即不能對(duì)目標(biāo)進(jìn)行有效跟蹤?；谀繕?biāo)特征的跟蹤算法通過目標(biāo)的一個(gè)或幾個(gè)特征信息(如目標(biāo)顏色、紋理、邊緣等)進(jìn)行匹配以尋找目標(biāo)的位置,實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤[17],即使目標(biāo)的一部分被遮擋,也能夠通過部分特征點(diǎn)繼續(xù)對(duì)目標(biāo)進(jìn)行跟蹤,但當(dāng)目標(biāo)發(fā)生旋轉(zhuǎn)或者運(yùn)動(dòng)并非勻速或勻加速時(shí),這種方法的部分特征會(huì)消失,這時(shí)跟蹤效果不夠理想?；谶\(yùn)動(dòng)特征的跟蹤算法(如Kalman濾波算法[18]和粒子濾波算法[19])利用歷史視頻幀中目標(biāo)的運(yùn)動(dòng)信息,在整幅圖像范圍內(nèi)進(jìn)行搜索,找到能夠和前面視頻幀中目標(biāo)特征相匹配的目標(biāo)范圍,然后通過檢測技術(shù)將搜索限定在較小范圍內(nèi)。

運(yùn)動(dòng)目標(biāo)所處的場景多種多樣,這些場景對(duì)運(yùn)動(dòng)目標(biāo)的檢測和跟蹤帶來較大挑戰(zhàn)。例如,條紋狀背景會(huì)造成基于邊緣特征的跟蹤算法失效,或背景與運(yùn)動(dòng)目標(biāo)的顏色相近,使基于顏色特征的目標(biāo)跟蹤變得困難。光照變化也是運(yùn)動(dòng)目標(biāo)檢測和跟蹤中不可忽視的一個(gè)問題,在不同的光線下,人體目標(biāo)的衣著呈現(xiàn)不同的顏色,使基于顏色特征的跟蹤算法幾乎失效。雖然可采用不同的顏色系統(tǒng)來減輕光照變化對(duì)算法的影響,但是光照的變化仍然是困擾目標(biāo)跟蹤的一個(gè)重要因素。遮擋是目標(biāo)跟蹤場景中的常見情況,目標(biāo)可能被背景中靜止的物體遮擋,也可能被另外的運(yùn)動(dòng)目標(biāo)遮擋,或者由于自身旋轉(zhuǎn)而遮擋本身的某些信息以遮擋表現(xiàn)為目標(biāo)信息的逐漸丟失,而跟蹤算法的關(guān)鍵就是搜索足夠多的目標(biāo)信息以判定目標(biāo)所在,因此,遮擋給目標(biāo)跟蹤的結(jié)果帶來不確定性,可能導(dǎo)致目標(biāo)跟蹤不穩(wěn)定甚至丟失目標(biāo)等。

根據(jù)以上分析與討論,本文將影響運(yùn)動(dòng)目標(biāo)跟蹤算法性能的因素歸結(jié)為環(huán)境因素、目標(biāo)特征、跟蹤干擾因素3類,表1～表3分別為3類常見因素的具體描述。

表1 環(huán)境因素的具體情況Table 1 Specific situation of environmental factors

表2 目標(biāo)特征的具體情況Table 2 Specific situation of target characteristics

表3 圖源跟蹤干擾因素的具體情況Table 3 Specific situation of tracking interference factors of image source

1.2 圖像序列選取

本文選取7個(gè)因素作為運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)時(shí)所考慮的因素,并對(duì)其水平進(jìn)行適當(dāng)?shù)膭澐?具體如下:

A因素表示背景與目標(biāo)特征相似,水平:是/否。

B因素表示形變,水平:有/無。

C因素表示遮擋,水平:有/無。

D因素表示水平面外旋轉(zhuǎn),水平:有/無。

E因素表示水平面內(nèi)旋轉(zhuǎn),水平:有/無。

F因素表示尺度變化,水平:有/無。

G因素表示亮度變化,水平:有/無。

水平值取1或2,各因素水平值劃分具體情況如表4所示。

表4 影響算法性能的各因素水平取值劃分Table 4 Value division factors levels affecting algorithmperformance

1.3 圖像數(shù)據(jù)選取

根據(jù)表4中列出的7個(gè)因素2個(gè)水平,選用L8(27)表[20]來進(jìn)行本文試驗(yàn)。正交表如表5所示,其中,“有”表示這組圖像序列明顯包含該影響因素,如第7組數(shù)據(jù)集C、D和G因素最為顯著。依據(jù)該正交試驗(yàn)表中的因素水平組合來安排本文測試。

表5 圖像序列的正交試驗(yàn)表Table 5 Orthogonal test table of image sequence

在表5中,部分因素水平組合的圖像序列在實(shí)際情況中不易拍攝到,因此,可以考慮采用圖像合成[21]的方式,即將目標(biāo)融合到背景圖像中得到無法采集到的圖像。正交試驗(yàn)方法是完全試驗(yàn)和簡單對(duì)比試驗(yàn)的結(jié)合,它所選出的數(shù)據(jù)具有代表性,因此,在運(yùn)動(dòng)目標(biāo)跟蹤算法評(píng)價(jià)中,圖像序列選取的應(yīng)該是能夠考核該算法的具有代表性的圖像序列。而在有些情況下,由于某種原因,部分因素水平組合所需的試驗(yàn)場景并不能通過拍攝得到或者這部分圖像序列采集代價(jià)較高。通過人工合成這些不容易獲得的數(shù)據(jù)圖像序列成為一種有效手段,過程中的關(guān)鍵是使合成的目標(biāo)與背景更貼近,使之接近于真實(shí)的圖像序列。因此,圖像合成在圖像序列運(yùn)動(dòng)目標(biāo)檢測和跟蹤算法評(píng)價(jià)方面具有十分重要的意義。

1.4 試驗(yàn)數(shù)據(jù)集

圖1所示為本文試驗(yàn)所用數(shù)據(jù),其中,方框?yàn)閿?shù)據(jù)集的基準(zhǔn)框,8行圖像分別代表了1組～8組的試驗(yàn)數(shù)據(jù),每組有3個(gè)圖像序列,以避免指標(biāo)受圖像序列極端狀況的影響而導(dǎo)致試驗(yàn)失敗。每組試驗(yàn)選取的3個(gè)圖像序列數(shù)據(jù)均滿足該組試驗(yàn)因素和水平組合的要求。對(duì)算法性能表現(xiàn)結(jié)果采用加權(quán)平均和的方式來得到本組試驗(yàn)的最終準(zhǔn)確率結(jié)果。

圖1 試驗(yàn)數(shù)據(jù)集Fig.1 Experimental dataset

2 正交試驗(yàn)方案評(píng)價(jià)機(jī)制

在選定測試圖像序列之后,即可進(jìn)行算法測試和數(shù)據(jù)分析。基于正交試驗(yàn)方法的運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)框架如圖2所示。

圖2 基于正交試驗(yàn)的運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)框架Fig.2 Performance evaluation framework of moving targettracking algorithm based on orthogonal test

基于正交試驗(yàn)的運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)方法主要包括以下過程:

1)數(shù)據(jù)挑選。按照正交表挑選和組合8組滿足正交表因素水平組合要求的圖像數(shù)據(jù)。

2)算法測試。使用算法分別對(duì)8組圖像數(shù)據(jù)進(jìn)行目標(biāo)跟蹤,統(tǒng)計(jì)每組試驗(yàn)的結(jié)果。

3)極差分析[22]。極差分析方法(簡稱R法)利用數(shù)理統(tǒng)計(jì)方法計(jì)算出正交表中該因素在其取值范圍內(nèi)試驗(yàn)指標(biāo)變化的幅度,即根據(jù)極差R值來判斷各因素的主次、最優(yōu)的因素水平組合。極差R值計(jì)算如下,其中,如果Rj值越大,說明該因素對(duì)試驗(yàn)結(jié)果的影響程度越大。

Kij=Tij/r

(1)

Rj=Tij(max)-Tij(min)

(2)

其中,i為水平數(shù),j為正交表中的列數(shù),即因素?cái)?shù),r為某因素中相同水平重復(fù)試驗(yàn)的次數(shù),Kij為第j列第i水平的試驗(yàn)平均值,Tij為第j列第i水平的試驗(yàn)結(jié)果yi之和,Tij(max)為第j列中的最大Tij值,Tij(min)為第j列中的最小Tij值,Rj為第j列的極差值。

4)驗(yàn)證試驗(yàn)。正交試驗(yàn)是以少代多的試驗(yàn),根據(jù)試驗(yàn)得出的因素水平組合并不一定最優(yōu),但是通過它可以獲得算法較好的性能表現(xiàn)。將通過試驗(yàn)分析所得的優(yōu)選因素組合條件與已做試驗(yàn)中的最好方案的因素組合條件進(jìn)行對(duì)比驗(yàn)證,以確定其優(yōu)劣。

3 仿真結(jié)果與分析

本文以選取的圖像序列作為輸入,基于TLD算法和CXT算法對(duì)圖像序列中的目標(biāo)進(jìn)行檢測,依據(jù)檢測結(jié)果進(jìn)行極差分析,得出算法的性能評(píng)價(jià)結(jié)果。本節(jié)將從評(píng)價(jià)指標(biāo)、極差分析和試驗(yàn)結(jié)果評(píng)估與分析等方面進(jìn)行討論。

3.1 評(píng)價(jià)指標(biāo)選取與構(gòu)建

運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)標(biāo)準(zhǔn)有多種,如中心誤差、區(qū)域重疊率和準(zhǔn)確率等。中心誤差指預(yù)測中心點(diǎn)位置與標(biāo)注的中心位置的歐氏距離,但在實(shí)際應(yīng)用中,跟蹤失敗和框的尺寸導(dǎo)致中心誤差的意義不明確。重疊率S表示重疊面積所占的比例,計(jì)算如下:

(3)

其中,rt和ra分別表示跟蹤獲得的和真實(shí)獲得的邊界框。當(dāng)重疊率大于特定閾值t0(0

極差Rj在本文中用來表示某因素對(duì)算法性能影響的大小。Rj值越大,平均重疊率越小。構(gòu)造式(5)指標(biāo)作為算法在該因素下的得分情況,其能反映各影響因素之間的關(guān)系。

(4)

表6 2種算法在OTB和本文正交試驗(yàn)方法下的性能表現(xiàn)對(duì)比Table 6 Performance comparison of two algorithms underOTB and text orthogonal test

圖3 CXT算法各影響因素的得分情況Fig.3 Score of each influencing factor of CXT algorithm

3.2 極差分析結(jié)果

圖4～圖7所示為各試驗(yàn)組下的TLD和CXT算法性能表現(xiàn)對(duì)比,括號(hào)內(nèi)數(shù)字為AUC值,前8組為算法在各組圖像序列下的性能表現(xiàn),根據(jù)這8組性能表現(xiàn)結(jié)果進(jìn)行極差分析,最后一組為試驗(yàn)分析得出的組合因素水平下的算法性能表現(xiàn)。表7、表8所示為算法測試與極差分析結(jié)果。根據(jù)表6～表8的分析結(jié)果得出,7種因素對(duì)算法性能影響的強(qiáng)弱關(guān)系為:目標(biāo)形變影響最大,然后依次是目標(biāo)遮擋、平面外旋轉(zhuǎn),而光照變化、目標(biāo)尺度變化、背景相似、平面內(nèi)旋轉(zhuǎn)等因素對(duì)算法性能影響稍弱。根據(jù)圖3、表6可以看出,本文正交試驗(yàn)對(duì)CXT算法的各因素得分情況與OTB基本一致。根據(jù)OTB對(duì)CXT算法的評(píng)估結(jié)果可以看出,算法在目標(biāo)形變因素下的重疊率最低,因此,目標(biāo)形變因素對(duì)算法性能影響最大,然后依次是目標(biāo)遮擋、平面外旋轉(zhuǎn)等。顯然,本文得出的因素對(duì)算法性能影響的強(qiáng)弱關(guān)系結(jié)果與OTB相一致。

圖4 TLD算法成功率隨像素誤差閾值的變化Fig.4 Success rate of TLD algorithm changing with pixelerror rate

圖5 TLD算法成功率隨重疊率閾值的變化Fig.5 Success rate of TLD algorithm changing with overlaprate threshold

圖6 CXT算法成功率隨像素誤差閾值的變化Fig.6 Success rate of CXT algorithm changing with pixelerror threshold

圖7 CXT算法成功率隨重疊率閾值的變化Fig.7 Success rate of CXT algorithm changing with overlaprate threshold

表7 算法測試結(jié)果Table 7 Results of algorithm tests %

表8 極差分析結(jié)果Table 8 Results of range analysis

根據(jù)優(yōu)選結(jié)果可以看出,TLD算法在有光照變化、無尺度變化、無目標(biāo)遮擋、無目標(biāo)形變、無快速運(yùn)動(dòng)、有平面外旋轉(zhuǎn)、無背景相似、無平面內(nèi)旋轉(zhuǎn)的最優(yōu)化組合條件下性能表現(xiàn)最佳。顯然,最優(yōu)組合未包含在正交試驗(yàn)設(shè)計(jì)表中,為對(duì)正交試驗(yàn)的優(yōu)化結(jié)果進(jìn)行驗(yàn)證,本文對(duì)算法在最優(yōu)組合條件下的表現(xiàn)進(jìn)行測試。按照優(yōu)選結(jié)果,選取平面外旋轉(zhuǎn)和光照變化2種因素最為顯著的圖像序列組合,圖8所示為最優(yōu)組合數(shù)據(jù)集。TLD算法在最優(yōu)因素水平組合(見表9)上準(zhǔn)確率達(dá)到了0.71,中心誤差為10.00,遠(yuǎn)低于其他組。與正交表中的各組指標(biāo)值進(jìn)行比較,發(fā)現(xiàn)正交試驗(yàn)設(shè)計(jì)方法所得優(yōu)化組合結(jié)果有效。對(duì)于CXT算法,其在各因素對(duì)算法性能影響的強(qiáng)弱關(guān)系方面也得到了與TLD接近的結(jié)果,而且優(yōu)選組合結(jié)果的表現(xiàn)優(yōu)于其他組,圖9所示為該算法的最優(yōu)組合數(shù)據(jù)集。

圖8 TLD算法最優(yōu)組合場景數(shù)據(jù)集Fig.8 Dataset of TLD algorithm with optimal combination setting

表9 2種算法性能表現(xiàn)最佳的因素水平組合Table 9 Factor level combination of two algorithms withoptimal performance

圖9 CXT算法最優(yōu)組合場景數(shù)據(jù)集Fig.9 Dataset of CXT algorithm with optimal combination setting

4 結(jié)束語

本文提出一種基于正交試驗(yàn)的運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)方法。通過引入正交試驗(yàn)設(shè)計(jì),實(shí)現(xiàn)以較少的試驗(yàn)次數(shù)和數(shù)據(jù)對(duì)不同影響因素和水平下的TLD和CXT算法的性能評(píng)價(jià),得出各影響因素之間的強(qiáng)弱關(guān)系以及算法性能表現(xiàn)較好時(shí)的水平組合。仿真結(jié)果表明,該方法所得出的結(jié)論與實(shí)際情況相符。應(yīng)用正交表設(shè)計(jì)運(yùn)動(dòng)目標(biāo)跟蹤算法性能評(píng)價(jià)系統(tǒng)是一種高效、快速且經(jīng)濟(jì)的方法,其也為其他圖像處理算法的性能評(píng)價(jià)提供了借鑒和參考。下一步將考慮對(duì)因素水平進(jìn)行多級(jí)量化,以優(yōu)化得分精度并拓展適用場景。