夏 婷，景星爍，鄒衛(wèi)軍

（南京理工大學(xué)自動(dòng)化學(xué)院，南京210094）

0 引言

動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容之一，在導(dǎo)航制導(dǎo)和監(jiān)控預(yù)警等軍事和民用領(lǐng)域都有著廣泛的應(yīng)用。動(dòng)背景下檢測(cè)運(yùn)動(dòng)目標(biāo)，其難點(diǎn)在于，目標(biāo)運(yùn)動(dòng)的同時(shí)背景也在發(fā)生旋轉(zhuǎn)、縮放和平移，兩者的運(yùn)動(dòng)很難區(qū)分。針對(duì)此問(wèn)題，文獻(xiàn)［1］提出了一種基于塊匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，為了減小計(jì)算量，該方法用局部塊的運(yùn)動(dòng)來(lái)代替塊內(nèi)所有像素的運(yùn)動(dòng)，影響了全局估計(jì)的準(zhǔn)確性，且無(wú)法適應(yīng)背景的旋轉(zhuǎn)、平移等運(yùn)動(dòng)。文獻(xiàn)［2］將SIFT特征匹配和差分法相結(jié)合，該方法對(duì)圖像平移、旋轉(zhuǎn)、縮放、亮度變化、遮擋和噪聲等具有良好的不變性，但算法的復(fù)雜度較高，運(yùn)行速度慢，實(shí)時(shí)性差。文獻(xiàn)［3］提出SURF特征匹配法，利用較少的特征點(diǎn)達(dá)到了和SIFT算法接近的性能，速度相比SIFT算法有明顯提升，但仍舊比較耗時(shí)，無(wú)法做到實(shí)時(shí)應(yīng)用。文獻(xiàn)［4］提出一種基于全局運(yùn)動(dòng)補(bǔ)償?shù)腍S光流檢測(cè)算法，根據(jù)目標(biāo)與背景光流矢量的差異實(shí)現(xiàn)目標(biāo)檢測(cè)，然而該方法計(jì)算量大，實(shí)時(shí)性差。文獻(xiàn)［5］提出的 LK 光流［6］和 HS 光流［7］相結(jié)合的檢測(cè)算法運(yùn)算速度快，但不能適應(yīng)背景的旋轉(zhuǎn)、縮放，只適用于攝像機(jī)位置固定、焦距固定的定點(diǎn)監(jiān)控場(chǎng)合。

基于以上分析，本文提出一種將金字塔LK光流法與背景補(bǔ)償相結(jié)合的方法，即先采用LK光流法在兩幅圖像上得到相互匹配的多組特征點(diǎn)對(duì)，再對(duì)這些特征點(diǎn)對(duì)做仿射變換消除背景運(yùn)動(dòng)造成的影響，最后通過(guò)差分提取運(yùn)動(dòng)目標(biāo)。本文算法運(yùn)算速度明顯優(yōu)于基于SURF特征匹配的算法，同時(shí)能有效消除背景運(yùn)動(dòng)干擾，實(shí)現(xiàn)穩(wěn)定的運(yùn)動(dòng)目標(biāo)檢測(cè)。

1 基于金字塔LK算法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

1.1 特征點(diǎn)選取

金字塔LK光流法［8］只針對(duì)圖像特征點(diǎn)進(jìn)行光流計(jì)算，而不像稠密光流那樣對(duì)圖像每個(gè)像素點(diǎn)都進(jìn)行光流計(jì)算，因此，圖像特征點(diǎn)提取的準(zhǔn)確性直接關(guān)系到最后光流矢量的計(jì)算結(jié)果［9］。根據(jù)式（9），LK光流法的計(jì)算要求矩陣G是可逆的，即要求G最小的特征向量必須足夠大。在實(shí)際計(jì)算中，可以采用Shi-Tomasi角點(diǎn)法［10］提取出符合要求的特征點(diǎn)，它是一種改進(jìn)的Harris角點(diǎn)檢測(cè)方法，用于提取圖像的強(qiáng)角點(diǎn)。

在任意方向的一個(gè)微小變動(dòng)都會(huì)引起灰度很大變化的像素點(diǎn)稱之為角點(diǎn)。因此可以通過(guò)像素點(diǎn)灰度變化情況來(lái)檢測(cè)角點(diǎn)，即求解式（1）找到E的最大值：

其中，I（x，y）表示灰度值，w（x，y）表示窗口函數(shù)。對(duì)式（1）進(jìn)行Taylor展開：

其中，

矩陣M對(duì)應(yīng)式（9）中的矩陣G。計(jì)算圖像中的每一個(gè)像素點(diǎn)的矩陣M和它最小的特征向量λm，稱λmax是λm在整張圖片上的最大值。保留圖片上像素值的λm的個(gè)數(shù)大于一定比例的λmax，這個(gè)比例稱為角點(diǎn)的品質(zhì)因子，角點(diǎn)的品質(zhì)因子與λmax的乘積作為選取特征點(diǎn)的閾值（本文角點(diǎn)的品質(zhì)因子是1%）。通過(guò)這些點(diǎn)，保留局部最大的像素，即圖像的強(qiáng)角點(diǎn)。

1.2 LK光流計(jì)算

光流算法基于以下3個(gè)假設(shè)：亮度恒定、連續(xù)的小運(yùn)動(dòng)、空間一致［11］。根據(jù)前兩個(gè)假設(shè)，可以得到經(jīng)典的光流約束方程為：

該方程缺乏約束條件，根據(jù)第三條假設(shè)，可以認(rèn)為局部區(qū)域內(nèi)像素運(yùn)動(dòng)具有一致性，從而利用該特征點(diǎn)周圍局部鄰域內(nèi)像素的灰度值不變來(lái)計(jì)算光流矢量。

假設(shè)I和J為連續(xù)兩幀圖像，點(diǎn)（x，y）對(duì)應(yīng)的灰度值分別為I（x，y）和J（x，y）， 點(diǎn)u＝（ux，uy）在I上對(duì)應(yīng)的灰度值為I（u），LK光流法的目標(biāo)是在圖像J上找到一點(diǎn)v＝u+d＝（ux+dx，uy+dy），使其對(duì)應(yīng)的灰度值J（v）＝I（u）。 根據(jù)以上原理， 可以定義點(diǎn)u在其周圍3×3像素鄰域Ω內(nèi)的誤差函數(shù)：

當(dāng)式（5）取得最小值時(shí)，J（v）和I（u）近似相等，即可認(rèn)為點(diǎn)v是u在圖像J上的對(duì)應(yīng)點(diǎn)。對(duì)式（5）求解，使ε（d）對(duì)向量d的偏導(dǎo)為0。經(jīng)過(guò)數(shù)學(xué)推導(dǎo)得：

記：

由式（9）可知：當(dāng)G可逆時(shí)，方程有解，可以得出該特征點(diǎn)的光流矢量d，進(jìn)而預(yù)測(cè)出點(diǎn)u在圖像J中對(duì)應(yīng)的位置。

由于LK光流法是基于連續(xù)的小運(yùn)動(dòng)的假設(shè)，而實(shí)際情況中，尺度大而不連續(xù)的運(yùn)動(dòng)更為常見，因此采用圖像金字塔技術(shù)來(lái)解決這個(gè)問(wèn)題。具體方法是從圖像金字塔的最高層開始計(jì)算光流，然后將該層計(jì)算結(jié)果作為下一層計(jì)算的起始值，重復(fù)這個(gè)過(guò)程直到金字塔的最底層。這樣處理后，滿足光流算法的連續(xù)小運(yùn)動(dòng)假設(shè)，從而實(shí)現(xiàn)對(duì)速度更快和尺度更大的運(yùn)動(dòng)進(jìn)行檢測(cè)。

1.3 仿射變換

仿射變換是一種二維坐標(biāo)之間的線性變換，保持二維圖像的 “平直性” 和 “平行性”［12］。 通過(guò)仿射變換，可以有效消除背景運(yùn)動(dòng)造成的影響。本文采用6參數(shù)仿射變換，一般形式為：

其中，a0、a1、a2、b0、b1、b2為仿射參數(shù)。 利用光流法得到的至少3組特征點(diǎn)對(duì)即可計(jì)算出仿射參數(shù)，進(jìn)而對(duì)整張圖片做仿射變換，實(shí)現(xiàn)背景補(bǔ)償。

2 算法流程

本文提出算法的處理流程如圖1所示，具體表述為：

1）對(duì)第t幀圖像進(jìn)行Shi-Tomasi角點(diǎn)檢測(cè)，提取圖像強(qiáng)角點(diǎn)。

2）利用提取出的特征點(diǎn)做金字塔LK光流計(jì)算，預(yù)測(cè)這些特征點(diǎn)在t+1幀的位置，得到多組相互匹配的特征點(diǎn)對(duì)。

3）計(jì)算仿射變換參數(shù)做背景補(bǔ)償。

4）利用幀差法分割出前景目標(biāo)并做形態(tài)學(xué)濾波等處理，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。

3 實(shí)驗(yàn)分析

在Visual Studio 2013+OpenCV2.4.11的環(huán)境下，將本文方法與SURF圖像配準(zhǔn)結(jié)合幀差法作對(duì)比，實(shí)驗(yàn)結(jié)果對(duì)比如圖2～圖4、表1～表2所示。

表1 兩種算法運(yùn)行時(shí)間比較表Table 1 Comparison of two algorithms'running time （單位： ms）

表2 兩種算法的特征點(diǎn)數(shù)目比較表Table 2 Comparison of the number of feature points in two algorithms （單位： ms）

從圖2和圖4結(jié)果可以看出，本文方法和SURF方法都可以實(shí)現(xiàn)動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)的檢測(cè)。表1列出了用這兩種方法對(duì)3段不同視頻進(jìn)行目標(biāo)檢測(cè)的具體運(yùn)行時(shí)間。對(duì)比幾組數(shù)據(jù)可以發(fā)現(xiàn)，本文方法的運(yùn)行速度比SURF配準(zhǔn)法快很多。SURF配準(zhǔn)法處理過(guò)程比較復(fù)雜，先利用圖像上所有點(diǎn)的Hessian矩陣來(lái)構(gòu)建Gauss金字塔尺度空間，進(jìn)行特征點(diǎn)的選取，再構(gòu)造SURF特征點(diǎn)描述算子，最后對(duì)兩幅圖像進(jìn)行特征點(diǎn)匹配和篩選。以視頻1第96幀、98幀為例，SURF算法的3個(gè)主要步驟的耗時(shí)分別是 156.057ms、227.801ms、558.799ms，僅第一步計(jì)算每個(gè)像素的Hessian矩陣行列式的時(shí)間就超過(guò)了光流算法需要的總時(shí)間。本文算法的實(shí)時(shí)性明顯優(yōu)于SURF方法。

從圖3結(jié)果可以看出，在處理復(fù)雜背景時(shí)，本文方法只間隔一幀處理，就可以得到較好的檢測(cè)效果。觀察圖3（e），SURF方法則存在一些雜點(diǎn)，在間隔4幀處理時(shí)，效果如圖3（f）所示，雜點(diǎn)基本消失。表2列出了兩種方法選取的特征點(diǎn)數(shù)目，可以看出在初步篩選時(shí)，兩種方法都選取了足夠代表全局圖像信息的特征點(diǎn)。經(jīng)過(guò)光流法處理后，仍保留了大部分特征點(diǎn)，因此對(duì)仿射參數(shù)的計(jì)算更加準(zhǔn)確，背景補(bǔ)償效果更好；而SURF法最終只保留了少量特征點(diǎn)，在處理復(fù)雜背景時(shí)可能存在一定的誤差。本文方法在處理復(fù)雜背景時(shí)比SURF方法效果更好。

4 結(jié)論

本文提出了一種基于光流的動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。利用金字塔LK光流法得到多組相互匹配的特征點(diǎn)對(duì)來(lái)計(jì)算仿射參數(shù)，對(duì)圖像做仿射變換來(lái)補(bǔ)償背景的運(yùn)動(dòng)，最后用幀差法得到前景目標(biāo)。將該方法與目前流行的SURF圖像配準(zhǔn)法作對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文方法能夠以較好的實(shí)時(shí)性穩(wěn)定地檢測(cè)和提取動(dòng)背景下的運(yùn)動(dòng)目標(biāo)。

［1］施家棟，王建中.動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤［J］.北京理工大學(xué)學(xué)報(bào)， 2009， 29（10）： 858-860+876.SHI Jia-dong， WANG Jian-zhong. Moving objects detection and tracking in dynamic scene ［J］.Transactions of Beijing Institute of Technology， 2009， 29（10）： 858-860+876.

［2］王梅，屠大維，周許超.SIFT特征匹配和差分相乘融合的運(yùn)動(dòng)目標(biāo)檢測(cè)［J］. 光學(xué)精密工程， 2011， 19（4）：892-899.WANG Mei， TU Da-wei， ZHOU Xu-chao.Moving object detection by combing SIFT and differential multiplication［J］.Optics and Precision Engineering， 2011， 19 （4）：892-899.

［3］于明，孫煒燁，閻剛，等.動(dòng)態(tài)場(chǎng)景下基于精確背景補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測(cè)［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30（10）： 139-141+198.YU Ming， SUN Wei-ye， YAN Gang， et al.Moving objects detection based on exact background compensation in dynamic scene ［J］.Computer Applications and Software，2013， 30（10）： 139-141+198.

［4］葉春明.一種基于全局運(yùn)動(dòng)補(bǔ)償?shù)腍S光流檢測(cè)算法［J］. 光學(xué)與光電技術(shù)， 2015， 13（5）： 87-92.YE Chun-ming.HS optical flow algorithm based on global motion compensation ［J］.Optics ＆ Optoelectronic Technology， 2015， 13（5）： 87-92.

［5］儲(chǔ)珺，施芒，符祥.基于光流的動(dòng)態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)算法［J］.南昌航空大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2011，25（3）： 1-6.CHU Jun， SHI Mang， FU Xiang.Detection of moving target in dynamic background based on optical flow ［J］.Journal of Nanchang Hangkong University（Natural Sciences）， 2011， 25（3）： 1-6.

［6］Lucas B D， Kanade T.An iterative image registration technique with an application to stereo vision ［C］.Proceedings of DARPA Image Understanding WorkShop， 1981：121-130.

［7］Horn B K P， Schunck B G.Determining optical flow ［J］.Artificial Intelligence， 1981， 17（1-3）： 185-203.

［8］Bouguet J Y.Pyramidal implementation of Lucas Kanade feature tracker description of the algorithm ［J］.OpenCV Documentation， 1992， 22（2）： 363-381.

［9］陳添丁，胡鑒，吳滌.稀疏光流快速計(jì)算的動(dòng)態(tài)目標(biāo)檢測(cè)與跟蹤［J］.中國(guó)圖像圖形學(xué)報(bào)， 2013， 18（12）：1593-1600.CHEN Tian-ding， HU Jian， WU Di.Dynamic target detection and tracking based on fast computation using sparse optical flow ［J］.Journal of Image and Graphics， 2013， 18（12）： 1593-1600.

［10］Shi J B， Tomasi C.Good features to track ［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 1994： 593-600.

［11］蘭紅，周偉，齊彥麗.動(dòng)態(tài)背景下的稀疏光流目標(biāo)提取與跟蹤［J］.中 國(guó) 圖 象 圖形學(xué)報(bào)， 2016， 21（6）：771-780.LAN Hong， ZHOU Wei， QI Yan-li.Sparse optical flow target extraction and tracking in dynamic backgrounds［J］.Journal of Image and Graphics， 2016， 21 （6）：771-780.

［12］管焱然，管有慶.基于OpenCV的仿射變換研究與應(yīng)用［J］. 計(jì)算機(jī)技術(shù)與發(fā)展， 2016， 26（12）： 58-63.GUAN Yan-ran，GUAN You-qing.Research and application of affine transformation based on OpenCV ［J］.Computer Technology and Development， 2016， 26（12）：58-63.