陳晨

（蚌埠學院，蚌埠 233030）

基于快速MSR和CamShift的光照變化環(huán)境目標跟蹤

陳晨

（蚌埠學院，蚌埠 233030）

提出一種基于快速MSR的CamShift運動目標跟蹤算法，以提高CamShift在光照條件變化的情況下跟蹤目標的精度。MSR是Retinex顏色恒常性理論的一種經典算法，但由于計算量大，難以應用于實時系統。通過使用一種改進后的MSR算法，提高運算效率。MSR使得圖像在被CamShift處理前能去除光照影響，恢復本質色彩，保證在不同的光照環(huán)境下，CamShift處理的圖像都是色彩恒定的，從而提高整個目標跟蹤系統的魯棒性。

顏色恒常性；Retinex；多尺度Retinex；目標跟蹤；CamShift

0 引言

單一目標跟蹤作為一個功能子集，目前被廣泛應用于許多系統，這些系統包括交通監(jiān)控、人群檢測、機器人導航等。單一目標跟蹤和多目標跟蹤的主要區(qū)別是單一目標跟蹤只需要維護一個跟蹤路徑，而不必像多目標跟蹤那樣需要使用協同方法處理多條路徑，從而得到最終的跟蹤結果。跟蹤路徑維護的性能對于整個系統的準確度和魯棒性有很大的影響。

由Intel公司的Bradski提出的CamShift（Continuously Apative MeanShift）算法[1]被廣泛應用于單一目標跟蹤，它是MeanShift算法的修改，MeanShift針對單張圖片尋找最優(yōu)迭代結果，而CamShift則是對視頻序列中的每一幀圖片迭代地調用MeanShift來尋找最優(yōu)迭代結果。CamShift的主要思想是首先獲得運動目標的顏色概率分布。顏色概率分布本身是一個灰度圖，可以通過顏色直方圖來獲得，然后用這個顏色概率分布來跟蹤目標。顏色直方圖作為一個顏色概率查找表存在，CamShift就是在某個跟蹤范圍內不斷尋找顏色分布符合這個顏色直方圖的區(qū)域，最終通過尋找這個顏色分布區(qū)域完成對運動目標的跟蹤。

目標跟蹤系統工作的實際環(huán)境一般都不是非常理想的，存在很多干擾因素，如跟蹤目標非剛性會發(fā)生形變、目標運動速度快、視頻質量低、天氣和光照的變化等都對系統的魯棒性提出很高要求。不斷變化的環(huán)境必然會增加對被跟蹤目標準確建模的難度，更復雜的建模又會要求更高的處理速度，對于采用協同方法跟蹤目標的算法而言，最難平衡的就是跟蹤的準確度、方法的復雜性和預期的運行速度這三者間的關系。本文主要討論光照變化時如霧天等情況下對單一目標的跟蹤，如果將受光照影響看作圖像顏色失真，則問題轉換為在進行目標跟蹤前對圖像色彩進行恢復，因此本文為保證算法的實時性，采用基于色彩恒常性理論的CamShift算法而非協同方法。

顏色恒常性理論指的是，當物體表面的光照變化的情況時，人們所感受到的物體顏色的穩(wěn)定心理傾向，其中比較著名的有Retinex理論和Gray World理論，Retinex由美國物理學家Land發(fā)現，Land經過二十多年的研究分析，發(fā)現一些現象無法用先前的色彩理論解釋，他發(fā)覺人類的視覺系統對傳入的圖像信息進行了某種處理，僅僅保留了其本質特征，這些特征在經過大腦的繁瑣處理后，在人類的大腦中形成圖像?；谏鲜稣J識，Land提出了Retinex色彩理論。目前使用較多的算法是單尺度Retinex算法（SSR）和多尺度Retinex算法（MSR）[2-5]。兩者均使用中心/環(huán)繞核函數，其中的卷積計算會浪費大量時間，不適用于實時性要求較高的目標跟蹤，本文將使用一種改進的快速MSR算法。

雖然CamShift算法可以工作在HSV色彩空間，使其具有一定的應對光照變化的能力。但是光照依然會對H分量造成影響，后文將說明結合色彩恒常性理論后，跟蹤算法會更加精確。

1 相關理論

顏色恒常性指人的大腦在處理眼睛接收到的圖像時會自動去除光照等環(huán)境影響，恢復物體的原本色彩的穩(wěn)定心理傾向。Retinex的具體實現算法有很多種，但它們的基本思路均是將進入人眼或捕獲設備的圖像分為照射分量和反射分量，Retinex假設照射分量是空間平滑的，物體的本質顏色由反射分量決定，當從捕獲到的圖像中去除照射分量后，就可以恢復物體的原有顏色。在實際應用中，照射分量可能是不同季節(jié)、時間的陽光，大氣中的霧、塵埃等。這些光照影響一般是全局的，可看作是圖像的低頻信息。事實上，實驗已經證明，針對局部光照變化，Retinex也有很好的復原能力。

單尺度Retinex（SSR）是Jobson對中心/環(huán)繞Retinex算法的改進，設圖像公式為所示，它的對數域表示為：

上述公式中i表示圖像中的第i個顏色通道，在RGB空間分別表示R、G、B三個顏色通道，*代表卷積運算，F（x，y）是高斯卷積函數，稱為低通中心/環(huán)繞函數，Ri（x，y）表示輸出結果。

SSR圖像增強算法的卷積核函數，即高斯卷積函數，可以表示為如下形式：

其中，σ表示概率分布的尺度參數。人類視覺敏感于圖像的邊緣細節(jié)信息，這個公式的本質就是利用高斯低通濾波同原圖像的卷積來估計圖像中的低頻信息，用原圖像去除這些低頻信息，就相當于去除圖像的照射分量，保留反射分量，最終恢復圖像的本質顏色。

在SSR中σ是一個重要參數，不同的σ對圖像的處理效果也不同。公式（2）中不同的σ由不同的Gauss濾波器形成，σ與濾波器的鄰域半徑存在正比關系，即鄰域半徑越大σ越大，反之越小。兩者的關系會影響Retinex算法的增強效果。形象地說，鄰域半徑越小，σ越小，動態(tài)壓縮能力越好，能較好的增強圖像內陰影部分的細節(jié)，但處理結果存在嚴重的色彩失真；相反，鄰域半徑越大，σ值較大，圖像的色彩保真結果越好，但處理結果銳化現象明顯，動態(tài)壓縮能力減弱。因此選擇合適的尺度參數是，才能得到理想的SSR處理結果。

眾多實驗表明合并單尺度Retinex算法的高中低尺度能夠取得較好的圖像增強效果，將SSR方法的三個尺度進行加權平均得到多尺度Retinex算法，其公式為：

（x，y）表示圖像中像素點坐標，*是卷積運算，N是尺度個數。N=1，表示圖像是灰度圖像；N=3，表示圖像是彩色圖像，i∈r，g，b。Wn是高斯函數標準差的權重因子，通常假設各權重因子是相等的，因此N=3，而Wn取值為1/3。上式中的卷積核函數同SSR中的相同。圖像經過MSR處理后，R、G、B分量與原圖像中三色分量形成了必然的差異，從而導致處理后的圖像色彩失真，為了得到較好的處理效果，在MSR算法的基礎上提出了MSRCR（多尺度彩色復原算法）。

CamShift的基本思路則是首先得到初始化跟蹤窗口的顏色直方圖，將待跟蹤目標的顏色信息作為特征；然后在一個比當前搜索窗口稍大的區(qū)域查詢先前得到的顏色直方圖，以確定區(qū)域中像素是否屬于運動目標，從而將區(qū)域圖像轉換為運動目標的顏色概率分布，利用此顏色概率分布的零階矩和一階矩獲取運動目標的質心；接著設定新的搜索窗口，將搜索窗口的中心移動到顏色分布概率最大的質心，調整窗口大小和位置，直至窗口移動距離收斂。重復此過程就可以實現對運動目標的連續(xù)跟蹤，換句話說，CamShift就是迭代地根據上一幀得到的搜索窗口的中心位置和窗口大小自適應地設置搜尋窗口的初始值，從而將顏色信息處理后投影到下一幀圖像，在此運動目標圖像的基礎上分析計算出當前圖像中目標的質心位置，定位出運動目標。

2 算法

MSR算法中最耗費時間的就是卷積操作，中心/環(huán)繞函數或者說高斯函數的本質就是某個點距中心越近，則它對中心施加的影響越大?？臻g域的卷積操作可以轉換為頻域的乘法。這種轉換有兩個前提，一是圖像和模板必須在同一大小，二是圖像的大小必須是2的冪，這樣的要求會帶來邊緣延伸和擴展的計算，增加計算了，影響算法效率。因此本文不將其轉換到頻域，而是在空間域對MSR算法進行優(yōu)化。

前文提到，中心環(huán)繞函數可看作空間域的低通濾波模板。實驗表明，當中心環(huán)繞函數的參數和模板取某些特定值時，高斯模板中的數值都近似相等。如當選定模板的大小是129×129，σ=200，則高斯模板如（4）。

為了得到需要的卷積結果，這個模板中的每個像素點都需要進行16641次浮點乘法運算和16641次加法運算。在常規(guī)的VGA分辨率上，這意味著每一幀都要進行109的數量級的浮點乘法運算。高分辨率的圖像需要耗費更多的計算資源。這樣數量級的運算是很難將其運用于實時系統中的，這也正是傳統Retinex算法的缺陷。然而，觀察后發(fā)現，高斯模板中的值之間的差異很小，均接近0.6072×10-4，更進一步，接近1/217。所以可用均值模板代替高斯模板，并將乘法運算簡化為移位運算。Wen Wang等在[6]中提出了基于這一思想的快速MSR算法。

實驗證明，當模板的尺寸和高斯函數的σ參數具有某些特定值的時候，高斯模板的處理結果非常接近于均值模板，于是，我們可以用高斯模板轉換來得到均值模板。經過比較和實驗，我們使用下面3種尺度的模板和σ參數的高斯函數：

小尺度模板，高斯模板大小是33×33，σ=30，高斯模板轉換為9.1×10-4的均值模板；

中尺度模板，高斯模板大小是65×65，σ=90，高斯模板轉換為0.2373×10-4的均值模板，右移12位；

大尺度模板，高斯模板大小是129×129，σ=200，高斯模板轉換為0.6072×10-4次方的均值模板，右移14位。

經過如上的轉換后，很多計算過程的中間結果都可以被重復使用，如圖2，模板每次移動一行或一列時，由于模板中像素點值相同，則兩次模板移動所覆蓋相同區(qū)域的中間結果可以建立查找表來保存，避免重復計算。

由此，原始MSR算法每個像素的要進行的16641次浮點運算和16641次加法運算被簡化為16641次加法運算和1次移位操作，計算量大大減少，計算效率提高。

當圖像中的每一幀經過上述快速MSR算法處理后，物體恢復了本質色彩。將圖像由RGB空間轉換到HSV空間后，對其應用CamShift算法。這就是整個基于快速MSR的CamShift算法中的基本思想。

具體算法流程圖如圖1。

圖1 算法流程圖

3 實驗

實驗前，我們首先需要確定的一個問題是如何評價跟蹤物體算法的優(yōu)劣。這里，我們引入由Katuri提出的MOTP評分[7]，一種用于判斷多目標跟蹤精度的評分。

CamShift算法在跟蹤目標時候，目標的外圍有一個跟蹤窗口，評分系統對一段時間內的數幀圖像進行處理，通過分析跟蹤目標的跟蹤窗口或者邊界框的大小來獲得得分。令NG是真實目標的數量，NM是跟蹤到目標的數量，NF是這段時間內幀的總數量。D是邊界框，G是真實目標，則MOTP可表示為：

得分的取值范圍是[0，1]，1表示最好的得分，0則表示跟蹤窗口和真實的目標間完全沒有重疊區(qū)域，說明此時跟蹤系統已經丟失目標。

實驗使用三段視頻，三段視頻均跟蹤一個黃色物體，區(qū)別是跟蹤過程中光照的變化。視頻1全程光照條件不變。視頻2在過程中關閉室內燈光，模擬全局的光照變化。視頻3將小球從明處移動到暗處。分別使用原始CamShift算法和基于快速MSR的CamShift算法進行跟蹤。三次實驗視頻截圖如圖2，第一行為原始算法，第二行為改進后算法。

圖2 跟蹤視頻截圖

可以觀察到在第一種光照無變化的情況下，跟蹤窗口在兩種算法中幾乎沒有區(qū)別。在第二種跟蹤過程中關閉室內燈光的情況下，改進后算法的跟蹤窗口能更好的覆蓋整個物體。在第三種跟蹤物體從明處進入暗處的時候，原始算法的跟蹤窗口發(fā)生了形變，縮小到物體的明亮處，而改進后算法的跟蹤窗口依然更好地覆蓋了整個物體。三次跟蹤的MOTP得分如表1。

?

對于視頻1，原始CamShift算法MOTP得分0.1832，改進后算法得分0.1894。對于視頻2，原始CamShift算法MOTP得分0.1768，改進后算法得分0.2023。對于視頻3，原始CamShift算法得分0.1983，改進后算法得分0.2133?？梢?，若光照無明顯變化，改進后算法沒有表現出較好性能。但無論在全局光照變化還是局部光照變化的情況下，相對于原始CamShift，基于快速MSR的改進后CamShift算法均表現出了在跟蹤精度上的提高。

4 結語

本文針對光照變化條件下的目標跟蹤，提出了一種基于快速MSR的CamShift運動目標跟蹤算法，以提高CamShift在此情況下跟蹤目標的精度。雖然在算法設計階段，本文只考慮了全局光照變化條件下，實驗卻表明這種算法對于局部光照變化也有一定的提高。所以可以得出結論，無論在全局光照變化還是局部光照變化的情況下，相對于原始CamShift，基于快速MSR的改進后CamShift算法均表現出了在跟蹤精度上的提高。

需要注意的是，在光照無變化的情況下，快速MSR處理后的圖像出現了一定程度的顏色失真問題。雖然初始化窗口是在失真圖像上設定，所以對跟蹤精度并無影響，但這會嚴重影響人的觀感。如何避免顏色失真問題并使其能應用于實時系統，是后續(xù)研究需要考慮的問題。

[1]G，R，Bradski.Computer Vision Face Tracking for Use in a Perceptual User Interface[J].Intel Technology Journal，1998（2）：705-720.

[2]趙艷飛，高清維，盧一相.基于多尺度Retinex算法的遙感圖像增強[J].計算機技術與發(fā)展，2008（02）:70-73.

[3]Kasson JM，PlouffeW.An Analysis of Selected Computer Interchange Color Space[J].Association for Computing Machinery Transactions on Graphics，1992，11（2）:33-34.

[4]Land，E.H.An Alternative Technique for the Computation for the Designator in the Retinex Theory of Color Vision[J].National Academy of Science，1986（83）：3078-3080.

[5]D.J.Jobson，Z.Rahman，G.A.Woodell.Properties and Performance of a Center/Surround Retinex[J].IEEE Transaction on Image Processing，Mar.1997，6（3）：451-462，.

[6]WangW，Li B，Zheng J，etal.A FastMulti-Scale Retinex Algorithm for Color Image Enhancement[C].Wavelet Analysis and Pattern Recognition，2008.ICWAPR'08.International Conference on.IEEE，2008，1:80-85.

[7]R，Kasturi，D.Goldgof，P，Soundararaj an，V.Manohar，and M.B.V.Korzhova.Performance Evaluation Protocol for Face，Person and Vehicle Detection&Tracking in Video Analysis and Content Extraction（Vace-ii），tech.rep[C].Computer Science and Engineering，University of South Florida，January 2006.

FastMSR and Cam Shift Based Target Tracking in Lum inance Changed Conditions

CHEN Chen

（Bengbu University，Bengbu 233030）

Presets a fast MSR based CamShiftmoving target tracking algorithm,which is to improve the precision of track target in luminance changed conditions.MSR is a classic algorithm of the Retinex theory of color constancy,but because of the heavy calculation,it is difficult to apply to real-time systems.Uses a developed MSR to improve computation efficiency.MSRmakes image which is processed before CamShift can be removed luminance influence,restoring nature color.This ensures that CamShift processing image which is color constant in different lum inance environments,thereby enhances the robustness of whole target tracking system.

陳晨（1988-），女，安徽蚌埠人，助教，研究方向為數字圖像處理、模式識別

2017-03-21

2017-05-04

蚌埠學院院級科研項目（No.2015ZR07）、蚌埠學院工程中心研究項目（No.BBXYGC2014B04）

1007-1423（2017）14-0069-05

10.3969/j.issn.1007-1423.2017.14.014

Color Constancy;Retinex;MSR;Target Tracking;CamShift