何燕

摘要：光流法把圖像的研究提升到運動層面，在靜態(tài)圖像序列的基礎(chǔ)上加入時間域的維度，通過圖像序列中相鄰幀圖像的相對運動計算出圖像像素的瞬時速度。相對于傳統(tǒng)的基于圖像特征的方法而言，光流法能夠更自然地表達(dá)物體的運動信息。圖像序列光流的計算具有極其重要的意義。文章描述了光流的概念，經(jīng)典光流HS算法，LK算法，光流算法評價標(biāo)準(zhǔn)，光流計算中存在的精確性、魯棒性問題，以及光流計算的發(fā)展方向。

關(guān)鍵詞：光流 ； HS ； LK ；評價指標(biāo)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2019）04-0173-03

1光流計算的概念及意義

物體和觀察者的相對運動產(chǎn)生了光流。物體在運動時，它在圖像上對應(yīng)點的亮度模式也在運動，光流即是時變圖像中模式運動速度[1，2]。光流可以直觀地理解為三維空間中的物體的運動映射到圖像上像素的瞬時速度。圖像序列光流計算就是利用圖像序列中像素強度信息在時間上的變化以及它們之間存在的可能關(guān)系來確定各個像素位置的運動情況[3]。光流不僅包括了物體運動的信息還能描述有關(guān)景物的結(jié)構(gòu)信息，對光流的研究是計算機(jī)視覺運動分析的重要方法。

光流是一種高層次的視覺表述[4]，光流場攜帶了有關(guān)物體運動和三維結(jié)構(gòu)的豐富信息，可以用于運動目標(biāo)檢測、恢復(fù)目標(biāo)的運動與結(jié)構(gòu)信息、目標(biāo)分割以及運動補償編碼等，因此對光流場的研究一直被視為是解決視覺運動分析的有效途徑之一。光流法已經(jīng)成為對視頻圖像序列中物體運動估計的主要技術(shù)?？捎糜谔摂M現(xiàn)實、智能監(jiān)控、人機(jī)交互、視頻檢索、醫(yī)療診斷[5]，無人駕駛，機(jī)器人導(dǎo)航，機(jī)器臂分揀，醫(yī)學(xué)輔助診斷等。但由于其一些理論基礎(chǔ)不完備，在實際計算中仍存在很多問題，使得其廣泛的應(yīng)用推廣受到一定阻礙。國內(nèi)外的學(xué)者針對這些問題提出了大量的改進(jìn)方法和策略。

2經(jīng)典光流算法

2.1光流計算的約束方程

由于光流是對圖像表面亮度模式運動的反應(yīng)，因此大多數(shù)光流計算技術(shù)都是基BCM（亮度常數(shù)模型）的，即通過找到圖像中亮度不變模式的對應(yīng)關(guān)系來確定運動位移[6]。在滿足對應(yīng)像素點在相鄰幀之間的灰度值不變，相鄰幀之間物體的運動比較微小的條件下可以建立等式：

最終可得到光流的約束方程：

上面的分析中可以看出約束方程求解光流是個不適定問題，即一個方程兩個未知量，這樣無法求出唯一解，也叫作光流計算的孔徑問題。解決光流計算的孔徑問題，目前主要有兩種方法：正則化法（全局方法）和局部鄰域法。正則化法是將光流的求解過程轉(zhuǎn)變?yōu)槿帜芰糠汉淖钚』^程[7]。

2.2 光流算法分類

人們基于不同的理論基礎(chǔ)提出了各種的光流計算方法，按照理論和數(shù)學(xué)的不同，將光流分為基于梯度的方法，基于匹配的方法，基于能量的方法等，基于相位等方法[8]。

基于梯度的方法又稱為微分法，利用時空梯度函數(shù)，使得全局能量泛函達(dá)到最小化來計算像素的速度矢量。常用的代表有Horn和Schunck全局平滑法[12]、Lucas和Kanade局部平滑法[9]、以及Nagel的有向平滑法[14]。Horn和Schunck光流法是在光流基本約束方程的基礎(chǔ)上附加了全局平滑假設(shè)，使得泛函能量函數(shù)達(dá)到最小化。Lucas和Kanade使用局部平滑假設(shè)，假設(shè)一個窗口內(nèi)的所有像素具有相同的運動矢量。Nagel采用有向平滑約束假設(shè)，使用加權(quán)Hessian矩陣對梯度進(jìn)行不同方向上的平滑處理。微分法假設(shè)光流是連續(xù)的，再附加一定的約束條件，將光流的計算問題轉(zhuǎn)化成最小化泛函能量的數(shù)學(xué)極值問題[9]。

塊匹配法就是區(qū)域匹配，塊匹配光流計算就是計算相鄰兩幀圖像，相應(yīng)區(qū)域塊之間產(chǎn)生的最佳擬合位移[11]。假設(shè)有相鄰幀圖像1和圖像2，對于圖像1中的每個像素點 ，以此像素為中心建立一個大小為16×16的相關(guān)窗口，再圍繞圖像中對應(yīng)點 ，建立一個圖像搜索窗。相似性度量一般常用像素差平方和（SSD）、平均絕對誤差（MAD）以及均方差誤差函數(shù)（MSE）來進(jìn)行。最后通過搜索算法來確定使得誤差函數(shù)達(dá)最小值的位移即可求出近似的光流值[8][9]。

使用基于能量的方法來計算光流是利用調(diào)諧濾波器的輸出能量達(dá)到最大來計算光流，調(diào)諧濾波器是在頻域中進(jìn)行設(shè)計的，因而基于能量的方法也叫作基于頻率的方法 。

在計算光流的時候圖像上的相位信息往往比亮度信息更加可靠。所以利用相位信息獲得的光流場更加具有魯棒性。

2.3 HS光流算法

由于相關(guān)數(shù)學(xué)理論的成熟，使得基于微分的光流計算方法得到了迅速的發(fā)展。

Horn-Schunck通過添加平滑約束項構(gòu)造能量函數(shù)的基本思想來求解光流[12]。轉(zhuǎn)化為相關(guān)問題的能量泛函的極限值的求解問題。假設(shè)圖像具有連續(xù)性、平滑性的性質(zhì)，這就要求光流本身盡可能平滑，即

2.4 Lk 光流算法

LK光流算法不同于HS算法，LK假設(shè)在一個小的鄰域范圍內(nèi)，光流矢量保持不變，即在這個空間范圍內(nèi)所有的像素點都能夠采用光流的BCM來求解。最終采用最小二乘法來進(jìn)行擬合，計算出相鄰幀圖像光流的近似解[13]。

在一個小的空間領(lǐng)域Ω上，鄰域像素?fù)碛胁煌臋?quán)值大小，定義光流估計誤差為：

2.5 Weickert 算法

Weickert算法是一種基于變分的光流算法，數(shù)據(jù)項模型中采用灰度守恒假設(shè)與梯度守恒假設(shè)相結(jié)合[15]，提高了灰度守恒不適用的場合下的精度。算法中平滑項同樣引入非平方懲罰函數(shù)，結(jié)合數(shù)據(jù)項可以得到該變分算法的能量模型。在多分辨率分層計算過程中，Weickert 對傳統(tǒng)的多分辨率技術(shù)進(jìn)行改進(jìn)，引入一種變形理論（warping theory），提高了算法的精度。變形理論的主要思想是假設(shè)在金字塔第k 層有相鄰兩幀圖像k1和k2，其中圖像 k1 按照一定的采樣因子進(jìn)行分層，而圖像 k2利用上一層的初值進(jìn)行運動補償。

3光流的評價指標(biāo)

光流計算的評價指標(biāo)可以采用Barron使用的平均角誤差（AAE）和標(biāo)準(zhǔn)角誤差（STD）[14]以及EPE（平均端點誤差）其中，AAE的計算公式為：

EPE是一種對光流預(yù)測錯誤率的一種評估方式，描述了所有像素點的標(biāo)準(zhǔn)光流場和預(yù)測出來的光流之間差別距離（歐氏距離）的平均值：

4光流計算存在的問題

從光流計算提出至今，涌現(xiàn)出許多優(yōu)秀的算法和理論，使得光流計算在實時性和魯棒性上面都得到了很大的改善，但是現(xiàn)階段的光流計算還處于攻堅克難的階段，光流的計算還存在著諸如精確度，可靠性，實時性，從實際問題類型來看又可以分為：圖像大位移光流計算問題、邊界遮擋情況光流計算、多目標(biāo)和復(fù)雜背景光流計算等情況。這些問題的解決也是光流估計研究的主要方向，若能切實地解決好這些問題定能夠推進(jìn)光流計算技術(shù)的快速發(fā)展，也能夠用其來解決更多的實際問題。

5小結(jié)

本文從圖像序列光流的概念 出發(fā)，介紹了幾種經(jīng)典的光流計算方法，給出了兩種主要的光流計算評價指標(biāo)，指明了現(xiàn)階段光流計算中存在的一些問題，為光流研究整理出了清晰的思路。

參考文獻(xiàn)：

[1] Gibson J J， The Perception of the Visual World （Riverside Press， Cambridge， 1950）.

[2] Gibson J J， The Senses Considered as Perceptual Systems （Houghton-Mifflin， Boston，MA.1966.

[3] 陳震.圖像序列光流計算技術(shù)及其應(yīng)用[M].北京：電子工業(yè)出版社，2012.

[4] 劉建. 圖像序列光流算法的研究[D]. 長沙理工大學(xué)， 2014.

[5] 王弘毅. 基于計算機(jī)視覺的人體運動分析[D]. 北京交通大學(xué)， 2014.

[6] 盧宗慶. 運動圖像分析中的光流計算方法研究[D]. 西安電子科技大學(xué)， 2007.

[7] 陳震， 張聰炫. 基于圖像局部結(jié)構(gòu)的區(qū)域匹配變分光流算法[J]. 電子學(xué)報， 2015.

[8] 張起貴， 張妮. 一種改進(jìn)的基于全局最小能量泛函光流算法[J].中北大學(xué)學(xué)報， 2014（3）：330-336.

[9] 余聰. 基于塊匹配的光流計算方法研究[D]. 南昌航空大學(xué)， 2014.

[10] 張佳威， 支瑞峰. 光流算法比較分析研究[J]. 現(xiàn)代電子技術(shù)， 2013（13）：39-42.

[11] Horn B K P， Schunck B G. Determining optical flow[J]. Artificial Intelligence， 1981.

[12] Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision[C]// International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1981.

[13] Nagel H H. On the Estimation of Optical Flow： Relations between Different Approaches and Some New Results.[J]. Artificial Intelligence， 1987.

[14] Bruhn A， Weickert J， Schn?rr C. Lucas/Kanade Meets Horn/Schunck： Combining Local and Global Optic Flow Methods[J]. International Journal of Computer Vision， 2005.

[15] Brox T， Malik J. Large Displacement Optical Flow： Descriptor Matching in Variational Motion Estimation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011.

[16] Barron J L， Fleet D J， Beauchemin S S. Performance of optical flow techniques[C]// Computer Vision and Pattern Recognition， 1992. Proceedings CVPR '92. 1992 IEEE Computer Society Conference on. IEEE， 2002.

[17] 劉國鋒， 諸昌鈐. 光流的計算技術(shù)[J]. 西南交通大學(xué)學(xué)報， 1997（6）.

[18] Vesdapunt N， Sinha U. Comparison of Optimization Methods in Optical Flow Estimation[J]. 2016.

[19] 周建鋒. 基于光流的運動目標(biāo)檢測方法研究[D]. 哈爾濱工業(yè)大學(xué)， 2009.

【通聯(lián)編輯：梁書】