任瑩

摘要：像素的3D結(jié)構(gòu)張量能夠很好的表達(dá)視頻幀序列之間的局部運(yùn)動(dòng)模型，因此，稠密光流的估計(jì)可以使用3D結(jié)構(gòu)張量。根據(jù)光流的亮度恒定假設(shè)，光流估計(jì)問題可以轉(zhuǎn)化為計(jì)算結(jié)構(gòu)張量的特征向量，而不是復(fù)雜的線性系統(tǒng)計(jì)算。在一個(gè)有著多運(yùn)動(dòng)模型的場(chǎng)景中，有多個(gè)全局3D結(jié)構(gòu)張量模型，每個(gè)模型對(duì)應(yīng)為一個(gè)高斯分布，模型是在線更新的。為了提高效果，需要進(jìn)行由粗到細(xì)的迭代過程。實(shí)驗(yàn)顯示3D結(jié)構(gòu)張量能夠良好的表達(dá)運(yùn)動(dòng)模型。

關(guān)鍵詞： 光流； 張量； 視頻處理

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）06-1321-03

Implementation of Dense Flow Based on the 3D Structure Tensor Model

REN Ying

（School of Computer Science a nd Engineering， Wuhan Institute of Technology， Wuhan 430074，China）

Abstract： Since the 3D structure tensor at each pixel can interpret the local between frames well，this chapter uses the 3D structure tensor to estimate dense flow.According to the assumptions of brightness constancy，the optical flow estimation can be converted to the calculation the eigenvector of the structure tensor，rather than the complex calculation of linear system.In scenes with multiple global motion patterns，there are multiple global 3D structure tensor models，each corresponding to a Gaussian distribution.The models are updated online.Iterative coarse-to-fine refinement is needed to improve the performance.

Key words：optical flow； tensor； video processing

對(duì)光流的研究主要包括稠密光流和稀疏光流，該文研究的是稠密光流算法?，F(xiàn)在大多數(shù)的光流算法保留Horn and Schunck（HS）[1]的原始假設(shè)。很長一段時(shí)間，研究者們面臨的挑戰(zhàn)是提高光流的效率和準(zhǔn)確性，該文也旨在克服兩大難題。

很多稠密光流估計(jì)算法基于Horn的最初的想法，逐點(diǎn)計(jì)算光流矢量值。在文獻(xiàn)[2]中，T.Box基于光流恒定假設(shè)提出一種由粗到細(xì)的改進(jìn)策略[3]。在文獻(xiàn)[4]中，A.Bruhn提出一種將局部方法（Lucas–Kanade光流算法）和全局方法（Horn and Schunck的光流算法）。在[5]中，H.Liu提出通過運(yùn)動(dòng)模型方程的仿射變換來證明計(jì)算特征向量可以用于光流估計(jì)。

逐點(diǎn)計(jì)算光流矢量是耗時(shí)而乏味的。有些早期的研究者提出使用3D結(jié)構(gòu)張量作為運(yùn)動(dòng)模型。在文獻(xiàn)[6]中，Pless提出一種將運(yùn)動(dòng)模型劃分到多個(gè)光流域的在線實(shí)時(shí)算法，該算法可以高效的表現(xiàn)各局部運(yùn)動(dòng)模型的全局模式。很多研究者對(duì)傳統(tǒng)光流算法進(jìn)行明顯的改進(jìn)。對(duì)問題改進(jìn)的很好的方式是汲取各前人算法的優(yōu)點(diǎn)。

1 光流估計(jì)

結(jié)構(gòu)張量已經(jīng)廣泛的應(yīng)用于圖像處理領(lǐng)域，例如光流估計(jì)和圖像分割。通過計(jì)算幀之間的時(shí)空梯度得到結(jié)構(gòu)張量。

1.1 全局混合運(yùn)動(dòng)模型

我們使用[?I=（?Ix，?Iy，?It）T]來表達(dá)時(shí)空梯度，分別對(duì)應(yīng)x，y，t方向的梯度。像素的結(jié)構(gòu)張量[∑]定義如下：

[∑] = [?I?IT] （1）

運(yùn)動(dòng)通常發(fā)生在當(dāng)[?It]>0的位置。為了降低噪聲的影響，我們使用高斯平滑對(duì)圖像進(jìn)行降噪。

[∑]表現(xiàn)了一個(gè)高斯分布[Ν]（0，[∑]）[1]。類似之前通常的做法[2]，，我們可以使用馬氏距離來檢測(cè)異常測(cè)量，根據(jù)設(shè)定好的閾值Tb[2]來比較。

dist=[?IT∑][?I] （2）

如果新的測(cè)量值和高斯分布之間的馬氏距離大于Tb，我們更新對(duì)應(yīng)的高斯分布。

[i，t=（1-β）i，t-1+β?I?IT] （3）

[β=αP（Νi|?I），α∈[0，1]]，其中[P（Νi|?I）]表示似然估計(jì)，[α]是預(yù)先設(shè)定好的高斯分布更新率。

高斯分布的權(quán)值的更新：

[ωi，t=（1-βi）ωi，t-1+βi] （4）

如果新的測(cè)量值和高斯分布之間的馬氏距離小于Tb，創(chuàng)建一個(gè)新的高斯分布，給它一個(gè)初始化的權(quán)值。

1.2結(jié)構(gòu)張量與光流估計(jì)之間的關(guān)系

根據(jù)光流恒定假設(shè)：

[I（x，y，t）=I（x+u，y+v，t+1）] （5）

將方程（5）通過泰勒展開式線性化，變換為：

[I（x，y，t）=I（x，y，t）+u?I?x+v?I?y+1?I?t] （6）

從方程（6），我們可以得到光流的約束方程：

[uIx+vIy+It=0] （7）

其中，[Ix=?I?x]，[Iy=?I?y]，[It=?I?t]

該方程也可以寫成[?ITuv1=0]。光流向量[（u，v，1）T]必須垂直于[?IT]。將等式兩邊乘上[?I]，該等式可以變?yōu)椋?/p>

[?I?ITuv1=0] （8）

設(shè)想一下，如果結(jié)構(gòu)張量[?I?IT]（必須為對(duì)稱矩陣）的最小特征值趨近于0，與該特征值對(duì)應(yīng)的特征向量可以被認(rèn)為該方程的解。但是一個(gè)特征值可能對(duì)應(yīng)不同的特征向量，也就是說，該解是不確定解。因此，可以表示該解的可信度為：

[conf=1-λ1λ2] （9）

此處，[fabs（λ1）≤fabs（λ2）≤fabs（λ3）]?？尚哦仍酱?，解越準(zhǔn)確。如果[λ1<<λ2]，conf趨近于1。這種情況下，我們可以通過估計(jì)特征向量來估計(jì)3D光流。

1.3由粗到細(xì)改進(jìn)過程

基于文獻(xiàn)[5]的思想，由粗到細(xì)迭代過程通過可信度收斂。但是我們的由粗到細(xì)過程與H.Liu的有點(diǎn)不同。文獻(xiàn)[5]中的思想來源于通常的想法，即適當(dāng)?shù)钠交瑘D像可以提高光流估計(jì)的效果。因此，H.Liu的迭代過程是使用更大的高斯平滑濾波器對(duì)圖像進(jìn)行平滑。

我們的由粗到細(xì)迭代過程是將相鄰的像素考慮其中。如果像素的可信度低于一個(gè)閾值，就將其進(jìn)行下一次迭代，計(jì)算更大矩形區(qū)域的結(jié)構(gòu)張量，[?Imean]表示矩形區(qū)域內(nèi)的所有像素的[?I]的均值。

圖1 [?Imean]表示矩形區(qū)域內(nèi)的所有像素的[?I]的均值

2 實(shí)驗(yàn)

由于開始的時(shí)候需要建立運(yùn)動(dòng)模型，為保證所建模型的準(zhǔn)確性，計(jì)算量也許不會(huì)小于單純的逐點(diǎn)解方程。隨后，我們的運(yùn)動(dòng)模型逐漸趨于穩(wěn)定，解方程逐漸由模型匹配取代。我們的c++程序在2.1 GHz Intel i3 PC上運(yùn)行流暢。

首先，我們對(duì)一組來自http：//vision.middlebury.edu/flow/的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

（a）本文效果 （b） Pyramid LK的效果 （c）simple flow的效果

圖2 eight-frame Basketball.

表1 插值和歸一化插值誤差比較（SD）.

實(shí)驗(yàn)顯示，我們的算法在保證效果的情況下，不需要逐點(diǎn)計(jì)算方程，也不需要建立高斯金字塔。開始，未建立模型，建模過程也許會(huì)耗時(shí)。初始的模型也許還不穩(wěn)定，會(huì)出現(xiàn)一些錯(cuò)誤的匹配模型，因此，開始幾幀效果不太理想。運(yùn)行幾幀后，建模過程趨于穩(wěn)定，運(yùn)行速度也區(qū)域穩(wěn)定。既然本文的算法中沒有建立高斯金字塔，也沒有插值過程，該算法的時(shí)間和空間復(fù)雜度與一些傳統(tǒng)的算法相比起來會(huì)低許多。

3 結(jié)論

實(shí)驗(yàn)顯示3D結(jié)構(gòu)張量能夠良好的表達(dá)運(yùn)動(dòng)模型。在實(shí)際中，運(yùn)動(dòng)模型在一段時(shí)間（連續(xù)幾幀）內(nèi)是相對(duì)穩(wěn)定的，建立3D結(jié)構(gòu)張量模型進(jìn)行光流估計(jì)較解決線性方程進(jìn)行光流估計(jì)更穩(wěn)定，并且效率更高。該算法也能有效地運(yùn)用在運(yùn)動(dòng)序列分析應(yīng)用中，例如行為識(shí)別和運(yùn)動(dòng)目標(biāo)匹配。

參考文獻(xiàn)：

[1] Horn B， Schunck B. Determining optical flow. Artificial Intelligence， 1981，8，16：185-203.

[2] Black M J，Anandan P. The robust estimation of multiple motions： parametric and piecewise smooth flow fields. Computer Vision and Image Understanding，1996，63（1）：75-104.

[3] Memin E， Perez P. A multigrid approach for hierarchical motion estimation. In Proc.Sixth International Conference on Computer Vision， Bombay， India，1998：933-938.

[4] Bruhn A， Weickert J， Schn C. Lucas/Kanade meets Horn/Schunk： combining local and global optical flow methods. International Journal of Computer Vision （IJCV）， 2005，61（3）：211-231.

[5] Haiying Liu； Chellappa R.Rosenfeld， A. "Accurate dense optical flow estimation using adaptive structure tensors and a parametric model"， IEEE Trans，2003（10）：1170-1180.

[6] Wright J， Pless R. Analysis of Persistent Motion Patterns Using the 3D Structure Tensor.In IEEE Workshop on Motion and Video Computing，2005：14-19.