王 松，汪增福

(中國(guó)科學(xué)院 合肥智能機(jī)械研究所，合肥 230031)(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，合肥 230026)

1 引 言

光流場(chǎng)估計(jì)在計(jì)算機(jī)視覺領(lǐng)域具有重要的地位，它在物體跟蹤[1]、圖像配準(zhǔn)[2]以及運(yùn)動(dòng)檢測(cè)[3]等方面具有廣泛的應(yīng)用.按所使用方法的原理進(jìn)行劃分，最常見的兩種算法是微分法和匹配法[4].

微分法是基于顏色一致性和全局平滑性等假設(shè)，通過(guò)構(gòu)建合適的能量函數(shù)來(lái)實(shí)現(xiàn)光流場(chǎng)估計(jì)的算法.直接使用微分法的缺陷是其不能處理大位移的光流場(chǎng)估計(jì)問題.為此，Lucas和Kanade于1981年提出了一種經(jīng)典的由粗到精的形變補(bǔ)償光流場(chǎng)估計(jì)框架(coarse-to-fine warping scheme)[5],開啟了光流場(chǎng)估計(jì)研究的熱潮.其后三十多年間涌現(xiàn)了大批相關(guān)的研究工作.例如，Wedel A等人[6]使用ROF模型對(duì)輸入圖像進(jìn)行結(jié)構(gòu)-紋理分解以抑制或消除陰影、反光等因素對(duì)光流場(chǎng)估計(jì)的不良影響；Aubert G等人[7]對(duì)所使用能量函數(shù)的數(shù)據(jù)項(xiàng)進(jìn)行了改進(jìn)，由單純使用顏色信息，過(guò)渡到使用顏色的梯度信息、二階梯度信息和梯度模信息等，顯著提升了所引入數(shù)據(jù)項(xiàng)的有效性；Monzón N等人[8]則對(duì)能量函數(shù)的平滑項(xiàng)進(jìn)行了改進(jìn)，他們通過(guò)在圖像邊緣處引入非連續(xù)性平滑約束以抑制光流計(jì)算中的過(guò)平滑現(xiàn)象.

匹配法是將光流場(chǎng)估計(jì)問題轉(zhuǎn)化為特征匹配問題進(jìn)行求解，利用特征匹配計(jì)算獲得光流場(chǎng)的估計(jì).考慮到算法的計(jì)算效率和魯棒性等因素，其通常不會(huì)逐點(diǎn)進(jìn)行匹配計(jì)算，取而代之的是或者以小圖像塊為單位完成匹配計(jì)算[9]或者利用下采樣技術(shù)對(duì)低空間分辨率的圖像進(jìn)行匹配計(jì)算[10]，由此獲得的光流計(jì)算結(jié)果是相對(duì)比較粗糙的，或者精度上有欠缺，或者空間分辨率不夠.為了克服上述方法存在的缺陷，有人提出了基于圖像鄰域信息的匹配傳播算法[11,12].這一類方法雖然能在一定程度上提升光流算法的性能，但其結(jié)果的好壞嚴(yán)重依賴于對(duì)初始光流的計(jì)算.近年來(lái)，基于深度學(xué)習(xí)的算法也得到廣泛的研究，形成了以下三類光流算法：端到端的算法[13,14]、基于匹配網(wǎng)絡(luò)的算法[15]、基于多源信息融合的算法[16,17].

上述算法大多通過(guò)提升數(shù)據(jù)項(xiàng)和平滑項(xiàng)的魯棒性來(lái)抑制遮擋的影響.基于數(shù)據(jù)統(tǒng)計(jì)先驗(yàn)，Lorentzian懲罰項(xiàng)[18]、L1懲罰項(xiàng)[19]和Charbonnier懲罰項(xiàng)[20]先后被提出.平滑項(xiàng)有助于擴(kuò)散光流場(chǎng)，推理遮擋區(qū)域的光流，但也會(huì)導(dǎo)致光流結(jié)果中的過(guò)平滑現(xiàn)象.為此，Weickert等人[21]提出的各項(xiàng)異性正則化策略保留了光流場(chǎng)的不連續(xù)性.另外，Kennedy等人[22]提出一種基于三角剖分的幾何模型，利用區(qū)域聯(lián)合信息進(jìn)行遮擋推理.Xu等人[23]通過(guò)優(yōu)化一個(gè)平方偽布爾函數(shù)(QPBO)將遮擋和被遮擋像素進(jìn)行聯(lián)合優(yōu)化.雙邊濾波[24]，光流散度[25]及雙向光流一致性檢查[26]等也被用于遮擋判斷，此外還有基于三維場(chǎng)景重建及多幀信息等遮擋處理算法[27].

理論上遮擋區(qū)域的光流是沒有意義的，但在現(xiàn)實(shí)應(yīng)用中對(duì)大多數(shù)場(chǎng)景又需要有一個(gè)稠密的光流結(jié)果.光流場(chǎng)估計(jì)的一個(gè)基本假設(shè)是運(yùn)動(dòng)前后的特征一致性，而遮擋現(xiàn)象完全破壞了此約束，將原本一一對(duì)應(yīng)的運(yùn)動(dòng)關(guān)系變成了一對(duì)多或一對(duì)零的不確定性關(guān)系，從而大大增加了光流場(chǎng)估計(jì)的難度，進(jìn)而影響到全局光流估計(jì)的質(zhì)量.因此，將遮擋區(qū)域識(shí)別出來(lái)對(duì)于光流場(chǎng)估計(jì)問題來(lái)說(shuō)尤為必要.換個(gè)角度而言，如果有完備的運(yùn)動(dòng)描述，遮擋推理問題亦可迎刃而解.由此可知光流場(chǎng)估計(jì)和遮擋推理是高度耦合的，是“雞生蛋，蛋生雞”的問題.而上述方法中，有的沒有重視遮擋問題，有的忽略了問題的耦合性，有的計(jì)算復(fù)雜度極高并且有大量的計(jì)算冗余.

基于以上分析，我們提出一種高效的遮擋推理和光流場(chǎng)估計(jì)迭代優(yōu)化算法.如圖1所示，圖像左列由上到下分別是運(yùn)動(dòng)前圖像、運(yùn)動(dòng)后圖像和真實(shí)光流結(jié)果，圖像右列為形變補(bǔ)償圖像和真實(shí)遮擋結(jié)果.放大圖像中的“重影”區(qū)域，我們發(fā)現(xiàn)其和遮擋區(qū)域高度重合，在后續(xù)章節(jié)中我們將證明二者間的一致性.因此我們可以將遮擋推理問題轉(zhuǎn)換為“重影”區(qū)域定位問題.我們使用映射矩陣反向推理，顏色信息和鄰域信息相融合的策略獲得了可信的“重影”區(qū)域定位結(jié)果.將上述信息用于修正優(yōu)化函數(shù)和形變補(bǔ)償圖像可以優(yōu)化光流場(chǎng)估計(jì)結(jié)果.優(yōu)化后的光流結(jié)果通過(guò)改變形變補(bǔ)償圖像又能影響遮擋區(qū)域的定位結(jié)果.綜上，我們構(gòu)建了一個(gè)遮擋推理和光流場(chǎng)估計(jì)的迭代優(yōu)化計(jì)算框架.同時(shí)，我們發(fā)現(xiàn)較好的遮擋推理結(jié)果能提升光流估計(jì)精度，所以我們引入了循環(huán)后處理策略以最大限度地利用遮擋信息.本文貢獻(xiàn)主要有以下兩點(diǎn).

圖1 “重影”區(qū)域示意圖Fig.1 Illustration of the ghosting artifacts

在遮擋推理方面，我們從形變補(bǔ)償圖像中挖掘遮擋信息，通過(guò)“重影”區(qū)域的識(shí)別和定位我們獲得了可靠的遮擋推理結(jié)果.通過(guò)對(duì)比形變補(bǔ)償圖像和運(yùn)動(dòng)前圖像，理想情況下即可獲得可靠的“重影”區(qū)域定位結(jié)果，但是由于光照變化，光流場(chǎng)估計(jì)不準(zhǔn)確等原因常會(huì)出現(xiàn)誤判現(xiàn)象.因此我們利用前背景運(yùn)動(dòng)統(tǒng)計(jì)差異、鄰域遮擋一致性等先驗(yàn)知識(shí)提高定位的精度及可靠性，最終高效地獲得了可靠的遮擋推理結(jié)果.

在光流估計(jì)方面，我們從問題的本質(zhì)出發(fā)，使用光流估計(jì)和遮擋推理的迭代優(yōu)化框架獲得光流估計(jì)結(jié)果.遮擋推理可用于修正形變補(bǔ)償圖像和優(yōu)化函數(shù)，從而在金字塔的層間傳遞和層內(nèi)計(jì)算中同時(shí)消除了遮擋區(qū)域的影響，獲得可靠的光流估計(jì)結(jié)果.光流估計(jì)結(jié)果在下一次迭代中會(huì)通過(guò)改變形變補(bǔ)償函數(shù)達(dá)到修正遮擋推理的目的.不需要雙向光流等復(fù)雜的函數(shù)構(gòu)建方法，我們以形變補(bǔ)償圖像為紐帶，即可通過(guò)迭代優(yōu)化獲得更高精度的光流估計(jì)結(jié)果.此外，我們還充分利用遮擋推理的優(yōu)勢(shì)，使用循環(huán)后處理策略優(yōu)化結(jié)果，提升了光流估計(jì)精度.

2 基于金字塔結(jié)構(gòu)的光流場(chǎng)估計(jì)算法

基于金字塔結(jié)構(gòu)的形變補(bǔ)償光流場(chǎng)估計(jì)框架在深度學(xué)習(xí)算法[28]和經(jīng)典算法[29]中都被廣泛的使用.此框架的核心是金字塔結(jié)構(gòu)和形變補(bǔ)償圖像，我們將在此分別介紹.

2.1 金字塔結(jié)構(gòu)

經(jīng)典的光流場(chǎng)估計(jì)能量函數(shù)由數(shù)據(jù)項(xiàng)和平滑項(xiàng)構(gòu)成，如式(1)所示.常用的數(shù)據(jù)項(xiàng)(式(2))為亮度不變假設(shè)，即假設(shè)圖像序列中對(duì)應(yīng)點(diǎn)的亮度在運(yùn)動(dòng)時(shí)不發(fā)生變化.在后續(xù)工作中，為了提升算法魯棒性，常引入梯度不變假設(shè)、海森矩陣不變假設(shè)等.平滑項(xiàng)(式(3))的作用為擴(kuò)散光流場(chǎng)，去除異常點(diǎn)的同時(shí)也能推理非遮擋區(qū)域光流.函數(shù)中x是二維圖像中的位置坐標(biāo)(x,y)，ω是水平和豎直方向上的光流值(u,v)，ω(x)是x位置的光流值，Ψ是Charbonnier懲罰函數(shù)，Ω是整個(gè)圖像域，α是調(diào)節(jié)系數(shù).

E(ω)=Ecolor(ω)+αEsmooth(ω)

(1)

(2)

(3)

由于式(1)是非線性的，為了計(jì)算的便利需要取一階泰勒多項(xiàng)式近似擬合，且光流值ω越小結(jié)果越可靠.在實(shí)際場(chǎng)景中，位移量多不能滿足苛刻的近似條件，所以常借助金字塔結(jié)構(gòu)來(lái)求解光流場(chǎng)問題.先求解低分辨率下的光流場(chǎng)，然后以之作為高分辨率下運(yùn)動(dòng)的初始值，經(jīng)過(guò)多次迭代最終獲得原圖分辨率下的光流場(chǎng)估計(jì)結(jié)果.

圖2 金字塔結(jié)構(gòu)示意圖Fig.2 Illustration of the coarse-to-fine spatial pyramidal optical flow estimation scheme

2.2 形變補(bǔ)償圖像

在上述流程中，形變補(bǔ)償圖像既傳達(dá)了前一層的光流信息，又是當(dāng)前層的計(jì)算對(duì)象，在計(jì)算過(guò)程中占據(jù)了舉足輕重的地位.由于其通過(guò)形變(warp)計(jì)算獲得，在整體計(jì)算框架中有運(yùn)動(dòng)補(bǔ)償?shù)男Ч?，所以命名為形變補(bǔ)償圖像.

光流值為亞像素級(jí)，所以從計(jì)算代價(jià)考慮，多使用后向映射算法，即對(duì)第二幀圖像進(jìn)行形變操作.通過(guò)某位置的光流值可找到其運(yùn)動(dòng)后(即第二幀圖像中)的對(duì)應(yīng)位置.若對(duì)應(yīng)坐標(biāo)非整數(shù)，常用鄰域信息在第二幀圖像中插值獲得相應(yīng)像素值，然后將之作為形變補(bǔ)償圖像中當(dāng)前位置的像素值.利用光流值可得映射矩陣，即逐點(diǎn)的運(yùn)動(dòng)后坐標(biāo)，利用映射關(guān)系和運(yùn)動(dòng)后圖像即可獲得形變補(bǔ)償圖像.

3 遮擋推理和光流場(chǎng)估計(jì)算法

由于遮擋推理和光流場(chǎng)估計(jì)問題高度耦合，我們提出了一種高效的迭代優(yōu)化算法.在3.1中將解釋“重影”區(qū)域和遮擋的關(guān)系，在3.2中闡述遮擋推理算法，在3.3中提出優(yōu)化的光流估計(jì)算法，在3.4中提出循環(huán)后處理方案.

3.1 “重影”區(qū)域和遮擋

我們以圖3為例演示“重影”區(qū)域的產(chǎn)生.圖中第1行的兩幅圖像分別為三角形區(qū)域運(yùn)動(dòng)前后的圖像，即三角形由圖像左側(cè)平移到右側(cè).第2行中的陰影區(qū)域表示不同參考系下的遮擋區(qū)域.左側(cè)圖像指第二幀圖像中缺失的運(yùn)動(dòng)前像素，右側(cè)則是第一幀圖像中缺失的運(yùn)動(dòng)后像素.第3行兩幅圖像分別是光流結(jié)果和形變補(bǔ)償圖像.由于第2幀圖像中缺乏背景區(qū)域像素信息(如第2行左側(cè)圖像所示)，而只能借助前景信息進(jìn)行錯(cuò)誤的填充，從而使得形變補(bǔ)償圖像中出現(xiàn)了“重影”現(xiàn)象.也正是這種場(chǎng)景信息的“缺失”，使得圖1中“翅膀”區(qū)域出現(xiàn)“重影”現(xiàn)象.

圖3 “重影”現(xiàn)象和遮擋關(guān)系示意圖Fig.3 Toy example of the relation between the ghosting artifacts and the occlusion

這種信息的“缺失”是由運(yùn)動(dòng)產(chǎn)生的遮擋引起的，由上分析可知信息“缺失”導(dǎo)致了“重影”現(xiàn)象.因此通過(guò)“重影”區(qū)域的定位，我們即可獲得遮擋推理結(jié)果.

3.2 遮擋推理算法

通過(guò)光流結(jié)果可以獲得逐位置的映射關(guān)系，若兩個(gè)像素映射到同一位置，就可判定出現(xiàn)了遮擋現(xiàn)象.定位形變補(bǔ)償圖像中的“重影”區(qū)域也可獲得遮擋區(qū)域標(biāo)注.利用鄰域的運(yùn)動(dòng)一致性也推理遮擋.將上述多種策略融合可獲得更可靠的遮擋推理結(jié)果.

3.2.1 基于映射矩陣的遮擋推理方案

Ilg等人[30]在Flying Chairs[13]和MPI-Sintel[31]等數(shù)據(jù)集上統(tǒng)計(jì)發(fā)現(xiàn)前景區(qū)域的位移量一般遠(yuǎn)大于背景區(qū)域.在多數(shù)場(chǎng)合中，被遮擋區(qū)域常出現(xiàn)在背景區(qū)域中.因此，如果有多個(gè)像素映射到同一位置時(shí)，保留光流最大的映射關(guān)系，其他則可判定為被遮擋位置.此即為基于運(yùn)動(dòng)先驗(yàn)的遮擋推理策略，其計(jì)算流程如圖4(a)所示.

圖4 四種遮擋推理方案流程圖Fig.4 Flow chart of four occlusion reasoning schemes

3.2.2 基于“重影”區(qū)域的遮擋推理方案

由上分析可知，運(yùn)動(dòng)后圖像依據(jù)光流進(jìn)行逐像素回溯時(shí)即可得到形變補(bǔ)償圖像.所以在理想狀態(tài)下，形變補(bǔ)償圖像和運(yùn)動(dòng)前圖像應(yīng)該完全一致，若有任何差異則可判定是由遮擋引起的信息“缺失”導(dǎo)致的.但在實(shí)用場(chǎng)景中，光流估計(jì)誤差、光照變化、插值誤差等等均會(huì)導(dǎo)致像素變化，所以常設(shè)定一個(gè)閾值用于對(duì)上述差異值進(jìn)行篩選判斷，如果差值過(guò)大則標(biāo)記為遮擋區(qū)域.由于形變補(bǔ)償圖像中的像素大多是鄰域插值獲得，所以我們提出一種基于鄰域內(nèi)像素最大差值的閾值產(chǎn)生策略.圖像在邊緣區(qū)域像素值會(huì)變化明顯，在平滑區(qū)域則沒有明顯變化.基于以上分析，我們提出對(duì)邊緣區(qū)域和非邊緣區(qū)域設(shè)置不同的閾值以提升算法魯棒性.其計(jì)算流程如圖4(b)所示.

3.2.3 融合映射和“重影”的遮擋推理方案

由上分析我們發(fā)現(xiàn)方案1是基于一個(gè)較強(qiáng)的先驗(yàn)知識(shí)，但是合成數(shù)據(jù)集上的統(tǒng)計(jì)結(jié)果可能不適用于現(xiàn)實(shí)場(chǎng)景中.方案2不需要一個(gè)較強(qiáng)的先驗(yàn)但是它對(duì)閾值的選取十分敏感.嚴(yán)格的閾值會(huì)產(chǎn)生誤判，而寬松閾值則會(huì)導(dǎo)致漏檢現(xiàn)象.

我們嘗試將上述兩種方案進(jìn)行融合，利用先驗(yàn)知識(shí)進(jìn)行初步的篩選，然后使用顏色等信息進(jìn)行精細(xì)判斷.具體方案如下：先使用映射關(guān)系將運(yùn)動(dòng)前像素分為三類，1)運(yùn)動(dòng)后視場(chǎng)內(nèi)沒有位置的像素與之對(duì)應(yīng)，2)運(yùn)動(dòng)后有唯一的位置與之對(duì)應(yīng)，3)和其他運(yùn)動(dòng)前像素共同對(duì)應(yīng)到一個(gè)運(yùn)動(dòng)后位置.第一種情況可直接判定為遮擋.第三種情況下比較所有像素和對(duì)應(yīng)像素的差值，僅當(dāng)此為差值最小的像素時(shí)才會(huì)保留對(duì)應(yīng)關(guān)系，其他即可直接判定為遮擋位置.一一對(duì)應(yīng)關(guān)系時(shí)可通過(guò)設(shè)定閾值進(jìn)行遮擋判斷.此方案能降低對(duì)閾值選取的依賴，提高算法的魯棒性.其計(jì)算流程如圖4(c)所示.

3.2.4 基于鄰域信息的遮擋推理方案

由于運(yùn)動(dòng)具有區(qū)域一致性，且運(yùn)動(dòng)產(chǎn)生遮擋現(xiàn)象，所以遮擋也具有某種程度的區(qū)域一致性，則鄰域信息可用于遮擋判斷.遮擋是由兩個(gè)物體相向運(yùn)動(dòng)產(chǎn)生，所以遮擋區(qū)域的邊緣既會(huì)出現(xiàn)在前一幀圖像的邊緣上，也會(huì)出現(xiàn)在后一幀圖像邊緣上，所以我們不能單獨(dú)提取一幀圖像中的一致性區(qū)域進(jìn)行遮擋判斷.我們首先融合運(yùn)動(dòng)前后圖像，然后使用SLIC算法獲得一致性區(qū)域分割結(jié)果，最后借助之前遮擋推理結(jié)果，使用WTA算法獲得區(qū)域的遮擋判斷結(jié)果.本方案充分利用鄰域信息，去除了部分異常點(diǎn)，進(jìn)一步提高了算法精度和魯棒性.在后續(xù)實(shí)驗(yàn)中以此作為最終的遮擋推理方案，其計(jì)算流程如圖4(d)所示.

3.3 光流場(chǎng)估計(jì)算法

在基于金字塔結(jié)構(gòu)的計(jì)算框架中，我們利用前一幀圖像和形變補(bǔ)償圖像計(jì)算光流值.前一幀圖像中的遮擋區(qū)域會(huì)破壞一致性假設(shè)，若依舊全局優(yōu)化能量函數(shù)則必然會(huì)影響整體的計(jì)算精度.形變補(bǔ)償圖像中的“重影”區(qū)域使得一個(gè)像素值至少存在兩個(gè)對(duì)應(yīng)像素，這在能量函數(shù)優(yōu)化過(guò)程中也引入了大量不必要的歧義.因此我們需要借助遮擋推理結(jié)果，在光流估計(jì)過(guò)程中修正上述問題帶來(lái)的影響.

對(duì)于前一幀圖像中的遮擋區(qū)域，我們使用遮擋系數(shù)修正優(yōu)化函數(shù)從而消除遮擋區(qū)域?qū)?yōu)化過(guò)程的影響.將之前遮擋推理結(jié)果歸一化后作為遮擋系數(shù)帶入能量函數(shù)中，如式(4)所示.其中θ是二值化的遮擋系數(shù)，引入此參數(shù)即將遮擋區(qū)域摳除.α和β為調(diào)節(jié)參數(shù)，引入梯度項(xiàng)約束(式(5))增加算法的魯棒性.我們選用逐次超松馳迭代法(successive over-relaxation，SOR)去求解此線性等式系統(tǒng).關(guān)于歐拉等式的構(gòu)建、微分計(jì)算和固定點(diǎn)迭代等算法細(xì)節(jié)我們推薦文獻(xiàn)[32].

E(ω)=θEcolor(ω)+αθEgradient(ω)+βθEsmooth(ω)

(4)

(5)

形變補(bǔ)償圖像中的“重影”區(qū)域也可以使用遮擋推理定位和摳除.對(duì)于空白區(qū)域，我們嘗試了多種填充策略，包括使用鄰域信息平滑等，最終發(fā)現(xiàn)通過(guò)對(duì)應(yīng)關(guān)系利用前一幀圖像中對(duì)應(yīng)像素填充能獲得最佳的光流估計(jì)結(jié)果，因?yàn)榫蛷挠?jì)算流程來(lái)看，前一幀圖像中的相關(guān)信息才是正確的像素值.

上述算法不僅將遮擋信息融入能量函數(shù)中，直接在每層的光流值計(jì)算時(shí)去除了遮擋的影響；還利用遮擋信息修正了形變補(bǔ)償圖像，使得在層間的信息傳遞中也消除了遮擋的影響，借此完整地消除了遮擋現(xiàn)象對(duì)目前算法框架的影響.在后續(xù)的計(jì)算過(guò)程中，在新的光流結(jié)果指導(dǎo)下可獲得更可信的形變補(bǔ)償圖像，從而獲得更可靠的遮擋推理結(jié)果.我們將兩個(gè)過(guò)程融合在金字塔結(jié)構(gòu)的計(jì)算框架下，考慮到算法高效性的同時(shí)也保留了二者相互影響的內(nèi)在關(guān)系.

3.4 循環(huán)后處理策略

EpicFlow是經(jīng)典的稀疏光流稠密化算法，與之不同的是，我們提出了一種針對(duì)稠密光流的后處理算法.階段非凸算法(graduated non-convexity algorithm，GNC)指出即使待處理函數(shù)是凸函數(shù)，此算法也能通過(guò)提供一個(gè)更好的初始值而優(yōu)化計(jì)算結(jié)果，由此啟發(fā)我們提出循環(huán)后處理策略.由于低分辨率下光流場(chǎng)估計(jì)的精度不高會(huì)影響遮擋推理的準(zhǔn)確性，而在高分辨率下能獲得更可靠的遮擋推理結(jié)果.我們提出將優(yōu)質(zhì)的遮擋結(jié)果用于低分辨率圖像中，發(fā)現(xiàn)其對(duì)實(shí)驗(yàn)結(jié)果有明顯的提升作用.

我們嘗試了多種迭代次數(shù)和采樣率的參數(shù)設(shè)置方案.關(guān)于迭代次數(shù)的選取,我們發(fā)現(xiàn)在固定采樣率的情況下,若迭代次數(shù)越多,即圖像下采樣次數(shù)越多,則初始遮擋信息利用的越少,這背離了本節(jié)算法設(shè)計(jì)的初衷.反之若迭代次數(shù)過(guò)少時(shí)，算法則沒有辦法充分發(fā)揮遮擋信息和光流估計(jì)聯(lián)合處理的優(yōu)勢(shì).關(guān)于采樣率的選取，多篇文獻(xiàn)中給予了不同的建議，如Brox等人[29]采用了稠密采樣，采樣率設(shè)為0.98；Sun等人[33]采用稀疏采樣，采樣率設(shè)為0.5.在固定迭代次數(shù)的情況下，若采樣率過(guò)高，會(huì)造成大量的計(jì)算冗余，極大的影響了算法的計(jì)算效率.反之如果采樣率過(guò)低，則會(huì)在金字塔的層間傳遞中丟失大量的有用信息.在后續(xù)實(shí)驗(yàn)中我們發(fā)現(xiàn)采樣率過(guò)低時(shí)，光流精度有明顯的下滑，而采樣率高到某個(gè)程度后，其對(duì)結(jié)果影響不明顯.通過(guò)上述分析，我們發(fā)現(xiàn)迭代次數(shù)和采樣率均存在一個(gè)恰當(dāng)?shù)娜≈祬^(qū)間，綜合考慮計(jì)算效率和計(jì)算精度，我們選取迭代次數(shù)為3，采樣率為0.7.我們?cè)?.3節(jié)中展示了參數(shù)設(shè)置的相關(guān)實(shí)驗(yàn)細(xì)節(jié).

4 實(shí)驗(yàn)及結(jié)果分析

在兩個(gè)公開數(shù)據(jù)集Flying Chairs[13]和MPI-Sintel(包含clean版本和final版本)[31]上評(píng)估本文算法的效果.本文以Brox等人[29]提出的LDOF算法作為主要的對(duì)比算法.End point error(EPE)是整幅圖像的估計(jì)光流值和真實(shí)光流值的歐式距離，average of EPE(AEE)是算法在整個(gè)數(shù)據(jù)集上的平均性能.

4.1 遮擋推理方案對(duì)比

圖5是3.2節(jié)中提出的四種遮擋推理方案的可視化結(jié)果，其中每列的第1行為合成圖像，第2行為真實(shí)遮擋結(jié)果，第3行到第6行分別是由4種方案獲取的遮擋推理結(jié)果，并標(biāo)記了IoU量化指標(biāo).基于映射矩陣的方案1計(jì)算速度最快，但是由于其理論的不完備會(huì)使結(jié)果出現(xiàn)誤檢或漏檢的現(xiàn)象，比如第3列中的錯(cuò)誤就是因?yàn)榍熬皡^(qū)域的光流小于背景區(qū)域.基于“重影”區(qū)域的方案2取得了可觀的結(jié)果，但由于對(duì)閾值的選取較為敏感，比如第2列的該方案結(jié)果就出現(xiàn)了漏檢現(xiàn)象，而在第四列中出現(xiàn)了誤檢.融合兩種信息的方案3較于方案2可使用更寬松的閾值設(shè)置而不用擔(dān)心大量的誤檢現(xiàn)象.基于鄰域信息的方案4能很好的抑制異常點(diǎn)從而進(jìn)一步提高算法的魯棒性.

圖5 MPI數(shù)據(jù)集中不同方案下的遮擋推理結(jié)果Fig.5 Illustration of occlusion detection results on MPI-Sintel dataset

表1 不同數(shù)據(jù)集下4種遮擋推理方案的光流場(chǎng)估計(jì)結(jié)果Table 1 Illustration of optical flow estimation of four occlusion reasoning schemes under different datasets

我們?cè)跀?shù)據(jù)集上評(píng)估四種遮擋推理方案，并將結(jié)果匯總于表1.實(shí)驗(yàn)驗(yàn)證了遮擋推理的質(zhì)量會(huì)明顯影響光流場(chǎng)估計(jì)結(jié)果.方案1的遮擋推理算法在光流場(chǎng)求解中沒有表現(xiàn)出明顯的優(yōu)勢(shì)，而其他三種方案均顯示出積極的作用.統(tǒng)計(jì)結(jié)果顯示，基于鄰域信息的融合方案獲得了最佳的光流場(chǎng)估計(jì)結(jié)果.

4.2 遮擋信息使用方法對(duì)比

在3.3節(jié)中，我們提出修正能量函數(shù)和形變補(bǔ)償圖像兩種方案消除遮擋對(duì)光流場(chǎng)估計(jì)的影響，實(shí)驗(yàn)以第三種遮擋方案為例，統(tǒng)計(jì)了不同數(shù)據(jù)集下的光流場(chǎng)估計(jì)結(jié)果并匯總于表2.M0是原始結(jié)果即不進(jìn)行修正操作，M1是僅修正形變補(bǔ)償圖像，M2是僅修正能量函數(shù)，M1+M2是兩種方法同時(shí)使用.實(shí)驗(yàn)驗(yàn)證兩種方法同時(shí)使用是能獲得最佳的光流估計(jì)結(jié)果，同時(shí)實(shí)驗(yàn)結(jié)果也指出修正能量函數(shù)對(duì)結(jié)果影響更明顯，從另一個(gè)側(cè)面顯示了遮擋對(duì)光流估計(jì)精度的影響.

表2 不同遮擋信息使用方法的光流場(chǎng)估計(jì)結(jié)果Table 2 Average end-point error (AEE) on different occlusion handling strategies

4.3 循環(huán)后處理參數(shù)

在這一小節(jié)中，我們以MPI-Sintel中的clean訓(xùn)練集為例，嘗試循環(huán)后處理中不同的迭代次數(shù)和下采樣率對(duì)實(shí)驗(yàn)結(jié)果的影響.

表3 不同迭代次數(shù)下的光流場(chǎng)估計(jì)結(jié)果Table 3 Average end-point error(AEE)on different iterations levels

表4 不同采樣率下的光流場(chǎng)估計(jì)結(jié)果Table 4 Average end-point error(AEE) on different downsampling factors

表3展示的是不同迭代次數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響，此時(shí)默認(rèn)采樣率為迭代過(guò)程中使用的參數(shù)值0.8.我們發(fā)現(xiàn)在迭代次數(shù)為3時(shí)取得結(jié)果較好，如果進(jìn)行更深的迭代，則會(huì)因?yàn)槭ジ喙饬餍畔⒍鴮?dǎo)致結(jié)果變差.表4固定迭代次數(shù)為3，考慮不同下采樣率對(duì)結(jié)果的影響.當(dāng)采樣率設(shè)置過(guò)小時(shí)會(huì)失去過(guò)多的已知光流信息，而設(shè)置過(guò)大時(shí)會(huì)有大量的計(jì)算冗余.我們也嘗試了多次循環(huán)后處理，但是發(fā)現(xiàn)其對(duì)結(jié)果的改進(jìn)并不明顯，考慮到算法的效率和魯棒性，我們將迭代次數(shù)設(shè)為3，采樣率設(shè)為0.7.

圖6 光流場(chǎng)估計(jì)結(jié)果示意圖Fig.6 Illustration of optical flow estimation on Flying Chairs dataset

4.4 綜合實(shí)驗(yàn)結(jié)果

圖6為我們方法和LDOF算法在部分訓(xùn)練數(shù)據(jù)集上的可視化結(jié)果，其中第1列為運(yùn)動(dòng)前圖像，第2列為運(yùn)動(dòng)后圖像，第3列為真實(shí)光流結(jié)果，第4列為L(zhǎng)DOF算法獲得的光流結(jié)果，第五列為我們算法獲得的光流結(jié)果.圖像的右下角為光流值誤差指標(biāo).在第4行中，LDOF算法幾乎沒有獲得任何有用的運(yùn)動(dòng)信息，但是我們方法獲得了較好的光流場(chǎng)估計(jì)結(jié)果.在第1行中，LDOF算法丟失了椅背的輪廓，但是我們方法能很清晰的獲得椅背的柵格，這正是得益于對(duì)于遮擋區(qū)域的正確判斷.而在第2行中，LDOF算法的可視化圖中幾乎看不出是椅子，而我們的算法能精確刻畫椅子的扶手和滾輪.在最后一行中，右上角的光流結(jié)果驗(yàn)證了我們方法在發(fā)生交疊運(yùn)動(dòng)時(shí)的有效性，較于LDOF算法，我們方法能很好的表現(xiàn)兩個(gè)椅子不同的運(yùn)動(dòng)輪廓，而不是像LDOF算法一樣重合在一起.交疊在一起就會(huì)產(chǎn)生大量的遮擋，所以這個(gè)實(shí)例很好的顯示出我們算法的有效性.

表5 多種算法的光流場(chǎng)估計(jì)結(jié)果Table 5 Average end-point error(AEE)on different methods

表5匯總了多種算法在當(dāng)前數(shù)據(jù)集上的結(jié)果.(1)-(3)為基于深度學(xué)習(xí)的光流場(chǎng)估計(jì)算法，(4)和(5)是經(jīng)典光流場(chǎng)估計(jì)算法，(6)和(7)為經(jīng)典的考慮遮擋問題的光流場(chǎng)估計(jì)算法，其文中沒有提供在Flying Chairs數(shù)據(jù)集上的光流結(jié)果，(8)為L(zhǎng)DOF算法，(9)為本文算法.我們結(jié)果遠(yuǎn)超了LDOF算法.同近些年其他算法乃至和深度學(xué)習(xí)的算法相比，我們的結(jié)果也是富有競(jìng)爭(zhēng)力的.

5 結(jié) 語(yǔ)

本文提出一種高效的遮擋推理和光流場(chǎng)估計(jì)迭代優(yōu)化算法.算法以形變補(bǔ)償圖像為紐帶，利用“重影”現(xiàn)象和遮擋區(qū)域的內(nèi)在關(guān)系，并結(jié)合鄰域關(guān)系等信息，以迭代優(yōu)化的形式求解存在遮擋現(xiàn)象的光流場(chǎng)估計(jì)問題.我們還提出了循環(huán)后處理策略，實(shí)驗(yàn)驗(yàn)證了此策略對(duì)光流求解問題的有效性.我們的遮擋推理策略從形變補(bǔ)償圖像出發(fā)，其也能很好地融入現(xiàn)在愈漸成熟的深度學(xué)習(xí)框架中，在后續(xù)工作中可以考慮將之和深度學(xué)習(xí)相結(jié)合獲得更好的結(jié)果.