考慮遮擋情況的光流場估計算法

王 松，汪增福

(中國科學(xué)院 合肥智能機械研究所，合肥 230031)(中國科學(xué)技術(shù)大學(xué) 自動化系，合肥 230026)

1 引 言

光流場估計在計算機視覺領(lǐng)域具有重要的地位，它在物體跟蹤[1]、圖像配準(zhǔn)[2]以及運動檢測[3]等方面具有廣泛的應(yīng)用.按所使用方法的原理進行劃分，最常見的兩種算法是微分法和匹配法[4].

微分法是基于顏色一致性和全局平滑性等假設(shè)，通過構(gòu)建合適的能量函數(shù)來實現(xiàn)光流場估計的算法.直接使用微分法的缺陷是其不能處理大位移的光流場估計問題.為此，Lucas和Kanade于1981年提出了一種經(jīng)典的由粗到精的形變補償光流場估計框架(coarse-to-fine warping scheme)[5],開啟了光流場估計研究的熱潮.其后三十多年間涌現(xiàn)了大批相關(guān)的研究工作.例如，Wedel A等人[6]使用ROF模型對輸入圖像進行結(jié)構(gòu)-紋理分解以抑制或消除陰影、反光等因素對光流場估計的不良影響；Aubert G等人[7]對所使用能量函數(shù)的數(shù)據(jù)項進行了改進，由單純使用顏色信息，過渡到使用顏色的梯度信息、二階梯度信息和梯度模信息等，顯著提升了所引入數(shù)據(jù)項的有效性；Monzón N等人[8]則對能量函數(shù)的平滑項進行了改進，他們通過在圖像邊緣處引入非連續(xù)性平滑約束以抑制光流計算中的過平滑現(xiàn)象.

匹配法是將光流場估計問題轉(zhuǎn)化為特征匹配問題進行求解，利用特征匹配計算獲得光流場的估計.考慮到算法的計算效率和魯棒性等因素，其通常不會逐點進行匹配計算，取而代之的是或者以小圖像塊為單位完成匹配計算[9]或者利用下采樣技術(shù)對低空間分辨率的圖像進行匹配計算[10]，由此獲得的光流計算結(jié)果是相對比較粗糙的，或者精度上有欠缺，或者空間分辨率不夠.為了克服上述方法存在的缺陷，有人提出了基于圖像鄰域信息的匹配傳播算法[11,12].這一類方法雖然能在一定程度上提升光流算法的性能，但其結(jié)果的好壞嚴重依賴于對初始光流的計算.近年來，基于深度學(xué)習(xí)的算法也得到廣泛的研究，形成了以下三類光流算法：端到端的算法[13,14]、基于匹配網(wǎng)絡(luò)的算法[15]、基于多源信息融合的算法[16,17].

上述算法大多通過提升數(shù)據(jù)項和平滑項的魯棒性來抑制遮擋的影響.基于數(shù)據(jù)統(tǒng)計先驗，Lorentzian懲罰項[18]、L1懲罰項[19]和Charbonnier懲罰項[20]先后被提出.平滑項有助于擴散光流場，推理遮擋區(qū)域的光流，但也會導(dǎo)致光流結(jié)果中的過平滑現(xiàn)象.為此，Weickert等人[21]提出的各項異性正則化策略保留了光流場的不連續(xù)性.另外，Kennedy等人[22]提出一種基于三角剖分的幾何模型，利用區(qū)域聯(lián)合信息進行遮擋推理.Xu等人[23]通過優(yōu)化一個平方偽布爾函數(shù)(QPBO)將遮擋和被遮擋像素進行聯(lián)合優(yōu)化.雙邊濾波[24]，光流散度[25]及雙向光流一致性檢查[26]等也被用于遮擋判斷，此外還有基于三維場景重建及多幀信息等遮擋處理算法[27].

理論上遮擋區(qū)域的光流是沒有意義的，但在現(xiàn)實應(yīng)用中對大多數(shù)場景又需要有一個稠密的光流結(jié)果.光流場估計的一個基本假設(shè)是運動前后的特征一致性，而遮擋現(xiàn)象完全破壞了此約束，將原本一一對應(yīng)的運動關(guān)系變成了一對多或一對零的不確定性關(guān)系，從而大大增加了光流場估計的難度，進而影響到全局光流估計的質(zhì)量.因此，將遮擋區(qū)域識別出來對于光流場估計問題來說尤為必要.換個角度而言，如果有完備的運動描述，遮擋推理問題亦可迎刃而解.由此可知光流場估計和遮擋推理是高度耦合的，是“雞生蛋，蛋生雞”的問題.而上述方法中，有的沒有重視遮擋問題，有的忽略了問題的耦合性，有的計算復(fù)雜度極高并且有大量的計算冗余.

基于以上分析，我們提出一種高效的遮擋推理和光流場估計迭代優(yōu)化算法.如圖1所示，圖像左列由上到下分別是運動前圖像、運動后圖像和真實光流結(jié)果，圖像右列為形變補償圖像和真實遮擋結(jié)果.放大圖像中的“重影”區(qū)域，我們發(fā)現(xiàn)其和遮擋區(qū)域高度重合，在后續(xù)章節(jié)中我們將證明二者間的一致性.因此我們可以將遮擋推理問題轉(zhuǎn)換為“重影”區(qū)域定位問題.我們使用映射矩陣反向推理，顏色信息和鄰域信息相融合的策略獲得了可信的“重影”區(qū)域定位結(jié)果.將上述信息用于修正優(yōu)化函數(shù)和形變補償圖像可以優(yōu)化光流場估計結(jié)果.優(yōu)化后的光流結(jié)果通過改變形變補償圖像又能影響遮擋區(qū)域的定位結(jié)果.綜上，我們構(gòu)建了一個遮擋推理和光流場估計的迭代優(yōu)化計算框架.同時，我們發(fā)現(xiàn)較好的遮擋推理結(jié)果能提升光流估計精度，所以我們引入了循環(huán)后處理策略以最大限度地利用遮擋信息.本文貢獻主要有以下兩點.

圖1 “重影”區(qū)域示意圖Fig.1 Illustration of the ghosting artifacts

在遮擋推理方面，我們從形變補償圖像中挖掘遮擋信息，通過“重影”區(qū)域的識別和定位我們獲得了可靠的遮擋推理結(jié)果.通過對比形變補償圖像和運動前圖像，理想情況下即可獲得可靠的“重影”區(qū)域定位結(jié)果，但是由于光照變化，光流場估計不準(zhǔn)確等原因常會出現(xiàn)誤判現(xiàn)象.因此我們利用前背景運動統(tǒng)計差異、鄰域遮擋一致性等先驗知識提高定位的精度及可靠性，最終高效地獲得了可靠的遮擋推理結(jié)果.

在光流估計方面，我們從問題的本質(zhì)出發(fā)，使用光流估計和遮擋推理的迭代優(yōu)化框架獲得光流估計結(jié)果.遮擋推理可用于修正形變補償圖像和優(yōu)化函數(shù)，從而在金字塔的層間傳遞和層內(nèi)計算中同時消除了遮擋區(qū)域的影響，獲得可靠的光流估計結(jié)果.光流估計結(jié)果在下一次迭代中會通過改變形變補償函數(shù)達到修正遮擋推理的目的.不需要雙向光流等復(fù)雜的函數(shù)構(gòu)建方法，我們以形變補償圖像為紐帶，即可通過迭代優(yōu)化獲得更高精度的光流估計結(jié)果.此外，我們還充分利用遮擋推理的優(yōu)勢，使用循環(huán)后處理策略優(yōu)化結(jié)果，提升了光流估計精度.

2 基于金字塔結(jié)構(gòu)的光流場估計算法

基于金字塔結(jié)構(gòu)的形變補償光流場估計框架在深度學(xué)習(xí)算法[28]和經(jīng)典算法[29]中都被廣泛的使用.此框架的核心是金字塔結(jié)構(gòu)和形變補償圖像，我們將在此分別介紹.

2.1 金字塔結(jié)構(gòu)

經(jīng)典的光流場估計能量函數(shù)由數(shù)據(jù)項和平滑項構(gòu)成，如式(1)所示.常用的數(shù)據(jù)項(式(2))為亮度不變假設(shè)，即假設(shè)圖像序列中對應(yīng)點的亮度在運動時不發(fā)生變化.在后續(xù)工作中，為了提升算法魯棒性，常引入梯度不變假設(shè)、海森矩陣不變假設(shè)等.平滑項(式(3))的作用為擴散光流場，去除異常點的同時也能推理非遮擋區(qū)域光流.函數(shù)中x是二維圖像中的位置坐標(biāo)(x,y)，ω是水平和豎直方向上的光流值(u,v)，ω(x)是x位置的光流值，Ψ是Charbonnier懲罰函數(shù)，Ω是整個圖像域，α是調(diào)節(jié)系數(shù).

E(ω)=Ecolor(ω)+αEsmooth(ω)

(1)

(2)

(3)

由于式(1)是非線性的，為了計算的便利需要取一階泰勒多項式近似擬合，且光流值ω越小結(jié)果越可靠.在實際場景中，位移量多不能滿足苛刻的近似條件，所以常借助金字塔結(jié)構(gòu)來求解光流場問題.先求解低分辨率下的光流場，然后以之作為高分辨率下運動的初始值，經(jīng)過多次迭代最終獲得原圖分辨率下的光流場估計結(jié)果.

圖2 金字塔結(jié)構(gòu)示意圖Fig.2 Illustration of the coarse-to-fine spatial pyramidal optical flow estimation scheme

2.2 形變補償圖像

在上述流程中，形變補償圖像既傳達了前一層的光流信息，又是當(dāng)前層的計算對象，在計算過程中占據(jù)了舉足輕重的地位.由于其通過形變(warp)計算獲得，在整體計算框架中有運動補償?shù)男Ч悦麨樾巫冄a償圖像.

光流值為亞像素級，所以從計算代價考慮，多使用后向映射算法，即對第二幀圖像進行形變操作.通過某位置的光流值可找到其運動后(即第二幀圖像中)的對應(yīng)位置.若對應(yīng)坐標(biāo)非整數(shù)，常用鄰域信息在第二幀圖像中插值獲得相應(yīng)像素值，然后將之作為形變補償圖像中當(dāng)前位置的像素值.利用光流值可得映射矩陣，即逐點的運動后坐標(biāo)，利用映射關(guān)系和運動后圖像即可獲得形變補償圖像.

3 遮擋推理和光流場估計算法

由于遮擋推理和光流場估計問題高度耦合，我們提出了一種高效的迭代優(yōu)化算法.在3.1中將解釋“重影”區(qū)域和遮擋的關(guān)系，在3.2中闡述遮擋推理算法，在3.3中提出優(yōu)化的光流估計算法，在3.4中提出循環(huán)后處理方案.

3.1 “重影”區(qū)域和遮擋

我們以圖3為例演示“重影”區(qū)域的產(chǎn)生.圖中第1行的兩幅圖像分別為三角形區(qū)域運動前后的圖像，即三角形由圖像左側(cè)平移到右側(cè).第2行中的陰影區(qū)域表示不同參考系下的遮擋區(qū)域.左側(cè)圖像指第二幀圖像中缺失的運動前像素，右側(cè)則是第一幀圖像中缺失的運動后像素.第3行兩幅圖像分別是光流結(jié)果和形變補償圖像.由于第2幀圖像中缺乏背景區(qū)域像素信息(如第2行左側(cè)圖像所示)，而只能借助前景信息進行錯誤的填充，從而使得形變補償圖像中出現(xiàn)了“重影”現(xiàn)象.也正是這種場景信息的“缺失”，使得圖1中“翅膀”區(qū)域出現(xiàn)“重影”現(xiàn)象.

圖3 “重影”現(xiàn)象和遮擋關(guān)系示意圖Fig.3 Toy example of the relation between the ghosting artifacts and the occlusion

這種信息的“缺失”是由運動產(chǎn)生的遮擋引起的，由上分析可知信息“缺失”導(dǎo)致了“重影”現(xiàn)象.因此通過“重影”區(qū)域的定位，我們即可獲得遮擋推理結(jié)果.

3.2 遮擋推理算法

通過光流結(jié)果可以獲得逐位置的映射關(guān)系，若兩個像素映射到同一位置，就可判定出現(xiàn)了遮擋現(xiàn)象.定位形變補償圖像中的“重影”區(qū)域也可獲得遮擋區(qū)域標(biāo)注.利用鄰域的運動一致性也推理遮擋.將上述多種策略融合可獲得更可靠的遮擋推理結(jié)果.

3.2.1 基于映射矩陣的遮擋推理方案

Ilg等人[30]在Flying Chairs[13]和MPI-Sintel[31]等數(shù)據(jù)集上統(tǒng)計發(fā)現(xiàn)前景區(qū)域的位移量一般遠大于背景區(qū)域.在多數(shù)場合中，被遮擋區(qū)域常出現(xiàn)在背景區(qū)域中.因此，如果有多個像素映射到同一位置時，保留光流最大的映射關(guān)系，其他則可判定為被遮擋位置.此即為基于運動先驗的遮擋推理策略，其計算流程如圖4(a)所示.

圖4 四種遮擋推理方案流程圖Fig.4 Flow chart of four occlusion reasoning schemes

3.2.2 基于“重影”區(qū)域的遮擋推理方案

由上分析可知，運動后圖像依據(jù)光流進行逐像素回溯時即可得到形變補償圖像.所以在理想狀態(tài)下，形變補償圖像和運動前圖像應(yīng)該完全一致，若有任何差異則可判定是由遮擋引起的信息“缺失”導(dǎo)致的.但在實用場景中，光流估計誤差、光照變化、插值誤差等等均會導(dǎo)致像素變化，所以常設(shè)定一個閾值用于對上述差異值進行篩選判斷，如果差值過大則標(biāo)記為遮擋區(qū)域.由于形變補償圖像中的像素大多是鄰域插值獲得，所以我們提出一種基于鄰域內(nèi)像素最大差值的閾值產(chǎn)生策略.圖像在邊緣區(qū)域像素值會變化明顯，在平滑區(qū)域則沒有明顯變化.基于以上分析，我們提出對邊緣區(qū)域和非邊緣區(qū)域設(shè)置不同的閾值以提升算法魯棒性.其計算流程如圖4(b)所示.

3.2.3 融合映射和“重影”的遮擋推理方案

由上分析我們發(fā)現(xiàn)方案1是基于一個較強的先驗知識，但是合成數(shù)據(jù)集上的統(tǒng)計結(jié)果可能不適用于現(xiàn)實場景中.方案2不需要一個較強的先驗但是它對閾值的選取十分敏感.嚴格的閾值會產(chǎn)生誤判，而寬松閾值則會導(dǎo)致漏檢現(xiàn)象.

我們嘗試將上述兩種方案進行融合，利用先驗知識進行初步的篩選，然后使用顏色等信息進行精細判斷.具體方案如下：先使用映射關(guān)系將運動前像素分為三類，1)運動后視場內(nèi)沒有位置的像素與之對應(yīng)，2)運動后有唯一的位置與之對應(yīng)，3)和其他運動前像素共同對應(yīng)到一個運動后位置.第一種情況可直接判定為遮擋.第三種情況下比較所有像素和對應(yīng)像素的差值，僅當(dāng)此為差值最小的像素時才會保留對應(yīng)關(guān)系，其他即可直接判定為遮擋位置.一一對應(yīng)關(guān)系時可通過設(shè)定閾值進行遮擋判斷.此方案能降低對閾值選取的依賴，提高算法的魯棒性.其計算流程如圖4(c)所示.

3.2.4 基于鄰域信息的遮擋推理方案

由于運動具有區(qū)域一致性，且運動產(chǎn)生遮擋現(xiàn)象，所以遮擋也具有某種程度的區(qū)域一致性，則鄰域信息可用于遮擋判斷.遮擋是由兩個物體相向運動產(chǎn)生，所以遮擋區(qū)域的邊緣既會出現(xiàn)在前一幀圖像的邊緣上，也會出現(xiàn)在后一幀圖像邊緣上，所以我們不能單獨提取一幀圖像中的一致性區(qū)域進行遮擋判斷.我們首先融合運動前后圖像，然后使用SLIC算法獲得一致性區(qū)域分割結(jié)果，最后借助之前遮擋推理結(jié)果，使用WTA算法獲得區(qū)域的遮擋判斷結(jié)果.本方案充分利用鄰域信息，去除了部分異常點，進一步提高了算法精度和魯棒性.在后續(xù)實驗中以此作為最終的遮擋推理方案，其計算流程如圖4(d)所示.

3.3 光流場估計算法

在基于金字塔結(jié)構(gòu)的計算框架中，我們利用前一幀圖像和形變補償圖像計算光流值.前一幀圖像中的遮擋區(qū)域會破壞一致性假設(shè)，若依舊全局優(yōu)化能量函數(shù)則必然會影響整體的計算精度.形變補償圖像中的“重影”區(qū)域使得一個像素值至少存在兩個對應(yīng)像素，這在能量函數(shù)優(yōu)化過程中也引入了大量不必要的歧義.因此我們需要借助遮擋推理結(jié)果，在光流估計過程中修正上述問題帶來的影響.

對于前一幀圖像中的遮擋區(qū)域，我們使用遮擋系數(shù)修正優(yōu)化函數(shù)從而消除遮擋區(qū)域?qū)?yōu)化過程的影響.將之前遮擋推理結(jié)果歸一化后作為遮擋系數(shù)帶入能量函數(shù)中，如式(4)所示.其中θ是二值化的遮擋系數(shù)，引入此參數(shù)即將遮擋區(qū)域摳除.α和β為調(diào)節(jié)參數(shù)，引入梯度項約束(式(5))增加算法的魯棒性.我們選用逐次超松馳迭代法(successive over-relaxation，SOR)去求解此線性等式系統(tǒng).關(guān)于歐拉等式的構(gòu)建、微分計算和固定點迭代等算法細節(jié)我們推薦文獻[32].

E(ω)=θEcolor(ω)+αθEgradient(ω)+βθEsmooth(ω)

(4)

(5)

形變補償圖像中的“重影”區(qū)域也可以使用遮擋推理定位和摳除.對于空白區(qū)域，我們嘗試了多種填充策略，包括使用鄰域信息平滑等，最終發(fā)現(xiàn)通過對應(yīng)關(guān)系利用前一幀圖像中對應(yīng)像素填充能獲得最佳的光流估計結(jié)果，因為就從計算流程來看，前一幀圖像中的相關(guān)信息才是正確的像素值.

上述算法不僅將遮擋信息融入能量函數(shù)中，直接在每層的光流值計算時去除了遮擋的影響；還利用遮擋信息修正了形變補償圖像，使得在層間的信息傳遞中也消除了遮擋的影響，借此完整地消除了遮擋現(xiàn)象對目前算法框架的影響.在后續(xù)的計算過程中，在新的光流結(jié)果指導(dǎo)下可獲得更可信的形變補償圖像，從而獲得更可靠的遮擋推理結(jié)果.我們將兩個過程融合在金字塔結(jié)構(gòu)的計算框架下，考慮到算法高效性的同時也保留了二者相互影響的內(nèi)在關(guān)系.

3.4 循環(huán)后處理策略

EpicFlow是經(jīng)典的稀疏光流稠密化算法，與之不同的是，我們提出了一種針對稠密光流的后處理算法.階段非凸算法(graduated non-convexity algorithm，GNC)指出即使待處理函數(shù)是凸函數(shù)，此算法也能通過提供一個更好的初始值而優(yōu)化計算結(jié)果，由此啟發(fā)我們提出循環(huán)后處理策略.由于低分辨率下光流場估計的精度不高會影響遮擋推理的準(zhǔn)確性，而在高分辨率下能獲得更可靠的遮擋推理結(jié)果.我們提出將優(yōu)質(zhì)的遮擋結(jié)果用于低分辨率圖像中，發(fā)現(xiàn)其對實驗結(jié)果有明顯的提升作用.

我們嘗試了多種迭代次數(shù)和采樣率的參數(shù)設(shè)置方案.關(guān)于迭代次數(shù)的選取,我們發(fā)現(xiàn)在固定采樣率的情況下,若迭代次數(shù)越多,即圖像下采樣次數(shù)越多,則初始遮擋信息利用的越少,這背離了本節(jié)算法設(shè)計的初衷.反之若迭代次數(shù)過少時，算法則沒有辦法充分發(fā)揮遮擋信息和光流估計聯(lián)合處理的優(yōu)勢.關(guān)于采樣率的選取，多篇文獻中給予了不同的建議，如Brox等人[29]采用了稠密采樣，采樣率設(shè)為0.98；Sun等人[33]采用稀疏采樣，采樣率設(shè)為0.5.在固定迭代次數(shù)的情況下，若采樣率過高，會造成大量的計算冗余，極大的影響了算法的計算效率.反之如果采樣率過低，則會在金字塔的層間傳遞中丟失大量的有用信息.在后續(xù)實驗中我們發(fā)現(xiàn)采樣率過低時，光流精度有明顯的下滑，而采樣率高到某個程度后，其對結(jié)果影響不明顯.通過上述分析，我們發(fā)現(xiàn)迭代次數(shù)和采樣率均存在一個恰當(dāng)?shù)娜≈祬^(qū)間，綜合考慮計算效率和計算精度，我們選取迭代次數(shù)為3，采樣率為0.7.我們在4.3節(jié)中展示了參數(shù)設(shè)置的相關(guān)實驗細節(jié).

4 實驗及結(jié)果分析

在兩個公開數(shù)據(jù)集Flying Chairs[13]和MPI-Sintel(包含clean版本和final版本)[31]上評估本文算法的效果.本文以Brox等人[29]提出的LDOF算法作為主要的對比算法.End point error(EPE)是整幅圖像的估計光流值和真實光流值的歐式距離，average of EPE(AEE)是算法在整個數(shù)據(jù)集上的平均性能.

4.1 遮擋推理方案對比

圖5是3.2節(jié)中提出的四種遮擋推理方案的可視化結(jié)果，其中每列的第1行為合成圖像，第2行為真實遮擋結(jié)果，第3行到第6行分別是由4種方案獲取的遮擋推理結(jié)果，并標(biāo)記了IoU量化指標(biāo).基于映射矩陣的方案1計算速度最快，但是由于其理論的不完備會使結(jié)果出現(xiàn)誤檢或漏檢的現(xiàn)象，比如第3列中的錯誤就是因為前景區(qū)域的光流小于背景區(qū)域.基于“重影”區(qū)域的方案2取得了可觀的結(jié)果，但由于對閾值的選取較為敏感，比如第2列的該方案結(jié)果就出現(xiàn)了漏檢現(xiàn)象，而在第四列中出現(xiàn)了誤檢.融合兩種信息的方案3較于方案2可使用更寬松的閾值設(shè)置而不用擔(dān)心大量的誤檢現(xiàn)象.基于鄰域信息的方案4能很好的抑制異常點從而進一步提高算法的魯棒性.

圖5 MPI數(shù)據(jù)集中不同方案下的遮擋推理結(jié)果Fig.5 Illustration of occlusion detection results on MPI-Sintel dataset

表1 不同數(shù)據(jù)集下4種遮擋推理方案的光流場估計結(jié)果Table 1 Illustration of optical flow estimation of four occlusion reasoning schemes under different datasets

我們在數(shù)據(jù)集上評估四種遮擋推理方案，并將結(jié)果匯總于表1.實驗驗證了遮擋推理的質(zhì)量會明顯影響光流場估計結(jié)果.方案1的遮擋推理算法在光流場求解中沒有表現(xiàn)出明顯的優(yōu)勢，而其他三種方案均顯示出積極的作用.統(tǒng)計結(jié)果顯示，基于鄰域信息的融合方案獲得了最佳的光流場估計結(jié)果.

4.2 遮擋信息使用方法對比

在3.3節(jié)中，我們提出修正能量函數(shù)和形變補償圖像兩種方案消除遮擋對光流場估計的影響，實驗以第三種遮擋方案為例，統(tǒng)計了不同數(shù)據(jù)集下的光流場估計結(jié)果并匯總于表2.M0是原始結(jié)果即不進行修正操作，M1是僅修正形變補償圖像，M2是僅修正能量函數(shù)，M1+M2是兩種方法同時使用.實驗驗證兩種方法同時使用是能獲得最佳的光流估計結(jié)果，同時實驗結(jié)果也指出修正能量函數(shù)對結(jié)果影響更明顯，從另一個側(cè)面顯示了遮擋對光流估計精度的影響.

表2 不同遮擋信息使用方法的光流場估計結(jié)果Table 2 Average end-point error (AEE) on different occlusion handling strategies

4.3 循環(huán)后處理參數(shù)

在這一小節(jié)中，我們以MPI-Sintel中的clean訓(xùn)練集為例，嘗試循環(huán)后處理中不同的迭代次數(shù)和下采樣率對實驗結(jié)果的影響.

表3 不同迭代次數(shù)下的光流場估計結(jié)果Table 3 Average end-point error(AEE)on different iterations levels

表4 不同采樣率下的光流場估計結(jié)果Table 4 Average end-point error(AEE) on different downsampling factors

表3展示的是不同迭代次數(shù)對實驗結(jié)果的影響，此時默認采樣率為迭代過程中使用的參數(shù)值0.8.我們發(fā)現(xiàn)在迭代次數(shù)為3時取得結(jié)果較好，如果進行更深的迭代，則會因為失去更多光流信息而導(dǎo)致結(jié)果變差.表4固定迭代次數(shù)為3，考慮不同下采樣率對結(jié)果的影響.當(dāng)采樣率設(shè)置過小時會失去過多的已知光流信息，而設(shè)置過大時會有大量的計算冗余.我們也嘗試了多次循環(huán)后處理，但是發(fā)現(xiàn)其對結(jié)果的改進并不明顯，考慮到算法的效率和魯棒性，我們將迭代次數(shù)設(shè)為3，采樣率設(shè)為0.7.

圖6 光流場估計結(jié)果示意圖Fig.6 Illustration of optical flow estimation on Flying Chairs dataset

4.4 綜合實驗結(jié)果

圖6為我們方法和LDOF算法在部分訓(xùn)練數(shù)據(jù)集上的可視化結(jié)果，其中第1列為運動前圖像，第2列為運動后圖像，第3列為真實光流結(jié)果，第4列為LDOF算法獲得的光流結(jié)果，第五列為我們算法獲得的光流結(jié)果.圖像的右下角為光流值誤差指標(biāo).在第4行中，LDOF算法幾乎沒有獲得任何有用的運動信息，但是我們方法獲得了較好的光流場估計結(jié)果.在第1行中，LDOF算法丟失了椅背的輪廓，但是我們方法能很清晰的獲得椅背的柵格，這正是得益于對于遮擋區(qū)域的正確判斷.而在第2行中，LDOF算法的可視化圖中幾乎看不出是椅子，而我們的算法能精確刻畫椅子的扶手和滾輪.在最后一行中，右上角的光流結(jié)果驗證了我們方法在發(fā)生交疊運動時的有效性，較于LDOF算法，我們方法能很好的表現(xiàn)兩個椅子不同的運動輪廓，而不是像LDOF算法一樣重合在一起.交疊在一起就會產(chǎn)生大量的遮擋，所以這個實例很好的顯示出我們算法的有效性.

表5 多種算法的光流場估計結(jié)果Table 5 Average end-point error(AEE)on different methods

表5匯總了多種算法在當(dāng)前數(shù)據(jù)集上的結(jié)果.(1)-(3)為基于深度學(xué)習(xí)的光流場估計算法，(4)和(5)是經(jīng)典光流場估計算法，(6)和(7)為經(jīng)典的考慮遮擋問題的光流場估計算法，其文中沒有提供在Flying Chairs數(shù)據(jù)集上的光流結(jié)果，(8)為LDOF算法，(9)為本文算法.我們結(jié)果遠超了LDOF算法.同近些年其他算法乃至和深度學(xué)習(xí)的算法相比，我們的結(jié)果也是富有競爭力的.

5 結(jié) 語

本文提出一種高效的遮擋推理和光流場估計迭代優(yōu)化算法.算法以形變補償圖像為紐帶，利用“重影”現(xiàn)象和遮擋區(qū)域的內(nèi)在關(guān)系，并結(jié)合鄰域關(guān)系等信息，以迭代優(yōu)化的形式求解存在遮擋現(xiàn)象的光流場估計問題.我們還提出了循環(huán)后處理策略，實驗驗證了此策略對光流求解問題的有效性.我們的遮擋推理策略從形變補償圖像出發(fā)，其也能很好地融入現(xiàn)在愈漸成熟的深度學(xué)習(xí)框架中，在后續(xù)工作中可以考慮將之和深度學(xué)習(xí)相結(jié)合獲得更好的結(jié)果.