基于PWC-Net的多層權值和輕量化改進光流估計算法

摘 要： 針對現(xiàn)有光流估計方法實時性不夠的問題，提出輕量化的深度可分離卷積的PWC-Net改進模型（depth separable pyramid，warping and cost volume，DS-PWC）。其改進是將常規(guī)二維卷積網絡層解耦為深度可分離卷積層，并且DS-PWC在金字塔層增加基于層數(shù)的權重系數(shù)，從而使得網絡結構在不損失精度的情況下大幅減少模型參數(shù)量。在訓練過程中，使用圖像及對象感知數(shù)據隨機擦除（image and object-aware random erasing，I+ORE）等數(shù)據增強技術，進一步提升估計預測結果泛化能力。實驗結果表明，在數(shù)據集測試DS-PWC模型，在保持質量的同時運行效率達到約58 fps（frame per second）。同時為了驗證算法有效性，進行了模型結構和數(shù)據增強的消融實驗。結果證明了DS-PWC模型的有效性。

關鍵詞： 密集光流； 輕量化； 卷積神經網絡； 網絡解耦； 金字塔結構

中圖分類號： TP391"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-052-0291-05

doi：10.19734/j.issn.1001-3695.2021.05.0204

Multi-layer weight and lightweight improved optical flow estimation algorithm based on PWC-Net

Hu Yixuan， Wu Fei， Xiong Yujie

（Shanghai University of Engineering Science， Shanghai 201620， China）

Abstract： To solve the problem of insufficient real-time performance of existing optical flow estimation methods，this paper proposed a lightweight improved PSC-NET model with deep separable convolution（depth pyramid，warping and cost volume，DS-PWC）.One of the improvements was decoupling the conventional two-dimensional convolutional network layer into a deep separable convolutional layer.The other one was adding a weight coefficient based on the number of layers in the pyramid layer by DS-PWC，which greatly reduced the number of model parameters in the network structure without loss of precision.In addition，in the training process，the paper applied data enhancement technologies such as I+ORE to further improve the generalization ability of estimation and prediction results.The experimental results show that the DS-PWC model was tested in the dataset and the operating efficiency reaches about 58 fps while maintaining the quality.To verify the effectiveness of the algorithm，this paper carried out the ablation experiments of model structure and data enhancement.The results verify the effectiveness of the DS-PWC model.

Key words： dense optical flow； lightweight； CNN； network decoupling； pyramid structure

0 引言

光流估計是計算機視覺中的一個經典問題。它被廣泛使用在許多領域中，如運動跟蹤、動作識別、視頻分割、三維重建、視頻修復等。1981年，Horn等人［1］首次提出光流基本守恒假設及相應光流估計方法，而后他們又提出使用能量函數(shù)耦合亮度不變性和空間平滑性的能量最小化方法，這是當時準確率最高的計算方法。這種方法的計算量十分大，無法達到實時應用的要求。之后Brox等人［2］從理論上推導出基于翹曲的光流估計方法。文獻［3］在Horn等人的方法和模型上進行了改進，提出了一個非局部項來恢復運動細節(jié)。flow fields［4］基于局部匹配的計算方法的計算精度較高，但是計算量仍然較大。變分方法仍然是當今比較流行的光流計算方法，然而它需要解決復雜的優(yōu)化問題，不符合實時性程序的基本要求。

隨著深度學習技術的進步與發(fā)展，許多傳統(tǒng)的圖像問題都采用了卷積神經網絡（convolutional neural networks，CNN）。在光流估計方面有許多相關算法使用CNN。在有監(jiān)督的學習中，Dosovitskiy等人［5］的FlowNet基于有監(jiān)督學習的光流估計模型，開創(chuàng)性地將U-Net［6］回形網絡架構運用在光流估計上，使用了encoder-decoder網絡架構，并且提出了計算圖像對之間特征的成本量，使兩幀之間產生聯(lián)系，證明了卷積神經網絡直接估計圖像序列光流的可行性。為了解決FlowNet準確度不高以及小位移預測不精準的問題，2017年FlowNet 2.0［7］采用了FlowNetC和FlowNetS模型堆疊的方法解決了上述問題，使光流準確度大幅上升，但模型需要640 MB的存儲空間，運行速度也并不算快，因此不適合在移動端和嵌入式設備使用。Ranjan等人［8］將經典空間金字塔的思想與卷積神經網絡結合，提出了SpyNet網絡模型，顯著減小了模型參數(shù)，但是由于SpyNet［8］網絡結構單一，導致其運算速度雖快但估計精度較低。2018年，Sun等人［9］提出了PWC-Net網絡結構，其輸入采用金字塔結構，提高了輸入特征圖的置信度，根據翹曲光流估計理論重新設計了圖像對構成光流特征圖的方法。最后采用空洞卷積估計網絡使得小位移的光流估計在此網絡上也有不錯的估計精度。在減少耗時的同時，PWC-Net相對SpyNet也提高了精度。2019年，Yang等人［10］的VCN提出了不同的圖像對匹配方式，也有不錯的精度。文獻［11］對遮擋區(qū)域的前后幀匹配修正來解決了部分遮擋區(qū)域光流估計問題。IRR-PWC［12］是PWC-Net的一個改進，主要通過迭代的思想融合前后幾幀信息從而提高光流估計的精度，但其估計速度相對較慢。

無人系統(tǒng)作為近期的熱門研究方向一直備受關注，使用無人車、無人機進行自主導航、目標跟蹤時若能使用光流估計數(shù)據則能大幅提高無人系統(tǒng)自主運行時的可靠性，現(xiàn)有的光流估計方法雖然就傳統(tǒng)的計算方法已經大幅提高速度，但是依舊無法滿足無人系統(tǒng)環(huán)境下深度學習邊緣計算硬件設備的使用需求。

為了在不損失精度的情況下進一步減少耗時以及縮小模型大小，本文提出DS-PWC網絡結構。本文算法使用了Google［13～15］提出的深度可分離二維卷積層代替常規(guī)卷積層構建光流預測網絡的主干；同時增加了網絡間權重系數(shù)，減輕了高層金字塔網絡和加強低層金字塔網絡的預測結果對其上一層網絡的影響，使得損失能夠收斂在更低的值。而使用深度可分離卷積解耦網絡可大幅降低卷積所帶來的計算量和參數(shù)量。圖1所示是本文使用DS-PWC網絡最終的預測效果。在預測效果不遜色于PWC-Net的情況下大幅提高預測速度。其中，（a）（b）為相鄰幀的圖像對，（c）為模型預測的光流可視化圖，（d）為真實光流的可視化圖。

4 實驗結果與分析

4.1 評價標準

EPE（end-point error）［19］是指同一個像素點的預測光流矢量（u1，v1）與真實光流矢量（u0，v0）之間的距離，用來度量預測結果的精準度。

EPE=（U1-U0）2+（V1-V0）2（12）

AEPE是光流圖像中每個對應像素端點誤差的平均值。

AEPE=EPE（13）

FPS是指每秒能夠預測的光流幀數(shù)。幀數(shù)越高，計算速度越快，預測間距越小，越能保證算法的實時性。

4.2 消融實驗

4.2.1 數(shù)據增強

本文設置兩組對照實驗，DS-PWC在Sintel數(shù)據訓練集上進行訓練，使用相同的訓練策略Sft。一組為進行數(shù)據增強學習，一組使用原數(shù)據集學習。訓練后的結果分別在Sintel訓練集和FlyingChairs數(shù)據集上進行測試。測試結果如圖8、9所示。

未經過圖像增強的預測模型在訓練集與經過圖像增強的預測模型準確率相似。而后者在測試集上的預測準確度要高于前者。本文的圖像增強方法能有效地提高模型的泛化能力。

4.2.2 金字塔權值改進

本文設置了兩組對照實驗，使用PWC原始金字塔結構和加權金字塔結構模型進行相同訓練，使用相同的學習率0.000 05，在相同的Sintel訓練集上訓練。由于最頂層第六層不會有來自更上一層的光流輸入，所以采用第五層損失值曲線體現(xiàn)收斂效果。如圖10所示，多層權值結構能夠使損失值收斂在更低的值。

4.3 實驗結果與分析

本文方法和DS-PWC模型在最新的公共基準數(shù)據集進行了測試和比較。經過了訓練策略中的兩種數(shù)據集的基礎訓練后，在Sintel中進行微調訓練，將圖片和真實光流進行同步的隨機裁剪為768×384，并且對數(shù)據集進行了色彩增強、上下翻轉、圖像和對象感知隨機擦除的數(shù)據增強操作。最后將訓練后的卷積神經網絡模型作為本文結果，預測結果如圖1所示。

在撰寫本文時，DS-PWC在MPI-Sintel的基準測試中是PWC-Net等方法中速度最快的，光流估計效果如圖1所示。DS-PWC使用深度可分離卷積結構重構光流估計網絡，能保持平均端點誤差為4.47的情況下?lián)碛忻看晤A測0.017 s的計算速度，達到了58.8 fps的計算幀率。使得模型參數(shù)從原來的8.63 MB降到了1.96 MB，是PWC-Net參數(shù)量的0.22倍。網絡體積僅為8.5 MB。與SpyNet相比，參數(shù)量雖略高于此網絡，但精準度卻明顯高于此網絡。與VCN相比，DS-PWC的平均端點誤差略微遜色，但是其擁有更快的預測速度、更小的模型容量，最重要的是DS-PWC的光流估計速度比PWC-Net提高了76%。

DS-PWC的模型參數(shù)減少量和預測速度減少量未成線性關系，其原因與GPU特性相關。GPU在訓練時以每一層結構為單位導入參數(shù)，解耦網絡結構在減少網絡參數(shù)的同時也會增加網絡的層數(shù)，也就是增加GPU讀取緩存數(shù)據的次數(shù)，所以網絡層數(shù)的增加會為GPU預測光流帶來一定的負擔，帶來的減益效果會抵消部分減少參數(shù)所帶來的時間縮短。性能效果對比如表2所示。

5 結束語

為了提高光流估計在嵌入式及微型電腦平臺上的可用性，本文提出了一種基于PWC-Net的光流估計改進網絡結構。一是將常規(guī)二維卷積結構解耦為深度可分離卷積；二是構造光流估計層和大位移估計層之間的改進殘差網絡結構。兩種改進方法結合能夠大幅降低模型參數(shù)和存儲空間，提高模型的預測速度。使用卷積特征圖代替原始輸入以及使用扭曲估計方法生成光流特征圖和改進的金字塔輸入輸出結構能夠提高模型的估計精度和訓練時的收斂速度。此外，為了提高模型的泛化能力、魯棒性、真實性，對數(shù)據和標簽進行了同步的隨機裁切、隨機翻轉、色彩增強，圖像和對象感知隨機擦除，使改進后的網絡能夠在網絡精度較為優(yōu)秀的同時還能大幅減小網絡參數(shù)及其存儲空間，提高了大位移移動和遮擋下的光流估計能力，可用于無人機的光流懸停和視覺避障的物體識別上。接下來，將DS-PWC應用在機器人導航等應用場景，在實際的復雜工程問題上進行優(yōu)化，如訓練時間較長、迭代次數(shù)多、小位移估計精度優(yōu)化問題是下一步的研究重點。

參考文獻：

［1］Horn B，Schunck B G.Determining optical flow［J］.Artificial Intelli-gence，1981，17（1-3）：185-203.

［2］Brox T，Bruhn A，Papenberg N，et al.High accuracy optical flow estimation based on a theory for warping［C］//Proc of European Confe-rence on Computer Vision.2004.

［3］Black M J，Anandan P.The robust estimation of multiple motions：pa-rametric and piecewise-smooth flow fields［J］.Computer Vision and Image Understanding，1996，63（1）：75-104.

［4］Bailer C，Taetz B，Stricker D.Flow fields：dense correspondence fields for highly accurate large displacement optical flow estimation［C］//Proc of International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015：4015-4023.

［5］Dosovitskiy A，F(xiàn)ischer P，Ilg E，et al.Flow net：learning optical flow with convolutional networks［C］//Proc of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：2758-2766.

［6］Ronneberger O，F(xiàn)ischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin：Springer，2015：234-241.

［7］Ilg E，Mayer N，Saikia T，et al.FlowNet 2.0：evolution of optical flow estimation with deep networks［C］//Proc of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1647-1655.

［8］Ranjan A，Black M J.Optical flow estimation using a spatial pyramid network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：4161-4170.

［9］Sun Deqing，Yang Xiaodong，Liu Mingyu，et al.PWC-Net：CNNs for optical flow using pyramid，warping，and cost volume［C］//Proc of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：8934-8943.

［10］Yang Gengshan，Ramanan D.Volumetric correspondence networks for optical flow［C］//Proc of the 33rd Conference on Neural Information Processing Systems.2019.

［11］Ilg E，Saikia T，Keuper M，et al.Occlusions，motion and depth boundaries with a generic network for disparity，optical flow or scene flow estimation［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：614-630.

［12］Hur J，Roth S.Iterative residual refinement for joint optical flow and occlusion estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：5754-5763.

［13］Chollet F.Xception：deep learning with depthwise separable convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017.

［14］Howard A G，Zhu Menglong，Chen Bo，et al.MobileNets：efficient convolutional neural networks for mobile vision applications［C］//Proc of Computer Vision and Pattern Recognition.2017.

［15］Guo Jianbo，Li Yuxi，Lin Weiyao，et al.Network decoupling：from regular to depthwise separable convolutions［C］//Proc of British Machine Vision Conference.2018.

［16］Jaderberg M，Simonyan K，Zisserman A，et al.Spatial transformer networks［C］//Advances in Neural Information Processing Systems.2015.

［17］Mayer N，Ilg E，Hausser P，et al.A large dataset to train convolutional networks for disparity，optical flow，and scene flow estimation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：4040-4048.

［18］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Identity mappings in deep residual networks［C］//Proc of European Conference on Computer Vision.2016：630-645.

［19］Baker S，Scharstein D，Lewis J P，et al.A database and evaluation methodology for optical flow［J］.International Journal of Computer Vision，2011，92（1）：1-31.

［20］張聰炫，周仲凱，陳震，等.深度學習光流計算技術研究進展［J］.電子學報，2020，48（9）：1841-1849. （Zhang Congxuan，Zhou Zhongkai，Chen Zhen，et al.Research progress of deep learning optical flow computing technology［J］.Acta Electronica Sinica，2020，48（9）：1841-1849.）

［21］Zhong Zhun，Zheng Liang，Kang Guoliang，et al.Random rising data augmentation［C］//Proc of Association for the Advancement of Artificial Intelligence.2020.

［22］Sun Deqing，Yang Xiaodong，Liu Mingyu，et al.Models matter，so does training：an empirical study of CNNs for optical flow estimation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（6）：1408-1423.