基于深度體素流的模糊視頻插幀方法

林傳健，鄧 煒，童 同，高欽泉，*

（1. 福州大學物理與信息工程學院，福州350116； 2. 福建省醫療器械與醫藥技術重點實驗室（福州大學），福州350116；

3. 福建帝視信息科技有限公司，福州350116）

（*通信作者電子郵箱gqinquan@fzu.edu.cn）

0 引言

隨著科技發展，生活水平提升，人們可以隨時隨地觀看視頻，對視頻質量的要求也越來越高。而視頻插幀正是計算機視覺在視頻增強中的一個典型應用。視頻是由一系列內容連續的靜態圖像按照一定的時序連貫組成，插幀任務將視頻中每每兩幀連續幀作為輸入，利用幀間信息預測出中間幀，從而重制出幀率更高且畫面更加連貫的視頻。對于視頻插幀這個研究熱點，難點在于如何快速精確生成中間幀，使源序列在視覺上更加平滑過渡。

近年來隨著人工智能浪潮的興起，各種基于深度學習的視頻插幀思路頻頻提出。FlowNet［1-2］方法最早證明了用卷積神經網絡直接預測幀間光流的可行性，但是在一些特定情況下估計所得光流的精度不夠理想（如運動過大、目標遮擋、光線劇烈變化、模糊等），因此基于光流的插幀方法常常出現像素混亂。另外缺乏準確的光流真值用于訓練也是光流法的一個弊端。Niklaus 等［3-4］通過估計能夠用于捕獲幀間運動與插值系數的空間自適應卷積核以合成中間幀，該方法無需光流監督，且能夠較好地應對局部的運動變化。Liu 等［5］提出用一個卷積神經網絡估計出幀間緊密的體素流，基于體素流直接從兩幀輸入參考幀中拷貝相同的像素，使得合成幀更加清晰真實，同時大大節省了計算量。Jiang 等［6］對幀間的雙向光流進行線性融合從而能夠合成任意時間節點的中間幀，在視頻慢動作應用上效果亮眼。另有研究者探究如何融合利用圖像的深度、背景、邊緣等［7-9］信息更好地保護圖像結構，以獲得更加清晰的插幀效果。上述這些方法雖然能夠初步良好估計出幀間物體的小幅運動，對于畫中目標遮擋情形的處理也有了不小的提升，但針對視頻畫面模糊的情況進行插幀則研究甚少，而往往視頻中的運動模糊會大大影響插幀效果，甚至引起中間生成幀的畫面全盤崩壞。

圖像盲去模糊是一種高度病態問題，許多先驅工作從各種角度出發嘗試解決［10］。尤其近年來深度學習的發展，同樣帶動圖像去模糊任務取得不少新的突破。Kupyn 等［11］將生成對抗網絡的思想應用到去模糊任務之中，其圖像恢復細節更加豐富生動；Nah 等［12］利用多尺度信息融合以學習圖像模糊特征，效果顯著但是網絡相對復雜；Tao 等［13］在此基礎上通過長短時記憶（Long Short-Term Memory，LSTM）級聯多尺度間的模糊-清晰對加強特征學習。圖像去模糊技術開始突破特定場景壁壘慢慢走向實用。

綜上所述，深度學習帶來的多種計算機視覺任務突破為多任務融合的端對端方法打下堅實的基礎，本文即在此背景下，提出針對模糊輸入幀的高質量插幀重制方法，設計了一個完整有序的深度卷積神經網絡，其中去模糊網絡模塊用于提升源圖像質量，插幀網絡模塊對去除模糊之后的參考幀提取有效的幀間信息，依據可靠的體素流估計出理想的中間幀。

本文的主要內容如下:1）針對模糊視頻影響插幀任務性能的背景，制作了適用于模糊插幀的訓練與測試數據集，提出了一種新型的去模糊與插幀相結合的網絡結構；2）訓練并結合了圖像去模糊模型與視頻插幀模型。設計了合適的損失函數和分步聯合訓練策略，使模型有效收斂；3）對比兩組前沿的去模糊算法與插幀算法組合以及本文所提出聯合訓練方法兩個階段的模型，客觀評估指標的提升與可靠的視覺結果驗證本文的工作能夠將兩幀連續模糊輸入幀有效地端對端重制為三幀連貫且清晰的視頻幀序列。

1 網絡設計方案

借鑒最新的研究成果，綜合考慮性能，設計了新型的網絡結構。整體網絡主要由去模糊模塊與插幀模塊兩部分組成。首先將內容連續的兩幀輸入幀分別通過去模糊網絡生成對應清晰幀，接著通過插幀網絡估計出清晰幀之間的體素流，再經過三線性插值計算得到中間幀。下面將詳細闡述整個網絡的結構組成。

1.1 去模糊模塊

關于運動模糊的去除，已有不少可供參考的研究，在去模糊任務中，需要獲取足夠大的感受野以應對劇烈的運動，而網絡一味加深又將造成特征圖過小而難以恢復，參數數量急劇上升導致收斂速度下降等負面效應。U-Net［14］網絡結構最早應用于醫學圖像分割任務，編碼器與解碼器對稱堆疊組合的特殊設計如今也被廣泛應用于視頻超分辨率、圖像修復等其他計算機視覺任務［15-17］。殘差網絡和跳躍連接由He 等［18］提出，通過殘差學習可以使網絡中各層的梯度信息盡可能被傳遞，緩解深層網絡中的梯度消失問題。經過實驗測試權衡，本文的去模糊模塊采用了一種適量殘差塊（ResBlock）堆疊的UNet變形網絡結構。殘差塊的基本結構如圖1所示。

圖1 殘差塊示意圖Fig. 1 Schematic diagram of ResBlock

如圖1 所示，每個殘差塊包含兩個卷積核數相同的卷積層，兩個卷積層間經過ReLU 非線性激活函數。該殘差塊可用式（1）表示:

其中:x表示恒等映射，F（x）表示網絡前向傳播學習到的局部殘差，通過跳躍連接將兩者相加得到殘差塊的輸出結果H（x），并作為下一個殘差塊的輸入。殘差塊的適當堆疊能夠有效提取模糊圖像的深層特征，并且可以解決訓練深層網絡時的梯度消失問題，從而學習清晰圖像與模糊圖像之間的映射關系，最終實現高質量的圖像去模糊功能，保證后續插幀處理初始的可靠性。去模糊模塊框架如圖2所示。

圖2 去模糊模塊框架Fig. 2 Debluring module framework

圖2 中Ib表示輸入的模糊圖像，Is表示輸出的去模糊圖像。該網絡由編碼塊與解碼塊對稱堆疊組合，編碼塊中的卷積層與對應解碼塊的反卷積層通過跳躍連接以融合不同尺度間的信息。每一個編碼塊都由一個卷積層和三個殘差塊依次排列組成，對應的解碼塊由三個殘差塊和一個反卷積層依次排列組成。其中每個卷積層與反卷積層后都接有非線性激活函數ReLU，且卷積核大小均為5×5，以便通過更大的感受野獲得更豐富的全局特征，同時步長設置為1，以保證輸出特征圖與原圖大小一致。具體的各卷積層參數設置如表1 所示。整個過程可用式（2）、（3）近似表示:

其中:NE(·)和ND(·)分別表示帶有超參數θE與θD的編碼器部分網絡與解碼器部分網絡，f表示模糊圖像Ib經過帶有三個編碼塊的編碼器部分網絡得到的特征圖，Is即為特征圖f經過三個解碼塊輸出的去模糊圖像。后續在整體網絡框架中（見圖3）對去模糊模塊框架作簡單表示。

表1 去模糊網絡各卷積層參數設置Tab. 1 Parameter setting of each convolution layer in deblurring network

1.2 基于深度體素流的插幀模塊

在插幀模塊，將對兩幀去除模糊之后的圖像進一步做插幀處理。目前已有不少視頻插幀算法可供參考，比如AdaConv 和SepConv 等［3-4］在引言中已作介紹。深度體素流（Deep Voxel Flow，DVF）模型［5］通過卷積神經網絡從兩幀連續視頻幀預測出體素流圖和掩膜，繼而引導圖像之間的各像素合成更加真實的中間幀，本文嘗試借鑒該方法的思想指導本文插幀部分。

整體網絡框架如圖3 所示，將經過去除模糊的兩幀連續幀聯結作為輸入，插幀模塊部分的網絡結構共有三對編-解碼塊和一個瓶頸塊，每一對編-解碼塊經過跳躍連接加強信息傳遞，除了第一個編碼塊單獨由卷積層構成，每個編碼塊和瓶頸塊由卷積層與最大池化層組成，解碼塊由反卷積層與卷積層組成，各卷積層的參數設置如表2 所示。最后通過一個卷積核大小為1×1的卷積層估計得到通道數為三的幀間體素流。

圖3 整體網絡框架Fig. 3 Overall network framework

體素流F的空域成分代表相鄰幀間的光流，時域成分代表兩個參考幀對于合成中間幀像素的線性混合權重。依據體素流F對相鄰兩幀進行三線性插值合成中間幀，此過程可近似表示如下:

表2 插幀網絡各卷積層參數設置Tab. 2 Parameter setting of each convolution layer in frame interpolation network

圖4 三線性插值示意圖Fig. 4 Schematic diagram of trilinear interpolation

下面闡述體素采樣的過程。如圖4 所示，給定一個體素，前后參考幀光流映射的對應區域有(R0，R1)∈()，坐標區間可分別表示為式（6）:

每個區域的4個頂點Cijk分別表示如式（7）:

由表3數據可以看出，兩組簡單組合算法的模型測試所得指標較于本文算法的模型的結果顯然偏低。對比指標較高的SRN+SuperSlomo，本文方法Ours-stage2所合成中間幀的峰值信噪比提高1.41 dB，結構相似性提升0.020，插值誤差降低2.11，說明本文所提出網絡結構在去模糊與插幀任務上有著顯著作用。而相對的，本文在第一階段通過單獨更新插幀模塊參數的聯合訓練模型（Ours-stage1）在指標上明顯有所提升，而聯合訓練第二階段最終模型（Ours-stage2）取得最佳指標，其合成幀的峰值信噪比較前者提高0.53 dB，同時結構相似性提升0.007，插值誤差降低0.52，說明聯調訓練策略效果顯著。

3.2 主觀視覺對比

本節分別對兩組前沿算法組合的模型及本文聯合訓練兩個階段模型輸出的中間幀進行視覺對比。

如圖6所示，圖6（a）是兩幀模糊的連續輸入幀，內容為少女由前往后轉動腰間的呼啦圈，呼啦圈是圖像中主要的運動物體，即待估計的關鍵目標。圖6（b）是待估計中間清晰幀的真實值，其整體的圖像清晰度高，圖像中呼啦圈的位置契合相鄰幀的運動趨勢。余下四對圖像圖6（c）～（f）為不同算法模型預測的中間幀圖像進行對比分析，它們都一定程度去除了圖像模糊并且作出了對輸入圖像對的中間幀運動估計。

圖6 各算法模型的視覺對比Fig. 6 Visual comparison of each algorithm model

相對的，圖6（c）與（d）兩組算法的模型所預測圖像不能很好地擬合幀間運動變化，導致合成幀中呼啦圈尾部的像素出現大幅錯亂。而本文方法的結果則接近于圖6（b），對呼啦圈形狀的預測更加完整且符合真實世界的運動趨勢。相較于聯合訓練第一階段模型的結果圖6（e），本文第二階段模型所得結果圖6（f）對呼啦圈尾部的預測更加平滑，像素混亂現象微乎其微，整體畫面觀感和諧。

總的來說，本文所用聯合訓練策略提升了對模糊視頻幀序列中間幀的預測質量，取得更為清晰且運動估計更加合理的重制結果。然而圖像模糊經過修復依然不可避免地會丟失一些紋理細節，因此基于重建圖像估計所得中間幀在評估指標和視覺結果沒有達到特別高的精度，這也是不得不面對的挑戰。

3.3 重制序列展示

本節進一步展示了通過本文方法取得的三組重制序列樣例。如圖7 所示，對于每一組樣例，前兩列為輸入的兩幀連續模糊幀，后三列為三幀清晰且視覺連貫的重制幀序列。

由圖7 可見，三組不同模糊程度的兩幀輸入幀經過本文方法進行重制之后，輸出的視頻幀序列畫面中的人與物都轉變清晰，且中間合成幀在內容上符合其前后幀之間的運動趨勢，使得源序列中目標動作更加清晰連貫。方框區域標記了組圖幀間目標的主要運動變化，樣例一（a）中理發師手中的剪刀逐漸抬升；樣例二（b）中化妝女士的眼線筆從眼睛中部緩慢移動到眼角；樣例三（c）中吹頭發女士的眼睛慢慢閉合。上述結果驗證了本文去模糊高幀率重制方法的可靠性與適用性。

4 結語

提出了一種針對模糊視頻的插幀方法。設計了多任務融合的網絡模型，制作了大型的模糊視頻數據集，利用聯合訓練策略使網絡有效收斂。對比了多種模型，測試指標顯著提升，展示了模糊視頻幀序列經過重制取得的良好視效，證明本文提出的同步去模糊高幀率方法的可行性，對未來端對端解決多種問題混合的計算機視覺任務具有一定的參考意義。

下一步研究方向大致如下，將去模糊與插幀兩個過程中的圖像特征提取與信息處理方法進行合理融合以簡化整體網絡、設計更加合理高效的損失函數、加快深度網絡的速度等。