基于可變形卷積的偵察視頻增強方法

趙彥杰，崔海斌，陳 振，諶德榮,宮久路

(1.北京理工大學，北京 100081；2.中國人民解放軍91515部隊，海南 三亞 572099)

0 引言

小型低功耗偵察平臺在獲取偵察視頻的過程中，由于高壓縮比的有損壓縮以及無線信道產生的誤碼，解壓縮后的視頻中會出現模糊、噪聲、塊效應等失真現象，導致解碼視頻質量較差，不利于對偵察目標的識別與處理。對壓縮視頻進行增強處理能夠有效提高偵察視頻的質量。

目前，基于深度學習的視頻增強方法發展迅速且效果良好，根據利用視頻幀數量的不同可以分為兩類：第一類方法是基于單幀的視頻增強方法[1-2]，這些方法利用單幀圖像的空間相關性來增強圖像質量，但是沒有利用其他相鄰視頻幀的時空相關性，對于偵察視頻的整體性能提升還是有限的；第二類方法是基于多幀的視頻增強方法，該類方法利用相鄰視頻幀間的時空相關性來增強目標視頻幀的質量。這類方法首先估計相鄰視頻幀的運動，然后對相鄰視頻幀進行運動補償，最后融合補償后的相鄰視頻幀的信息來增強目標視頻幀的質量，其關鍵在于視頻幀運動估計的是否準確。根據運動估計的方法不同可以分為基于顯式運動估計的增強方法和基于隱式運動估計的增強方法兩種。

基于顯式運動估計的增強方法主要利用光流網絡預測出相鄰幀相對于目標幀之間的逐像素運動向量，以運動向量的形式代表時間維度上的相關關系[3-4]；但是，壓縮后視頻中出現的模糊、塊效應等失真現象，會使得光流預測得不準確，導致神經網絡不能完成準確的運動估計與補償，最終視頻幀增強的效果有限。

基于隱式運動估計的增強方法一般采用插值或有效的特征提取模塊，將運動估計與卷積操作相結合，省去了光流估計[5-6]。當前，該類方法的主要發展趨勢是采取有效的時空特征提取方案，借助相鄰幀與目標幀之間的時空相關性增強目標幀的質量。

為了充分利用相鄰視頻幀間的時空相關性，增強偵察視頻的質量，提出一種基于可變形卷積的偵察視頻增強方法。

1 可變形卷積

可變形卷積[7-8]基于普通卷積的空間采樣位置增加了自適應學習的水平方向和垂直方向的偏移，使得采樣位置形成的形狀不再是固定的矩形，后來還為每一個位置的偏移增加了注意力機制，即調制因子。因此，可變形卷積可以適應目標的位移和幾何變形，更有效地從目標區域提取特征。

普通卷積和可變形卷積的采樣位置對比如圖1所示。

圖1 普通卷積和可變形卷積采樣位置比較Fig.1 Comparison of sampling position between ordinary convolution and deformable convolution

對于卷積核大小為s的可變形卷積，一共有s2個采樣位置，wk和pk分別表示普通卷積第k個采樣位置的權重和距離采樣中心點的偏移量，pk∈{(-1,-1),(-1,0)，…，(1,1)}(以s=3為例)。令x(p)和y(p)分別代表輸入特征x和輸出特征y在位置p處的特征，可變形卷積方程如式(1)所示。

(1)

式(1)中，Δpk和σk分別表示對于第k個采樣位置自適應學習的偏移和調制因子，當p+pk+Δpk不為整數時，x(p+pk+Δpk)處的值通過雙線性插值的方法給出。

2 偵察視頻增強方法

(2)

圖2 視頻增強網絡結構Fig.2 Structure of video enhancement network

2.1 分組預測模塊

由于視頻幀間物體的運動，與目標幀中待增強的區域相比，參考幀中對應的區域經歷過一定的位移和變形，且每一個參考幀所經歷的位移和變形一般均不相同，為避免與其他參考幀的信息混合，需要針對每一個參考幀預測出專屬的偏移和調制因子，因此，將每一參考幀與目標幀進行兩兩配對分組，共分成2R+1組，分別送入預測網絡，輸出該參考幀對應的偏移Δpk和調制因子σk。

預測網絡主要是由跳躍連接的“編碼器-解碼器”(Encoder-Decoder)[9]的結構組成，如圖3所示。目標區域由于位移和變形，兩個圖像中目標區域位置已經改變，所以需要感受野較大的神經網絡提取特征，計算偏移和調制因子。因此，本模塊選擇Encoder-Decoder結構的網絡進行特征提取和預測，該網絡通過多次上采樣和下采樣，具備融合多尺度特征的特性，適應不同尺度的目標。由于跳躍連接，代表圖像整體結構的深層特征又可以融合代表圖像細節的淺層特征，在具備更大感受野的同時，還能保持一定的語義特征。

圖3 預測網絡結構Fig.3 Structure of prediction network

通常，Encoder-Decoder網絡的上采樣采用步長為2的轉置卷積，下采樣采用步長為2的普通卷積。但是，普通卷積的步長為2時會遺漏部分特征信息，根據文獻[10]可知，步長為2的轉置卷積經常會引入干擾，導致生成的圖像產生棋盤效應。因此，為了更好地提取、保留特征信息，本文采用像素混洗(PixelShuffle)和像素反混洗(PixelUnShuffle)[11]操作來進行上下采樣。兩種操作都是利用通道維度來存儲或彌補長和寬維度在上下采樣時多余或缺少的信息。例如，對于維度為(B，C，H×r，W×r)的特征圖，r表示下采樣或上采樣的倍數，經過PixelUn Shuffle下采樣后，特征圖的維度變為(B，C×r2，H，W)，再經過PixelShuffle上采樣后，特征圖維度變為(B，C，H×r，W×r)。對于某輸入圖像，經過下采樣和上采樣后得到的特征圖如圖4所示，特征圖含有多個通道，這里只取其中一個通道示意(后續特征圖、殘差圖同理)。

圖4 上/下采樣后的特征圖Fig.4 Feature map after up/down-sampling

2.2 時空特征融合模塊

時空特征融合模塊利用預測網絡輸出的每一參考幀的運動特征估計，即偏移和調制因子，對所有參考幀進行可變形卷積操作，來有效地提取和融合相鄰視頻幀間的時空相關性。

預測網絡針對每一參考幀的特征輸出維度為(B，3s2，H，W)，其中，偏移Δpk的維度為(B，2s2，H，W)，調制因子σk的維度為(B，s2，H，W)，偏移包括水平方向的偏移和垂直方向的偏移。時空特征融合模塊的處理流程如圖5所示，對2R+1幀視頻圖像，分別應用其專屬的通過預測網絡預測出的偏移和調制因子，進行可變形卷積，通過卷積操作能夠融合多幀圖像的時空特征，得到融合后的特征Ft0，融合特征圖見圖6。

圖5 時空特征融合模塊處理示意圖Fig.5 Schematic diagram of spatio-temporal feature fusion module processing

圖6 融合特征圖Fig.6 Fused feature map

2.3 質量增強模塊

圖7 質量增強網絡結構Fig.7 Structure of quality enhancement network

圖8 質量增強網絡殘差圖Fig.8 Residual map of quality enhancement network

2.4 損失函數

由于該網絡模型的模塊都是完全卷積的，因此是可微的，我們以端到端的形式進行共同優化。為了同時降低像素誤差和感知誤差，整體損失函數L結合了Charbonnier損失函數(L1損失函數)和多尺度結構相似度(multi-scale structural similarity，MS-SSIM)LMS-SSIM損失函數，如下式所示：

L=α·LMS-SSIM+(1-α)·L1，

(3)

式(3)中，α為權重因子。

(4)

式(4)中，η是一個非常小的正數，可以避免梯度消失。

為了增加對重建圖像結構的保持，使之更符合人眼的視覺感受，使用基于多尺度結構相似度的損失函數來降低感知誤差。基于MS-SSIM的損失函數定義如下：

(5)

式(5)中，MS-SSIM()表示計算實際值與目標值之間的多尺度結構相似度。

3 模型訓練與測試

訓練和測試時所用的服務器配置：CPU為Intel Xeon，10核20線程，頻率為2.4 GHz，GPU為Nvidia RTX 2080ti，11 G顯存，內存為DDR4 128 G。

3.1 數據集準備

本節使用文獻[4]中的數據集，視頻收集自Xiph等機構或網站，這些視頻常被應用在視頻質量測試等領域，內容和分辨率涵蓋范圍廣。數據集中包含108個視頻作為訓練集，11個視頻作為測試集，另外，還增加了6個無人機拍攝的偵察視頻作為測試集。使用HEVC[13]的參考實現HM16.5的低延遲模式對視頻進行壓縮，以模擬偵察視頻，對數據集處理時使用的量化參數(quantization parameters，QP)為37。

3.2 模型訓練

使用Pytorch 1.2框架實現整個網絡，其中可變形卷積模塊來自EDVR[14]。在訓練時從壓縮后和未壓縮視頻中隨機剪裁168×168的圖像塊作為訓練數據。訓練中優化器選擇Adam，卷積核大小s=3，參考幀的半徑R=3，損失函數中α=0.8，η=1×10-6。每個實驗均在訓練集上遍歷400次，批次大小設置為16，學習率設置為1×10-4，未使用任何學習率衰減算法。定量效果的評估準則為PSNR和SSIM，PSNR計算公式為

(6)

式(6)中，MSE表示圖像I和K殘差值的平方，

(7)

SSIM計算公式為

SSIM(I,K)=L(I,K)·C(I,K)·S(I,K)，

(8)

(9)

(10)

(11)

式中，uI和uK分別表示圖像I和K的均值，σI和σK分別表示圖像I和K的標準差，σIK表示圖像I和K的協方差，C1、C2、C3為常數，避免分母為0。

3.3 測試結果

3.3.1消融實驗

為驗證分組預測方案和密集連接網絡結構的有效性，進行消融實驗。所有的模型都按照相同的訓練策略進行訓練測試。

首先，為了驗證分組預測方案的有效性，不再將每一參考幀與目標幀進行配對分別送入預測網絡中，而是將參考幀和目標幀串聯，共同送入預測網絡，預測出參考幀共同的偏移和調制因子，網絡其余部分保持不變，其網絡模型記為No_Group。然后，為了驗證密集連接網絡結構的有效性，將密集連接網絡變為相同層數的普通卷積，網絡其余部分保持不變，其網絡模型記為No_Dense。

實驗結果見表1。根據表格的第一行和第三行數據，可以看出分組預測方案可以更準確地提取和融合參考幀的時空特征，提高目標幀的增強效果。此外，從表格的第二行和第三行數據中，可以看出密集連接網絡結構可以充分利用來自參考幀的時空特征，并重建出高質量的目標幀。

表1 消融實驗結果Tab.1 Results of ablation experiments

3.3.2對比實驗

在本節中，選擇具有代表性的基于單幀的視頻增強網絡Dn-CNN[2]和基于多幀的視頻增強網絡STDF[6]來進行對比實驗。實驗結果如表2—表5所示，實驗結果表明，本文提出的網絡的增強效果在PSNR和SSIM指標上分別比Dn-CNN網絡高出0.81 dB和0.036 4，比SDTF網絡高出0.16 dB和0.009 6，增強效果要優于經典的壓縮視頻增強方法。

表2 416×240分辨率視頻實驗結果Tab.2 Experiment results of 416×240 resolution video

表3 832×480分辨率視頻實驗結果Tab.3 Experiment results of 832×480 resolution video

表4 1 280×720分辨率視頻實驗結果Tab.4 Experiment results of 1 280×720 resolution video

表5 無人機拍攝視頻實驗結果Tab.4 Experiment results of video taken by UAU

3.3.3結果可視化

為驗證本文提出網絡模型的主觀增強效果，對無人機拍攝的偵察視頻進行了增強處理，結果如圖9所示。

圖9 增強前后圖像對比Fig.9 Comparison image before and after enhancement

可以看出：偵察視頻因各種壓縮偽影而失真；Dn-CNN網絡去除壓縮偽影較為徹底，但是圖像紋理細節丟失嚴重；STDF網絡在增強時雖然能夠較好地保留圖像細節，但是壓縮偽影去除不夠徹底；本文提出的網絡可以充分利用相鄰視頻幀間的時空相關性，在保持圖像紋理細節的同時較為徹底地去除壓縮偽影，提升偵察視頻的質量。

4 結論

本文提出一種基于可變形卷積的偵察視頻增強方法。該方法通過基于編碼器-解碼器結構的分組偏移預測網絡能夠準確地捕捉相鄰視頻幀在不同尺度下的運動特征；利用可變形卷積能夠適應運動目標的位移和幾何變形，可以有效地提取相鄰視頻幀間的時空相關性；使用密集連接的增強網絡能夠充分利用相鄰視頻幀間的時空相關性，重建出高質量的視頻幀。實驗結果表明，該方法的增強效果在PSNR和SSIM指標上要優于其他經典的壓縮視頻增強方法。