基于結(jié)構(gòu)分解的端到端水下視頻壓縮方法

李 擎

（福州大學，福建 福州 350000）

0 引 言

海洋和人類的生活息息相關，緊密相連。海洋占全球面積的71%，體積高達14億立方公里，規(guī)模比陸地大。海洋是現(xiàn)今各個國家新的發(fā)展空間。海洋除了蘊含豐富的礦物、生物、氣體等資源外，其遼闊的海域還是交通的要道、邊土防御的天然屏障，可以說，海洋開發(fā)潛力巨大，在現(xiàn)今陸上資源日益匱乏的狀況下，海洋資源已經(jīng)愈發(fā)成為全球新的經(jīng)濟與科技發(fā)展的新動力源[1]。

水下視頻信號的壓縮與傳輸在水下環(huán)境具有極其廣泛的應用，如沿海軍事和戰(zhàn)術多媒體監(jiān)測、海底和海上資源的勘探、石油管道和橋梁檢查、海底到海界面地質(zhì)的生物過程和農(nóng)業(yè)漁業(yè)養(yǎng)殖方面的視頻監(jiān)測，這些都需要實時水下視頻資源來協(xié)助采集和分類。但是，由于水下頻譜的限制和聲學信道的易誤差特性，在現(xiàn)今水下惡劣復雜的帶寬環(huán)境下實現(xiàn)大量高效和可靠的視頻數(shù)據(jù)傳輸是一個巨大的挑戰(zhàn)。在水下環(huán)境，射頻波會被吸收幾十米及以上的距離，而光波需要較為狹窄的激光束，在水下環(huán)境會遭受光散射和海浪不規(guī)則運動[2]。聲波在水下環(huán)境具有良好的傳播特性，由于光波和電磁波無法在水中很好地發(fā)揮作用，在某些水下場景中，聲學是能夠進行水下無線通信的技術[3]。聲波作為最合適的傳輸介質(zhì)，可以傳播幾十公里，使得聲波的水下通信信道非常動態(tài)，但是容易衰落，光譜有限，通帶帶寬受限，并受到非高斯噪聲的影響，傳輸信道速度大概在100～300 kb·s-1。傳統(tǒng)的視頻壓縮傳輸技術受到水下較差的光照條件、水造成的模糊、視頻幀遮擋和抖動、不同地質(zhì)環(huán)境之間形狀和紋理的相似性、不規(guī)則移動的水生動植物和背景的混亂方面的挑戰(zhàn)，嚴重阻礙了傳統(tǒng)技術在現(xiàn)實水下場景中的應用[4-5]。

由于水下環(huán)境惡劣復雜，可見度低等因素，人類自身無法在水下自由開展水下活動以獲取有效資源[6]，因此水下活動的正常開展需要借助水下無人機（Autonomous Underwater Vehicle，AUV）和圖像視頻拍攝設備來進行，水下圖像及視頻壓縮傳輸?shù)南嚓P技術對于水下無人機（AUV）獲取周圍水環(huán)境和有效資源信息起著重要的作用[7]。水下視頻的信息便于觀察，所含內(nèi)容豐富，便于人類觀察和獲取水下環(huán)境中的有效信息，做到對水下各類資源和有效信息的高效監(jiān)控、利用和及時應對。水下視頻傳輸有著時延長、波動較大等問題，如何在有限的帶寬和復雜的環(huán)境下提高傳輸效率，成為水下視頻傳輸?shù)年P鍵問題。

近年來，水下視頻拍攝設備不斷進步，在水下惡劣的傳輸帶寬條件下，視頻清晰度的提高使得傳輸整幅高清晰的圖像可能會存在一定的延遲，難以保證實時性。因此必須將傳統(tǒng)視頻壓縮傳輸技術和水下惡劣的帶寬條件和復雜情況相結(jié)合分析，來保證水下視頻的有效壓縮傳輸。由于水下視頻傳輸?shù)睦щy，感興趣區(qū)域和目標物的提取在水下視頻傳輸中起著重要作用。為了解決水下視頻傳輸過程中的問題，需要將傳統(tǒng)視頻傳輸技術與水下情況相結(jié)合來考慮。文獻[8]為了適應水下環(huán)境低帶寬的情況，基于小波變換提出了一種利用運動估計和運動補償來去除壓縮傳輸過程中水下視頻中冗余的方法。NJIKI-NYA PATRICK等人[9]將視頻幀分為紋理區(qū)域和非紋理區(qū)域，非紋理區(qū)域采用傳統(tǒng)的基于預測和變換的編碼方式編碼，而對紋理區(qū)域，則并不直接編碼，而是提取出相應的紋理參數(shù)作為邊信息編碼傳輸，在解碼端根據(jù)解碼得到的紋理參數(shù)進行紋理合成重建，在保證解碼視頻幀主觀質(zhì)量的同時，大幅降低了碼率。JONGHYUN AHN等人[10]使用水下自主航行器（AUV）傳輸水下視頻時對視頻中感興趣區(qū)域和目標進行選擇并且對水下視頻中視頻幀圖像顏色衰減和光照不均勻等問題進行了優(yōu)化。MEHDI RAHMATI等人[11]采用可伸縮編碼和多個水下航行器（AUV）的網(wǎng)絡內(nèi)共享來傳輸重建感興趣區(qū)域的水下視頻幀，克服了光波散射和海浪運動等困難。這些方法都能比較好地傳輸重建水下視頻的內(nèi)容，但是在目標物和感興趣區(qū)域的提取和加強上還有所不足。

為了解決目前還存在的技術問題，彌補當前的不足，進一步提高水下視頻的傳輸性能，本文基于水下視頻幀中關注度和感興趣區(qū)域的提取，利用一種基于結(jié)構(gòu)分解的端到端水下視頻壓縮傳輸方法使傳輸過程中感興趣部分圖像的失真盡量小，壓縮傳輸所得到的視頻中的內(nèi)容能夠更加符合人類視覺感官。利用水上高計算能力的計算機，可以實現(xiàn)對傳輸視頻較好的重建效果，可以實現(xiàn)更好的實時傳輸。

1 水下視頻壓縮方案框架設計

本文算法包括編碼端的結(jié)構(gòu)分解和解碼端的重構(gòu)合成。在編碼框架中，輸入的水下視頻被分解成基本輪廓和細節(jié)紋理兩個部分，基本輪廓是視頻幀圖片中感興趣區(qū)域和目標物的大致輪廓和邊緣部分，細節(jié)紋理則是色彩和圖片的細節(jié)紋理。對輸入的水下視頻幀分解的兩部分分別進行增強處理后，進行端到端的視頻幀傳輸，最終在解碼端合成，生成重建后的水下視頻幀圖像。算法框架如圖1所示。結(jié)構(gòu)分解后，兩部分內(nèi)容分別通過端到端的水下視頻壓縮學習網(wǎng)絡進行深度學習壓縮傳輸，由于壓縮后傳輸?shù)囊曨l幀圖片大小大大減小，并且分成了兩個結(jié)構(gòu)部分分別進行傳輸，本文的方法只需要傳輸高質(zhì)量的感興趣區(qū)域和目標部分，其他背景區(qū)域進行低質(zhì)量傳輸，因此可以降低傳輸所需碼率，克服了水下帶寬條件苛刻的情況。重建后的水下視頻幀由于經(jīng)過傳輸前的增強處理，重建結(jié)果圖片在光照顏色和清晰度方面更能顯現(xiàn)出感興趣區(qū)域和目標物。算法流程包含基于結(jié)構(gòu)分解的水下視頻幀增強預處理和端到端的水下視頻壓縮學習網(wǎng)絡兩部分方法，將在下面章節(jié)進行介紹。

圖1 算法框架整體流程

2 基于結(jié)構(gòu)分解的端到端水下視頻壓縮傳輸方法

由于水下環(huán)境條件惡劣，水下視頻的傳輸會因為帶寬較低和時延長等原因受阻，水下視頻幀往往會因為水下光照條件差、雜質(zhì)較多等諸多因素產(chǎn)生噪聲和偽影等干擾。光在水下環(huán)境中容易被吸收并發(fā)生散射，使得圖像色調(diào)偏向藍綠色。水中漂浮的雜質(zhì)粒子也會使得光波在水下發(fā)生前向或背景散射，使得圖像往往出現(xiàn)視覺失真，如低對比度、顏色失真和霧霾樣效應[12-13]，使得傳輸?shù)乃乱曨l幀內(nèi)容中感興趣區(qū)域和目標模糊，不容易被識別，因此重建還原效果欠佳，無法得到真實清晰的水下視頻幀。由于水下環(huán)境造成圖像質(zhì)量差，傳統(tǒng)的傳輸方法重建的水下視頻幀與真實情況的視頻幀可能偏差較大，造成壓縮傳輸后的視頻質(zhì)量欠佳。為了改善水下視頻壓縮傳輸質(zhì)量，本文對輸入的水下視頻進行結(jié)構(gòu)分解增強處理，分別傳輸分解后的兩部分內(nèi)容，有利于降低傳輸視頻所需碼率；增強處理后進行壓縮傳輸，可以使得重建后的水下視頻幀在視覺感官效果上得到提升。

本文的方法將輸入的水下視頻幀視為I(x,y)，經(jīng)過結(jié)構(gòu)分解[14]后的高頻邊緣輪廓部分和低頻細節(jié)紋理色彩部分分別視為IH(x,y)和IL(x,y)。

經(jīng)過分別增強處理后[14]的兩部分組成分別表示為JH(x,y)和JL(x,y)，則上式轉(zhuǎn)換成

而在水下光學成像方面，JAFFE[15]和MCGLAMARY[16]提出的三分量模型中，相機拍攝的總能量ET(x,y)的定義為：

式中：Ed(x,y)，Efs(x,y)、Ebs(x,y)分別表示直向亮度分量、前向散射分量、背景散射分量。

由于水下場景和攝像機的距離通常較大，可以忽略前向散射分量的影響，然后考慮直接亮度分量和背景散射分量。因此，式（3）得以簡化為：

式中：Iλ表示捕捉到的水下視頻幀圖片，Tλ表示傳輸圖，Bλ表示圖片的全局背景光。由此，將增強后的式（4）代入式（1）、（2），就可以得到：

之后增強后的式（5）就可以表示為以下兩部分：

式（6）、式（7）分別代表高頻和低頻分量的物理模型。

將兩部分增強處理后經(jīng)過端到端的壓縮學習網(wǎng)絡傳輸，最后生成接近真實情況的水下圖像J(x,y)。

端到端的視頻壓縮學習方法由視頻編碼標準[17-18]驅(qū)動，利用了運動補償來減少空間冗余度，兩個壓縮網(wǎng)絡分別對運動和殘余信息進行壓縮。總體網(wǎng)絡框架如圖2所示，各個模塊及其功能如下。

圖2 壓縮學習傳輸網(wǎng)絡框架

2.1 運動估計

利用光流法[19]來對當前視頻幀以及當前幀的前一幀進行運動估計，光流法較大的接受域有利于視頻壓縮網(wǎng)絡有效地處理較大的運動。視頻壓縮框架的光流網(wǎng)絡是一個5級的金字塔網(wǎng)絡，每一層包含5個卷積層，角形大小為7×7，每層所包含的濾波器數(shù)量分別為32、64、32、16、2。

2.2 運動壓縮

運動估計后，本文的方法采用自動編碼器[20-21]來對其進行壓縮，編碼器含有4個卷積層和與之對應的上采樣，前3個卷積層采用逆GDN[20]激活函數(shù)，濾波器的大小設置為3×3。運動壓縮網(wǎng)絡中，解碼器最后一層和其他層的濾波器數(shù)分別為2、128，以此來重建出運動向量，實現(xiàn)編解碼用于運動壓縮。由于使用了因子分解的嫡模型[20]，本文的方法對輸入和輸出圖片的分辨率要求較低，只需要輸入16的倍數(shù)的高度和寬度的圖片即可。并且，本文使用的因子分解的嫡模型替換了原先的超先驗模型，但是在性能上并沒有下降。

2.3 運動補償和殘差壓縮

根據(jù)文獻[20]所述，參考幀先被壓縮運動處理，運動補償網(wǎng)絡以參考幀、被壓縮運動處理后的參考幀以及壓縮運動作為輸入，來生成對應的運動補償幀，本文的框架則符合文獻[20]中的架構(gòu)。所有層的濾波器都被設置成3×3的大小，最后一層以及其他層的濾波器數(shù)量分別為3和64，并都有步幅為2的上下采樣。運動補償后，可以通過作補償參考幀與當前原始幀的差來得到殘差。在端到端視頻壓縮框架中，本文運用與運動壓縮相同的方法來進行殘差壓縮，唯一不同的是，因為殘差比運動包含更多的信息，在運動補償中，將濾波器的大小設置為3×3，而在殘差壓縮中，將濾波器大小設置為5×5，這樣可以容納產(chǎn)生的較大的比特率，并且更大的濾波器提高了自動編碼器的性能。最后，將殘差添加到補償后的參考幀中，傳輸后增強的邊緣部分和紋理細節(jié)部分，經(jīng)過卷積和計算后得到最終重建的水下視頻幀。

3 實驗與性能

基于結(jié)構(gòu)分解的水下視頻幀增強網(wǎng)絡，使用Matlab和PyTorch平臺進行實驗訓練，數(shù)據(jù)集采用真實描述水下情況的水下視頻數(shù)據(jù)集shark、UMD RAM Qudo Uuderwater Vision以及Brackish數(shù)據(jù)集來進行，數(shù)據(jù)集包含大量的1 920×1 088分辨率的水下魚類、人及其他物品的視頻幀。首先利用Matlab將數(shù)據(jù)集中分解得到的視頻幀分解成結(jié)構(gòu)分量增強，而后在PyTorch平臺上對兩個結(jié)構(gòu)分量增強后的部分進行壓縮學習和傳輸后合成最終的視頻幀。增強處理后的視頻幀分為7個視頻幀一組進行訓練，測試集所用部分不在訓練集中。

實驗采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）來評估壓縮傳輸后重建的水下視頻幀的質(zhì)量，bpp代表每個像素的比特，重建后的結(jié)果與H.264和H.265的結(jié)果進行比較，如圖3所示。結(jié)果表明，本文的方法在傳輸水下視頻的時候性能優(yōu)于H.264的結(jié)果，略差于H.265，但是在bpp較高的情況下性能接近。

圖3 本文方法和H.264與H.265的性能比較

4 結(jié) 語

由于水下的惡劣環(huán)境與條件，水下視頻傳輸受帶寬較低和時延長等因素的干擾，水下視頻幀由于光照條件差、雜質(zhì)較多等諸多因素產(chǎn)生噪聲和偽影，使得采用傳統(tǒng)方法傳輸?shù)乃乱曨l幀內(nèi)容中感興趣區(qū)域和目標模糊、不容易被識別，導致重建還原效果欠佳，無法得到真實清晰的水下視頻幀。為了改善水下視頻壓縮傳輸質(zhì)量，本文提出了一種基于結(jié)構(gòu)分解的水下視頻壓縮學習傳輸方案，使得壓縮傳輸后的水下視頻在視覺感官等方面有了較好的性能提升。