一種有損壓縮車牌圖像重建算法

畢 萍，楊 洋，劉 穎

(1.電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西西安710121;2.陜西省無線通信與信息處理技術(shù)國際合作研究中心，陜西西安710121;3.西安郵電大學(xué)圖像與信息處理研究所，陜西西安710121;4.西安郵電大學(xué)通信與信息工程學(xué)院，陜西西安710121)

有損壓縮(Lossy compression)是一種使用不精確近似來表示編碼內(nèi)容的數(shù)據(jù)編碼方法［1］。在科技信息爆炸的時(shí)代，采用有損壓縮格式存儲(chǔ)數(shù)據(jù)可以節(jié)省帶寬和存儲(chǔ)空間。安防監(jiān)控領(lǐng)域的圖像多為有損壓縮格式。圖像的有損壓縮容易產(chǎn)生方塊偽影，不僅降低了車牌圖像的視覺質(zhì)量，還嚴(yán)重影響以壓縮圖像作為輸入的后續(xù)圖像處理，例如目標(biāo)檢測(cè)［2］、目標(biāo)識(shí)別［3］和圖像檢索［4］等。

車牌數(shù)據(jù)均采用JPEG壓縮處理。JPEG壓縮指將圖像分割為8×8像素塊，并在每個(gè)塊上分別應(yīng)用塊離散余弦變換(DCT)，然后將量化應(yīng)用于DCT系數(shù)，以節(jié)省存儲(chǔ)空間。當(dāng)每個(gè)塊被編碼而不考慮與相鄰塊的相關(guān)性時(shí)，會(huì)產(chǎn)生塊效應(yīng)，導(dǎo)致8×8邊界處的不連續(xù)性。由于高頻分量的粗量化，圖像的邊緣易發(fā)生振鈴效應(yīng)，進(jìn)而高頻成分可能丟失，造成圖像模糊現(xiàn)象。

有多種方法可以應(yīng)對(duì)各種壓縮偽影。在空域中，設(shè)計(jì)不同類型的濾波器［5-7］自適應(yīng)地處理特定區(qū)域中的塊效應(yīng)，其方法是沿著塊邊界進(jìn)行濾波，以減少塊效應(yīng)。但該類方法不能獲得圖像銳利的邊緣，使得紋理過于平滑。Liew［8］和 Foi［9］提出的算法主要消除振鈴偽影，其方法是使用閾值自適應(yīng)小波變換和形狀自適應(yīng)DCT變換去除偽影，這類方法會(huì)產(chǎn)生模糊的輸出結(jié)果。Jung［10］提出了基于稀疏表示的壓縮重建方法，可以獲得銳化的輸出圖像，但會(huì)伴有邊緣噪聲和不自然的平滑區(qū)域。

如果將圖像壓縮視為一種失真，那么其重建算法可以采用凸集投影的方法(POCS)［11］、求解地圖問題(FE)［10］、基于稀疏編碼的方法［12］和基于回歸樹場(chǎng)的方法(RTF)［13］。RTF將 SA-DCT的結(jié)果作為基礎(chǔ)和產(chǎn)生圖像重建與回歸樹場(chǎng)模型。Dong［1］將多層卷積神經(jīng)網(wǎng)絡(luò)用于圖像壓縮重建，取得了非常好的效果。

深度學(xué)習(xí)可用于圖像重建［14-15］。Dong等人提出的SRCNN［16］顯示，卷積神經(jīng)網(wǎng)絡(luò)在圖像重建中的作用，基于稀疏編碼的圖像恢復(fù)模型可以被視為一個(gè)深層卷積模型。Ledig［14］提出，隨著網(wǎng)絡(luò)層數(shù)加深，特征個(gè)數(shù)不斷增加，特征尺寸不斷減小，最后，可通過兩個(gè)全連接層和最終的sigmoid激活函數(shù)獲得重建圖像。基于卷積神經(jīng)網(wǎng)絡(luò)的圖像重建算法隨著網(wǎng)絡(luò)層數(shù)的加深，性能也逐漸增強(qiáng)，但是網(wǎng)絡(luò)的復(fù)雜性也隨之增加，訓(xùn)練的參數(shù)增多，目標(biāo)函數(shù)很難快速收斂，致使訓(xùn)練的時(shí)間也較長。

本文將利用車牌圖像的紋理稀疏性結(jié)構(gòu)，并結(jié)合文獻(xiàn)［1］，給出一種通過增加網(wǎng)絡(luò)寬度的方式來提高車牌圖像重建質(zhì)量的方法。

1 算法原理

算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。所給方法增加了第一層特征提取層的濾波器尺寸，并將其得到的特征圖進(jìn)行拼接融合，使得訓(xùn)練網(wǎng)絡(luò)能夠捕捉到車牌圖像的更多特征。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)主要由四個(gè)卷積層組成，網(wǎng)絡(luò)僅在初始層采用多尺度提取特征，目的是保證網(wǎng)絡(luò)特征多樣化的同時(shí)，使得網(wǎng)絡(luò)結(jié)構(gòu)簡單，訓(xùn)練的時(shí)間少。

網(wǎng)絡(luò)的第一個(gè)卷積層為特征提取層，其得到輸入圖像的特征圖可以表示為

其中 W11，W12，W13和 B11，B12，B13分別表示濾波器的權(quán)重和偏置，“*”表示卷積運(yùn)算，“”表示拼接。

網(wǎng)絡(luò)的第二個(gè)卷積層為特征增強(qiáng)層，第三個(gè)卷積層為非線性映射層，均可以表示為

其中Wi對(duì)應(yīng)于尺寸為fi×fi的ni個(gè)濾波器，Bi是ni維矢量。

網(wǎng)絡(luò)的第四個(gè)卷積層為重建層，可表示為

其中W4對(duì)應(yīng)于尺寸為f4×f4的1個(gè)濾波器，B4是一個(gè)標(biāo)量。

損失函數(shù)采用的是歐氏損失，其表達(dá)式為其中，n是訓(xùn)練圖像個(gè)數(shù)，Yi是第插值后的LR圖像塊，Xi是與Yi對(duì)應(yīng)的第i塊HR圖像塊，F(xiàn)(Yi;Θ)是在Θ網(wǎng)絡(luò)參數(shù)條件下重建后的HR圖像塊。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境為 linux14.04，內(nèi)存4 G，GeForce GTX 950。實(shí)驗(yàn)數(shù)據(jù)為986張車牌圖像。其中10張用于測(cè)試(圖2)，976張用于訓(xùn)練(部分見圖3)。測(cè)試集選取了不同顏色和不同形狀的車牌圖像。

圖2 測(cè)試數(shù)據(jù)集

圖3 訓(xùn)練數(shù)據(jù)集

如圖1所示實(shí)驗(yàn)網(wǎng)絡(luò)的參數(shù)設(shè)置為分別為:32個(gè)9×9的濾波器，32個(gè) 11×11的濾波器，32個(gè)13×13的濾波器;然后經(jīng)過特征融合層進(jìn)行特征融合，迭代200萬次，其測(cè)試結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果表明，測(cè)試10張車牌數(shù)據(jù)，其PSNR的平均值為26.027 3 dB，SSIM 的平均值為 0.929 5。

2.2 網(wǎng)絡(luò)參數(shù)調(diào)整

2.2.1 不同尺寸融合

為了更進(jìn)一步驗(yàn)證融合特征的多樣性，改變9-11-13三種不同尺寸為7-9-11三種不同尺寸進(jìn)行圖像特征融合。迭代200萬次，測(cè)試結(jié)果如表2所示。

實(shí)驗(yàn)結(jié)果表明，測(cè)試10張車牌數(shù)據(jù)，其PSNR的平均值為 26.814 7 dB，SSIM 的平均值為0.928 5。實(shí)驗(yàn)數(shù)據(jù)表明，7-9-11融合的測(cè)試結(jié)果與9-11-13融合的結(jié)果相比，PSNR提升了0.8 dB，SSIM幾乎沒有變化。

2.2.2 不同壓縮系數(shù)重建

以上采用的JEPG壓縮系數(shù)q為10。另外分別設(shè)置q=20和q=30，對(duì)7-9-11三種不同尺寸進(jìn)行圖像特征融合。迭代200萬次，測(cè)試結(jié)果如表3和表4所示。

測(cè)試10張車牌數(shù)據(jù)，q=20，其PSNR的平均值為29.897 0 dB，SSIM 的平均值為0.962 3。q=30，其PSNR的平均值為32.335 9 dB，SSIM的平均值為0.971 4。實(shí)驗(yàn)數(shù)據(jù)表明，針對(duì)不同的壓縮系數(shù)，車牌圖像重建后的效果均有明顯的提升。

表1 采用9-11-13三種不同尺寸且q=10時(shí)的測(cè)試結(jié)果

表2 采用7-9-11三種不同尺寸且q=10時(shí)的測(cè)試結(jié)果

表3 采用7-9-11三種不同尺寸且q=20時(shí)的測(cè)試結(jié)果

表4 采用7-9-11三種不同尺寸且q=30時(shí)的測(cè)試結(jié)果

相關(guān)實(shí)驗(yàn)結(jié)果如圖4、圖5和圖6所示。

圖4 q=10車牌圖像重建結(jié)果(7-9-11)

圖5 q=20車牌圖像重建結(jié)果(7-9-11)

圖6 q=30車牌圖像重建結(jié)果(7-9-11)

2.3 實(shí)驗(yàn)結(jié)論

實(shí)驗(yàn)通過增加網(wǎng)絡(luò)的寬度，把不同尺寸的特征進(jìn)行融合，增加訓(xùn)練網(wǎng)絡(luò)特征的多樣性，通過不同的實(shí)驗(yàn)參數(shù)調(diào)整、訓(xùn)練、測(cè)試，找出網(wǎng)絡(luò)的最佳參數(shù)。通過改變壓縮系數(shù)q，訓(xùn)練和測(cè)試不同系數(shù)下JPEG壓縮后車牌圖像的重建效果。實(shí)驗(yàn)表明通過7-9-11的特征融合偽影的去除效果最佳。

3 結(jié)語

深度學(xué)習(xí)是圖像領(lǐng)域的研究熱點(diǎn)問題，其應(yīng)用范圍比較廣泛。隨著其網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)的深度越來越深，出現(xiàn)了幾百層甚至及幾千層的網(wǎng)絡(luò)。車牌圖像作為智能交通和公安刑偵的重要數(shù)據(jù)，通過重建車牌圖像是一個(gè)值得研究的熱點(diǎn)問題。本文車牌圖像重建的網(wǎng)絡(luò)深度還不夠深，訓(xùn)練迭代的次數(shù)還不夠大，未來應(yīng)該同時(shí)增加網(wǎng)絡(luò)的深度和寬度，增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，進(jìn)一步提升車牌圖像的重建質(zhì)量。