水下圖像僅可察覺差異預(yù)測模型

吳 迪，袁 飛，程 恩

(廈門大學(xué)信息學(xué)院，水聲通信與海洋信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，福建廈門361005)

水下航行器采集到的光學(xué)圖像在海底地形勘測、水產(chǎn)養(yǎng)殖等方面扮演著重要的角色.優(yōu)質(zhì)的水下探測圖像促進(jìn)海洋相關(guān)研究的發(fā)展，圖像等多媒體業(yè)務(wù)逐漸成為水下通信領(lǐng)域研究的重點(diǎn).采集到的水下圖像往往需要通過水聲信道傳輸?shù)剿妫曅诺朗菬o線信道中最復(fù)雜的一種，惡劣的信道條件使水聲通信不得不面對(duì)有限的帶寬[1].多年來，如何在圖像內(nèi)容的保護(hù)程度和傳輸開銷之間找到平衡點(diǎn)，是水下圖像通信的研究重點(diǎn).水下通信的傳統(tǒng)做法一般通過設(shè)定閾值以刪除低于閾值的圖像系數(shù)以實(shí)現(xiàn)圖像壓縮,目前大多是以峰值信噪比(peak signal-to-noise ratio,PSNR)、均方根誤差 (root mean square error,RMSE)、結(jié)構(gòu)相似性(structuralsimilarity,SSIM)度量圖像壓縮前后的效果；但這些指標(biāo)所反饋的質(zhì)量往往與人眼視覺系統(tǒng)所感知的質(zhì)量存在偏差.此外，傳統(tǒng)做法依靠經(jīng)驗(yàn)設(shè)定閾值，無法根據(jù)圖片實(shí)際情況進(jìn)行最優(yōu)調(diào)整.因此采用傳統(tǒng)優(yōu)化方案可能會(huì)為鏈路的質(zhì)量控制帶來巨大的壓力.

僅可察覺差異(just noticeable difference, JND)表示人眼不能察覺的最大圖像失真，最早由Chou等[2]提出可在編碼領(lǐng)域應(yīng)用.如圖1所示，通信系統(tǒng)根據(jù)JND模型預(yù)測結(jié)果自適應(yīng)調(diào)整壓縮程度，實(shí)現(xiàn)傳輸資源分配的最優(yōu)化，在有限的水聲信道條件下傳輸更有效的圖像信息.因此，將JND模型應(yīng)用在水下傳輸領(lǐng)域可以彌補(bǔ)上述傳統(tǒng)水下通信優(yōu)化方案的缺點(diǎn)，設(shè)計(jì)一種適用于水下圖像的JND模型監(jiān)督壓縮重構(gòu)后的圖像質(zhì)量，在帶寬嚴(yán)重受限的水下傳輸中十分有意義.

圖1 JND模型在水下圖像傳輸中的應(yīng)用Fig.1Application of JND model in underwater image transmission

現(xiàn)有的JND模型可分為3類：1) 像素級(jí)模型[3-5]，直接計(jì)算像素域中每個(gè)像素的JND閾值；2) 子帶級(jí)模型，將像素域圖像變換到子帶域，例如離散余弦變換(DCT)，然后計(jì)算每個(gè)子帶的JND閾值[6-7]；3) 圖像級(jí)JND(picture wise JND,PW-JND)模型[8-9]，人眼視覺系統(tǒng)能夠感知到的圖像最小差異.前兩種模型通過簡單地將每個(gè)像素估計(jì)出的JND閾值求和獲得JND圖像，在水下傳輸時(shí)無法根據(jù)實(shí)際需求自適應(yīng)調(diào)整壓縮程度.此外，由于只是簡單地將JND閾值求和，所以可能無法準(zhǔn)確地綜合反映圖片，而PW-JND模型彌補(bǔ)了這一缺點(diǎn).目前PW-JND模型的相關(guān)研究還比較少：Liu等[8]提出基于深度學(xué)習(xí)的 PW-JND 預(yù)測模型，用于空氣中圖像的聯(lián)合圖像專家組(JPEG)壓縮預(yù)測；Lin等[9]提出通過預(yù)測PW-JND模型的分布函數(shù)來預(yù)測PW-JND圖像.現(xiàn)有的PW-JND模型都不是為水下圖像設(shè)計(jì)的，沒有考慮光在水下特殊的吸收和散射特性.本文將水下光學(xué)圖像的特點(diǎn)考慮進(jìn)JND模型的設(shè)計(jì)中，提出一種基于水下圖像的JND預(yù)測模型.該模型包括基于水下圖像特征提取模塊的全參考損傷感知網(wǎng)絡(luò)和基于反饋的搜索策略，以此在有限的水下條件下傳輸更有效的信息.

1 水下圖像JND預(yù)測模型

光在水下的特殊吸收和散射特性是水下圖像區(qū)別于空氣中圖像的最重要特征，大多采集到的水下圖像顏色失真，導(dǎo)致水下圖像本身質(zhì)量不佳.研究表明：人眼對(duì)不同質(zhì)量的圖像有不同的關(guān)注[10]，當(dāng)圖像質(zhì)量較低時(shí)，人眼會(huì)只關(guān)注圖像結(jié)構(gòu)(如紋理)是否完整，故而質(zhì)量不佳的水下圖像比空中圖像具有更多的顏色信息冗余，這也意味著人眼對(duì)水下圖像失真具有更高的容忍度.本文考慮上述特點(diǎn)，提出一種適用于水下圖像的PW-JND預(yù)測模型.該模型采用全參考水下圖像損失感知網(wǎng)絡(luò)，區(qū)分失真圖像對(duì)其參考圖像是感知有損還是無損；再結(jié)合實(shí)際應(yīng)用需求，設(shè)計(jì)基于反饋的搜索策略來搜索原始水下圖像的JND圖像用于水下傳輸.

1.1 全參考水下圖像損傷感知網(wǎng)絡(luò)

本文中提出一種全參考的水下圖像損傷感知網(wǎng)絡(luò)，稱之為感知有損/無損預(yù)測器.該預(yù)測器作為JND模型的一個(gè)重要組成部分來預(yù)測失真圖像相對(duì)于參考圖像是否具有感知上的損失.

如圖2所示，感知有損/無損預(yù)測器從左到右依次由圖像塊生成器、基于雙通道網(wǎng)絡(luò)[11]的水下圖像特征提取模塊、全局質(zhì)量估計(jì)模塊和分類器組成.首先由圖像塊生成器將失真的圖像及其參考圖像進(jìn)行分塊；然后分別從同一位置的參考圖像和失真圖像中隨機(jī)選擇圖塊，經(jīng)過水下圖像特征提取模塊提取圖像特征；接著，將特征經(jīng)過全連接層(FC)512-1回歸得到塊的質(zhì)量度量分?jǐn)?shù)，并將圖像中多個(gè)塊的質(zhì)量度量分?jǐn)?shù)進(jìn)行平均池化，得到整個(gè)圖像的質(zhì)量度量分?jǐn)?shù)，得分越大表示受損圖像與參考圖像之間的特征差距越大；最后將全局質(zhì)量度量模塊的輸出經(jīng)過分類器中的S形函數(shù)在[0,1]中重新縮放輸出，如果輸出大于0.5，則將變形圖像確定為相對(duì)于參考圖像而言有感覺上的有損，否則為無損.S形函數(shù)是二分類中最常使用的激活函數(shù)，與其他激活函數(shù)相比，S形函數(shù)處處連續(xù)，便于求導(dǎo)，而且便于前向傳輸，故而本文選取S形函數(shù)作為激活函數(shù).

圖2 感知有損/無損預(yù)測器框架Fig.2The framework of the perceptually lossy/lossless predictor

水下圖像特征提取模塊的結(jié)構(gòu)如圖3所示.由于相同條件下，雙通道網(wǎng)絡(luò)[11]比常用的暹羅網(wǎng)絡(luò)[12]具有更高的精度和更快的訓(xùn)練速度.該模塊的輸入部分借鑒雙通道網(wǎng)絡(luò)的結(jié)構(gòu)來分離失真塊和參考?jí)K的紅綠藍(lán)(RGB)通道，得到6個(gè)通道；再由主分支將這6個(gè)通道融合拼接在一起，輸入預(yù)激活殘差網(wǎng)絡(luò)(ResNet)[13]提取特征；引入一個(gè)水下圖像顏色信息讀取器分支，提取失真塊和參考?jí)K的R通道與G通道的比值以及R通道與B通道的比值，用以反映光在水下的特殊吸收和散射特性，其中R通道強(qiáng)度往往要比其他顏色通道更快衰減，水下圖像R通道與其他通道的比值可以更有效率地反映水下信息[14-15]；之后，將水下圖像顏色信息讀取器提取的底層特征，與主分支提取的高層特征通過融合層拼接在一起，再通過1×1 的卷積層進(jìn)行降維，以更好地實(shí)現(xiàn)水下圖像的特征提取；最后采用ResNet[13]對(duì)特征進(jìn)行平均池化，得到512×1×1的圖像特征，以便于后續(xù)進(jìn)行全局質(zhì)量度量模塊中的回歸運(yùn)算.

k和N分別表示卷積核大小和數(shù)量.圖3 水下圖像特征提取模塊的詳細(xì)結(jié)構(gòu)Fig.3Detailed structure of underwater image feature extraction module

1.2 基于反饋的搜索策略

實(shí)際應(yīng)用中，第一張與參考圖像產(chǎn)生感知上差異的失真圖像(也就是1-stPW-JND)往往需要搜尋得到，而第i(i>1)個(gè)PW-JND圖像通常沒有太多實(shí)際意義；因此，本文根據(jù)實(shí)際需要提出了一種改進(jìn)搜索效率的策略.

圖4為基于反饋的搜索策略框架.暫存器中存儲(chǔ)不超過3個(gè)圖片，一個(gè)參考圖像和兩個(gè)失真圖像(Dist_1和Dist_2).“Dist_2”圖像用于與參考圖像進(jìn)行比較.首先，采集到的圖像存儲(chǔ)在參考圖像的位置，生成失真圖像并將其放置在“Dist_2”，其失真圖像被預(yù)測為“感知無損”，將失真圖像從“Dist_2”移動(dòng)到“Dist_1”，若“Dist_1”位置有現(xiàn)有圖像，則丟棄現(xiàn)有圖像.然后，系統(tǒng)調(diào)整相關(guān)參數(shù)生成新的失真圖像，并用新的失真圖像來更新“Dist_2”.以此類推，直到在“Dist_2”上找到第一個(gè)被預(yù)測為“感知上有損”的圖像(即1-st PW-JND圖像).該方法也可用于尋找感知失真度為n的圖像(即第n個(gè)PW-JND圖像)，只需在參考位置更新圖像，即將第m個(gè)PW-JND(m=1,2,…,n-1)圖像依次移動(dòng)到參考位置.為了節(jié)省資源，本文在找到第一個(gè)感知上有損的圖像后即停止生成新的受損圖像.

圓圈代表感知有損/無損預(yù)測器.圖4 基于反饋的搜索策略框架Fig.4The framework of the feedback-based search strategy

2 實(shí)驗(yàn)分析及討論

實(shí)驗(yàn)分為訓(xùn)練階段和預(yù)測階段.在訓(xùn)練階段，構(gòu)建水下圖像JND數(shù)據(jù)集，對(duì)感知有損/無損預(yù)測器進(jìn)行訓(xùn)練；在預(yù)測階段，將訓(xùn)練好的感知有損/無損預(yù)測器和基于反饋的搜索策略結(jié)合，搜索到1-st PW-JND圖像輸出，用于水下傳輸.

2.1 水下圖像訓(xùn)練集的建立

本文將質(zhì)量因子(QF)作為反映參考圖像與失真圖像之間相對(duì)差異的指標(biāo)，其值在[1,100]之間.QF值越大，表示失真圖像的相對(duì)失真程度越小.當(dāng)QF值為100時(shí)，表示原始水下圖像；QF值為1時(shí)，表示100個(gè)圖像中相對(duì)失真程度最高的圖像.

考慮到本文提出的JND模型主要用于水下傳輸領(lǐng)域，故JND數(shù)據(jù)集包含5種水下傳輸常見的失真類型，分別是多級(jí)樹集合分裂(SPIHT)壓縮失真圖像、SPIHT傳輸失真圖像、壓縮感知(CS)壓縮圖像、CS傳輸失真圖像、水下彩色失真圖像.每個(gè)失真類型包含20幅原始圖像，每個(gè)原始圖像對(duì)應(yīng)100種失真等級(jí).根據(jù)文獻(xiàn)[16-17]中描述的JND圖像的主觀測試和統(tǒng)計(jì)方法，評(píng)估和統(tǒng)計(jì)出每個(gè)參考圖像對(duì)應(yīng)的JND圖像.為了保證泛化性，本文選取了年齡段、性別分布均勻的10名志愿者參與主觀質(zhì)量測試；同時(shí)，為了避免先驗(yàn)知識(shí)引起的測評(píng)偏差，保證評(píng)測結(jié)果的有效性，志愿者均沒有圖像質(zhì)量評(píng)價(jià)的從業(yè)經(jīng)驗(yàn)，但考慮到水下光學(xué)圖像較強(qiáng)的應(yīng)用背景，故測評(píng)人員均為具有水聲通信和水下探測等相關(guān)工作經(jīng)驗(yàn).志愿者們坐在受控的環(huán)境中，比較并排顯示的兩幅圖像，確定兩幅圖像之間是否存在可察覺的差異.對(duì)于主觀質(zhì)量測試結(jié)果采用二等分搜索程序[16]處理，然后采用高斯混合模型[16-17]的方法綜合多個(gè)志愿者的主觀結(jié)果，得到JND數(shù)據(jù)集的主觀評(píng)測數(shù)據(jù).將JND水下圖像數(shù)據(jù)庫與主觀評(píng)測數(shù)據(jù)作為感知上有損/無損預(yù)測器的訓(xùn)練樣本.訓(xùn)練樣本被描述為(xi,yij,lij)，其中：xi為參考數(shù)據(jù)，表示第i張?jiān)紙D像；yij為受損數(shù)據(jù),表示失真圖像；lij為標(biāo)簽.j從0開始，yi0表示采集到的原始水下圖像xi.一個(gè)xi對(duì)應(yīng)多個(gè)yij.當(dāng)yij相對(duì)于xi來說感知上無損時(shí)，lij被標(biāo)記為 0，否則被標(biāo)記為1.

2.2 預(yù)測器的性能評(píng)估

感知有損/無損預(yù)測器的性能測試過程中參考文獻(xiàn)[8]的實(shí)驗(yàn)設(shè)置，學(xué)習(xí)率初始化為1×10-4，每個(gè)小批量包含 4 張圖像.基于PyTorch 1.1和 Python 3.6實(shí)現(xiàn)網(wǎng)絡(luò)，使用統(tǒng)一計(jì)算設(shè)備架構(gòu)(CUDA)在機(jī)器上對(duì)其進(jìn)行訓(xùn)練.為了評(píng)估提出的可感知有損/無損預(yù)測器的泛化能力和準(zhǔn)確性，在這項(xiàng)工作中進(jìn)行五重交叉驗(yàn)證.首先，將水下圖像JND數(shù)據(jù)庫中的每種失真類型下的20張?jiān)磮D像隨機(jī)分成5份，分別放置在5個(gè)子集{S1,S2,S3,S4,S5}中，每次選擇3個(gè)子集來訓(xùn)練預(yù)測變量，一個(gè)用于驗(yàn)證，另一個(gè)用于測試.交叉驗(yàn)證結(jié)果如表1所示，驗(yàn)證集和測試集的Acc平均值分別為95.5%和95.1%，表明預(yù)測變量的Acc很高，且接近相應(yīng)的測試Acc，性能穩(wěn)定.其中k=3時(shí)的訓(xùn)練準(zhǔn)確率(Acc)如圖5所示.可以看到，隨著迭代次數(shù)的增加，驗(yàn)證集的Acc迅速提高，并在800次迭代后基本穩(wěn)定.此外，在預(yù)測階段，每對(duì)圖(參考圖像和受損圖像)的平均預(yù)測時(shí)間是0.374 s，符合實(shí)際應(yīng)用的需求.

2.3 JND模型的性能評(píng)估

為了繼續(xù)驗(yàn)證本文所提出JND性能，本文中對(duì)比了該模型與基于深度學(xué)習(xí)的圖片級(jí)JND模型[8](稱為DLB)、基于分解模型的像素域 JND模型[3](稱為DM)、基于自由能原理的像素域 JND模型[4](稱為FEP)、基于增強(qiáng)模式復(fù)雜度的像素域JND模型[5](稱為EPC).對(duì)于被對(duì)比的圖片級(jí)JND模型[8]，使用與2.2節(jié)相同的訓(xùn)練集和參數(shù)設(shè)置；對(duì)于像素級(jí)模型，參考文獻(xiàn)[8]的比較方式預(yù)測像素級(jí)JND模型的PW-JND.比較模型感知損失值用式(1)定義，x表示參考圖像，Disti表示失真圖像，一張參考圖像對(duì)應(yīng)多張失真圖像Disti(i=1,2,3,…)，Z(x,Disti)用于預(yù)測失真圖像Disti相對(duì)于參考圖像x來說是否有感知上的損傷，如果Disti對(duì)于參考圖像x上有感知到損失，則Z(x,Disti)輸出為1.

表1 交叉驗(yàn)證結(jié)果Tab.1 The cross-validation results

圖5 感知有損/無損預(yù)測器的訓(xùn)練性能(k=3)Fig.5Training performance of the perceptually lossy/lossless predictor (k=3)

(1)

其中：T是圖像x的RGB三個(gè)顏色通道的總像素?cái)?shù)；S是x與Disti之間出現(xiàn)偏差的像素?cái)?shù)；λ是出現(xiàn)偏差的像素?cái)?shù)與圖像總像素?cái)?shù)之間的比值，參考文獻(xiàn)[8]將λ設(shè)為0,0.05和 0.1.

采用峰值信噪比(PSNR)、QF、結(jié)構(gòu)相似性(SSIM)，特征相似性指標(biāo)(feature similarity,FSIM)、梯度幅度相似性(gradient magnitude similarity deviation,GMSD)和視覺顯著性(visual saliency index,VSI)作為評(píng)估指標(biāo).被預(yù)測的PW-JND與真值PW-JND之間的評(píng)估指標(biāo)的差異越接近于0，表示預(yù)測誤差越小，JND模型越準(zhǔn)確.例如，ΔPSNR是真值PSNR減去被預(yù)測PSNR的結(jié)果，|ΔPSNR|越大意味著預(yù)測誤差越大.

圖6中繪制了不同JND模型下的1-st PW-JND圖像的PSNR.可以看出本文所提出JND模型預(yù)測結(jié)果的大多數(shù)ΔPSNR非常接近于0，意味著具有很高的預(yù)測精度，與真值之間的誤差很小.與其他JND模型相比，本文所提出的PW-JND模型的預(yù)測波動(dòng)更小，即穩(wěn)定性更好.

為了進(jìn)一步比較，表2中列出了多個(gè)JND模型預(yù)測結(jié)果與真值之間絕對(duì)差值的均值.對(duì)于|ΔQF|，|ΔPSNR|和|ΔSSIM|，本文預(yù)測的PW-JND 分別為 2.19，0.91 dB和 0.16×10-2，在所有比較模型中為最小值.其他的評(píng)估指標(biāo)也得到了相似的結(jié)果.因此，相對(duì)于被比較的其他JND模型，本文所提出的模型準(zhǔn)確性最高，更適合于水下傳輸.

圖6 不同JND模型對(duì)第一張PW-JND圖像的預(yù)測結(jié)果Fig.6Prediction results of the 1-st PW-JND under different JND models

表2 預(yù)測差異絕對(duì)值的平均值Tab.2 The means of absolute prediction differences

3 結(jié) 論

在水下圖像傳輸策略中，傳統(tǒng)的水下傳輸優(yōu)化方案不能很好地反映圖像主觀質(zhì)量并根據(jù)主觀質(zhì)量自適應(yīng)調(diào)整壓縮程度.為了提高通信效率，本文提出針對(duì)水下圖像的JND模型.該模型由感知有損/無損預(yù)測和基于反饋的搜索策略組成，感知有損/無損預(yù)測器專門針對(duì)水下圖像設(shè)計(jì)，用于預(yù)測失真圖像是否有感知上損失.基于反饋的搜索策略根據(jù)預(yù)測器預(yù)測結(jié)果自動(dòng)調(diào)整壓縮率并搜索JND圖像.相比其他JND模型，該模型預(yù)測結(jié)果更準(zhǔn)確，能幫助通信系統(tǒng)最大限度地減少信道資源的浪費(fèi).