水下生成圖像真實性評價方法研究

劉懷周，王雙園，白國振，張鵬舉

（1.上海理工大學機械工程學院；2.上海理工大學深海高端裝備復雜系統研究院，上海 200093）

0 引言

機器學習通常建立在大量有效數據學習的基礎上，因此數據質量問題是機器學習領域的重要研究內容之一。在水下機器視覺研究中，由于水下圖像獲取成本高，通常使用人工合成或模擬生成圖像作為樣本。因此，建立一個有效、客觀的水下生成圖像質量指標，對評價生成圖像質量以及機器學習算法的優化至關重要。圖像質量評價可分為主觀圖像評價和客觀圖像評價。主觀圖像評價被認為是最可靠的結果，但對于實時系統而言，該方法代價昂貴、耗時且不切實際。客觀圖像質量評價方法根據是否存在代表原始信號的參考圖像可分成3 類：全參考圖像評價、半參考圖像評價和無參考圖像評價［1］。對于無法獲得參考圖像的水下生成圖像，需要一個無參考的客觀圖像質量評價方法來評價圖像質量，其能夠識別出水下生成圖像與真實水下圖像的差異，并符合人類的視覺感官系統。

近年來，生成對抗網絡得到了廣泛研究［2］。為了定量評估GAN 網絡，人們相繼提出了各種評價指標，如Incep?tion 分數、Mode 分數、Kernel MMD、Wasserstein 距離、Fre?chet Inception 距離與基于1-最近鄰（1-NN）的雙樣本測試指標等。這些評價指標基于生成樣本與真實樣本之間的距離度量，主要是對生成模型的評估，而無法評價單個生成樣本質量。此外，還有大氣彩色圖像質量評價指標［3-5］和其它水下圖像質量評價指標，如UCIQE［6］、UIQM［7］、CCF［8］等。然而，由于水下圖像存在色偏、模糊、低光照和噪聲復雜等問題，因此現有的自然彩色圖像質量評價指標不能有效應用于水下圖像。當前水下圖像質量評價指標主要為針對水下圖像增強與恢復的評價指標，很少有針對水下生成圖像質量的評價指標。

本文提出一種水下生成圖像的客觀評價指標。由于生成圖像與真實水下圖像在內容、結構和紋理等方面千差萬別，為了使提取的圖像特征不受影響，本文首先采用超像素分割算法進行預分割，然后通過改進的MSRM 融合算法分離出背景和前景，并保持較好的邊緣信息，最后在背景圖中提取特征，擬合多元高斯模型，用馬氏距離度量單個生成圖像與真實水下圖像的相似性。實驗結果表明，與MSRM 算法相比，改進的MSRM 算法能夠更好地提取物體邊緣輪廓，與現有水下圖像質量評價方法相比，本文提出的UGIQE 方法更加有效，與人類視覺感官系統具有更高的一致性。

1 圖像背景與前景分割

1.1 超像素生成

為提高分割效率、降低計算復雜度，首先采用超像素進行圖像預處理。目前常用的超像素算法有：Lazy Ran?dom Walk（LRW）［9］、Linear Spectral Clustering（LSC）［10］、Coarse-to-Fine Topology-Preserving（CFTP）［11］、Content-Adaptive Superpixel（CAS）［12］、Simple Liner Iterative Cluster?ing（SLIC）［13］、Fast Linear Iterative Clustering（FLIC）［14］等。其中，SLIC 算法不僅可以產生大小均勻、結構緊湊、邊緣依附較好的超像素，而且計算速度較快，因此本文選用SLIC算法作圖像預分割。SLIC 算法是一種簡單的線性迭代聚類，先將圖像RGB 顏色空間轉化為LAB 空間，再以LAB 顏色特征和位置特征作為度量標準對圖像像素進行局部聚類，最后形成一個個超像素。其算法流程如圖1 所示。

1.2 改進的MSRM 算法

MSRM 算法是在保持目標標記區域超像素集合不變的情況下，盡可能多地合并背景標記超像素區域和未標記的超像素區域，直至合并完所有背景區域，沒有新的區域需要合并。其主要分為兩個階段：第一階段，將與背景標記區域相鄰的未標記超像素合并到背景標記區域；第二階段，未標記區域相互合并，此時的未標記區域可能包括目標區域和背景區域，兩個階段循環進行，直到沒有新的區域需要合并，循環結束。其算法流程如圖2 所示。

Fig.1 SLIC algorithm flow圖1 SLIC 算法流程

Fig.2 MSRM algorithm flow圖2 MSRM 算法流程

利用SLIC 算法產生超像素經過人工標注前景與背景后，通過基于區域最大相似度算法（MSRM）進行區域合并，最后得到前景與背景的分割圖。MSRM 算法用顏色直方圖描述區域特征，首先將RGB 顏色空間中的每個通道均勻量化為16 級，每個區域有16*16*16=4 096 級顏色，利用巴氏系數［15］測量區域間顏色特征的相似性，該系數定義如下：

因此，本文引入圖像梯度方向直方圖（Histogram of Ori?ented Gradient，HOG）特征［16］。圖像局部目標的表象和形狀能夠被HOG 特征的梯度與邊緣方向密度分布很好地進行描述。基于超像素的HOG 特征度量步驟如下：首先計算超像素區域內在180 個方向上的梯度，從而得到180*1 歸一化HOG 特征，然后利用巴氏系數測量區域間HOG 特征的相似性，該系數定義如下：

其中，α是HOG 特征的權重系數，α∈[0,1]。

MSRM 算法與改進的MSRM 算法比較如圖3 所示。從原始圖a1和b1的黑色矩形框中可以看出水下礁石模糊的輪廓，礁石與背景顏色很難區分。當直接使用MSRM 算法時，此時礁石邊緣被背景區域合并，導致分割不完整。采用改進的MSRM 算法可保持較完整的邊界輪廓，對通過顏色特征難以區分的模糊邊界具有較好的區分效果。

Fig.3 Background and foreground segmentation effect of MSRM algorithm and improved MSRM algorithm圖3 MSRM 算法和改進的MSRM 算法背景與前景分割效果

另外，本文對前景與背景分割精度進行了定量評估，使用分割正確率R 作為評估標準。R 表示為：

由此可計算出圖a1采用MSRM 算法分割的正確率為96.7%，改進后的MSRM 算法分割正確率為98.8%，精度提高了2.1%。圖b1采用MSRM 算法分割的正確率為97.8%，改進后的MSRM算法分割正確率為99.2%，精度提高了1.4%。

1.3 背景區域分塊與提取

通過改進的MSRM 算法可實現背景與前景的分離，對背景區域進行特征提取與擬合多元高斯分布，需要去除背景區域的空白部分，并把背景區域分成若干小塊。主要分為3 個步驟：①把圖像分成P*P 的圖像塊；②檢測圖像塊中是否有空白區域（空白區域RGB 三通道的值均為255）；③若有空白區域（即背景塊）則舍去，若沒有空白區域則保留。若背景塊數量小于12，則把圖像分成更多的（p-20）*（p-20）圖像塊，直到背景塊數量達到12 結束循環（注：背景塊數量大于等于12 時，在進行擬合多元高斯分布時其均值和協方差矩陣數值穩定）。

2 背景區域特征提取與建模

2.1 顏色特征

Lab 是一種基于生理特征的顏色系統，其采用數字化方法描述人的視覺感應。Lab 顏色空間中的L 分量用于表示像素亮度，取值范圍為［0，100］，表示從純黑到純白；a 表示從紅色到灰色再到綠色的范圍，取值范圍為［127，-128］；b 表示從黃色到灰色再到藍色的范圍，取值范圍為［127，-128］。因此，可采用Lab 顏色空間的a、b 兩個顏色通道作為顏色特征。

由于水對光的吸收，導致水下圖像通常會偏綠或偏藍。圖4 為來自海洋牧場的真實水下圖像及UWCNN［17］生成圖像，其中圖4（a）是水下偏藍圖像，圖4（c）、圖4（e）是UWCNN 生成的兩種偏藍類型圖像。圖4（b）中的背景在Lab 顏色空間分別取a、b 兩個顏色通道的平均值，則a=-45.82，b=8.21；圖（d）中的背景a=-14.56，b=-6.32；圖4（f）中的背景a=-24.73，b=2.28。從圖8 中可以看出，圖4（e）比4（c）更偏藍一點，因此圖4（e）背景中的兩個顏色通道平均值與圖4（a）更加接近。

Fig.4 Real underwater images and generated images圖4 真實水下圖像與生成圖像

2.2 飽和度特征

色彩飽和度（saturation）是指色彩的鮮艷程度，也稱為純度。在色彩學中，原色飽和度最高，隨著飽和度的下降，色彩變得暗淡直至成為無彩色，即失去色相的色彩。

如圖4 所示，圖4（b）中的背景飽和度平均值s=0.65，圖4（d）中的背景飽和度平均值s=0.29，圖4（f）中的背景飽和度平均值s=0.37。隨著顏色的加深，圖像的色彩飽和度不斷增加，水下圖像具有較高的飽和度。

2.3 對比度特征

對于水下圖像，對比度下降通常是由后向散射引起的。在本文中，對比度是通過在圖像上應用logAMEE 進行測量的［18］。

其中，圖像被分成k1*k2個區域，⊕、Θ、?是克羅內克和、差與積運算。

分別對圖4 中的背景圖（b）、（d）、（f）測量對比度，由于背景區域的像素強度接近，導致其對比度很低。在計算圖像對比度的過程中，發現背景區域會降低圖像整體的對比度。采用加權平均方式計算對比度，可減少背景區域的影響，即分別計算原圖與背景圖的對比度，然后乘以權重系數η（通常取η=0.5）。因此，圖4（a）的對比度Contrast=0.23，圖c 的對比度Contrast=0.16，圖4（e）的對比度Contrast=0.07。圖4（e）中圖像出現了霧狀，對比度最差，圖4（c）中圖像物體邊緣模糊不清，所以圖4（a）相比圖4（c）、圖4（e）更為清晰，對比度較高。

2.4 多元高斯模型

多元高斯分布是指一元高斯分布在向量形式的推廣，其概率密度函數形式如式（7）所示，主要參數為各個變量的均值和協方差矩陣。選擇一張測試圖像并分割出12 個背景圖，在每個背景圖中提取4 個特征，然后將12 組特征擬合成多元高斯分布，利用最大似然估計［19］得到均值和協方差矩陣，最后用馬氏距離度量測試圖像與真實水下偏藍圖像分布之間的距離。距離越小，則生成的圖像與真實的水下圖像越相似。

其中，(x1,…,xk)是提取的特征值，k=4；v和∑是多元高斯模型的均值與協方差矩陣。

其中，v1、v2和∑1、∑2是測試圖像與真實水下圖像多元高斯分布的均值及協方差矩陣。

3 實驗評估

本次實驗的真實水下圖像來自海洋牧場的偏藍圖像，部分圖像如圖5 所示。在水下圖像中分割出500 個背景圖，背景圖的尺寸范圍從32*32 到128*128，并在每個背景圖中提取兩個顏色通道（a，b），以及飽和度和對比度等4 個特征。然后將500 組特征擬合成多元高斯分布得到均值和協方差矩陣。

Fig.5 Underwater blueish image圖5 水下偏藍圖像

3.1 主觀評價

為了測試所提出指標的性能，本文使用來自海洋牧場的真實水下偏藍圖像作為參考圖像，并使用UWCNN 生成TypeI、TypeII、TypeIII 以及UWGAN［20］生成TypeIV、TypeV的偏藍圖像作為測試圖像。邀請10 名學生分別對生成的每一張測試圖像進行主觀評價，受邀者根據1-5 的尺度對測試圖像與參考圖像的相似度進行評分。相似度越高，評分越接近1，相似度越低則越接近5，最后計算平均得分。為了說明所提出的客觀評價指標與主觀評價的相關性，采用皮爾遜相關系數（PRCC）和Spearman 的秩序相關系數（SRCC）進行驗證。本文將提出的UGIQE 指標與目前先進的水下彩色圖像評價指標UCIQE、UIQM 及大氣彩色圖像評價指標NIQE 進行對比，結果如表1 所示。

Table 1 Comparison of UGIQE and advanced image evaluation indexes表1 UGIQE 與先進的圖像評價指標對比

從表1 可以看出，本文提出的UGIQE 指標與主觀圖像質量評價有較高的相關性，且性能優于UIQM、UCIQE 和NIQE，可以很好地評價生成圖像質量。

3.2 生成圖像質量評價

近年來，研究者大多使用生成的水下圖像訓練模型實現水下圖像的增強與復原，生成圖像的真實性決定了模型的準確性。圖6 為UWCNN 生成TypeI、TypeII、TypeIII 以及UWGAN 生成TypeIV、TypeV 的偏藍圖像。對比各類方法生成圖像的效果，TypeIV 與海洋牧場真實的水下偏藍圖像較為相似，生成圖像效果較好。將UGIQE 指標與先進的圖像質量評價指標進行比較，結果如表2 所示。從表中可以看出，UCIQE 與UIQM 指標對TypeI、TypeII 和TypeIV 3 種類型圖像的區分度低，無法判斷哪種生成圖像效果較好。雖然NIQE 在數值上具有一定區分度，但無法根據數值大小判斷生成圖像質量高低。相反，本文提出的UGIQE 指標具有較好的區分度，從中可以看出TypeIV 類型數值最小，與真實的水下偏藍圖像相似度較高，圖像效果較好，并且與主觀評價一致。

Fig.6 Five types of underwaterblueish image圖6 生成的5 種類型水下偏藍圖像

Table 2 Comparison of UGIQE index and advanced image quality evaluation index表2 UGIQE 指標與先進的圖像質量評價指標比較

4 結語

本文提出一種水下生成圖像評價指標UGIQE，首先采用超像素分割算法進行預分割，然后通過改進MSRM 融合算法分離出背景和前景，最后在背景圖中提取特征，擬合多元高斯模型，用馬氏距離度量單個生成圖像與真實水下圖像的相似性，從而建立客觀定量評價指標。實驗結果表明，與現有水下圖像質量評價方法相比，本文提出的UGIQE 方法更加有效，與人類視覺感官系統具有更高的一致性。此外，該方法能有效評價水下圖像生成模型的性能，并幫助模型選擇最優參數。