基于深度信念網絡的遙感圖像質量評價

劉 迪，李迎春

(航天工程大學 電子與光學工程系， 北京 101416)

遙感圖像提供了豐富的空間和地理信息，因此廣泛被用于林業，氣象學，水文學和軍事等領域[1]。遙感影圖像質量評價實際就是對影像成像、傳輸、編碼、存儲以及處理技術的評價，可以用來指導遙感圖像處理系統的構建和調整，優化處理算法和參數設定[2-3]。評價遙感圖像質量的方法有主觀評價和客觀評價兩種。主觀評價方法需要測試員對遙感圖像進行人工地對圖像的整體清晰度、細節呈現度等圖像質量做出判斷，這種方法耗時、耗力，同時還受到觀測者的知識背景、心理素質等主觀因素影響，缺乏相對統一的標準，不利于海量遙感數據的自動判讀。客觀評價方法一般易于實現且能結合實際應用，如常用的均方誤差(Mean Square Error，MSE)及峰值信噪比(Peak Signal to Noise Ratio，PSNR)，但對其影響中的各個像素點是等同對待，與人的主觀感受有很大出入。由于遙感影響最終的接受者是人，是面向人類視覺感知的，因此需要考慮圖像質量評價是否符合人眼主觀評價結果[4]。

近些年來許多研究人員提出了基于人類視覺系統的影響的質量評價方法，大量研究表明：考慮和借鑒人類視覺系統(human visual system，HVS)的特性能明顯提高圖像質量評價的準確性[5]。由于人類視覺系統十分復雜，因而對人眼視覺的心理特征還沒能找出定量的描述方法，因此該方法還有待深入研究。

與自然圖像不同，遙感圖像的獲取往往受到模糊和噪聲的共同影響，使得遙感影圖像的質量下降難以歸到某一單一的方式，從而給遙感影圖的評價帶來困難。常見的遙感影圖像大多同時存在模糊和噪聲兩種失真的影響，二者無論在空域還是變換域都互相影響，互相抑制，導致無法對其強度進行準確判別[6]。

本文借鑒了文獻[7]中提出的評價圖像質量的一個新思路：通過自然語言的描述來評價無參考圖像質量的視覺質量。人類對圖像質量的感知通常用自然語言進行描述，但自然語言本身具有一定的不確定性。現有的大部分質量評價方法僅僅關注圖像質量的定量得分，忽略了人類感知圖像質量時本質上的模糊性。考慮到人眼對圖像質量感知的模糊性，將遙感圖像質量的評價問題轉化為圖像質量等級分類問題。本文提取了與視覺一致性的統計特性，即采取尺度空間方向小波分解獲取子帶系數、圖像的熵和圖像的梯度，將原始遙感圖像與失真遙感圖像特征利用深度信念網絡(Deep Belief Network，DBN)進行質量等級分類，模擬人眼對圖像的評價過程，給出圖像質量定性的描述測度。應用本文方法，其質量基本分類準確率達到 89.5%。

1 概述

1.1 遙感圖像特征提取

由于人眼是圖像的接收者，因此人眼視覺感知對于無參考圖像質量評價非常重要。當我們評估一幅圖像的質量時應該考慮到人眼視覺系統特性[8]。因此，不僅需要提取傳統的自然統計特征(Natural Scene Statistics,NSS)，還要提取感知內容的圖像特征：圖像的梯度、圖像的熵。這些HVS相關特征都是影響圖像質量的重要因素[9]。

1.1.1 NSS統計特征

自然圖像的復雜度和人工圖像相比很高，但是研究人員們發現自然圖像存在內在的統計規律，這種統計規律是人工圖像所不具有的[10]。自然場景具有某些統計特性，這些特性在失身的情況下會發生改變，通過使用自然場景統計表征這種不自然可以用來進行無參考的圖像質量評價。

由于小波變換的多尺度特性，將圖像進行小波變換可以很好地模擬人眼視覺系統的多分辨率特性。Moorthy等[11]提出的DIIVINE評價算法不同于之前僅靠提取一些簡單的邊緣描述的特征來評價圖像質量，DIIVINE提取的特征具有視覺一致性。它通過將失真圖像在2個尺度，6個方向上做小波分解的操作，由此得到12個子帶圖像和1個高頻圖像，對這些圖像進行統計特征提取，最后可以得到88個統計特征，其具體特征解釋如下。

1) 比例和方向選擇性統計(f1-f24)

使用廣義高斯分布(GGD)對12個子帶中的每一個的子帶系數進行參數化。廣義高斯分布表示如下：

fX(x;μ,σ2,γ)=ae-(b|x-μ|)γ，x∈R

(1)

式中，μ表示均值，σ2表示方差，γ表示形狀參數的分布，控制著分布的“形狀”。

(2)

(3)

Γ(·)是伽瑪函數，它表示為

(4)

由于小波子帶響應為零均值，因此需要估計每個子帶的σ2和γ，總共24個特征。其中，特征f1-f12對應于子帶上的σ2， 特征f13-f24對應于子帶上的γ。

2) 方向選擇性統計(f25-f31)

圖像在相同方向和不同尺度上存在子帶之間的關系。圖像中的失真會影響這些跨尺度統計。f25-f30對應來自不同方位上的尺度的統計γ，f31對應來自子帶上的統計γ。

3) 不同尺度的相關性(f32-f43)

自然圖像的高通響應與其帶通對應部分之間存在巧妙的統計特性，這種特性會在圖像失真時受到影響。通過加窗結構將每個帶通(BP)子帶與高通(HP)殘余帶進行比較。其中使用15×15高斯窗口過濾帶通和高通波段，σ=1.5。然后計算結構相關性：

(5)

4) 空間相關性(f44-f73)

(6)

5) 跨方向統計(f74-f88)

1.1.2 視覺感知特征

1) 圖像的熵

通常，圖像動態范圍越高，表示的圖像細節越好。 為了量化該指數，我們計算圖像像素強度的熵。 由于圖像直方圖更平坦，動態范圍更高。 根據信息論，概率分布越均勻，熵值越大。熵方程如下：

(7)

其中pi表示圖像像素強度的概率。

2) 圖像的梯度

梯度和灰度是圖像最基本的兩種信息。梯度是構成圖像邊緣輪廓的必不可少的因素，它具有有效捕獲圖像局部結構的能力，對人類視覺系統(HVS)敏感度高。當圖像I存在很明顯的亮度變化時，無論是來自圖像中的不連續結構，還是來自紋理結構，圖像的梯度▽I=[▽Ix,▽Iy]是較大的。將圖像1與圖1所示的3×3 Sobel算子進行卷積，生成對圖像1的梯度水平和垂直分量的測量，其測量有魯棒性并且很簡單。用方向導數之和的平方根來計算圖像的梯度幅值。

121000-1-2-1

圖1 Sobel算子

1.2 受限玻爾茲曼機

受限波爾茲曼機(Restricted Boltzmann Machines, RBM)是一個無向圖模型[12]。它由一個可視層和一個隱含層組成，每層有若干個節點，層內節點無連接，不同層之間的節點全連接。它包含m個可視節點，v=(v1,…,vm)用來表示表示可觀測數據；n個隱藏節點h=(h1,…,hn)用于捕獲觀測變量之間的依賴關系。在二進制的RMBs中，隨機變量(v,h)取值為(v,h)∈{0,1}m+n。一個RBM不在同一層的兩個變量之間，而是僅有隱藏層和可視層之間的連接。作為一個能量的模型，RBM具有可視節點和隱藏節點的聯合組態(v,h)的能量，其能量函數表示如下：

(8)

其中：vi和hj分別是第i個可視節點和第j個隱藏節點神經元的狀態，ci和bj是他們的偏置值，wij表示可視層節點和隱藏層節點的連接權值。

考慮相鄰層之間存在連接且RBM層內沒有連接，為隱藏和可見節點給出另一個相鄰層的后驗分布采用以下形式：

(9)

(10)

1.3 深度信念網絡

深度信念網絡(Deep Belief Network,DBN)是一個由多層受限玻爾茲曼機器(RBMs)構建的神經網絡[13]。圖3中的示意圖，RBM被構造為兩層神經元：可視層和隱藏層。每個神經元完全連接到另一層的神經元，但同一層的神經元之間沒有連接。RBM的作用是模擬其輸入的分布。通過將一個RBM的隱藏層鏈接到下一個RBM的可見層，我們可以將許多RBM堆疊在一起。

DBN結構示意圖如圖2所示，模型中每層的層數和單元數僅是示例。每個隱藏層并不要求具有相同數量的節點[14]。

圖2 DBN結構示意圖

訓練整個DBN模型，Hinton提出了一個解決DBN多層導致學習效率低的問題，解決方法包括以下兩個步驟[15]：

1) 逐層無監督學習。這一步是無監督學習過程。首先，通過輸入原始數據并修復該RBM的參數來訓練第1個RBM。然后使用這些輸出作為第2個RBM的輸入，其余的可以以相同的方式完成。最后可以得到一個多層的DBN，其參數適合于提取這類數據的特征。DBN的各層RBM通過前向傳播(Forward Propagation)自主學習輸入特征的非線性描述。

2) Fine-Turning微調。在該DBN的末尾添加一個合適的分類器，例如BP神經網絡。使用梯度下降算法來修改整個網絡的權重矩陣。因為誤差反向傳播，RBM的參數稍微改變。

DBN的測試只有前向傳播過程。將測試樣本輸入已經訓練好的DBN網絡模型中，經過前向傳播算法，最后一層的BP網絡輸出測試樣本被預測為各個類別的概率，概率最大的作為分類結果。

1.4 構建DBN網絡拓撲結構

1.4.1 DBN網絡深度

本文網絡深度的確定參考文獻[16]中提出的方法。根據重構誤差(Reconstruction Error,RError)來計算DBN的網絡深度。RError以訓練數據作為初始狀態，經過RBM的分布進行Gibbs轉移后與原始數據的差異量，其表達式如下：

(11)

式中:n表示樣本的個數，m表示像素數，p為網絡計算值，d為真實值，px為取值個數。設L為隱含層層數，ε為目標重構誤差預設值。則隱含層層數如下式所示：

(12)

當網絡經過訓練后其RError值低于預設值，則進行反向微調，反之，網絡層數自動加1，然后繼續訓練。整個DBN網絡深度的確定流程如圖3所示。

圖3 確定DBN網絡的深度流程

將RError≤0.15設置為RError的滿足條件。當隱含層層數為3時滿足要求，因此確定網絡含有3個隱含層。

1.4.2 隱含層節點數確定

對于隱含層神經元個數的選取尚無理論上的指導，沒有統一的經驗公式。因此通過設置不同的隱含層節點數，通過分析分類效果來確定最合適的節點數量。選取隱含層節點數為100，200，300，400，隱含層層數為3，通過設置實驗分析分類效果選出合適的隱含層節點數。

2 實驗與分析

2.1 實驗數據選取

本文收集了包含植被、道路、城市建筑等典型遙感地物特征的QuickBird-2 衛星遙感圖像，圖像大小均為 像素，如圖4所示。為了分析同時存在噪聲和模糊時對影圖的影響，對原始遙感圖像進行高斯模糊處理，選取的高斯模糊窗口[9,9]，通過高斯模糊濾波器分別為方差σ1=0.5、1、2、3，獲得一系列模糊影圖；在同一高斯模糊的圖像上再依次加入方差σ2=0.001、0.005、0.01、0.02的高斯噪聲，獲得一系列同時存在不同程度模糊和噪聲的遙感影圖共600幅。

圖4 由Quickbird-2衛星獲取的幅遙感圖像

按照表1所示的質量等級劃分表將不同失真強度的模糊和噪聲圖像劃分質量等級，設5種質量等級分別為“Excellent”、“Good”、“Fair”、“Poor”、“Bad”。這5種質量等級作為本文提出的評價網絡最后的輸出。

表1 質量等級劃分

將收集到的600幅遙感圖像中取400幅作為訓練集，剩下200幅作為測試集。為簡化表示，由表1中質量等級的字母開頭E、G、F、P、B代表相對應的質量等級。測試集中的類別構成如表2所示，

表2 數據庫的樣本類別構成

2.2 實驗參數設置

根據上一節中所提出的根據重構誤差(Reconstruction Error,RError)確定網絡含有3個隱含層。對于隱含層神經元個數的選取尚無理論上的指導，沒有統一的經驗公式。因此通過設置不同的隱含層節點數，分析分類效果來確定最合適的節點數量。選取隱含層節點數為100，200，300，400，隱含層層數為3，通過分類效果選出合適的隱含層節點數。以下通過整體分類精度和Kappa系數指標來評價分類效果。

總體分類精度(Overall Accuracy,OA)是對分類結果質量的總體評價，等于被正確分類的像素總和除以總的像素個數(圖5)。被正確分類的像素沿著混淆矩陣(表3)的對角線分布，它顯示了被正確分類到真實分類中的像元數。Kappa系數采用一種多元離散分析技術，反映分類結果與參考數據之間的吻合程度(圖6)。

圖5 不同節點對應的OA結果

表3 DBN分類結果的混淆矩陣

由結果可以看出，當隱含層節點數為200時網絡的性能更好。使用對比散度算法訓練RBM需要一定數量的迭代才能收斂到最佳值，本文所選迭代次數為150次，設學習率為0.001。訓練階段，首先提取出樣本集圖像的特征，依據HVS特性提取出88個統計特征和2個視覺感知特征，共90個特征向量；再將提取的特征向量輸入到包含3個隱藏層的DBN中，將DBN最后一層隱含層的輸出作為Softmax分類器的激活函數，最后一層輸出5個類別標簽的概率。將可視層節點數設為200，網絡拓撲結構設為90-200-200-200-200-5。在獲取到特征向量后通過Softmax分類器實現遙感圖像質量等級的分類。最終得到的用于評價遙感圖像質量的DBN網絡評價模型整體結構如圖7所示。

圖6 不同節點對應的Kappa系數

圖7 評價遙感圖像質量的DBN網絡評價模型整體結構

2.3 實驗結果及分析

為了說明本文方法中深度學習網絡的有效性，直接采用 SVM、 BP神經網絡和隨機森林這些淺層分類模型代替 DBN 訓練得到的分類模型，并預測遙感圖像的質量等級，結果如表4和表5所示，采用本文方法得到的Kappa系數高于其他3種方法，分類精度也高于其他3種。

表4 分類精度評價結果比較

表5 Kappa系數結果比較

根據本文方法評價遙感圖像質量的部分評價結果如圖8所示。

圖8 部分圖像質量等級判別結果

3 結論

考慮人眼對圖像質量感知的模糊性，利用自然場景統計特性和深度置信網絡，將遙感圖像質量的評價問題轉化為圖像質量等級分類問題。DBN 結合了無監督學習和有監督學習的優點，可自動發現遙感圖像的自然場景統計特征與質量等級之間的規律，進而提高質量等級分類的準確性。實驗表明：該方法可取得優于淺層網絡和其他傳統分類效果。本文方法能有效評價出同時存在噪聲和模糊的遙感圖像的質量等級，是一種準確可靠的遙感質量評價方法，并且易于實現。