利用協同表示與神經網絡的高光譜圖像亞像元定位

薛曉琴，岳亞偉，夏磊，李麗，賀雄偉

(山西農業大學 軟件學院，山西 太谷 030801)

0 引言

高光譜遙感圖像[1]中普遍存在著混合像元，研究者認為混合像元中存在的地物類別、各地物類別所占的比例信息以及各地物類別的具體空間位置具有重要意義[2]。混合像元中存在的各地物類別稱為端元，尋找端元是對混合像元的定性分析；混合像元中端元所占的百分比稱為豐度，求解豐度是對混合像元的定量分析；混合像元中不同地物類別的空間分布是亞像元定位的結果，亞像元定位是對混合像元的定位分析。

亞像元定位的思想最早由Atkinson在1997年提出[3]。亞像元定位自提出之后引發了國內外學者的高度關注以及深入的科學研究。亞像元定位技術根據空間分辨率提高的尺度因子將像元劃分成多個小的亞像元，并為每個小的亞像元分配唯一的類別標簽。現有的亞像元定位模型主要有三大類：1)基于空間引力的亞像元定位，如Mertens提出的亞像元空間引力模型(subpixel/pixel spatial attraction model，SPSAM)[4]、基于空間引力模型和自適應端元選取的亞像元定位(attraction based subpixel mapping，ASPM)[5]、基于空間引力和空間輔助信息的亞像元定位(attraction based contextual subpixel mapping，ACSPM)[5]；2)基于目標優化的的亞像元定位，如基于最大后驗概率(maximum a posteriori，MAP)的亞像元定位[6]、基于MAP的引入多個亞像元移位圖像的亞像元定位[7]、基于馬爾可夫隨機場(markov random field，MRF)的亞像元定位[8]、基于MRF和多個亞像元移位圖像的亞像元定位[9]、基于模擬退火算法的亞像元定位模型[10]、具有稀疏約束和全變分最小約束的亞像元定位[11]；3)基于訓練方式的亞像元定位，如基于BPNN(backpropagation neural network)的亞像元定位[12]、基于HNN(Hopfield neural network)的亞像元定位[13]、以全色圖像作為附加信息的基于HNN的亞像元定位[14]、基于SVM的亞像元定位[15]。

基于空間引力的亞像元定位精度的提高依賴于空間相關性的充分表達，以及空間輔助信息的有效利用。基于目標優化的的亞像元定位精度提高的關鍵在于空間輔助信息的有效表示以及附加約束項的引入。目前，基于空間引力的亞像元定位與基于目標優化的亞像元定位方法精度的提高皆依賴于高空間分辨率圖像中空間信息的有效表示。基于訓練方式的亞像元定位，如基于BPNN的亞像元定位，網絡訓練時間較長，且算法的精度依賴于大量有效的訓練樣本。然而，在實際應用中高光譜遙感數據的有效訓練樣本有限，導致基于訓練方式的亞像元定位的精度有限。將小樣本擴充為有效的大量樣本是提高基于BPNN的亞像元定位精度的關鍵。

基于協同表示的分類(collaborative representation-based classification，CRC)最早由Zhang提出并應用于人臉識別[16]。 CRC引入了l2-范數最小化約束，使得權值向量可直接近似估計，極大程度地降低了算法的時間復雜度。本文所提算法應用了聯合空間信息的基于協同表示(joint collaborative representation，JCR)的分類[17]和聯合空間信息的基于協同表示的后分割(joint collaborative representation with tikhonov regularization，JCRT)[18]分類器進行像元級分類。不同于JCR，JCRT同時使用來自不同類別的訓練樣本進行協同表示。因此，JCRT比JCR更適合于監督分類，但JCRT比JCR運行效率低。

本文針對小樣本情況下基于BPNN高光譜圖像亞像元定位精度有限的問題，提出利用協同表示與神經網絡的高光譜圖像亞像元定位算法。本文所提算法以一幅低空間分辨率的高光譜圖像(low resolution hyperspectral image，LHSI)和少量的訓練樣本作為輸入，首先應用基于協同表示[16]的分類等技術獲取兩幅初始的亞像元級類別標簽圖，之后依據兩幅初始的亞像元級的類別標簽圖擴充訓練集，最后利用擴充后的訓練集基于BPNN對高光譜圖像進行亞像元定位，從而提高小樣本情況下亞像元定位的精度。

1 研究方法

前期研究發現協同表示[16]無需迭代便可近似求解豐度，較大程度地降低了計算復雜度，而且可以產生更好的分類性能。BPNN模型較為簡單，在訓練樣本充足的情況下應用BPNN可以得到較為精細的亞像元定位結果。鑒于協同表示和BPNN的優點，提出利用協同表示和BPNN的高光譜圖像亞像元定位算法(subpixel mapping approach using collaborative representation and backpropagation neural network，CRSPM-BP)。如圖1所示，CRSPM-BP以低空間分辨率的高光譜圖像(LHSI)作為輸入，由高空間分辨率的高光譜圖像(high resolution hyperspectral image，HHSI)的分類，LHSI的亞像元定位，新訓練集的生成以及基于BPNN的亞像元定位4個模塊組成。

圖1 CRSPM-BP總體框圖

1.1 HHSI的像元級分類

CRSPM-BP的第一模塊是HHSI的分類，該分支的輸入是LHSI，輸出是一幅高空間分辨率下的類別標簽圖。該模塊包含以下2個步驟：①對LHSI空間上采樣以獲得HHSI；②對空間上采樣所得的HHSI進行像元級的監督分類。

若空間分辨率提高的尺度因子為S，則利用立方卷積插值法[19]以S為上采樣尺度因子對LHSI空間上采樣，可以得到HHSI。之后采用基于JCR的分類器對空間上采樣所得的HHSI進行像元級分類，可得到一幅高空間分辨率下的類別標簽圖。

由于LHSI的訓練樣本為純像元，LHSI的訓練樣本所對應的亞像元的類別標簽與其一致。LHSI訓練樣本對應的亞像元即可組成HHSI的訓練樣本。HHSI的像素個數是LHSI像素個數的S2倍，且訓練樣本是LHSI訓練樣本的S2倍，因此該模塊采用了運行效率較高的基于JCR的分類器[17]。

1.2 LHSI的亞像元定位

CRSPM-BP的第二模塊為LHSI的亞像元定位，該分支采用了JASPM[18]算法。LHSI的亞像元定位包括以下3個步驟：①使用基于JCRT的分類器對LHSI進行像元級分類；②根據LHSI的像元級分類結果為各混合像元選取端元，并使用全約束最小二乘法(fully constrained least squares，FCLS)[20]求解豐度；③采用SPSAM對LHSI進行亞像元定位。

在LHSI的亞像元定位模塊中，選用基于JCRT的分類器[18]對LHSI進行像元級分類，獲得一幅低空間分辨率下的類別標簽圖。低空間分辨率下的類別標簽圖將為后續的自適應端元選取提供依據。

CRSPM-BP算法將初始訓練樣本視為純像元，其他樣本視為混合像元。端元的選取有以下幾條基本原則：①為每個混合像元選取10個端元；②多個端元可以共享同一種地物類別；③從訓練集中選取空間上與當前混合像元最近的訓練樣本作為端元；④所選取的10個端元中，只有5個端元的地物類別標簽與當前混合像元在LHSI像元級分類結果中的類別標簽一致，其他5個端元則來自不同于像元當前標簽的其他地物類別。端元選取之后，采用FCLS對混合像元中各端元所對應的豐度進行估計。由于多個端元可以共享同一種地物類別，對當前混合像元中所有屬于同一類別的端元對應的豐度信息求和可以得到當前混合像元中各地物類別所占的豐度比例。

SPSAM包括3個步驟：①通過混合像元中各地物類別的豐度信息和空間分辨率提高的尺度因子計算混合像元中各地物類別亞像元的個數；②SPSAM通過混合像元中各亞像元對應于各地物類別的空間引力值來量化空間相關性；③將混合像元中的所有空間引力值從高到低排列，從引力值最高的亞像元開始為其分配對應的類別標簽，同時保持亞像元定位結果與混合像元中各地物類別的亞像元個數一致。

1.3 新訓練集的生成

2幅高空間分辨率下的類別標簽圖已分別由HHSI像元級分類和LHSI的亞像元定位兩個模塊獲得。CRSPM-BP的前兩個模塊所得的高空間分辨率下類別標簽圖中類別標簽一致的亞像元較多，假設這些亞像元均定位正確，可以使用這些亞像元所在的像元來擴充訓練集。

CRSPM-BP的第三個模塊為新訓練集的生成。新訓練集包括了原始的訓練集與所有亞像元在CRSPM-BP的前2個模塊所得的2幅圖像中類別標簽均一致的像元。當像元所包含的亞像元的標簽在JHHS和JASPM中均一致時，該像元的亞像元定位結果正確的概率較大。將HHSI的分類結果記作JHHS，LHSI的亞像元定位結果記作JASPM。假設上采樣因子S=2，則一個像元Pi，j被劃分為2×2個亞像元，像元Pi，j加入新訓練集的條件為：

金礦物70.59%為自然金，29.41%為銀金礦。據區內金礦物電子探針成分分析樣結果統計，金礦物自然金成色為908.2，銀金礦成色為749.7，平均859.4。自然金中Au/Ag為11.35∶1。成色較高的金礦物，反映成礦溫度為中偏高及較高的成礦深度，微觀觀察礦石可發現，金礦物絕大部分集中在一個成礦階段內[13-15]，從均方差64.63和變化系數9.45來看，金礦物成色相差較小，反映出金礦物在生成時間上較接近，成礦階段較單一(表4、表5)。

(1)

1.4 基于BPNN的亞像元定位

由于BPNN較為智能且應用較為簡單，CRSPM-BP的第四個模塊應用BPNN進行亞像元定位，對JHHS和JASPM中標簽不一致的亞像元進行標號。在只有少量訓練樣本的情況下，直接使用BPNN進行亞像元定位的精度較低。使用新的訓練集有望提高亞像元定位的精度。以新訓練集中的像元的豐度信息與其鄰域像元的豐度信息(CRSPM-BP第二模塊中所估計的豐度)作為輸入，像元中各亞像元的類別標簽作為輸出，訓練網絡可以得到合適的權值和偏置。之后將未確定類別標簽的亞像元所在的像元的豐度信息及其鄰域像元的豐度信息輸入訓練好的網絡即可對該像元進行亞像元定位。

基于BPNN的亞像元定位可用MATLAB中的神經網絡工具箱來完成。該工具箱支持多種可選的訓練和學習算法。首先，使用訓練樣本確定網絡的較優權值；然后將待亞像元定位的像元的豐度信息及其鄰域像元的豐度信息輸入網絡，即可得到像元中各亞像元屬于各地物類別的概率；最后根據概率值的高低即可得到該像元中各亞像元的類別標簽。

2 實驗數據與方法

2.1 實驗數據

為了驗證所提出的CRSPM-BP的有效性，實驗使用了目前廣泛使用的2組由不同成像光譜儀收集的高光譜圖像數據集，分別為Indian Pines數據和Pavia University數據。這2組數據代表了不同的地物覆蓋場景，由機載可見光/紅外成像光譜儀(AVIRIS)獲得的Indian Pines數據代表了農業地區，由反射光學系統成像光譜儀(ROSIS)獲得的Pavia University數據代表了城市地區。

2.2 實驗方法

CRSPM-BP的輸入是一幅LHSI，輸出是高空間分辨率下的類別標簽圖。為了模擬亞像元定位，對原始的HHSI以S為下采樣因子進行高斯下采樣，以獲得CRSPM-BP的輸入LHSI。實驗中對202個波段的包含144像素×144像素的Indian Pines圖像進行高斯下采樣并加入噪聲，下采樣后的Indian Pines圖像包含202個波段，每個波段包含72像素×72像素。實驗中對103個波段的包含609像素×339像素的Pavia University圖像進行高斯下采樣并加入噪聲，下采樣后的Pavia University圖像包含103個波段，每個波段包含203像素×113像素。

實驗中選擇LHSI的純像元(像元中所有的亞像元屬于同一種地物類別)組成LHSI的訓練集。下采樣后的Indian Pines圖像包含2 213個純像元，從中隨機選擇15%的純像元構建訓練集，則訓練集包含333個訓練樣本。下采樣后的Pavia University圖像包含206個純像元，將其全部作為訓練樣本，則訓練集包含206個訓練樣本。

CRSPM-BP的實驗方法示意圖如圖2所示。LHSI通過HHSI的像元級分類和LHSI的亞像元定位2個分支得到2幅高空間分辨率下的類別標簽圖。根據2幅高空間分辨率的類別標簽圖生成新的訓練樣本以擴充訓練樣本集，來解決小樣本問題。CRSPM-BP的核心思想在于利用協同表示等技術生成新的訓練樣本，而后利用大量樣本基于BPNN進行亞像元定位。

圖2 CRSPM-BP實驗方法示意圖

3 實驗結果與分析

CRSPM-BP的亞像元定位結果分別與HHSI的像元級分類結果(JHHS)、LHSI的亞像元定位結果(JASPM)進行比較，以驗證CRSPM-BP第三個模塊和第四個模塊的必要性。CRSPM-BP的亞像元定位結果還與一些具有代表性的同類亞像元定位算法進行比較，包括基于空間引力模型和自適應端元選取的亞像元定位(ASPM)、基于空間引力模型和輔助空間信息的亞像元定位(ACSPM)算法。

圖3 不同算法對Indian Pines圖像的亞像元定位結果

圖4 不同算法對Pavia University圖像的亞像元定位結果

為了更加清晰地展示CRSPM-BP的亞像元定位效果，圖5給出了不同算法對Pavia University圖像的亞像元定位結果的右下角區域局部放大圖。ASPM、ACSPM和JHHS所得亞像元定位結果中的草地類別被誤分為裸地與樹木類別，如圖5(b)至圖5(d)所示；JASPM所得亞像元定位結果中的草地類別被誤分為裸地、樹木、瀝青道路和地磚類別，如圖5(e)所示；CRSPM-BP所得亞像元定位結果中的草地類別被誤分為樹木類別，如圖5(f)所示。對比圖5中不同方法所得亞像元定位結果的局部放大圖，可以發現該區域的CRSPM-BP 結果類別間混淆較少且沒有出現“空洞現象”。

圖5 不同算法對Pavia University圖像的亞像元定位結果的右下角區域局部放大圖

實驗中使用總體分類精度(overall accuracy，OA)與Kappa系數對亞像元定位結果進行定量評價。ASPM、ACSPM、JHHS、JASPM、CRSPM-BP對于AVIRIS數據和ROSIS數據的亞像元定位精度見表1。從表1可以看出，CRSPM-BP的亞像元定位精度均優于表中所列舉的其他算法。尤其對于Pavia University圖像，CRSPM-BP算法的OA比ACSPM算法高8.91%。CRSPM-BP和ASPM算法以LHSI作為輸入，而ACSPM算法以LHSI和輔助的高空間分辨率的彩色圖像作為輸入，然而CRSPM-BP仍然生成了比ACSPM精度更高的亞像元定位結果。

表1 不同算法的亞像元定位精度

CRSPM-BP使用擴充后的訓練集來對BPNN進行訓練，對易混淆的像元進行亞像元定位，從而提高了亞像元定位的精度。相比Indian Pines圖像，Pavia University圖像細節信息較為豐富。CRSPM-BP對Pavia University圖像的亞像元定位精度的提高更為顯著，CRSPM-BP更適用于細節信息豐富的高光譜圖像的亞像元定位。

4 結束語

本文提出了基于協同表示與BP神經網絡的高光譜圖像亞像元定位算法。CRSPM-BP算法包含了4個模塊，HHSI的像元級分類、LHSI的亞像元定位、新訓練集的生成和基于BPNN的亞像元定位。HHSI的像元級分類應用了立方卷積插值法和基于JCR的分類技術。LHSI的亞像元定位包含了基于JCRT的分類、光譜解混和基于空間引力模型的亞像元定位3個步驟。假設前2個模塊產生的類別標簽一致的亞像元標號正確，以這些亞像元所在的像元作為新的訓練樣本，極大地擴充了訓練樣本集。較大的訓練樣本集使得BPNN可以訓練得到合適的權值和偏置，從而解決了小樣本情況下基于BPNN進行亞像元定位精度有限的問題。實驗使用了兩組高光譜數據集對CRSPM-BP算法進行驗證。與同類代表性算法進行對比，CRSPM-BP算法可以產生較好的亞像元定位結果。對于Pavia University圖像，CRSPM-BP算法的OA比ACSPM算法高8.91%。然而，對于Indian Pines圖像，CRSPM-BP的OA僅僅比ACSPM算法高0.26%。CRSPM-BP的精度對BPNN參數的依賴性較強。未來研究將圍繞小樣本情況下基于卷積神經網絡的亞像元定位展開，有望提高小樣本情況下利用神經網絡進行亞像元定位的普適性。