基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類

劉 帥，張旭含，李笑迎，田 野

·土地保障與生態安全·

基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類

劉 帥1,2，張旭含1，李笑迎1，田 野1,2※

（1. 燕山大學信息科學與工程學院，秦皇島 066004；2. 河北省信息傳輸與信號處理重點實驗室，秦皇島 066004）

高精度監測土地利用對實現可持續發展有重要意義。然而，由于遙感傳感器成像的限制和地物的復雜性，單一的高光譜和多光譜圖像已經不能滿足高精度土地利用分類的要求，充分利用高光譜和多光譜遙感圖像的互補信息能克服僅采用單一遙感圖像分類的不足。該研究設計雙分支卷積神經網絡協同高光譜和多光譜遙感圖像進行土地利用分類。針對高光譜圖像設計3維-1維卷積神經網絡（3D-1D Convolutional Neural Networks，3D-1D CNN）分支自動提取高光譜圖像的空間-光譜特征；針對多光譜圖像，設計3維卷積神經網絡（3D Convolutional Neural Networks，3D CNN）分支提取多光譜圖像的空間-光譜特征；設計融合層將從高光譜和多光譜圖像提取的特征進行融合，最后通過全連接層輸出土地利用類別。研究表明，與決策樹（Decision Tree，DT）、支持向量機（Support Vector Machine，SVM）以及1D、2D和3D CNN方法相比，該文提出的基于雙分支卷積神經網絡的方法在兩個數據集上Kappa系數平均分別提升了15.9、8.1、5.4、5.4和2.7個百分點。

土地利用；遙感；卷積神經網絡；高光譜；多光譜

0 引 言

土地是不可再生的寶貴資源，也是人們賴以生存的主要資源之一。隨著中國經濟持續高水平發展，土地浪費現象日益嚴重，土地資源的實際應用效率比較低，這對經濟的發展造成不良影響。因此，高精度監測土地利用現狀成為非常急迫的任務，其對強化土地資源的高效管理，更加合理的利用土地資源，發揮土地資源的最大價值都有促進作用。隨著遙感技術的深入發展，遙感圖像在土地利用分類中發揮著越來越不可替代的作用[1-4]。設計合理的分類模型，提高遙感圖像土地利用分類精度對監測土地資源，節約用地和實現可持續發展具有十分重要的意義。

遙感圖像土地利用分類方法眾多，傳統的分類算法有最大似然法（Maximum Likelihood，ML），隨機森林（Random Forest，RF），決策樹（Decision Tree，DT），支持向量機（Support Vector Machine，SVM）等方法。劉煥軍等[5]將提取的特征進行主成分分析，并利用最大似然法對土地進行分類，總體精度有一定的提高，并為土壤分類和制圖提供了新的方法。陳元鵬等[6]采用隨機森林方法進行土地利用分類，并根據特征變量的重要性對高維數據降維，土地利用分類的準確度有所提高。王李娟等[7]對Sentinel-2衛星數據構建光譜特征、紋理特征等4種基本特征變量，對以上變量進行優化選擇和特征重要性評價，并采用隨機森林算法對比分析不同變量組合對農耕區土地利用分類結果的影響。姜宛貝等[8]根據先驗知識和訓練樣本構建決策樹的分類規則并對土地利用分類，實現了干旱區快速有效地土地利用分類。李平等[9]使用支持向量機的方法對土地利用進行分類研究，以提高土地利用動態監測的效率。但是這些方法屬于淺層結構算法，對于遙感數據的表達能力有限，對于復雜的分類問題，其泛化能力受到一定的限制。目前，深度學習[10-15]已經成為許多領域的研究熱點，其中卷積神經網絡（Convolutional Neural Networks，CNN）由于具有強大的特征學習和特征表達能力等優點在遙感圖像分類處理領域取得很好的成果[16-19]。趙紅偉等[20]利用中國湛江地區Sentinel-1A時間序列數據，評估了1D CNN網絡模型在作物早期分類中的應用。Song等[21]基于1D CNN網絡模型用于土地利用分類，該模型用于光譜域中的每個像素，與傳統基于分解的方法和神經網絡方法相比，分類精度更高。Lin等[22]提出了基于2D CNN的方法用于合成孔徑雷達圖像的土地覆蓋分類，該方法使用由卷積和池化等多個非線性變換構成的結構得到數據的高級抽象特征，并使用Softmax分類器進行土地覆蓋分類，該分類方法的準確率在90%左右。Martin等[23]基于2D CNN的衛星數據像素分類方法，使用無監督聚類算法對CNN進行預訓練，然后對于每個像素的分類進行微調，針對5種地物類別進行分類，分類精度有很大的提高。但是這些土地利用分類方法僅使用單一的遙感圖像，由于地物分布的復雜性，單一的遙感圖像很難滿足土地利用分類的需求。

與單一類型的遙感圖像相比，多源遙感圖像協同分類可以充分利用不同類型的數據信息，綜合表示目標的特征，從而對土地類型做出更準確的判斷[24]。由于成像傳感器的限制，高光譜遙感圖像有較高的光譜分辨率，但空間分辨率往往較低，對小目標分類問題的效果欠佳，使其在很多情況下不能很好地解決高精度的分類問題；多光譜遙感圖像一般有較高的空間分辨率，但光譜分辨率較低。高光譜和多光譜遙感圖像有較大的互補性，融合高光譜與多光譜圖像的特征信息可以提高分類識別的精確性和可靠性。高光譜和多光譜圖像的融合正處于發展階段，且具有很大的研究和提升空間[25-26]。Imani等[27]提出了基于邊緣塊圖像的形態學操作來提取高光譜圖像和多光譜圖像的特征。文獻[28]證明利用兩種類型的遙感圖像和形態學操作可以提高分類精度；Yokoya等[29]提出了基于耦合非負矩陣分解的高光譜和多光譜數據在牧草分類中的應用，通過對牧草類型的分類精度來評價融合數據的光譜質量；Dimitris等[30]利用模糊輸出支持向量機分別對高光譜和多光譜圖像進行2個模糊分類，然后通過決策融合算子將兩個模糊分類合并，與僅使用單一光譜圖像進行分類相比，此融合方案的分類精度有了明顯的提高；Li等[31]利用4種傳統的分類器，如光譜角度匹配、光譜特征擬合等方法驗證高光譜數據和多光譜數據的融合分類效果，試驗證明高光譜數據與多光譜數據融合后對礦物的識別和分類具有積極的作用。但在多源遙感圖像的處理中，目前大多數圖像融合方法需要利用傳統人工設計的方法提取特征，并在此基礎上進行分類，這樣的方法不僅耗時耗力，多源圖像融合分類的精度也不是很高，不利于多源遙感圖像融合的應用。

針對以上問題，本文提出了基于雙分支卷積網絡結構的高-多光譜圖像協同土地利用分類方法。由于卷積神經網絡在自動提取圖像的特征方面表現出了十分優越的性能，本文設計了一種雙分支卷積神經網絡（Dual Branch Convolutional Neural Network，DBCNN）提取高光譜圖像和多光譜圖像的空間和光譜特征，再將二者的特征通過微調策略進行特征級融合，并用于土地利用分類。

1 研究區域和數據預處理

本文采用了2個高光譜數據集。其中，Chikusei數據集選取的研究區域位于日本茨城縣筑西市（Chikusei）的城鄉交界區域，整個區域的土地構成以耕地為主。試驗數據由Headwall Hyperspec-VNIR-C成像傳感器于2014年7月29日世界標準時間9:56到10:53之間拍攝，圖像中心點坐標為36.294 946°N，140.008 380°E。Chikusei數據集由128個波段組成，波長為0.363～1.018m，空間分辨率為2.5 m[32]。原始數據大小為2 517×2 335，由于一些邊緣區域沒有數據，將無數據區域去除后，本文實際采用的研究區域圖像由2 090×2 090像素組成。依據研究區土地利用特點，將土地利用類別劃分為耕地、林地、草地、居民用地、道路交通用地、水體和未利用地7類，試驗中高光譜和多光譜數據由Chikusei數據集生成，采用Mahmood等[33]提出的方法，即通過從原始高光譜數據中選擇最接近紅色、綠色和藍色光譜范圍中心波長對應的3個波段（Chikusei數據集的第60、40、20波段）構成多光譜數據，多光譜數據的空間分辨率為2.5 m，采用高斯下采樣法來獲取試驗用的高光譜數據。

帕維亞大學（Pavia University）數據集是由德國的機載反射光學光譜成像儀（Reflective Optics Spectrographic Imaging System，ROSIS-03）在2003年對意大利的帕維亞城所成像的一部分高光譜數據，波長為0.43 ～0.86m，空間分辨率為1.3 m，該數據去除了12個受噪聲影響的波段，因此使用的為103個光譜波段所成的圖像，像素大小為610×340。依據研究區土地利用特點，將土地利用類別劃分為林地、草地、房屋及建筑用地、道路交通用地、未利用地和陰影6類；試驗中高光譜和多光譜數據由Pavia University數據集生成，利用Pavia University數據集的第53、31、7波段構成多光譜數據，多光譜數據的空間分辨率為1.3 m，采用高斯下采樣法來獲取試驗用的高光譜數據。試驗數據的真彩色圖像如圖1所示。

試驗中通過選取原始高光譜圖像的RGB波段得到模擬的多光譜圖像，并且采用高斯下采樣法來降低原始高光譜圖像的分辨率來獲取試驗用的高光譜數據，試驗中多光譜數據的空間分辨率高于高光譜數據的空間分辨率。

圖1 試驗數據的真彩色圖像

本文使用標準差標準化的方法對高光譜圖像和多光譜圖像進行標準化，標準化以后的數據為標準的正態分布。標準化可以使不同特征之間的差異性減少，得到更加理想的結果。根據已有土地利用類型標簽將原圖像采樣為長和寬大小相同的圖像塊，在樣本提取時，本文在原始圖像中隨機地選擇像素點，并且以該像素點為中心，向四周擴展，選擇一定大小的圖像塊，將該中心像素點的類別作為圖像塊的標簽。訓練樣本、驗證樣本和測試樣本的比例分別為25.5%，4.5%和70%，表1列出了Chikusei和Pavia University數據劃分各個類別的訓練、驗證和測試樣本的數量。

表1 Chikusei和帕維亞大學數據訓練、驗證和測試樣本的數量

2 研究方法

2.1 卷積神經網絡

卷積神經網絡是一種局部連接、權值共享的前饋式多層神經網絡，典型的卷積神經網絡結構包括卷積層，下采樣層，激活函數，全連接層等[34]。

1）卷積層

在卷積神經網絡中，卷積核疊置在輸入層數據上，以一定的步長滑動，計算卷積核和輸入層數據的卷積。卷積核包括1D、2D和3D卷積核，使用這些卷積核的層分別對應1D、2D和3D卷積層。卷積層可以進行特征提取，其卷積過程可以表示為

2）下采樣層

下采樣層通過對數據進行采樣，不僅可以降低數據的數量還可以保存有用的信息。

3）激活函數

激活函數是在卷積神經網絡層之間進行非線性運算，使得網絡可以更好地解決比較復雜的問題。

4）全連接層

網絡中可以有多個全連接層，全連接層的所有神經節點都和前一層的每個神經節點相連，通過權值進行前向傳播加權和計算，作為下一層神經節點的輸入。

2.2 雙分支卷積網絡模型

基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類的流程如圖2所示。首先對數據進行預處理，并隨機劃分數據集。其次，通過訓練雙分支網絡模型并分別提取高光譜和多光譜圖像的特征，并將二者的特征進行特征級融合，最后進行土地利用分類和精度評價。

雙分支卷積網絡模型的結構如圖3所示，該網絡模型包括3D-1D CNN分支和3D CNN分支。

圖2 基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類流程圖

2.2.1 3D-1D CNN分支

3D-1D CNN分支用于提取高光譜圖像的空間和光譜特征，網絡結構包括3D卷積神經網絡（如圖3中A所示）和1D卷積神經網絡（如圖3中B所示）。3D卷積神經網絡包括3個3D卷積層，3個批量標準化層，2個3D最大值下采樣層，激活函數采用Leaky ReLU。1D卷積神經網絡用于提取高光譜圖像豐富的光譜特征信息，本文設計的1D卷積神經網絡與3D卷積神經網絡的模型結構保持一致。

對于高光譜圖像的特征融合，本文將從高光譜圖像中提取的空間和光譜特征融合并饋送到全連接層中。全連接層的輸出為

2.2.2 3D CNN分支

本文設計3D CNN分支（如圖3中C所示）提取多光譜圖像的空間和光譜特征。該網絡分支包括3個3D卷積層，1個3D最大值下采樣層。每個卷積層后都進行批量標準化，激活函數采用Leaky ReLU。最后將提取的多光譜圖像空間-光譜特征轉成向量形式。

圖3 雙分支卷積神經網絡結構圖

2.2.3 雙分支特征融合

DBCNN將從3D-1D CNN分支和3D CNN分支提取的特征進行融合，融合過程使用了微調策略。由于從頭開始訓練模型可能會導致模型不收斂，出現過擬合等問題。因此，本文通過微調策略調整全連接層來實現更好的結果。DBCNN采用交叉熵損失函數量化模型預測和真實標簽之間的差異。為了提高訓練效率，對訓練數據集分批訓練，每次更新都利用一小部分訓練樣本計算梯度并更新參數，而非整個訓練集。網絡在全連接層中加入了dropout，能夠隨機地刪除網絡中的一些隱藏神經元，將修改后的網絡進行前向和反向傳播，如此反復迭代可以有效地避免過擬合問題[35]。表2中列出了所提出的雙分支卷積網絡結構的詳細描述。其中，網絡的輸入是大小為3×3×128×1和128×1的高光譜樣本以及3×3×3×1的多光譜樣本。

表2 雙分支卷積神經網絡結構

注：Conv3D表示3D卷積層，Maxpool3D表示3D最大值下采樣層。

Note: Conv3D means 3D convolutional layer, Maxpool3D means 3D maximum downsampled layer.

3 試驗設置與結果分析

3.1 試驗設置

對本文提出的網絡模型進行參數設置，3D-1D CNN和3D CNN分支都使用自適應動量估計（Adaptive Moment Estimation，Adam）優化算法，并將學習率設置為0.000 1。雙分支卷積網絡DBCNN也使用Adam優化方法，學習率設置為0.000 1。單次訓練所用的樣本數設置為100，回合（Epoch）設置為20。在本試驗中，選擇了以下方法進行比較試驗，其中淺層分類方法選擇DT和SVM，DT使用基尼系數，最大深度設置為5；SVM采用RBF核函數。深度學習分類方法選用1D CNN，2D CNN和3D CNN。1D CNN網絡包括3個1D卷積層和2個1D最大值下采樣層，其中3層卷積核的大小都為3，數量為32，64，128，不使用填充操作，加入dropout防止過擬合；2D CNN網絡包括3個2D卷積層和1個2D最大值下采樣層，3層卷積核的大小都為2×2，數量分別為32，64，128，使用填充操作，加入dropout防止過擬合；3D CNN網絡包括3個3D卷積層和1個3D最大值下采樣層，其中，3層卷積核的大小都為2×2×2，數量分別為32，64，128，使用填充操作，加入dropout防止過擬合。為了保證試驗的公平性，所有試驗的訓練、驗證和測試樣本數量完全相同。在模型訓練結束后需要評價不同模型的分類性能，本文選用混淆矩陣，總體精度（Overall Accuracy，OA）、平均精度（Average Accuracy，AA）和Kappa系數[36]定量評價土地利用分類精度。試驗采用Keras深度學習框架，使用Python編程實現。

3.2 結果與分析

由于微調策略可以降低模型計算的復雜性，并且有助于提高分類的準確性，因此本文將微調策略用于DBCNN網絡。在微調策略中，將3D-1D CNN分支和3D CNN分支作為預訓練模型，將全連接層之前的模型權重固定后進行訓練，微調全連接層的權重。未使用微調策略是不采用預訓練模型。圖4比較了在試驗數據集中，DBCNN使用微調和未使用微調時每一類的分類精度和總體精度。由圖4a可知，在Chikusei數據集中，對于大多數的類別，使用微調策略相比沒有微調時的分類性能要好，如第4類居民用地提高了1.18個百分點，第5類道路交通用地提高了1.12個百分點，第6類水體提高了2.99個百分點，第7類未利用地提高了1.40個百分點，并且使用微調時的總體精度相比未使用微調提高了0.27個百分點。

由圖4b可知，在Pavia University數據集中，第1類林地使用微調時相比未使用微調時的精度提高了0.73個百分點，第2類草地提高了1.21個百分點，第4類道路交通用地提高了3.27個百分點，第6類陰影提高了1.93個百分點，并且使用微調時的總體精度相比未使用微調提高了0.39個百分點。由于微調策略可以有效地減少計算量，提高計算效率，獲得更好的分類性能，網絡也會更加穩定，因此，本文在DBCNN中使用微調策略。

圖4 不同數據集DBCNN使用微調和未使用微調的分類性能

學習率控制著訓練過程中梯度下降的步長，也影響著網絡的學習行為。如果學習速率太小，則會使收斂過慢，如果學習速率太大，則會導致代價函數振蕩，因此，選擇合適的學習率對分類結果非常重要。本文在微調階段測試了不同的學習率對分類結果的影響，如表3所示，對于Chikusei以及Pavia University試驗數據，最佳學習率為0.000 1。

表3 DBCNN網絡在不同學習率下的分類性能

圖5和圖6分別提供了Chikusei和Pavia University數據的分類結果。對比不同方法分類圖的矩形區域，可以看到DBCNN模型得到的土地利用圖分類效果最好。

注：黑色代表沒有實地調查的區域。下同。

表4為Chikusei數據和Pavia University數據利用不同方法僅使用高光譜或多光譜圖像分類結果對比。由表4可以看出，在Chikusei數據中，本文提出的3D-1D CNN與DT、SVM和1D CNN相比，總體精度分別提高了7.06、5.72、2.90個百分點；本文中的3D CNN與DT、SVM和2D-CNN相比，總體精度分別提高了6.16、0.38、7.40個百分點。在Pavia University數據中，本文提出的3D-1D CNN與DT、SVM和1D CNN相比，總體精度分別提高了16.05、6.48、6.27個百分點；在高光譜圖像分類中總體精度最高。本文中的3D CNN與DT、SVM和2D-CNN相比，總體精度分別提高了7.13、2.55、3.78個百分點，在多光譜遙感圖像分類中精度最高。

為了說明本文提出方法的有效性，表5顯示了Chikusei和Pavia University數據利用不同方法使用高光譜與多光譜圖像的分類精度。由表5可以看出，無論是Chikusei數據還是Pavia University數據，與僅使用高光譜或多光譜圖像相比，高光譜與多光譜圖像融合后的分類效果更好，并且DBCNN在圖像融合后的總體分類精度最高，在每個類別上也獲得了比較高的準確率，在Chikusei數據中所有類別的準確率都在98%以上，DBCNN與DT、SVM、1D CNN、2D CNN和3D CNN相比，總體精度分別提高了7.80、5.05、3.43、2.60、0.90個百分點；在Pavia University數據中所有類別的準確率都在90%以上，DBCNN與DT、SVM、1D CNN、2D CNN和3D CNN相比，總體精度分別提高了14.84、6.75、4.55、5.34、3.06個百分點。與DT、SVM、1D CNN、2D CNN和3D CNN相比，DBCNN在兩個數據集上Kappa系數平均分別提升了15.9、8.1、5.4、5.4和2.7個百分點。

表4 試驗數據使用不同方法在高光譜/多光譜圖像的分類精度對比

圖6 帕維亞大學數據集的分類圖

為了更加清晰的對比試驗結果，圖7、圖8和圖9分別表示Chikusei數據截取的3個典型區域的分類結果細節圖。如圖7a為原始的遙感圖像，將真實的土地利用圖（圖7b）作為參照，將對比試驗與本文提出的方法進行比較，其中淺層分類方法包括決策樹（圖 7c）和支持向量機（圖7d），深度學習方法為1D CNN（圖 7e）、2D CNN（圖7f）、3D CNN（圖7g）和本文提出的DBCNN（圖7h）。淺層分類方法中的決策樹和支持向量機的分類結果總是比其他研究的方法產生更多的誤差。決策樹將大量未利用地和道路交通用地的分類發生混淆，部分水體誤分為林地，部分林地和草地劃分為耕地。支持向量機的分類結果顯示將部分草地誤分為耕地，大量的道路交通用地未被分類出來。與決策樹和支持向量機的分類相比，CNN的分類結果在分類圖中含有較少的噪聲，分類效果比淺層分類好，但是還有一些誤分現象，其中，1D CNN和2D CNN將部分道路交通用地劃分為耕地，居民用地的分類有部分錯分或誤分現象；3D CNN對道路交通用地的分類有部分改善，但是林地有誤分現象。然而，本文提出的DBCNN分類方法的結果顯示水體、林地和草地等地物的分類效果比較好，道路交通用地的誤分現象得到了明顯的改善，雖然有少部分地物的誤分現象，但是與淺層分類方法以及1D CNN、2D CNN和3D CNN相比，DBCNN的分類效果最佳。

表5 試驗數據使用不同方法在高光譜與多光譜圖像的分類精度對比

圖7 Chikusei數據集區域1分類結果細節圖

圖8 Chikusei數據集區域2分類結果細節圖

圖9 Chikusei數據集區域3分類結果細節圖

圖10表示在Pavia University數據上截取的典型區域的分類結果細節圖。由圖10可知，決策樹和支持向量機將大量的未利用地誤分為草地，對房屋及建筑用地的劃分較差，道路交通用地也有少部分的誤分現象；1D CNN、2D CNN以及3D CNN的分類效果與淺層分類方法相比有所改善，但是對未利用地等地物仍有部分誤分現象；本文提出的DBCNN分類方法的結果顯示未利用地、道路交通用地等地物的分類效果較好，與其他分類方法相比，DBCNN的分類效果最佳。

圖10 帕維亞大學數據集區域1分類結果細節圖

從Chikusei和Pavia University兩種不同類型的區域分析，試驗結果表明DBCNN總體分類精度都為最高，說明本文方法在不同區域有較好的適用性。多光譜圖像有空間分辨率優勢，與高光譜圖像結合能提高分類精度。從高光譜和多光譜數據融合結合來看，融合后的分類精度比僅使用單一的遙感影像的分類精度更高，說明本文方法有較好地多源光譜數據融合分類效果。這對合理高效地利用土地資源，減少土地資源的浪費現象，實現可持續發展具有十分重要的意義。研究成果可以應用于國產高分數據，提高土地利用分類精度。

4 結 論

本文提出基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類方法，融合高光譜和多光譜圖像的不同特征并進行土地利用的分類。

1）首先，設計了3D-1D CNN分支用于提取高光譜圖像的空間和光譜特征，并將空間和光譜特征融合。其次，設計了3D CNN分支提取多光譜圖像的空間和光譜特征，單獨訓練雙分支結構并作為預訓練模型，最后通過微調策略將高光譜和多光譜圖像的特征進行融合，用于土地利用分類。

2）雙分支結構對高光譜和多光譜圖像融合分類可以同時利用高光譜和多光譜數據的互補信息，達到良好的協同分類性能。試驗數據表明，相比使用單一的遙感圖像，基于雙分支結構的高光譜和多光譜圖像協同分類有更高的分類精度。

3）Chikusei數據試驗結果表明，與淺層分類方法中的決策樹和支持向量機對比，DBCNN對草地、道路交通用地和水體的分類效果更好，總體精度分別提高了7.80個百分點、5.05個百分點；與1D CNN、2D CNN以及3D CNN對比，DBCNN分類方法對于道路交通用地和居民用地等地物的分類效果更好，總體精度分別提高了3.43個百分點、2.60個百分點和0.90個百分點。Pavia University數據試驗結果表明，本文提出的DBCNN分類方法對道路交通用地和未利用地等地物的劃分較好，DBCNN與DT、SVM、1D CNN、2D CNN和3D CNN相比，總體精度分別提高了14.84個百分點、6.75個百分點、4.55個百分點、5.34個百分點和3.06個百分點。

最后，本文提出的基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類方法仍需要一定的訓練樣本才能達到較高的土地利用分類精度，下一步擬采用半監督的方法改進網絡結構，有望進一步減少對訓練樣本的依賴。

致 謝

感謝東京大學高級跨學科研究系空間應用實驗室提供的高光譜數據。感謝燕山大學超算中心提供的數值計算服務。

[1] 孫丹峰，楊冀紅，劉順喜. 高分辨率遙感衛星影像在土地利用分類及其變化監測的應用研究[J]. 農業工程學報，2002，18(2)：160-164. Sun Danfeng, Yang Jihong, Liu Shunxi. Application research of high resolution remote sensing satellite image to land use classification and change monitoring[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(2): 160-164. (in Chinese with English abstract)

[2] Ding H, Li R R, Wang X, et al. Research on land use classification of Hulun Lake basin based on Hyperion hyperspectral data[C]//Progress in Electromagnetic Research Symposium, Shanghai, 2016: 2280-2286.

[3] 林劍，鐘迎春，彭順喜，等. 多光譜遙感圖像土地利用分類區域多中心方法[J]. 遙感學報，2010，14(1)：165-179. Lin Jian, Zhong Yingchun, Peng Shunxi, et al. Multi-spectral remote sensing image land use classification region multi-center method[J]. Journal of Remote Sensing, 2010, 14(1): 165-179. (in Chinese with English abstract)

[4] 徐天，丁華祥. 利用多時相雷達數據進行多云多雨地區的土地利用分類研究[J]. 測繪通報，2014(9)：84-86. Xu Tian, Ding Huaxiang. Study on land use classification in cloudy and rainy regions using multi-temporal radar data[J]. Bulletin of Surveying and Mapping, 2014(9): 84-86. (in Chinese with English abstract)

[5] 劉煥軍，楊昊軒，徐夢園，等. 基于裸土期多時相遙感影像特征及最大似然法的土壤分類[J]. 農業工程學報，2018，34(14)：132-139. Liu Huanjun, Yang Haoxuan, Xu Mengyuan, et al. Soil classification based on multi-temporal remote sensing image features and maximum likelihood method in bare soil period[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 132-139. (in Chinese with English abstract)

[6] 陳元鵬，羅明，彭軍還，等. 基于網格搜索隨機森林算法的工礦復墾區土地利用分類[J]. 農業工程學報，2017，33(14)：250-257. Chen Yuanpeng, Luo Ming, Peng Junhuan, et al. Land use classification of industrial and mining reclamation areas based on grid search random forest[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 250-257. (in Chinese with English abstract)

[7] 王李娟，孔鈺如，楊小冬，等. 基于特征優選隨機森林算法的農耕區土地利用分類[J]. 農業工程學報，2020，36(4)：244－250. Wang Lijuan, Kong Yuru, Yang Xiaodong, et al. Classification of land use in farming areas based on feature optimization random forest algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 244-250. (in Chinese with English abstract)

[8] 姜宛貝，孫強強，曲葳，等. 基于多季相光譜混合分解和決策樹的干旱區土地利用分類[J]. 農業工程學報，2016，32(19)：1-8. Jiang Wanbei, Sun Qiangqiang, Qu Wei, et al. Land use classification in drought areasbaesd on multiseasonal spectral decomposition and decision tree[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 1-8. (in Chinese with English abstract)

[9] 李平，吳曼喬，曾聯明. 支持向量機技術在土地利用監測的應用研究[J]. 測繪通報，2010(8)：28-30. Li Ping, Wu Manqiao, Zeng Lianming. Application research of support vector machine technology in land use monitoring[J]. Bulletin of Surveying and Mapping, 2010, (8): 28-30. (in Chinese with English abstract)

[10] Zou Q, Ni L H, Zhang T, et al. Deep learning based feature selection for remote sensing scene classification[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(11): 2321-2325.

[11] Zhang L, Zhang L, Du B. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2): 22-40.

[12] Zhu X X, Tuia D, Mou L, et al. Deep learning in remote sensing: A comprehensive review and list of resources[J]. IEEE Geoscience and Remote Sensing Magazine, 2017, 5(4): 8-36.

[13] Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778-782.

[14] 王斌，范冬林. 深度學習在遙感影像分類與識別中的研究進展綜述[J]. 測繪通報，2019(2)：99-102. Wang Bin, Fan Donglin. Summary of research progress of deep learning in remote sensing image classification and recognition[J]. Bulletin of Surveying and Mapping, 2019, (2): 99-102. (in Chinese with English abstract)

[15] Li S T, Song W W, Fang L Y, et al. Deep learning for hyperspectral image classification: An overview[J]. IEEE Tra-nsactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709.

[16] Chen Y, Jiang H, Li C, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251.

[17] Maggiori E, Tarabalka Y, Charpiat G, et al. Convolutional neural networks for large-scale remote-sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(2): 645-657.

[18] Liu H, He L, Li J. Remote sensing image classification based on convolutional neural networks with two-fold sparse regularization[C]//2017 IEEE International Geoscience and Remote Sensing Symposium, Fort Worth, 2017: 992-995.

[19] Cheng G, Ma C, Zhou P, et al. Scene classification of high resolution remote sensing images using convolutional neural networks[C]//2016 IEEE International Geoscience and Remote Sensing Symposium, Beijing, 2016: 767-770.

[20] 趙紅偉，陳仲新，姜浩，等. 基于 Sentinel-1A 影像和一維 CNN 的中國南方生長季早期作物種類識別[J]. 農業工程學報，2020，36(3)：169－177. Zhao Hongwei, Chen Zhongxin, Jiang Hao, et al. Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 169-177. (in Chinese with English abstract)

[21] Song Y, Zhang Z F, Wang F Q, et al. Land cover classificationfor satellite images through1DCNN[C]//2019 10th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing (WHISPERS), Amsterdam, 2019: 1-5.

[22] Lin W, Liao X Y, Deng J, et al. Land cover classification of RADARSAT-2 SAR data using convolutional neural network[J]. Wuhan University Journal of Natural Sciences, 2016, 21(2): 151-158.

[23] Martin L, Andrey K, Marjan A, et al. Classification and segmentation of satellite orthoimagery using convolutional neural networks[J]. Remote Sensing, 2016, 8(4): 1-21.

[24] 陸小辰. 基于高光譜數據的多源遙感圖像協同分類研究[D]. 哈爾濱：哈爾濱工業大學，2018. Lu Xiaochen. Research on Multisource Remote Sensing Image Collaborative Classification Based on Hyperspectral Data[D]. Harbin: Harbin Institute of Technology, 2018. (in Chinese with English abstract)

[25] Loncan L, Almeida L B, Bioucas-Dias J M, et al. Hyperspectral pansharpening: A review[J]. IEEE Geoscience and Remote Sensing Magazine, 2015, 3(3): 27-46.

[26] Yokoya N, Grohnfeldt C, Chanussot J. Hyperspectral and multispectral data fusion: A comparative review of the recent literature[J]. IEEE Geoscience and Remote Sensing Magazine, 2017, 5(2): 29-56.

[27] Imani M, Ghassemian H. Edge patch image-based morphological profiles for classification of multispectral and hyperspectral data[J]. IET Image Processing, 2017, 11(3): 164-172.

[28] Khodadadzadeh M, Li J, Prasad S, et al. Fusion of hyperspectral and lidar remote sensing data using multiple feature learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2971-2983.

[29] Yokoya N, Yairi T, Iwasaki A. Coupled non-negative matrix factorization (CNMF) for hyperspectral and multispectral data fusion: Application to pasture classification[C]//IEEE International Geoscience & Remote Sensing Symposium, Vancouver, 2011: 1779-1782.

[30] Dimitris S, Eleni D, Ioannis G, et al. Decision fusion based on hyperspectral andmultispectral satellite imagery for accurate -forest species mapping[J]. Remote Sensing, 2014, 6(8): 6897-6928.

[31] Li N, Hua W. Mineral identification and classification by combining use of hyperspectral VNIR/SWIR and multispectral TIR remotely sensed data[C]//IEEE International Geoscience and Remote Sensing Symposium, Yokohama, 2019: 3317-3320.

[32] Yokoya N, Iwasaki A. Airborne hyper-spectral data over Chikusei[EB/OL], Space Application. Laboratory, the Unive-rsity of Tokyo. (2016-5-27) [2020-4-7]. https: //www. sal. t. u-tokyo. ac. jp/hyperdata/TechRepSAL20160527. pdf.

[33] Mahmood Z, Akhter M A, Thoonen G, et al. Contextual subpixel mapping of hyperspectral images making use of a high resolution color image[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(2): 779-791.

[34] 常亮，鄧小明，周明全，等. 圖像理解中的卷積神經網絡[J].自動化學報，2016，42(9)：1300-1312. Chang Liang, Deng Xiaoming, Zhou Mingquan, et al. Convolutional neural networks in image understanding[J]. Journal of Automation, 2016, 42(9): 1300-1312. (in Chinese with English abstract)

[35] 孟慶祥，吳玄. 基于深度卷積神經網絡的高分辨率遙感影像場景分類[J]. 測繪通報，2019(7)：17-22. Meng Qingxiang, Wu Xuan. Scene classification of high-resolution remote sensing image based on deep convolutional neural network[J]. Bulletin of Surveying and Mapping, 2019(7): 17-22. (in Chinese with English abstract)

[36] 馬曉瑞. 基于深度學習的高光譜影像分類方法研究[D]. 大連：大連理工大學，2017. Ma Xiaorui. Hyperspectral Imagery Classification Based on Deep Learning[D]. Dalian: Dalian University of Technology, 2017. (in Chinese with English abstract)

Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network

Liu Shuai1,2, Zhang Xuhan1, Li Xiaoying1, Tian Ye1,2※

(1.,066004,; 2.,066004,)

Landscape monitoring using high-resolution aerial images has become highly significant to achieve a sustainable development of land use in modern agriculture. However, only hyperspectral or multispectral images individually cannot meet the harsh requirements of high-precision classification for land use, due to the technical limitations of remote sensing sensor imaging, and the complex features of landscape images. The combined hyperspectral and multispectral remote sensing images can be expected to overcome the technical problems, when classifying land use using one single type of images. In this paper, a dual-branch convolutional neural network (DBCNN) was designed to integrate with hyperspectral and multispectral remote sensing images for land use classification. In hyperspectral images, 3D-1D convolutional neural network branch were used to automatically extract spatial-spectral features, whereas, 3D convolutional neural network branch was used in multispectral images. A fusion layer was designed to fuse the extracted features from hyperspectral and multispectral images. The land use category was finally output via the fully connected layer in the network. A dropout layer was added to the fully connected layer in the network, in order to avoid overfitting of imaging data. Image data sets were taken from two research areas in this study. One research area was in the rural and urban border area at Chikusei, Ibaraki, Japan, indicating mainly farm land in the whole regions. The hyperspectral and multispectral images were generated from the data set of Chikusei. The multispectral data was constituted three wavelength bands, corresponding to the center wavelength, (the 60th, 40th, and 20th bands of Chikusei data set), where the spatial resolution of multispectral image was 2.5m. Another research area was selected in Pavia University, USA, where the 53th, 31st, and 7th wavelength bands were set, while the spatial resolution was 1.3 min in multispectral data. A Gaussian down sampling method was used to obtain hyperspectral data. In the experiment, the obtained data set was divided randomly, where the ratio of training samples, validation samples and test samples were 25.5%, 4.5% and 70%, respectively. Five comparative experiments were conducted, including decision tree (DT), support vector machine (SVM), 1D CNN, 2D CNN and 3D CNN. A confusion matrix of each classification method was obtained, together with the overall accuracy, average accuracy, and kappa coefficient, by calculating the difference between the classification of comparative experiments and the land composition from actual field. In Chikusei data set, the overall accuracy of 3D-1D CNN was improved by 7.06, 5.72, and 2.90 percentage points, respectively, compared with DT, SVM and 1D CNN, indicating the highest accuracy of 3D-1D CNN in hyperspectral image classification. Compared with DT, SVM, and 2D-CNN, the overall accuracy of 3D CNN was improved by 6.16 percentage points, 0.38%, and 7.40% respectively, indicating the highest in the classification of multispectral remote sensing images. The experimental results show that the overall accuracy of fusion classification was constantly enhanced from shallow to deep learning algorithms. Compared with DT, SVM, 1D CNN, 2D CNN and 3D CNN, the overall accuracy of DBCNN has increased by 7.80, 5.05, 3.43, 2.60 and 0.90 percentage points, respectively. The classification of CNN in deep learning performed better than that of SVM and DT in shallow classification algorithms, especially on the identification of road traffic land, grassland, and water bodies. An optimum effect can be achieved, combined with the classification algorithm of land use and the dual-branch network-based hyper-multispectral imagery. The spatial and spectral features of hyperspectral and multispectral images can be used to enhance the model's convergence and generalization ability, and thereby to improve the accuracy of classification. The classification of water body, grassland, and habitation performed very well, while the misclassification of transportation land also significantly decreased, indicating the overall accuracy was 99.39%, and the Kappa coefficient was 0.992 0. In Pavia University data set, the classification effect of 1D CNN, 2D CNN and 3D CNN performed better than that of the shallow classification method, such as DT and SVM. In the DBCNN classification method, there was a clear distinction between the unused land and transportation land, while the misclassification of housing and construction land significantly decreased. Compared with other classification methods, DBCNN has the best classification effect. The accuracy of all classifications was above 90% in the data of Pavia University. Compared with DT, SVM, 1D CNN, 2D CNN and 3D CNN, the overall accuracy of DBCNN increased by 14.84, 6.75, 4.55, 5.34, 3.06 percentage points.

land use; remote sensing; convolutional neural network; hyperspectral; multispectral

劉帥，張旭含，李笑迎，等. 基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類[J]. 農業工程學報，2020，36(14)：252-262.doi：10.11975/j.issn.1002-6819.2020.14.031 http://www.tcsae.org

Liu Shuai, Zhang Xuhan, Li Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.14.031 http://www.tcsae.org

2020-04-24

2020-07-01

國家自然科學基金項目（61601398）；河北省高等學校科學技術研究項目（QN2017146）

劉帥，博士，講師，主要研究方向為遙感信息處理、分析和應用。Email：liushuai@ysu.edu.cn

田野，博士，副教授，主要研究方向為深度學習和DOA估計。Email：tianye@ysu.edu.cn

10.11975/j.issn.1002-6819.2020.14.031

TP75

A

1002-6819(2020)-14-0252-11