高光譜遙感影像與高程數(shù)據(jù)融合方法綜述

杜星乾，侯艷杰，唐 軼

(1.中國科學院 西安光學精密機械研究所光譜成像技術重點實驗室，陜西 西安 710119； 2.中國科學院大學，北京 100049； 3.太原衛(wèi)星發(fā)射中心，山西 太原 030027；4.云南民族大學 數(shù)學與計算機科學學院，云南 昆明 650500)

高光譜影像(hyperspectral image, HSI)是用途最為廣泛的遙感技術之一，高光譜遙感技術是一種被動遙感技術，通過獲取地物反射的電磁波得到連續(xù)而豐富的光譜信息，這決定了借助高光譜遙感影像可以很好地區(qū)分出的不同材質構成的地物.但由于高光譜圖像空間分辨率較低，因此對于相似材質的不同類型地物(如喬木和灌木，水泥地面和水泥屋頂)的分辨能力有限.

高程數(shù)據(jù)同樣是遙感中常用的數(shù)據(jù)類型，它能夠表征地面的高度信息.通過研究地物的高程分布特點可以實現(xiàn)對地物的分析與理解，在地理信息分析中起到重要的作用.激光雷達(light detection and ranging, LiDAR)技術是獲取精確高程信息的常見手段，它屬于主動遙感技術，具有精度高、靈活性好、受天氣因素影響小等優(yōu)勢.激光雷達技術通過主動發(fā)射激光束，接收從地面反射回探測器的光波，計算出探測器與目標之間的距離.使用脈沖激光對地面場景進行不斷掃描即可得到地面場景的高程信息，還可以通過這種手段建立地面數(shù)字高程模型(digital elevation model, DEM).在使用通過激光雷達獲取到的高程數(shù)據(jù)進行遙感場景的分類、識別等任務時，能夠很好地辨別出地物高程的差異，尤其是在分辨建筑物與地面、樹木與草地等任務中起到很好的效果.但由于缺乏光譜信息，對地物的光譜特性，包括材料、質地、成分難以進行有效的區(qū)分.

基于高光譜遙感影像和高程數(shù)據(jù)(激光雷達數(shù)據(jù))的上述特點，在遙感數(shù)據(jù)智能分析中，將這兩種數(shù)據(jù)進行融合能夠最大限度地發(fā)揮各自的特點，實現(xiàn)更高精度的分類與識別.基于對比實驗可以證明相比于使用單一類型的數(shù)據(jù)，兩種數(shù)據(jù)的融合能夠顯著提升對地物分類的精度[1].近年來，涌現(xiàn)了非常多的基于高光譜影像和激光雷達數(shù)據(jù)融合的工作，并成功地應用于復雜場景地物分類[2]、植被覆蓋分析[3-7]、樹種分類[8-10]、生物量估算[11]、冰川地貌分析[12]、小氣候建模[13]等任務，取得了較好的效果[14].

本文側重于復雜場景地物分類的應用，整理了近年來該領域的工作.在高光譜和激光雷達數(shù)據(jù)融合的地物場景分類的任務中，一般分成數(shù)據(jù)預處理、特征提取、特征融合以及特征分類幾個步驟.在對數(shù)據(jù)融合方法進行分類時，常見的分類方法是按照融合的層級進行分類，分為像素級融合、特征級融合以及決策級融合[15].像素級融合常用于具有不同光譜特性的影像數(shù)據(jù)，如多光譜和全色圖像的融合.由于激光雷達數(shù)據(jù)和高光譜圖像的像素點表征的信息類型差異較大，一般不進行像素級融合.在該領域中，決策級融合的方法同樣較少，而特征級融合方法較為常見，因此按照融合層級進行分類意義不大.在傳統(tǒng)的特征級融合中，使用的特征以形態(tài)學特征為主.近年來，深度學習技術發(fā)展迅速，在圖像處理等領域展現(xiàn)出了非常強大的潛力，具有較強的特征提取能力，在高光譜和激光雷達數(shù)據(jù)融合分類的領域也涌現(xiàn)了不少優(yōu)秀的相關工作.基于此，本文按照特征的類型進行分類，分為基于形態(tài)學特征的融合方法和深度學習方法兩大類，分別對這兩類方法進行介紹與總結.文中首先介紹了基于形態(tài)學特征的融合方法，根據(jù)具體的特征融合方式又分為特征拼接的融合方法、基于低秩模型的融合方法、基于復合核(composite kernel)的融合方法以及基于圖結構的融合方法.基于深度學習的方法又分為深度特征拼接的方法和深度特征核空間融合的方法.本文的最后還對該領域未來發(fā)展趨勢進行了總結和展望.

1 基于形態(tài)學特征的融合方法

1.1 形態(tài)學特征拼接的融合方法

形態(tài)學特征(morphological profile, MP)從自然圖像推廣到高光譜圖像[16]，再到高光譜圖像與激光雷達數(shù)據(jù)的融合，已經在各個領域廣泛地使用.形態(tài)學特征提取是通過一系列的開運算和閉運算以及結構元素的擴張來區(qū)分圖像中不同的區(qū)域，構造出形態(tài)的輪廓，從而有效地提取紋理信息和空間特征，同時保留其他區(qū)域的幾何特性.基于形態(tài)學特征MP[17]，引申出了屬性特征(attribute profile, AP)[18]和消光特征(extinction profile, EP)[19-20].通過一系列的形態(tài)學腐蝕和膨脹運算，可以得到圖像的屬性特征AP[1],而通過連續(xù)的形態(tài)學消光濾波可以得到圖像的消光特征EP[21].AP在特征提取的過程中融合了圖像多層級的信息，而相比于AP和MP，EP能夠更好地提取出圖像中的局部極值點，從而使算法具有更好的識別能力[22].使用MP、AP、EP等基于形態(tài)學特征的這一方法特點是時間復雜度低，運算速度較快.該類方法的一般框架如圖 1所示，首先分別對兩種數(shù)據(jù)進行預處理，如利用主成分分析(principle component analysis, PCA)降維，然后進行特征提取，得到MP/AP/EP特征后，再通過向量拼接的方式進行特征融合[23]，最后使用分類器對特征進行分類，得到最終的分類結果.

圖1 形態(tài)學特征拼接融合方法的一般框架

Ghamisi等[19]的工作是這種方法的典型代表(圖 2).對激光雷達數(shù)據(jù)直接提取AP特征，對高光譜圖像首先進行PCA降維，對提取到的前n個主成分分別提取AP特征.同時考慮到將所有特征向量進行拼接，就得到了融合后的特征.最后，采用支持向量機(support vector machine, SVM)和隨機森林(random forest, RF)兩種模型作為分類器，得到分類結果.

Pedergnana等[21]在完成AP特征的提取后，引入了遺傳算法(genetic algorithm, GA)來進行特征選擇，對特征進行優(yōu)化和精煉.類似地，Ghamisi等[20]，還提取了高光譜圖像和激光雷達數(shù)據(jù)地EP特征，拼接后使用RF分類器進行分類.

基于形態(tài)學特征拼接的融合方法存在的主要缺點是拼接后的特征維度過高，同時給后續(xù)分類步驟帶來較高的運算復雜度.由于這類方法將提取出的特征進行直接拼接，融合后的特征維度隨著數(shù)據(jù)的種類線性增加，而訓練的樣本數(shù)量保持不變，因此給后續(xù)分類的數(shù)據(jù)處理帶來一定的壓力，且容易出現(xiàn)Hughes現(xiàn)象.為了解決上述問題，出現(xiàn)了低秩模型和復合核的方法，更加高效地融合高光譜和激光雷達數(shù)據(jù).

圖2 Ghamisi等的形態(tài)學特征拼接方法

1.2 基于低秩模型的融合方法

與特征拼接的融合方法相比，為了提高運算效率，避免特征維度過高帶來的問題，同時考慮到高光譜圖像中光譜信息存在一定程度的冗余，許多學者研究了采用低秩模型的融合方法[1,22]，其主要思想是使用稀疏表示的方法將高光譜影像和激光雷達數(shù)據(jù)的特征從高維度映射到較低維度的空間中.該類方法的一般框架如圖 3所示.特征提取部分和特征分類部分與特征拼接的方法類似，但在特征融合過程中，建立稀疏的低秩模型來表示特征，通過求解稀疏模型的系數(shù)，就實現(xiàn)了特征的降維.

圖3 基于低秩模型融合方法的一般框架

Rasti等[1]提出了公式(1)所示的低秩模型來融合高光譜圖像的光譜信息、高光譜圖像的EP特征和激光雷達EP特征.

F=AVT+N,

(1)

其中F=F[f(i)]是融合后的n×p特征矩陣，V是未知的p×r低秩子空間基，A=A[a(i)]是被融合的特征，N=N[n(i)]是模型誤差和噪聲.高光譜的光譜特征和EP特征以及激光雷達EP特征在矩陣通過F=[FHSI,H,FLiDAR]的形式進行融合.

在公式(1)中，矩陣A和V都是未知的，需要進行估計.Rasti等[1]使用了正交全變分分析(orthogonal total variation component analysis, OTVCA)[24]對這2個矩陣進行估計，如公式(2)所示.

(2)

其中第二項，TV懲罰項用于融合空間特征，它保留了特征的空間結構，同時促進融合的特征分段平滑.

在基于低秩模型的另一個典型方法中[22]，作者采用了稀疏低秩成分分析(sparse and low-rank component analysis, SLRCA)的方式進行特征融合.首先對兩種數(shù)據(jù)提取EP特征，然后使用稀疏低秩模型[25]進行特征融合，如公式(3)所示.

F=DWVT+N，

(3)

其中F=[FHSI,H,FLiDAR]，F(xiàn)HSI和FLiDAR分別是從高光譜和激光雷達數(shù)據(jù)中提取到的EP特征，H是高光譜影像的光譜維度上的信息.D是包含2D小波基的n×n矩陣，W=[w(i)]是包含第i個融合分量的二維小波系數(shù)的n×r矩陣.之后再使用稀疏和低秩成分分析方法[25-26]估計W和V，如公式(4)所示.

(4)

基于低秩模型的融合方法通過稀疏表示的手段，在特征融合的同時能夠對數(shù)據(jù)進行有效地降維，大大降低了后續(xù)分類任務的運算復雜度.但常用的稀疏表示手段難以擬合光譜信息和地物特征之間的非線性關系，并且在降維的同時往往伴隨著信息的損失.

1.3 基于復合核的融合方法

基于復合核(composite kernel)的融合方法核心思想同樣是對特征進行降維，在低維空間進行融合.不同于低秩模型的方法，該方法采用另一種思路，通過將不同的特征空間的特征(包括激光雷達特征、高光譜圖像中的光譜特征，和空間特征等)全部映射到核空間，如希爾伯特空間(Hilbert space)，然后在核空間內進行融合[27].由于融合的信息包括光譜、空間鄰域、紋理、高程等復合信息，因此稱為復合核，其一般框架如圖4所示.

圖4 基于復合核融合方法的一般框架

Zhang等[28]提取了高光譜圖像和激光雷達數(shù)據(jù)的消光特征EP后先進行局部區(qū)域濾波(local-region filter, LRF)減少類內光譜差異和固有噪聲，再使用復合核的方法進行特征融合，其復合核的表示如公式(5)所示

K(xi,xj)=μKs(xsi,xsj)+(1-μ)Kw(xwi,xwj),

(5)

其中xsi,xsj代表提取出的空間EP特征，xwi,xwj代表光譜EP特征，Ks(·)和Kw(·)分別是將2種特征映射到核空間的核函數(shù)，μ是用于調整融合中兩部分比重的參數(shù).

Khodadadzadeh等[29]采用了更為靈活的融合方法，基于AP特征提取和空間多項邏輯回歸(subspace multinomial logistic regression, MLRsub)分類器，將待學習的特征的權重遷移到分類器的權重，無需正則化參數(shù)，從而減輕多特征學習任務中的工作量.

Zhang等[30]提出了一種用于多源數(shù)據(jù)融合的聯(lián)合稀疏表示分類技術(adaptive locality weighted multisource joint sparse representation classification, ALWMJ-SRC)，該方法的核心思想是基于稀疏表示進行分類.其中多種數(shù)據(jù)源采用多源稀疏表示的方法，使用字典的方法一同映射到低維子空間，得到數(shù)據(jù)的稀疏特征，再稀疏表示的過程中引入自適應權重用于更好地表示數(shù)據(jù)的局部特征.然后利用核希爾波特變換(kernel Hilbert transform)將特征變換至核空間，使用子區(qū)域的每個樣本與其稀疏表示之間的最小二范數(shù)距離用于分配該類別的標簽，從而完成分類.

Ge等[31]對高光譜圖像和激光雷達數(shù)據(jù)分別提取EP特征和局部二值模式(loacal binary pattern, LBP)特征，將計算出的特征用KCRT-NF(kernel collaborative representation with tikhonov regularization - neighborhood filtering)計算殘差.將光譜信息、HSI的特征、LiDAR的特征3部分計算出的殘差進行特征-決策級融合，通過融合后的殘差得到分類結果.

基于復合核的方法針對特征拼接的方法維度過高的問題，采用核空間變換的方式進行降維，其融合方式也是行之有效的.但這類方法存在的一個問題是模型精度受參數(shù)影響非常大，如Zhang等[28]的方法中參數(shù)μ的小幅改變可能對結果產生較大的影響.

1.4 基于圖結構的融合方法

基于圖結構的方法也是對特征進行融合與降維的有效方式之一[32].由于圖結構能夠很好地表征節(jié)點之間的連接關系，因此更利于同一類別間的相似像素進行聚合，在特征融合的過程中縮小類內方差.一般的方法是將特征拼接后作為圖的節(jié)點特征矩陣，根據(jù)高光譜和激光雷達數(shù)據(jù)中像素間的相似性使用K近鄰(k nearest neighbor, KNN)方法建立鄰接矩陣，從而完成圖的建立.得到圖以后，運用圖拉普拉斯特征方法，計算出拉普拉斯矩陣，就完成了特征的降維.

Debes 等[2]的方法在這類工作中具有一定的代表性.他們首先提取高光譜圖像和激光雷達數(shù)據(jù)的MP特征，以及高光譜圖像本身的光譜特征，將這三者使用基于圖的特征融合方法進行融合.分別在3個特征空間建立圖，以光譜特征為例，建立的圖為Gspe=(Xspe,Aspe)，其中Xspe代表空間維度提取出的特征，Aspe代表根據(jù)每個像素光譜特征之間的相似度建立的鄰接矩陣，如果像素xi和xj之間的光譜信息處于k近鄰范圍內，那么Aspeij=1，否則Aspeij=0.按照相似的方式，建立空間特征圖Gspa=(Xspa,Aspa)和高程特征圖Gele=(Xele,Aele).那么融合后的圖可以表示為GD=(Xsta,Afused)，Afused定義為：

AFus=ASpe⊙ASpa⊙AEle，

(6)

其中⊙代表逐元素相乘，Xsta=[Xspe;Xspa;Xele]代表光譜特征、空間MP特征和高程MP特征的拼接.基于融合后的圖Gfused可以計算出其拉普拉斯矩陣：

Lfused=Dfused-Afused，

(7)

進一步地，Liao等[33]提出了高光譜和激光雷達數(shù)據(jù)的決策融合方法，其方法框架如圖 5所示，共提取了4種特征：高光譜圖像的光譜信息、高光譜圖像的MP特征、激光雷達數(shù)據(jù)的MP特征以及對前三者基于圖的方法融合后的特征，其中融合方法與Debes 等[2]的融合方法類似.得到4種特征后，將每一種特征分別輸入SVM分類器進行分類，對4個分類結果采用加權和投票機制的方式進行融合，得到最終的分類結果.

圖5 Liao等提出的決策融合方法框架

Liao等[34]還提出了另一種基于圖的特征融合方法，半監(jiān)督圖融合方法，使用數(shù)據(jù)集中有標簽的像素和無標簽的像素分別約束樣本的類內相似度和空間相似度.Xia等[35]在特征融合的過程中也加入了半監(jiān)督圖的方法.提取高光譜影像和激光雷達數(shù)據(jù)的MP特征后，再加上每個像素點的光譜信息，將這3個特征一同投影到低維子空間得到融合后的特征.在投影的過程中建立半監(jiān)督的圖，根據(jù)相同類別的節(jié)點間建立邊，進而指導特征融合的過程.

基于圖理論，Iyer等[36]將高光譜圖像和激光雷達數(shù)據(jù)的每個像素點作為一個節(jié)點，建立了邊的權重大小和相似度正相關的圖.在此基礎上，計算圖的拉普拉斯矩陣的特征向量作為節(jié)點的特征，在這些特征上使用數(shù)據(jù)分割算法(如譜聚類等)得到最終的分類結果.Gu和Wang[37]提出了判別圖融合(discriminative graph-based fusion, DGF)方法，結合了降維和異構特征融合，在激光雷達數(shù)據(jù)和高光譜影像空域和頻域分別建立圖，通過相似性度量將圖融合，最小化類內相似度，最大化類間相似度將不同類別的樣本分開.

由于建立圖的過程考慮到了所有節(jié)點的連接關系，因此圖結構的優(yōu)勢在于能夠對整個數(shù)據(jù)集中所有相似的節(jié)點進行聚合，從而更好地考慮全局信息.伴隨而來的是運算復雜度的增加——建立圖的過程需要對所有節(jié)點兩兩之間計算相似度，該過程中運算量較大，耗時較多.

2 基于深度學習的方法

2.1 深度特征拼接的融合方法

深度學習是遙感領域中一個快速發(fā)展的方向，在激光雷達和高光譜數(shù)據(jù)融合的領域也出現(xiàn)了大量的應用.深度神經網絡的特征提取思路不同于邊緣、紋理、形態(tài)學特征等傳統(tǒng)特征提取，是通過大量的神經元學習一系列的模型參數(shù)，在整個網絡上完成特征提取與分類.在使用單一數(shù)據(jù)源進行分類時，一般的方法是使用卷積神經網絡(convolutional neural network, CNN)提取圖像的深度特征，然后再用多層感知機(multilayer percseptron)，即全連接網絡和softmax函數(shù)作為分類器，對提取出的深度特征進行分類.將這種方法遷移到高光譜數(shù)據(jù)和激光雷達數(shù)據(jù)的融合上，最直接的思路就是類似Chen等[38]的方法(如圖 6所示)，使用兩路CNN網絡分別提取2種數(shù)據(jù)的深度特征，將提取出的2種特征進行拼接，再使用邏輯回歸(logistic regression)或全連接網絡作為分類器對特征進行分類，得到最終的分類結果.

圖6 Chen等提出的深度融合框架

進一步地，基于類似的框架，Xu等[39]提出了另一種基于CNN的融合方法，雙分支CNN網絡(圖 7至圖 9).與文獻[38]類似，2種數(shù)據(jù)分別使用CNN提取特征，但不同的是Xu等[39]引入了新的網絡結構，在高光譜分支增加了空間通道和光譜通道的融合，激光雷達分支增加了級聯(lián)模塊以提升對鄰域特征的提取能力.結構對稱的CNN網絡提取2種數(shù)據(jù)的特征，對兩者的特征進行拼接后使用全連接網絡作為分類器實現(xiàn)場景的分類任務.

圖8展示的是高光譜分支的網絡結構，該部分又分為2個小分支：空間分支和光譜分支.其中空間分支采用的是二維卷積、池化的操作，提取高光譜圖像中1個方形區(qū)域內的空間特征，光譜分支提取空間分支中心點像素對應的光譜信息，對該信息做一維卷積，這2個小分支提取到的空間特征和光譜特征進行拼接，就得到了高光譜圖像的整體特征.在激光雷達分支中(圖 9)，加入了級聯(lián)模塊(cascade block)用于提取激光雷達數(shù)據(jù)的多尺度特征.

圖7 雙分支CNN網絡整體結構

圖8 高光譜分支的網絡結構

圖9 激光雷達分支的網絡結構

2.2 深度特征核空間融合的方法

與1.3節(jié)中介紹的形態(tài)學特征基于復合核的方法類似，深度特征同樣可以變換到核空間進行降維.典型的例子是Ghamisi等[40]使用了如圖 10所示的三分支卷積神經網絡融合框架.

所謂三分支指的是光譜特征，空間特征和高程特征3種特征的3條提取路線.該方法首先對高光譜圖像和激光雷達數(shù)據(jù)提取形態(tài)學的EP特征，在EP特征的基礎上再使用CNN網絡進一步對特征進行精煉.同時，高光譜圖像各個像素的光譜信息也使用CNN網絡進行特征提取.各分支的CNN網絡結構如圖 11所示.

經過3條CNN網絡輸出的光譜、空間和高程特征分別為xspei,xspai,xelei，用Φ1(·),Φ2(·),Φ3(·) 表示對3個特征進行的希爾伯特變換，將其分別變換到希爾伯特空間H1,H2,H3，有如下變換：

Φ(xi)={Φ1(x(spe)i),Φ2(xspai),Φ3(xelei)} .

(8)

在希爾伯特空間中，特征以點積的形式進行融合，如公式(9)所示.

K(xi,xj)=[Φ(xi),Φ(xj)]=Kw(xwi,xwj)+KS(xSi,xSj)+Ke(xei,xej).

(9)

最后作者采用了支持向量機SVM和極限學習機(extreme learning machine, ELM)兩種分類器分別進行分類，取得了較好的效果.

圖10 三分支卷積神經網絡

圖11 3條分支的網絡結構

3 總結與展望

將現(xiàn)有的高光譜圖像和激光雷達數(shù)據(jù)融合方法歸納總結成表格，如表1所示.

從表 1中可以看到，傳統(tǒng)的基于形態(tài)學特征的方法中，最簡單而直接的方法是特征拼接的方法，直接將特征以向量的形式拼接再進行后續(xù)分類任務.針對其特征維度過高的缺點，出現(xiàn)了低秩模型、復合核以及圖結構的特征融合方法，均能夠在融合的過程中起到降維的作用.其中低秩模型采用稀疏表示的方法，降維效果好，但可能存在較多信息損失，難以擬合非線性關系；復合核的核空間變換方法運算復雜度較低，但分類精度受模型參數(shù)影響較大，易受參數(shù)影響；圖結構的融合方法采用另一種思路，借用圖結構特征提取范圍大的特點，能夠獲取更多的全局信息，但計算鄰接矩陣的過程可能引入較大的計算量.基于深度學習的方法能夠應對復雜的地物信息，通過深層網絡提取高維度、抽象的語義特征，對復雜的數(shù)據(jù)集能夠起到更好的效果，達到更高的分類精度.同時，深度學習方法往往需要大量的標記數(shù)據(jù)進行訓練，在實際應用情況下可能會受到限制.

表1 高光譜圖像和激光雷達數(shù)據(jù)融合方法優(yōu)缺點對比

在高光譜和激光雷達數(shù)據(jù)的融合工作中，現(xiàn)有的方法在常見的公開數(shù)據(jù)集上已經取得了很好的效果，達到了較高的精度.未來的研究趨勢可能在以下方向開展.

1) 深度學習方法成為主流.深度學習相比于傳統(tǒng)特征提取方法具有強大的深層語義特征挖掘能力，這類方法將會是未來發(fā)展的主要方向，尤其是結合遷移學習(transfer learning)、元學習(meta learning)等方法，開展多時相、跨場景識別等任務，探索更加合理的融合方式，充分發(fā)掘高光譜和激光雷達數(shù)據(jù)包含的信息.

2) 基于圖模型的方法是一個備受關注的領域.在遙感圖像處理領域，傳統(tǒng)的深度學習方法大多采用卷積神經網絡，而近年來基于圖模型進行卷積運算，做特征提取的方法已經在自然圖像處理領域取得了一些顯著的成果.圖模型的特點是對全局信息的提取能力較好，相比于卷積神經網絡不需要堆疊許多卷積層來獲得更大的感受野，從而能夠以更少的參數(shù)來達到相同甚至更高的分類精度.在高光譜和激光雷達圖像的處理中，全局信息對分類精度起著重要的作用，能夠彌補局部特征的不足，因此將圖模型和深度學習方法結合，構建基于圖模型的深度網絡會在該領域得到很好的應用.

3) 研究新的特征融合方法.無論是基于形態(tài)學特征或是深度學習，其完成的核心任務是特征的融合，融合的方法也具有一定的相似性.從表1中可以看到，基于深度學習的特征融合方法相比于傳統(tǒng)的形態(tài)學特征融合方法還較為單一，以特征拼接與核空間融合為主.CNN網絡本身具有降維的作用，因此深度特征融合的關鍵不在于降維，而是如何盡可能有效地將信息提取出來，針對高光譜和激光雷達數(shù)據(jù)的特點優(yōu)勢互補，提高分類精度.

4) 激光雷達數(shù)據(jù)中包含的信息還有待進一步發(fā)掘和利用.現(xiàn)有的研究工作中，高光譜中豐富的光譜信息對地物分類起到主導作用.實驗表明，僅使用高光譜數(shù)據(jù)進行分類達到的精度要遠高于僅使用激光雷達數(shù)據(jù)的分類精度[1].激光雷達包含的深度信息結合圖像二維坐標能夠提供豐富的空間和形狀信息，充分利用這些信息能夠對分類任務起到重要的作用.高精度的激光雷達還可以重建出場景的三維模型，基于這些三維形狀信息本身就可以實現(xiàn)高精度的分類、分割、檢測等任務.例如PointNet[41]、PointGrid[42]等深度網絡框架可以在僅使用三維信息的情況下完成場景的分類和語義分割.但現(xiàn)有工作中，鮮有人針對激光雷達的數(shù)據(jù)特點設計數(shù)據(jù)處理方法，整體方法框架依然以高光譜圖像為主.因此激光雷達數(shù)據(jù)包含的信息還有待進一步發(fā)掘，以減少對光譜信息的依賴.

5) 小樣本學習、遷移學習等對數(shù)據(jù)標注要求較低的方法發(fā)展迅速.深度學習往往需要大量的標注數(shù)據(jù)進行訓練，而在遙感領域，數(shù)據(jù)標注的工作需要大量的人工成本，費時費力.因此弱監(jiān)督、無監(jiān)督學習的優(yōu)勢逐漸體現(xiàn)出來.基于此，未來的發(fā)展方向可能會向小樣本學習、零樣本學習的方向發(fā)展，以減少對數(shù)據(jù)標注的依賴.在這方面，遷移學習也具有一定的優(yōu)勢，在現(xiàn)有的標注好的數(shù)據(jù)集上進行訓練，在新的數(shù)據(jù)上進行微調與測試，同樣可以減輕數(shù)據(jù)標注工作的負擔.