一種多源遙感影像非監督分類方法中的欠分割對象檢測與拆分算法

毛婷，唐宏

(1.北京師范大學 遙感科學國家重點實驗室，北京 100875；2.北京師范大學 環境遙感與數字城市北京市重點實驗室，北京 100875)

0 引言

隨著遙感技術的發展，當前對地觀測平臺可以提供小至幾厘米大到幾千米的多樣化空間分辨率的遙感數據以滿足不同空間覆蓋范圍和幾何精度需求的對地觀測任務。很多遙感衛星可以同時獲取高空間分辨率的全色影像和高光譜分辨率的多光譜影像，如Ikonos、QuickBird、WorldView-2、WorldView-3、Pleiades，以及國產天繪衛星、資源三號、高分一號、高分二號等衛星[1]。但是由于衛星傳感器在設計時有固定的信噪比[2]，觀測目標必須具備一定的信號級別才能被傳感器識別。提高觀測信號級別有兩種方式，一是增大收集信號的瞬時視場角，二是擴大收集信號時的光譜范圍，前者會導致空間分辨率的降低，后者會導致光譜分辨率的降低。換言之，同一遙感衛星獲取的全色影像和多光譜影像在地表細節刻畫能力以及地物類別識別能力之間存在互補：全色影像具有較高空間分辨率，對地物紋理信息、幾何結構等有較強的提取能力，尤其是對幾何特征明顯的人造地物有較強識別能力，其缺點是光譜分辨率低，因此對光譜相近的地物區分能力差；而多光譜影像具有較高光譜分辨率，對地物類型區分能力較高，但較低的空間分辨率導致其對地物細節提取能力較差。如何綜合利用全色和多光譜影像二者優勢進行地表覆蓋制圖是一個廣受關注的問題。

當前基于全色和多光譜影像進行分類的方法主要有3種：基于數據融合技術的先銳化后分類的方法[3-4]、基于超分辨率制圖技術的先分類后銳化的方法[5]，以及基于面向對象分類技術的先分割后分類的方法。其中大部分方法采取“分而治之”的策略，簡單靈活且各有優勢，其缺點是分類結果受銳化、解混及分割技術影響較大。Mao等[6]基于層次狄利克雷過程常見構建方式，即中餐館連鎖模型[7]，利用2個隨機過程來理解基于全色影像的分割及利用多光譜影像的分類過程，提出廣義中餐館連鎖模型(generalized Chinese restaurant franchise，gCRF)用于全色影像和多光譜影像的非監督分類并取得較高分類精度。其缺點在于：由于全色影像光譜分辨率的限制，使得廣義中餐館模型中得到的分割結果易出現欠分割現象，從而降低最終分類精度。本文對gCRF中的欠分割對象進行檢測并對檢測出的欠分割對象進行拆分，得到更適宜于分類的中間語義分割體來改善最終分類結果。

1 廣義中餐館連鎖模型

較傳統中餐館連鎖模型只能應用于單一數據而言，gCRF將中餐館連鎖模型中的2個隨機過程推廣用于解釋全色影像和多光譜影像的概率生成過程，分別從全色影像中得到語義分割體并利用多光譜影像對該語義分割體進行聚類，充分利用了全色影像高空間分辨率和多光譜影像高光譜分辨率的優勢進行分類。本章先對gCRF用于全色和多光譜影像非監督分類的原理進行介紹，然后分析其存在的欠分割問題。

1.1 融合全色和多光譜影像的非監督分類

gCRF有如下隱喻：假設有多個餐館共享一個菜單，有兩批顧客分別用“白色超顧客”和“彩色超顧客”來表示。對于每個餐館，首先某個白色超顧客進入餐館，根據正比于桌子上已有的超顧客人數的概率選擇一個桌子，或是以先驗概率選擇一個新的桌子入座；待所有白色超顧客入座完畢后，所有白色超顧客由其對應的彩色超顧客來替代，每個桌子上的菜由彩色超顧客來決定，選擇哪個菜正比于該道菜在所有餐館中已經被點過的次數，或者也可以依據先驗概率選擇一個新的菜。gCRF及遙感影像分類詞匯之間的對應關系如表1所示。

表1 gCRF和遙感影像分類詞匯對照表

gCRF融合全色和多光譜影像進行分類的示意圖如圖1所示，詳見文獻[6]。gCRF通過選桌子和選菜[6]2個隨機過程，分別實現基于全色影像獲取語義分割體及基于多光譜影像為語義分割體分配類別標簽：

1)選桌子。選桌子階段每個白色超顧客根據公式(1)選擇桌子，其中符號表示在該集合/統計量中不考慮其后下標表示的個體，如：T表示去除第i個餐館第j個白色超顧客的統計后桌子的集合。

(1)

(2)

式中：γ為先驗參數。

2)選菜。在所有白色超顧客都入座后，用與之對應著同樣地理位置的彩色超顧客對之進行替代，換言之，每個桌子上彩色超顧客負責為該桌子點菜。即對于基于全色影像的超像素得到的每個語義分割體，用相同地理位置的多光譜影像的超像素值基于下式確定其聚類類別：

(3)

圖1 gCRF融合全色和多光譜影像分類示意圖[6]

1.2 存在的問題

全色影像較之于多光譜影像而言具有更高空間分辨率，可以提供更多地物的細節信息，因此在gCRF中用它來得到語義分割體。而全色影像光譜分辨率較低，相對多光譜影像而言“同譜異物”的現象更多，導致其在區分地物類別時能力較弱。在全色影像光譜值相近時gCRF桌子選擇階段得到的語義分割體會出現類別混淆的情況，即一個分割體內部包含大于一種地物類別，也就是“欠分割”現象。由于每個分割體分類時會被賦予一個類別標簽，因此在后續分類過程中包含多種地物類別的欠分割對象會導致較低的分類精度，且欠分割對象造成的分類誤差是無法被糾正的[8]。本文針對gCRF存在的欠分割問題，對其中間分割結果中的欠分割對象進行檢測并將其拆分為包含同一地物的較小的分割體，以提高模型最終分類精度。

2 欠分割對象的檢測及拆分

針對gCRF模型在基于全色影像獲取語義分割體時候存在的欠分割問題，本文提出了分割體異質性指標以篩選出包含2個及以上地物類別的分割體，即欠分割對象；對于欠分割對象引入基于多光譜影像獲取的語義分割體來提供邊緣信息對其進行拆分，得到更為準確的分割圖以供后續分類。

2.1 基于異質性指標的欠分割檢測

全色影像的高空間分辨率一方面使得其可以提供地表覆蓋更豐富的空間細節信息，另一方面，其較低的光譜分辨率會導致其對地表類型的識別能力較之多光譜而言較弱，因此更容易出現誤將不屬于同一個地物的像素劃分至一個分割體中的“欠分割”現象。為找出潛在的欠分割對象，基于以下假設，本文提出分割體異質性指標：①合格的分割體內部應只包含一種地物，其內部的超像素兩兩光譜距離較小；②欠分割對象內部包含2種及2種以上地物，其內部超像素兩兩光譜距離較大。本文用多光譜影像4個波段像素值的均值msj=(msj，1，msj，2，msj，3，msj，4)作為第j個超像素的特征，其中msj，b為第j個超像素中所有像素第b個多光譜波段的光譜均值。本文定義第t個分割體的異質性指標(heterogeneous index，HI)如下：

(4)

式中：St表示第t個分割體內包含的所有超像素的集合；i，j為超像素編號。

由于不同類別的觀測值光譜差異較大，因此對于不同類別的分割體欠分割檢測設置不同閾值。基于類別的欠分割對象的檢測方式如下：首先，統計當前圖像中第k個類別的異質性指標HI的閾值thresholdk，認為該類別下HI大于thresholdk的語義分割體更有可能包含多種地物，將其歸于“欠分割對象”。第k個類別的閾值thresholdk定義為：

thresholdk=mean(HIk)+ratio*std(HIk)

(5)

式中：HIk表示當前類別標簽為k的所有語義分割體的異質性指標的集合，在本文2個研究區的實驗中ratio均根據經驗設為1.5。對于每個語義分割體，首先根據上次迭代的分類結果判斷其大致類別k(賦予該分割體其內部像素個數最多的類別的標簽)，比較該語義分割體的HI是否大于該類別下的閾值thresholdk，若大于該閾值則判斷其為欠分割對象。

2.2 欠分割對象拆分

對于檢測出的欠分割對象，基于多光譜影像得到的分割體邊界作為其拆分依據并對欠分割體進行拆分。

1)獲取欠分割對象拆分依據。由于多光譜影像空間分辨率較較低，一方面，直接利用多光譜影像得到語義分割體較之基于全色影像得到的分割體具有較少的空間細節信息，另一方面，其豐富光譜信息有助于區分不同地物。因此在gCRF利用全色影像獲取語義分割體的同時，利用相同的方式基于多光譜影像獲取分割體，并基于多光譜影像得到的分割體來提供邊緣信息對gCRF中全色影像的語義分割體中的欠分割對象進行拆分。多光譜影像的語義分割體獲取同公式(1)、公式(2)，將其中的全色影像數據替換為相應多光譜影像數據，即：

(6)

(7)

式中：γ′為先驗參數。

2)欠分割對象拆分。根據公式(6)、公式(7)基于多光譜影像獲取的語義分割體可作為欠分割對象的拆分依據。對于基于HI所提取出的欠分割對象，根據其內部多光譜影像語義分割體的邊界將其分為多個小的分割體，拆分原理如圖2所示。由于多光譜影像具有較高的光譜分辨率，可以更好地區分地物類別，根據多光譜影像所獲取的分割體可以提供較之全色影像更為準確的分割體邊界，因此通過拆分獲取的小的分割體欠分割現象可得到有效減少，能夠有效降低欠分割引入的后續分類誤差。

圖2 欠分割對象拆分示意圖

2.3 改進后模型算法

改進后模型用于全色和多光譜影像分類算法流程圖如圖3所示。包括：

1)預處理。利用易康軟件基于全色影像得到超像素，并對多光譜影像進行上采樣使之與全色影像具有相同的空間分辨率；利用同樣的劃分方式將全色和多光譜影像劃為多個子圖像，具體見文獻[6]。

2)模型推導。改進模型在gCRF每次模型選擇桌子和選擇菜的過程中引入欠分割對象的檢測和拆分，改進后每次模型迭代過程如下：

①獲取語義分割體(選桌子)：根據公式(1)、公式(2)獲取全色影像的語義分割體，根據公式(6)、公式(7)獲取多光譜影像的語義分割體。

②欠分割對象檢測及拆分：首先利用計算每個語義分割體的異質性指標HI及每類的閾值，選擇出欠分割對象，繼而對欠分割對象進行拆分，得到更適宜于分類的分割體，具體見第2節內容。

③獲取語義分割體的類別標簽(選菜)：根據公式(3)，利用多光譜影像為拆分后的全色影像的語義分割體分配類別標簽。

3)分類。采樣收斂后，利用最大后驗概率估計得到最終分類結果。

圖3 改進后的gCRF模型算法流程圖

3 實驗結果和討論

3.1 數據和評價方法

本文選擇2個研究區進行實驗：研究區1為中國北京密云郊區天繪1號衛星影像，全色影像大小為1 200像素×1 200像素，分辨率為2 m，多光譜影像分辨率為10 m；研究區2為中國徐州城鎮區域資源3號衛星影像，全色影像大小為1 000像素×1 000像素，分辨率為2.1 m，多光譜影像分辨率為5.8 m，2個研究區影像及地表真實值見圖4。

圖4 數據及地表真實值

作為模型中間結果，分割體質量直接影像最終分類精度。分割體評價指標采用“區域重疊標準(overlap criteria，OC)”[8]，計算公式為：

(8)

式中：Ri表示真實標定的區域；Sj表示分割結果中的分割區域；OC越大表征分割結果越好。此外，采用Kappa系數、總體熵分類結果進行評價[9]。其中，Kappa系數可能取值為0～1，Kappa越大表示分類精度越高。總體熵(overall entropy，OE)可用來評價分割體聚類結果與地表真實分類之間的一致性，總體熵越小，分類結果越好。本文基于2個研究區，比較改進后算法相對于改進前性能是否提升。此外，還與gCRF原文獻對比方法中分類精度較高的實驗結果[6]進行對比，即基于SVM的監督分類方法，包括：對全色銳化后(Gram-Schmidt)的影像采用監督SVM進行分類的方法(SVM_GS_PIX)、基于全色影像的分割體利用SVM進行分類的方法(SVM_MS_SEG)，gCRF的對比方法及其結果參考文獻[6]。

3.2 定性評價

算法改進前后2個研究區的分類結果分別見圖5和圖6。圖7為算法改進前后2個研究區分割結果對比。以研究區1(郊區)為例，改進后的分類結果相對于改進前而言既保留其細節，又通過減輕模型中間分割結果的欠分割問題而改善算法最終分類結果，分類圖中其準確程度略遜于利用全色銳化后影像基于像素采用SVM的分類方法，但后者“椒鹽”效應較為明顯；研究區1影像中改進后算法分類結果亦優于SVM_MS_SEG的方法，因后者的分類精度直接受輸入的分割體以及基于分割體所提取的特征影響，這里僅采用了多光譜影像光譜值的均值作為每個分割體的特征，因此分類精度較差。表2為研究區1影像中算法改進前后分割及分類結果局部對比圖。區域1中，改進前模型由于全色影像水和植被灰度值接近，因此中間分割結果中誤將部分水和植被分為同一個分割體，導致最終分類效果不佳；改進后模型通過對欠分割對象的檢測和拆分克服了這一問題，得到的分類結果更加接近地表真實值；此外，區域2中，改進前算法中間分割體圖中的部分道路和建筑誤分為一個分割體，此處誤分同樣在改進后算法結果中得以避免，最終得到更接近地表真實類別的分類結果。同樣，對于城區影像而言，改進后gCRF目視檢查來看要優于gCRF及其他方法，見圖6。

圖5 算法改進前后分類結果(研究區1)

圖6 算法改進前后分類結果(研究區2)

圖7 算法改進前后分割體圖

表2 算法改進前后分割及分類結果局部對比(研究區1)

3.3 定量評價

針對2個研究區，算法改進前后以及其他對比方法中間分割評價指標區域重疊指標(overlap criteria，OC)、分類結果定量評價指標Kappa系數、總體熵(OE)見表3和表4。對于研究區1而言，改進后，算法中間結果(分割結果)區域重疊指數由0.79提高到0.85，分割質量得到改善；此外，算法改進后，Kappa系數增大，總體熵減小，表示改進后算法針對該研究區的最終分類質量得以提高。對于Kappa 系數和 OE而言，定量比較結果與目視檢查結果一致，改進后算法結果除略差于SVM_GS_pix后，優于其他3種方法；同樣，改進后針對資源3號衛星城鎮區域的影像(研究區2)實驗結果相對于改進前算法在OC、Kappa系數以及OE都得到改善，且Kappa系數和OE要優于其他對比方法(除了OE略低于SVM_GS_pix的OE)，證明改進后算法分類性能較好且相對于改進前算法得到有效提升且基本優于所選基于SVM的分類方法。

表3 算法改進前后定量評價(研究區1)

表4 算法改進前后定量評價(研究區2)

綜上，無論從定量還是定性角度，改進后算法相對改進前分類算法得到有效提升，且媲美甚至優于監督的SVM分類方法。

4 結束語

本文針對gCRF模型中融合全色和多光譜影像的分類方法中存在的欠分割問題，提出欠分割對象的檢測和拆分方法，具體包括：提出基于多光譜影像的異質性指標HI，基于多光譜影像引入欠分割體拆分依據，并基于拆分依據對檢測出的欠分割對象進行拆分。通過欠分割對象的檢測與拆分來提高gCRF模型中間結果即語義分割體精度以提高模型最終分類精度，并經由實驗證明改進方法的可行性和優越性。本文提出的對欠分割對象的檢測和拆分方法也可推廣到其他圖像分割算法，進一步提高分割和面向對象分類結果的精度。此外，本文對欠分割對象進行識別異質性指標定義僅基于多光譜影像光譜值，在今后研究中可以引入如紋理等其他特征進行更精確的檢測和識別。