基于擴展CENTRIST的遙感場景分類

馬 瑾 袁寶華* 王 歡

1(南京理工大學泰州科技學院計算機科學與工程學院 江蘇 泰州 225300)2(南京理工大學計算機科學與工程學院 江蘇 南京 210094)

0 引 言

隨著各種衛星傳感器的不斷發展，獲取高分辨率遙感圖像數據變得越來越容易，這些高分辨率遙感圖像通常具有豐富的空間布局信息和紋理結構，這對識別不同的土地利用場景類別有很大幫助。根據一組語義類別對場景圖像進行分類是一個非常具有挑戰性的問題，因為給定類別的土地覆蓋特征可能表現出很大的變化，并且物體可能出現在不同的尺度和方向上。

CENTRIST作為一種描述局部紋理結構的特征，已經在紋理分類、圖像檢索和人臉圖像分析等領域被廣泛應用[1-8]。Chu等[8]設計了彩色CENTRIST(cCENTRIST)描述符，將顏色信息嵌入到CENTRIST的框架中，提升了對彩色信息的獲取能力。Xiao等[7]提出了一種多通道CENTRIST(mCENTRIST)描述符，用于多通道圖像的不同通道互補信息的獲取。由于CENTRIST中僅涉及局部區域中像素的符號分量，Meng等[5]提出將局部區域像素的差異數值分量和符號分量兩個部分，共同組合成局部差分二值模式(LDBP)。大量研究表明具有幾何和光度變換不變性的局部描述符在遙感場景分類中是有效的[9-11]。近年來，Chen等[10]提出多尺度的完整局部二值模式(Multi-scale Completed Local Binary Patterns，MS-CLBP)，從多分辨率遙感圖像中獲得紋理特征，提高場景識別精度；文獻[11]提出基于局部二值模式(Local Binary Pattern，LBP)和局部相位量化(Local Phase Quantization，LPQ)描述符的組合對高分辨率遙感圖像的紋理進行表征，并將其應用到土地覆蓋分類中。

考慮到CENTRIST描述符的鄰域僅為3×3，鄰域像素個數僅為8個，限制了其對空間特征的表達能力，因此本文提出一種擴展CENTRIST(eCT)紋理描述符進行高分辨率遙感場景的識別方法。該描述符由三種不同模式的算子構成，擴展了更大的空間區域，能夠獲取不同結構的紋理特征。該算子易于實現，無須調整參數并且可以快速運行。通過將三種子模式的算子提取的特征進行融合，形成圖像最終的特征向量，然后通過譜回歸判別分析進行分類識別。同時為了挖掘不同通道的圖像信息，提出一種多通道的擴展CENTRIST融合機制(meCT)，可以充分利用多通道信息互補的優勢，獲取圖像的不同通道的紋理特征，提高分類結果的準確性。

1 相關知識

1.1 CENTRIST算子

CENTRIST是對圖像進行Census變換的直方圖特征，它能夠表征圖像的局部和全局信息。Census變換表示3×3區域的中心像素及其八鄰域像素灰度值之間的大小關系[4]。將鄰域的像素灰度值與中心像素灰度值進行閾值化操作，順時針方向得到二進制數，最后將其轉換為十進制數來作為該像素的Census值，如圖1所示。

圖1 Census變換

通過圖像的單次掃描就能完成Census變換的計算，是一種非參數變換。它是一種鄰域與中心對比度的映射關系。假定中心像素為(xc,yc)，則Census變換表示為：

(1)

式中：gc代表區域中心像素的灰度值;gp代表區域周圍像素的灰度值。s(x)函數定義如下：

(2)

這些Census變換值的統計直方圖就形成了該圖像的CENTRIST特征。

1.2 譜回歸判別分析

當樣本的個數遠大于類別數時，LDA無法進行求解，為了避免特征分解問題，Cai等[12]提出了譜回歸判別分析算法，將LDA統一到圖嵌入框架中求解。SRDA通過式(3)、式(4)求解。

Wy=λy

(3)

(4)

求解式(3)得到y，找到能夠滿足式(4)的a。

(5)

式中:yi是y的第i個元素。

當訓練樣本個數大于樣本維數時，通過式(6)求解。

(6)

式中:ε≥0為正則化因子;I為單位矩陣。

反之，如果樣本個數小于樣本維數時，則通過式(7)求解。

(7)

(8)

式中：L為上三角矩陣。假設SRDA的投影矩陣為A=[a1,a2,…,ad]∈Rn×d，通過變換zi=ATxi，從而使X向量的投影到低維空間Z∈Rd(d?n)。

2 基于擴展CENTRIST的場景分類算法

2.1 eCT算子

CENTRIST進行圖像分類主要依賴于Census變換，而Census變換僅僅在3×3的鄰域上進行運算，如此小的空間尺度區域影響其表達能力，因此需提高其空間尺度，獲取更大區域的信息，從而提升Census變換的表達能力。

將鄰域尺寸擴大到5×5，其鄰域像素的個數增加到24個，如果按照基本Census變換會產生24位二進制，轉換成十進制則大小范圍是[0,224]。在實際應用中，CENTRIST的維度將過大，通常是不可接受的。如何既能獲取到更多的區域信息，又不增加CENTRIST的維度，成為一種挑戰。為此，提出擴展的CENTRIST算子，其基本思想就是將5×5區域的Census分割成3個不同結構的區域，每個區域通過變換的Census進行表示，如圖2所示，每個區域的紋理表示為一種子模式。

圖2 擴展CENTRIST的三個不同子模式

將5×5的區域分成圖中所示不同的子模式，每種子模式的結構不同，能夠表示不同形式的紋理信息。而三個子模式的像素均為8個，這樣就能轉換到基本的Census變換。通過這樣的分割，原先CENTRIST的維度224，就分解為3×28，維度大大減少，即擴展了更大的區域，而維度又沒有顯著增加。eCT與CENTRIST的不同點在于：(1) 鄰域范圍不同，eCT鄰域范圍更大，大小為5×5，而CENTRIST鄰域大小為3×3；(2) eCT三種子模式的結構分別呈現十字形、交叉形、圓形，能夠獲取不同結構的紋理特征，而CENTRIST的結構固定，類似于正方形邊緣；(3) eCT特征維數是CENTRIST的三倍。

2.2 meCT算子

相比于灰度圖像，彩色圖像包含更多的信息，為了更好地挖掘不同通道信息，提出meCT算子。

圖3 多通道的擴展Census變換金字塔

通過這樣的方式，融合兩個通道的子模式meCT1。按照相同的方式，融合第二個子模式meCT2和第三個子模式meCT3，然后將三個子模式的直方圖串接成meCT直方圖。為了降低多通道的特征維數，后續采用降維(例如：PCA)操作。meCT特征的提取過程如圖4所示。

圖4 meCT特征提取

meCT遙感場景分類算法的主要流程，如圖5所示。首先將輸入圖像分解成多通道圖像，每個通道表征不同的圖像信息；然后通過金字塔匹配核將圖像不斷細化成相同大小的圖像塊，獲得圖像的多尺度信息；利用eCT算子獲得每個圖像塊直方圖特征，按照meCT方式形成最終的圖像全局特征；最后利用分類器進行分類識別。

圖5 meCENTRIST遙感場景分類的主要流程

3 實 驗

為了驗證基于eCT遙感場景特征表達方法的有效性，本節在UC Merced標準遙感圖像庫進行場景分類實驗。實驗比較了eCT三種子模式的分類性能，表明三種模式的特征互補性。實驗驗證多通道下的meCT的分類性能并與現有的具有較高分類性能的場景分類方法進行了比較。另外，實驗從訓練時間、分類效果上比較了SR-KDA和SVM分類器的性能。

3.1 UC Merced數據庫

UC Merced 數據集是常用的高分辨率遙感圖像公共數據集，被廣大研究者普遍接受，其共有2 100幅圖像，分為21個場景類別，每個類別有100幅圖像，每幅圖像大小為256×256。圖6為UC Merced部分示例圖。

圖6 UC Merced數據集示例圖

3.2 實驗設置

實驗中采用從數據集中隨機選擇訓練和測試樣本集，將每類100幅圖像分為五等份，四份作為訓練樣本，其余的作為測試樣本。實驗中采用5次交叉驗證方法，所有實驗的識別率的平均值作為最后的分類性能。實驗中采用空間金字塔模型如2.2節所述。

為了評估提出的eCT算子的有效性，將其與另外兩個算子進行比較。一個是CENTRIST；另一個是LDBP[5]，是CT的擴展版本，采用了符號和幅度信息。此外還比較了不同分類器對于實驗的影響。在SR-KDA分類器中采用多項式核函數，參數d=9，L2正則參數設為0.001。SVM分類器采用公開的機器學習包(LIBSVM)[6]。SR-KDA則采用公開的譜回歸核判別分析包。實驗環境如下：I5 Quadcore (3.1 GHz)， 內存8 GB，MATLAB編程環境。

為了評估meCT的性能，比較了5個多通道描述符：(1) mCENTRIST[7]，場景分類中的多通道的特征生成機制。(2) cCENTRIST[8]，一種適用于HSV顏色空間的擴展CENTRIST。(3) mGISTs[13]，直接從多通道獲取場景的串聯GIST特征。(4) mSIFT[13]，從多通道直接串聯SIFT特征。(5) msSIFT[14]，從多通道串聯SIFT特征，后續通過PCA降維處理。

3.3 實驗分析

3.3.1eCT有效性

為了驗證eCT描述符的有效性，首先驗證分別采用三個獨立的子模式描述符進行遙感場景分類識別實驗。實驗表明三種不同的子模式能夠獲取不同的區域信息，三種獨立子模式分別為sub-eCT1、sub-eCT2和sub-eCT3，分類器采用SR-KDA。UC Merced數據集中圖像是彩色圖像，首先將圖像的顏色空間進行轉換RGB->YCbCr，然后采用Y分量(亮度)作為灰度圖像。

由表1發現sub-eCT2相比于其他兩個描述符能夠獲得較好的識別率。圖7為三種模式的描述符在每類上的識別率。在大多數類上，三種子模式描述符有相似的結果。在“叢林”類上，sub-eCT1能獲得較高的識別率。而在“沙灘”“網球場”“移動家庭公園”“高爾夫球場”sub-eCT2獲得最好的結果。在“建筑物”“中密度住宅區”“停車場”“河流”類中，sub-eCT3獲得最好的結果。每種sub-eCT描述符在不同的類別上都各有所長，單純地依靠其中一個算子并不能在所有類別上都能表現很好。三個子描述符之間相互獨立且包含互補信息，因此通過融合這三個特征，能夠獲得更好的識別率。

表1 三種子模式的識別率 %

圖7 三種子描述符在每個類別上的識別率

3.3.2與CENTRIST和LDBP算子的分析比較

在直方圖的空間金字塔中，從三個不同的層次級別上描述了場景：eCT包含關于像素級別的信息；區域直方圖產生區域級的信息；將區域直方圖串聯以構建場景的全局描述。實驗結果見表2，eCT能獲得比CENTRIST和其他算子更高的識別率，達到84.52%。這也進一步表明，eCT算子相比其他算子能夠獲得更多的紋理特征，從而獲得較好的識別效果。采用SR-KDA分類器相比SVM，識別率能夠提高3個百分點。

表2 不同算子分類性能的比較 %

CENTRIST和eCT的每類識別率如圖8所示。在大多數類中，eCT能夠獲得比CENTRIST更高的識別率。

圖8 CENTRIST和eCENTRIST在每個類別上的識別率

3.3.3meCT有效性

本節實驗設置采用與文獻[8-9]中相同的設置保證實驗的公平性。如表3所示，meCT在多通道情況下都能夠獲得最好的識別率。通過增加通道信息，能夠提高分類性能，這是因為通道的增多必然能夠從更多的角度去獲取場景特征。實驗結果表明,由于eCT算子能夠獲得豐富的紋理特征，同樣在多通道的融合中，meCT也能在不同的通道信息融合過程中獲得不同通道互補的紋理信息，融合后其效果比其他算子表現更好。

表3 不同多通道描述符在UC Merced數據集上的分類結果 %

mCT和meCT在每個類別上的識別率如圖9所示。可以看出meCT在17個類別中性能優于mCT，表明多通道的圖像對大部分類別的識別率提高是有益的。總體上meCT方法能獲得較好的結果，特別在沙灘、叢林和森林，這些類別中能夠100%識別。

圖9 mCENTRIST和meCT在每個類別上的識別率

meCT的混淆矩陣如圖10所示，在這些類別對中會有混淆，如建筑物和密集居民區、密集居民區和中密度居民區、建筑物和油罐。除此之外，有些類別有明顯的形狀特征，比如：建筑物和油罐，將來可以考慮利用這些形狀特征來進行識別。

圖10 meCT在UC Merced數據集上的混淆矩陣

不同描述符特征提取的時間如表4所示。可以看出，meCT執行效率要高于mSIFT、msSIFT和mGIST，低于mCT。在這些方法中，meCT能夠兼顧計算效率和鑒別能力。

表4 不同的多通道描述符特征提取時間的比較

為了驗證所提出meCT的有效性，將其在UC Merced數據集上的分類性能與在類似實驗設置下文獻中報告的方法進行比較(即將每個類別80%的圖像用作訓練，剩余的20%圖像用作測試)。meCT模型優于其他方法，如表5所示。meCT的精度比基于BOW框架的最好方法(PSR)還高2個百分點。使用多尺度CLBP(MS-CLBP1)描述符[10]的特征提取方法的精度比meCT低1個百分點。采用四種圖像特征進行融合的方法[20]精度比meCT低1.7個百分點。meCT僅采用eCT特征，并且沒有融合其他特征，如果考慮更多特征，精度可能會更高。

表5 不同方法在UC Merced數據集上的分類精度(mean±SD)比較

與UC Merced數據集中其他方法的對比結果，證明了本文模型對遙感土地利用分類的有效性。這可能是因為遙感場景比自然場景具有更多的規則結構體，并且擅長捕捉場景的結構屬性。最重要的是，該方法保留了CENTRIST的優點，例如更快的速度和更容易實現。

4 結 語

針對目前CENTRIST算子的鄰域3×3范圍較小，不能充分表達主要區域特征，提出一種擴展CENTRIST紋理算子用于場景識別的全局圖像特征的方法。eCT由三個獨立的子模式運算符組成，三個子模式結構不同，捕獲的紋理信息也不相同，它們之間包含補充信息，滿足了遙感場景分類所需的特性，實現了較好的分類性能。此外，本文方法保留了CENTRIST的優點，易于實現，幾乎沒有參數可以調整，并且可以快速運行。最后，為了能夠從多個通道圖像中獲得互補信息，提出meCT多通道融合機制，相比于傳統的多通道串接方法，其能夠獲得良好的分類性能。