基于PLFT及圖像融合的衛(wèi)星河流識別

冷凱群

(北京工業(yè)大學(xué) 軟件學(xué)院，北京 100124)

0 引 言

衛(wèi)星圖像中的河流自動監(jiān)測具有重要的應(yīng)用價值，如水資源的監(jiān)測和評估、洪水預(yù)測、水污染檢測、及GIS數(shù)據(jù)庫更新等。計算機(jī)視覺中的目標(biāo)識別和檢測的主要任務(wù)就是依靠特征提取的分類器的設(shè)計。一些常用的圖像特征包括灰度特征、彩色特征、形狀特征、結(jié)構(gòu)特征及紋理特征等；常用的分類器包括支持向量(SVMs)、多層感知器、最近鄰域分類器等[1]。

隨著理論研究的加深和技術(shù)的進(jìn)步，近些年國內(nèi)外學(xué)者提出局部圖像特征并將其廣泛地應(yīng)用于計算機(jī)視覺、圖像處理及模式識別領(lǐng)域[2-4]。在局部圖像空間內(nèi)具有的對光照、尺度、位置、遮擋等的不變性是局部圖像特征能得以成功應(yīng)用的關(guān)鍵，而這種屬性在全局圖像空間中是不具有的，因此局部圖像特征比一些全局圖像特征(如：基于主元分析(PCA)的特征)更具有模式鑒別能力。在模式識別研究領(lǐng)域，基于k近鄰(kNN)思想的分類器是最簡單也是研究時間最長的一類分類器。文獻(xiàn)[5]提出了一種基于增大判決邊緣距離的大間隔近鄰(large margin nearest neighbor，LMNN)分類器算法，LMNN通過從訓(xùn)練樣本中學(xué)習(xí)馬氏距離(Mahalanobis)達(dá)到模式分類的目的——屬于同一類別的樣本總是在k鄰域內(nèi)，而不同類別的樣本被一個較大的判決邊緣距離隔離開。該方法的實驗結(jié)果表明，LMNN分類器在5個大型數(shù)據(jù)庫中的3個能取得比SVM更好的分類效果，但是其仍需要有較大的改進(jìn)。

本文提出了一種基于融合的方法用于提取衛(wèi)星圖像中的河流區(qū)域，該方法通過對監(jiān)督分類的結(jié)果和無監(jiān)督分割的結(jié)果進(jìn)行融合而得到最終的結(jié)果。在監(jiān)督分類的方法中本文提出了一種局部圖像特征算法，即基于主元分析的局部傅立葉變換特征(PCA-based local Fourier transform，PLFT)。與現(xiàn)有方法相比，PLFT對圖像的紋理信息和顏色信息具有更好的模式鑒別能力，能更準(zhǔn)確的對衛(wèi)星河流的背景和顏色信息進(jìn)行分類識別。

1 本文識別算法

1.1 所提PLFT特征算法

1.1.1 局部傅立葉變換特征

Zhou等[6]提出了一種基于局部傅立葉變換(local fourier transform，LFT)的圖像紋理特征描述算子用于紋理分類和圖像分割。Yu等[7]提出了一種改進(jìn)的LFT，該特征描述算子的新穎之處在于計算傅立葉系數(shù)的一階和二階矩，而非文獻(xiàn)[6]中那樣計算量化后傅立葉系數(shù)的直方圖。LFT在處理灰度圖像時，使用8個LFT模板計算得到一個維數(shù)為16的特征數(shù)組；當(dāng)該算法進(jìn)一步應(yīng)用于處理彩色圖像(如HSV)的每一個彩色分量時，能得到一個維數(shù)為48的特征數(shù)組，并取得比灰度的LFT特征更好的圖像識別或分割效果。

圖1是一個3×3的局部圖像I(x,y),x=1, …,L-2和y=1, …,M-2，這里原始圖像大小是L×M，中心點是(x,y)，8個鄰域像素點被標(biāo)注為Pn,n=1, 2, …, 8。式(1)計算(x,y)的局部傅立葉變換系數(shù)

(1)

其中，F(xiàn)I(k)表示灰度共生屬性以及它們的空間分布[6]，n是8個鄰域像素點的編號。

圖1 3×3的局部圖像區(qū)域

1.1.2 PLFT特征提取流程

目前，有效將LFT系數(shù)轉(zhuǎn)化為特征描述算子向量的方法有兩種：一種是計算系數(shù)量化后的直方圖；另一種是計算系數(shù)的一階和二階矩。而文獻(xiàn)[7]的結(jié)果表明后者的圖像特征描述能力要優(yōu)于前者，所以本文采用后者的方法。接下來，首先介紹計算LFT系數(shù)的一階和二階矩的過程，然后由此推導(dǎo)提出一種新的局部特征描述算子，即基于主元分析的局部傅立葉變換特征(PCA-based local Fourier transform，PLFT)。

F=[f1,f2,…,f81]∈R8×81

(2)

沿F的水平方向計算每行的均值就得到系數(shù)的一階矩：M=[m1,m2,…,m8]∈R8，其中

(3)

系數(shù)二階矩是計算水平方向每行的方差，即V=[v1,v2,…,v8]∈R8，其中

(4)

最后，通過級聯(lián)向量M和V得到一個維數(shù)是16的LFT特征向量：Xlft=[M,V]∈R16。

圖2 8個計算LFT系數(shù)的模板[7]

均值和方差是統(tǒng)計方法描述樣本數(shù)據(jù)的兩個基本分布特征，此外，另一個常用于揭示數(shù)據(jù)內(nèi)在分布特征的方法是主元分析法，它的第一主元(最大的特征值)揭示了數(shù)據(jù)分布中最大可能的方差，而第二主元是數(shù)據(jù)分布中下一個最大可能的方差，以此類推，并且不同的主元之間它們的方向是正交的。因此，可以利用主元分析方法在LFT系數(shù)矩陣中提取更有用的特征用于描述圖像。

假設(shè)在整個訓(xùn)練樣本中總共有N個圖像窗口，那么可以組成一個更大的LFT系數(shù)距陣

F=[F1,F2,…,FN]∈R8×Nm

(5)

這里m是每個圖像窗口里可用于計算LFT系數(shù)的像素點，如前面的81個像素點。對F進(jìn)行奇異值分解

F=UDWT

(6)

這里U和W分別是左奇異值向量矩陣和右奇異值向量矩陣，D是對角矩陣包含了奇異值，而非零奇異值的平方就是8×8矩陣FFT的非零特征值。

在特征值中，由于數(shù)據(jù)中的噪聲和樣本數(shù)量不足，較小的值通常偏離數(shù)據(jù)分布的真實方差[8]。為了避免主元空間中的不穩(wěn)定性，會把特征值較小對應(yīng)的主元向量從主元空間中去除掉，通常只保留前面k個較大的主元向量組成主元空間U，這里的k可以通過設(shè)定特征值能量的98%來確定。通過主元分析方法，可以將F中的每個Fi轉(zhuǎn)化成具有低維的形式

Fi=UTFi∈Rk×m, (k<8)

(7)

然后沿水平方向計算Fi每行的均值，Mpca=[m1,m2,…,mk]∈Rk。把3個向量M，V，Mpca級聯(lián)起來就形成了一個新的圖像描述特征，即基于主元分析的局部傅立葉變換特征PLFT

Xpca_lft=[M,V,Mpca]∈R16+k

(8)

由于加入了主成分分析元素，PLFT能夠更有效地識別出占主要地位的有用信息并忽略占次要地位的干擾信息，因此，與文獻(xiàn)[6]中所提的LFT方法相比，PLFT對圖像的紋理信息和顏色信息具有更好的模式鑒別能力。

1.2 LMNN分類算法

大間隔近鄰算法(LMNN)由Weinberger等提出，該算法基于K近鄰算法改進(jìn)，具體理論可參見文獻(xiàn)[10]。其學(xué)習(xí)一種馬氏距離度量方式

(9)

式中：M=LTL為半正定對稱矩陣，用于最小化每個訓(xùn)練點和它的K個最近鄰中類標(biāo)簽相同的點，以及最大化類標(biāo)簽不同的點，其構(gòu)造代價函數(shù)

ε(M)=(1-μ)εpull(M)+μεpull(M)

(10)

(11)

(12)

2 衛(wèi)星圖像河流檢測流程

2.1 圖像顏色空間轉(zhuǎn)換

在計算機(jī)視覺領(lǐng)域，彩色特征已經(jīng)被廣泛地研究以提高目標(biāo)和場景識別中算法的光照不變性和分類鑒別能力[9]。L*a*b*彩色空間也叫做CIELAB彩色空間或CIE L*a*b*彩色空間，是常用來描述人眼可見的所有顏色的最完備的彩色模型，它的3個基本坐標(biāo)分別表示圖像的顏色亮度，在紅色/品紅色和綠色之間的位置及它在黃色和藍(lán)色之間的位置。在衛(wèi)星圖像中大部分河流區(qū)域呈現(xiàn)出黑色或深藍(lán)色，而背景一般是綠色或棕色的，利用L*a*b*彩色空間，可以量化衛(wèi)星圖像中河流和背景之間的顏色視覺差別，針對這種特點本文選取在L*a*b*彩色空間中進(jìn)行河流的提取和分割。因此，在后續(xù)處理之前需要首先把彩色衛(wèi)星圖像從RGB空間轉(zhuǎn)化為L*a*b*彩色空間，如圖3(a)，圖3(b)所示。

圖3 本文算法的流程

2.2 有監(jiān)督PLFT特征分類

彩色衛(wèi)星圖像在轉(zhuǎn)化到L*a*b*彩色空間后，對它的每個彩色分量提取PLFT特征，這樣對每一個圖像窗口可獲得一個維數(shù)是3×(16+k)的向量組。在有監(jiān)督的分類算法中，使用PLFT特征和LMNN分類器把每個像素分類成河流和背景兩類。由于要處理L*a*b*空間的3個分量，為了減少計算量這里并非分別計算3個投影矩陣U(見式(7))，而是把3個彩色空間分量的LFT系數(shù)矩陣級聯(lián)起來組成一個矩陣F∈R24×Nm，以得到一個單獨的投影矩陣U，這樣PLFT特征的維數(shù)就是3×16+k而不是3×(16+k)。值得注意的是，在訓(xùn)練和測試過程中需要使用同一個投影矩陣U。

有監(jiān)督分類學(xué)習(xí)過程中的訓(xùn)練樣本是裁剪出的11×11的圖像窗口，它們包含了河流區(qū)域(正樣本)和背景區(qū)域(負(fù)樣本)，使用類別標(biāo)注后的樣本訓(xùn)練一個LMNN分類器，然后用訓(xùn)練完成的LMNN分類器來對需要處理衛(wèi)星圖像進(jìn)行河流識別。有監(jiān)督分類的結(jié)果如圖3(d)所示。

2.3 無監(jiān)督k均值聚類分割

在無監(jiān)督的方法中，使用k均值聚類方法對L*a*b*空間的3個分量同時聚類，根據(jù)理論經(jīng)驗這里聚類中心數(shù)選擇為5，然后把具有最小L*值的中心選為河流像素點的聚類中心，分割的結(jié)果如圖3(c)所示。

2.4 融合檢測

觀察圖3(c),圖3(d)所示的兩類識別結(jié)果可以發(fā)現(xiàn)，無監(jiān)督聚類的方法取得了較高的正確率，即大部分河流區(qū)域被分割出來，但同時也有較高的錯誤率，即把很多的背景像素也識別為了河流區(qū)域。而有監(jiān)督學(xué)習(xí)的方法由于嚴(yán)重地依靠訓(xùn)練樣本，它的分類正確率不高，即一些河流像素被分類成背景。這是因為衛(wèi)星圖像中背景區(qū)域的面積遠(yuǎn)大于河流面積，故而很難獲得足夠多的正樣本來訓(xùn)練LMNN分類器，所以在對新樣本進(jìn)行分類測試階段一些河流的像素點不能夠被正確的分類。但同時這種方法有較低的錯誤率，只有少部分背景被分類成河流。

基于上述的特點，為了提高本文算法的性能，提出通過融合的方法得到河流的識別結(jié)果，即同時使用有監(jiān)督PLFT特征分類和無監(jiān)督k均值聚類的圖像分割的方法提取衛(wèi)星圖像的河流區(qū)域，最后把兩種方法的結(jié)果進(jìn)行融合得到最終的結(jié)果。融合檢測的效果如圖3(e)所示。

3 實驗研究

3.1 PLFT分類性能分析

為了分析本文所提PLFT特征在目標(biāo)分類中的有效性，從Google Maps中隨機(jī)選取50幅包含河流信息的衛(wèi)星圖像作為實驗樣本圖像。圖4所示為其中兩個樣本，樣本1的圖像尺寸是80×100，樣本2的圖像尺寸是70×100。實驗中，通過手動標(biāo)注圖像中的河流區(qū)域，然后遍歷圖像中所有大小為11×11的窗口，凡窗口中心是河流像素的這個窗口被選為正樣本，否則為負(fù)樣本，總共獲得11 700個圖像窗口，其中正樣本窗口有1361個，最后從這些圖像窗口提取PLFT特征并訓(xùn)練一個LMNN分類器。

圖4 實驗樣本圖像

為了進(jìn)行比較，運(yùn)用文獻(xiàn)[6]中所提的LFT特征進(jìn)行同樣分析步驟的比較實驗。經(jīng)過對這50幅衛(wèi)星實驗樣本圖像的分析，獲得這兩類特征分類性能的實驗結(jié)果見表1，可以發(fā)現(xiàn)這兩類特征均能較為準(zhǔn)確地將衛(wèi)星圖像的背景分離開來，故而其平均分類正確率都較高，但是PLFT對于河流分類的正確率則明顯高于LFT，表明該特征更適用于本課題。

3.2 本文方法檢測效果

驗證本文方法的檢測效果，從Google Maps中選取100張具有不同地貌地形的衛(wèi)星河流圖像，圖5(a)所示為其中的4張具有代表性的圖像。實驗中，運(yùn)用有監(jiān)督的PLFT特征及LMNN分類算法依次提取這4張圖像的河流信息，其分類結(jié)果如圖5(b)所示；然后運(yùn)用無監(jiān)督的k-means聚類算法依次提取圖像河流信息，其分割結(jié)果如圖5(c)所示。可以發(fā)現(xiàn)，基于PLFT和LMNN的方法能夠?qū)D像中的絕大多數(shù)背景干擾信息去除，但對有用的河流信息破壞也較大；k-means聚類的方法能更完整地保留河流信息，但其卻難以去除背景干擾信息。

表1 PLFT和LFT分類性能的比較

經(jīng)上述分析，接下來將以上兩種方法的結(jié)果進(jìn)行融合。首先對圖5(c)中的目標(biāo)(黑色像素區(qū)域)進(jìn)行標(biāo)號，然后遍歷每個目標(biāo)，在它的區(qū)域范圍內(nèi)統(tǒng)計圖5(b)中有多少個對應(yīng)的黑色像素點，最后返回這個數(shù)量最大的目標(biāo)，那么該目標(biāo)就被認(rèn)為是圖像中的河流區(qū)域，這4張圖像融合識別的結(jié)果如圖5(d)所示。實驗結(jié)果表明，本文提出的融合算法吸取了上述兩種方法各自的優(yōu)點，同時也摒棄了其缺點，能夠有效地將衛(wèi)星河流圖像中的背景干擾信息去除掉，同時也能較為清晰完整地保留圖像中的有效河流信息，基本能滿足自動提取檢測并保證一定精度的要求。

4 結(jié)束語

衛(wèi)星圖像中的河流自動檢測在水資源監(jiān)測評估、洪水預(yù)測及水污染檢測中具有重要的應(yīng)用價值。本文提出了一種新的局部圖像描述算子，即基于主元分析的局部傅立葉變換特征PLFT，用來提取衛(wèi)星圖像中的河流信息，實驗結(jié)果表明，該特征較傳統(tǒng)的LFT算子有更好的分類鑒別能力。其次，本文將基于PLFT特征和LMNN分類器的有監(jiān)督學(xué)習(xí)分類算法和基于k均值聚類的無監(jiān)督聚類分割的算法進(jìn)行融合，來用于衛(wèi)星圖像中河流的識別。選取大量Google Maps衛(wèi)星圖像進(jìn)行實驗，結(jié)果表明提出的方法更加清晰完整地檢測出衛(wèi)星圖像中的河流信息，具有較高的實用價值。今后的研究中，可以嘗試使用核密度估計[11]的方法對彩色衛(wèi)星圖像進(jìn)行分割。

圖5 不同方法實驗結(jié)果對比