基于神經網絡的衛星影像與航拍實景影像自適應顏色分割方法研究

李大瑞　王耀

摘要：針對智能區分系統中的實景圖像真彩色的自動檢測問題，研究了基于神經網絡的實景影像自適應顏色分割方法。提取了圖像中的所有像素進行灰度歸一化，然后計算出像素矢量矩陣，利用像素矢量進行概率神經網絡（PNN）的訓練，通過訓練后的神經網絡進行圖像自適應二值化閾值顏色分割，主要分割紅，黃，藍3種顏色。實驗結果表明：自適應圖像分割方法比固定閾值分割方法在圖像分割效果上有顯著的改善。

關鍵詞：圖像顏色分割；RGB顏色空間；HSI顏色空間；概率神經網絡；神經網絡訓練

中圖分類號：TP75 文獻標識碼：A 文章編號：1674-9944（2016）06-0173-07

1 引言

1.1 研究意義

森林資源狀況及其變化，不僅影響地區乃至全球環境的變化，而且還影響社會經濟的持續發展。隨著遙感技術的發展，森林植被遙感影像分類逐漸成為森林資源調查和監測不可缺少的內容。目前遙感分類技術在林區的應用還處于比較落后的狀態。如何利用普遍可以得到的遙感數據資源和其他林業數據，研究出更適合于我國東北林區的遙感圖像計算機分類的新方法，提高森林植被的分類精度，以滿足林業部門的需要，是本研究的主要工作。

因此，研究航拍影像中森林植被的自動分割、檢測與識別方法，對于智能監督分類、自動劃分森林區域、采集大數據森林信息、智能劃分變化監測區域監督執法，節約人力物力、提高工作效率和質量都具有重要的實用價值。

1.2 國內外研究現狀綜述

羅曉萍等的基于SVM和模糊免疫網絡的實景影像識別，提出了一種檢測和識別方法，根據顏色和形狀，利用支持向量機的非線性分類能力將其圖像區域從實景圖像中檢測出來，然后根據多樣性，高容噪性的模糊免疫網絡來識別。楊修銘等針對單一波普反射標志的檢測，定義了一個“紅色”閾值區域，利用這個閾值區域對圖像進行閾值分割，從而確定顯著類型標志所在的候選區域；在RGB顏色空間，利用三個顏色分量之間的灰度差和所設置閾值之間的關系來進行圖像分割和顏色檢測。蔣剛毅等、黃志勇等提出了一種基于RGB視覺模型的實景影像分割算法，其利用歸一化后的顏色分量之間的差值和所設定閾值的關系，來進行顏色分割；李寧等同樣采用顏色分量之差的方法來進行圖像分割。

這類方法直接在RGB顏色空間對森林植被的特征顏色進行分割，不需要進行顏色空間的轉換，處理時間短，有利于實時應用，但此類方法的缺點是受光照條件的影響較大。目前國外有基于多閾值PCNN的運動目標檢測算法，通過多閾值思想，基于混合高斯模型減背景算法的基礎上，在脈沖耦合神經網絡對前景和背景的分割過程中，運用多閾值，其迭代次數由簡化的最大熵準則決定，并且提出了一種新型的模型學習率。

2 固定閾值圖像分割方法

顏色信息是森林植被航拍影像最重要的視覺特征，森林植被在夏季時主要顏色為綠色，在夏季時候選擇光線好、清晰度高的航拍影像就能很容易引起智能神經網絡的判斷區劃。由于顏色信息不隨物體的大小和觀察的視角而變化，并具有較強的可分離性，所以，通過特征顏色分割，可在實景航拍影像中大致檢測出森林植被的位置。根據顏色分割時所選擇的顏色空間的不同，基于RGB顏色空間的方法通過編程獲得基于圖像的RGB顏色數據，進行閾值劃分然后自動錄入數據庫，得到神經網絡的大量練習數據，根據數據通過算法函數運算得到判定值。之后在讀取新圖像時候通過判定值以及練習的數據進行比對判定出是否符合要求。

從實景圖像中快速、自動地將森林植被區域分割出來，是森林植被變化自動檢測和識別的前提。由于植被具有特定色域的顏色類型，基于顏色信息的圖像分割可以有效地進行森林管理監測對比。

2.1 RGB視覺模型原理及其數據的特點

眼睛通過3種可見光對視網膜的椎狀細胞的刺激來感受顏色。這些光在波長為630nm（紅）530nm（綠）450nm（藍）時的刺激達到高峰，通過對各刺激強度的比較，感受到光的顏色。這種視覺理論就是使用紅、綠、藍3種基色來顯示彩色的基礎，稱之為RGB色彩空間模型。

以R、G、B3個參數為坐標，可以看到一個單位立方體來描述RGB顏色模型，如圖1所示。紅、綠、藍是互相正交的坐標軸，每個坐標軸都量化為0～255，O對應最暗，255對應最亮，彩色立方體中任一點都對應一種顏色，以下都是常見顏色的RGB數值。

黑色=（0，0，0）；白色=（255，255，255）；灰色=（128，128，128）；青色=（0，255，255）；品紅=（255，0，255）；黃色=（255，255，0）；紅色=（255，0，0）；綠色=（0，255，0）；藍色=（0，0，255）。

RGB彩色系統是通過對顏色進行加運算來完成顏色綜合的彩色系統，其遠點是黑色，通過在黑色中加入不同分量的紅色，綠色，藍色來得到某種彩色。大多數系統（比如電視機，顯示器等）都采用RGB模型顯示色彩，Windows內部的位圖也采用ROB顏色模型。

2.2 HSI視覺空間模型

HSI（Hue，Saturation，Intensity）（色度，飽和度，亮度）是適合人類視覺特性的色彩模型。其中H（色度）表示不同的顏色；而S（飽和度）表示顏色的深淺；I（亮度）表示顏色的明暗程度。HIS顏色空間模型的示意圖如圖2所示。

HSI模型的最大特點就是：H、S、I三分量之間的相關性較小，在HSI空間中，彩色圖像的每一個均勻彩色區域都對應一個相對一直的色調H，所以，可以利用色調H完成獨立于亮度的彩色區域分割。

2.3 RGB模型與HSI模型轉換

們通過圖像采集設備得到的原始圖像一般用RGB空間模型表示，要利用HIS空間對圖像進行分割，前提條件下是將RGB模型轉化為HSI模型。（1）（2）（3）

R、G、B對應的是紅、綠、藍。H、S、I對應的是色度、飽和度、亮度。從轉化公式可以看出，由RGB模型向HIS模型轉化需要較多的計算量。所以由以上公式得出結論，航拍影像色彩分割與識別在計算量方面采用RGB模型。

2.4 RGB固定閾值分割算法

這類方法直接在RGB顏色空間對森林植被的特征顏色進行分割，不需要進行顏色空間的轉換，處理時間短，有利于實時應用，但此類方法的缺點是受光照條件的影響較大。

閾值分割算法公式：（4）

其中T是固定閥值，g（x，y）是圖像的（x，y）處的像素的灰度值。

多閾值分割算法公式：

g（x，y）=k（T_k-1≤f（x，y）k

圖中，R表示輸入向量的維數，Q表示輸入/目標向量的個數，K表示輸入數據種類的個數。IW是徑向基層與輸入層之間的權值矩陣，其維數為Q×R，LW是競爭層與徑向基層之間的權值矩陣，其維數為K×Q，ai1表示第二層輸出向量a1的第i個元素，IWi表示第二層權值矩陣IW的第i行元素組成的向量。||ldist||表示輸入P與權值矩陣IW的歐幾里德距離，符號“.”表示||dist||的輸出與閾值b1的元素與元素之間的乘積關系；模塊C表示競爭傳遞函數，其功能是找出輸入向量n2中各元素的最大值，并使其與最大值對應類別的神經元輸出為1，其它神經元的輸出為0。

本文概率神經網絡徑向基層神經元的傳遞函數、及競爭層的競爭傳遞函數的形式分別為：（10）

式中，i*為X中最大值的下標。概率神經網絡的輸入、輸出的運行過程如下：輸入層接收輸入向量Pj=（P1，P2，…，PR）T，j=1，2，…，Q；對于徑向基層的第i個神經元（i=1，2，…，Q），首先計算輸入向量P.與權陣向量IWi間的向量距離d_i：

d_i=sqrt（（P_i-IW^T_i）^T（P_i-IW^T_i）） （11）

再結合閾值b1，計算第i個神經元的輸入n_i1與輸出a₂1。

a_i1=e^-n_i1×n_i1，nn_i11=dn_i1×bn_i1 （12）

計算競爭層的輸入向量n2，其第m個（m=1，2，…，K）元素值為n_m2：n_m2=LW_ma1；網絡最終對應的輸出向量a2_j為：a2_j=compet（n2）。在輸出向量n2中的元素只有0和1兩種值，1在向量中的序號就是分類的類別序號。

為了從實景圖像中分割出特定顏色的森林植被區域，文中設計了可識別特定顏色類型的顏色識別神經網絡，其可將圖像中的像素分為指定顏色和其它顏色兩種類型，以達到從圖像中分割出指定顏色目標區域的目的。由于本文的概率神經網絡主要用于從圖像中分割出黃色裸露土地、綠色森林植被和藍色水域這三種類型的實景影像顏色，因此，需要設計三種結構相同的顏色識別概率神經網絡，以分別識別“黃色”、“綠色”、“藍色”和“其它顏色”四種類型的像素，而每一種網絡只識別兩種顏色的像素，即指定顏色（黃色、綠色、藍色中的一種）和其它顏色。每一種顏色識別網絡的輸入向量均為像素矢量V=[r，g，b，△rg，△rb，△gb，Rr，Gr，Br，△RG，△RB，△GB]，輸出向量是有2個元素的二值向量T（其中一個元素值為1，另一個元素值為O，元素1對應的向量中的序號表示顏色類型）。所以，文中的PNN的輸入層神經元個數為12，輸出層神經元個數為2。輸出向量所表示的顏色類型的規則為：[1；0]表示輸入像素的顏色是訓練顏色（黃色或綠色或藍色）；[0；1]表示輸入像素的顏色是其它顏色。

3.4 PNN神經網絡訓練

在針對3種顏色識別神經網絡進行訓練時，只需要從圖像上選擇訓練區域，并指定該區域的顏色類型（黃色或綠色或藍色或其它顏色），然后將該區域的像素存入到對應神經網絡的訓練樣本庫中即可。通過數據庫保存數據，可以進行下面的PNN神經網絡訓練任務。神經網絡訓練的目的，PNN神經網絡訓練是為了得到神經網絡的權值矩陣IW、LW，閾值向量b。利用顏色分割神經網絡訓練數據庫中的數據對三類單顏色分割網絡（針對黃色、綠色、藍色）進行訓練。需要的數據有灰度歸一化的平均值，差值，還有圖像像素RGB值。訓練時進行了聚類（將一幅圖像中的四種顏色中的每種所對應的所有像素，取平均作為一個訓練數據，以減少PNN隱含層神經元個數），減小數據量的運算，得到網絡的相關權陣和系數陣。

由于概率神經網絡的徑向基層中神經元的個數與輸入的樣本向量的個數相同，如果直接使用從多幅圖像中選擇的像素樣本數據進行網絡訓練，則會導致網絡的結構過于龐大、識別效率降低。所以，對訓練的樣本數據進行了聚類處理，以減少訓練樣本的數量。具體聚類的方法是：從一幅圖像中選擇的相同顏色的訓練像素，在進入訓練樣本庫之前，對這些像素的像素矢量取平均，將這個平均向量作為一個訓練樣本存入樣本庫。

圖5的這兩幅圖像是黃色神經網絡數據和與其不同顏色的神經網絡數據，用來進行PNN神經網絡訓練。（因黃色不屬于三原色，由綠色和紅色組成，所以特意篩選出紅色）。

代碼在附錄第三段：第一次聚類代碼。第二次聚類之后將聚類的文件進行保存，然后進行PNN神經網絡計算。將得到的權數矩陣和顏色閾值向量保存早txt文檔中。后面進行分割時候，提取文檔中的相關數據進行顏色判定分割。代碼在附錄第四段：第二次聚類代碼。

4 實驗結果分析

4.1 數據準備與平臺選擇

本次試驗所采用的數據是北京居民小區、市區街道和郊區實景圖像以及外面交通道路實際情況的500萬像素圖像進行分割，其中包括了各種天氣，光線，還有角度反光程度等等因素包括。平臺準備程序設計通過C#語言在VS2005平臺進行編寫，程序中包括了RGB閾值二值化分割圖像，PNN神經網絡二值化閾值分割兩種分割方法，用于進行效果對比。通過效果的對比可以更好的對分割效果進行分析與對比，從而通過最終對比效果來說明本文算法的優勢以及可行性。圖6為程序界面。

為了保證實驗的數據統一性以及可對比性，采用同一組圖像進行分割實驗。以下三幅影像是在不同光照條件下拍攝的，用于測試圖像分割效果的實驗數據。圖7在晴天效果下，陽光照射充分。圖8在陰天效果下，陽光昏暗。圖9在光照效果強烈下，陽光刺眼。

4.2 RGB固定閾值二值分割圖像

對于圖7～9的實驗圖像，基于固定閾值分割法的分割結果如圖10、11、12所示。

由此可見，效果并不是很理想，其中在陽光強烈的情況下摻雜了很多其他顏色在內，對森林植被的分割添加了很大的難度。在陽光昏暗時候反而使分割的顏色在二值化圖中與其他顏色混雜在一起難以區分。

4.3 PNN神經網絡的二值閾值分割圖像

對一幅彩色圖像中的每一個像素，提取其像素矢量V，并輸入到訓練好的概率神經網絡進行顏色識別，則根據網K絡的識別結果，可判斷該像素是否屬于指定的顏色類型，指定顏色的像素在分割后的二值圖像上的對應位置處的像素值為1，而其它顏色的對應位置處的像素值為0，從而將彩色圖像分割為二值圖像。即圖像（13）

首先我們先把這幅圖像的數據進行提取與分析對比上圖第一組圖像，由此可見，在陽光充足的情況下，PNN分割更好的區分光照下顏色混雜的問題，容易區分森林植被的圖形進行二次判斷。

對面第二組圖像在光線暗淡時候，固定閾值分割很難以分割出林木與道路的區別，而PNN分割通過5次的學習即可在二值化圖像中區分出少量植被，當學習量達到一定次數時即可準確分割，由此可見，不論天氣光線如何，PNN分割的優點和效果都遠遠大于固定閾值分割的效果（圖13～圖14）。

5 結語

隨著神經網絡算法的發展，還有對于圖像模型的分割算法的優化，將來在于算法計算速度上大大提高，還有數據提取方面更加完善，有更多的數據在數據庫中進行分析與解算。通過神經網絡算法進行圖像的顏色分割，在數據運算上比固定閾值分割的量要大，但是通過聚類之后的數據，進行分割時的運算量大大減少。對于難以區分的顏色和不同天氣下的圖像，有很好的分割效果。遠遠比固定閾值分割所產生的二值化圖像要明顯易于區分。但是神經網絡分割在前期時需要大量數據進行訓練才可有明顯的分割效果，所以前期數據的準備要充分。今后需要進一步開展的工作有以下幾點。

（1）該程序對于顏色提取方面還需要提取，因為有過多的顏色重復提取造成計算量的冗余和大量無用數據的堆積，影響以后的運算速度和算法的正確分析。

（2）對于顏色相同的景物時，應該加入對圖像形狀的分析提取，這樣對于分割出標志物的形狀更有幫助，可以極大的節約解算時間和分割的正確率。

（3）通過此次程序的編寫，發現如果把數據庫開放，接納更多的圖像數據，使每個使用者都可以把自己分析的圖像分割數據和實際數據進行上傳存放，以及數據的整理，可以得到更多的關于分割的數據結算，更好的進行數據分割，數據的大量積累可以使以后不需要更多的當時分析，只需要進行對比即可，就能很快解讀出當前植被區域。