基于活躍度的脈沖耦合神經網絡的蘋果腐爛分割方法

鄧晨曦，周國雄

（1.湖南環境生物職業技術學院，湖南 衡陽，421005；2.中南林業科技大學，湖南 長沙，410004）

1 研究意義

水果圖像識別在智慧農業和現代醫療健康領域具有重要意義。近年來，隨著我國水果產業的發展，越來越多的研究人員開始著手研究如何對水果進行快速有效的識別。為了滿足對水果進行大規模、高效率的識別需求，研究人員使用多種圖像識別算法對水果圖像進行檢測識別。[1]呂秋霞[2]等在對水果的紋理、顏色及形狀特征進行分析提取后，使用BP神經網絡作為分類器實現對水果圖像的檢測識別，平均識別準確率達到了95%以上。雖然取得了較為理想的識別結果，但需要人工去設計特征，并且存在網絡訓練不充分的問題。在多數識別任務中，實驗中所使用的圖像往往是在十分嚴格的環境中采集的，并沒有外界環境的干擾。因此，對圖像的有效分割能夠提高識別的準確度。

基于上述研究，本文以蘋果為研究對象，提出一種基于活躍度的脈沖耦合神經網絡圖像分割算法。

2 數據集構建

本文在某果園現場采集了不同形態、不同環境下的蘋果圖片，包括腐爛蘋果圖片1000張，未腐爛蘋果圖片1000張。采摘季節樹上腐爛蘋果占總量的比例平均為11%。本文所收集使用的蘋果圖像會因拍攝角度和距離的不同而存在尺寸大小的差異，所以需要對樣本中的圖片進行定位分割，根據蘋果在圖像中所處的位置對水果進行完整的分割,減少圖像中的背景干擾。

本文采集的部分蘋果圖片如圖1所示。

3 基于脈沖耦合神經網絡圖像分割算法對蘋果進行腐爛檢測

對蘋果進行腐爛檢測的關鍵是其腐爛的部位較為完整地從原圖中分割出來，對分割出來的部位做出標記，最后再跟原圖合并。圖像分割的過程不僅會受到光照產生的陰影的影響，還會受到蘋果某些部位（如蘋果果柄）的影響，造成無法準確、徹底地分割出腐爛的部位。圖像分割就是按照特定的原則，將圖像分為若干個相互獨立的區域,它是圖像處理中較為基礎的研究領域之一。目前有許多圖像分割方法，其中脈沖耦合神經網絡（PCNN）已在圖像分割、目標檢測、模式識別等眾多計算機視覺領域得到了較為廣泛的應用。[4-5]

3.1 脈沖耦合神經網絡圖像分割算法

脈沖耦合神經網絡建立在仿生視覺皮層神經元模型基礎上，它是一種二維單層結構，是以脈沖耦合神經元為基礎構成的陣列。每個神經元單位之間以特定權值作為相互連接的依據，構成可用非線性方程描述的非線性動力學系統。對于輸入的圖像數據中的每個像素點，脈沖耦合神經網絡中都有神經元與其對應。如果某個神經元被激發，將會激發與之相鄰或相近的連接神經元，具有這一特征的神經元稱為脈沖耦合神經元。構成PCNN神經元的功能單元為：反饋輸入域、連接輸入域和脈沖產生域。Mijkl是連接權值矩陣，用來表示反饋輸入域，W ijkl是連接權值矩陣，表示連接輸入域。為描述相鄰神經元之間的聯系，可以用突觸連接反饋輸入域的連接權值矩陣Mijkl和連接輸入域的連接權值矩陣W ijkl。反饋輸入域和連接輸入域兩大功能單元，是脈沖耦合神經網絡的重要部分，因此，在計算過程中必須進行多次迭代運算，運算量極大。反饋輸入域存在外部激勵函數S，用于控制加和的結果對神經元的刺激程度。通過上述分析，結合連接權值矩陣M ijkl和W ijkl，可得以下公式[6]：

式(1)與式(2)中，Fij是坐標為(i,j)的神經元的反饋輸入項；Lij是坐標為(i,j)的神經元的連接輸入項；Y ij是神經元的輸出；V F和V L為Fij、Lij的固有電勢；αF和αL分別為Fij和Lij的衰減時間常數；Mijkl和W ijkl為連接權值矩陣，用來表示網絡神經元之間相互影響程度，數值大小反映相鄰神經元對中心神經元影響的強弱。脈沖耦合神經元內部活動項由Mijkl和W ijkl按非線性相乘思想構成，β為突觸之間的連接強度系數，需要調整不同突觸間的強度系數，可得內部活動項公式：

當神經元內部活動項大于或不大于神經元動態門限θij[n]時，將產生不同的輸出時序脈沖序列Y。時序脈沖序列Y可用以下公式描述：

進行多次迭代運算，神經元動態門限呈不斷衰減狀態。當神經元處于激發狀態，所對應的動態門限θij[n]的值瞬間增大，在一段時間內，動態門限θij[n]的值又會迅速減小，可引入αθ表示衰減常數。如果該神經元被再次激發，則重復增大衰減過程。該過程可用公式（5）描述：

Vθ為閾值的幅度系數，Y ij[n]為時序脈沖序列，αθ為動態門限的時間衰減常數。由于脈沖耦合神經網絡由脈沖耦合神經元等基本單元構成，所以Mijkl和W ijkl通常是在局部的神經元間傳遞信息。θij[n]的初始值通常設置為0，但是也可以根據實際應用的需要而設為其他的值。PCNN有許多參數，通過對參數的調整可以改變其運行行為。比如連接強度系數，由于具有許多能保證自身性質的特性，所以對其進行調整會對圖像分割效果產生較大的影響。反饋輸入項和連接輸入項中的連接權值矩陣Mijkl和W ijkl，體現神經元之間相互的感知與影響力，進而對自動波的傳播速度造成影響，最終對圖像的分割結果造成影響。同時，參數的設置對PCNN的性能有較大的影響。

3.2 基于圖像活躍度的脈沖耦合神經網絡圖像分割算法

實際使用中，PCNN的性能依賴于所設置的網絡參數。為了解決這一問題，一些研究者使用遺傳算法，LMS準則自適應確定網絡參數，但依然存在以下兩個主要問題：（1）難以得到作為標準的期望值；（2）在得到較優的參數前，通常需要反復調整參數。因此，本文提出一種基于圖像活躍度（activity degree of picture，ADP）指標的PCNN圖像自動分割方法。在使用Stewart改進PCNN模型對圖像的分割后，提出對圖像復雜度進行量化的ADP指標。再利用統計實驗方法建立ADP指標與PCNN關鍵參數的對應關系，最終實現PCNN參數的自適應選擇。

PCNN模型改進后，僅有W ijkl，Eij[n]，β三個參數，以下是這些參數的確定方法。

（1）連接矩陣W ijkl定義鄰域神經元對中心神經元的影響程度，連接權值通常采用像素間歐氏距離平方的倒數，即

（2）閾值E[n]根據圖像自動獲取，且每個時刻相互獨立，Imax為鄰域像素最大灰度值，如式(7)所示。

（3）較小的耦合系數β表征PCNN模型區分圖像時具有較高的分辨率。對于越復雜的圖像，β則具有越高的分辨率。[7]本文提出一種基于“圖像活躍度”的自動設置方法來確定該參數。

定義圖像活躍度(ADP)為一個定量的值，表示圖像的復雜度。為便于對數據進行標準化處理，令ADP的最大值為1，表示圖像中各灰度級像素都有相同的概率出現，并且在空間位置上是均勻分布的；最小值為0，表示圖像中所有像素灰度值都是相同的，并且無紋理。找到一個有效描述區域像素灰度信息及灰度空間分布的方法，對于ADP的計算十分重要。本文在對多種圖像描述因子進行全面比較后，選擇了灰度共生矩陣來描述區域的圖像信息。用兩個位置像素的聯合概率密度定義的灰度共生矩陣，不僅描述了像素灰度信息，還描述了灰度空間分布信息。這些特點使得灰度共生矩陣可以有效度量圖像的復雜程度。在確定圖像區域描述方式后，以下是計算ADP的具體步驟[8-9]：

步驟1：計算區域圖像的灰度共生矩陣GLCMT，記錄最大灰度值max，最小灰度值min。

步驟2：利用式（8）計算灰度共生矩陣GLCMT的信息熵BE。其中Pφ,d表示完備共生矩陣，其元素Pφ,d(a,b)表示具有灰度級a,b的兩個像素在方向φ上間隔距離d出現的次數。計算時取距離d=1，方向分別取φ=0°，45°，90°，135°，得到四個矩陣，再將這四個矩陣對應元素相加，得到完備共生矩陣Pφ,d。

步驟3：計算該區域圖像在最小、最大灰度值[10-11]范圍內生成灰度共生矩陣GLCMT理論上的最大信息熵max(BE)，即GLCMT中所有元素相等時的信息熵，其計算方法與式（9）相同。

步驟4：計算區域ADP指標[12]，如式（9）所示。

在對實驗結果進行回歸分析后[13]，ADP與β對應關系可擬合為式（10）所示的高斯函數。

4 應用與結果分析

4.1 軟硬件環境搭建

本文所用數據集包括兩類共2000張圖片，通過置放嵌入式設備在果園現場采集。嵌入式設備的下位機由H264寬動態攝像頭和ARMCortexA9開發板構成，上位機由配置為英特爾i7-CPU，16GB運行內存，GTX1060-GPU的臺式電腦構成。同時，為了達到更好的應用效果，將所有的圖片大小設置為320×320px。本文的軟件環境為Fedoral 25 Desktop TLS操作系統，同時安裝具有高效、模塊化、速度快等優點的Caffe框架作為深度學習框架。

4.2 基于脈沖耦合神經網絡圖像分割算法的蘋果腐爛區域檢測結果與分析

采用傳統的脈沖耦合神經網絡圖像分割算法對蘋果腐爛區域的檢測結果如圖2所示。由于水果腐爛圖像較復雜，所以β應具有較高的分辨率，根據多次試驗對β值進行調整，設置β=0.10。結果證明：在使用傳統的脈沖耦合神經網絡圖像分割算法時，檢測的結果不僅把水果沒有腐爛的部位也包含進來了，還受到了水果的果柄和光照產生的陰影的干擾。

4.3 基于活躍度的脈沖耦合神經網絡圖像分割算法的蘋果腐爛區域檢測結果與分析

在采用基于活躍度的脈沖耦合神經網絡圖像分割算法對蘋果腐爛區域的檢測結果如圖3所示。ADP的計算結果從左到右依次為0.718，0.420，0.506，0.615。參數β根據式（3）依次計算得到。結果證明：在使用基于活躍度的脈沖耦合神經網絡圖像分割算法進行腐爛區域檢測時，可以準確有效地把水果腐爛區域檢測出來。

為了消除由于光照產生的陰影帶來的干擾，在進行圖像分割之前在HSV空間把圖像的亮度值進行了調整，陰影消除效果如圖4所示。結果證明：經過陰影消除后，有效降低了由于光照產生的陰影對腐爛區域檢測的干擾。

5 結論

基于現有的機器視覺技術，針對水果的腐爛檢測受到水果形狀、大小、顏色影響而提取困難的問題，以蘋果為研究對象，檢測蘋果腐爛區域以便后續進行自動化處理。不同水果腐爛的方式各不相同，采用基于活躍度的脈沖耦合神經網絡圖像分割算法對蘋果腐爛區域進行檢測，應用結果驗證了本文方法的有效性。