基于顯著性檢測的害蟲圖像自動分割算法研究

陳向東 鄧江洪

(黃淮學院信息工程學院1，駐馬店 463000) (黃淮學院動畫學院2，駐馬店 463000)

為了響應農業現代化號召，提高勞動生產效率，目前更多的先進技術逐漸融入現代農業發展中，隨著圖像分割技術在圖像處理過程中廣泛地應用，使得對圖像分割結果質量的要求也愈加嚴格，例如圖像特征提取的精確度和目標識別的準確性，都取決于分割結果質量的好壞。如果能將圖像分割技術應用于當地農田的檢測之中，將農田進行不同程度不同種類的蟲害區劃分，那么就可以有選擇性的應用合適的病蟲害防治策略，使殺蟲劑的應用更加有效，將大大節省時間，提高勞動效率。

隨著計算機視覺技術的快速發展，害蟲圖像分割算法得到了廣泛的研究。傳統的害蟲圖像分割算法主要是基于樣本的顏色、紋理、幾何形態等特征進行分割。而在田間環境下，由于環境的復雜性，學者將圖像的分割算法都進行了改進，總的來說目前野外目標的分類的研究主要分為兩類：即基于形狀的分類和基于紋理的分類。在過往的研究中，已有許多研究人員對基于形狀特征的場景對象進行了分類[1,2]，而基于紋理特征的場景對象分類則主要應用于雜草種類的識別[3,4]，將紋理分類的方法應用在害蟲田間圖像分割中的研究很少。由于在野外害蟲的形態變化較大，目前較為常見的研究方法均是通過統計方法來實現的，但有研究表明，使用共現矩陣進行復雜紋理分析能夠得到較好的結果[5,6]。這是由于早期頻率分析方法缺乏局部性，而聯合空間、頻率的方法，本質上是局部的，具有優于統計方法的特點，能夠顯示空間域中局部區域的頻率內容，但該方法需要對單個目標進行分析因而限制了其在可變形態中的應用。近年來，深度學習技術在農業領域的應用也漸臻成熟，基于深度神經網絡算法對農作物病蟲害進行定位識別，使用K-means聚類方法執行圖像分割，對促進農田健康監測，確保農產品質量有著重要意義[7]。而針對圖像數據庫日漸龐大的問題，有研究提出將特征提取與深度學習相結合，利用Gabor濾波器組提取圖像特征，基于深度信念網絡實現圖像檢索[8]。因此，本研究采用基于紋理的分類方法，結合Gabor濾波器對害蟲影像進行低層次特征的提取，為實時選擇殺蟲劑提供技術支持。

目前在田間復雜背景下實現對蔬菜鱗翅目害蟲的有效分割是亟待解決的問題，也是提高害蟲圖像自動識別準確率的關鍵因素。為此，本研究首先建立了害蟲顯著性圖像的分割模型，從DCT系數中提取顏色、亮度、紋理和深度的特征，基于圖像塊之間存在空間距離，采用高斯模型加權來估計圖像顯著性，并設計了一種新的融合方法，用于組合最終害蟲圖像的特征圖，并進行分類檢測。

1 圖像分割模型構建

1.1 建立模型

傳統的圖像分割模型需要人機交互，要求人為選定興趣區域，并通過鼠標重復設置圖像前景區和背景區，在分割前景與背景顏色差異不明顯或背景復雜的樣本時，很難獲得滿意的分割效果，同時限制了其在可變形態中的應用，故本研究采用基于紋理的分類方法，結合Gabor濾波器對害蟲影像進行低層次特征的提取，為實時選擇殺蟲劑提供技術支持。模型的框架及具體實現步驟如圖1所示。首先，從輸入的立體圖像中提取顏色、亮度、紋理和深度特征，并基于這些特征，計算特征圖的特征對比度。然后設計了一種融合方法，將特征映射與顯著性映射相結合。此外，基于視覺敏銳度模型及HVS的特點來增強影像的顯著性[10-12]。

圖1 模型框架

1.2 特征提取

將輸入圖像分割成小塊圖像，然后采用DCT系數來表示每個圖像塊代表的特征。實驗結果表明，在視覺角度[0.14，0.21](°)的范圍內，所提出的切割尺寸模型可以獲得較好的特征提取效果。本文使用8×8(視角在[0.14，0.21]度范圍內)的斑塊尺寸進行顯著性計算。使用的圖像補丁大小也與jpeg壓縮圖像中的DCT塊大小相同。

輸入的RGB圖像由于其感知特性被轉換為YCBCR顏色空間。在YCBCR顏色空間中，Y分量代表亮度信息，CB和CR是兩個顏色對立的分量。對于DCT系數，DC系數表示圖像補丁中所有像素的平均能量[13]，AC系數表示圖像補丁的詳細頻率屬性。因此，本研究使用Y分量的DC系數表示圖像補丁的亮度特征為l=ydc(ydc是Y分量的DC系數)，用CB和CR分量的DC系數表示顏色特征為C1=cbdc和C2=crdc(cbdc和crdc是分別來自CB和CR組分的直流系數)。由于CR和CB組件主要包含顏色信息，在這兩個通道中包含的紋理信息很少，本文僅使用Y分量的系數來表示圖像補丁的紋理特征。在DCT塊中，大部分能量都包含在DCT塊左上角的前幾個低頻系數中，而DCT塊右下角的高頻系數幾乎沒有能量，故本文只使用少量的AC系數來表示圖像塊的紋理特征。

對于深度特征，假設深度圖為場景提供感知深度的信息。在立體顯示系統中，深度信息通常用顯示左視圖和右視圖圖像之間每個像素視差的視差圖來表示。對于顯示系統，視差通常以像素為單位來測量。本文感知深度信息的深度圖M是基于差異計算的，見式(1)。

(1)

式中：V為觀察者的視距/cm；d為眼間距離/cm；P為像素/ppi；W為顯示屏的寬度/cm；H為顯示屏的水平分辨率/dpi。

與顏色和亮度的特征提取相似，采用式(1)中計算的深度圖中斑塊的DC系數作為d=MDC(MDC表示深度圖M中圖像斑塊的DC系數)。提取輸入立體圖像的顏色、亮度、紋理和深度(L、C1、C2、T、D)的五個特征。

1.3 特征圖計算

(2)

(3)

式中：Bm為特征，Bm∈{L、C1、C2、D}；分母用于規范化特征對比度。

特征對比度計算模型為：

(4)

式中：t為AC系數，t∈{1，2，…，9}；B′為紋理特征；采用分母規范化特征對比度。

1.4 顯著性增強模型

實驗結果表明，中心偏差與圖像特征的分布無關，這意味著中心偏差獨立于圖像特征計算的顯著性。將CBM視為中心偏因子的擬合估計，類似于圖像特征的擬合估計圖Sf(顯著性圖)。考慮中心偏差因子的顯著性圖計算模型見式(5)。

S=γ1Sf+γ2Sc

(5)

式中：γ1和γ2是兩個用于對兩個組分進行加權的參數。考慮到圖像特征的顯著性映射Sf比中心偏壓因子的CBMSc更重要，將參數設置為γ1=0.7和γ2=0.3。

使用人類視覺敏感性模型來計算加權顯著性圖。對比靈敏度Cs(f，e)可由式(6)計算。

(6)

式中：f為空間頻率(C/P)；e=tan-1(d′/υ)為視網膜偏心率/°；C0為最小對比度閾值；α為空間頻率衰減常數；e2為半分辨率偏心率/°。擬合參數值設定為：α=0.106，e2=2.3，C0=1/64。υ是視距/cm；d是圖像像素(i0，j0)和(i，j)之間的空間距離/cm。

歸一化視覺靈敏度Cs(f，e)增強的最終顯著性圖可計算為：

S′=S×Cs(f,e)

(7)

2 材料與選擇

2.1 實驗樣本采集和預處理

本研究采用文獻[14]中提出的眼睛跟蹤數據庫來評估所提出模型的性能。該數據庫包括7種不同類型的害蟲圖像，粘蟲、馬鈴薯線蟲、水稻蠓、水稻葉蟲、紫菀葉蟬、粉虱及水稻象鼻蟲。數據庫中的圖像使用松下AG-3DA1 3D相機拍攝。為了避免景深(DOF)的不確定性，本次實驗考慮了立體三維視景環境中的調節和收斂問題。所用立體圖像的視差在舒適的觀察區域內。因此，實驗過程不會受到自由度的干擾。實驗樣本分布平均，每一種害蟲選取80張照片，照片格式均為1 200 px×1 000 px，且均在26英寸松下BT-3DL2550液晶屏上顯示，分辨率為1 920 ppi×1 200 ppi，刷新率為60 Hz。

2.2 驗證試驗

為了驗證本研究提出的分割算法，選擇粉虱幼蟲進行測試實驗，獲得了在正常光照條件下受粉虱感染的葉子的圖像(圖2a)。受害蟲影響的葉片圖像被轉換為Cb分量(圖2b)。圖2c可以看出，分割圖像包含不需要的細節，如葉子的靜脈和其他灰塵顆粒。為了提高檢測的準確性，需要消除這種噪聲。圖2d顯示了該過濾過程的結果。非常明顯的是，一部分重要噪聲仍然沒有過濾。為了提高實時檢測粉虱的準確性，再次進行去除殘留噪聲的過程。

圖2 在粉虱檢測算法在各個階段的輸出結果

從圖2e可以看出，由于重復去噪的過程，粉虱的尺寸減小。為了恢復其正常尺寸，對其圖像進行擴張。最后基于摩爾鄰域跟蹤算法和雅各布斯停止準則計算粉虱的總數。圖2f中可以觀察到已經能夠精確地檢測粉虱。

為了進一步驗證本文算法的準確性，選擇更亮的圖像重復上述步驟(圖3a)，收到了較好的檢測效果，如圖3b所示。從結果可以確定，即使在照射物體的外部光線中有變化，該算法也具有較高的檢測精度。

圖3 高強度光下拍攝的圖像

另一個需要考慮的重要方面是除了粉虱之外的害蟲的存在。為了測試這種情況，選擇受粉虱影響的葉子以及薊蟲(環繞)的圖像，如圖4所示。結果表明，薊蟲的存在對算法的結果沒有顯著影響。

圖4 除粉虱以外的昆蟲檢測結果

2.3 在線監測系統

本研究基于分割紋理方法提取害蟲目標，建立害蟲在線監測系統和監測識別平臺，為蟲害的監測與預警提供支持。將監測裝置置于作物壟間，與作物莖稈間距保持30 cm，以保證光照。合理設計安放誘蟲板、誘蟲背景板、太陽板，攝像頭與誘蟲板間距按照在25～30 cm之間，以便能更好地獲得害蟲在線監測圖像。經由客戶端實現對害蟲的誘捕、實時信息采集、害蟲種類識別。

3 討論

3.1 不同害蟲分割實驗結果

為了測試分割紋理方法的檢測性能，選擇具有可變形態的野外害蟲圖像。為了有效地區分害蟲和背景，通過實驗確定了具有四個尺度和六個方向的特定濾波器組。在實驗中，對害蟲進行分類。表1表明了本研究所提方法在各種害蟲形態學檢測過程中具有較高的精度，對害蟲圖像均能夠做到較精準的分割。且基于該算法能實現對田間害蟲的在線監測，在線監測系統日常使用中，晴天電量穩定在100%，遇雨天、連續陰天電量維持在80%及以上，可見該裝置能滿足田間害蟲長期在線監測的實際需求。

表1 算法對不同害蟲分割實驗結果

3.2 分割結果評價

將本文所建模型分割結果與線性組合的二維深度模型(模型1)[15]、二維顯著性檢測模型(模型2)[16]、S-segmentation算法的顯著性檢測模型(模型3)[17]進行的顯著性檢測模型對比分析。統計檢驗結果表明，本文所建模型的性能與現有模型差異顯著，其PLCC和AUC值大于其他兩個模型，KLD值小于其他兩個模型(表2)。可見，本研究所提出的模型具有更高的顯著性檢測精度。

表2 模型對比結果

4 結論

本研究提出了一種基于顯著性檢測的害蟲圖像自動分割算法。從DCT系數中提取顏色、亮度、紋理和深度的特征，以表示小圖像塊的能量。基于圖像塊之間存在空間距離，采用高斯模型加權來估計圖像顯著性，以考慮局部和全局對比度。并設計了一種新的融合方法，用于組合最終害蟲圖像的特征圖，研究結果表明，本文所提算法能夠提高害蟲圖像分割過程的精度和準確度，減少計算，具有較好的檢測性能，能實現田間害蟲的在線監測。將其應用于農田的檢測之中，將有利于蟲害區的劃分、不同類型殺蟲劑的實時選擇以及相適宜的病蟲害防治策略的制定，可大大節省時間提高勞動效率。