美國白蛾幼蟲網幕圖像識別算法及其視覺伺服系統研究*

魏晨，國樹金，荊茂焱，朱鴻瑞，趙穎

(聊城大學機械與汽車工程學院，山東聊城，252000)

0 引言

美國白蛾又名美國燈蛾，是一種世界性檢疫害蟲[1]。美國白蛾繁殖力強，危害300多種植物，對園林樹木造成嚴重的危害[2]。美國白蛾生長期分為卵、幼蟲、蛹、成蟲四個階段[3]，其在幼蟲期危害樹木最為嚴重，幼蟲聚集葉片上吐絲結網，形成網幕，取食寄主的葉肉[4]。美國白蛾整個幼蟲期間取食量極大，造成植物長勢衰弱，甚至整株死亡[5]。目前防治方法主要是人工大面積噴灑化學藥劑，該方法環境污染嚴重且對人體健康不利[6]。

目前，國內外專家學者在精準對靶噴藥方面做了許多研究。2022年蔣順勇等[7]提出了一種精確的農藥噴灑裝置。結合機器視覺和噴嘴對靶的原理，各類植保無人機也得到了大規模的應用[8]。目前國內外在利用精準對靶噴藥技術實現防治美國白蛾的研究相對較少。通過機器視覺技術獲取靶標位置信息，使用自動化設備實現精準對靶噴藥，可有效解決上述不足[9]。

1 系統工作基礎與工作流程

1.1 工作場景介紹

因噴藥對象植株巨大，因此將噴藥機器人設置在可升降的小車上，在小車驅動下沿植株做圓周運動，并在圓周的定點位置實施噴藥。在每一定點位置處，升降裝置根據植株具體高度升高到一定位置，手眼協調式執行機構在噴藥支架上首先做深度調節，到達合適深度距離時，開始按照既定路徑做局部運動，覆蓋一定的樹冠面積，然后手眼機構復位，通過升降裝置的進一步升高，重復上述作業使噴藥范圍覆蓋到樹頂。

1.2 空間四自由度智能噴藥機器人機械本體介紹

算法基于空間四自由度噴藥機器人，如圖1所示。機器人主要由行走機構、噴藥系統、四自由度空間移動系統及框架結構組成，圖為室內仿真試驗設計故省略了升降部分。

圖1 噴藥機器人結構示意圖

噴藥系統由攝像頭噴頭和深度傳感器組成，其中攝像頭和深度傳感器安裝在一個平面上，噴頭與之相隔180°安裝。空間四自由度移動機構由上下移動機構、左右移動機構、前后(深度)移動機構和相機噴頭旋轉運動機構組成。初始位置時攝像頭在前，噴頭在后，當檢測到進入最佳噴藥位置時，步進電機帶動旋轉機構旋轉180°使得噴頭在前，攝像頭在后，噴頭占據原攝像頭位置，開始噴藥。

1.3 系統工作流程說明

系統工作流程如下：(1)流程開始：機器復位，手眼執行機構回復在最下端開始位置，通過深度傳感器讀數調整與目標物的距離后，執行機構開始按照既定路線運動。(2)攝像頭獲取圖像：執行機構開始運動后，攝像頭自動開啟，拍下圖片存入存儲器中。(3)閾值處理：對圖像進行基于色差的改進閾值處理，并判斷圖像是否為合格的圖像，圖像不合格時，執行機構按既定路線到下一位置，繼續采集圖像。(4)卷積處理：當圖像判定為合格時，送入卷積神經網絡中進行精確處理，并標出輪廓框，為對靶噴藥做準備。(5)最佳噴藥位置判斷：判斷是否進入最佳噴藥位置，是則執行機構停止運動，旋轉機構旋轉180°，開始噴藥，不是則按既定路線運動到下一位置，重復過程(3)。(6)本次噴藥完成后，旋轉機構回旋180°，攝像頭回復原始位置，執行機構按既定路線運動到下一位置，重復過程(3)。(7)重復上述過程直至人工結束本次行程。系統工作流程如圖2所示。

圖2 美國白蛾幼蟲網幕自動化識別算法流程圖

2 圖像采集及預處理

2.1 圖像采集

識別所需圖片為2018年5月中上旬使用佳能600D數碼相機采集于聊城市市內道旁樹，采集1 327幅圖片作為識別樣本庫，RGB格式，圖片分辨率960 ppi×720 ppi。因樣本庫過大，本文選取樣本庫中4幅圖片作為代表以此說明識別過程，樣本圖片如圖3所示。

(a) 原始圖像1 (b) 原始圖像2

2.2 圖像預處理

2.2.1 圖像通道的確定

由于美國白蛾幼蟲網幕緊密分布在枝葉之中，本身具有一定的透光性，使用單一顏色通道很難將其識別，本例在G-B、R-B、G-R三個單通道的圖像上提取多個葉片、網幕及枝干的像素求平均值，提取結果如表1所示。

表1 像素值結果Tab. 1 Pixel value result dpi

比較結果發現在G-R的單通道圖像中，網幕與其余干擾的色差值最大，故選用G-R通道作為預處理的通道。

2.2.2 圖像的閾值化處理及優化

使用最大類間方差來確定G-R單通道的自適應閾值，其過程描述如下[10]。

1) 記錄圖像原始的G-R值。

2) 將此值按照升序順序排列，放入數組a[i]中(0

3) 按照式(1)計算閾值。

T=μ1Dmax+μ2Dmid

(1)

式中：T——閾值；

m——差值小于中值的像素數；

n——所有像素數。

按照式(2)對圖像進行閾值處理。得到二值化圖像，結果如圖4所示。

(2)

(a) 二值化圖像1 (b) 二值化圖像2

二值化圖像中仍含有大量白色噪音點，為了后期計算合格率的便利，這里再利用輪廓面積信息優化二值圖像。提取圖像中每一部分白色區域的外輪廓信息，提取每一部分的面積，將其放入一個數組中。設定一個閾值，并新建一個與原圖像大小相同的黑色三通道圖像，當某一部分面積大于閾值時，將該輪廓在黑色三通道圖像上的相同位置描繪出來，并用(255, 255, 255)進行泛洪填充；當輪廓面積小于閾值時，用(0, 0, 0)進行泛洪填充，如圖5所示。經試驗，面積閾值定為面積數組中的第10位的值。

(a) 優化后的二值圖像1 (b) 優化后的二值圖像2

從圖5可以看出，優化后的圖像中白色噪音點明顯減少，且每個輪廓內部不再具有空缺的黑色部分，為合格候選框的提取提供了便利。

2.3 圖片合格率的計算以及合格圖片判斷方法

將處理好的二值化圖像提取出白色區域所占的像素點與全部的像素點做比，會產生一個比率，該比率即為判斷圖像是否合格的合格率。

設定一個閾值，當圖像的合格率大于該閾值時，圖像即為合格圖像，否則即為不合格的圖像。經過試驗，閾值設為10%，可以很好的選擇出合格的網幕圖片，進行下一步處理。不合格的圖片則直接跳過，繼續采集下一幀。

3 改進卷積神經網絡

圖像的閾值化處理實時性高，但美國白蛾幼蟲網幕分布較為復雜，圖片中存在干擾信息多，單一使用該方法目標物的識別準確率較低，不能滿足精準噴藥的要求，針對這一問題，研究引入了卷積神經網絡。

3.1 卷積神經網絡建立

確定深度神經網絡整體架構：網絡第一層是卷積層，從截斷的正態分布中輸出隨機值為卷積核的權重賦初始值。卷積后得到的特征圖用Relu函數激活，減少計算量。網絡的第二層是池化層，對池化窗口中的數值取最大值[11]。為了防止數據過擬合，對池化后得到特征圖進行局部響應標準化處理(Local Response Normalization，LRN)。網絡的第三層是卷積層，該層的設置與第一層相同。網絡的第四層是池化層，池化前，用LRN函數對特征圖進行處理[12]。網絡前四層的整體作用是通過特征圖來提取出各種不同的圖像特征信息[13]。網絡的第五層和第六層是全連接層，這兩層輸出數據前用Relu函數進行激活[14]。試驗表明，兩層全連接層可以近似于其他任何形式函數的作用。網絡的最后一層也是全連接層，使用Softmax函數激活，輸出有幼蟲網幕和無幼蟲網幕的概率[15]。利用建立的數據集訓練CNN模型，每次訓練完一次后，將預測值與正確值相比較求取誤差，在網絡中反向傳播該誤差，逐層求導，更新權重，再多次訓練，不斷減小誤差，直至達到精度要求[16]。

3.2 不重合遍歷滑動窗口法實現輪廓提取

由于美國白蛾幼蟲網幕分布無規律，全圖像范圍內直接識別輸出結果差別較大不易控制，故采用了候選框和卷積神經網絡相結合的不重合遍歷滑動窗口法。

首先確定一個合適的滑動窗口尺寸，窗口以其寬和高為x軸和y軸方向上的步長在整幅圖像上滑動以提取候選框，候選框中的區域互不重疊；對每一候選框進行CNN處理，輸出該候選框內存在美國白蛾幼蟲網幕的概率(grade)，設置兩個閾值E和Q，當grade>E時，認為該候選框優秀，其中絕大部分區域是目標區域；當Q

3.3 定位過程與結果

設定概率高于90%為優秀，低于10%的為不合格，中間為合格，經過CNN模型多次篩選后得到多個優秀候選框。對所有優秀候選框進行融合處理：設置一個與原始圖像同等大小的純黑圖像，將所有優秀候選框的大小復制在該圖像上并設置其為白色，如圖6所示。

(a) 融合結果1 (b) 融合結果2

最后提取該白色輪廓框并將其繪制在原圖像上，如圖7所示，即可得到最終的處理結果。

該算法在不同的場景中，均可得到較為理想的結果，單幅圖片識別率、誤判率及處理時間如表2所示。其中識別率指被識別出的網幕面積與全部網幕面積的比值，誤判率指被劃定在目標區域中但不是網幕的面積與全部網幕面積的比值。可以看出識別率在95%以上，處理時間均小于200 ms。與單一使用圖像的閾值化處理方法(文獻[10])相比，該算法極大提高了目標的識別率。與單一使用改進的卷積神經網絡方法相比，該算法在完整處理一幅圖片的時間上雖有一點增加，但執行機構在行進過程中，實時采集的大多數圖片都僅需要圖像的閾值化處理這一步就已經提前被剔除了，能夠進入卷積神經網絡的都是帶有目標的圖片，因此系統整體的實時性實際得到了提高，同時進一步保證了卷積神經網絡的準確率。由于美國白蛾幼蟲網幕的分布極不規則，且呈現半透明狀態，因此識別過程中極易受到干擾，很難像識別有規則形狀和顏色的目標物(例如水果蔬菜等)那樣達到極高的識別率，經試驗95%以上的識別率能夠滿足工作需要。算法存在一定的誤判率，但由于網幕輪廓本身存在不規則性，噴藥操作會以一定的覆蓋面無差別的噴射過去，因此該誤判率不影響正常工作的進行。

(a) 定位結果1 (b) 定位結果2

表2 單幅圖片識別結果分析Tab. 2 Single image recognition results analysis

4 視覺伺服系統

基于美國白蛾幼蟲網幕識別結果，研究了一種智能噴藥機器人視覺伺服系統模型[17]，搭建了系統控制平臺，并提出了一種噴藥路徑規劃方法和最佳噴藥位置識別算法。

4.1 視覺伺服系統構建

視覺伺服控制系統模型，如圖8所示。由圖像采集模塊、超聲波測距模塊、控制器等構成信息獲取與處理系統，實時獲取噴藥目標的位置并判斷是否達到最佳噴藥位置。由多個電機控制器和步進電機構成運動控制系統，用于控制空間四自由度噴藥機器人執行機構按照規劃路徑運動。壓力流量控制系統用以控制作業過程中保持一定的噴藥壓力和流量。三者相互配合協同作業，共同完成噴藥任務。

圖8 視覺伺服系統模型

對于噴藥深度的控制，由于美國白蛾幼蟲網幕往往分布于枝葉表面且連續分布，因此可以假設執行機構運動過程中網幕與其之間的距離是固定的。經試驗，取深度值為1.5 m，此時鏡頭畸變較小，有效噴藥覆蓋面積較大，噴藥效果比較穩定，執行機構運動過程中與目標物保持這一距離不變。

4.2 執行機構路徑規劃和最佳噴藥位置判斷

考慮到重力導致液滴下垂等情況，噴藥覆蓋面的真實形狀不規則，取其內接正四邊形為有效噴藥區域，且假設在工作過程中該面積保持不變。噴藥范圍與攝像頭視野范圍關系如圖9所示，其中外框為攝像頭視野區域(其實際高度為b)，內框為有效噴藥區域，通過控制噴藥壓強，使得噴藥范圍略小于視野區域。在此基礎之上設計行走路徑以控制執行機構的運動，如圖10所示。其中，h表示每個掃描行之間的距離，由噴藥范圍的高度b決定，為避免漏噴選擇一定重合度，h=0.8b。

圖9 執行機構局部運動軌跡示意圖

以執行機構向左或向上運動為例，標記噴藥區域中右側和下側各1/4邊長區域，命名為區域A、B，如圖9斜線區域所示，設變量Right、Down初值為零，用來標記A、B是否有未噴藥的目標。執行結構向左運動時，滑動窗口定位的可疑目標將首先出現在視野的最左端，隨著機構的運動，當目標物進入A區域時，將Right設置為true，執行結構向上運動時，若可疑目標進入B區域時，將Down設置為true。若Right、Down中有一個為true，則判定目標進入最佳噴藥位置，系統停止運動，開始噴藥。

圖10 噴藥區域與攝像頭視野區域示意圖

5 試驗結果與分析

由于實際的樹木往往植株巨大枝葉復雜，試驗結果很難進行精確測量，因此，研究定制了仿真法國梧桐樹，仿真樹高1.5 m，樹冠寬1.5 m，模擬網幕使用絲綿拉伸形成。試驗選用格強子彈噴頭，噴頭的孔徑為1 mm，推薦工作壓力在0.35 MPa(3.5 kg)到2.5 MPa(25 kg)之間，噴藥系統上裝有壓力傳感器和流量傳感器，試驗樣機與仿真樹如圖11所示。試驗使用大恒工業攝像機DH-HV3151UC-ML，M1214-MP2定焦鏡頭，分辨率1 280 ppi×1 024 ppi，15 fps幀率，深度傳感器采用HC-SR04超聲波模塊。

(a) 試驗樣機

調整模擬網幕實際大小使網幕面積與視野面積比例不斷變化進行噴藥試驗，結果顯示算法完整處理一幀圖像所需時間不超過200 ms，滿足實際工作要求。試驗階段無漏噴，有一定過噴，過噴率P的計算公式如式(3)所示。

(3)

式中：WA——網幕面積；

VA——視野面積；

PA——實際噴藥面積。

VA值一定，WA/VA表現為不同值時的過噴率如表3所示。

表3 不同網幕面積下的過噴率Tab. 3 Overspray rate under different screen area

由表3可知，網幕面積較小時，過噴率較大，當WA/VA為1時，過噴率最小，網幕面積進一步增大時，過噴率略有一點增大，但總體變化較平穩。

在實際工作中噴藥經常會受到風力的影響，因此補充了風速試驗：設定高壓水泵提供1.5 MPa壓力，噴頭有效噴藥距離為1.5 m，利用小型無級變速風扇模擬自然環境下的風速，橫向正面吹動噴霧。用希瑪A7356分體式測風儀(測量誤差±1%)測量目標處的風速。經多次試驗噴藥系統的漂移率和覆蓋率見表4。表中漂移率指液滴受風后中心偏移的距離與噴藥直徑的比率，目標覆蓋率指受風后目標物上噴藥剩余覆蓋面與無風時理想噴藥覆蓋面的比率。

表4 不同風速下的漂移率與覆蓋率Tab. 4 Drift rate and coverage under different wind speeds

經分析可看出，噴藥系統的漂移率和覆蓋率與風的大小密切相關，風速較小時漂移率低覆蓋率高，反之較低。當風速大于2.1 m/s時，覆蓋率只有75%，故建議噴藥工作在風速較小的氣候環境下進行。

6 結論

本文以美國白蛾幼蟲網幕為靶標，提出一種基于圖像閾值化和卷積神經網絡相結合的美國白蛾幼蟲網幕自動化識別算法。首先使用最大類間方差法對圖像進行預處理，對圖像中是否有可疑目標進行初判。將存在可疑目標的合格圖像喂入卷積神經網絡并結合不重合滑動窗口法對圖像的框架進行識別。對美國白蛾幼蟲網幕噴藥機器人的工作場景和機器人本體進行了介紹。規劃了機器人噴藥執行機構的運動路徑，對最佳噴藥位置的判定方法進行了研究。

通過基于色差的閾值分割方法與改進卷積神經網絡(CNN)相結合的網幕圖像快速識別算法識別結果證明，單幅圖像的識別時間在200 ms左右，網幕識別的準確率在95%以上，滿足實際工作要求。該識別方法既減少了識別時間，又提高了圖像識別的準確率。識別時間的減少也使執行機構的運行更加連貫，機器執行過程中無漏噴現象。