岳松儒 陸軍 曹冬林 周建華 金天澍



doi:10.15889/j.issn.1002-1302.2024.10.030
摘要:針對當前農田作物噴灑農藥后,植株表面出現的粘連霧滴影響沉積參數且未能及時檢測藥液分布情況的問題,搭建植株采集圖像裝置,提出改進的分水嶺算法分割粘連霧滴的方法來快速檢測霧滴沉積參數。首先采集了自然生長下噴灑藥液的3種不同類型的盆栽植株共9幅圖像,為了準確提取植株表面的霧滴,去除了復雜的背景區域;然后用R-G算法準確提取霧滴圖像和以形狀因子為0.9為閾值結合迭代腐蝕運算識別粘連霧滴;最后對強、弱粘連霧滴分別采用基于距離標記的改進分水嶺算法和腐蝕算法分割。結果表明,改進的基于距離標記的分水嶺算法分割粘連霧滴平均準確率達到92.31%,且對2~4個粘連霧滴的分割效果較好;本研究算法對比迭代全局閾值算法、大津算法的霧滴覆蓋率分別提高39.83%和35.36%;霧滴密度與ImageJ計數、腐蝕運算和傳統分水嶺算法平均相對誤差分別為4.03%、8.05%、7.09%;基于距離標記的改進分水嶺的變異系數對比傳統分水嶺算法和腐蝕算法的相對誤差分別為10.80%、18.78%。本研究的改進分水嶺算法提高了植株的沉積參數檢測準確率,可為執行農田植保作業時檢測霧滴分布情況提供參考。
關鍵詞:沉積參數;粘連霧滴;分水嶺算法;形狀因子;植保作業
中圖分類號:TP391.41? 文獻標志碼:A
文章編號:1002-1302(2024)10-0217-08
收稿日期:2023-05-29
基金項目:上海市新農科研究與改革實踐項目(編號:滬教委高[2020]42號);泰州市高層次創新創業人才(團隊)引進計劃(編號:泰人才辦[2021]1號);浙江省自然科學基金(編號:LY16C130008);上海電機學院科研啟動項目(編號:B1-0288-21-007-01-003)。
作者簡介:岳松儒(1997—),男,四川巴中人,碩士研究生,主要從事噴霧裝備視覺檢測的研究。E-mail: yuesongru@163.com。
通信作者:陸? 軍,廣西南寧人,博士,副教授,主要從事農機裝備與技術研究。E-mail: lujun@sdju.edu.cn。
植保作業時噴霧施藥是一個動態過程,藥液霧滴顆粒群會在作物葉片表面發生碰撞、凝并、破碎、沉積等動力學事件,其中多個顆粒液滴的疊加行為直接影響其在作物表面的沉積、持留、鋪展和滲透等,進而影響和決定施藥效果[1]。研究農作物葉片上的粘連霧滴分割,進一步計算霧滴沉積密度、覆蓋率、變異系數對于評價藥液分布狀態、優化噴施技術來說具有重要的指導作用[2]。目前,常用的檢測方法有水敏試紙和熒光試劑的直接檢測方法、作業單個葉片的霧滴覆蓋率間接檢測方法和深度學習檢測方法。Martin等將熒光試劑與水混合,在田間棉花上進行噴灑試驗,將棉花葉片發生的熒光反應圖像傳輸至計算機進行處理,實現檢測葉片上的沉積參數[3]。Wang等將表面增強拉曼光譜應用在水果和果汁中農藥檢測方面,用于檢測和定量不同基質中的多種農藥,與傳統色譜方法相比,具有高靈敏度和穩定性[4]??簼嵉柔槍δ壳八艏垐D像處理軟件缺少對水敏紙圖像的旋轉等預處理操作,基于ImagePy開發了一種可以快速準確檢測霧滴尺寸及分布特性的水敏紙圖像處理軟件,該軟件可測量霧滴尺寸、分布、總霧滴數和霧滴密度等霧滴參數,并用DepositScan軟件計數比較,可以提高霧滴的提取率[5]。
曹軍琳等采用超紅算子與最大類間方差法(OTSU)相結合,模擬田間噴霧對葉片直接進行噴灑,截取了葉片僅含有藥液的一部分區域圖像,研究了葉片表面形態特征等因素對霧滴覆蓋率的影響[6]。李睿等采用閾值邊緣提取和HSV顏色模型相結合的算法,對完整的辣椒幼苗期葉片模擬噴霧后進行研究,能較好地反映出整個葉面積的霧滴覆蓋率情況[7]。馬凱等以熒光圖像的方法為基礎,設計了一種不會破壞植株的便攜式霧滴葉面沉積檢測系統,對整株植物檢測了霧滴沉積率和覆蓋密度[8]。Zheng等提出了一種基于激光雷達反射原理的測量新方法,驗證的數據集足夠多,但計算沉積參數的時間比較短,對液滴分布檢測有顯著效果[9]。Wang等采用了一種新型電容器傳感器系統,用于在施用除草劑后立即測量噴霧沉積物,測試了不同配方和不同模式類型噴嘴的除草劑對該系統電容的影響,結果表明,沉積質量和除草劑溶液與傳感器電容的數字電壓信號呈線性關系[10]。Lü等提出了運用紅外熱成像原理檢測液滴沉積參數,建立了帶有機載噴霧系統的無人機模擬平臺,并開發了處理水敏紙的分析程序液滴分析;研究結果證明紅外熱成像在空中噴灑領域評估液滴沉降的實用性[11]。Machado等為準確預測農藥噴灑覆蓋預期作物區域的評估方法,提出了基于智能手機的DropLeaf應用程序,分別對水敏試紙和真實葉片進行試驗[12]。Yang等由于農藥在農田作物表面噴灑的液滴粘連影響沉積參數檢測,用水代替農藥噴灑,對采集圖像利用深度學習網絡的黏性液滴識別,并基于一種卷積神經網絡的凹點匹配分割算法來分割黏附液滴,結果表明,該方法檢測液滴覆蓋率和沉積密度均提高了至少3%的正確率[13]。
目前研究完整的植株和單雙植株以及多植株的霧滴沉積參數的論文較少,本研究運用直接檢測方法,用配制的溶液代替農藥進行噴灑,采集圖像并提取含有藥液的二值圖像。檢測單植株、雙植株和多植株雞毛菜表面的霧滴沉積參數。若未對霧滴區域出現的粘連情況進行分割,直接獲得的霧滴數以及相關聯的沉積參數都會導致數值結果不精確[14],本研究提出改進分水嶺算法,并與其他算法對分割粘連霧滴的效果進行對比,并用霧滴覆蓋率、霧滴沉積密度、變異系數的檢測結果進行驗證。
1? 材料與方法
1.1? 材料及設備
本試驗以自種植盆栽雞毛菜葉片(生長20 d)為采集對象,試驗時間為2023年5月12—14日,試驗地點在上海電機學院機械樓,用可食用的誘惑紅染色劑(上海染料研究所有限公司)和水配制成質量分數為3%的誘惑紅溶液代替農藥[15]。通過電動噴霧機(藍天植保器械廠,ZS型,工作壓力0.2~0.6 MPa,額定電壓12 V,自帶霧化噴頭的霧化角90°)模擬作業進行試驗。采集裝置主要包括背負式電動噴霧機、智能手機(攝像頭為 1 200 萬像素)、手機固定支架、智能手機、背景板、滑軌、植株、噴霧機。試驗采集裝置如圖1所示。
1.2? 試驗方法
預先試驗調節噴霧機距植株上方40 cm的噴灑高度并固定高度不變,左側以智能手機采集圖像,推動滑軌至右側進行噴灑作業,智能手機可上下自由調節選擇最好的拍攝角度便于提取整幅植株,采集圖像利用標定板矯正鏡頭畸變。對采集的圖像用MATLAB R2021b軟件進行圖像處理,可調用相關的函數進行預處理、粘連分割、統計霧滴參數。
1.3? 植株樣本
用“1.1”節中的裝置分別對單植株、雙植株和多植株進行模擬噴霧噴灑并采集盆栽植株樣本圖像,將上述的植株分為3組,每組都采集3幅圖像,共9幅圖像,編號依次為a~i。采集的圖像具體如圖2所示。
1.4? 葉片圖像處理
對葉片圖像經預處理、去噪、二值化、形態學運算提取霧滴區域;基于形狀因子判別單獨霧滴和粘連霧滴,粘連霧滴每迭代一次判斷比較上次迭代腐蝕后是否新增單獨霧滴,不滿足條件的先邊緣檢測凹點,再進行距離變換標記的改進分水嶺算法分割得到霧滴沉積參數。系統流程如圖3所示。
1.4.1? 預處理
由“2.1”節中霧滴沉積參數公式可知,能否準確體現霧滴的噴灑效果,關鍵在于準確提取葉片霧滴區域以及去除含葉片表面之外的背景圖像。圖2中9組圖像均含有復雜的背景信息,提取單植株a圖像的RGB三通道顏色分量如圖4所示。
1.4.2? 葉片提取
由圖4可知,R分量較多,在提取植株時盆栽中的泥土顏色與藥液顏色較接近,加大了提取難度。首要步驟須去除除去葉片外的背景,用圖像處理軟件(Photoshop)將RGB圖像a去除背景,然后轉換為二值圖像就可得到圖像b,用
MATLAB軟件采用大津算法和形態學運算可以達
到理想的提取效果;得到去除背景的RGB圖像c,整個植株中枝干含有藥液會直接影響霧滴的個數與沉積參數,去除枝干以及不必要的細小葉片對于后續的霧滴提取是非常有必要的,最終得到僅含葉片的圖像d,具體如圖5 所示。
1.4.3? 去噪
為實現霧滴圖像的準確提取和分割效果,需消除圖像在傳輸過程中的噪聲干擾,對葉片圖像采用模板為3×3的高斯函數去除霧滴圖像噪聲,增強霧滴圖像細節信息。
1.4.4? 霧滴區域提取
根據RGB圖像的三通道顏色分量對單植株a圖像分別運用2G-R-B、2R-G-B、R-G算法進行灰度化操作[16]。觀察3幅灰度圖像,超綠算法未能將霧滴與葉片分開,超紅算法仍顯示部分葉片區域,而R-G算法對比前2種算法能較好地將霧滴與葉片完全分開以及能更準確地提取完整的霧滴圖像。對單植株a的灰度圖像1用R分量減去G分量得到圖像2,圖像2經形態學運算得到葉片二值圖像3,圖像2再與圖像3“異或”得到圖像4,葉片邊界與圖像4“位與”得到去除毛刺的圖像5,填充空洞得到圖像6,再將圖像6與邊界圖像“異或”可得到霧滴圖像7。霧滴區域提取過程如圖6所示。
1.5? 粘連霧滴判別
從“1.4.4”節提取的霧滴圖像中可以觀察到葉片區域部分出現2個及多個霧滴的粘連情況,為了準確得到葉片上的霧滴個數,需要對粘連霧滴進行分割。霧滴形狀因子的閾值可以判別霧滴是否粘連,計算公式如式(1)所示。
S0=4πSC2。(1)
式中:S0為霧滴形狀因子;S為連通區域霧滴面積,像素;C為連通區域霧滴周長,像素。
1.5.1? 粘連霧滴提取方法
圖6中f圖像粘連霧滴的形態不一,粘連的類型和個數也不盡相同,從9幅圖像中選取2幅霧滴二值圖像截取10個強弱粘連類型霧滴,如圖7所示。由公式(1)計算,圖7-a中編號為1~6的為強粘連霧滴,7為弱粘連霧滴,其形狀因子分別為0.452、0.342、0.273、0.271、0.356、0.370、0.533;圖7-b中,8~10為嚴重粘連霧滴,其形狀因子分別為0.155、0.794、0.885。對于強粘連霧滴以及嚴重粘連霧滴未采用算法分割會嚴重影響沉積參數結果。僅依賴于形狀因子參數獲取完全分離的單獨霧滴與粘連霧滴是無法實現的[17],本研究運用形狀因子結合迭代腐蝕處理,可以有效地提取單獨霧滴和粘連霧滴。
1.5.2? 形狀因子分布圖
圖7中嚴重強粘連霧滴的形狀因子高達0.885,經過多次預試驗選擇形狀因子0.9為閾值結合迭代腐蝕運算,在判斷前分別選擇單獨霧滴和粘連霧滴各200個,統計各自的形狀因子分布如圖8所示。
經過多次提取試驗,統計各霧滴形狀因子分布規律,觀察提取出單獨霧滴的形狀因子以0.9為閾值,對于判斷單獨霧滴大于0.9提取準確率可達到93%,對于粘連霧滴小于等于0.9提取準確率可達到95%,單獨霧滴的形態不規則使得形狀因子值大致分布在0.85~1.47之間。
2? 結果與分析
2.1? 霧滴沉積特性參數表示方法
2.1.1? 霧滴覆蓋率計算
霧滴覆蓋率表示作業時植株葉面上霧滴面積與葉面總面積的比值,具體如式(2)所示。
C=S1S2×100%。(2)
式中:C為霧滴覆蓋率;S1為葉面上藥液面積,S2為葉面總面積,用像素表示。在提取葉面和霧滴二值圖后,通過式(2)可快速了解葉面霧滴覆蓋率。
2.1.2? 霧滴沉積密度計算
霧滴沉積密度表示葉片上接收的藥液霧滴總數,具體如式(3)所示。
I=NM。(3)
式中:I為霧滴沉積密度,個/cm2;N為藥液霧滴總數,個;M為葉片實際面積,cm2。
2.1.3? 霧滴變異系數計算
變異系數表示葉片霧滴參數的分布均勻性,變異系數越小則分布均勻性越好,計算方法如式(4)、式(5)所示。
CV=σμ;(4)
σ=∑ni=1(μi-μ)2n-1。(5)
式中:CV為變異系數,無量綱;σ為標準差,表示各葉片的霧滴數,個;μ為各葉片平均霧滴數,個;μi為單位面積的霧滴數,個;μ為單位面積平均霧滴數;n為葉片總數。
2.2? 霧滴分割結果
運用不同的算法對粘連霧滴進行分割,改進的分水嶺算法流程如圖9所示。圖10呈現出改進的算法對比傳統分水嶺算法和腐蝕算法避免了過分割和有效地保留原霧滴的輪廓特征信息。圖11呈現的是分別對2~4個強粘連程度的霧滴進行分割,且分割效果較好。
用ImageJ軟件對粘連霧滴的分割結果進行標記計數,9幅圖像中按照編號統計未被分割或難以分割的霧滴數分別為2、4、6、8、18、13、53、70、83個,分別占霧滴總數的4.08%、5.19%、6.97%、6.89%、11.32%、8.44%、7.61%、8.73%、9.92%,分割平均準確率達到92.32%。
2.3? 霧滴覆蓋率算法對比
將圖像a~i編號為1~9,9組的原灰度圖像分別用本研究算法、大津算法和迭代全局閾值法提取霧滴的二值圖像。使用MATLAB R2021b分別計算葉片表面的霧滴像素面積和葉片的像素面積,最后取兩者的比值即可得到霧滴覆蓋率。由表1可以看出,本研究算法的覆蓋率明顯高于其他2種算法,相對誤差平均值分別為39.83%和35.36%。相對誤差的計算公式如式(6)所示。
E=|P-G|P。(6)
式中:E表示相對誤差(%);G表示與改進算法對比的數值;P表示改進的算法數值。
2.4? 霧滴沉積密度
霧滴類型判斷中粘連霧滴分別運用改進的分水嶺算法、傳統的分水嶺算法、腐蝕算法分割。將改
進的算法與ImageJ軟件統計分割結束后的霧滴個數進行比較[18-19],霧滴沉積密度結果如表2所示。
由表2可知,后2種算法統計的沉積密度低于改進分水嶺算法的沉積密度,主要原因在于出現了圖7中較多的強粘連霧滴以及多個粘連霧滴。對于生長的植株噴灑藥液過程中由于霧滴本身的重力、葉片表面復雜的脈絡結構以及較弱的吸附力和生長的方向對藥液的分布都有影響。傳統分水嶺算法由于欠分割和未能匹配到正確的分割位置,腐蝕算法雖能有效分割但以減少霧滴數為代價,結果使得分割霧滴個數少于改進算法,按照式(3)可知結果都會偏小。改進算法的分割效果與ImageJ計數、腐蝕運算和傳統分水嶺算法的平均相對誤差分別為4.03%、8.05%、7.09%。
2.5? 霧滴數變異系數
按單株、雙株、多株3類圖像進行試驗,對改進的分水嶺算法、腐蝕運算以及傳統的分水嶺算法計算各自霧滴數變異系數。不同的類型圖像混合計算該參數會嚴重影響本身的分布結果,其中1號圖像的變異系數數值大于7,隨著霧滴個數增加,9號圖像該參數數值達到0.4附近。故對3類圖像分開統計其平均變異系數結果,由公式(4)、公式(5)、公式(6)分別得到變異系數和相對誤差,結果分別如表3、圖12所示。
各算法變異系數平均值分別為0.213、0.236、0.173,與改進算法相比傳統分水嶺算法和腐蝕運算的相對誤差分別為10.80%和18.78%;研究改進分水嶺算法的變異系數相對傳統分水嶺算法改善了均勻性,平均值越小,表明霧滴的分布均勻性越好。
3? 結論
針對目前農田作物噴灑農藥后,植株表面出現的粘連霧滴影響沉積參數的結果,且未有較好的精準識別粘連霧滴的方法進行及時檢測藥液分布情
況的問題,改進的基于距離標記的分水嶺算法分割粘連霧滴平均準確率達到92.31%;本研究算法與迭代全局閾值算法和大津算法相比較,霧滴覆蓋率分別提高了39.83%和35.36%;霧滴密度與ImageJ計數、腐蝕運算和傳統分水嶺算法平均相對誤差分別為4.03%、8.05%、7.09%;變異系數對比傳統分水嶺算法和腐蝕算法的相對誤差為10.80%、18.78%;依據形狀因子判斷單獨霧滴的準確率可達93%,粘連霧滴準確率可達95%。
為了在后期研究中對多種農作物試驗中的沉積參數進行檢測,需要確保在作業后能夠立即檢測藥液的分布情況,繼續優化算法并開發相應的APP應用于農業檢測中。
參考文獻:
[1]陸? 軍. 噴霧藥液在靶標植株上的沉積與潤濕研究[D]. 鎮江:江蘇大學,2010.
[2]Musiu E M,Qi L J,Wu Y L. Spray deposition and distribution on the targets and losses to the ground as affected by application volume rate,airflow rate and target position[J]. Crop Protection,2019,116:170-180.
[3]Martin D E,Latheef M A. Aerial electrostatic spray deposition and canopy penetration in cotton[J]. Journal of Electrostatics,2017,90:38-44.
[4]Wang S Y,Shi X C,Zhu G Y,et al. Application of surface-enhanced Raman spectroscopy using silver and gold nanoparticles for the detection of pesticides in fruit and fruit juice[J]. Trends in Food Science & Technology,2021,116:583-602.
[5]亢? 潔,劉? 港,郭國法. 水敏紙圖像預處理及農藥液滴參數測量[J]. 江蘇農業科學,2022,50(12):220-228.
[6]曹軍琳,祁力鈞,楊知倫,等. 基于圖像處理的霧滴沉積分布試驗研究[J]. 中國農業大學學報,2019,24(1):130-137.
[7]李? 睿,張? 偉,王訢丞,等. 葉面霧滴沉積分布直接檢測算法研究[J]. 中國農機化學報,2020,41(3):74-78.
[8]馬? 凱,張宗宇,董曉婭,等. 便攜式霧滴沉積檢測系統的設計與試驗[J]. 農機化研究,2023,45(5):49-54.
[9]Zheng Y J,Yang S H,Lan Y B,et al. A novel detection method of spray droplet distribution based on LIDARs[J]. International Journal of Agricultural and Biological Engineering,2017,10(4):54-65.
[10]Wang P,Yu W,Ou M X,et al. Monitoring of the pesticide droplet deposition with a novel capacitance sensor[J]. Sensors,2019,19(3):537.
[11]Lü M Q,Xiao S P,Tang Y,et al. Influence of UAV flight speed on droplet deposition characteristics with the application of infrared thermal imaging[J]. International Journal of Agricultural and Biological Engineering,2019,12(3):10-17.
[12]Machado B B,Spadon G,Arruda M S,et al. A smartphone application to measure the quality of pest control spraying machines via image analysis[C]//Proceedings of the 33rd Annual ACM Symposium on Applied Computing.Pau France.ACM,2018:956-963.
[13]Yang W,Li X Z,Li M Z,et al. Droplet deposition characteristics detection method based on deep learning[J]. SSRN Electronic Journal,2022(11):107038.
[14]郭? 娜,劉思瑤,須? 暉,等. 霧滴沉積特性參數的圖像檢測算法改進[J]. 農業工程學報,2018,34(17):176-182.
[15]石? 鑫,高賽超,楊代斌,等. 農藥沉積利用率噴霧指示劑誘惑紅的酶標儀測定方法[J]. 現代農藥,2021,20(1):35-37.
[16]劉立波,程曉龍,戴建國,等. 基于邏輯回歸算法的復雜背景棉田冠層圖像自適應閾值分割[J]. 農業工程學報,2017,33(12):201-208.
[17]吳亞壘,祁力鈞,張? 亞,等. 霧滴圖像粘連特征改進判斷及分離計數方法優化[J]. 農業機械學報,2017,48(增刊1):220-227.
[18]Schroeder A B,Dobson E T A,Rueden C T,et al. The ImageJ ecosystem:open-source software for image visualization,processing,and analysis[J]. Protein Science,2021,30(1):234-249.
[19]Mahmoudzadeh R,Salabati M,Hsu J,et al. Agreement of optical coherence tomography thickness measurements between Heidelberg Eye Explorer and ImageJ software[J]. Canadian Journal of Ophthalmology,2022,57(5):344-349.