基于計算機圖像處理的自動對靶精準施藥平臺研究

李 麗,李 慧

(焦作師范高等專科學校 a.計算機與信息工程學院;b.理工學院,河南 焦作 454001)

0 引言

隨著自動化控制技術的發展,我國從傳統農業正在向精準化、現代化農業發展。精準化是現在農業發展的要求,也是農業發展的熱詞。對于果蔬而言,減少農業污染是不可或缺的環節。基于計算機圖像處理的自動對靶精準施藥平臺在自動獲取目標作物圖像的基礎上,通過處理、識別和定位實現了精準施藥。

1 自動對靶精準施藥平臺視覺模型

本文主要研究內容是采用圖像處理進行自動對靶精準施藥,主要涉及施藥平臺、工業相機及作物目標等多個對象。為了進行施藥過程的自動對靶施藥處理,則需要根據實際的情況,建立各個目標對象的坐標,搭建自動對靶精準施藥平臺視覺模型,如圖1所示。

1.噴藥裝置 2.噴頭垂直移動裝置 3.作物目標 4.作物目標 5.農藥泵 6.電動機可變驅動器 7.PC機 8.工業相機

在自動對靶精準施藥平臺系統中,主要部分為基坐標系(固定噴頭的基座),其與世界坐標系重合,用來控制施藥平臺的工具坐標系。作物目標所在的坐標系為成像坐標系。自動對靶精準施藥平臺坐標示意如圖2所示。

圖2 自動對靶精準施藥平臺坐標

1)世界和工業相機兩坐標系之間的轉換。世界和工業相機兩坐標系分別為{Ow}和{Oc},兩者之間的坐標計算需要通過坐標系轉換來實現。工業相機坐標在世界坐標系中的轉換可以用旋轉矩陣R來實現,即

(1)

已知工業相機坐標在世界坐標系的位置為Oc(Xw,Yw,Zw),那么工業相機到世界兩個坐標系之間的位姿可用4×4表示,即

(2)

若知工業相機坐標系中一點M(XM_C,YM_C,ZM_C),那么M點坐標表達式為

(3)

根據式(3)可以將工業相機的作物目標坐標轉換到世界坐標系的空間坐標中。

2)目標成像和工業相機兩坐標系之間的轉換,如圖3所示。圖3中,以O點為工業相機坐標系原點,點Q為三維空間坐標系中一點,該點投射到圖像坐標系中的點為q(x,y,z)。圖像平面到xoy平面的距離,即相機的焦距f。

圖3 目標成像和工業相機坐標轉換示意圖

根據三角相似定理可以得出:x/f=X/Z,y/f=Y/Z。

Q點投射到q(x,y,z)的矩陣關系為

Q=M·q-1

(4)

通過映射關系和矩陣求解,可以實現目標成像和工業相機兩坐標系之間的轉換。

3)目標成像和像素兩坐標系之間的轉換。工業相機拍攝到的圖像,都有對應到實際的像素點,在實際的坐標求過程中需要將像素坐標轉換為圖像坐標,如圖4所示。

圖4 目標成像和像素兩坐標系之間的轉換

圖4中,O1和O分別為成像坐標系和像素坐標原點,而O1在像素坐標系中的坐標為(u0,v0),其在x、y上的投影距離為dx和dy,則

(5)

通過前面各個坐標系之間的轉換,聯立后求解可以得出

(6)

其中,u,v為像素的坐標系;fx、fy、u0、v0為工業相機內部參數;T為相機在三維坐標系位置;XW、YW、ZW為目標物在三維坐標系的位置。

2 自動對靶精準施藥平臺圖像處理與相機標定

2.1 圖像處理技術

圖像處理技術將相機、PC機或者嵌入式等設備結合起來,對其拍攝到的圖像信息,利用圖像增強、濾波等一系列的流程進行處理和判斷。

在實際的圖像處理過程中,圖像一般會被處理器看成是一個矩陣進行處理。假設需要處理的圖像為f(x,y),那么首先需要得到M×N個數據,然后根據陣元量化后得到一個新的矩陣f(x,y),用來替換之前的矩陣。圖像矩陣替換的過程可表示為

→[f(i,j)]M×N→[fl(i,j)]M×N

(7)

其中,fl(i,j)為已完成陣元量化的圖像像素點。

自動對靶精準施藥平臺圖像處理的主要流程包括以下幾點:

1)圖像濾波。利用高斯、均值濾波對圖像存在的噪聲進行降噪處理,從而提高圖像質量,為后期處理做準備。

2)圖像增強。利用灰度直方圖凸顯出圖像中像素梯度,可以幫助邊緣檢測的有效進行。

3)圖像檢測。利用圖像梯度值,利用Log圖像處理算法,確定圖像的邊緣。

4)圖像定位。根據得到的圖像邊緣信息,對目標坐標進行求解。

通過以上步驟,可以實現自動對靶精準施藥平臺獲取目標作物的位置信息。

2.2 相機標定

為了準確實現各個坐標系之間的坐標轉換,進行了相機的標定。在PC機上產生5×7的棋盤格,每個方格尺寸為3cm×3cm,如圖5(a)所示。在實驗中時,采用高分別率打印機1:1打印出來,然后從不同角度拍攝棋盤方格圖片,采集到的圖片為10張,如圖5(b)和圖5(c)所示。其中,兩幅不同位姿的圖片。

圖5 相機標定示意圖

采用視覺處理算法對相機標定進行處理,流程如圖6所示。通過張正友相機標定算法進行結算,可以分別得到相機內部參數R1和畸變參數的矩陣R2為

(8)

(9)

圖6 相機標定流程圖

3 基于極限學習機的自動對靶精準施藥決策

3.1 基于學習機神經網絡原理

為了實現施藥平臺的自動對靶精準施藥,采用極限學習機實現目標作物的識別和定位。基于極限學習機的自動對靶施藥包括圖像樣本獲取和施藥噴頭移動決策兩部分。其中,前者完成圖片信息的處理和特征選擇,后者則由訓練和分類決策組成。

極限學習機采用單隱含層前饋神經網絡算法,能夠極大程度地減少機器學習時間。單隱含層前饋神經網絡是一種重要的計算機圖像處理算法,包括輸入、隱藏和輸出3層,其神經網絡結構如圖7所示。

圖7 極限學習機神經網絡架構圖

圖7中,Wi,j為輸入陣列;b為隱含層陣列;βi,j為輸出陣列。

假設自動對靶施藥平臺采集到多幅圖像樣本,輸入圖像陣列和輸出圖像陣列為X和Y,則

(10)

假定極限學習機神經網絡中間隱藏層的激勵函數為g(x),則輸出層函數為

T=[ti1,ti2,…tim]T∈Rm

(11)

單隱含層神經網絡表達式為

(12)

簡化后可得

Hβ=T′

(13)

式(13)中,H為隱藏層矩陣,β為輸出權值矩陣,T為輸出矩陣。

得到了輸入的圖像樣本,則可以利用神經網絡進行學習和訓練,W和b在訓練過程中隨機產生。整個網絡層的輸出權值矩陣β的計算公式為

minβ=‖Hβ-T′‖

(16)

其解為

(17)

其中,H+為輸出矩陣β的廣義逆矩陣。

利用樣本進行學習和訓練后,便可以利用這個結果去識別目標作物,并對其坐標進行計算,然后移動噴頭方向進行自動噴藥。

3.2 基于極限學習機的噴頭移動決策

在自動對靶精準施藥系統中,首先利用極限學習機算法對作物目標樣本信息進行學習和訓練,提取特征值及其權值,組成作物目標信息樣本識別器;然后利用得到的識別器,對實時采集到的作物目標進行判斷和定位,最后移動噴頭進行噴藥。噴頭移動決策如圖8所示。

圖8 噴頭移動決策流程圖

4 實驗與結果

為了驗證研究系統的可行性和有效性,在一果樹種植區進行了實際的測試實驗。果樹種植區間隔200cm。實驗中,對667hm2果園進行噴藥。為了驗證系統對環境的適應能力,試驗在光線較差的情況下進行,系統圖像處理過程如圖9所示。實驗結果如表1所示。

圖9 系統圖像處理示意圖

表1 測試實驗結果

由表1可以看出:自動對靶精準施藥平臺準確率達到了77%以上,噴藥最大時間在10s左右,系統環境適應能力強,具有較高的可行性和有效性,能夠滿足設計需求。

5 結論

采用圖像處理、極限學習機、自動控制技術及模塊化設計思想,將理論與實驗驗證結合起來,設計了一套基于計算機圖像處理的的自動對靶精準施藥平臺,能夠試驗對目標作物的自動識別和精準施藥。實驗結果表明:自動對靶精準施藥平臺準確率達到了77%以上,噴藥最大時間為8s,效率較高,具有較高的可行性和有效性,能夠滿足設計需求。