基于機器視覺的甘蔗多刀切種裝備設計與試驗

陳延祥,周德強,趙文博,鄧干然,何馮光

(1.江南大學 機械工程學院,江蘇 無錫 214122;2.江蘇省食品先進制造裝備技術重點實驗室,江蘇 無錫 214122;3.中國熱帶農業科學院 農業機械研究所,廣東 湛江 524091;4.農業農村部熱帶作物農業裝備重點實驗室,廣東 湛江 524091)

0 引言

甘蔗是我國主要的經濟作物之一,甘蔗種植的全程機械化和自動化是產業發展的趨勢,而我國大多數甘蔗種植機在蔗種自動化切割過程中不具備防傷芽功能,制約了甘蔗產業的發展。現有的甘蔗種植機主要分為實時切種式和預切種式[1]:實時切種式主要采用人工等距切種,傷芽率高,勞動強度大,效率低;預切種式通過預切蔗種避免了蔗芽損傷,效率高于實時切種式,已成為甘蔗種植機的主要發展趨勢,但預切種過程依賴人工,切種效率低、成本高[2]。因此,為解決切種傷芽率高、切種效率低的難題,急需開發一種具有防傷芽功能的自動化切種裝備。

基于機器視覺的甘蔗莖節識別與切種系統的研究在國內外尚處于起步階段。Nare[3]等利用機器視覺研發了一種蔗種自動化生產系統,生產能力可達1782芽段/h,但其莖節識別率受傳送速度的影響較大。黃亦其[4]、喬曦[5]等以MatLab軟件為開發平臺,建立了基于計算機視覺的甘蔗防傷芽系統,填補了國內圖像處理技術在蔗種切割中的應用空白。周德強[6-7]等開發了一種基于機器視覺甘蔗切種系統,平均識別率為93%,傷芽率為0,吞吐速度可達2400芽段/h。以上研究的甘蔗切種系統都只有1把切刀,由滾輪輸送單根甘蔗移動,切刀的每次切割運動只能產生1個蔗種段,切種效率有待提高。李尚平[8]等設計了智能甘蔗預切種工作站,利用液壓系統控制多把切刀同步切割,切種效率顯著提高,為甘蔗預切種提供了一種新穎的解決方案。機器視覺是甘蔗自動化切種系統的核心技術,它決定著甘蔗的切種精度和合格率。Moshashai K[9]等利用灰度圖像閾值分割的方法對甘蔗莖節識別做了初步研究。陸尚平[10]等探討了基于機器視覺的甘蔗特征提取與識別方法。目前,甘蔗莖節識別工作還停留在局部圖像的識別,對于整根甘蔗的采集與識別的研究還很欠缺。李尚平[11]等在黑箱內部動態采集整根甘蔗表面數據,通過改進的YOLOv3模型提高了莖節的實時動態識別效率,但識別率降低了2.26%。Yang R[12]等通過兩臺攝像機采集甘蔗圖像的不同部分,利用圖像拼接將兩幅甘蔗圖像集成一張完整的圖像,識別率為96.9%,為整根甘蔗的識別提供了一種新的檢測手段。

基于以上國內外研究現狀,針對現有的切種裝備存在傷芽率高、切種效率低的問題,筆者設計了基于機器視覺的甘蔗多刀切種裝備,并自主開發了試驗樣機,對定位精度和識別率進行了試驗研究,旨在為后續的研究提供參考。

1 總體方案設計

1.1 甘蔗對象分析

以甘蔗為研究對象,剝去甘蔗葉片,只留下蔗莖。蔗莖主要由莖節和莖間組成,莖節上有芽和葉痕,每個莖節上只有1個芽,甘蔗芽位于葉痕的上部,靠近蔗梢的一側。在只拍攝1張圖像的情況下,不一定能采集到蔗芽,而葉痕環繞蔗莖1周且葉痕兩側灰度變化明顯,因此可通過葉痕的特征來識別莖節。甘蔗是以甘蔗莖進行無性繁殖的作物,依據留種的芽數不同可分為單芽段蔗種、雙芽段蔗種和多芽段蔗種。研究表明:單芽段蔗種萌芽率低,產量低,更容易遭受鳳梨病菌侵染,對蔗種預處理要求更高;而雙芽段蔗種萌芽率和苗高顯著提高,更適合向蔗農推廣[13]。因此,根據農藝的要求,設計了一種用于生產雙芽段蔗種的裝備。

1.2 切種裝備的組成與工作原理

按照雙芽段蔗種的切種要求,設計的切種裝備主要由輸送機構、采集機構和切割機構3部分組成,如圖1所示。輸送機構主要包括伺服電機、主從動軸、鏈輪和鏈條等部件,動力由伺服電機提供,作用是橫向輸送甘蔗。圖像采集機構主要包括1臺高分辨率相機,作用是采集整根甘蔗圖像。切割機構為切種裝備的核心組件,主要由步進電機、齒輪、交流電機及圓鋸片等組成,如圖2所示。切割機構的水平運動是通過步進電機帶動齒輪齒條傳動實現,切割運動是由氣缸推動旋轉的鋸片實現。鋸片的旋轉運動由交流電機提供動力并由帶傳動傳遞扭矩,鋸片的進給力由氣缸提供。鋸片的軸線與甘蔗軸線平行,在切割時甘蔗斷面與其軸線垂直,此時甘蔗斷面面積最小,符合對優質蔗種斷面質量要求。

1.相機 2.切割機構 3.伺服電機 4.定位板 5.輸送機構 6.甘蔗 7.導軌 8.滑塊 9.型材 10.齒條圖1 甘蔗切種裝備三維設計圖Fig.1 Three-dimensional diagram of sugarcane cutting equipment

工作流程可以描述為:設備啟動后,將甘蔗橫向擺放到輸送機構上,由傳送鏈將甘蔗從進料口輸送到相機采集區域,最終轉移到切割機構上。當甘蔗到達圖像采集的指定位置時,相機采集甘蔗圖像并由圖像處理軟件識別莖節位置,將切割點數據發送給PLC,采集為動態過程,輸送機構繼續輸送甘蔗。當甘蔗到達傳送鏈末端時,停止甘蔗輸送,PLC控制5個切割機構移動到切割點指定位置。同時,輸送機構將甘蔗轉移到切割機構上,甘蔗受到滾輪支撐并在沿甘蔗軸向的摩擦力帶動下向定位板對齊。當甘蔗到達定位板處,5個旋轉的鋸片在氣缸的推動下同步切割,得到至少5個甘蔗雙芽段蔗種,并存儲于甘蔗種箱內,實現甘蔗切種的全程自動化。

2 控制系統設計

2.1 硬件設計

控制系統的構成如圖3所示。輸入信號主要有光電開關、磁性開關和U型傳感器;執行機構主要有伺服電機、步進電機、切割氣缸和壓緊氣缸;控制器為西門子200 SMART PLC,CPU型號為ST30。由于系統需要控制5臺步進電機和1臺伺服電機,而單個PLC僅有3個高速輸出點,因此采用兩臺PLC并行控制。其中,PLC的高速輸出口分別為Q0.0、Q0.1和Q0.4,與電機的脈沖端相連控制電機的位置和轉速, Q0.2、Q0.7和Q1.0與電機方向端相連控制電機運轉的方向。系統還包括1臺具有視覺處理軟件的工控機和1臺高分辨率相機。相較于S7-200 PLC,S7-200 SAMRT PLC增加了以太網通訊接口,將PLC主站、PLC從站、工控機和相機通過網線連接到同一集線器,并分配相同網端的IP地址,即可實現相互通訊,通訊協議為TCP/IP協議。

圖3 控制系統構成圖Fig.3 Control system composition diagram

2.2 控制算法設計

系統以兩臺西門子200 SMART為控制核心,PLC主站控制2臺步進電機,PLC從站控制另外3臺步進電機。PLC主站與視覺處理軟件通訊并接收切割點數據信息;PLC從站僅與PLC主站通訊,作為主站的高速脈沖輸出拓展模塊來使用,僅接收主站發送的切割點數據并做出響應,不與視覺處理軟件發生通訊。

采用軸組態中的AXISX_GOTO指令對電機進行運動控制,實現切割機構橫向移動。該指令包含Speed和Pos兩個參數,前者確定移動的速度,后者表示要移動的距離。當設備啟動時,切割機構進行位置的初始化。初始位置是以定位板為零點間隔200mm排列,5個切割機構與定位板的距離分別為200、400、600、800、1000mm。PLC將這5個值作為每個電機的Pos值預設值,存放于電機位移量寄存器中。當甘蔗到達采集指定位置時,相機采集甘蔗圖像,視覺處理軟件識別莖節位置并確定切割點位置,將切割點位置發送給PLC并存儲于切割點位置數據表中。當甘蔗到達傳送鏈末端時,PLC從表中取出首個切割點位置,與1號電機位移量寄存器中的預設值作差,差值作為Pos值當前值。同理,依次取出其余4個電機的切割點位置,并更新電機的Pos值當前值,并啟動AXISX_GOTO指令,5個電機同步運行帶動切割機構移動到蔗種待切割位置;之后,由輸送機構將甘蔗轉移到切割機構上,由滾輪帶動甘蔗向定位板對齊,當甘蔗位置校準后,多把切刀同步對甘蔗進行切種;切割完成后,進行下一根甘蔗的輸送,如此循環往復。

圖4為PLC控制參數原理圖。甘蔗圖像包含甘蔗頭部、尾部以及若干個莖節。根據雙芽段蔗種的要求,即每個蔗種包含兩個莖節(每個莖節只有1個芽),為了簡化控制,將切割點設定在兩莖節的中點,該值是通過軟件設定,故首個切割點位于第2和第3個莖節的中點。經過標定,1個像素距離對應實際距離為0.28mm(即比例系數k=0.28),將切割點位置與比例系數相乘得到實際的切割點位置,則

圖4 控制參數原理圖Fig.4 Schematic diagram of control parameters

(1)

x12=x2-x1

(2)

X1=x1×k

(3)

式中d0-甘蔗頭部與圖像左邊界距離(像素);

d2-第2個莖節與圖像左邊界距離(像素);

d3-第3個莖節與圖像左邊界距離(像素);

x1-首個切割點相對于甘蔗頭部距離(像素);

x2-第2個切割點相對于甘蔗頭部距離(像素);

x12-首個切割點與第2個切割點間相對距離(像素);

X1-首個切割點與甘蔗頭部的實際距離(mm);

k-實際距離與像素距離的比例系數(mm/像素)。

視覺處理軟件通過莖節識別計算出實際切割點位置X1,并將該值發送給PLC。每個切割機構的寬度為140mm(即最小調刀距離為140mm),由于莖節的寬度最小僅為50mm,若當前切割點與上一個切割點的相對距離小于調刀極限,則當前切割點由后兩個莖節中點位置覆蓋。

3 基于機器視覺的實時莖節識別算法

本文設計了一種基于機器視覺的實時莖節識別算法,該算法是在已配置OpenCV3.2的VS2015軟件上編寫;基于MFC設計了視覺處理軟件,視覺處理軟件在工控機上運行,并作為多刀定位的主要驅動因素。莖節識別算法流程如圖5所示。在算法開始時,由圖像處理軟件觸發相機采集甘蔗圖像(在輸送速度為150mm/s的情況下以5幀/s的速度采集),對源圖像進行預處理,校正甘蔗姿態并獲取感興趣區域;然后,通過訓練好的YOLOv3模型初步確定莖節位置;最后,提出了一種新的梯度算子對甘蔗圖像進行邊緣檢測,并設計了莖節定位算法準確識別莖節的數量和位置。

圖5 一種用于甘蔗莖節識別的圖像分析算法流程圖Fig.5 An image analysis algorithm flowchart for sugarcane stem node recognition

3.1 改進邊緣提取算法

傳統的Canny算法是利用一階微分對邊緣進行提取。對甘蔗邊緣檢測時,其檢測過程可概括為以下幾個步驟:①利用高斯濾波去除噪聲;②選擇合適的梯度算子計算梯度的幅值和方向,Canny算子中普遍采用Sobel算子;③對梯度幅值進行非極大值抑制,將非極大值點的所對應的灰度值置為0,抑制非邊緣的點;④用雙閾值算法檢測和連接邊緣,選擇兩個閾值,根據高閾值得到邊緣圖像,根據低閾值只保留具有連續路徑的邊緣點并連接到高閾值得到的邊緣圖像上[14]。

圖6為采用不同算子對甘蔗R分量圖邊緣檢測的結果。其中,圖6(a)為甘蔗R分量圖,圖6(b)為Canny算子邊緣檢測結果。由圖6可以看出:Canny算子不易受噪聲干擾,能夠將相對較弱的邊緣都保留下來,但莖節與莖間差異度太小,不利于從邊緣圖像上識別莖節;此外,傳統的Canny算法的閾值是全局固定的,且根據人工經驗確定,很難確定一個最優閾值。因此,提出了一個新的梯度算子,對R分量圖進行邊緣提取,梯度算子計算公式為

圖6 不同算子對甘蔗R分量圖邊緣檢測結果Fig.6 Edge detection results of sugarcane R-component image with different operators

(4)

式中A-甘蔗R分量圖上某個點的灰度值(灰度);

G-邊緣檢測后該點的梯度值(梯度) 。

該算子為一個3×3矩陣,將其與圖像做平面卷積,即可得到甘蔗圖像水平方向的梯度值。圖像上的每一點的梯度值由像素中心點水平方向上相鄰點的灰度值差分得到。圖6(c)為新梯度算子邊緣檢測結果。與Canny算子相比,新算子能增強甘蔗圖像莖節處的梯度值,剔除了莖間微弱的邊緣,突出莖節與莖間的細微差異,有利于莖節識別。

3.2 莖節定位算法

圖像邊緣提取以后,莖節位置的梯度值最大,非莖節區域的梯度值相對較小,故設計了梯度特征向量對列梯度值進行求和,以定位莖節位置。莖節定位流程如下:

1)將預測框的位置作為莖節檢測區域,若檢測區域的中心距小于50個像素值,則將兩個預測框合并作為1個新的莖節檢測區域;

2)對檢測區域內的列梯度值求和,將檢測結果存放于列梯度值特征向量中,并將每個區域的列梯度值極大值位置標記為疑似莖節位置;

3)疑似莖節位置的列梯度值和若大于等于80,將其判定為莖節;若小于80,則判定為非莖節。

YOLOv3識別莖節后,模型在莖節位置輸出1個預測框,預測框左上角點的坐標和預測框的長寬可以用來初步確定莖節的位置。步驟1)中,主要是針對YOLOv3模型在同一莖節位置重復識別的情況,即模型在同一莖節位置同時輸出了兩個預測框,若不將這兩個預測框合并,算法會誤判該位置有兩個莖節。通過樣本分析,莖節位置的列梯度值和最小值為80且不受光源強弱的影響,將其作為判斷莖節的閾值,并在步驟3)中對列梯度值和進行閾值判斷,可以避免YOLOv3錯誤地將非莖節部分預測為莖節的情況。圖7為圖像算法中輸入和輸出圖像。其中,圖7(a)為莖節位置圖,莖節被成功、準確地識別并標記出來;圖7(b)為梯度特征向量圖,梯度特征向量圖的橫坐標為圖像的列數,梯度特征向量圖的縱坐標為列梯度和,峰值出現在莖節位置。

圖7 圖像算法中輸入和輸出圖像Fig.7 Input and output images in image algorithm

4 試驗

采用識別率和切刀定位精度作為評價切種裝備性能的主要指標。其中,識別率主要是衡量視覺算法對于莖節識別的準確度,切刀定位精度是驗證切割機構能否根據上位機識別的切割點數據準確定位的能力。定義:s為切割點距離莖節的距離(該值通過軟件設定);S為實測的切割點距離莖節的距離;y為切刀定位精度,其值為S(實測值)與s(軟件設置值)差的絕對值與s(軟件設定值)的比值。

(5)

切刀平均定位精度定義為

(6)

式中S-切割點與莖節的實際距離(mm);

s-切割點與莖節的軟件設定距離(mm);

y-切刀定位精度(%);

n-統計的樣本個數(個)。

為了驗證所設計的甘蔗多刀切種裝備的可行性,制作了物理樣機,對切種裝備的識別率和切刀定位精度進行試驗和分析。試驗對象為新臺糖22號,試驗甘蔗的平均直徑為29.8mm。其中,最長的甘蔗為1.5m,其上有12個莖節,按照每個雙芽段蔗種有兩個莖節的要求,5把切刀能夠滿足切種要求。每次試驗從樣本中隨機選取11根甘蔗,由人工將甘蔗依次擺放到輸送鏈的進料口處,試驗完畢后測量S值,計算切刀定位精度,記錄樣本數、實際莖節數和識別莖節數,計算莖節識別率;試驗重復3次,輸送機構傳輸速度為150mm/s,切刀移動速度為100mm/s。試驗過程如圖8所示。

試驗結果如表1所示。由表1可以看出:視覺處理軟件的平均識別率為95.3%,平均識別時間為415ms,具有很好的準確性和實時性。切刀平均定位精度為0.07%,造成誤差的主要原因是裝置的振動以及PLC控制步進電機時齒輪箱的內隙造成的丟步。莖節的寬度一般為5mm左右,故定位誤差遠小于1mm,滿足控制系統的定位要求。

表1 識別率及切刀定位精度試驗結果Table 1 Recognition rate and cutter positioning accuracy test results

5 結論

1)針對目前的甘蔗切種機傷芽率高、切種效率低的問題,根據雙芽段蔗種的要求,利用甘蔗葉痕與兩側灰度差異大的物理特征,設計了一種基于機器視覺的甘蔗多刀切種裝備。

2)采用PLC主從站控制5個切割機構,切割機構通過齒輪齒條傳動實現橫向運動,能夠對整根甘蔗進行同時、多段切割。切割方式為氣缸推動高速旋轉的鋸片,斷面平整,能有效防止蔗皮撕裂。

3)提出了一種新的梯度算子,提取甘蔗R分量圖的邊緣,結果表明:與Canny算子相比,莖節有很強的邊緣,節間的邊緣較細,能夠突出莖節和節間的細微差別。

4)試驗結果表明:切種裝備的莖節識別率為95.3%,識別時間為415ms,能對莖節進行實時、準確的識別和定位,且切刀平均定位精度為0.07%,定位誤差遠小于1mm,達到了較高的精度要求。