基于立體視覺下聯合收獲機邊緣檢測技術的研究

王循明

(浙江機電職業技術學院,智慧交通學院, 杭州 310053)

0 引言

隨著我國各種農作物種植面積和產量的不斷增加,聯合收割機對于提高作物收獲效率具有重要的意義。目前,聯合收獲機的田間作業主要依靠駕駛員相關操作經驗進行機器調整,但由于田間作業環境較為復雜,大型聯合收獲機在駕駛過程中會存在一定的視覺盲區導致聯合收獲機在工作過程中不能完全收割,在進給速度波動和未切割區域導致作物收獲損失率增加。為了減少操作疲勞和提高工作效率,目前已經開展了相關作物邊緣檢測的自動轉向調整系統、全球導航衛星系統(GNSS)及光探測和測距(LiDAR)技術等,通過GNSS獲得了車輛在田間的位置信息,并實現了對多種作物的完全自主操作。但是,GNSS系統價格昂貴,很難根據現場的局部環境變化調整運行路徑,無法實現對作物邊緣檢測的實時進行。后期,利用激光掃描儀獲取大豆田的3D信息,建立了大豆田剖面模型,利用互相關算法計算了大豆行與收獲機的相對位置信息。雖然激光雷達具有較高的測量精度,但需要處理的激光雷達點云數據量大,處理過程耗時較長,且激光雷達對現場灰塵很敏感,難以在復雜的田間環境進行穩定工作。

作物邊緣檢測方法是目前聯合收獲機發展的熱點技術之一,其通過分析灰色值的分布來檢測玉米作物邊緣,應用顏色變換和邊緣檢測方法檢測未收割作物的邊緣。后期,相關人員選擇Y-CbCr顏色模型中的Cr成分作為灰度特征因子,采用層次聚類法提取離群點,通過多項式擬合得到直線或曲線切割邊緣,根據圖像的顏色信息,通過水平掃描獲得作物邊緣線的關鍵點。這種方法要求未收獲區域和收獲區域之間有明顯的色差,在田間使用過程中具有較大的局限性,如天氣條件、作物品種和作物生長等;基于紋理特征檢測各種小作物邊界,但該方法應用作物有限,機器的振動對算法的精度有著顯著的影響。田間作物三維信息大多是通過點云獲取的,點云會產生大量數據進行處理,為了檢測作物的末端和邊緣,逐漸開始使用超像素分割提取顏色和紋理特征來識別作物邊界的方法。

針對以上問題,提出了一種基于立體視覺的作物收獲邊緣實時檢測方法,并基于獲取的深度信息傳輸高程圖像,提出了兩種提高精度和效率的方法,即提取動態感興趣區域(ROI)以減少處理任務,以及通過反向透視映射將作物恢復到實際狀態。最后,對水稻和玉米的檢測性能進行了田間試驗研究。

1 試驗材料與方法

1.1 系統設計

采用江蘇省世界農業機械有限公司生產的履帶式聯合收割機(型號:4LZ-6.0),整車的主控單元為BODAS RC28-14/30,基于電液技術,向液壓轉向油缸發送運動指令以產生轉向運動。

試驗設備用立體視覺系統由立體攝像機(ZED2,stereo Labs Inc)、工業計算機和顯示屏組成。為了獲取聯合收割機之前要收割的作物的清晰圖像,攝像頭安裝在駕駛室的車頂上。工業計算機(型號:MIC7700)負責處理從相機獲取的圖像,計算機的輸出數據可以通過CAN(控制器局域網)總線直接傳輸到BODAS控制器。此外,為了觀察處理圖像的結果,駕駛室內安裝了一臺顯示屏(型號:EPM-101R)。

1.2 撿拾裝置結構設計

聯合收割機在收割時需要在兩種情況下調整轉向:一種是根據未修剪的作物邊緣進行微調,以避免在沿當前收割路徑直線行駛時再次切割或留下未切割區域;另一種是聯合收割機即將完成其當前路線,并在轉彎后在地頭轉彎,以形成另一個筆直的收割段。選擇作物末端邊緣作為判斷標準,指示當前路徑末端的作物和下一路徑收獲區域的地面。為了實現聯合收割機的自動精確轉向,利用建立的立體視覺系統實時檢測作物收獲邊緣。由于基于顏色和紋理信息的圖像處理對工作環境和作物品種非常敏感,故利用作物圖像的高程信息來獲取所需的邊緣,工作流程如圖1所示。

圖1 基于立體視覺的作物收獲邊緣檢測算法流程圖Fig.1 Flow chart of crop harvesting edge detection algorithm based on stereo vision

1.2.1 動態感興趣區域提取

由于采集的圖像分辨率高,圖像處理耗時大,導致轉向調整延遲,故使用靜態ROI提取方法來選擇每個圖像中需要處理的區域可以大大提高效率,但實際的未處理裁剪邊緣很容易超出該區域。因此,提出了一種動態感興趣區域提取方法,可以自動選擇目標區域,以確保所需的邊緣始終位于感興趣區域內。立體視覺中的左側攝像頭圖像被分為R、G、B 3個通道,再轉換為HSV顏色空間。試驗過程表明:H通道具有理想的區分效果,因為整機的卷軸與作物有很大的不同,收獲區與未收獲區也有顯著差異。

由于H通道中存在噪聲點,使用中值濾波來消除圖像中的噪聲點,中值濾波模型設置為半徑為5像素的圓。為了放大未收獲區域、卷軸和收獲區域之間的差異,使用圖像增強算法對圖像執行低通均值濾波,并計算增強圖像像素值gp,即

gp=round((v-vm)·k)+v

(2)

式中v—原始圖像點的像素值;

vm—均值濾波后圖像點的像素值;

k—系數,設k=5;

round( )—舍入操作,防止像素值顯示為浮點數據。

預處理后的圖像通過隔行掃描進行基本掃描,每次跳過10行,掃描行的所有像素值存儲在S1={gi|i=1,…,n}(n是列的數量)。由于作物區域的顏色為黑色(灰度值為0),而卷軸區域的顏色為白色(灰度值為255),因此計算陣列中灰度為255的像素數1。當N/n>70%時,認為行已到達卷盤區域,即ROI的下邊界位置。在實際操作中,位置需要上移50像素。由于深度圖像最上面部分的深度值精度較低,因此將ROI的上邊界設置為第50行。此時,確定了ROI的上、下邊界位置,再在ROI上下邊界的中間行、掃描圖像,并提取其灰度分布,如圖2所示。圖2中,橫坐標是圖像的列數,縱軸是ROI上下邊界中間行的像素灰度。像素atgk周圍的灰度值有明顯的跳躍,左側灰度值較小的區域為未切割區域,右側灰度值較大的區域為已切割區域。每50列取一個值,并存儲在數組S2={gi|i=1,…,n/50},當它第一次gj+1-gj>100出現則認為已達到跳躍點。通過將感興趣區域的左邊界向左移動800像素,將感興趣區域的右邊界位置向右移動400像素,獲得目標動態感興趣區域。

1.2.2 仰角圖像重建

攝像頭安裝在駕駛室頂部,用于在聯合收割機前方拍攝作物圖像,安裝俯仰角為Q,坐標系設置在攝像頭安裝位置正下方,聯合收割機履帶底部與地面接觸,如圖3所示。

圖2 ROI上下邊界中間行灰度值分布示意圖Fig.2 Schematic diagram of gray value distribution in the middle row of the upper and lower boundaries of the ROI

圖3 聯合收割機上攝像頭安裝示意圖Fig. 3 Schematic diagram of the installation of the camera on the combine harvester

以ZED2左側攝像機為參考,通過立體匹配獲得深度圖像。深度圖像是指將相機到場景中每個點的距離(深度)用作像素值的圖像。在ZED2相機坐標系中,Zc和Zw分別定義為深度和高程信息。裁剪高程圖像需要從深度圖像傳輸,以攝像機在地面上的投影點為坐標原點,垂直于收割機機身外側的方向為Xw軸,收割機的前進方向為Yw軸,攝像機與坐標原點之間的直線方向為Zw軸。相機坐標系和世界坐標系之間的轉換公式為

(2)

式中 (xw,yw,zw)—圖像點在世界坐標系中的坐標;

(xc,yc,zc)—相機坐標系中圖像點的坐標;

θ—從相機坐標系到世界坐標系的旋轉角度;

H—垂直方向上從相機坐標系到世界坐標系的平移距離。

經過坐標變換后,由深度圖像選擇的ROI被成功地轉換為仰角圖像。其中,高程圖像中每個點的像素值表示該點在世界坐標系中的高度值。

2 結果與分析

為了驗證提出的基于立體視覺下聯合收獲機邊緣檢測及精準轉向系統的田間性能,在多種工作條件下采集了兩種不同作物(水稻和玉米)的實際收獲圖像,分別在兩個試驗小區進行試驗,采用橫向像素誤差和角度誤差作為評價指標。橫向像素誤差是實際路徑和預測路徑之間在圖像底部的路徑起點上的差異,表示為相應的像素距離;角度誤差是實際路徑和預測路徑之間的角度。

2.1 水稻收獲邊緣檢測結果與分析

水稻收割試驗中,圖像分辨率為2200×1202像素,攝像機安裝角度設置為60°,分析水稻生長密集、稀疏和局部倒伏的收獲狀況。田間試驗結果如圖4所示。由圖4可知,計算了512幅圖像未處理區域輪廓的水平長度,LC值一般不超過100個像素,與作物末端邊緣的LC值相差很大,因此根據LC值,兩個邊緣很容易區分。在計算了人工標記邊緣的橫向像素誤差和角度誤差后,基于標記邊緣計算識別邊緣的橫向偏移和航向角之間的誤差如圖5所示。由圖5可知:在200幀圖像中,只有一幀圖像的最大角度誤差值為15°,故提出的方法實際應用誤差較小,角度誤差的平均誤差為 0.72°,橫向像素誤差的平均誤差為1.01像素。

圖4 水稻未收獲面積等高線距離LC結果統計圖Fig.4 Statistical chart of the contour distance LC of the unharvested area of rice

圖5 水稻圖像檢測結果的誤差統計Fig 5 Error statistics of rice image detection results

2.2 玉米收獲邊緣檢測結果與分析

在玉米收獲試驗期間,圖像分辨率為1280×720像素,安裝的攝像頭俯仰角為36°,試驗圖像采集分別在多云、晴天和傍晚3種條件下進行。多云時光線柔和,晴天玉米旁有明顯陰影時光線強烈;晚上操作機器時,光線明顯不足,整個視野變暗。田間試驗結果如圖6所示。由圖6可知:玉米未收獲的邊緣LC值遠低于閾值,通過與人工標記邊緣的比較,誤差分析結果如圖7所示。由圖7可知:角度誤差的最大誤差和平均誤差分別為6.49°和0.81°,橫向像素誤差的最大誤差平均誤差分別為7像素和1.51像素; 與水稻田間試驗相比,玉米橫向像素誤差的平均誤差較高,主要是由于玉米葉片較大且傾斜,檢測到的邊緣偏向收獲區域。

圖6 玉米未收獲面積等高線距離LC結果統計圖Fig.6 Statistical chart of the contour distance LC of the unharvested area of water maize

圖7 玉米檢測結果的誤差統計分析圖Fig.7 Statistical analysis of errors in corn detection results

3 作物收獲邊緣檢測的性能評價

水稻和玉米試驗結果如表1和表2所示。試驗結果表明:與檢測到的邊緣和手動標記的邊緣相比,橫向像素誤差的絕對誤差<8個像素,角度誤差的絕對誤差<5°,作物收獲邊緣檢測符合田間作業農藝要求;在所有的收獲邊緣檢測試驗中,玉米檢測成功率達到94%以上,水稻的檢測成功率達到98%以上。

表1 圖像處理結果統計表Table 1 Statistics of image processing results

表2 不同作物收獲邊緣檢測的準確性能評估結果Table 2 Accurate performance evaluation results of harvest edge detection for different crops

對于 2200×1240 像素分辨率的圖像,每幀圖像處理時間≤300ms,對于 1280×720 像素分辨率的圖像,平均處理速度達到了每幀49ms。 檢測到的作物收獲邊緣的角度誤差RMSE<2.2,角度誤差的MAE<1.8,橫向像素誤差的RMSE<3.5像素,橫向像素誤差的MAE<2.5。與傳統立體視覺的方法相比,本研究提出的基于立體視覺下聯合收獲機邊緣檢測及精準轉向系統具有明顯的應用優點,如表3所示。

表3 與傳統方法對比結果統計表Table 3 Statistical table of comparison results with traditional methods

4 結論

針對目前聯合收獲機在田間作物收獲過程中存在的邊緣作物檢測收獲困難的問題,提出了一種基于立體視覺下聯合收獲機邊緣檢測及精準轉向系統,可通過掃描HSV顏色空間的H通道圖像,快速定位圖像中的作物收獲邊緣位置,并在ROI中確保目標邊緣,且每幀圖像處理時間可減少0.1～0.2s,可有效減少圖像處理時間。針對未收獲區域等高線的水平長度區分未收獲作物邊緣和作物末端邊緣的原則及明顯特征,基于對水稻和玉米作物田間驗證試驗表明:未收獲作物邊緣的未收獲區域輪廓水平長度均小于150像素,而作物末端邊緣的水平長度大于300像素,可以實現未收獲作物邊緣的同時檢測。本研究提出的基于立體視覺下聯合收獲機邊緣檢測及精準轉向系統具有較高的工作精度和效率,可為提高作物收獲性能提供技術參考與借鑒。