基于多目視覺的田間導航線提取方法*

馬秋宇，黃良永

（廣西科技師范學院職業技術教育學院，廣西 來賓 545004）

0 引言

農機設備自主導航技術是實施精準農業的基礎，可以降低勞動強度，提高作業效率[1-2]。自主導航技術已廣泛應用在農田耕種、除草、施肥、噴藥、收割等方面[3-4]。農機設備自主導航的關鍵是田間導航線的提取，近年來眾多學者針對田間導航線的提取算法進行了深入的研究。如利用人工蜂群算法將獲得的導航特征點擬合導航路徑[5]；通過K-means（K 均值聚類）估算提取作物行中心線[6]；基于分區域特征點聚類的秧苗行中心線提取方法[7]；利用區域生長算法擬合導航線[8]；使用改進的輕量化Deeplab-MV3（深度學習）模型識別壟徑區域，獲取導航中線[9]；利用改進YOLOv7（深度神經網絡）模型得到兩側果樹行線的定位參照點，然后擬合導航線[10]；利用HSV 顏色空間，選用H 分量二值分割，對分割圖像進行填充處理，根據特征曲線擬合導航線[11]。

綜上所述，目前對導航線的提取，多數處于圖像坐標下，僅對獲取的單幅圖像提取導航線，且圖像獲取范圍沒有統一標準，提出的算法適用范圍窄，直接應用到導航設備上會產生較大誤差。在圖像采集過程中，一般情況下視覺范圍近的圖像可為導航線提供準確定位，視覺范圍遠的圖像可為導航線提供方向。本研究通過圖像采集設備獲取不同視覺范圍下的近景圖像和遠景圖像，利用圖像處理算法和形態學操作獲取二值圖，將背景像素中點作為導航特征點，通過坐標系轉換，將圖像坐標系下導航特征點映射到同一地面坐標系，繼而對多幅圖像映射后的導航特征點進行融合；最后由最小二乘法進行直線擬合。該算法將導航線的提取從圖像坐標系轉換到了地面實際坐標系下，對農機設備的自主導航具有重要意義。

1 研究方法

通過圖像采集設備獲取田間圖像，采用歸一化超綠特征（2G-R-B）獲取灰度圖，再用Otsu 算法和形態學填充操作對圖像進行分割，獲取二值圖，提取背景像素中點作為導航特征點；然后通過坐標系轉換，將四幅圖像的導航特征點映射到同一地面坐標系，通過加權平均獲取最終導航特征點；最后通過最小二乘法擬合導航線，總體研究流程如圖1所示。

圖1 總體研究流程

2 圖像預處理

2.1 圖像采集

本研究自制圖像采集設備如圖2 所示，其利用四個與地面具有不同高度差的攝像頭依次獲取田間不同視覺范圍下的近景圖像和遠景圖像。

圖2 圖像采集設備

2.2 圖像分割

由于獲取的田間圖像為彩色圖像，為使農作物部分更明顯突出，使農作物和土壤明顯區分開，需對獲取的田間圖像進行預處理。由于農作物的RGB 圖像中，G 顏色分量占比最高，可以通過提高G 分量最大限度分離作物和背景，即超綠特征（2G-R-B）灰度化方法，G、R、B 為綠、紅、藍顏色分量像素值。為增加農作物和背景土壤的對比度，還需對灰度圖進行歸一化處理。因此，對圖3（a）采用歸一化2G-R-B 超綠特征獲取圖像灰度圖，如圖3（b）所示；灰度圖可以有效區分農作物和土壤背景，然后采用Otsu 閾值分割自適應生成閾值獲取二值圖，閾值分割可以將整個圖像分成兩個區域，白色表示農作物，黑色表示土壤背景，如圖3（c）所示；最后采用形態學填充操作對分割圖像進行進一步降噪處理，形態學運算可有效增強區域的連通性，消除噪聲對壟行檢測的影響，如圖3（d）所示，大部分噪聲被濾除。

圖3 圖像預處理

2.3 特征點提取

特征點的提取是導航線擬合的前提，圖像預處理中已經將農作物和土壤背景分離。特征點提取方法有很多，根據圖像處理情況，采用背景像素中點作為導航特征點，通過擬合導航特征點獲取導航線。

3 實驗結果與分析

3.1 坐標系轉換

由于每幅圖像的坐標系不同，多幅圖像無法融合，因此要把多幅圖像的導航特征點放到同一坐標下，需要進行坐標系的轉換。

BP 神經網絡算法屬于非線性分類器，可以實現從輸入到輸出的任意非線性映射，由于田間環境屬于復雜的非線性環境，因此利用BP 神經網絡算法建立圖像坐標系到地面實際坐標系的坐標系轉換模型，圖像坐標系的像素坐標作為輸入，將對應的實際坐標作為輸出建立神經網絡。建立圖像坐標系到地面實際坐標系轉換模型的步驟如下：

1）確定地面實際坐標系與圖像坐標系的原點。地面實際坐標系（OXY）的原點根據實際場景設置，圖像坐標系（OUV）的原點一般為采集圖像的左上角。

2）選取BP 神經網絡的訓練樣本。采用大小相等、黑白相間的正方形格子作為標定紙，在地面均勻分布。地面實際坐標系下的每一個實際坐標位置在圖像坐標系下都有一個與之對應的像素坐標，如圖4 所示。其中，圖像坐標系下坐標的單位為像素，地面實際坐標系下坐標的單位為厘米。選取一定數量的樣本值對網絡進行訓練，樣本值的選取按照平均主義原則，以圖像坐標的中點為中心，四個象限平均取值。

圖4 坐標對應示意圖

3）構建網絡模型。以圖像坐標（u，v）為輸入，以對應的地面實際坐標（x，y）為輸出建立神經網絡模型。

4）對網絡進行訓練和測試。利用訓練樣本對網絡進行訓練，然后利用測試樣本檢測網絡的泛化能力。

通過以上四步即可實現圖像坐標系到地面坐標系的轉換，將每一幅圖像的導航特征點映射到同一地面坐標系，在同一地面坐標系下，將導航特征點進行融合，融合方法是將特征點加權平均，獲取最終導航特征點，導航線提取過程如圖5 所示。由于導航線大多近似直線，因此采用最小二乘法進行導航線擬合。

圖5 導航線提取過程示意圖

3.2 實驗結果

利用該方法進行了5 組田間實驗，并對比了實驗結果，對比結果如表1 所示。在同一地面坐標系下，擬合后導航線系數a的絕對值普遍高于單條導航線的值。其中，a表示導航線斜率，斜率的絕對值越大，表明直線越接近y軸，即直線傾斜角度越小，導航線擬合精度越高。

表1 導航線擬合系數對比結果

4 結論

目前田間導航線的提取主要是在圖像坐標系下，主要涉及三個步驟：圖像預處理、特征點提取、導航線擬合。圖像預處理階段是目前的研究熱點，主要是為了有效區分作物和土壤背景，田間圖像的獲取容易受環境因素的影響，例如光照強弱、土壤干濕、有無遮擋等因素。因此，很多學者通過改變顏色空間模型降低環境對圖像處理的影響，主要的顏色空間模型包括RGB、HIS、HSV、YUV等。雖然通過顏色空間模型的改變，圖像處理效果有所提高，但是每一種顏色空間模型都有其局限性，并不能適應所有的田間環境。本研究主要是將圖像坐標系轉換到了地面實際坐標系，將不同范圍內的導航特征點映射到同一地面坐標系，再將導航特征點進行融合，最后通過最小二乘法擬合融合導航線。該方法為真實環境下降低山區農業機器人自主導航誤差提供了思路。