水稻插秧機路徑追蹤設計
——基于SOPC嵌入式視覺導航

謝忠華

(武漢職業技術學院，武漢 430074)

?

水稻插秧機路徑追蹤設計
——基于SOPC嵌入式視覺導航

謝忠華

(武漢職業技術學院，武漢 430074)

針對水稻插秧機路徑追蹤問題，利用SOPC嵌入式和視覺導航技術，以FPGA為硬件核心，利用3×3窗口模塊、中值濾波、Sobel邊緣檢測和Hough變換進行移動路徑圖像信息處理，并結合齊次變換法將圖像位姿信息轉換到空間坐標系中，為插秧機進行路徑導航。同時，通過人工設置標志線對水稻插秧機進行路徑導航和追蹤試驗，結果表明：該系統在一定干擾環境下，水稻插秧機移動路徑最大偏差為18cm，平均偏差為6.9m，基本達到預期目標，實現了路徑追蹤功能，而且可以根據偏差自動進行調整，具有精準度高、靈活性強等優點，應用前景非常廣闊。

水稻插秧機；路徑追蹤；視覺導航；SOPC嵌入式；Hough變換

0 引言

隨著計算機技術、半導體技術、集成電路和微電子技術的快速發展，FPGA在工藝流程和性能方面都獲得了非常大的發展。隨著百萬門級的集成芯片與多功能集成的嵌入式核開發平臺不斷涌出，企業甚至個人都能夠使用SOPC平臺進行電子領域中可編程系統的設計。本文以SOPC嵌入式為硬件平臺，采用3×3窗口模塊、中值濾波、Sobel邊緣檢測和Hough變換等圖像處理算法，對水稻插秧機的運動路徑進行優化追蹤，并根據相應狀況重新調整移動方向。試驗測試表明：該插秧機具有較強的路徑識別與追蹤能力，對水稻插秧機的路徑規劃研究具有重要的現實意義。

1 SOPC嵌入式平臺的整體設計

SOPC是基于FPGA芯片, 采用可編程邏輯將微處理器、存儲設備、輸入輸出I/O口和LDVS等模塊集成到一塊硅片上，實現整個系統的邏輯功能，來進行嵌入式系統的研究和設計。SOPC作為一個可編程邏輯系統，設計靈活高效，設計人員通過對系統的裁剪、擴充、升級等軟硬件編程操作來滿足設計需要。SOPC系統架構如圖1所示。

在設計過程中，為了盡量簡化系統外圍設計，提高設計的靈活高效性，降低整個設計的成本，建立了如圖2所示的水稻插秧機路徑追蹤系統硬件平臺。

圖1 SOPC系統架構圖

圖2 水稻插秧機路徑追蹤系統硬件平臺

該系統平臺采用最新的SOPC技術來實現水稻插秧機路徑追蹤系統,為視覺導航提供了新的設計方法。其可將視頻采集、圖像處理、移動路徑的檢測和識別、遠程檢測、插秧機的實時控制都集成在一個系統平臺上。另外，SOPC嵌入式控制器FPGA芯片工作時鐘在百兆以上，實時處理圖像的能力非常強大。插秧機的運行速度和方向控制通過由μC/OS-II操作系統來實現，提高了視覺導航的實時性和及時性。

2 視覺導航與移動路徑圖像處理

2.1 水稻插秧機的視覺導航

基于SOPC嵌入式和視覺導航的路徑識別與追蹤是水稻插秧機視頻導航系統的關鍵技術。考慮到整個系統的經濟性和實時性，為了節省成本，減少開發難度，本文選擇單目CCD視覺技術。水稻插秧機視覺導航設計方案如圖3所示。

為了確保系統的有效性和精準性，保證研究工作的順利開展，設計了集靜態和實時圖像采集于一體的硬件系統。圖像采集系統包括CCD攝像機、圖像采集卡、嵌入式控制系統和計算機等部件。水稻插秧機視頻導航系統的工作流程如圖4所示。

圖3 水稻插秧機視覺導航結構圖

圖4 水稻插秧機視頻導航系統工作流程

工作時，道路視頻圖像先由CCD攝像頭采集和視頻解碼器進行解碼后，將數字圖像傳送給圖像處理模塊；圖像處理模塊將圖像進行中值濾波，然后利用Sobel檢測技術獲得路徑信息，再通過Hough變換對路徑信息進行進一步處理，將路徑離散值描繪成線；最后，把處理后的路徑信息傳送給處理器，控制系統通過路徑識別算法獲取并鎖定移動路徑和方向，實時控制水稻插秧機沿著路徑中心線作業。

2.2 移動路徑圖像處理

為了確保視頻導航系統的精準性，加快路徑識別和追蹤的實時性，該系統采取中值濾波方法對圖像噪聲進行處理，結合Sobel算子技術對路徑進行邊緣檢測，并采用Hough變換擬合道路邊線。另外，為了使系統可以同時進行中值濾波、Sobel邊緣檢測和Hough變換，特地引進了3× 3窗口模塊，這些模塊都采用硬件描述語言集成于FPGA片內。

1)3 × 3窗口模塊。3× 3窗口模塊主要是在接收一系列的數據后，通過FIFO進行緩存，形成3路可以完全進行獨立處理的數據。系統包含7個觸發器(D1—D7 )、2個FIFO移位緩存器和1個控制器。該模塊的功能使系統可以同時進行中值濾波、Sobel邊緣檢測和Hough變換，供后續系統的特殊處理。3×3窗口框架如圖5所示。

圖5 3×3窗口框架圖

2)中值濾波。中值濾波是一種能明顯降低信號噪聲的處理技術，基本原理是將數字圖像中一點的對應值用該點的鄰域中各點的中值覆蓋，使該點周邊的像素值更加逼近真實值，進而消除孤立的噪聲點。在設計中，為了提高系統整體精準性和實時性，對中值濾波采取一定的改進措施，其進行過程如下：

設系統在某一時刻取出的為3×3窗口模塊，如圖6(a)所示；采用圖像處理算法對全部數據進行排序，獲得如圖6(b)所示的數據；然后，再次排序后得到如圖6(c)所示的數據。

圖6 改進中值濾波排序流程圖

設采用中值濾波算法進行濾波后的中值為

g(x,y) :g(x,y)

= mid{M3max_min,M2mid_mid,M1min_max}

(1)

則窗口實現了理想的結果，即分別出現3列的最小值M3max_min、中間值M2mid_mid、最大值M1min_max的中間值。

3)Sobel邊緣檢測。要實現圖像處理的邊緣檢測，首先要進行水平和垂直兩個梯度算法的完成，然后結合兩者，與門限值進行比較，結合時需要計算出水平和垂直梯度兩者的平方和，則

mag(f)=Gx2+Gy2

(2)

水稻插秧機在進行作業時，可能會因為天氣情況，或者其他環境因素的影響導致固定閾值下對比度大幅下降。為了解決上述問題，系統在采用Sobel邊緣檢測時，先進行自適應閾值分割設置，盡量減小某一固定閾值對同一移動路徑帶來的梯度差異性，進而對后續的路徑追蹤產生偏差。在Sobel邊緣檢測中加入自適應動態閾值方法，在開始時先設定一個閥值，再根據檢測結果對閥值進行調整，直到檢測結果符合設計要求，即結果中有邊緣在估計范圍內時，就設定新的閾值。

4)Hough變換。在圖像處理過程中，進行Hough變換時，量化角度和極徑非常重要。在角度量化中，需要采用Hough變換單元完成角度上直線的極徑，同時，對角度的量化決定了變化過程中單元和存儲器的數量，存儲器深度的程度則取決于極徑量化個數。在本系統的圖像處理算法中，圖像分辨率為360×480，角度范圍為0°～180°，極徑值范圍為-180～300。設計中，在控制精度和邏輯單元進行平衡處理后，設定角度精度為10°。Hough變換原理如圖7所示。

圖7 Hough變換原理框架圖

累加控制模塊的作用是讀取輸入值，當該值為1時，計算獲得的ρ值與存儲單元對應，將ρ值加1后重新存儲到RAM中；在開始時對存儲單元進行初始化，為變換累加做準備； FIFO控制器作用結束一幀圖像處理后，將RAM數據寫入至FIFO中，并提示系統已經處理完畢，讓Nios II與FIFO進行數據交換。

3 路徑追蹤導航模型的建立

為了更好地研究水稻插秧機路徑追蹤系統，建立了路徑追蹤導航模型。假設機器在在接近路面的地形上行走，則可以認為路面為一平面。以水稻插秧機坐標系體建立空間坐標系，機器重心垂直下方Ow為坐標原點，yw軸垂直路面向上，zw軸為車體前進方向，xw垂直于yw軸和zw軸組成的平面；Oc為攝像機位置點，該點與路面之間的距離為oc，oc=H，zc與地面之間的傾斜角為Φ(Φ>0)，xc與xw方向相同，yc與xc和zc組成的平面垂直，如圖8所示。

圖8 水稻插秧機路徑追蹤導航示意圖

根據圖8以及定義，可以寫出插秧機與攝像機之間的齊次變換矩陣為

(3)

直線L是水稻插秧機路徑追蹤導航模型下的被跟蹤路徑，即機器跟蹤行走路徑要路過的CCD攝像機形成的圖像，如圖9所示。

圖9 跟蹤導航路徑在坐標系中的圖像

圖9中，直線L在圖像平面中可以表示為

(4)

因此，可以得到在像素平面中xy上點的表達式為

(5)

由插秧機與攝像機之間的齊次變換關系及視頻圖像成像模型可以得到，xcoczc平面與地平面之間交線的為圖像中的X軸，則L與X軸之間的交點Dc(xw0,yw0,zw0)為

(6)

假定圖像平面中直線L是地面上點Dc直線Lw的投影，則Lw可以表示為

(7)

因此，坐標系中的對應坐標(xc,yc,zc)通過齊次變換能夠得出

(8)

根據式(6)～式(8)，結合圖像處理算法可得

(9)

4 試驗結果與分析

為了驗證水稻插秧機路徑追蹤系統可行性和有效性，對該系統進行實際應用試驗，驗證對水稻稻田非機構化環境的適應性。試驗前對待插秧局部有水的場地進行泡田、平地操作。試驗方法是由作業工人將水稻插秧機駕駛至與待插秧苗行平行，開啟路徑追蹤系統。水稻路徑追蹤軌跡如圖10所示。

水稻插秧機開始工作后，在SOPC嵌入式和視覺導航組成的路徑追蹤系統的控制下沿著水稻秧苗方向前進。在這段路徑移動過程中，插秧機先沿著待插秧苗路徑前行，在前行至0.6m時開始產生偏離；然后系統進行調整，插秧機慢慢朝著正確路徑靠近；在2.4m處與再次偏離水稻秧苗方向，在3.2m時偏離大約為10cm，插秧機再次對移動方向進行調整，在4.8m處再次與水稻秧苗行相交；在5.8m時偏離高達6cm，在6.7m處再次與水稻秧苗行相交。整個插秧過程中，水稻插秧機移動路徑最大偏差為18cm，平均偏差為6.9m，基本達到預期目標。同時，系統在移動過程中能夠自主根據偏差進行方向調整，精準度高，實用性強。

圖10 水稻路徑追蹤軌跡

5 結論

利用SOPC嵌入式和視覺導航技術，以FPGA為硬件核心，集成圖像預處理、路徑識別，利用3×3窗口模塊、中值濾波、Sobel邊緣檢測和Hough變換技術進行路徑圖像處理，結合齊次變換法將圖像位姿信息轉換到空間坐標系中給插秧機進行路徑導航，并對水稻插秧機進行了路徑識別和追蹤試驗。結果表明：該系統在一定干擾環境下，水稻插秧機移動路徑最大偏差在可控范圍內，基本達到預期目標，實現了路徑追蹤功能，且系統具有較強的適應性和靈活性。

[1] 張麗新.數字圖像高密度脈沖噪聲的中值濾波算法研究[D]. 上海：上海交通大學,2009.

[2] 李碩.基于FPGA的SOPC嵌入式系統設計技術的研究與應用[D].北京：北京工業大學,2012.

[3] 李月靜.基于視頻的實時運動目標檢測與跟蹤系統研究[D].上海：西華大學,2012.

[4] 唐澤華.基于機器視覺的步行插秧機自主導航關鍵技術研究[D].杭州：浙江理工大學,2013.

[5] 逯沛龍.基于FPGA的雙目視覺圖像預處理系統設計與實現[D].南京：南京理工大學,2015.

[6] 李建科,黃席樾,杜長海,等.基于TMS320DM642的嵌入式實時圖像處理系統設計及應用[J].自動化與儀器儀表,2009(2):19-22.

[7] 周培園.面向多處理器SoPC的片上網絡的設計與實現[D].南京：南京航空航天大學,2012.

[8] 林冠西.基于動態目標檢測的移動機器人路徑規劃研究[D].武漢：武漢科技大學,2014.

[9] 馬超.基于FPGA的多通道視頻圖像采集預處理系統設計[D].長春：中國科學院研究生院(長春光學精密機械與物理研究所),2014.

[10] 黃海波,蔣偉榮,劉勇,等.基于SOPC的智能車輛道路識別與跟蹤[J].儀器儀表學報,2012(2):321-326.

[11] 遲德霞.水稻插秧機視覺導航系統設計與路徑追蹤試驗[D].沈陽：沈陽農業大學,2015.

[12] 黃曉峰.基于SOPC的視覺輪式移動機器人的控制系統[D].長沙：中南大學,2009.

[13] 文君.機器人動態路徑規劃與協作路徑規劃研究[D].杭州：浙江大學,2010.

[14] 辛江慧.探測車自適應障礙識別與路徑規劃研究[D].南京：南京航空航天大學,2009.

[15] 龔愛平.基于嵌入式機器視覺的信息采集與處理技術研究[D].杭州：浙江大學,2013.

[16] 王棟.基于RFID的學生家校路徑追蹤定位系統設計與實現[D].重慶：西南交通大學,2014.

[17] 王杰,周永年,劉金鋒.基于sweep法的自動引導車路徑追蹤調節器設計與仿真[J].安陽工學院學報,2008, (4):25-30.

[18] 陳立彬.動態未知環境下移動機器人路徑規劃方法研究[D].哈爾濱：哈爾濱理工大學,2007.

[19] Hamza Khan, Jamshed Iqbal,Khelifa Baizid, et al.自主輪式移動機器人路徑追蹤的縱向與側向滑動控制[J].Journal of Zhejiang University-Science C(Computers & Electronics),2015(2):166-173.

[20] 趙龍海.六足步行機器人自然地形下全方位運動規劃策略研究[D].哈爾濱：哈爾濱工業大學,2013.

[21] 朱曉榮.移動機器人嵌入式系統設計與路徑規劃算法研究[D].青島：中國海洋大學,2004.

[22] 周華鵬.視覺導航中局部路徑規劃方法研究及嵌入式實現[D].南京：南京航空航天大學,2009.

Path Tracking Design of Rice Transplanter—Based on the Embedded Visual Navigation of SOPC

Xie Zhonghua

(Wuhan Polytechnic, Wuhan 430074, China)

In view of the rice transplanter path tracking problem, by using SOPC embedded and vision navigation technology, using FPGA as the core hardware using 3 x 3 window module, median filtering, Sobel edge detection and Hough transform mobile path image information processing, and combining with the homogeneous transformation will pose information of image conversion to space coordinates to rice transplanter navigation path. Through the manual set the flag line on the rice transplanter path navigation and tracking test. Test results show that the system under interference environment of rice planting machine moving path of maximum deviation of 18 cm, the average deviation is 6.9 m, basically reached the expected target, the realization of the path tracking function, and according to deviation is automatically adjusted with precision high, flexibility is strong wait for an advantage and application prospect is very broad.

rice transplanter; path tracking; visual navigation; embedded SOPC; Hough transform

2016-07-06

湖北省自然科學基金項目(2014CFC1079)

謝忠華(1964-)，男，湖北京山人，副教授，(E-mail)whtc_xzh@sohu.com。

S233.91；TP242

A

1003-188X(2017)10-0213-05