基于線結構光源和機器視覺的高精度谷物測產系統研制

楊 剛，雷軍波，劉成良，陶建峰

?

基于線結構光源和機器視覺的高精度谷物測產系統研制

楊 剛，雷軍波※，劉成良，陶建峰

（上海交通大學機械與動力工程學院，上海 200240）

針對精準農業中谷物產量信息的高精度獲取需求，設計了基于計算機視覺的谷物測產系統，由工業相機、線結構光發生器、電感式接近開關和工控機等組成。提出了基于線結構光的谷堆厚度測量方法，根據所建立的谷物幾何模型計算出谷堆的體積，并采用電感式接近開關克服了傳統光電式谷物測產系統存在的誤觸發問題。同時，研究了不同轉速下結構光測量誤差，建立了基于轉速的線結構光測量修正模型，使得測量誤差從1.1%減小為0.33%。在室內臺架上進行了測產試驗，試驗結果表明，未使用線結構光修正模型的最大測產誤差為12.73%，在使用了線結構光測量修正模型之后，相對測產誤差在4.27%以內，該研究可為谷物測產研究提供理論依據。

監測；系統；機器視覺；谷物; 產量傳感器；精準農業；圖像處理

0 引 言

谷物測產系統是實現精準農業的關鍵技術之一，是實施農業精細管理的基礎[1-2]。目前，國外谷物測產系統技術成熟，市場上已有商品化的測產系統出現[3-5]。與之相比國內谷物測產技術仍存在較大差距。因此，國內相關高校和企業紛紛開展了谷物測產系統的相關研究。

根據測量原理的不同，谷物測產裝置主要有質量流式和體積流式2種[6]。質量流式有沖量式、γ射線式和稱重式3種[7-8]。沖量式傳感器具有價格便宜、安裝方便等優點，然而其精度易受到機器振動的影響。陳樹人等[9]通過在升運器出口處安裝導流板，傳感器輸出電壓信號值平均提高30%左右，從而提高了測產精度。周俊等[10-14]在雙孔平行梁沖量傳感器信號處理上采用了彈性消除振動方法，提高了傳感器抵抗振動干擾的能力，田間測產誤差約為10%。胡均萬等[15-17]設計了雙板沖量式谷物流量傳感器及其差分電路，消除了車身振動對測產精度的影響，田間測產誤差約為5%。射線式傳感器能夠結合谷物線速度測出谷物的實時質量流，具有較高的測量精度。然而，射線對人體有害，其發展受到了較大的限制[18-19]。張小超等[20-21]設計了基于稱重原理的螺旋推進稱重裝置，室內測產試驗誤差小于2%。然而，稱重式傳感器裝置結構十分復雜，難以實現產業化。

體積流式主要有基于對射式光電傳感器和漫反射式光電傳感器2種，具有精度高且結構簡單等優勢，因而得到了高校和企業的廣泛關注。王要武等[22]使用對射式光電傳感器測量谷物的厚度，根據谷物在刮板上谷物體積模型計算出谷物的體積，試驗中體積測產誤差小于3%，但沒有考慮到升運器轉速變化的情況，且實際測產過程中刮板上的掉落谷物會引起傳感器誤觸發，使得測量精度下降。付興蘭等[23-24]采用漫反射式光電開關測算脈沖信號寬度，使用編碼器實時測量升運器轉速，可以相對準確得到谷物的厚度，田間測產誤差約為3.5%。安曉飛等[25]在處理漫反射式傳感器數據時提出了雙閾值動態濾波處理方法，使得數據平滑度提高，變異系數降低，測產誤差約為3.5%，但仍存在誤觸發問題。

因此，為解決光電式測產系統誤觸發問題，該文設計了基于線結構光源和機器視覺的谷物結構光測產系統，采用電感式接近開關代替光電開關，可以準確觸發相機進行拍照，有效避免了由于掉落谷物引起的誤觸發問題。使用基于最近鄰的圖像去噪算法有效去除了圖像噪點。通過修正的結構光測量模型精確地測量谷物厚度，根據容重和谷物體積模型計算出谷物質量。最后，基于自行設計的試驗臺對系統的準確性和穩定性進行驗證。

1 谷物測產系統設計

基于圖像處理的谷物測產系統結構如圖1所示，主要由工業相機（型號為大恒MER-131-210U3X）、線結構光發生器（型號為FU650AB-GD16）、電感式接近開關（型號為PML1816-N，PNP型）和工控機（型號為Intel NUC7i5BNK，圖中未畫出）組成。考慮到需要測量谷物堆積的厚度，將結構光發生器與相機置于同一高度，如圖1a所示。考慮到相機前方窗口尺寸、相機與刮板距離以及相機的視角限制，經過調整發現，結構光發生器和相機之間的距離在30～40 mm之間最佳。由于在使用過程中，需要調整接近開關的位置以獲得位置居中的圖像，將接近開關安裝裝置設計成可調整的結構，以便調整接近開關在豎直方向的位置，如圖1b所示。線結構光發生器安裝位置如圖1c所示，測產傳感器安裝位置如圖1d所示。在實際測量時，傳感器和接近開關分別安裝在升運器兩側。

1. 工業相機 2. 線結構光發生器 3. 接近開關4. 鏈輪 5.鏈條 6. 升運器 7. 谷物 8. 線結構光發生器安裝位置 9. 刮板 10. 相機和線結構光發生器

1. Industrial camera 2. Linear structured light generator 3. Proximity switch 4. Chainwheel 5. Chain 6. Elevator 7. Grain 8. Installing position of linear structured light generator 9. Scrapper 10. Camera and structured light generator.

注：表示線結構光發生器與升運器外側的距離，mm；為2刮板之間的距離，mm；為升運器與水平面的夾角，(°)。

Note:is the distance between the structured light generator and the outer edge of the elevator, mm;is the distance between two scrappers, mm;is the angle between the elevator and the horizon, (°).

圖1 測產傳感器的組成及安裝圖

Fig.1 Composition of yield sensor and its installing diagram

2 谷物測產系統工作原理

2.1 谷物堆積體積計量模型

聯合收割機上目前已廣泛應用的輸糧裝置主要有螺旋式、刮板式、斗式和拋扔式4種。本文研究的測產系統主要針對刮板式輸糧裝置，因此對刮板尺寸和刮板上谷物堆積體積模型進行介紹。通過試驗觀察發現，谷物在刮板上的形狀如圖2a所示，刮板平面尺寸圖如圖2b所示。

注:L、B和H分別表示刮板的長，寬和厚度，mm； m和n分別表示刮板上鏈條區域的長度與寬度，mm；x表示刮板厚度和結構光發生器處谷物厚度之和。

令表示刮板厚度和結構光發生器安裝處谷物厚度之和，以下簡稱谷物厚度。刮板上谷物的瞬時體積可以表示為

式中1表示刮板體積（包括鏈條部分）與谷物中規則長方體體積之和，m3；2表示谷物上方楔形的體積（包括鏈條部分），m3；3表示刮板體積，m3；4表示鏈條部分所占的體積，m3；可分別計算如下：

將（2）代入（1）并整理可得：

式中為與谷堆形狀有關的斷面模量[24]，理論分析中為刮板的實際面積，即有：

式中0為與、、、、相關的常數項。由此可知，此時刮板上谷物的體積與谷物厚度成線性關系。因此可以通過對谷物厚度進行測量即可得到刮板上的谷物體積。最終可以計算得到刮板上谷物的質量為

式中表示第次采樣，為谷物容重，kg/m3；m為刮板上的谷物質量，kg。由每一時刻刮板上谷物質量可求出谷物的累計產量為

式中M為谷物累計產量，kg。為了獲得準確的模型參數，需要通過試驗來標定出各參數，以得到谷物產量和谷物厚度的關系式。

假設每個時刻測得的割寬為b（m），收割機的行駛速度為v（m/s），獲取數據的間隔時間為Δ（s）。可以算出產量為

式中表示產量，kg/hm2。

2.2 線結構光測量原理

利用相機進行工業測量屬于計算機視覺技術的應用[26-27]。計算機視覺是利用相機的二維圖像來構建三維世界的研究，結構光測量技術是一種主動立體視覺測量技術[28]。若使用單目相機，通常只能獲取被拍攝物體的二維信息，為了得到刮板上谷堆的三維信息，從而測量出刮板上谷物厚度，本傳感器采取了線結構光測量技術，線結構光測量原理如圖3a所示。

注：P為被測量物體結構光光條上的任意一點；P￠為P的像點；P0和P1分別為被測量物體上的最高點和最低點；P￠0和P￠1分別為P0和P1的像點；UOV表示相機的像素坐標系；XO￠Y表示圖像坐標系；XcOcYc表示相機坐標系。

線結構光發生器和相機構成結構光傳感器的主要部件。一般來說，測量過程包含3個步驟:

1）標定，包括相機內參和光平面方程的標定。

2）線結構光發射器將光束投射到被測量物體表面，使用相機采集結構光條紋圖像。

3）提取結構光條紋中心，并計算特征點的三維坐標。

假設相機內參矩陣為

根據小孔成像模型，可得相機坐標系下特征點(x,y,z)與其對應的像素坐標(,)之間的關系為

可得約束條件:

進一步假設結構光平面在相機坐標系下（、、、為參數）的方程為:

由式（10）、（11）可得特征點在相機坐標系下的三維坐標為

如圖3b所示，記谷物光條上的最高點和最低點分別為0和1，根據（12）可計算出0和1的坐標，由圖1中相機的安裝方式可知，相機主軸垂直于升運器外表面，且圖像平面坐標系的軸垂直于刮板平面，因此可以計算出谷物厚度為

在標定試驗完成的基礎上，將測出的谷物厚度代入到式（5），即可算出當前刮板上的谷物重量，根據式（6）、（7）即可算出谷物產量。

3 谷物測產系統工作流程

谷物測產系統的總體檢測流程如圖4a所示。相機拍攝刮板上谷堆的圖像，首先需要準確對刮板進行定位。當刮板經過接近開關時，接近開關將觸發相機實時記錄刮板上谷堆的圖像，并傳輸到工控機進行處理，輸出產量數據。工控機對圖像的處理流程如圖4b所示，首先需要去除圖像中的背景，升運器內部圖像背景比較固定，通過掩模預處理去除大部分的無關部分。

由于升運器內部為半封閉環境，光照情況很差，本傳感器中的線結構光發生器在進行三維測量的同時充當了光源，若不使用結構光發生器，由單個相機獲取的圖片通常無法計算出被測物體三維信息，且圖片為黑色，無法分辨谷物和刮板。在不使用線結構光發生器的情況下，補光之后拍攝的升運器內部圖片如圖5a所示。在實際的刮板上谷物的照片如圖5b所示（為了便于觀看，圖像已做反色處理，下同）。先進行背景去除操作，再進行二值化操作，結果如圖5c所示。可見圖中右上方的孤立的黑色區域即為噪點（已用圓圈圈出），這些噪點是從刮板和升運器縫隙之間落下的谷粒或者秸稈，需要除去才能計算谷物的厚度，否則將造成較大的誤差。本文使用基于最近鄰的噪點去除算法[29]，可以有效去除圖像中的噪點。觀察刮板上谷物的圖像發現，由散落谷物引起的圖像噪點多集中在圖像的右上方部分，因此每次在進行處理的時候，只需要將圖像的右上方設為ROI區域，這樣可以大大縮短處理時間。通常噪點的外接圓半徑較小，因此對半徑做一個限制，以免誤處理，本文中將半徑閾值設為30。噪點去除之后的結果如圖5d所示。接下來對光條進行搜索可以找到光條上的最高點和最低點（已用圓圈圈出）。

圖4 測產傳感器的總體工作流程

a. 未使用線結構光時的圖像 a. Image without using linear structured lightb. 使用線結構光時的圖像 b. Original image using linear structured light c. 預處理之后的圖 c. Image after preprocessingd. 去除噪點之后的圖像 d. Image after denoising

4 試驗與結果分析

4.1 試驗設備及試驗過程

試驗在自主設計的谷物流量試驗臺上進行，試驗臺位于上海交通大學機械與動力工程學院實驗室，試驗時間為2019年1月5日，試驗臺如圖6所示。試驗臺主要由伺服電機（型號為臺達ASD-B2- 1521，功率為1.5 kW）、升運器、重量傳感器（型號為ZNHM-III，量程為0～50 kg）以及稱重糧筒組成，主要測試在正常工作情況下谷物測產系統的穩定性與精度。試驗時，糧食從入口處進入，入口處可以通過調節開口大小控制糧食的喂入快慢，糧食在攪龍和刮板的帶動下從升運器口流出到稱重糧箱，安裝在升運器上的傳感器將監測糧食產量，同時在稱重糧箱下方布置了重量傳感器，實時監測實際產量，以測試系統的測量精度。

為了能得到實時的數據，基于Qt平臺，使用C++語言為試驗臺開發了測試軟件，軟件界面如圖6c所示。軟件采用RS232串口通訊，采樣周期為100 ms，可以實現實時顯示谷物產量、升運器轉速，控制升運器轉速，進行基本參數設置和數據存儲的功能。

圖6 試驗臺及測試軟件

4.2 刮板厚度測量試驗

4.2.1 相機標定和結構光參數標定

為獲得相機的內參矩陣和結構光平面方程，需對相機和結構光平面在相機坐標系下的方程進行標定，分別采用Zhang的平面靶標標定法[30]和基于三點透視模型的標定方法[31]。標定后的相機內參矩陣和結構光平面方程分別為

式中x表示線結構光平面方程是在相機坐標系下位置。

4.2.2 刮板厚度測量數據

為測試結構光測量谷物厚度的準確性和穩定性，制作了2個谷堆模型，厚度分別為21.8和33.4 mm，并在不同的轉速度下進行測量。采用和刮板材質相同的橡膠，使用3M膠固定在刮板上運轉，以模擬不同的谷物厚度。考慮到聯合收割機在收割谷物過程中會經歷啟動、掉頭、停車和卸糧等過程，升運器速度會出現較大的變化。例如在正常收割的時候升運器轉速為200～500 r/min，在啟動和卸糧完成的時候轉速為0。因此控制升運器速度為60、180、300、420和540 r/min 5個轉速水平，每個轉速下進行5次重復試驗，分別記錄刮板厚度（即空載時）和其他厚度的測量數據。

對刮板圖像預處理完成之后，首先需要提取結構光光條的中心，再搜索光條上的最高點0和最低點1，根據（13）和（14）的標定結果和式（11）計算出0和1在相機坐標系下的三維坐標。再根據式（13）計算出刮板的厚度。表1為刮板厚度測量試驗數據，刮板空載時的實際厚度為10 mm，在刮板上放上谷堆模型之后的厚度分別為21.8和33.4 mm。

由表1未修正的谷堆模型厚度測量數據可以看出整體測量誤差介于0到1.1%之間，且轉速越大，誤差越大。通過查看實際刮板圖像發現，隨著轉速的增加，刮板上的結構光光條長度越長，對應的刮板厚度測量值也會偏大，造成這個現象的主要原因是：本試驗采用的是CMOS相機，而CMOS相機通常采用滾動快門，在曝光時使用的是逐行曝光的方式。當刮板經過接近開關時，接近開關產生觸發信號，相機從接收到觸發信號開始曝光到曝光結束需要一定的時間。在曝光的過程中，由于刮板及刮板上的谷物仍在運動，因此會造成結構光圖像產生拉長畸變，且這種畸變會隨著刮板的轉速越快而越大。在實際使用相機測量的時候應考慮到被測物體的運動，因此需對式（13）計算出的谷物厚度進行修正。考慮到實際測量的結果與速度相關，且隨著結果的增大，測量結果均偏大，提出修正公式如下：

式中Δ()為修正量，與刮板轉速相關，x表示修正后的厚度測量值。對刮板空載時厚度測量誤差與轉速之間的最小二乘擬合，得到兩者之間的關系為

對刮板空載時厚度測量誤差與轉速之間的最小二乘擬合如圖7所示。進一步計算得到線性相關系數為0.988 9，這表明測量誤差與速度之間存在很高的線性相關性。

采用修正之后的模型，對不同厚度進行測量的誤差最大為0.33%，相比較未修正之前的1.1%有了較大的提高。

4.3 室內臺架測產試驗

升運器轉速較低時，谷物會在升運器底部積聚過多而引起攪龍堵轉。因此在實際收割的時候，聯合收割機升運器的轉速一般較高，通常在100 r/min以上。因此為測試系統在不同的轉速下的測產精度，選擇120、240、360和480 r/min 4個轉速水平在試驗臺上進行試驗，每個轉速下重復試驗5次，取平均測產結果。使用接近開關檢測刮板是否經過指定位置，觸發相機進行拍照，傳輸到工控機進行處理。工控機在圖像處理過程中采用基于最近鄰的圖像去噪算法對圖像進行處理，再根據結構光測量方法計算出谷物厚度的精確值，由式（5）計算出刮板上谷物的質量，根據式（6）計算出谷物累計產量，最后根據式（7）可得到產量。為驗證修正的結構光測量方法的效果，進行了測產對比試驗，同時記錄未使用修正方法和使用修正方法的測量數據，試驗結果如表2所示。由表2數據可知：在轉速為120、240、360和480 r/min 4個轉速下，未使用修正方法的谷物測產誤差介于-0.59%和12.73%之間，使用修正方法的谷物測產誤差介于-3.5%和4.27%之間，表明使用修正方法的測產系統在不同轉速下均具有較高的檢測精度。

表1 刮板厚度測量試驗數據

圖7 刮板厚度測量誤差與升運器轉速最小二乘擬合曲線

表2 測產試驗數據表

4.4 討 論

通過試驗結果可知，未作修正之前的測產誤差超過了10%，修正之后的誤差只有4.27%，這說明影響本測產系統的主要因素為刮板上谷物厚度的測量精度。試驗中發現，圖像噪點處理的不完全有可能造成谷物厚度測量值偏大，從而導致谷物質量測量值偏大，需要進一步提高噪點處理算法的穩定性來消除這一影響。由于刮板與升運器之間有縫隙，會有少部分谷粒受到振動影響從縫隙之間掉落，導致實際測量結果偏小，這是由于升運器內部結構引起的，可通過將傳感器安裝在離出口較近的位置來減小這一影響。若使用光電式傳感器，掉落的谷粒會造成傳感器的誤觸發，因而造成傳感器出現測量誤差，測產誤差通常超過10%，且誤差波動較大。由于容重是事先測定的，刮板上谷物的容重有可能不等于測量容重，結果是產量測量值與產量實際值之間相差一個比例系數，但這一影響在標定之后會消除。

5 結 論

本文使用接近開關檢測刮板的運動，觸發相機進行拍照，使用基于最近鄰的噪點去除算法進行圖像處理，使用修正的線結構光測量模型得到精確的谷堆厚度，根據谷物幾何模型和容重計算出谷物的質量。根據上述方案的傳感器在自主設計的試驗臺上分別在120、240、360、480 r/min 4個轉速下進行了測產試驗，使用修正方法的測產誤差介于–3.50%和4.27%之間，表明傳感器具有較高的檢測精度，滿足實際測產需要。

[1] Reyns P, Missotten B, Ramon H. et al. A review of combine sensors for precision farming[J]. Precision Agriculture, 2002, 3(2):169－182.

[2] 汪懋華. “精細農業”發展與工程技術創新[J]. 農業工程學報，1999，15(1)：1?8. Wang Maohua. Development of precision agriculture and innovation of engineering technologies[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 1999, 15(1): 1－8. (in Chinese with English abstract)

[3] Koichi Shoji, Munenori Miyamoto. Improving the accuracy of estimating grain weight by discriminating each grain impact on the yield sensor[J]. Precision Agriculture, 2014, 15(1): 31－43.

[4] Burks T F, Shearer S A, Fulton J P, et al. Effects of time- varying inflow rates on combine yield monitor accuracy[J]. Applied Engineering in Agriculture, 2004, 20(3): 269－275.

[5] Fulton P, Sobolik J, Shearer A, et al. Grain yield monitor flow sensor accuracy for simulated varying field slopes[J]. Applied Engineering in Agriculture, 2009, 25(1): 44－48.

[6] 馬朝興，李耀明，徐立章. 聯合收割機谷物流量傳感器的現狀與分析[J]. 農機化研究，2008(7)：74－76. Ma Chaoxing, Li Yaoming, Xu Lizhang. Present status and analysis of grain flow sensor of combine harvester[J]. Journal of Agricultural Mechanization Research, 2008(7): 74－76. (in Chinese with English abstract)

[7] Stuart J Birrell. Comparison of sensors and techniques for crop yield mapping[J]. Computer and Electronics in Agriculture, 1996, 14(2/3): 215－233.

[8] 王志海，王沛東，孟志軍，等. 谷物聯合收割機測產技術發展現狀與展望[J]. 農機化研究，2014(1)：9－15. Wang Zhihai, Wang Peidong Meng Zhijun, et al. The summary and prospect of the grain combine harvester yield monitor system technology[J]. Journal of Agricultural Mechanization Research, 2014(1): 9－15. (in Chinese with English abstract)

[9] 陳樹人，張文革，李相平，等. 沖量式谷物流量傳感器性能實驗研究[J]. 農業機械學報，2005，36(2)：82－84. Chen Shuren, Zhang Wenge, Li Xiangping, et al. Experiment research of grain mass flow sensor based on impact[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005, 36(2): 82－84. (in Chinese with English abstract)

[10] 周俊，周國祥，苗玉彬，等. 懸臂梁沖量式谷物質量流量傳感器阻尼設計[J]. 農業機械學報，2005，36(11)：121－123. Zhou Jun, Zhou Guoxiang, Miao Yubin, et al. Damping design of impact-based grain yield sensor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005, 36(11): 121－123. (in Chinese with English abstract)

[11] 周俊，劉成良. 平行梁沖量式谷物質量流量傳感器信號處理方法[J]. 農業工程學報，2008，24(1)：183－187. Zhou Jun, Liu Chengliang. Signal processing method for impact-based grain mass flow sensor with parallel beam load cell[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(1): 183－187. (in Chinese with English abstract)

[12] 叢秉華，周俊. 雙平行梁谷物流量傳感器振動噪聲消除方法[J]. 傳感技術學報，2013, 26(3)：377－381. Cong Binghua, Zhou Jun. Vibration noise elimination for a grain flow sensor of dual parallel beam load cells[J]. Chinese Journal of Sensors and Actuators, 2013, 26(3): 377－381. (in Chinese with English abstract)

[13] 劉成良，周俊，苑進，等. 新型沖量式谷物聯合收割機智能測產系統[J]. 中國科學：信息科學，2010，40(增刊1)：230－235. Liu Chengliang, Zhou Jun, Yuan Jin, et al. Yield monitor system based on impact-based grain mass sensor[J]. Science China Information Sciences, 2010, 40(Supp.1): 230－235. (in Chinese with English abstract)

[14] 陳巡洲. 沖量式谷物流量傳感器研究[D]. 上海：上海交通大學，2009. Chen Xunzhou. Research on Impact-based Grain Yield Sensor[D]. Shanghai: Shanghai Jiao Tong University, 2009. (in Chinese with English abstract)

[15] 胡均萬，羅錫文，阮歡，等. 雙板差分沖量式谷物流量傳感器設計[J]. 農業機械學報，2009，40(4)：69－72. Hu Junwan, Luo Xiwen, Ruan Huan, et al. Design of a dual- plate differential impact-based yield sensor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(4): 69－72. (in Chinese with English abstract)

[16] 胡均萬，羅錫文，陳樹人，等. 聯合收割機產量傳感器振動信號影響分析與消除方法[C]//2008年中國農業機械學會論文集，2008：857－860. Hu Junwan, Luo Xiwen, Chen Shuren, et a1. Analysis the effects of vibration signal on combine yield sensor[C]//2008 Annual Conference of Chinese Society of Agricultural Machinery, 2008: 857－860. (in Chinese with English abstract)

[17] Blackmore S. The Role of Yield Maps in Precision Farming[D]. England:Cranfield University, 2003.

[18] 張惠莉. 面向康拜因收獲過程的谷物流量在線實時測量方法的研究[D]. 北京：中國農業大學，2002. Zhang Huili. Research of Grain Yield Real-time Monitoring Method Towards Combine Harvester[D]. Beijing: China Agricultural University, 2002. (in Chinese with English abstract)

[19] 張惠莉，王剛，辛立國，等.射線谷物流量在線測量試驗系統的研究[J]. 萊陽農學院學報，2005，22(3)：216－218. Zhang Huili, Wang Gang, Xin Liguo, et al. The Research for the Grain-Flow-Measurement System on Real Time Based- ray Sensor in Laboratory[J]. Journal of Laiyang Agricultural College, 2005, 22(3): 216－218. (in Chinese with English abstract)

[20] 張小超，胡小安，張愛國，等. 基于稱重法的聯合收獲機測產方法[J]. 農業工程學報，2010，26(3)：125－129. Zhang Xiaochao, Hu Xiaoan, Zhang Aiguo, et al. Method of measuring grain-flow of combine harvester based on weighing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(3): 125－129. (in Chinese with English abstract)

[21] 李偉，張小超，胡小安，等. 聯合收獲機稱量式測產系統軟件設計[J]. 農業機械學報，2011，42(增刊1)：94－99. Li Wei, Zhang Xiaochao, Hu Xiaoan, et al. Design of intelligent yield monitoring software for combine harvester[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(Supp.1): 94－99. (in Chinese with English abstract)

[22] 王要武，徐剛，肖鐵軍，等. 聯合收割機谷物流量測試裝置和性能研究[J]. 農業機械學報，1993，24(2)：42－48. Wang Yaowu, Xu Gang, Xiao Tiejun, et al. Monitoring the grain flow on combines device and performance study[J]. Transactions of the Chinese Society for Agricultural Machinery, 1993, 24(2): 42－48. (in Chinese with English abstract)

[23] 付興蘭，張兆國，安曉飛，等. 光電漫反射式聯合收割機谷物產量計量系統研發與性能試驗[J]. 農業工程學報，2017，33(3)：24－30. Fu Xinglan, Zhang Zhaoguo, An Xiaofei, et al. Development and performance experiment on grain yield monitoring system of combine harvester based on photoelectric diffuse reflectance[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(3): 24－30. (in Chinese with English abstract)

[24] 付興蘭. 基于光電漫反射原理的谷物產量監測系統研發及試驗[D]. 昆明：昆明理工大學，2017.Fu Xinglan. Design and Experiment on Grain Yield Monitoring System Based on Photoelectric Diffuse Principle[D]. Kunming: Kunming University of Science and Technology, 2017. (in Chinese with English abstract)

[25] 安曉飛，付興蘭，孟志軍，等. 光電信號與收割機谷物產量數據轉換模型的構建與驗證[J]. 農業工程學報，2017，33(增刊1)：36－41. An Xiaofei, Fu Xinglan, Meng Zhijun, et al. Grain yield data transformation model based on photoelectric principle and its validation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 36－41. (in Chinese with English abstract)

[26] 游素亞，徐光祐. 立體視覺研究的現狀與進展[J]. 中國圖象圖形學報，1997，2(1)：17－24. You Suya, Xu Guangyou. State of the art and future the development of stereo vision[J]. China Journal of Image and Graphics, 1997, 2(1): 17－24. (in Chinese with English abstract)

[27] 馬頌德，張正友. 計算機視覺：計算理論與算法基礎[M]. 北京：科學出版社，1998.

[28] 李帥. 主動式結構光的立體視覺方法研究[D]. 杭州：浙江工業大學，2012. Li Shuai. Active Stereo Vision Method Research Based on Structured Light[D]. Hangzhou: Zhejiang University of Technology, 2012. (in Chinese with English abstract)

[29] 王楠. 基于KNN的改進算法研究及其在圖像去噪的應用[D]. 桂林：廣西師范學院， 2016. Wang Nan. Research of Improved Algorithm Based on KNN and Its Application in Image Denoising[D]. Guilin: Guangxi Normal University, 2016. (in Chinese with English abstract)

[30] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 22(11): 1330－1334.

[31] 韓建棟，呂乃光，董明利，等. 線結構光傳感系統的快速標定方法[J]. 光學精密工程，2009，17(5)：949－963. Han Jiandong, Lü Naiguang, Dong Mingli, et al. Fast method to calibrate structure parameters of line structured light vision sersor[J]. Optics and Precision Engineering, 2009, 17(5): 949－963. (in Chinese with English abstract)

Development of yield monitoring system with high-precision based on linear structured light source and machine vision

Yang Gang, Lei Junbo※, Liu Chengliang, Tao Jianfeng

(200240,)

Gaining the precise yield information of a certain area is an important factor to assess the grain yield and the planting effects. Grain yield measurement system is one of the key techniques of the precision agriculture, and is also the foundation of realizing precision management. Because of the gap (around 10 mm) between the scrapper and the elevator, grains might be dropping through the gap and therefore triggers the yield sensor based on photoelectric sensor wrongly, so the generated result will not be accurate. Aiming at avoiding the problem mentioned above, a yield monitoring system based on linear structured light source and machine vision is developed. The yield sensor is made up of industrial camera, line structured light generator, proximity switch and industrial computer. When scraper passes the proximity switch in a certain position which can be adjusted, proximity switch will sense its move, which will generate a signal to trigger the industrial camera to capture the image at that time. Since proximity switch used in this sensor is based on inductance sensed, the leaky grain through the gap between the scrapper and the elevator will not trigger the switch, and the camera will be triggered correctly only by the signal of the proximity switch. A grains accumulation volume model is established to calculate the volume of the grains on the scrapper. The thickness of the grain on the scrapper is measured, after the calculation model of thickness is calibrated, the volume can be calculated according to the model established before. The computer is used to process the real-time image where the dropping grain will become noise. In order to eliminate all the noise in the image, K-Nearest Neighbor (KNN) algorithm is proposed, in which the basic idea is to move those area far away from the surroundings. The experimental result shows that this method works effectively. The grain accumulation volume then can be calculated if the thickness of the grain can be calculated precisely. A measuring method for the thickness based on linear structured light is proposed. According to the volume weight measured in advance, the yield can be calculated. Grain models of the same material of scrapper are made to simulate different grain thickness. And the actual grain thickness are 10.0, 21.8 and 33.4 mm. The experiment of the thickness calculation of the scrapper (with no grains) and grain model under different speeds (60, 180, 300, 420, 540 r/min) is carried out, and the results show that the error is between 0 and 1.1%. The error is bigger while the speed is faster, the reason for which is the image capture mode of rolling shutter of the CMOS camera. Rolling shutter is a method of image capture in which a still picture (in a still camera) or each frame of a video (in a video camera) is captured not by taking a snapshot of the entire scene at a single instant in time but rather by scanning across the scene rapidly, either vertically or horizontally. When the scrapper passes the proximity switch, the switch will trigger the camera to take the shot. During the time in which the camera take the shot, the scrapper is still moving, which will cause the distortion of the image, and the distortion will be worse while the scrapper moves faster. A modified for thickness calculation is proposed to fix the distortion, and the final measuring result error is less than 0.33%, much better than original 1.1%, which means the modification model is accurate and stable. At last, the experiment of the real-time yield monitoring is carried out on the self-designed experiment platform under different speeds using the methods and the devices mentioned above. The experiment results show that the measurement error is between 3.5% and 4.27%. This research provides a reference for yield monitoring.

monitoring; systems; machine vision; grain; yield sensor; precision agriculture; image processing

2019-01-26

2019-02-18

國家重點研發計劃（2016YFD0702001）；國家重點研發計劃（2016YFD0700105）；新進教師啟動計劃項目（18X100040003）

楊 剛，博士生，主要從事計算機視覺研究。Email：1449381582@qq.com

雷軍波，助理研究員，主要從事智能農業裝備研究。Email：jblei@sjtu.edu.cn

10.11975/j.issn.1002-6819.2019.08.003

S126

A

1002-6819(2019)-08-0021-08

楊 剛，雷軍波，劉成良，陶建峰.基于線結構光源和機器視覺的高精度谷物測產系統研制[J]. 農業工程學報，2019，35(8)：21－28. doi：10.11975/j.issn.1002-6819.2019.08.003 http://www.tcsae.org

Yang Gang, Lei Junbo, Liu Chengliang, Tao Jianfeng. Development of yield monitoring system with high-precision based on linear structured light source and machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 21－28. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.08.003 http://www.tcsae.org