山地果園鏈索運送裝備運動傳感系統(tǒng)設(shè)計

李 君，薛坤鵬，楊 洲，許堅聰，張倩倩

(華南農(nóng)業(yè)大學(xué) a.工程學(xué)院；b.南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點實驗室，廣州 510642)

?

山地果園鏈索運送裝備運動傳感系統(tǒng)設(shè)計

李 君a,b，薛坤鵬a,b，楊 洲a,b，許堅聰a，張倩倩a,b

(華南農(nóng)業(yè)大學(xué) a.工程學(xué)院；b.南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點實驗室，廣州 510642)

為獲取山地果園鏈索運送裝備工作過程中的牽引鏈索運動狀態(tài)，采用混合濾波算法設(shè)計了一種基于圖像實時采集技術(shù)的運動傳感系統(tǒng)。利用兩組高速工業(yè)相機(jī)對軸向運動的牽引鏈索進(jìn)行捕捉，通過Cortex-A9控制板融合混合濾波算法與自適應(yīng)閾值二值化對圖像進(jìn)行處理，實時識別牽引鏈索的空間位置變化。試驗結(jié)果表明：所設(shè)計的運動傳感系統(tǒng)可以快速準(zhǔn)確獲取鏈索運行狀態(tài)，圖像采集與處理的運算速度能夠滿足鏈索實時控制的要求。本研究為鏈索類運送裝備的運動采集與數(shù)據(jù)處理提供了參考。

山地果園；運動鏈索；圖像采集；混合濾波算法；自適應(yīng)閾值二值化

0 引言

鏈索運送裝備在復(fù)雜地形條件下鋪設(shè)靈活，能夠滿足山地丘陵果園貨物運輸?shù)男枨螅玫綇V泛應(yīng)用[1-4]。但牽引鏈索在軸向行進(jìn)過程中處于非穩(wěn)態(tài)，會不可避免地產(chǎn)生橫向周期性激振，進(jìn)而可能造成果品和農(nóng)資脫鉤、系統(tǒng)部件機(jī)械損傷和撞擊加劇等現(xiàn)象[5-6]。為了對鏈索縱橫向振動進(jìn)行特性研究和控制，利用傳感技術(shù)實時獲取鏈索的振動狀態(tài)具有重要的意義。Moon和Wickert[7]用激光干涉測量手段研究了傳動帶的偏心振動。李濱城[8]等利用OptoNCTD2000型激光測振儀分析了機(jī)床帶傳動裝置的橫向振動特性及影響因素。時彧等[9]用激光位移傳感器研究了稀土永磁體輔助金屬帶的非線性受迫振動。隨著計算機(jī)和圖像處理技術(shù)的發(fā)展，機(jī)器視覺技術(shù)的研究和應(yīng)用已擴(kuò)展到農(nóng)業(yè)工程領(lǐng)域，發(fā)達(dá)國家在農(nóng)業(yè)生產(chǎn)自動化方面已經(jīng)使用機(jī)器視覺技術(shù)來實現(xiàn)對作業(yè)對象的識別和管理[10]，國內(nèi)一些科研院所基于機(jī)器視覺開始在農(nóng)產(chǎn)品分級、農(nóng)業(yè)機(jī)器人動作規(guī)劃、植物生長參數(shù)檢測和播種機(jī)排種性能測試等方面展開了研究[11]。雖然果園貨運鏈索與傳動帶都具有類似柔性行進(jìn)弦線的結(jié)構(gòu)特征，但鏈索結(jié)構(gòu)特征及激勵條件與傳送帶不同，鏈節(jié)的空心環(huán)狀結(jié)構(gòu)及寬跨度鏈索的大振幅都會使鏈索脫離點狀激光測振儀的探測范圍，相比較而言圖像采集技術(shù)更適合用于鏈索的運動特性捕捉。本文利用工業(yè)相機(jī)對山地果園鏈索運送裝備的牽引鏈索進(jìn)行定點拍攝，通過Cortex-A9的單片機(jī)控制板對拍攝的圖像進(jìn)行處理，獲取鏈索的空間位置，進(jìn)而得到運動鏈索的運動參數(shù)信息，以期為貨運鏈索的振動特性分析及運行控制提供一種可靠的數(shù)據(jù)采集方法。

1 傳感系統(tǒng)設(shè)計

果園鏈索運送裝備運動傳感系統(tǒng)由兩個高速工業(yè)相機(jī)和Cortex-A9的單片機(jī)控制板組成，如圖1所示。系統(tǒng)選用大影數(shù)字工業(yè)相機(jī)Z30A，數(shù)據(jù)采集速度為150幀/s，圖像分辨率為640×480像素。工業(yè)相機(jī)采集的圖像通過USB接口輸入到iTOP-4412開發(fā)板(北京迅為電子有限公司)的Cortex-A9圖像處理器中，處理器核心單元為嵌入式四核處理器Exynos4412(三星公司)。

圖像處理環(huán)境為基于Cortex-A9微處理器硬件平臺上搭建的嵌入式系統(tǒng)，先構(gòu)建產(chǎn)生目標(biāo)代碼的arm-linux-gcc交叉編譯環(huán)境，再移植合適的Bootloader以及Linux內(nèi)核，建立根文件系統(tǒng)Rootfs。高速工業(yè)相機(jī)的驅(qū)動程序需根據(jù)大影數(shù)字工業(yè)相機(jī)Z30A對現(xiàn)有的LinuxUVC進(jìn)行改編并加載到Linux內(nèi)核里。當(dāng)需要驅(qū)動工業(yè)相機(jī)時，上層圖像處理應(yīng)用程序通過V4L2圖像采集接口函數(shù)來調(diào)用驅(qū)動程序來獲取工業(yè)相機(jī)狀態(tài)信息、設(shè)置工業(yè)相機(jī)參數(shù)并進(jìn)行圖像采集。

貨運鏈索軸向行進(jìn)過程中，兩個工業(yè)相機(jī)分別將鏈索水平和豎直方向上的振動圖像通過USB發(fā)送給基于Cortex-A9的圖像處理器；圖像處理器分別對兩個工業(yè)相機(jī)的圖像進(jìn)行處理，獲取鏈索的像素偏移量并進(jìn)行對比計算，從而獲取鏈索的實時位置信息，存儲下來或者發(fā)送出去以供使用。

圖1 運動傳感系統(tǒng)Fig.1 Motion sensing system

2 圖像處理算法

圖像處理上層應(yīng)用程序需對工業(yè)相機(jī)采集到的每一幀彩色圖像轉(zhuǎn)化為灰度圖像，然后進(jìn)行混合濾波計算和自適應(yīng)閾值二值化處理，最后在二值化處理后的黑白圖像中識別到鏈索并進(jìn)行位置計算。具體過程如圖2所示。

圖2 圖像處理流程Fig.2 Flow chart of image processing

由于中值濾波可以消除圖像中的奇點，而自適應(yīng)閾值二值化處理需要對圖像進(jìn)行均值濾波，因此本文提出將中值和均值進(jìn)行混合的濾波算法。

若待處理灰度圖像的寬、高分別為W和H，Pi,j表示位于圖像第i行第j列的像素點，濾波核的行寬、列高分別為M、N，則Pm,n點的濾波核Km,n如圖3所示。

W、H.圖像的寬和高 Pi,j.圖像第i行第j列的像素點M、N.濾波核的行寬和列高 Pm,n位于濾波核中心圖3 Pm,n點濾波核Km,n示意圖Fig.3 Filtering kernel Km,n at Pm,n point

傳統(tǒng)算法里，中值濾波需對濾波核中所有像素點的灰度值進(jìn)行相互比較和排序，然后取中間值作為該像素點的灰度值，單個像素點的計算復(fù)雜度為O((M×N)×(M×N-1)/2)。均值濾波要求濾波核中所有像素點灰度值的算術(shù)平均值作為該點的灰度值，單個像素點的計算復(fù)雜度為O(M×N)，所以傳統(tǒng)算法的效率會隨著濾波核尺寸的增加而降低。

為提高運算效率，本文設(shè)計的中值-均值混合濾波算法采用核分解方法，把濾波核分解成長度為N的列向量，如圖4所示。

圖4 列向量示意圖Fig.4 The column vector scheme

進(jìn)行中值濾波時，先對每個列向量中像素點的灰度值進(jìn)行大小排序，把每列的中值和排列順序分別存儲到長度為W的緩存數(shù)組Buff_a和N×W的二維緩存數(shù)組Buff_b中，然后再對該點濾波核每列所對應(yīng)Buff_a中的灰度值進(jìn)行大小排序并存儲到長度為M的緩存數(shù)組Buff_c中，且取中值作為該像素點的灰度值；對下一個相鄰的像素點進(jìn)行濾波時，根據(jù)濾波核沿行滑動時與相鄰核之間的遞歸關(guān)系，只需對新加的列向量的中值進(jìn)行排序存儲并更新Buff_c即可得到相應(yīng)濾波值；下一相鄰行的濾波運算利用濾波核換行時鄰行緩存數(shù)組間的遞歸關(guān)系，剔除Buff_b中不屬于新行像素濾波核的元素，只對新加入的元素進(jìn)行排序計算，重復(fù)上述運算即可得到該相鄰行的濾波值。

當(dāng)均值濾波計算時，對Buff_b對應(yīng)像素點的灰度值進(jìn)行求和并存儲到長度為W的緩存數(shù)組Buff_d中，然后再對該濾波核對應(yīng)Buff_d中灰度值進(jìn)行求和后再除以濾波核的尺寸即可得出該點的濾波值，見式(1)；對下一個相鄰的像素點進(jìn)行濾波時，根據(jù)濾波核沿行滑動時與相鄰核之間的遞歸關(guān)系，設(shè)計出濾波核對應(yīng)均值的遞歸公式(2)，再利用濾波核換行時鄰行緩存數(shù)組間的遞歸關(guān)系，設(shè)計出緩存數(shù)組更新遞歸公式(3)，從而完成均值濾波過程。

(1)

Buff_d(n+1+a)

(2)

Buff_d′(j)=Buff_d(j)-Sgi-b,j+Sgi+1+b,j

(3)

其中，m,i=0,1,…,H-1；n,j=0,1,…,W-1；Dagm,n為Pm,n的濾波值；Sgi,j為Pi,j點的灰度值；Buff_d(j)為第j個列向量中所有像素點灰度值之和；Buff_d’(j)為計算下一行濾波值時更新后的Buff_d(j)；a=(M-1)/2；b=(N-1)/2。

中值-均值混合濾波算法的數(shù)組更新示意圖和算法流程如圖5所示。

圖5 混合濾波算法Fig.5 Hybrid filtering algorithm

整個圖像中值濾波算法的計算復(fù)雜度C1為

N×(N-1)/2×W+(N-1)×W×(H-1)

=(M+N-2)×W×H+(M-2)×

(M-1)/2×H+(N-2)×(N-1)/2×W

≈(M+N-2)×W×H

(4)

由式(4)可知：中值濾波算法對單個像素點的計算復(fù)雜度為O(M+N-2)。

整個圖像均值濾波的計算復(fù)雜度C2為

C2=(W-1)×H×2+H×N+W×N+

W×2×(H-1)≈W×H×4

(5)

因此，中值濾波算法對單個像素點的計算復(fù)雜度為O(4)。

單一濾波算法和混合濾波算法的復(fù)雜度進(jìn)行比較，如表1所示。

表1 不同濾波算法復(fù)雜度對比表

與單一濾波算法相比，混合濾波算法大大減少了計算步驟，算法效率得到提高，運算速度加快，且其效率不隨濾波核尺寸的增加而變化。中值計算時，選取每一列中值再進(jìn)行排序得到的濾波值不一定是所有濾波核中像素灰度值的中值，選取的濾波值會存在一定的概率，則

(6)

其中，Φ(x)為偏差值為x時的概率值。當(dāng)濾波核的寬M和高N無窮大時，a×b會趨于無窮，Φ(x)會成為正態(tài)分布函數(shù)。

若M、N均為5，可選取的中值范圍和概率如圖6所示。由圖6可知：本文提出的中值濾波算法得到的值為所有濾波核像素灰度中間一定范圍內(nèi)的值，且越靠近準(zhǔn)確中值被篩選到的概率越大，達(dá)到了消除奇點的目的。

圖6 中值濾波算法結(jié)果概率分布Fig.6 Probability distribution of median filtering algorithm

二值化處理是將灰度圖像每個像素點的灰度值設(shè)置為0或255，即將整個圖像呈現(xiàn)出明顯的黑白效果。因環(huán)境影響，鏈索在圖像的不同區(qū)域亮度不同，從而會有不同的二值化閾值，如圖7所示。

圖7 圖像灰度受光照影響Fig.7 Effect of light on image gray level

若整個圖像用單一的閾值進(jìn)行二值化處理，容易導(dǎo)致鏈索特征信息缺失，如圖8所示。

圖8 單一閾值處理的二值化效果Fig.8 Image binarization with single threshold

因此，本文采用根據(jù)局部亮度來劃分閾值的自適應(yīng)閾值二值化算法。為了提高運算速度，減少比較運算，圖像二值化運用了查表法，步驟如下：

1)根據(jù)估計的初始閾值制作閾值查表list[]；

2)將灰度圖像的灰度值與均值濾波后的灰度值作差，并加上255，作為閾值表的查表序號；

3)把查表結(jié)果賦值給二值化圖像。

灰度圖像進(jìn)行自適應(yīng)閾值二值化后，圖像中灰度值大于濾波值的像素點視為局部前景，灰度值小于濾波值的像素點視為局部背景，從而將圖中不同亮度的索鏈與背景分離出來。

由于鏈索為長條形狀，均值濾波過程中濾波核的寬M和高N會對鏈索的處理效果產(chǎn)生影響。若濾波核的寬與鏈索的長度方向平行，當(dāng)M×N分別為11×3和3×11時，未經(jīng)過中值處理的灰度圖像進(jìn)行自適應(yīng)閾值二值化效果如圖9所示；經(jīng)過中值處理的灰度圖像在M×N=3×11時，處理效果如圖10所示。

圖9 均值濾波的圖像自適應(yīng)閾值二值化處理結(jié)果Fig.9 Results of image binarization with mean filtering using

different filter kernels

圖10 混合濾波后的圖像自適應(yīng)閾值二值化處理結(jié)果Fig.10 Image binarization with hybrid filtering

對比圖9(a)、(b)可知：當(dāng)濾波核尺寸較長方向的與鏈索長度方向垂直時，均值濾波后圖像二值化的效果比較好。對比圖9和圖10可知：中值濾波可以消除鏈索邊緣的毛刺。

混合濾波與自適應(yīng)閾值二值化算法配合使用消除了光照對鏈索局部亮度的影響以及鏈索邊緣的毛刺，使圖像的二值化達(dá)到了理想的效果。

3 鏈索空間位置計算

圖像坐標(biāo)系統(tǒng)中圖像的左上角為坐標(biāo)原點，橫坐標(biāo)從左到右遞增，縱坐標(biāo)從上到下遞增。

圖像中的鏈索橫向放置，設(shè)置若干縱向的采樣線，對每條采樣線從兩端向中間逐個判斷像素的灰度值是否為黑，分別取上下兩邊第1個識別到的黑色像素坐標(biāo)值作為此采樣線處鏈索的邊緣位置，再對這兩個邊緣的坐標(biāo)值取平均，得到此采樣線位置鏈索中點的坐標(biāo)值。若遇到鏈索的掛鉤或者掛載的貨物時，該采樣線上下邊緣坐標(biāo)值之差會比較大。對于垂直方向的圖像，需要通過計算該圖像其他采樣線處鏈索的寬度像素值，將此采樣線位置上邊緣的坐標(biāo)值加上鏈索寬度像素的1/2即可估算出鏈索中點的坐標(biāo)值；對于水平方向的圖像，需要判斷貨物兩端位置處鏈索的中點位置，對其求平均來估算該采樣線位置鏈索中點的坐標(biāo)，處理方法如圖11所示。

分別對兩個工業(yè)相機(jī)拍攝的圖像處理得到鏈索在水平和豎直方向上的位置，由于兩個工業(yè)相機(jī)垂直放置，建立描述鏈索位置的坐標(biāo)系如圖12所示。圖12中，高速工業(yè)相機(jī)1、2分別位于圖中y軸和x軸。

圖11 掛載貨物處理方法Fig.11 Position recognition of chain with cargo

圖12 鏈索空間位置參考坐標(biāo)系Fig.12 Refference coordinate system for chain spatial position

由圖12可得

(7)

其中，n1、n2分別為鏈索在x軸和y軸方向上的圖像位置；k為工業(yè)相機(jī)的比例系數(shù)，若工業(yè)相機(jī)與拍攝目標(biāo)之間的實際距離為l，k表示一個像素點對應(yīng)實際長度與l的比值，其值可通過標(biāo)定得出。

求解d1和d2，即鏈索在水平方向和豎直方向的實際位置。

4 運動傳感系統(tǒng)試驗

為檢驗所設(shè)計運動傳感系統(tǒng)的使用效果，選擇搭建在華南農(nóng)業(yè)大學(xué)工程學(xué)院的鏈索貨運樣機(jī)系統(tǒng)作為試驗對象。結(jié)合果園貨運生產(chǎn)實際，設(shè)置空載、負(fù)載及周期性外界激勵等3種試驗工況，運動傳感系統(tǒng)采集處理得到的鏈索橫向位移如圖13所示。

圖13 運動傳感系統(tǒng)試驗結(jié)果Fig.13 Experimental results of motion sensing system

試驗結(jié)果表明：果園運送裝備鏈索運動傳感系統(tǒng)能夠準(zhǔn)確采集不同工況下鏈索空間位置的實時數(shù)據(jù)，采集處理速度能滿足行進(jìn)鏈索的振動特性分析及運行控制的運算需求。

5 結(jié)論

1)設(shè)計了一種基于Cortex-A9嵌入式處理器的山地果園鏈索運送裝備運動傳感系統(tǒng)，該系統(tǒng)能夠準(zhǔn)確采集不同工況下鏈索空間位置的實時數(shù)據(jù)，可以滿足行進(jìn)鏈索的振動特性分析及運行控制的運算需求，且體積相對較小，便于攜帶和安裝。

2)當(dāng)濾波核尺寸較長方向的與鏈索長度方向垂直時，均值濾波后圖像二值化效果比較好，中值濾波可以消除鏈索邊緣的毛刺。根據(jù)行進(jìn)鏈索的條狀圖像特征，本文提出了一種中值-均值的混合濾波算法。混合濾波算法與自適應(yīng)閾值二值化方法對亮度不同的鏈索圖像二值化的處理效果與濾波核的選取有關(guān)；與單一濾波算法相比，混合濾波算法在運行的效率和速度上具有明顯優(yōu)勢。

[1] 洪添勝，蘇建，朱余清，等.山地橘園鏈?zhǔn)窖h(huán)貨運索道設(shè)計[J].農(nóng)業(yè)機(jī)械學(xué)報，2011，42(6)：108-111.

[2] 文韜，洪添勝，朱余清，等.山地果園索道張緊調(diào)節(jié)自動控制裝置的設(shè)計[J].農(nóng)業(yè)工程學(xué)報，2011，27(6)：128-131.

[3] 文韜，洪添勝，蘇建，等.山地果園鏈?zhǔn)窖h(huán)貨運索道張緊力檢測裝置[J].農(nóng)業(yè)機(jī)械學(xué)報，2011，42(8)：80-84.

[4] 李震，盧加納，洪添勝，等.山地果園鋼絲繩牽引貨運機(jī)超聲波避障系統(tǒng)[J].農(nóng)業(yè)機(jī)械學(xué)報，2011，42(10)：116-120.

[5] 劉學(xué)濤. 軸向行進(jìn)索的振動和穩(wěn)定性分析[D].大連:大連理工大學(xué)，2006.

[6] 李君，李雪平，楊洲，等.果園鏈索系統(tǒng)橫向運動共振條件及頻率分析(英文)[J].農(nóng)業(yè)工程學(xué)報，2014，30(23)：50-57.

[7] J. Moon, JA Wiekert. Non-linear vibration of Power transmission belts[J].Jounral of Sound and Vibration,1997, 200(4): 419-431.

[8] 李濱城，Hrisch，Andreas，等. 機(jī)床帶傳動裝置的橫向振動及其影響因素[J]華東船舶工業(yè)學(xué)院學(xué)報：自然科學(xué)版，2004，18(6)：66-70.

[9] 時彧. 稀土永磁體輔助金屬帶傳動的非線性動力學(xué)研究[D].長沙:中南大學(xué)，2010.

[10] 刁智華，王會丹，魏偉.機(jī)器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J].農(nóng)機(jī)化研究，2014， 36(3)：206-211.

[11] 李曉斌，郭玉明.機(jī)器視覺高精度測量技術(shù)在農(nóng)業(yè)工程中的應(yīng)用[J].農(nóng)機(jī)化研究，2012，34(5)：7-11.Abstract ID:1003-188X(2017)06-0079-EA

Motion Sensing System of Chain Equipment for Hilly Orchard

Li Juna,b, Xue Kunpenga,b, Yang Zhoua,b, Xu Jianconga, Zhang Qianqiana,b

(a.College of Engineering, South China Agricultural University; b.Key Laboratory of Key Technology on Agricultural Machine and Equipment, Ministry of Education, South China Agricultural University, Guangzhou 510642, China)

To obtain the motion features of axial moving chain for hilly orchard, a motion sensing system based on the real-time image acquisition technology was developed. Two high speed industrial cameras were used for the image capture of moving chain. The Cotex-A9 control board was implemented to process the captured images using a hybrid filtering method and adaptive threshold binarization. The real-time spatial position of moving chain can be recognized and calculated. The experimental results showed that the proposed image acquisition system can quickly and accurately obtain the motion features of moving chain. The processing speed of image acquisition system can meet the requirements of real-time control for moving chain. This study provides a reference for the data acquisition and processing of orchard ropeway and chain system.

hilly orchard; moving chain; image acquisition; hybrid filtering; adaptive threshold

2016-05-09

國家自然科學(xué)基金項目(51205139)；農(nóng)業(yè)部農(nóng)業(yè)科研創(chuàng)新團(tuán)隊項目(農(nóng)辦人[2015]62號)

李 君(1978-)，男，湖南永州人，教授，博士，(E-mail)autojunli@scau.edu.cn。

楊 洲(1972-)，男，山西襄汾人，教授，博士，(E-mail)yangzhou@scau.edu.cn。

TP391.41 S229+. 1

A

1003-188X(2017)06-0079-06