基于高速DSP深度視頻幀內(nèi)編碼的農(nóng)機(jī)導(dǎo)航系統(tǒng)設(shè)計

伍 坪，秦彩杰

(三明學(xué)院 機(jī)電工程學(xué)院，福建 三明 365004)

0 引言

由于農(nóng)田作業(yè)環(huán)境的復(fù)雜性，基于電子地圖的農(nóng)機(jī)導(dǎo)航系統(tǒng)相對抽象且缺乏沉浸感，不能夠滿足農(nóng)機(jī)作業(yè)的需求[1-3]。為使導(dǎo)航效果更加直觀和生動，可以基于定位視頻的農(nóng)機(jī)導(dǎo)航思路，對原來的農(nóng)機(jī)導(dǎo)航系統(tǒng)進(jìn)行升級改造，從而達(dá)到直觀精準(zhǔn)導(dǎo)航的目的[4-5]。采用視頻定位方法可以實現(xiàn)農(nóng)機(jī)的實時定位和自主導(dǎo)航，其核心是建立定位視頻數(shù)據(jù)庫，然后利用相對目標(biāo)位置信息對目標(biāo)進(jìn)行空間搜索，實現(xiàn)路線和目標(biāo)的指引[6-10]。但是,在視頻處理時，由于視頻的數(shù)據(jù)量較大，采用一般的方法很難實現(xiàn)，而采用深度視頻內(nèi)編碼技術(shù)可以有效地降低視頻的處理量，通過圖像邊界檢測算法和編碼可以得到的清晰位置索引，為農(nóng)機(jī)導(dǎo)航系統(tǒng)提供了新的數(shù)據(jù)處理技術(shù)支持[11-13]。

1 基于DSP視頻編碼技術(shù)的農(nóng)機(jī)導(dǎo)航系統(tǒng)

近年來，由于3D電影、電視和多種新媒體設(shè)備的出現(xiàn)，3D視頻在各個行業(yè)都得到了深遠(yuǎn)的發(fā)展，其處理技術(shù)也發(fā)展迅速[14-16]。3D視頻系統(tǒng)包括視頻的采集、傳輸、編碼、解碼及顯示功能模塊，對于3D視頻導(dǎo)航系統(tǒng)，如果采用彩色視頻則會出現(xiàn)處理量過大的問題，而采用深度視頻由于其信息量較小，降低了編碼和傳輸?shù)碾y度，從而將其使用在農(nóng)機(jī)實時導(dǎo)航系統(tǒng)中[17]。基于這種思想，本次提出的農(nóng)機(jī)導(dǎo)航系統(tǒng)基本框架結(jié)構(gòu)如圖1所示。

圖1 基于深度視頻內(nèi)編碼的農(nóng)機(jī)導(dǎo)航系統(tǒng)Fig.1 Agricultural navigation system based on depth video coding

在傳統(tǒng)的農(nóng)機(jī)導(dǎo)航系統(tǒng)中，采用局部視頻導(dǎo)航存在信息量少和精度低等缺點，而采用DSP處理器可以實現(xiàn)視頻和圖像的大數(shù)據(jù)處理，從而提高農(nóng)機(jī)導(dǎo)航的精度[18-21]。采用深度視頻幀內(nèi)編碼技術(shù)可以有效地提高視頻和圖像數(shù)據(jù)的處理速度，結(jié)合這些技術(shù)構(gòu)成導(dǎo)航系統(tǒng)，其導(dǎo)航的基本流程如圖2所示。

農(nóng)機(jī)導(dǎo)航系統(tǒng)的硬件搭建主要是DSP處理器和FPGA協(xié)同處理器，軟件部分采用基于PC的視頻處理器，可以完成視頻的深度處理和深度視頻的幀內(nèi)編碼，通過圖像位置的標(biāo)定，完成目標(biāo)位置信息識別和導(dǎo)航路徑的規(guī)劃。

圖2 農(nóng)機(jī)視頻實時導(dǎo)航基本流程Fig.2 The basic flow of video real-time navigation of agricultural machinery

2 農(nóng)機(jī)實時導(dǎo)航深度視頻幀內(nèi)編碼DSP圖像處理器設(shè)計

通過視頻幀內(nèi)編碼，可以實時地剔除模糊圖像，得到高清的標(biāo)定圖像，為精確導(dǎo)航提供依據(jù)[22-23]。在視頻幀內(nèi)編碼之前，需要對視頻進(jìn)行深度處理，通過處理后得到的深度視頻紋理簡單，為了實現(xiàn)幀內(nèi)編碼，首先對視頻進(jìn)行邊緣檢測，得到深度圖像的幀內(nèi)信息[24-26]。假設(shè)深度圖像在水平方向和垂直方向的梯度值分別為hx(i,j),hy(x,y)，最終的梯度信息為ht(i,j)，其表達(dá)式為

ht(i,j)=max(hx(i,j),hy(x,y))

(1)

深度視頻的處理是通過計算機(jī)軟件獲取的，存在估計不準(zhǔn)確的部分，為了剔除估計不準(zhǔn)確的部分，本次采用自適應(yīng)最大類間方差方法提取邊界像素，通過幀內(nèi)編碼標(biāo)記邊界和不確定模糊邊界，自適應(yīng)閾值為

Ta=argmax{w0w1(u0-u1)2，0≤T≤255}

(2)

其中，w0、w1分別表示邊界和不確定模糊邊界的出現(xiàn)頻率；u0、u1表示邊界和不確定模糊邊界像素均值。通過多次實驗發(fā)現(xiàn)，采用自適應(yīng)閾值為Ta/2時，可以較好地對深度視頻的邊界進(jìn)行幀內(nèi)編碼，因此最終的邊界可以確定為

Tz={(i,j)|ht(i,j)>Ta/2,i∈[0,w),j∈[0,h)}

(3)

圖像二值化是指用灰度變換來研究灰度圖像的一種常用方法，即設(shè)定某一閾值將灰度圖像的像素分成大于閾值的像素群和小于閾值的像素群兩部分。例如輸人灰度圖像函數(shù)為f(x,y)，輸出二值圖像函數(shù)為g(x,y)，則

(4)

將視頻幀內(nèi)編碼后，可以實時的得到處理后的圖像，這些圖像可以為農(nóng)機(jī)的導(dǎo)航提供清晰的標(biāo)記。為了使作物和障礙物的標(biāo)記更加明確，可以對圖像進(jìn)一步進(jìn)行二值化編碼，采用的是Bernsen局部閾值法，假設(shè)圖像在像素點(i,j)處的灰度值為f(i,j)，考慮以像素點(i,j)為中心的(2ω+1)×(2ω+1)窗口，則Bernsen算法的具體過程如下：

首先，計算圖像中各個像素點(i,j)的閾值T(i,j)，則

(5)

然后，對圖像中各像素點(i,j)用b(i,j)值逐點進(jìn)行二值化，即

(6)

用I存儲灰度圖像的值，設(shè)I為N×M，把I邊界擴(kuò)展成(N+2)×(M+2) extend矩陣。Bernsen方法流程圖如圖3所示。

圖3 實時圖像的傳輸和控制過程Fig.3 Real time image transmission and control process

為了實現(xiàn)深度視頻的幀內(nèi)編碼，需要高速的DSP圖像處理系統(tǒng)，在DSP圖像處理系統(tǒng)中可以采用FPGA模塊，該模塊具有圖像數(shù)據(jù)緩存接受功能及控制圖像在各器件之間的傳輸?shù)裙δ埽渲袌D像的傳輸和控制過程如圖3所示。

FPGA在進(jìn)行實時圖像傳輸時，需要自身擁有如圖4所示的完備的邏輯功能， 這樣可以為其他的功能器件提供時鐘信號，其運(yùn)算速度要求較高，這樣才能滿足實時性的設(shè)計需求，軟件和硬件的兼容性也要求較高，這樣才能方便系統(tǒng)的調(diào)試。

圖4 實時圖像緩存編碼Fig.4 Real-time image transmission and control process

在進(jìn)行深度視頻幀內(nèi)編碼時，首先將視頻的第1幀緩存到圖像緩沖模塊1，在第2個周期將第2幀數(shù)據(jù)緩存到圖像緩沖模塊2上，同時將第1幀圖像發(fā)送到運(yùn)算處理器進(jìn)行邊界檢測和幀內(nèi)編碼，即發(fā)送給DSP;在第3個周期將第3幀圖像緩沖到圖像緩沖模塊1上，同時將圖像緩沖模塊2的圖像發(fā)送到處理器DSP進(jìn)行邊界檢測和幀內(nèi)編碼。從整個圖像處理系統(tǒng)來看，視頻和圖像的數(shù)據(jù)一直保持循環(huán)狀態(tài)，從而有效保證了導(dǎo)航的實時性。

3 農(nóng)機(jī)導(dǎo)航系統(tǒng)樣機(jī)實驗測試

為了測試深度視頻幀內(nèi)編碼的DSP圖像處理器在農(nóng)機(jī)實時導(dǎo)航上應(yīng)用的可行性，設(shè)計了農(nóng)機(jī)導(dǎo)航的實驗測試樣機(jī)。為了降低實驗的難度，采用了低矮植物作為導(dǎo)航追蹤對象，如圖5所示。

圖5 低矮作物農(nóng)機(jī)實時導(dǎo)航過程示意圖Fig.5 Schematic diagram of farm machinery real-time navigation in low crop

本測試以低矮作物作為研究對象，利用攝像機(jī)對作物和障礙物進(jìn)行攝像，并對實時獲得的視頻進(jìn)行深度視頻幀處理， 利用高速DSP和幀內(nèi)編碼技術(shù)對圖像進(jìn)行實時處理，其實驗樣機(jī)6所示。

圖6 導(dǎo)航實驗測試樣機(jī)Fig.6 The navigation test prototype

高清相機(jī)安裝在樣機(jī)的最前段，DSP圖像高速處理器系統(tǒng)安裝在機(jī)身部位。在實際的導(dǎo)航作業(yè)時，實驗樣機(jī)通過對攝像機(jī)實時得到的圖像視頻處理，標(biāo)定低矮作物和障礙物的具體位置，從而劃定自主導(dǎo)航路線，實現(xiàn)自主導(dǎo)航功能。三維視頻圖像編碼過程，如圖7所示。

圖7 三維視頻圖像編碼過程Fig.7 Three dimensional video coding process

利用深度視頻幀處理技術(shù)，將視頻進(jìn)行圖像色彩處理和圖像標(biāo)記，利用幀內(nèi)編碼可以對實時得到的模糊圖像進(jìn)行篩選，最終得到高清的作物和障礙物標(biāo)的圖，作為路徑規(guī)劃的依據(jù)。本次測試得到的自主導(dǎo)航路徑規(guī)劃圖如圖8所示。

利用DSP高速圖像處理可以對圖像進(jìn)行實時處理，在得到高清圖像的同時，標(biāo)定作物和障礙物的位置，最終得到預(yù)設(shè)導(dǎo)航線，從而實現(xiàn)了農(nóng)機(jī)的自主導(dǎo)航過程。

圖8 農(nóng)機(jī)導(dǎo)航路徑規(guī)劃結(jié)果圖Fig.8 The result diagram of navigation path planning in agricultural machinery

4 結(jié)論

為了實現(xiàn)現(xiàn)代化農(nóng)機(jī)的實時導(dǎo)航定位，提出了一種基于視頻定位技術(shù)的導(dǎo)航系統(tǒng)，并采用視頻深度處理技術(shù)和深度視頻編碼技術(shù)對實時導(dǎo)航采集信息進(jìn)行處理，從而解決了實時采集大數(shù)據(jù)量視頻的快速處理問題。采用DSP處理器提高了圖像的編碼和邊界檢測速度，采用FPGA協(xié)同處理器提高了整個系統(tǒng)的協(xié)同性，采用VGA接口實現(xiàn)了導(dǎo)航信息的實時顯示。測試結(jié)果表明：采用該導(dǎo)航系統(tǒng)可以完成作物和障礙物信息的清晰標(biāo)定，并完成導(dǎo)航路徑的規(guī)劃，為現(xiàn)代農(nóng)機(jī)導(dǎo)航的設(shè)計提供了一種新的技術(shù)支持。

[1] 李元,何小海,鐘國韻,等.一種基于時域相關(guān)性的高性能視頻編碼快速幀間預(yù)測單元模式判決算法[J].電子與信息學(xué)報,2013,35(10):2366-2370.

[2] 沈燕飛,李錦濤,朱珍民,等.高效視頻編碼 [J].計算機(jī)學(xué)報,2013,36(11):2341-2355.

[3] 繩偉光,蔣劍飛,何衛(wèi)鋒.高性能 DSP 的發(fā)展現(xiàn)狀與未來趨勢[J].中國集成電路,2011(4):20-25.

[4] 丁有源,汪安民.基于多核任務(wù)并行處理的DSP軟硬件設(shè)計[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用,2012(8):43-45.

[5] 熊光明.服務(wù)機(jī)器人發(fā)展綜述及若干問題探討[J].機(jī)床與液壓，2007, 25(3): 212-215.

[6] 韓立偉,徐德.基于直線和單特征點的移動機(jī)器人視覺推算定位法[J].機(jī)器人, 2008, 30(1): 79-90.

[7] 朱大奇,顏明重.移動機(jī)器人路徑規(guī)劃技術(shù)綜述[J].控制與決策, 2010, 25(7): 961-967.

[8] 夏梁盛,嚴(yán)衛(wèi)生.基于柵格法的移動機(jī)器人運(yùn)動規(guī)劃研究[J].計算機(jī)仿真, 2012, 29(12): 229-233.

[9] 于振中,閆繼宏.改進(jìn)人工勢場法的移動機(jī)器人路徑規(guī)劃[J].哈爾濱工業(yè)大學(xué)學(xué)報, 2011, 43(1): 50-55.

[10] 唐曉強(qiáng),賴惠成.形態(tài)學(xué)結(jié)構(gòu)元素選取算法的研究[J].通訊技術(shù), 2010, 43(7): 161-162.

[11] 顧寶興,姬長英,王海青,等.智能移動水果采摘機(jī)器人設(shè)計與試驗[J].農(nóng)業(yè)機(jī)械學(xué)報,2012,43(6):153- 160.

[12] 李文鳳,彭智勇,李德毅，等.不確定性Top-k查詢處理[J].軟件學(xué)報,2012,23(6):1542-1560.

[13] 張曉輝,李瑩,王華勇,等.應(yīng)用特征聚合進(jìn)行中文文本分類的改進(jìn)KNN算法[J].東北大學(xué)學(xué)報,2003,24 (3):229-233.

[14] 王海青,姬長英,顧寶興,等.基于機(jī)器視覺和支持向量機(jī)的溫室黃瓜識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2012,43(3): 163-167.

[15] 王輝,毛文華,劉剛,等.基于視覺組合的蘋果作業(yè)機(jī)器人識別與定位[J].農(nóng)業(yè)機(jī)械學(xué)報,2012,43(12): 165-170.

[16] 魏澤鼎,賈俊國,王占永.基于視覺傳感器的棉花果實定位方法[J].農(nóng)機(jī)化研究,2012,34(6):66-68,112.

[17] 高春城.我國農(nóng)業(yè)發(fā)展的資源環(huán)境問題與展望[J].當(dāng)代生態(tài)農(nóng)業(yè),2013(4):151-154.

[18] 萬寶瑞.當(dāng)前我國農(nóng)業(yè)發(fā)展的趨勢與建議[J].農(nóng)業(yè)經(jīng)濟(jì)問題,2014(1):110-114.

[19] 徐茂,鄧蓉.國內(nèi)外設(shè)施農(nóng)業(yè)發(fā)展比較[J].北京農(nóng)學(xué)院學(xué)報,2014,29(2):75-79.

[20] 趙其國.當(dāng)前我國農(nóng)業(yè)發(fā)展中存在的深層次問題及對策[J].生態(tài)環(huán)境學(xué)報,2013,22(6):911-915.

[21] 趙其國,黃國勤,王禮獻(xiàn).中國生態(tài)安全、農(nóng)業(yè)安全及“三農(nóng)”建設(shè)研究[J].農(nóng)林經(jīng)濟(jì)管理學(xué)報,2014, 13(3):237-243.

[22] 袁挺,紀(jì)超,陳英,等.基于光譜成像技術(shù)的溫室黃瓜識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2011,42(增刊):172-176.

[23] 熊俊濤,鄒湘軍,陳麗娟,等.采摘機(jī)械手對擾動荔枝的視覺定位[J].農(nóng)業(yè)工程學(xué)報,2012,28(14):36-41.

[24] 郭杰鋒,陳桂林.結(jié)構(gòu)元素選取對基于形態(tài)學(xué)紅外點目標(biāo)檢測的影響[J].半導(dǎo)體光電,2009,30(3):469- 472.

[25] 陳曦,譚冠政,江斌.基于免疫遺傳算法的移動機(jī)器人實時最優(yōu)路徑規(guī)劃[J].中南大學(xué)學(xué)報：自然科學(xué)版, 2008, 39(3): 577-583.

[26] 呂繼東,趙德安,姬偉,等.采摘機(jī)器人振蕩果實動態(tài)識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2012,43(5):173-196.