礦用電纜卷放車智能追蹤系統(tǒng)設(shè)計

唐曉騫，陳偉華

(1.神華準(zhǔn)格爾能源有限責(zé)任公司，內(nèi)蒙古 準(zhǔn)格爾 010300；2.遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105)

目前在露天礦山中，電纜卷放車的發(fā)展還處于剛剛起步階段，部分礦山仍然采用自20世紀(jì)60 年代沿用至今的樣式和功能，屬于通用型的電纜卷放車，雖然能夠配合電鏟作業(yè)，但尾線電纜隨著電鏟的推進而被拖拽，電纜絕緣表層磨損嚴(yán)重，縮短了電纜的使用壽命。為了解決電纜在跟進過程中的磨損問題，電纜爬犁車得到了廣泛應(yīng)用。但在工作面松軟情況下，電鏟下沉?xí)斐呻娎|滾筒損壞，而且電纜爬犁車在作業(yè)過程中容易碾壓、刮損電纜，變通能力差，因此需要一款單獨的電纜卷放裝置，結(jié)合計算機視覺技術(shù)，能夠自動追蹤目標(biāo)電鏟。隨著計算機視覺技術(shù)的快速發(fā)展，視覺測量技術(shù)在工業(yè)應(yīng)用中發(fā)揮了重要作用[1]。基于視覺的系統(tǒng)通常分為2類：立體視覺[2]和單目視覺[3]。立體視覺能準(zhǔn)確計算偏移量和車距，但2個攝像頭之間需要校準(zhǔn)和匹配，執(zhí)行時間長且計算程度復(fù)雜。由于電鏟移動速度3 km/h，前進速度緩慢，單目視覺系統(tǒng)即可實現(xiàn)智能追蹤目標(biāo)電鏟。近年來目標(biāo)識別與追蹤技術(shù)成為廣大學(xué)者研究的重要方向，2019年，劉凱強等[4]利用圖像處理和機器學(xué)習(xí)，通過細(xì)胞追蹤揭示細(xì)胞行為以及細(xì)胞運動的特定規(guī)律，為疾病醫(yī)學(xué)研究提供可靠依據(jù)；2017年，譚雪峰[5]基于全方位的自主導(dǎo)航技術(shù)，提出了一種陸標(biāo)導(dǎo)航和運動目標(biāo)跟蹤系統(tǒng)的視覺伺服方案，開發(fā)了以 2GF 控制器為核心的全方位視覺圖像處理系統(tǒng)；2016年，段煉等[6]基于數(shù)字圖像處理和模糊模式識別等技術(shù)，對MCS云團進行有效的識別與追蹤；2015年，史紅梅等[7]基于機器視覺與嵌入式技術(shù)設(shè)計了異物侵限自年檢測系統(tǒng)，利用FPGA和ARM芯片實現(xiàn)了圖像采集處理硬件平臺。目前目標(biāo)識別與追蹤技術(shù)已經(jīng)應(yīng)用在智能車追蹤、醫(yī)學(xué)研究、衛(wèi)星云圖、人臉識別等[8-13]多個領(lǐng)域，露天礦山作為我國基礎(chǔ)產(chǎn)業(yè)，占據(jù)了國民經(jīng)濟中的重要地位[14]，但在此類技術(shù)應(yīng)用上相對較少。

基于此，本文設(shè)計一種專用于露天礦山的電纜卷放車智能追蹤系統(tǒng)。該系統(tǒng)包括圖像采集與處理模塊、智能追蹤控制策略模塊、執(zhí)行模塊。圖像采集與處理模塊采用HSV顏色空間轉(zhuǎn)換算法[15]提取目標(biāo)電鏟特征；智能追蹤控制策略模塊采用偏移量和車距估計方法獲取目標(biāo)電鏟相對于電纜卷放車的方向和距離；執(zhí)行模塊控制電纜卷放車的前進、后退、調(diào)速、停止，實現(xiàn)對目標(biāo)電鏟的智能追蹤。

1 總體方案

系統(tǒng)總體方案如圖1所示，該方案包括圖像采集與處理模塊、智能追蹤控制策略模塊以及執(zhí)行模塊。工作流程：①FPGA配置OV5640攝像頭參數(shù)，捕獲攝像頭采集的圖像信息。經(jīng)卡爾曼濾波后，將采集的圖像轉(zhuǎn)換到HSV顏色空間，提取目標(biāo)電鏟圖像特征，并將處理好的圖像特征數(shù)據(jù)存儲在片外SDRAM中；②通過DSP的XINTF接口獲取處理好的圖像數(shù)據(jù)，利用DSP平臺自帶的內(nèi)部乘法器，計算目標(biāo)電鏟相對于電纜卷放車的偏移量和車距信息；③利用MAX485通信將控制信號發(fā)送給執(zhí)行模塊，再由PLC將控制命令下發(fā)給驅(qū)動器，實現(xiàn)電纜卷放車跟隨目標(biāo)電鏟同步行進，使純機械式的拖拽電纜引發(fā)的安全問題得以解決，切實改善采裝環(huán)節(jié)電纜移設(shè)作業(yè)流程。

圖1 系統(tǒng)總體方案Fig.1 Overall scheme of system

2 系統(tǒng)硬件

2.1 OV5640攝像頭

圖2 攝像頭接口電路Fig.2 Circuit of camera interface

2.2 圖像處理器FPGA

為了處理攝像頭龐大的圖像數(shù)據(jù)，系統(tǒng)需要一款并行處理且速度快的圖像處理器。考慮到芯片內(nèi)部資源以及開發(fā)成本，采用FPGA芯片EP4CE6F17C8作為該系統(tǒng)圖像處理的核心控制單元。EP4CE6F17C8內(nèi)部包含6 272個邏輯單元，最大用戶輸入/輸出數(shù)量達179個，內(nèi)存270 Kbit，具有高處理速度、可靠性強等優(yōu)點，滿足系統(tǒng)要求。FPGA最小系統(tǒng)電路如圖3所示。

圖3 FPGA最小系統(tǒng)電路Fig.3 FPGA minimum system circuit

2.3 外部存儲器SDRAM

由于圖像數(shù)據(jù)量較大，而FPGA的內(nèi)部存儲器只有270 Kbit，因此選用SDRAM 進行像素點數(shù)據(jù)存儲，存儲芯片選擇HY57V2562GTR，存儲容量達到16 M×16 bit。該系列存儲芯片運行速度最大為200 MHz，滿足圖像數(shù)據(jù)存儲容量以及快速性的要求(圖4)。

圖4 外部存儲器SDRAMFig.4 External memory SDRAM

2.4 數(shù)據(jù)處理器DSP

考慮到數(shù)據(jù)處理器主要負(fù)責(zé)計算偏移量和相對距離，算法復(fù)雜，計算量大，因此采用DSP芯片TMS320F2812(圖5)，它作為專門計算的微處理器，擁有獨立的累加器及加法器，一個周期內(nèi)可同時完成相乘及累加運算，同時提供了4位的PLL倍率選擇，可動態(tài)改變CPU的頻率，采用數(shù)據(jù)和程序分離的哈佛結(jié)構(gòu)，執(zhí)行指令速度更快，能夠滿足系統(tǒng)的快速計算要求。

圖5 DSP最小系統(tǒng)電路Fig.5 DSP minimum system circuit

2.5 MAX485通信

本系統(tǒng)需要將控制信號由DSP發(fā)送給PLC，考慮到在露天礦山環(huán)境工作，信號容易受到氣候、噪聲影響，因此采用MAX485芯片，其具有通信距離遠(yuǎn)、傳輸速率高、抗噪聲干擾性好等優(yōu)點，適合于露天礦山惡劣的工作環(huán)境。MAX485通信電路如圖6所示。

圖6 MAX485通信電路Fig.6 MAX485 communication circuit diagram

3 目標(biāo)電鏟識別與追蹤

3.1 目標(biāo)識別

目標(biāo)識別工作主要由FPGA完成，在圖像傳輸過程中，可能混入一些無用的信息，為了最大程度還原圖像數(shù)據(jù)的真實信息，需要對圖像進行處理，基本流程如下：攝像頭獲取目標(biāo)電鏟圖像信息，經(jīng)過卡爾曼濾波去除噪聲后，利用HSV顏色轉(zhuǎn)換算法提取目標(biāo)電鏟圖像特征，得到最接近真實值的圖像數(shù)據(jù)。目標(biāo)識別流程如圖7所示。

圖7 目標(biāo)識別流程Fig.7 Target recognition flow

3.2 目標(biāo)追蹤

以目前露天礦山中使用的WK-55 電鏟為例，此電鏟高度近22m，相當(dāng)于7層樓房的高度，電纜卷放車高度近5 m，二者車距限制為20 m。由于電纜卷放車和電鏟高度差很大，攝像頭需要以一定角度仰視電鏟，因此本文提出了基于仰視拍攝的偏移量和車距估計方法。

3.2.1 偏移量估計

2.量化評價方式的確定。量化評審的關(guān)鍵是要針對不同項目，采用不同的評價方式，增強評審的客觀性和準(zhǔn)確性。在依據(jù)層次分析模型設(shè)計的評價指標(biāo)中，有些指標(biāo)主觀性強，分辨率較低，不易量化，屬于定性指標(biāo)，如職業(yè)道德、理論功底、實踐創(chuàng)新能力、崗位責(zé)任、業(yè)績貢獻等指標(biāo)，運用模糊數(shù)學(xué)原理進行模糊評價，進行等級量化賦分，實現(xiàn)二次量化。有些指標(biāo)規(guī)定的比較清晰具體，標(biāo)準(zhǔn)明確，客觀性與可比性強，屬于定量指標(biāo)，如學(xué)歷、資歷、計算機應(yīng)用能力、外語水平、榮譽稱號與技術(shù)稱號、年度考核、送審論文審核答辯、發(fā)表論文專著、獲獎成果與重大項目等，直接定量計分。

攝像頭拍攝的目標(biāo)電鏟水平視角如圖8所示。

圖8 目標(biāo)電鏟水平視角示意Fig.8 Horizontal view of target shovel

在圖8中，O為攝像頭鏡頭的中心點，實線OG為攝像頭光軸，P1、P2分別為電鏟車左右邊緣上的一點，φ1為電鏟車左邊緣相對于攝像頭光軸的偏移角，同理φ2為電鏟車右邊緣相對于攝像頭光軸的偏移角，OC、OD為攝像頭的水平視野角。g為像平面的中心點，p1、p2為對應(yīng)的像平面上電鏟車左右邊緣上各一點，k、j為像平面水平方向端點。

文獻[16]所述的幾何推導(dǎo)法在X軸方向能推導(dǎo)出XP和xp的映射關(guān)系，但此法僅限于俯視拍攝路面，對于仰視拍攝目標(biāo)物體映射情況沒有相關(guān)推導(dǎo)。本文在文獻[8]基礎(chǔ)上，結(jié)合目標(biāo)電鏟實際，推導(dǎo)出在攝像頭仰視情況下XP和xp的映射關(guān)系，進而推導(dǎo)出目標(biāo)電鏟偏移量算法。

目標(biāo)電鏟水平視角立體模型如圖9所示。

圖9 目標(biāo)電鏟水平視角立體模型Fig.9 Three dimensional model of horizontal view of target electric shovel

y軸垂直于地面方向，x軸平行于地面方向，h為攝像頭距地面高度，L為電纜卷放車到目標(biāo)電鏟的水平距離，具體計算過程如下：

SGF=L[tan(γ-π/2)-tan(γ-π/2-α)]

(1)

(2)

(3)

在ΔUFM和ΔUGJ中，由相似可得：

(4)

(5)

可得：

(6)

(7)

當(dāng)檢測到目標(biāo)電鏟像平面點坐標(biāo)p1=(xp1，yp1)，p2=(xp2，yp2)，可得中心點坐標(biāo)p=(xp，yp)。

(8)

因此目標(biāo)電鏟偏移量為：

(9)

式中，攝像頭的水平視角為2β，垂直視角為2α，俯仰角為γ。L為電纜卷放車與目標(biāo)電鏟車的實際水平距離，W為像平面寬度，φ為攝像頭鏡頭與目標(biāo)電鏟車水平夾角。像平面點坐標(biāo)p1=(xp1，yp1)，p2=(xp2，yp2)，對應(yīng)的目標(biāo)電鏟坐標(biāo)為P1=(XP1，YP1)，P2=(XP2，YP2)。

3.2.2 實際距離估計

攝像頭拍攝的目標(biāo)電鏟垂直視角如圖10所示，y軸代表垂直于地面方向，O為攝像頭鏡頭的中心點，實線OG為攝像頭光軸，P3為電鏟車垂直方向上端點，OA、OB為攝像頭垂直視野角，g為像平面的中心點，p3為對應(yīng)的像平面上電鏟車垂直方向上端點，a、b為像平面垂直方向端點，h為攝像頭距地面高度，γ為攝像頭的俯仰角，L為電纜卷放車到目標(biāo)電鏟的水平距離。

通過攝像頭拍攝的目標(biāo)電鏟的垂直視角，經(jīng)過FPGA處理得到各點的坐標(biāo)信息，通過DSP的外部存儲器接口獲取處理好的圖像數(shù)據(jù)，得到電纜卷放車距目標(biāo)電鏟的實際工作距離，具體計算過程：

圖10 目標(biāo)電鏟垂直視角示意Fig.10 Vertical view of target shovel

(10)

(11)

式中，h為攝像頭距地面高度；H電鏟為電鏟的高度；γ為攝像頭的俯仰角；H為攝像頭相平面高度；像平面點坐標(biāo)p3=(xp3，yp3)；對應(yīng)目標(biāo)電鏟坐標(biāo)為P3=(XP3，YP3)；攝像頭的垂直視角為2α。

3.2.3 目標(biāo)追蹤流程

首先，OV5640攝像頭采集目標(biāo)電鏟圖像信息，F(xiàn)PGA識別目標(biāo)電鏟；然后，DSP通過外部接口獲取FPGA處理好的圖像數(shù)據(jù)，利用目標(biāo)電鏟偏移量及距離算法，得到目標(biāo)電鏟相對于電纜卷放車的偏移量及車距信息；最后，根據(jù)得到的實際距離以及偏移量，預(yù)判電纜卷放車下一步的行駛狀態(tài)，并將控制信號經(jīng)過MAX485通信發(fā)送給PLC，控制電機的驅(qū)動器，實現(xiàn)電機正轉(zhuǎn)或反轉(zhuǎn)、調(diào)速或者停止等操作，從而實現(xiàn)電纜卷放車跟隨目標(biāo)電鏟同步行進。智能追蹤流程如圖11所示。

4 系統(tǒng)平臺驗證

OV5640攝像頭與水平地面成一定角度仰視目標(biāo)電鏟，F(xiàn)PGA電路結(jié)合片外存儲器SDRAM，驗證礦用電纜卷放車智能追蹤系統(tǒng)識別目標(biāo)電鏟。DSP電路結(jié)合PLC控制電路，驗證該系統(tǒng)能夠追蹤目標(biāo)電鏟。

圖11 智能追蹤流程Fig.11 Intelligent tracking process

OV5640初始化關(guān)鍵程序：

OV5640_Init()

{

Show_Str(30，210，230，16，"OV5640 正常"，16，0)；//自動對焦初始化

RGB565_Mode()；//RGB565 模式

Focus_Init()；

Light_Mode()；//自動模式

Color_Saturation(3)；//色彩飽和度調(diào)節(jié)

Focus_Constant()；//啟動持續(xù)對焦程序

}

在追蹤過程中，分別調(diào)節(jié)攝像頭仰角為120°、135°，對電纜卷放車在勻速直行、轉(zhuǎn)彎跟蹤情況下進行多次測量實驗，測試結(jié)果見表1。

表1 實驗結(jié)果Tab.1 Results of tests

實驗結(jié)果表明，當(dāng)目標(biāo)電鏟勻速直行時，電纜卷放車與目標(biāo)電鏟車距基本穩(wěn)定，在要求值20 m左右浮動，誤差不超過2 m；當(dāng)目標(biāo)電鏟以一定角度轉(zhuǎn)彎時，電纜卷放車也能以相應(yīng)的角度偏轉(zhuǎn)，較好地追蹤目標(biāo)電鏟，實現(xiàn)了預(yù)期的功能。

5 結(jié)論

為了實現(xiàn)電纜卷放車自動追蹤目標(biāo)電鏟的功能，設(shè)計了一種專用于露天礦山的電纜卷放車智能追蹤系統(tǒng)。充分利用FPGA的高處理速度、可靠性強特點，結(jié)合HSV顏色空間轉(zhuǎn)換算法，實現(xiàn)對目標(biāo)電鏟的識別。并提出偏移量和車距估計方法，在DSP平臺上計算目標(biāo)電鏟相對于電纜卷放車的偏移量及實際車距，實現(xiàn)對目標(biāo)電鏟的智能追蹤。本設(shè)計不僅實現(xiàn)了電纜卷放車自動匹配目標(biāo)電鏟行進的功能，達到了預(yù)期的設(shè)計目標(biāo)，而且有利于推動礦山機電設(shè)備的智能化發(fā)展。