掘進機視覺導航系統嵌入式平臺研究與開發*

田原

(1. 中國煤炭科工集團 太原研究院有限公司， 山西 太原 030006；2. 山西天地煤機裝備有限公司， 山西 太原 030006)

0 引言

掘進工作面是煤礦井下作業環境最惡劣、事故發生率最高、作業人員最密集的場合之一，截割過程中產生的大量粉塵、噪音和安全隱患均對掘進機的自動化提出了迫切的要求，其中掘進機自動導航技術成為關鍵技術之一[1]。以掘進機自動導航技術為基礎，可實現掘進機斷面監視和自動截割，進而實現掘進機的遠程控制。

標準GB 50213—2010 《煤炭井巷工程質量驗收規范》中規定“井巷掘進坡度偏差不得超過±1‰”，“基礎掘進斷面規格的允許偏差為-25 mm～+150 mm”[2]，這一偏差指的是最終成型偏差，包含檢測偏差和執行偏差等部分。考慮到掘進機裝配精度、惡劣工況等因素，通常在執行環節會產生較大偏差，因此，掘進機定位檢測精度應達到厘米級，姿態和航向檢測精度應達到角分級。

視覺導航技術屬于基于光電技術的導航技術中的一類，其特點是導航系統分為兩部分：一部分作為檢測裝置如工業攝像機固定在巷道基準中；一部分作為信號發射裝置配置在掘進機機身上隨機身一起運動，或者反之，固定單元以經過標定的激光指向儀光束為基準，獲取運動單元即掘進機機身的空間位置姿態，隨著巷道的延伸而定期向前移位，是一種相對位置和相對姿態檢測[3-8]。在煤礦井下應用時，雖然存在一定的環境適應性問題，但視覺導航技術因其具有技術成熟、精度高、成本低等優點，具有較好的應用價值。視覺導航技術的關鍵是圖像處理和識別、導航解算等技術，其特點是海量數據的傳輸和處理。傳統的視覺導航技術以工控機為數據處理平臺，便攜性差，在煤礦井下應用時，這一問題尤為突出。

嵌入式技術方面，作為一種數字圖像、視頻、語音、音頻信號處理的新平臺，達芬奇技術集成了具有通用處理器功能的ARM 和具有高速處理功能的DSP，兩者有效結合，非常適合進行音視頻處理，可以很好地迎合市場上對高性能、實時的、移動數字媒體需求，有著廣泛的市場前景。同時在視頻監控[9]、目標識別[10]及智能跟蹤等領域，如何將嵌入式終端采集的數據實時發送到遠端上位機進行處理也是一個迫切需要解決的問題。文獻[11]～[14]均采用基于達芬奇技術系列芯片DM3730 處理器的解決方案，通過實時視頻數據采集、處理、編碼和傳輸，實現了不同的智能監控功能。

為了使掘進機視覺導航系統小型化、集成化，提高其可靠性以便于現場應用，在基于PC平臺的掘進機視覺導航系統的基礎上[15]，開發了基于ARM Cortex A8 CPU內核的集工業攝像機與圖像采集分析系統、無線數據傳輸等于一體的嵌入式平臺，并將基于Windows平臺，利用Visual C++開發的系統軟件移植到嵌入式平臺上，實現了掘進機視覺導航的功能。

1 嵌入式掘進機空間位姿檢測系統組成

嵌入式掘進機視覺導航系統由導航儀以及光靶兩部分組成，如圖1所示。光靶布置在掘進機機身上，由9個特征光源按照“田”字形排布形成，用于強化掘進機空間幾何特征。導航儀固定在掘進機后方巷道頂板上，用于確定檢測基準并獲取光靶的圖像，對圖像進行實時處理并計算導航儀與光靶之間的相對空間位置和姿態，從而獲得掘進機相對巷道設計基準的空間位置和姿態。嵌入式平臺包含在導航儀中，由圖像采集單元、數據分析單元(CPU)、存儲單元、無線數傳單元、電源單元、輸入輸出單元以及系統軟件等組成，用于采集并分析處理工業攝像機獲取的光靶圖像，解算掘進機導航參數并無線上傳至機載上位機。機載上位機實時接收來自導航儀的掘進機導航數據，用于掘進機遙控或掘進機斷面監視系統。

圖1 嵌入式掘進機視覺導航系統結構

2 掘進機視覺導航系統嵌入式平臺硬件開發

為提高性能，縮小體積，掘進機視覺導航系統嵌入式平臺采用“處理單元(CPU)+存儲器(MCP)+電源管理(PMIC)”最小系統模塊AP Module，配合一系列外擴芯片，實現視頻采集和通信等功能。

2.1 AP 模塊

AP模塊(Jorjin ATBN441JS)使用德州儀器(TI)ARM Cortex A8 CPU內核的 MPU DM3730，4GB DDR+4GB NAND Flash 的存儲器和高性能的電源管理芯片TPS65950 構建最小系統。DM3730微處理器由1GHz的ARM Cortex-A8 Core和800 MHz的TMS320C64x+ DSP Core兩部分組成，并集成了3D圖形處理器、視頻加速器(IVA)、USB 2.0、支持MMC/SD卡、串口等。ARM Cortex-A8處理器是基于ARMv7架構的應用處理器，用于多媒體和信號處理。相較于ARM11架構，Cortex-A8采用“雙指令執行”(dual-issue超標量)設計，每個時鐘周期可以執行兩個指令。MCP是AP模塊的存儲芯片，是NAND Flash 與 SDRAM DDR 二合一的存儲用芯片,大小均為512 MB,NAND Flash 通過GPMC總線實現數據訪問，而 DDR則使用 SDRAM Controller(SDRC)實現數據訪問。

2.2 外擴芯片

外擴芯片包括LAN9514、WG7310、TRS3253E、MAX3485、TVP5146M2等，主要用于IO接口擴展。

1) LAN9514 是一個高性能的高速USB 2.0集線器和 10/100以太網控制器。它可作為一種高性能、低成本 USB/以太網和 USB/USB 連接解決方案，并包含下行USB 接口和一個以太網口。它還整合了上行鏈路的USB 2.0 PHY、一個 10/100 以太網 PHY、一個 10/100 以太網控制器、 TAP 控制器和 EEPROM 控制器。嵌入式圖像處理平臺可通過直通網線連接到網絡 hub 上，也可用交叉網線與PC直接相連。

2) 板載(Wi-Fi+FM+BT)三合一通信模塊WG7310-0A是集成 Wi-Fi、BlueTooth 和 FM 的系統級封裝模塊。基于德州儀器 WL1271的 Wi-Fi(IEEE 802.11b/g/n)與 BT(V2.1+ EDR)的解決方案，提供Wi-Fi 和 BT共存互操作性和節能技術。

3) TRS3253E 支持 3 路發送信號和 5 路接收信號的 RS-232 接口設備， 對于混合電平信號有各自獨立的電源引腳。TRS3253E 適用于不同電平平臺串口輸出，可以兼容 1.8V 輸入/3.3V 輸入，RS-232 電平輸出，可以直接通過串口線連接PC。

4) MAX3485是一個可在惡劣環境中工作的低功耗RS-485/RS-422標準收發器。收發器的每個輸入和輸出端口都具有ESD保護防鎖閉結構，它包含一個驅動器和一個接收器：驅動器具有短路電流保護功能，并可通過熱關斷電路使輸出為高阻態來防止額外的功耗；接收器具有一個自動防故障裝置的特性，保證輸入開路時輸出一個邏輯高電位。芯片為限回轉率的收發器，具有使電磁干擾(EMI)最小化和減小錯誤終端電纜引起的反射的特性。允許無誤差數據的傳輸速率大于250 kbit/s。

5) TVP5146M2是一款專業的數字視頻解碼芯片，可以將模擬視頻信號進行數字化轉換為數字組合視頻。它能將NTSC、PAL、SECAM視頻信號轉換成數字分量視頻信號，適用于便攜式、高質量和高性能的視頻產品，比如個人視頻設備、數字電視移動電話電視等。

2.3 硬件接口

掘進機視覺導航系統嵌入式平臺接口包括電源輸入接口(U12)、TF卡接口(P1402)、串口接口(CN1、CN3)、RGB接口(CONN4)、以太網接口(L4)、天線接口(TRX1)、攝像頭信號輸入(TRX2)、RS-485接口(U10)、USB HOST接口(CN4、CN6、CN7、CN8)、按鍵(S401、S402)等。

3 掘進機視覺導航系統嵌入式平臺軟件開發

軟件基于Linux 2.6.37開發，需要在掘進機視覺導航系統嵌入式平臺上完成圖像循環采集、預處理、動態二值化、目標自動識別、多目標自動匹配、導航參數解算及無線傳輸、相關參數的動態存儲等功能。基于上述要求，軟件主程序主要實現3個功能：

1)控制攝像頭實時采集圖像。

2)以不低于10幀/s的速度分析處理圖像數據。

3)通過無線數傳模塊發送和接收數據。

軟件主程序包括圖像分析處理線程和服務器線程等線程，其流程分別如圖2～4所示。除主程序外，還設計了PC輔助調試程序，其流程如圖5所示。

圖2 主程序流程

圖3 圖像處理線程

圖4 服務器線程

圖5 調試服務器線程

該程序主要用來測試嵌入式平臺程序運行結果，通過和平臺采集傳輸程序建立socket通信，發送和接收相關數據，在界面上刷新相關信息，可觀察采集傳輸程序運行結果。

4 掘進機視覺導航系統嵌入式平臺性能測試

4.1 硬件環境搭建

用串口通信線連接嵌入式系統的調試串口和PC串口(或使用USB轉串口連接線)。將VGA輔助模塊用50PIN FFC排線連接到嵌入式平臺，VGA接口連接到VGA顯示器。插入帶有系統映象的TF卡。與上位PC機通過無線路由器連接，采用路由器動態分配的網絡地址方法，在該測試中嵌入式系統的網絡地址為 192.168.0.105，PC 端的網絡地址為 192.168.0.106。連接5 V電源適配器到嵌入式系統。

4.2 系統測試

嵌入式平臺實物如圖6所示。測試中使用PC 端作為服務器端，嵌入式系統作為客戶端。試驗結果表明,嵌入式平臺能在60 m距離范圍內滿足幀率為10幀/s，分辨率為768×576的圖像實時采集、分析以及導航數據實時上傳的要求。

圖6 嵌入式圖像處理平臺實物

5 結論

本文設計了基于ARM Cortex-A8處理器、TVP5146模擬攝像頭模塊、WG7310-0A通信模塊的掘進機視覺導航系統嵌入式平臺，給出了系統的硬件設計原理及軟件的設計流程。嵌入式平臺實現了圖像采集、預處理、圖像分析、導航參數解算和數據無線傳輸等功能，它與工業攝像機、電源模塊等集成于同一個隔爆殼體內，使其小型化便于安裝。測試結果表明，該嵌入式平臺能滿足10幀/s，分辨率為768×576的圖像實時采集、分析以及導航數據實時上傳的要求。