虛擬現實技術下分揀機器人嵌入式遙控系統設計

(1.湖北大學 商學院，武漢 430062; 2.湖北詮享科技有限公司,武漢 430062)

0 引言

機器人遙控技術是近年來機器人技術研究領域的一個重要分支，它實現了人工智能和機器人靈活運動的有機結合，使得人員無法到達的遠距離作業現場和環境極其惡劣作業現場的分揀任務執行成為可能。近年來國內外針對機器人技術與虛擬現實技術的有機結合開展了大量研究和實踐，虛擬現實技術的興起和發展得益于機器人技術，與此同時虛擬現實技術又為機器人技術的進一步發展提供了強有力的技術支持，二者之間相互促進，在電纜巡檢機器人、水下探測機器人、家用掃地機器人、水果采摘機器人、軍事偵察機器人、手術機器人、汽車零件裝配機器人、衛星探測機器人等眾多領域顯示出了巨大的優勢，給人類生產、生活帶來了極大便利[1-2]。

基于虛擬現實技術的分揀機器人嵌入式遙控系統設計已經成為工業領域極具發展潛力和應用前景的研究方向之一。利用虛擬現實技術實現分揀機器人遙控控制一方面是指操作者利用分揀機器人攜帶的多傳感器系統，將操作者本身的位置信息和運動信息實時檢測并作為控制命令發送給遠程服務控制器中；另一方面操作者可以將遠距離分揀機器人采集獲得的視頻信息、圖像信息、數據信息等實時反饋給本地服務控制器，在系統操作者周圍生成遠程環境映射的虛擬環境，使得系統操作者能夠身臨其境地感受分揀機器人周圍的環境變化，有利于系統操作者根據現場環境的變化作出正確的反映和決策，有效地控制分揀機器人完成復雜的分揀任務[3-4]。

為了克服當前遙控系統控制分揀機器人執行既定任務時存在目標軌跡跟蹤效果不佳、跟蹤誤差較大，任務執行成功率較低、失誤率較高以及系統響應延遲較長等缺點，提出并設計了基于虛擬現實技術的分揀機器人嵌入式遙控系統。

1 虛擬現實技術下分揀機器人嵌入式遙控系統

1.1 分揀機器人虛擬現實系統結構

分揀機器人虛擬現實系統結構主要包括五部分，分別為分揀機器人操作指令檢測模塊、操作指令反饋模塊、操作指令傳感器模塊、操作指令控制模塊和操作指令建模模塊[5]，具體結構體系如圖1所示。

圖1 分揀機器人虛擬現實系統結構

分析圖1可知，分揀機器人操作指令檢測模塊主要用于檢測用戶的操作指令，并通過分揀機器人攜帶的傳感器模塊作用于虛擬環境；反饋模塊主要用于接收來自分揀機器人傳感器模塊的數據，為用戶提供虛擬環境實時反饋；傳感器模塊的作用主要有兩方面，一方面用于接收來自用戶的操作指令，并將操作指令通過分揀機器人作用于虛擬環境；另一方面將分揀機器人執行操作指令后產生的結果以反饋的形式上傳給用戶；控制模塊主要用于控制分揀機器人攜帶的傳感器，通過控制傳感器影響用戶、虛擬環境和現實世界。

1.2 基于虛擬現實技術的分揀機器人遙控

針對當前基于CAD系統的三維場景幾何建模方法難以適應非結構化復雜環境的問題，采用機器視覺技術描述三維環境，設計了分揀機器人嵌入式遙控系統[6]，具體組成結構如圖2所示。

圖2 分揀機器人嵌入式遙控系統結構示意圖

分析圖2可知，分揀機器人是一臺包含多臺傳感器和智能的自引導小車，通過利用超聲傳感器、視覺傳感器、磁傳感器等多個傳感器數據融合來實現導航，其中，系統智能代理服務器是一臺具備高性能的服務器，主要用于處理分揀機器人和嵌入式遙控系統客戶端數據，是整個系統的信息樞紐；嵌入式遙控系統客戶端是一個接口控件，可以與任意計算機通過Internet連接，當客戶端成功登錄智能代理服務器取得訪問權限后可以下載ActiveX控件對分揀機器人下達操作指令，控制分揀機器人執行分揀任務，嵌入式遙控系統客戶端是分布式的，其具體界面顯示如圖3所示。

圖3 嵌入式遙控系統分布式客戶端界面顯示

虛擬現實技術在分揀機器人嵌入式遙控系統的應用主要是通過采用三維建模軟件建立分揀機器人及其相應環境的三維模型，在建模過程中引入機器人結構學和場景動力學，對分揀機器人運動行為及其與三維場景的交互加入約束條件，能夠使得分揀機器人在虛擬場景下的行為更加真實自然；在此基礎上，采用圖形快速生成系統將分揀機器人及其與三維場景繪制出來，依據用戶通過鍵盤、鼠標、控制盒等輸入的操作指令產生需要的三維虛擬場景，同時采用系統中的立體顯示設備將生成的三維虛擬場景實時反饋給用戶。用戶能夠利用嵌入式遙控系統中的操縱桿等設備實時控制分揀機器人手臂、手腕、手肘等部位的轉動以及分揀機器人在三維虛擬場景中的移動，還可以選擇分揀機器人視角觀察周圍環境或從旁觀者角度觀察分揀機器人的運動行為等[7]。

利用虛擬現實技術設計分揀機器人嵌入式遙控系統主要是依據模塊化、標準化、開放性和可用性原則實現分揀機器人具有臨場感的操作指令輸入輸子系統和分揀機器人具有真實感的虛擬場景仿真子系統，前者主要負責控制分揀機器人操作指令輸入、語音輸入以及立體設備顯示、觸覺感知、聲音感知和輸出等等。后者則包括三維虛擬環境的三維圖像快速生成和三維模型數據庫管理[8]。如圖4展示了基于虛擬現實技術的分揀機器人嵌入式遙控系統結構。

圖4 虛擬現實技術下的分揀機器人遙控系統

將三維圖形輸入到系統的立體顯示設備中，用戶通過系統立體顯示設備能夠看到一個三維虛擬場景，同時利用分揀機器人的運動控制器控制機器人與三維虛擬場景相連，用戶發出的諸如抓取、高舉等操作指令被同時上傳給虛擬場景仿真子系統和分揀機器人控制器中，通過控制分揀機器人的動作即可檢驗虛擬場景仿真子系統的精準性。

圖5展示了基于虛擬現實技術的分揀機器人嵌入式遙控系統的基本功能單元和具體操作流程[9]。

圖5 嵌入式遙控系統具體操作流程

用戶通過鍵盤、鼠標、控制盒等輸入設備將分揀機器人操作指令和觀察者在空間中的位置信息發送給虛擬場景仿真子系統，同時將這些操作指令和位置信息處理后生成分揀機器人控制器能夠識別的命令序列，將這些處理后的命令序列發送給實際分揀機器人，控制分揀機器人執行與命令序列對應的動作。虛擬場景仿真子系統接收到用戶發送的分揀機器人命令序列和觀察者在三維虛擬場景中的位置信息后，利用分揀機器人動力學和場景動力學模型，計算分揀機器人的各個關節及其相應構建在三維虛擬場景中的運動軌跡，根據計算結果獲得一個變化后的分揀機器人模型和三維虛擬場景空間模型，完成三維圖形實時生成和繪制，并將繪制成的三維虛擬場景空間模型展示在系統立體顯示設備上，用戶可以通過立體顯示設備界面看到一個虛擬世界，同時還能夠通過觸覺反饋使用戶感受更加真實，使用戶操作更加準確。

根據上述系統各個功能模塊分析可知，各個功能模塊之間周期性地發送和接收系統共享內存中的數據，通過讀寫保護策略保證系統共享內存中數據的安全性和完整性，可以方便多用戶在同一時間通過多個線程讀取系統共享內存中存儲的數據信息。在寫入數據時，用戶只需要通過一個線程即可享系統共享內存中寫入，其他線程則處于等待工作狀態。

1.3 嵌入式遙控系統軟件程序設計

1.3.1 分揀機器人實時操作系統

采用QNX Neutrino系統作為分揀機器人本體控制器，QNX Neutrino系統具有較好的靈活性，且能夠滿足分揀機器人嵌入式遙控系統資源有限的要求。QNX Neutrino系統支持x86、SH-4、ARM等多平臺。QNX Neutrino系統上所有運行的應用程序、驅動程序等都受到安全保護，該系統上的大部分組件都能夠在運行失敗后執行自動重啟，不會對系統上運行的其他組件或內核產生影響。

在分揀機器人嵌入式遙控系統遠程服務器終端安裝QNX Neutrino系統提供的軟件開發環境，并采用C++語音編寫軟件控制程序，利用路由裝置將分揀機器人控制指令序列發送給機器人QNX Neutrino系統中。分揀機器人本體控制器在收到遠程服務器終端控制指令后指令解析，將分揀機器人電機速度信息、電流信息、位置信息等指令通過工業現場總線EtherCAT發送到相應驅動器中，最終實現對分揀機器人的動作控制。

在QNX Neutrino系統中，各個程序進程之間主要通過文件、信號、消息隊列、共享內存等多種方式實現通信。QNX Neutrino系統中的每個程序進程都有其特有的虛擬地址空間，可以通過采用mmap函數實現虛擬地址空間分配和共享內存釋放。研究主要采用共享內存通信方式設計分揀機器人嵌入式遙控系統控制軟件。

1.3.2 工業現場總線EtherCAT在系統中的應用

工業現場總線EtherCAT是一個德國公司生產的以以太網結構為基礎的現場總線，工業現場總線EtherCAT不需要在每個節點處接受信息，且網絡規模不受限制，能夠為基于虛擬現實技術的分揀機器人嵌入式遙控系統提供強有力的網絡技術支持。

1.3.3 分揀機器人嵌入式遙控系統軟件設計

分揀機器人執行分揀任務主要通過遙控操作控制，利用模塊化思想設計分揀機器人嵌入式遙控系統軟件部分，采用共享內存的方式實現各個模塊進程之間的通信。將系統軟件控制程序劃分為串口通信模塊、通信傳輸協議解析模塊、數據處理算法模塊、分揀機器人控制器驅動模塊、分揀機器人位姿數據模塊、共享內存數據輸出模塊和分揀機器人操作指令鍵盤控制模塊七部分[10]。系統軟件控制程序具體工作流程如圖6所示。

圖6 系統軟件控制程序具體工作流程

1)系統串口通信模塊主要負責接收、檢測、識別分揀機器人操作控制指令，并將操作控制指令存儲到串口接收共享內存中；將串口接收共享內存中的分揀機器人實時狀態信息發送給遠程服務器。

2)通信傳輸協議解析模塊主要負責將串口接收共享內存中的分揀機器人實時狀態信息解析成操作控制指令，并將解析后的操作控制指令存儲到協議解析接收共享內存中；將分揀機器人實時狀態共享內存中的分揀機器人當前狀態信息進行編碼，同時存儲到串口接收共享內存中。

3)數據處理算法模塊主要負責將揀機器人實時狀態共享內存中的分揀機器人當前狀態信息處理成控制器控制指令序列，采用IMU數據及其驅動器反饋的數據進行閉環控制，將分揀機器人閉環控制指令序列存儲到相應驅動器發送共享內存中；將驅動器發送共享內存中的分揀機器人電機控制器運行狀態信息和操作控制指令轉化為分揀機器人本體狀態信息存儲到分揀機器人狀態信息共享內存中。

4)分揀機器人控制器驅動模塊主要負責將分揀機器人狀態信息共享內存中操作控制指令序列發送給分揀機器人相應電機驅動控制器，實現電機驅動控制；將電機驅動控制器的速度信息、電流信息、位置信息等存儲到驅動器接收共享內存中。

5)分揀機器人位姿數據模塊主要負責讀取分揀機器人執行分揀任務時的實時位姿信息，并將讀取信息存儲到分揀機器人位姿數據模塊中。

6)共享內存數據輸出模塊主要負責將系統各個控制器共享內存中的數據輸出到遠程終端服務器，便于用戶實時查看和調試。

7)分揀機器人操作指令鍵盤控制模塊主要負責調試遠程終端服務器對整個嵌入式遙控系統的操作指令。

2 系統性能測試與結果分析

為了測試研究提出并設計的基于虛擬現實技術的分揀機器人嵌入式遙控系統的性能優劣，采用一臺操作系統為Windows7，CPU主頻為1.8 GHz，硬盤容量為120 GB，顯存容量為3 GB，運行內存為8 GB的電腦PC機作為分揀機器人遠程服務器終端，用于控制分揀機器人動作。

以工業領域投入應用的3自由度分揀機器人為例，如圖7和圖8所示測試了該分揀機器人跟蹤性能。

圖7 目標軌跡跟蹤效果圖

圖8 分機機器人目標軌跡跟蹤誤差測試結果

從圖7和圖8的實驗結果中可以清楚地看出，設計系統控制的分揀機器人取得了較好的目標軌跡跟蹤效果，無論是X方向、Y方向、Z方向目標軌跡跟蹤誤差，還是角度跟蹤誤差都能在較短時間內消除，同時設計系統通過采用虛擬現實技術模擬三維場景，使得用戶能夠在聽覺、觸覺、感覺等多方面身臨其境，對造成分揀機器人目標軌跡跟蹤干擾的因素及時作出了相應動作，克服了多種干擾因素對目標軌跡跟蹤效果的影響，使得分揀機器人沿著設定軌跡移動；另外，設計系統充分考慮了分揀機器人電機控制器速度信息、電流信息、位置信息等以及分揀機器人本體位置信息的反饋采樣，并且通過不受網絡規模限制的工業現場總線EtherCAT發送給遠程服務器終端，終端用戶可以根據分揀機器人當前狀態信息對嵌入式遙控系統進行調試，大大減小了目標軌跡跟蹤誤差，獲得了比較理想的目標軌跡跟蹤效果，為后續進一步執行分揀任務奠定了良好基礎。

為了進一步檢驗設計系統的性能，分別測試了分揀機器人執行0～1200個任務的成功率、失誤率以及耗時情況，如圖9～圖11所示。

圖9 分揀機器人任務執行成功率測試結果

圖10 分揀機器人任務執行失誤率測試結果

圖11 分揀機器人嵌入式遙控系統響應延遲測試

分析圖9～圖11的結果可以發現，采用設計系統控制分機機器人執行任務時，隨著任務量的增多，任務執行成功率有所降低，但很快又恢復，這是由于設計系統采用QNX Neutrino系統作為分揀機器人本體控制器，具有較好的靈活性，該系統上的大部分組件都能夠在運行失敗后執行自動重啟，不會對系統上運行的其他組件或內核產生影響，保證了任務執行成功率，同時也降低了任務執行失誤率；除此之外，設計系統在執行不同數量分揀任務時，響應延遲時間較短，最長沒有超過0.025 s，這是由于設計系統采用工業現場總線EtherCAT作為系統程序進程之間的通信軟件，為分揀機器人嵌入式遙控系統提供強有力的網絡技術支持，使得用戶輸入的操作指令能夠快速到達系統控制器，控制分揀機器人完成任務，大大縮短了系統響應延遲時間。

3 結束語

隨著科學技術水平的不斷提高以及國民經濟的快速發展，機器人技術得到了大力推動，遙控分揀機器人成為機器人領域中的一個重要分支，成功地將人工智能識別技術與機器人的靈活性有機結合，讓原來作業場景的工作人員通過輸入控制指令控制位于現場的分揀機器人即可完成既定操作任務。為了實現分揀機器人的遠程操控提出并設計了基于虛擬現實技術的分揀機器人嵌入式遙控系統，通過系統性能測試結果表明，利用設計系統能夠實現分揀機器人的高精度控制，具有較快的系統響應性能。