復雜情境下遠程駕駛設備設計與研究

摘要：當前遠程駕駛技術已經在自動駕駛、農機和工程機械等多方面展開了應用，但此類產品在如森林、礦區等非結構化道路和救援救災等復雜情境中無法發揮，主要在于人的作用未能有效體現。本研究通過設計一種視覺和姿態反饋實現人機共融的精準操控遠程駕駛設備，可以為森林巡檢、礦山探查、救援救災等活動提供有效幫助。

關鍵詞：復雜情境；遠程駕駛；人機共融

中圖分類號：U462 文獻標識碼：A

基金項目：2022 年度江西省教育廳科學技術研究項目《基于5G 遠程駕駛技術的全地形救援小車設計與仿真》（項目編號：GJJ2207509）。

0 引言

當前遠程駕駛技術已經得到了廣泛的應用，如Waymo、百度Apollo 和文遠知行等將遠程駕駛技術用于自動駕駛出租車上[1]，朱劍等研究了遠程駕駛的環衛車[2]。山東實景互動網絡科技有限公司開發的實暻飛車將遠程駕駛技術用于旅游觀光及娛樂，王遠淵等將遠程駕駛技術與船舶進行結合[3]。孫自昌采用遠程駕駛無人機對高壓輸電線路檢查[4]。李曉騰對無人駕駛壓路機進行了設計[5]。馮兵兵研發了一套農機裝備遠程駕駛控制系統[6]。姚壽文等對坦克車輛遠程駕駛技術進行了論述[7]。從應用上來看，目前遠程駕駛技術已經在生活、娛樂、工業、農業和軍事等方面落地。但目前研究都集中于遠程駕駛設備功能和性能方面的提升，都忽略了人在遠程駕駛中的重要作用。當遇到非結構化道路以及復雜情境時，現有遠程駕駛設備不能實現精準控制，往往出現翻車或不能通過等現象。將人的主動性與遠程駕駛進行結合，利用人的反應、知識和經驗能力等反饋到車輛的運動上，可以提高遠程駕駛的能力和適用性。

1 項目簡介

項目所研究為一種基于5G 通信能適用于復雜情境的遠程駕駛設備。復雜情境包括非結構化地形以及復雜情形，為將遠程駕駛設備用于此類場景中，需要人通過遠程駕駛的方式，根據所接收到的車輛現場感知信息進行精準操控。操控者在面對復雜情境時能快速反應，并做出相應判斷和動作。而且在非結構化道路中，如狹窄、陡峭和涉水路段時，車輛通過性需要根據不同地形進行調整，因此還需要設計具備全地形通過能力的車輛底盤，通過遠程操控調節車輛底盤結構，實現對現場地形的適應。

本研究通過遠程駕駛結合與5G 通信技術，可以有效實現遠程遙控車輛，在高危和惡劣環境中，工作的安全和效率得到大幅度提高。將其應用于巡查等方面，例如在果園、林區等相關區域，可以提高巡檢效率和降低災害風險；將其應用于礦山、油田等區域，可以在對盲炮等不確定風險進行有效排除；將其應用于救援救災的前期探查中，可以快速判斷事故災害的發生原因。本研究在為提高救援效率、降低人員風險和保障人民財產安全上起著重要作用。

2 項目方案

2.1 設計分析

當前遠程駕駛之所以不能適用于復雜情境中，一方面在于通訊延遲較高，車輛不能及時進行反應；另一方面在于人無法感知到車輛的運動狀態和周邊情境，某些情況下車輛的底盤結構不能通過復雜地形。因此要實現人在遠程駕駛中的精準操控，必須將車輛的運動狀態和周邊環境實時準確地反饋給駕駛員。本項目采用5G 遠程通信和相關算法來降低通訊中的延遲，采用頭追頭顯形成主動視覺提供駕駛員視角，采用六自由度運動平臺和姿態反饋技術提供體感反饋。

2.2 總體方案設計

該遠程駕駛設備由遠程控制系統和車載控制系統兩大模塊組成。遠程控制系統包括轉向、加速和制動等操作系統，以及視覺和運動反饋系統。操控人員可以通過視覺感知系統實時感知車輛周邊__遠程駕駛設備的總體控制策略為：操控人員的操作下，遠程駕駛控制系統通過5G 通信技術遠程控制車輛端，其中包括小車的行駛功能和視角調節功能；車輛端將視景信息和運動姿態以及執行情況反饋給遠程駕駛控制系統。遠程駕駛控制系統接收車輛傳遞的信號，并通過運動平臺和頭顯眼鏡復現車輛運動和視景情境，讓操控人員在遠程駕駛控制端能夠根據車輛實際情況進行精準操控。

需要說明的是，該項目目前處于階段性研究中，該遠程駕駛設備在后期開發中，還要對車輛底盤及控制系統進行設計。這是為了使其在復雜的非結構化地形具有良好通過性，從而讓遠程駕駛更好適應于復雜地形和場景。

2.3 方案技術實現方式

2.3.1 遠程控制端組成

遠程控制端主要包含遠程駕駛艙、顯示系統和后臺服務器3個模塊，主要功能是將駕駛員的頭部動作信息和駕駛操作信息轉換為相關信號發送給車載執行端，實現對車輛的操控。另外車載端傳輸回的視頻信息顯示在顯示屏和頭顯系統中，傳回的車輛姿態信息通過伺服電動缸進行反饋。車輛的執行信息通過方向盤、加速和制動進行反饋，駕駛員根據反饋的多種感知信息進行精準操作（圖2）。

顯示系統采用了三聯屏結構，屏幕與后臺服務器的接口用以太網和公網進行連接，從而展示服務器中運行的遠程駕駛車端視頻和車輛信息。

遠程駕駛艙要實現轉向、加速、制動和姿態反饋的功能。其主要零部件包括伺服電動缸、方向盤、加速和制動踏板以及信號采集系統。六自由度運動模擬器通過模擬位置、速度和加速度這3 個參數并進行疊加，從而近似模擬出車輛的真實姿態。操控人員根據顯示系統上顯示的車端回傳視頻與艙內車輛姿態體感對遠端車輛進行操作。

駕駛端的后臺服務器需要與遠程駕駛艙、顯示系統基于以太網連接，并通過具有固定IP 地址的專線連接運營商核心網，與車端基于5G 數據通道進行數據交互。

2.3.2 車載執行端

車載執行端主要包括車載視頻系統、車輛執行系統和姿態傳感器。

2.3.2.1 車載視頻系統

車載視頻系統包括攝像頭、視頻處理系統。在車輛的頂部裝載有舵機云臺和攝像頭，以便提供更真實的主動駕駛視野。舵機云臺可以全方位跟隨駕駛員的頭部運動進行轉動，攝像頭在舵機云臺上運動，為駕駛員提供操控視野并跟隨人的注意力形成聚焦，從而更良好地觀察行駛過程中路面和周圍環境情況。

攝像頭所觀察采集到的視頻圖像數據要及時傳遞到遠程控制端，就需要在車載執行端通過視頻處理系統對圖像進行量化、采集、編碼和壓縮處理。視頻處理系統的硬件采用英偉達NX 控制器，處理后的信號通過5G 上傳到云端再傳入遠程控制端。

2.3.2.2 車輛執行系統

車輛執行端上搭載的執行器主要包括轉向、加速和制動控制執行器。轉向控制執行器由轉向電機、方向盤、嚙合帶傳動機構和轉向電機控制器組成。車輛接收到轉向信號時，轉向控制器把方向盤轉動的角度轉換為PWM 控制信號對轉向電機進行控制。轉向電機帶動帶輪及嚙合帶進行轉動，嚙合帶與方向盤下端固定連接的帶輪一起轉動，從而實現轉向的控制。

車輛的加速由車輛執行端的舵機驅動踏板，踏板動作帶動傳感元件進行移動，所移動的距離轉換為相應的電壓信號，再經過數據轉換計算為踏板的角度變化值。車輛的減速動作是通過線控制動的方式實行。當制動踏板踩下后，位置傳感器感知到踏板的位移，通過電信號發送給電動泵，然后產生壓力對汽車進行制動。

2.3.2.3 姿態傳感器

車載端所采用WITJY901s 姿態傳感器，可以精準地測量出車輛三維運動姿態，基于四元數傳感器數據算法進行運動姿態解算，實時輸出零漂移三維姿態數據，再經過5G 通信進行傳輸，發送到服務器，經六自由度運動平臺對姿態進行復現。

2.3.3 通信技術

設備采用了Socket 套接字通信技術、PID 算法與USB 抓包技術結合。Socket 作為UNIX 的進程通信機制，可以實現不同虛擬機或計算機之間的通信。UDP 協議沒有繁瑣的三次握手建立連接過程，在遠程控制這種要求實時響應的場景中有較好的傳輸效果。PID 算法可建立精確模型的確定性系統。USB 抓包技術首先將駕駛模擬器與電腦通過USB 接口連接，當操作駕駛模擬器進行相應的駕駛動作時，通過Bus Hound 軟件對駕駛模擬器輸出信號進行抓取。通過上述技術的結合應用，系統可以快速分析確定駕駛模擬器輸出數據的規律，實現了車端與駕駛端之間數據傳輸在200 ms 以內，高清視頻傳輸在250 ms 左右。

2.3.4 主動視覺的形成

主動視覺主要由頭追和頭顯組成的頭顯系統提供。遠端控制系統中駕駛員的頭部運動姿態經過解碼計算，然后發送給車載執行端的控制系統，各種控制信息通過模塊接受并解碼，轉換成PWM 信號輸出給舵機，從而控制舵機的轉向和俯仰，掛在舵機上的攝像頭隨地面遙控信號動作。車輛上的攝像頭隨著地面控制人員的頭部運動而運動，再將攝像頭中傳來的圖像信息，進行字符疊加，再通過5G 通訊技術及圖傳模塊傳送到遠端控制系統接收。遠端控制系統接收模塊的圖傳信息后，在操控人員所戴的頭顯系統中顯示圖像，實現感知并接收車輛運動時的駕駛員視覺（即主動視覺）。駕駛員可以主動觀察車輛周圍環境情況并聚焦目標。

3 技術優勢

通過以上技術方案，該項目遠程駕駛設備采用先進通信技術，可以有效減少數據傳輸過程中的延遲，從而實現各種運動的同步。在運動同步的基礎上，結合頭追頭顯技術形成的主動真實視覺和運動平臺模擬的真實體感，將視覺和體感進行交互，從而實現對車輛的遠程精準控制。這意味著在復雜道路環境中，可以將人的經驗、知識、能力以及主動性，與車輛的控制良好結合，達到人機共融的效果。通過實踐驗證，該設備可以解決各種復雜道路工況條件下，現有遠程駕駛技術根本無法通過和控制的難題，從而為高危和惡劣環境中的巡檢偵察等用途提供有效解決方案。

4 結束語

市場上的設備目前都未有將姿態反饋技術和主動視覺融入于遠程駕駛中，應用場景都是較為簡單的操作和良好的道路工況，所控制車輛只能進行簡單的前進后退等動作。當面對復雜情境時，駕駛員不能精確感知到車輛的狀態，也就無法通過復雜路況，容易出現翻車等意外。本遠程駕駛設備通過采用主動視覺和姿態反饋，實現遠程駕駛的人機共融，滿足在非結構化道路和復雜情境中的精準控制，可以在森林、果園等的日常巡檢中、各類救援救災的前期探測中、礦山的爆破等危險情況的偵察中進行良好的應用。因此將遠程駕駛技術用于復雜地形和情境，具備重大經濟價值和社會價值。目前項目組的一套初期產品已在電子科技大學高等研究院進行交付使用，得到了良好的反饋評價（圖3）。

【參考文獻】

[1] 葛雨明， 廖臻， 康陳， 等. 自動駕駛出租車遠程遙控駕駛研究[J]. 移動通信，2022，46（04）：50-54.

[2] 朱劍， 陳海云， 趙江南， 等. 智能駕駛環衛車5G 遠程駕駛系統[J]. 汽車實用技術，2021，46（06）：52-57.

[3] 王遠淵， 劉佳侖， 馬楓， 等. 智能船舶遠程駕駛控制技術研究現狀與趨勢[J]. 中國艦船研究，2021，16（01）：18-31.

[4] 孫自昌. 基于遠程無人駕駛飛機系統的高壓輸電線路巡檢故障研究[J].長春工程學院學報（ 自然科學版），2020，21（03）：119-123+128.

[5] 李曉騰. 無人駕駛壓路機遠程監控系統與整車性能評價研究[D]. 天津：天津大學，2020.

[6] 馮兵兵. 農機裝備遠程駕駛控制系統設計與試驗研究[D]. 合肥： 安徽農業大學，2021.[7] 姚壽文， 丁佳， 王瑀， 等. 坦克車輛虛擬遠程駕駛技術綜述[J]. 兵器裝備工程學報，2019，40（06）：104-108.

作者簡介：

曾恩，碩士，工程師，研究方向為遠程駕駛車輛。