基于傳感器融合技術的機器人遠程控制系統設計

易艷麗

(成都東軟學院 數字藝術與設計學院，成都 611844)

0 引言

近年來，機器人技術快速發展，新技術產品層出不窮[1-5]，機器人的智能化和自動化程度越來越高，為我們的生產和生活帶來了極大的便利。同時，對于一些高危環境和特種作業環境中的工作已經由原來的人工逐漸向機器人開始轉變。一方面，是因為一些特定場所內的工作內容屬于高危工作，對現場作業人員的危害較高，需要設計符合現場作業的特種作業機器人，如：電力機器人、安防與救援機器人[6]、核工業機器人[7]、礦業機器人[8]、石油化工機器人等[9]；另一方面，由于作業場所環境的限制，人力無法參與到現場作業中，只能通過小型機器人來完成，如管道清理[10-12]、隧道救援[13-16]等。同時，隨著工業自動化和智能制造的不斷發展，機器人技術在生產與服務領域中得到越來越廣泛的應用。然而，由于某些情況下現場操作環境的不可預測性和危險性，需要對機器人進行遠程控制，以保障運行的安全性和效率性。傳統的遠程控制系統往往存在信號延遲、控制精度低等問題。因此，基于傳感器融合技術的機器人遠程控制系統逐漸成為研究的熱點。

機器人的遠程控制系統是機器人實現自主運動和任務完成的重要基礎設施。然而，在傳統的機器人控制系統中，通信、感知、決策等方面的問題仍然存在。因此，設計一種基于傳感器融合技術的機器人遠程控制系統具有十分重要的現實意義。針對上述存在的問題，設計具有遠程控制功能的機器人至關重要，本文提出了一種基于傳感器融合技術的機器人遠程控制系統設計方法。該方法通過融合FMCE毫米波雷達和攝像機等多種傳感器信息，提高機器人的感知能力和對目標物體的識別能力。同時，采用局域網通信保證機器人與PC端之間的實時互動和數據傳輸的穩定性。在遠程控制過程中，本地PC端可以根據現場作業環境實時控制機器人移動，并且選擇目標對象后讓機器人生成行駛路徑后自動跟蹤目標對象，從而實現了機器人的自主導航和目標跟蹤功能。路徑跟蹤控制器采用的是線性二次型調節器(LQR)，能夠保證機器人的運動控制精度和穩定性。同時，在機器人終端采用多傳感器融合技術實時傳輸現場視頻并結合周圍環境對機器人進行實時定位，在基于機器人終端多傳感器融合的技術之上在遠程桌面端設計遠程控制控制系統，由人工在遠程桌面端遠程控制機器人完成現場的作業內容，可以降低現場作業環境對人力所造成的危害。

1 系統方案設計

傳統的控制系統只能通過單一傳感器來獲取目標設備的狀態信息，難以實現對復雜環境下的精準控制。因此，本論文旨在設計一種基于多傳感器融合的遠程控制系統，通過將不同類型的傳感器數據進行融合分析，實現對遠程設備或系統的高效控制。

本論文設計的多傳感器融合的遠程控制系統主要由以下組成部分構成：傳感器(系統通過部署多個傳感器節點，采集不同類型的傳感器數據)、數據采集與處理模塊(該模塊主要負責采集傳感器所得到的原始數據，并對其進行預處理和濾波，提高數據精度和減少誤差)、數據融合模塊(利用數據融合算法對來自不同傳感器的數據進行整合和分析，以提高控制系統的可靠性和精度)、控制策略模塊(根據系統需求，設計相應的控制策略)、遠程通信模塊：通過無線網絡或互聯網等手段，實現對遠程設備的實時監控和控制。具體方案如圖1所示。

圖1 機器人遠程控制系統結構圖

圖1中，安裝與機器人端的毫米波雷達主要目的有兩個，第一個是為了在遠程控制機器人執行任務過程中實時監測周圍環境是否在安全距離外出現障礙物，并進行報警，提示操作人員在遠程控制機器人時注意周圍障礙物的躲避；第二個目的是為了實時獲取機器人執行任務過程中自身與周圍障礙物之間的距離，將其與相機獲得的數據進行融合，實現多傳感器之間的融合，將二者時間與空間維度進行統一。

圖1所示的多傳感器融合的遠程控制系統方案采用以下技術路線來實現：

1)傳感器選型：根據系統需求選擇適合的傳感器類型；

2)數據采集與處理：采集傳感器所得到的原始數據，并進行預處理和濾波，以提高數據精度和減少誤差；

3)融合算法：利用數據融合算法對來自不同傳感器的數據進行整合和分析，以提高控制系統的可靠性和精度。本論文采用的是卡爾曼濾波、粒子濾波、信息融合等算法；

4)控制策略：根據系統需求，設計相應的控制策略，本文基于最優控制理論采用線性二次型調節器(LQR)；

5)遠程通信：通過無線網絡或互聯網等手段，實現對遠程設備的實時監控和控制。本論文采用TCP/IP協議來實現遠程通信。

本文設計出的系統中，機器人端部署的控制器環境是基于AMD的Ubuntu20.04 +ROS2，多傳感器的融合算法與目標檢測算法均采用基于ROS2話題通信的方式進行終端處理，將處理完成的數據通過局域網發送至上位機PC端；上位機PC端可通過頁面內的操作按鈕遠程控制機器人進行移動與作業，也可以選擇監控視頻內的目標對象，讓機器人自動實現對目標的精確跟蹤，其中路徑跟蹤算法采用的是線性二次型調節器(LQR)。

2 多傳感器融合設計

2.1 結構設計

機器人需要多個傳感器來獲取周圍環境的信息并做出決策。多個攝像頭和毫米波雷達可以提供各自獨特的信息，因此將它們結合在一起可以提高機器人的感知能力和安全性。本文采用的一種多傳感器設計方案是利用多個攝像頭和多個毫米波雷達來實現高效的環境感知。

首先，在多傳感器認知方面，該方案設計是一種將多個傳感器結合在一起以獲取更全面的信息的方法。在機器人感知領域中，多傳感器設計已經得到了廣泛的應用。其中，攝像頭和雷達是最常用的傳感器之一。攝像頭可以提供圖像信息，而雷達可以提供距離和速度等物理量信息。將這兩種傳感器結合在一起，就可以獲得更全面、更準確的環境信息。其次，在多個攝像頭設計方面，攝像頭是非常重要的傳感器之一，它可以提供豐富的圖像信息。在多傳感器設計中，我們可以使用多個攝像頭來獲取不同角度、不同視野的圖像信息。這樣可以提高車輛的識別能力和準確性，其中，在多個攝像頭的設計中，需要考慮以下幾個方面：視野范圍：不同的攝像頭可能有不同的視野范圍。為了獲取更全面的信息，可以選擇不同視野的攝像頭進行組合；圖像分辨率：圖像的分辨率決定了圖像的清晰度，在多個攝像頭的設計中，需要選擇適當的分辨率以平衡清晰度和計算資源的消耗；攝像頭數量：攝像頭的數量應根據車輛的具體需求來確定，如果需要獲取更多的信息，可以增加攝像頭的數量。最后，在多個毫米波雷達設計方面，毫米波雷達是一種可以探測距離、速度和方向等物理量的傳感器。與攝像頭相比，毫米波雷達對光照等環境因素的干擾更小，在惡劣天氣下也能提供可靠的數據。在多傳感器設計中，我們可以使用多個毫米波雷達來獲取更準確的距離和速度信息，其中，在多個毫米波雷達的設計中，需要考慮以下幾個方面：覆蓋范圍：毫米波雷達的覆蓋范圍應根據車輛的需要來確定，如果需要獲取更全面的信息，可以選擇多個毫米波雷達進行組合；角度范圍：毫米波雷達可以提供不同角度的信息，在多傳感器設計中，需要選擇適當的角度范圍以平衡信息的準確性和計算資源的消耗；雷達數量：雷達的數量應根據車輛的具體需求來確定，如果需要獲取更準確的信息，可以增加雷達的數量。

機器人終端超聲波雷達與攝像頭布置方案如圖2所示。其中1與5分別為前向攝像頭與后向攝像頭，2、3、4、6分別為前向毫米波雷達、左側毫米波雷達、后向毫米波雷達、左側毫米波雷達，7為機器人終端控制器，該控制器采用的是基于AMD架構的Ubuntu20.04環境。

圖2 機器人終端傳感器布置方案

機器人作業過程中可利用前后左后四個方向實時對周圍的障礙物進行預警并測量機器人與障礙物之間的距離，前后兩個方向的攝像頭可以在機器人前進或后退過程中實時監控前方障礙物信息。

2.2 數據處理

在機器人端布置毫米波雷達時采用77 GHz的FMCW雷達，利用式(1)計算機器人與障礙物之間的距離。其中，d為距離，c是光速(c=29 979 245 m/s)，f為頻率，Tc為持續時間，B為帶寬。

(1)

控制器端部署的目標檢測算法采用DETR[17-19]，DETR是一種新型的目標檢測算法，全稱為Detection Transformer。作為一種基于Transformer模型的目標檢測算法，DETR具有許多優點，如準確性高、速度快等。DETR算法采用了端到端的學習方式，可以直接對原始圖像進行檢測，無需預選建議框或者區域提取操作。整個算法分為兩部分：encoder和decoder。encoder主要負責將輸入圖像轉換為特征圖，采用的是卷積神經網絡，其中使用了ResNet作為主干網絡。通過這樣的方式，DETR將圖像中的每一個像素都與相應的特征向量聯系起來，從而得到一個全局的特征表示。decoder則主要負責將encoder輸出的特征圖轉換為目標檢測結果。在decoder中，DETR采用Transformer模型，將特征圖中的每一個位置看作一個序列，然后使用自注意力機制(Self-Attention)來捕捉序列中的空間關系和語義信息。在DETR中，目標檢測問題被轉化為一個集合預測問題，即對于輸入圖像中所有可能存在的目標，預測出其類別和位置。由于采用了Transformer模型，DETR能夠同時處理不同數量和不同大小的目標，且對于目標的排列順序不敏感。在預測過程中，DETR使用了一個匈牙利算法來解決集合匹配問題，將預測結果與真實目標進行匹配，從而獲得最終的檢測結果。相比于傳統的目標檢測算法，DETR具有以下優點：

1)準確性高：DETR采用Transformer模型，能夠捕捉到更多的上下文信息和語義信息，從而提高了檢測的準確性。

2)速度快：由于DETR采用端到端學習的方式，取消了傳統目標檢測算法中繁瑣的區域建議或者邊界框預選工作，從而提高了檢測速度。

3)可擴展性強：DETR能夠處理不同數量和大小的目標，并且對于目標的排列順序不敏感，具有很強的可擴展性。

4)無需調參：DETR采用端到端學習的方式，避免了傳統目標檢測算法中需要進行大量的超參數調整工作。

總之，DETR是一種新型的目標檢測算法，其基于Transformer模型，具有準確性高、速度快、可擴展性強、無需調參等優點。因此，DETR在目標檢測領域具有很大的應用前景，可以為實際應用提供更好的解決方案。同時，該算法在encoder階段，將序列化數據送入encoder中，利用注意力機制提取數據中的特征；在decoder階段輸入N個隨機初始化向量，每個object query關注數據的不同位置，經過decoder的解碼，最終會生成N個向量，每個向量對應一個檢測到的目標，最后將這N個向量輸入到神經網絡中，得到每個目標的類別和位置，機器人端的目標檢測完成。該算法的優點主要在于生成的檢測框數量大幅減少，與真實的檢測框數量基本一致，且該算法不需要預先指定候選區域，不需要使用NMS去除重復目標框，算法流程十分簡潔，非常適合部署在機器人終端控制器中。

FMCW雷達與攝像頭的融合數據傳輸方式如圖3所示。其中，FMCW雷達和攝像頭分別通過串口和網線將數據發送至機器人端控制器。在終端控制器內首先通過時間同步算法對兩種傳感器的數據進行時間同步，然后利用多傳感器融合算法對時空同步后的數據進行融合，最后利用已經訓練好的CNN對融合后的數據進行處理，至此，機器人端的多傳感器融合數據處理完成。

圖3 多傳感器融合數據傳輸流程圖

3 遠程控制系統設計

機器人遠程控制系統是一種能夠實現機器人在遠距離范圍內進行操作和控制的系統。該系統通常由客戶端、服務器端和機器人三個部分組成。客戶端主要負責與用戶交互，接收用戶指令并將其傳輸給服務器；服務器端負責接收用戶指令，并將其傳輸給機器人；機器人則負責執行指令，完成任務。機器人遠程控制系統的設計與開發需要考慮到多方面因素，包括系統架構、通信協議、安全性等。下面對這些因素進行詳細說明：

1)系統架構：機器人遠程控制系統的架構決定了其整體性能和可靠性。一般來說，機器人遠程控制系統采用分布式結構，即將客戶端、服務器端和機器人放置在不同的位置，并通過網絡進行通信。此外，為了提高系統的穩定性和可靠性，還可以采用多層架構，將業務邏輯和數據處理分離開來。

2)通信協議：機器人遠程控制系統的通信協議需要滿足以下要求：快速、實時、可靠、安全。根據具體的應用場景和需求，可以選擇不同的通信協議，如TCP/IP協議、UDP協議、HTTP協議等。另外，還需要對通信數據進行加密和壓縮處理，以保證數據的安全性和傳輸效率。

3安全性：機器人遠程控制系統的安全性是至關重要的。由于機器人的操作涉及到物理空間，一旦出現操作失誤或非法入侵，可能會造成嚴重的后果。因此，在設計機器人遠程控制系統時，需要采用一系列措施來保障其安全性，如身份認證、訪問控制、數據加密等。

4)控制算法：機器人遠程控制系統的控制算法決定了機器人的運動軌跡和姿態。常用的控制算法包括PID控制、模糊控制、神經網絡控制等。針對具體場景和任務，可以選擇不同的控制算法，并根據實際情況進行參數調整和優化。

總之，機器人遠程控制系統是一種將機器人和遠程操作技術相結合的系統，它通過高效的通信協議、可靠的系統架構、安全的數據傳輸和優秀的控制算法，實現了機器人在遠程范圍內的自由運動和操作。因此，機器人遠程控制系統具有廣泛的應用前景，在工業、醫療、軍事等領域都有重要的作用。

綜上所述，設計基于傳感器融合技術的機器人遠程控制系統如圖4所示。其中，系統架構采用分布式架構；通信協議采用TCP/IP協議；控制算法采用線性二次型調節器(linear quadratic regulator)。遠程控制系統主要具備兩個功能：自動跟蹤目標對象與遠程遙控跟蹤目標對象。其中，自動跟蹤目標對象功能的實現是通過對機器人端通過局域網傳回的具有目標類別與位置信息視頻的觀察，選擇目標對象，然后在PC端后臺運行機器人路徑跟蹤控制節點，實時計算機器人位姿的調整量，并將輸出控制量通過局域網發送至機器人端控制機器人自動完成對所選目標的自動跟蹤；遠程跟蹤目標對象功能相對簡單，主要是通過報警信息以及前后兩個攝像頭實時觀察周圍工況，根據現場作業環境通過PC端遠程控制機器人完成對目標的跟蹤。

圖4 機器人遠程控制系統設計

遠程控制系統設計中對目標對象的自動跟蹤采用的是基于線性二次型調節器(LQR)的路徑跟蹤控制器設計方法。LQR路徑跟蹤控制器，是一種針對動態系統的控制器設計方法。LQR代表線性二次型調節器，該方法通過設計一個二次型性能指標，來優化系統的控制器，從而使得系統的輸出能夠按照期望的軌跡進行跟蹤。LQR控制器的基本思想是，在保證系統穩定的前提下，盡可能地減小系統的誤差，使得系統的輸出能夠快速、準確地跟蹤給定的參考軌跡。LQR控制器利用狀態反饋的方式來實現這一目標，即將系統的狀態作為反饋信號，經過一定的加權和變換之后，輸入到控制器中，從而影響系統的輸出。具體來說，LQR控制器將系統的狀態表示為一個向量，然后通過設計一個二次型性能指標，來評估系統的輸出與參考軌跡之間的差距。這個性能指標通常包括兩個部分：一個是系統狀態與參考軌跡之間的誤差項；另一個是系統輸入的大小和變化率。通過對這個性能指標求導，并將其設置為零，可以得到一個線性矩陣方程，即Riccati方程。解出這個方程，就能得到一個理論上最優的狀態反饋控制器。

LQR控制器的設計過程相對比較簡單。首先需要確定系統的狀態變量和輸入變量；然后需要確定參考軌跡以及期望輸出；接下來，通過數學模型建立系統的動態方程，并將其轉化為狀態空間形式。在此基礎上，設計二次型性能指標，并求解Riccati方程，得到最優的狀態反饋控制器。最后，將控制器與實際系統進行耦合，進行仿真試驗或者實際應用。總體而言，LQR路徑跟蹤控制器是一種高效、準確且穩定的控制方法，其具有較好的理論分析和實際應用效果。

本文針對的是采用差速驅動的機器人，差速驅動也被稱為雙輪差速車，是一種常見的移動機器人底盤結構。差速驅動底盤通常由兩側驅動輪組成，通過控制兩個驅動輪的轉速差異來實現移動和轉向。差速驅動的優點在于它簡單、輕便、易于維護，并且在狹窄空間內具有較好的機動能力。此外，因為其具有良好的可編程性和靈活性，它已經被廣泛應用于機器人技術中，如移動機器人、自主導航車和工業機器人等領域。

差速驅動的原理是：通過改變兩個驅動輪的轉速差異，來引起整個底盤的運動和轉向。當兩個驅動輪的轉速相等時，底盤將直線行進；當兩個驅動輪的轉速不相等時，差速驅動底盤將旋轉或曲線行進。在基本的差速驅動結構中，兩個驅動輪之間的距離比較小，從而使得差速驅動底盤的轉向半徑非常小。這意味著，差速驅動底盤可以在狹窄的通道中自由穿梭，并且能夠繞過其他物體。此外，差速驅動底盤還可以通過改變兩個驅動輪的轉速比例，實現前進、后退和旋轉等復雜運動。然而，差速驅動也存在一些缺點。由于其設計結構限制了機器人的尺寸和驅動力，因此它不適用于大型機器人或需要承載重量的應用。此外，差速驅動底盤的懸掛輪通常比較小，因此在不平坦地形上行駛時，容易出現失控或打滑的情況。整體而言，差速驅動是一種優秀的移動機器人底盤結構，它具有簡單、靈活和可編程性等優點，并被廣泛應用于機器人技術領域。因此可假設存在一個虛擬導向輪，該導向輪可控制機器人的轉向，其轉動角度與左右兩側驅動輪轉速之間的關系如式(2)所示：

δ=k·Δn=k·(nr-nl)

(2)

式(2)中的k為左右機器人左右兩側驅動輪差速比的權重系數，nr為右側機器人驅動輪轉速，nl為左側機器人驅動輪轉速。

現設計具備虛擬導向輪的機器人運動學模型如式(3)所示：

(3)

其中：v為機器人運動速度，φ為機器人航向角，l為機器人長度，δ為虛擬導向輪轉動角度。將式(3)所示機器人運動學模型進行泰勒展開可獲得雅可比矩陣，如式(4)所示：

(4)

將式(4)化解后得：

(5)

令：

將上述X、A、B分別代入式(5)得；

(6)

對式(6)中的狀態轉移函數進行離散化操作，得：

(7)

X(t)=A*X(t-1)+B*u

(8)

構建其最優性能代價函數如式(9)所示：

(9)

有狀態反饋控制律可知：

u(t)=-K*X(t)

(10)

狀態反饋增益矩陣的求解如式(11)所示：

K=-(BTPB+R)-1BTPA

(11)

其中：

矩陣P由黎卡提方程通過迭代求解法計算得到，如式(12)：

Pn=Q+ATPn-1A-

ATPn-1B(R+BTPn-1B)-1BTPn-1A

(12)

將式(12)中的Q與R進行初始化，假定：

當式(12)在迭代求解中滿足max_cell(Pn)-max_cell(Pn-1)

最后，可將各個狀態量帶入式(11)獲得狀態增益矩陣K值，再將K值代入式(10)得機器人路徑跟蹤控制器輸出控制量為：

(13)

4 仿真測試

圖5 路徑跟蹤控制器仿真

由仿真結果可知，LQR路徑跟蹤控制器可以有效控制機器人運動軌跡。在本文所設計的LQR路徑跟蹤控制器中，我們采用了狀態反饋方法，將機器人的位置、速度、加速度等狀態信息作為反饋信號，并將其經過加權和變換后輸入到控制器中，從而影響機器人的運動軌跡。仿真結果表明，LQR控制器能夠使機器人沿著預定路徑穩定地行進，且具有較好的精度和魯棒性；LQR控制器具有較好的性能和效果。在仿真實驗中，我們比較了LQR控制器和傳統PID控制器的控制效果。結果表明，LQR控制器具有更快的響應速度和更小的穩態誤差，且能夠抑制機器人在轉彎處的漂移現象。同時，LQR控制器還能夠適應不同的工作環境和目標，根據需求進行靈活調整；LQR控制器的參數設計對系統控制效果有重要影響。在本文中，我們分別對不同的LQR控制器參數進行了仿真實驗，并比較了其控制效果。結果表明，在合理的參數范圍內，LQR控制器的性能和效果隨著參數變化而變化。具體而言，當增大控制器的權重矩陣時，可以提高系統的靈敏度和響應速度；當減小控制器的權重矩陣時，則可以降低系統的干擾響應，提高其穩定性和魯棒性。

綜上所述，本文研究的基于LQR的路徑跟蹤控制器具有良好的性能和效果，能夠有效地控制機器人運動軌跡、提高系統的精度和魯棒性。同時，本文還分析了LQR控制器的參數對系統控制效果的影響，為實際應用提供了一定的參考和借鑒價值。可控制器機器人實現對目標路徑的精確跟蹤，證明該控制器有效。

利用LQR路徑跟蹤控制器可在遠程PC端上位機中選擇好目標對象后遠程控制機器人對目標對象進行自動跟蹤。

5 結束語

傳感器融合技術在機器人遠程控制系統中具有重要的應用價值。本文研究了基于傳感器融合技術的機器人遠程控制系統設計，并提出了一種基于傳感器融合的機器人遠程控制系統設計方法，采用機器人端的FMCW毫米波雷達與攝像機兩種類型的傳感器融合作為機器人端的數據源，在機器人端控制器完成對數據的時空融合后利用DETR對融合信息進行目標檢測，最后將處理結果利用局域網發送至PC端上位機，PC端上位機可實現兩個功能，第一個是根據周圍環境對機器人進行實時遠程控制，第二個也是本文最大創新內容，即通過對目標對象的選擇，實現機器人對目標物的自動跟蹤，該路徑跟蹤控制器采用的是線性二次型調節器(LQR)，在跟蹤目標的過程中可對車輛的位姿進行實時調整。

同時，通過仿真測試驗證了該系統的有效性。通過對本文所設計的機器人遠程控制系統進行測試，得出如下結論：首先，傳感器融合技術可以大幅提高機器人的操作精度和穩定性。在測試過程中，我們發現通過將多個傳感器進行融合，可以顯著降低機器人誤差率，并且提高機器人的定位準確性和運動控制精度；其次，傳感器融合技術可以增強機器人對復雜環境的適應能力。在測試過程中，我們模擬了多種不同的環境場景，包括光線較暗、存在障礙物等情況，通過傳感器融合技術，機器人可以更好地感知周圍環境，自主避障，并完成預設任務；最后，本文所設計的基于傳感器融合技術的機器人遠程控制系統具有良好的可靠性和實用性。該系統可以廣泛應用于各種工業生產領域和服務領域，為人類提供更加便利、高效的機器人技術服務。因此，可以得出結論：基于傳感器融合技術的機器人遠程控制系統是一種有效的方法，可以提高機器人的操作精度和穩定性，增強機器人對復雜環境的適應能力，具有良好的可靠性和實用性。本文提出的基于傳感器融合的機器人遠程控制系統設計方法可廣泛適用于特種場所作業機器人，減少對人力造成的危害，提高自動化作業程度。