基于元強(qiáng)化學(xué)習(xí)的電力巡檢機(jī)器人運(yùn)動(dòng)控制系統(tǒng)設(shè)計(jì)

黨永南，聶雷剛，王愚

(1.廣西電網(wǎng)有限責(zé)任公司， 廣西， 南寧 530000;2.廣西電網(wǎng)有限責(zé)任公司南寧供電局， 廣西， 南寧 530022)

0 引言

經(jīng)濟(jì)的快速發(fā)展帶動(dòng)用電量大幅度增加，電力系統(tǒng)成為社會(huì)發(fā)展中最為重要的一部分。以往對(duì)電力系統(tǒng)巡檢作業(yè)采用的是人工巡檢，工作效率低下，有時(shí)還會(huì)出現(xiàn)漏檢的情況，致使電力系統(tǒng)存在安全隱患。因此，電力巡檢機(jī)器人應(yīng)時(shí)而生。通過(guò)對(duì)巡檢機(jī)器人施加思維感知、行動(dòng)能力，借助遠(yuǎn)程紅外熱成像技術(shù)和遠(yuǎn)距離傳感器模仿人類(lèi)活動(dòng)，實(shí)現(xiàn)了非接觸式巡檢，不限制作業(yè)范圍和天氣環(huán)境，確保電力系統(tǒng)處于安全可靠的運(yùn)行環(huán)境下。巡檢機(jī)器人的運(yùn)動(dòng)控制屬于一種序列決策問(wèn)題，機(jī)器人在接收到運(yùn)動(dòng)命令后，立即作出連貫性的動(dòng)作反應(yīng)。對(duì)于機(jī)器人的運(yùn)動(dòng)控制，也有相關(guān)學(xué)者對(duì)此展開(kāi)深入研究。

文獻(xiàn)[1]在巡檢機(jī)器人位姿跟蹤誤差的基礎(chǔ)上，采用雙閉環(huán)方法實(shí)現(xiàn)對(duì)機(jī)器人的運(yùn)動(dòng)控制。雙閉環(huán)分為內(nèi)環(huán)和外環(huán)，由外環(huán)為內(nèi)環(huán)控制器提供虛擬參數(shù)，再與機(jī)器人的虛擬參考速度相結(jié)合，完成對(duì)機(jī)器人的自適應(yīng)運(yùn)動(dòng)控制。該方法采用虛擬參數(shù)，避免了由于參數(shù)過(guò)于復(fù)雜無(wú)法實(shí)現(xiàn)控制的情況，但是對(duì)于機(jī)器人啟動(dòng)和停止時(shí)產(chǎn)生的加速度和減速度沒(méi)有進(jìn)行研究，致使控制誤差較大；文獻(xiàn)[2]以CPU架構(gòu)為基礎(chǔ)，提出了六自由度機(jī)器人控制器設(shè)計(jì)方案。控制器由硬件和軟件構(gòu)成：硬件主要對(duì)通信連接模塊、網(wǎng)絡(luò)連接模塊和編碼器模塊等進(jìn)行詳述，軟件部分則主要對(duì)多種服務(wù)協(xié)議進(jìn)行了具體分析。通過(guò)測(cè)試，該控制器可以實(shí)現(xiàn)機(jī)器人的平穩(wěn)運(yùn)行，但是同樣沒(méi)有考慮到機(jī)器人的突然加速和減速，運(yùn)動(dòng)控制誤差較大。

基于此，本文在元強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)上，對(duì)機(jī)器人運(yùn)動(dòng)控制系統(tǒng)提出了一種新的設(shè)計(jì)方案，其中元強(qiáng)化學(xué)習(xí)算法隸屬于機(jī)器學(xué)習(xí)的一種，對(duì)于序列決策問(wèn)題有著很好的處理效果，而系統(tǒng)由硬件和軟件兩部分構(gòu)成：硬件部分實(shí)現(xiàn)了系統(tǒng)的通信和供電，本文選擇的是本安電源，在一定程度上提高了系統(tǒng)的安全性；軟件部分主要為系統(tǒng)提供通信功能碼支持和速度分配與控制，由元強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)，對(duì)于機(jī)器人運(yùn)動(dòng)過(guò)程中的速度變化分別進(jìn)行了計(jì)算，使機(jī)器人處于平穩(wěn)運(yùn)行狀態(tài)下，降低因突然加速和減速造成的誤差。通過(guò)對(duì)系統(tǒng)進(jìn)行性能測(cè)試，結(jié)果表明，本文方法對(duì)于電力巡檢機(jī)器人的運(yùn)動(dòng)路線(xiàn)控制和速度控制都有著顯著效果，為電力系統(tǒng)提供了科學(xué)的參考依據(jù)。

1 元強(qiáng)化學(xué)習(xí)下電力巡檢機(jī)器人運(yùn)動(dòng)控制系統(tǒng)設(shè)計(jì)方案

1.1 系統(tǒng)硬件設(shè)計(jì)

本文設(shè)計(jì)的運(yùn)動(dòng)控制系統(tǒng)硬件主要以通信和電路設(shè)計(jì)為主，通信以以太網(wǎng)為主，電路設(shè)計(jì)則包含了本安電源電路以及各類(lèi)驅(qū)動(dòng)電路的設(shè)計(jì)，具體內(nèi)容如下所示。

1.1.1 以太網(wǎng)通信模塊

本文在設(shè)計(jì)系統(tǒng)通信模塊時(shí)，利用以太網(wǎng)來(lái)實(shí)現(xiàn)，將SPI接口與以太網(wǎng)控制器連接在一起，憑借TCP協(xié)議棧，建立多種協(xié)議之間的連接。在系統(tǒng)設(shè)計(jì)階段，只需要在對(duì)應(yīng)模塊內(nèi)進(jìn)行簡(jiǎn)單的套接字編程即可，不需其他高難度的開(kāi)發(fā)。同時(shí)，本文還引入了RJ45接口和隔離變壓器[3]，使以太網(wǎng)與系統(tǒng)之間實(shí)現(xiàn)了物理連接，降低了系統(tǒng)開(kāi)發(fā)成本。

1.1.2 本安電源電路模塊

電力系統(tǒng)巡檢工作事關(guān)重大，屬于高危行業(yè)，在電源電路的選取上要尤其注意。因此，本文選擇安全性極高的本安電源，芯片選擇專(zhuān)用芯片B35，對(duì)系統(tǒng)輸入12 V本安電壓，輸出1.2 A本安電流。以上材料的結(jié)合，實(shí)現(xiàn)了非本安電源無(wú)法達(dá)到的隔離效果[4]，并且提供了過(guò)流、過(guò)壓保護(hù)，避免電池過(guò)熱出現(xiàn)爆炸的情況。電源電路模塊設(shè)計(jì)圖如圖1所示。

1.1.3 PWM信號(hào)驅(qū)動(dòng)電路模塊

電力巡檢機(jī)器人的額定電壓為3.3 V，而信號(hào)驅(qū)動(dòng)電路的輸入電壓為12 V，所以，需要進(jìn)行PWM(脈沖寬度調(diào)制)操作，將電信號(hào)進(jìn)行放大處理，使得PWM的驅(qū)動(dòng)性能在一定程度上得以提升。驅(qū)動(dòng)電路模塊設(shè)計(jì)圖如圖2所示。

圖1 本安電源電路模塊設(shè)計(jì)圖

圖2 運(yùn)動(dòng)控制系統(tǒng)PWM信號(hào)驅(qū)動(dòng)電路模塊

1.1.4 電源轉(zhuǎn)換電路模塊

由于本安電源供電系統(tǒng)輸出的額定電壓為12 V，而遠(yuǎn)程控制系統(tǒng)所需的額定電壓為3.3 V和5 V，二者之間不兼容。因此，需要對(duì)電壓進(jìn)行轉(zhuǎn)換，電源轉(zhuǎn)換電路模塊設(shè)計(jì)如圖3所示。

圖3 電源轉(zhuǎn)換電路模塊設(shè)計(jì)圖

從設(shè)計(jì)圖3中可以看出，5 V電壓轉(zhuǎn)換選擇的LM2596_5.0芯片，具有良好的自我保護(hù)功能，同時(shí)對(duì)于線(xiàn)性調(diào)節(jié)和負(fù)載調(diào)節(jié)[5]均具有顯著的優(yōu)勢(shì)；3.3 V電壓轉(zhuǎn)換選擇的是AMS117_3.3芯片，可完成轉(zhuǎn)換的電壓平穩(wěn)輸出，不僅如此，它還具有超強(qiáng)的電力限制和熱保護(hù)功能，平均負(fù)載電流高達(dá)800 mA，設(shè)計(jì)簡(jiǎn)單、易實(shí)現(xiàn)。

1.2 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件設(shè)計(jì)是在Keil5開(kāi)發(fā)平臺(tái)上實(shí)現(xiàn)的，電力巡檢機(jī)器人在實(shí)際作業(yè)過(guò)程中，主要的運(yùn)動(dòng)包括啟動(dòng)、前進(jìn)、后退、轉(zhuǎn)向、停止。為了使機(jī)器人可以根據(jù)命令到達(dá)指定場(chǎng)所進(jìn)行巡檢作業(yè)，在運(yùn)動(dòng)控制系統(tǒng)軟件部分，本文設(shè)計(jì)了速度分配與控制和通信兩個(gè)模塊。通信模塊的主要作用是接收指令，速度分配[6]與控制模塊的主要作用則是根據(jù)接收到的指令完成相應(yīng)的操作。系統(tǒng)軟件部分設(shè)計(jì)如圖4所示。

圖4 系統(tǒng)軟件部分設(shè)計(jì)圖

由圖4可知，電力巡檢機(jī)器人通過(guò)電機(jī)驅(qū)動(dòng)通信模塊進(jìn)行通信，接收運(yùn)動(dòng)指令，在接收到指令后，通過(guò)速度分配與控制模塊對(duì)指令進(jìn)行分析，將驅(qū)動(dòng)輪的速度提取出來(lái)，看是否需要加減速，如果需要加速，則進(jìn)入加速狀態(tài)，如果需要減速，則進(jìn)入減速狀態(tài)，并將速度分配給驅(qū)動(dòng)輪，令機(jī)器人開(kāi)始執(zhí)行巡檢作業(yè)。

1.2.1 電機(jī)驅(qū)動(dòng)通信模塊

遠(yuǎn)程控制系統(tǒng)與巡檢機(jī)器人之間通過(guò)以太網(wǎng)進(jìn)行通信，軟件部分采用的是MODBUS協(xié)議，該協(xié)議的優(yōu)點(diǎn)在于通用性強(qiáng)，配有多個(gè)接口，可實(shí)現(xiàn)不同程序之間的通信。因此，本文將MODBUS協(xié)議應(yīng)用到通信模塊軟件部分，為上位機(jī)或者運(yùn)動(dòng)控制器提供便捷的通信服務(wù)[7]。

本文的電機(jī)驅(qū)動(dòng)器所適應(yīng)的MODBUS功能碼如表1所示，共包含6種功能碼。

1.2.2 速度分配與控制模塊

在接收到運(yùn)動(dòng)指令后，速度分配與控制模塊先對(duì)指令進(jìn)行分析，將驅(qū)動(dòng)輪的速度提取出來(lái)。這里需要注意的是，通信模塊傳送過(guò)來(lái)的速度是字符串[8]的形式，而該模塊中的速度是以數(shù)字的形式呈現(xiàn)，所以需要對(duì)二者進(jìn)行格式上的轉(zhuǎn)換。將完成轉(zhuǎn)換后的速度分配給驅(qū)動(dòng)輪，使得巡檢機(jī)器人開(kāi)始執(zhí)行作業(yè)。字符串與數(shù)字格式之間的速度值轉(zhuǎn)換流程圖如圖5所示。

表1 電機(jī)驅(qū)動(dòng)器適應(yīng)的MODBUS功能碼

圖5 速度值格式轉(zhuǎn)換流程圖

由字符串與數(shù)字格式之間的速度值轉(zhuǎn)換流程圖可知，在電力巡檢機(jī)器人通過(guò)電機(jī)驅(qū)動(dòng)通信模塊進(jìn)行通信接收運(yùn)動(dòng)指令后，對(duì)運(yùn)動(dòng)指令進(jìn)行分析，看速度值的首位是否為負(fù)號(hào)，如果為負(fù)號(hào)，則signal=1；如果不為負(fù)號(hào)，則查看其他字符是否在0～9之間，若在，則依次將字符與0相減乘10再相加，存入result中，使result與result*signal相等，若不在0～9之間，則返回指令分析步驟，重新分析，從而完成速度值格式轉(zhuǎn)換。

在速度控制模塊中，本文通過(guò)元強(qiáng)化學(xué)習(xí)算法來(lái)實(shí)現(xiàn)。元強(qiáng)化學(xué)習(xí)算法與其他算法不同的是，可以實(shí)現(xiàn)與環(huán)境的交互[9]，提取交互過(guò)程中的反饋信號(hào)。無(wú)需提前設(shè)置，隨時(shí)可進(jìn)行信號(hào)的輸入，同時(shí)以最大化未來(lái)回報(bào)為學(xué)習(xí)目標(biāo)，使得輸出結(jié)果為期望值。所以，元強(qiáng)化學(xué)習(xí)算法具有其他算法所不具備的自學(xué)習(xí)特性和學(xué)習(xí)能力。

元強(qiáng)化學(xué)習(xí)算法通過(guò)智能體與環(huán)境的交互，隨著信號(hào)的不斷輸入，逐漸進(jìn)入到學(xué)習(xí)環(huán)境中。智能體對(duì)環(huán)境進(jìn)行遍歷和感知，將所得結(jié)果反饋給機(jī)器人，制定運(yùn)動(dòng)路徑規(guī)劃[10]。該算法可有效避免機(jī)器人在行進(jìn)過(guò)程中出現(xiàn)較大的噪聲和抖動(dòng)，降低運(yùn)動(dòng)控制誤差以及機(jī)器人自身的損耗。不僅如此，元強(qiáng)化學(xué)習(xí)算法還有效避免了因機(jī)器人啟動(dòng)和停止帶來(lái)的突然加速和減速，使機(jī)器人始終保持在平穩(wěn)的運(yùn)動(dòng)狀態(tài)下[11-13]。

在電力巡檢機(jī)器人的運(yùn)動(dòng)控制系統(tǒng)中，速度由7個(gè)不同的階段構(gòu)成：突然加速、勻加速、緩慢加速、勻速、突然減速、勻減速和緩慢減速。具體如圖6所示。

圖6 元強(qiáng)化學(xué)習(xí)算法下電力巡檢機(jī)器人運(yùn)動(dòng)速度

從圖6中可以看出，電力巡檢機(jī)器人的運(yùn)動(dòng)速度變化曲線(xiàn)為S型，速度曲線(xiàn)和加速度曲線(xiàn)為連貫的，沒(méi)有出現(xiàn)突然加速的情況，這就可以實(shí)現(xiàn)機(jī)器人平穩(wěn)的運(yùn)動(dòng)。

電力巡檢機(jī)器人速度、加速度和突然加速的計(jì)算式為

(1)

(2)

式中，a(t)表示加速度函數(shù)值，a表示加速度，t表示時(shí)間,τ表示一個(gè)時(shí)間常數(shù)，j(t)表示突然加速度函數(shù)值，v(t)表示速度函數(shù)值。對(duì)j(t)進(jìn)行積分計(jì)算即可得到a(t)，再對(duì)a(t)進(jìn)行積分計(jì)算即可得到v(t)。

各個(gè)函數(shù)值的計(jì)算表達(dá)式如下。其中，J表示突然加速度最大值，-J表示突然加速度最小值，V2表示t2時(shí)刻下機(jī)器人速度，其余同理，t1-t7參數(shù)解釋如圖6所示。

突然加速度函數(shù)表達(dá)式為

(3)

加速度函數(shù)值表達(dá)式為

(4)

速度函數(shù)值表達(dá)式為

(5)

2 系統(tǒng)性能測(cè)試

2.1 測(cè)試環(huán)境

在光纖通信網(wǎng)絡(luò)設(shè)計(jì)中，為了驗(yàn)證本文設(shè)計(jì)的運(yùn)動(dòng)控制系統(tǒng)是否可以正確引導(dǎo)機(jī)器人按照指令進(jìn)行電力巡檢作業(yè)，分別對(duì)運(yùn)動(dòng)控制方向和速度控制進(jìn)行了系統(tǒng)性能測(cè)試。在實(shí)驗(yàn)室內(nèi)部模擬機(jī)器人作業(yè)環(huán)境，所有數(shù)據(jù)記錄在SQL Server 2015數(shù)據(jù)庫(kù)內(nèi)。

2.2 巡檢機(jī)器人運(yùn)動(dòng)方向控制測(cè)試

在模擬的測(cè)試環(huán)境，巡檢機(jī)器人預(yù)定運(yùn)動(dòng)路線(xiàn)如圖7所示。圖中，網(wǎng)格區(qū)域?yàn)檎系K物，控制機(jī)器人從(0，0)出發(fā)，按A-B-C-D方向前行，直至返回(0，0)坐標(biāo)。

圖7 機(jī)器人預(yù)定路線(xiàn)軌跡圖

將機(jī)器人實(shí)際行進(jìn)路線(xiàn)記錄為二維圖像，驗(yàn)證本文方法對(duì)機(jī)器人運(yùn)動(dòng)控制是否合理有效，圖8、圖9分別為運(yùn)動(dòng)路線(xiàn)軌跡和誤差圖。

圖8 機(jī)器人路線(xiàn)運(yùn)動(dòng)軌跡圖

(a) Y軸誤差

從圖8中可以看出，本文方法下機(jī)器人運(yùn)動(dòng)路線(xiàn)與預(yù)定路線(xiàn)基本吻合，沒(méi)有出現(xiàn)太大的偏差。但是通過(guò)圖9能夠看出，機(jī)器人從一個(gè)地點(diǎn)的作業(yè)轉(zhuǎn)移到下一個(gè)地點(diǎn)時(shí)，都會(huì)產(chǎn)生些許誤差，角度也會(huì)偏差。這是由于機(jī)器人在啟動(dòng)加速階段和減速停止時(shí)，其自身重量導(dǎo)致的慣性引起的。總的來(lái)說(shuō)，在測(cè)試過(guò)程中，巡檢機(jī)器人沒(méi)有碰撞到任何障礙物，由此可以證明，本文設(shè)計(jì)的機(jī)器人運(yùn)動(dòng)控制系統(tǒng)適用于電力巡檢作業(yè)。

2.3 速度控制測(cè)試

為了驗(yàn)證本文方法對(duì)電力巡檢機(jī)器人的運(yùn)動(dòng)速度控制是否同樣有效，通過(guò)MATLAB仿真軟件與雙閉環(huán)方法和CPU架構(gòu)2種方法進(jìn)行了對(duì)比測(cè)試。為了使機(jī)器人的啟動(dòng)速度測(cè)試準(zhǔn)確，在開(kāi)始測(cè)試之前，將3種方法中機(jī)器人的速度進(jìn)行統(tǒng)一設(shè)定，并進(jìn)行多次迭代測(cè)試，取速度的平均值：最大速度設(shè)為1 m/s，最大加速度設(shè)置為50 cm/s，最大突然加速度則設(shè)置為20 cm/s，初始速度為0，在3 s內(nèi)加速到1 m/s，保持速度3 s，隨后控制機(jī)器人停止運(yùn)行，速度重新降為0。

測(cè)試在MATLAB仿真軟件上實(shí)現(xiàn)，記錄3種方法測(cè)試中產(chǎn)生的所有數(shù)據(jù)，3種方法運(yùn)動(dòng)速度控制結(jié)果如圖10所示。

圖10 3種方法速度控制對(duì)比結(jié)果

從圖10中可以看出，3種方法中，不管是在加速階段還是減速階段，本文方法的速度變化曲線(xiàn)最為平緩，雙閉環(huán)方法和CPU架構(gòu)都出現(xiàn)了突變的情況，只有本文方法始終將機(jī)器人的運(yùn)動(dòng)速度控制在平穩(wěn)狀態(tài)下。這是因?yàn)楸疚姆椒ㄒ肓嗽獜?qiáng)化學(xué)習(xí)算法，針對(duì)機(jī)器人運(yùn)動(dòng)速度的幾個(gè)階段都可實(shí)現(xiàn)平穩(wěn)運(yùn)行，降低因突然加速和減速導(dǎo)致的路線(xiàn)偏差，提高機(jī)器人的巡檢效率和控制精度。

3 總結(jié)

傳統(tǒng)方法在對(duì)電力系統(tǒng)進(jìn)行巡檢作業(yè)時(shí)，采用的都是人工巡檢的方式，不僅效率低，對(duì)于一些異常情況可能出現(xiàn)漏檢，因此，電力巡檢機(jī)器人應(yīng)時(shí)而生。在研究巡檢機(jī)器人的過(guò)程中，運(yùn)動(dòng)控制系統(tǒng)是最為重要的環(huán)節(jié)之一，直接影響著機(jī)器人能否按照規(guī)定路線(xiàn)行進(jìn)。基于此，本文在元強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)上，提出了電力巡檢機(jī)器人運(yùn)動(dòng)控制系統(tǒng)設(shè)計(jì)方案。由元強(qiáng)化學(xué)習(xí)算法對(duì)機(jī)器人運(yùn)動(dòng)速度進(jìn)行控制，使其保持在一個(gè)平穩(wěn)狀態(tài)下，避免因突然加速或減速產(chǎn)生較大的抖動(dòng)和噪聲，從而有效提高了電力巡檢機(jī)器人的控制精度。