基于視覺導航定位的盾構機器人換刀技術研究

郭俊可，王杜娟

(中鐵工程裝備集團有限公司，河南 鄭州 450016)

0 引言

隨著地下空間開發力度的加大，盾構作為集機、電、液、傳感器等技術于一體的高度集成化、自動化隧道施工機械，現已被廣泛應用于隧道、地鐵、綜合管廊等領域，對國家城市化和現代化進程起到了重要的推動作用[1-2]。

盾構能否順利掘進，刀盤刀具的狀態起著至關重要的作用[3-4]。盾構掘進過程中，刀盤刀具產生磨損或出現其他問題在所難免，這就需要及時更換刀具[5-8]。但是，盾構的換刀作業空間是一個高溫、高壓、高濕的環境[9]，對進入開挖艙進行換刀作業的人員有嚴格的時間限制，同時換刀作業人員安全風險大，換刀作業周期長，這大大增加了項目施工周期和施工成本。

為解決上述問題，開始引入機器人進行自動換刀作業。國內外企業和高校已進行了不少的相關研究，目前的研究多集中在換刀機器人本體設計、運動空間規劃、運動控制等方面[10-13]，關于機器人換刀過程中基于視覺導航的精確定位技術研究比較少。本文依托盾構實際需求和工況，針對換刀機器人末端執行器的定位問題，提出基于視覺導航的機器人換刀精確定位方法，并通過試驗驗證了其可行性。研究成果可為機器人自動換刀技術提供關鍵性的技術支持。

1 機器人自動換刀方法

機器人換刀采用全自動方式進行，機器人接收到換刀指令后，其控制系統根據盾構刀具智能診斷系統反饋的待更換刀具位置信息以及刀盤角度，將刀盤旋轉到合適位置； 蛇形機器人移動到待更換刀具位置，進行刀箱刀具表面泥污清洗，以便下一步機器視覺特征識別和刀具拆卸作業； 清洗作業完成后，換刀機器人移動到指定位置，由機器視覺導航進行特征檢測、定位； 完成定位后，抓取待更換刀具，拆卸舊刀具，由機器人將舊刀具存放于舊刀存儲箱，然后抓取新刀具，再次移動到指定位置，進行特征識別、定位，將新刀具裝入刀箱，完成刀具更換； 確認完成刀具更換后，機器人自動回到機器人艙，等待下一次換刀指令。機器人自動換刀流程如圖1所示。

圖1 機器人自動換刀流程圖

2 視覺導航定位

2.1 視覺導航定位模型

根據視覺系統中相機與機器人執行機構之間的位置關系，目前，機器人視覺導航定位主要有2種手眼模型，即Eye-to-Hand和Eye-in-Hand[14]。2種視覺導航模型示意如圖2所示。換刀機器人的作業對象是刀盤上的滾刀，滾刀在刀盤上呈多點位分布，若采用Eye-to-Hand方式，工業相機安裝后很難保證能夠清晰看到整個刀梁方向的刀具，且相機容易出現安裝誤差，影響機器人識別定位精度； 若采用Eye-in-Hand方式，相機固定于機器人末端執行器，隨機器人末端執行器一起運動，只要機器人末端執行器能到達的地方，都可實現刀具系統的視覺檢測定位。故對于換刀機器人系統的手眼模型，采用的是Eye-in-Hand方式。

(a) Eye-to-Hand模型

(b) Eye-in-Hand模型

2.2 視覺導航定位系統組成

機器人視覺導航系統硬件主要包括智能相機、鏡頭、補光燈和圖像采集卡(見圖3)。本套系統采用的是康耐視高度集成化智能相機In-Sight 8042，圖像采集、處理、通信模塊集于相機內，具有多功能、模塊化、高可靠性、易于實現機器視覺導航定位等優點。機器人視覺導航系統在作業時，相機到達指定拍照位置后，觸發相機拍照； 圖像采集卡對圖像進行處理，獲取刀具的位置信息，將位置信息通過工業以太網通訊傳輸給機器人控制系統； 機器人控制系統調整機器人到最佳位置姿態，最后引導工業機器人完成作業。機器人末端執行器上設計有一體式的相機和補光燈安裝支架，相機安裝于補光燈中心，盡量保障光照的均勻，如圖3所示。盾構開挖艙是一個黑暗、高壓、高濕的環境，故相機和補光燈都采用高承壓密封設計。

圖3 機器人視覺導航系統硬件組成示意圖

換刀機器人視覺定位系統總體采用“機器人控制系統—圖像處理模塊—控制執行模塊”的模式，總體結構如圖4所示。機器人控制系統控制相機和補光燈的開關，達到拍照位置后觸發相機圖像采集，相機進行圖像處理后將計算結果反饋給機器人控制系統，機器人控制系統根據定位結果調整機器人姿態，實現機器人末端執行器的準確定位。

圖4 視覺定位系統總體結構

2.3 視覺導航定位原理

目前盾構的滾刀采用傳統拉緊塊的固定方式(如圖5(a)所示)，拆刀工序復雜，很難采用機器人手抓完成拆裝刀作業。為此，設計了一套既滿足切削等基本功能，又便于機器人快速拆裝的新式刀具系統，如圖5(b)所示。換刀機器人視覺導航定位過程中的特征識別，采用新式刀具系統刀箱上的固有特征進行定位。

1—刀箱； 2—拉緊裝置； 3—滾刀。

1—刀箱； 2—鎖緊塊； 3—抓取桿； 4—螺桿； 5—螺母塊； 6—滾刀。

首先，機器人進行圖像的離線學習，即圖像標定，尋找刀具系統上能夠作為特征的識別點。機器人進行視覺定位作業前，先采集1組相對理想的特征作為模板圖像M，并經過圖像處理得到模板圖像的特征中心坐標(x0,y0,z0)和初始角度。

在機器人換刀作業視覺定位過程中，視覺系統重新采集到一張圖像A，經過模板匹配，找到特征區域并經過圖像處理計算得到特征區域的中心坐標(x1,y1,z1)和當前旋轉角度θ1。則可以計算出當前特征點與標定位置特征點的偏差值(Δx,Δy,Δz,Δθ)。智能相機將此偏差值發送給機器人控制系統，機器人控制系統根據偏差值調整機器人的位姿，相對于標定時的機器人抓取點進行x、y、z方向的移動以及xy平面的旋轉，從而可以精確抓取到位置。視覺定位工作流程如圖6所示。

圖6 視覺定位工作流程

換刀機器人通過不斷重復上述過程，實現機器人換刀作業過程中各位置刀具的精確定位、拆卸和安裝。

2.4 視覺導航定位過程

相較于常見的工業機器人視覺工作環境，全斷面隧道掘進機換刀機器人的工作環境惡劣，對視覺的影響因素眾多，要實現換刀機器人的正常作業，需要刀盤刀具蛇形機器人系統、刀盤系統和刀盤刀具性能感知預測系統等多個系統的協作配合。

2.4.1 視覺導航定位特征

首先，換刀機器人進行正常換刀作業前，要進行標定和模板制作。根據換刀的作業流程，換刀機器人在拆裝刀過程中涉及2個狀態下的視覺導航定位： 一個是拆刀過程，此時刀具刀座處于刀箱中； 另一個是裝刀過程，刀具刀座被夾持于機器人末端執行器上。上述2種狀態下的視覺導航定位使用的特征點不相同。

在機器人拆刀作業過程中，機器人末端執行器要準確定位抓取位置，因此，視覺導航定位的特征點選取刀具刀座上的特征點作為模板圖像制作，擬選取的特征點為刀座上的固定板，如圖7所示。

圖7 換刀機器人拆刀作業過程中視覺導航定位特征

在機器人裝刀作業過程中，機器人末端執行器要定位刀箱的準確位置，因此，視覺導航定位的特征點選取刀箱上的特征點作為模板圖像，擬選取刀箱一個角的內輪廓作為特征點，如圖8所示。

圖8 換刀機器人裝刀作業過程中視覺導航定位特征

上述特征點都位于刀盤內側，一方面2個特征都很明顯，另一方面他們處于土艙或泥水艙內，相比于刀盤前面板，各種磨損和沖擊要小很多，雖具有一定的磨損，但對基于視覺系統定位特征的中心坐標基本沒有影響。

2.4.2 視覺導航精確定位過程

由于刀盤上刀具分布位置較廣，為減少機器人視覺導航定位的誤差，在進行模板圖像標定和機器人基坐標系建立時，選取刀梁中間位置刀具，換刀機器人在定位中心位置和邊緣位置的刀具都能保持較好的定位精度。

根據2.3節所述的視覺定位原理和常用標定方法，采用九點標定法實現換刀機器人系統和相機系統之間坐標系的統一[15]。

盾構上已配置基于多源數據的刀具狀態在線監測系統，可以實時監測刀盤上刀具的當前狀態。當發現某把刀具狀態異常需要更換時，會發出信號至盾構的大腦——PLC控制系統，控制系統將信息顯示給作業人員，等待作業人員下一步動作指令。

由于任意一把刀具在刀盤上的軌跡半徑和安裝位置基本已知，同時刀盤主驅動配有旋轉編碼器，因此，可通過上位機系統控制刀盤旋轉； 當作業人員根據刀具狀態信息判斷該刀具的確需要更換時，則將待更換刀具移動至蛇形機器人巡檢范圍內。

作業人員向刀盤刀具蛇形機器人發出作業指令，蛇形機器人移動至待更換刀具前，對刀具進行清洗作業和檢查作業，同步可利用盾構上已配置的土艙可視化系統對待更換刀具進行觀察。

待更換刀具清洗完畢，同時確認刀具需要更換后，轉動刀盤，將待更換刀具所在刀梁移動至換刀機器人作業位置，等待機器人換刀作業。

換刀機器人收到換刀作業指令后，將艙門打開，換刀機器人調整姿態，移動末端執行器至待更換刀具抓取點附近，進行刀具系統的準確識別定位。

上述視覺定位過程包括2個基本過程： 1)機器人末端執行器抓取點的粗略移動過程。由于刀具分布較廣，任意兩刀具之間相距較遠，故不同位置的刀具難以處于機器人同一相機視野范圍內，需要根據待更換刀具的位置相對于標定位置的距離和姿態對機器人抓取點進行粗定位。2)刀具系統的精確定位過程。機器人根據視覺系統計算出的實際位置與標定位置的偏差值進行姿態調整，以精確地抓取位置。2個過程的具體步驟分別如下。

2.4.2.1 機器人末端執行器抓取位置的粗定位

受限于刀盤內部結構以及換刀機器人艙門位置，需要更換刀具時，待更換刀具所在刀梁會旋轉至機器人作業范圍內，并處于水平方向。

視覺導航粗定位過程示意如圖9所示。設標定位置在位置1，作業位置為位置2。由于位置1和位置2相距一般較遠，不能處于相機同一拍照視野內，故需要換刀機器人系統根據待更換刀具位置對機器人抓取點進行粗定位，即由標定時的抓取位置1移動到作業位置2。

圖9 視覺導航粗定位過程示意圖

按照上述過程，就需要換刀機器人由標定位置先移動距離l。由2.4.2節可知，任何一把刀具在刀盤上的軌跡半徑基本已知，故粗定位過的移動距離l已知，從而可移動換刀機器人末端執行器至待更換刀具位置，完成機器人視覺導航過程中的粗定位。

2.4.2.2 機器人末端執行器抓取位置的精確定位

按照2.4.2.1節中的方法，機器人進行位置和姿態調整后(粗定位)，由于刀盤刀具安裝精度、刀盤制動的延時性以及機器人長距離移動誤差的累積，換刀機器人末端執行器距離精確的抓取位置還存在一定偏差。這時需要視覺系統拍照，計算當前抓取位置與標定抓取點的偏差值，然后發送偏差值信號至機器人控制系統，機器人控制系統再進行位姿的精確調整，以達到精確的刀具位置抓取。

圖10 視覺導航精確定位示意圖

機器人末端執行器本身是一個剛體結構，與機器人末端法蘭剛性連接，故可通過機器人控制系統精確控制末端執行器的位姿。

轉換為齊次矩陣為

其中，設T為齊次變換矩陣，則

綜上所述，換刀機器人末端執行器對待更換刀具的精確定位過程是一個復合過程，即先進行粗定位，再進行精確定位。

3 試驗與分析

為驗證基于視覺導航定位的機器人換刀技術的可行性，在實驗室基于KUKAKR60-3搭建了試驗臺，進行可行性試驗驗證。試驗臺布局示意如圖11所示。為了模擬機器人換刀真實環境，試驗過程均在黑暗環境下進行。

圖11 換刀機器人試驗臺布局示意圖(單位： mm)

3.1 相機通訊和照明測試

視覺導航定位系統中電源單獨供電，相機與機器人控制系統通過Profinet通信。下面測試相機的通訊和補光燈照明是否正常。

1)補光燈照明測試。控制系統發送照明指令，查看相應繼電器是否及時響應，補光燈是否正常打開，如圖12所示。

圖12 補光燈照明測試

2)相機通訊測試。控制系統觸發拍照指令，查看相機是否正常拍照并返回計算數據，如圖13所示。

(a)

(b)

經測試，相機功能及通訊正常，補光燈的照明功能正常。

3.2 視覺定位精度測試

由于機器人采用成熟產品，其末端重復定位精度可達±0.06 mm。因此，本試驗主要針對視覺系統進行。視覺系統通過九點標定法，統一了相機與機器人的坐標系，機器人對待更換刀具的定位依賴于視覺定位的精度。因此，有必要測試機器人的視覺定位精度。測試步驟如下：

1)設機器人末端執行器運行在XY平面上，機器人控制系統發出位移指令，命令機器人末端執行器沿X軸正向移動5.000 mm，觸發相機的拍照指令； 相機拍照后自動計算位移量，并反饋給機器人控制系統，通過機器人控制系統查看相機返回的位移量。

2)重復步驟1)的操作，機器人發送位移指令，命令機器人末端執行器分別沿X軸負向、Y軸正向、Y軸負向移動5.000 mm，觸發相機拍照； 相機拍照后自動計算位移量，并反饋給機器人控制系統，通過機器人控制系統分別查看相機在3個方向上返回的位移量。

試驗結果如表1所示。

表1 視覺導航定位精度測試結果

根據上述測試結果可知，機器人視覺導航定位精度可以達到0.5 mm左右，滿足使用要求。

3.3 視覺導航定位試驗

在實際工況下，待更換刀具的理論位置可以通過計算獲取，但實際上由于機械安裝誤差、刀盤停轉定位誤差等，待更換刀具很難準確停在理論位置，這就需要視覺導航定位系統對待更換刀具精確定位。在實驗室設置有可移動刀箱(如圖14所示)，用于模擬待更換刀具位置的變化。試驗步驟如下：

1)用示教的方法，保證機器人末端執行器能夠順利進入刀箱，此步的目的在于確定基準抓取點。

2)機器人控制器控制機器人末端執行器移動至拍照位，然后用相機進行拍照，存儲當前坐標為基準坐標。

3)進行第1次測試，在不移動刀箱的情況下，依靠視覺定位進行裝刀操作。

4)進行第2次測試，刀箱進行平移操作，平移11 mm，機器人依靠視覺定位進行裝刀操作。

5)進行第3次測試，刀箱進行平移操作，平移13 mm，機器人依靠視覺定位進行裝刀操作。

6)進行第4次測試，刀箱進行旋轉操作，旋轉15°，機器人依靠視覺定位進行裝刀操作。

圖14 刀箱位移裝置

視覺導航定位測試現場如圖15所示。

(a)

(b)

視覺導航定位誤差如表2所示。

表2 視覺導航定位誤差

4次視覺導航定位測試中，機器人末端執行器均順利進入抓取位置，同時定位精度亦滿足使用需求。

4 結論與展望

依托盾構實際工況，針對盾構機器人換刀作業過程中刀具的精確定位問題進行了研究。本文提出了機器人換刀作業過程中的視覺精確定位方法，并在實驗室搭建機器人換刀試驗臺進行了一系列基于視覺導航定位的機器人換刀技術試驗研究，得到如下結論。

1)機器人換刀作業過程中，末端執行器的定位采用機器視覺導航定位，根據試驗結果可知，定位精度可以達到0.5 mm，滿足盾構機器人換刀作業對精度的要求。說明換刀機器人末端執行器采用機器視覺方法進行精確導航定位具備可行性，可將視覺技術應用于盾構機器人換刀技術中。

2)由于實際施工過程中，盾構刀盤土艙或泥水艙內部環境黑暗、高壓、高濕，要想實現視覺系統的穩定可靠運行和精確定位，必須保證視覺系統的防護等級； 同時，機器人換刀作業前，要盡量保證待更換刀具清潔。

3)基于視覺導航定位的盾構機器人換刀方法，為解決換刀機器人在惡劣作業環境中刀具精確定位的問題提供了一種思路，對盾構實現自動化機器人換刀作業具有重要意義。

關于盾構機器人換刀視覺導航定位技術，只在實驗室進行了驗證。但是在實驗室條件下，機器視覺環境相對理想，實際工況下，換刀環境非常復雜，視覺系統在復雜環境下的魯棒性會受到影響，未來換刀機器人將搭載在真機上，在實際工況下進一步進行視覺導航定位技術的試驗驗證和研究。