基于背景差分的巡檢機器人視覺識別方法

楊 濤，李 祎，陳晶華，文 煒，張香怡，顧繼俊

(1.中海石油(中國)有限公司，北京 100010；2.中石化川氣東送天然氣管道有限公司，湖北 武漢 430020；3.中國石油大學(北京)機械與儲運工程學院，北京 102200)

0 引言

隨著科技的進步，推動互聯網、大數據、人工智能和實體經濟深度融合是各行各業急需面對的挑戰[1]。海洋石油平臺的維護及巡檢工作逐步向少人化甚至無人化發展，海洋平臺設備的正常運轉關系到整個平臺的安全生產和可靠運行，因此需要工作人員每天定期對平臺運行設備進行巡檢,采集設備的運行數據,并對數據分析。由于工作量較大,工作人員的技術水平良莠不齊,對工作的認真程度也各不相同,海洋石油平臺的日常巡檢維護不能得到充分的保障,一旦沒有及時發現設備的異常狀況并解決掉,就可能造成巨大的損失[2]。為了解決此類問題,海洋平臺巡檢機器人的研究與應用應運而生。

針對海洋平臺空間不規則，設施結構復雜，遍布法蘭盤、各式機器和樓梯等問題，提出了一種沿著固定軌道運行的巡檢機器人方案。為了實現巡檢效果，機器人要對周圍環境進行遺棄物體(異常物體)的識別。如何進行異常物體的識別成為巡檢機器人發展的一個難點，在巡檢機器人的視覺方案中，大部分采用固定多個攝像頭，在監控室進行人工監控的方案[3],但該方案耗費人力物力較多，未能把勞動力解放出來；文獻[4]使用機器學習的方法判斷異常物體，但是只能檢測預先訓練好的物體，未知類別的異物不能被檢測到[5]。為了解決這些問題，研究了機器人系統的控制方案，以及一種新的視覺處理算法，使機器人能夠不必再依賴于機器學習，在異物種類不確定的情況下，依舊能夠自主地進行判斷并識別出異常物體。

1 控制系統

為了識別異物，巡檢機器人需要進行頻繁的、高負擔的視頻處理及運算，并將數據及時返回給總控制臺。該機器人由高性能Intel Core i7微處理器和存儲元件組成的中央計算機充當機器人的決策中心，主要用來進行繁重的數據存儲、數據管理、數據處理和三維圖像深度信息的處理[6]。

為了對驅動單元做更好的控制，本文將中央計算機通過串口連接STM32F407(下位機)，控制驅動系統以驅動制動系統，如圖1所示。同時采用CAN通信方式進行通信，具有實時性強、穩定、可靠、傳輸速度快等優點[7]。

圖1 機器人控制系統架構

在機器人運行過程中,數據采集系統需要從周圍的環境中提取有用信息上報給中央計算機，使其做出決策。包括采集圖像信息、音頻信息和視頻信息等。該系統由雙目攝像頭、固定攝像機、熱圖測溫紅外攝像儀、內置麥克風的立體攝像頭和陀螺儀(采集位置信息和振動信息)組成。采集系統如圖2所示。

圖2 數據采集系統

2 基于視頻對齊的背景差分技術

在實際海洋平臺場景中，平臺通過固定的攝像頭進行異物識別具有極大的局限性。為了解決這個問題，使用跟隨巡檢機器人的移動攝像頭來實現異物識別。該方法可以擴大監控范圍，減少安裝多個攝像頭的成本，同時減小計算量，但移動背景大大增加了目標檢測的復雜度，更加具有挑戰性[8]。同時，在巡檢環境中，異物種類不確定，若只檢測固定種類的物體，則整個平臺的巡檢維護得不到保障，安全保護機制不夠充分。

綜合上述原因，研究一種基于背景差分技術的異常物體檢測方法，并將其應用在巡檢機器人的移動攝像頭上就顯得極為重要。

核心技術步驟如圖3所示。在執行巡檢任務之前，機器人需要沿固定的軌道錄制一段沒有異常物體的參考視頻序列，取參考幀[9]；在執行巡檢任務時，錄制的視頻作為當前視頻，取當前幀。通過對比2幀圖像，判別出現場是否存在異常物體。由于拍攝2段視頻過程中，攝像頭速度和角度可能存在偏差，需要對視頻進行對齊處理，故如何找到2段視頻的對應幀，并且處理好對應幀角度上的變化成為了研究重點。為了在參考視頻中找到與當前幀最相似的位置捕獲的參考幀，并進行像素級別的匹配與調整，制定了圖3所示的技術步驟。

圖3 視頻對齊技術步驟

2.1 時間對齊

針對對應幀圖像難以對齊的問題，提出了一種基于差分行波的視頻對準算法，在動態時間規整(DTW)算法的基礎上將視頻背景框架進行實時對齊。將2段視頻看作2段時間序列，由于巡檢機器人在同一地點的運動速度無法保證時刻相同，所以巡檢同一段區域提取的2段時間序列長度不同，就會出現表現為圖4的現象。

時間點

為了找到實時對應幀的圖像，DTW算法將圖像特征量化提取出來。圖4中，實線和虛線分別代表同一區域錄制的參考視頻和目標視頻量化波形，為了便于觀察，將2段序列在y(時間)軸上拉開距離。可以看到整體波形很相似，但在時間軸上卻是不對齊的。如在第20個時間點時，實線波形的A點為序列2最高點，其應對應于虛線波形的B′點，若將A點圖像與B′對應幀圖像差分，計算結果的誤差將會非常大。顯然，實線的A點對應虛線的B點才是對應幀圖像。

在巡檢機器人巡檢過程中，使用傳統的歐幾里得距離無法有效地求得2個時間序列之間的相似性。因此，本文通過在線DTW算法找到這2個波形對齊的點，如圖5所示。

圖5 2段視頻序列對應點

假設有2個時間序列X和Y，其長度分別是M和N，即X=[x1,x2,xi,…,xM]和Y=[y1,y2,yj,…,yN]，為了對齊這2個序列，構造1個M×N的矩陣，矩陣元素(i,j)表示xi和yj2個點的距離d(xi,yj)。DTW算法旨在找到最短路徑W=[w1,w2,…,wL],Wk=[ik,jk]∈[1,2,…,M] ×[1,2,…,N]，max(M,N)

a.邊界條件：w1=(1, 1)和wk=(M,N)。

b.連續性：i1

c.單調性：Wk+1-Wk∈{(1,0)(0,1)(1,1)}[10]。

結合連續性和單調性約束，每個格點的路徑就只有3個方向(圖6)，可在此基礎上選擇1條最短的路徑。

圖6 路徑可選方向

通過尋找到矩陣所有的最短序列，計算出最佳路徑，從而匹配到2段時間序列的對應幀。

(1)

為了求解方程，用以下遞歸公式創建累積成本矩陣d,將具有最小值的值添加到路徑中，直到達到元素d(M,N)。

(2)

如圖7所示，得到了M×N矩陣的最佳路徑，則稱該函數為時間規整函數。順利將2段序列進行時間上的匹配。

圖7 M×N矩陣序列最佳路徑

通過將DTW算法應用在視頻領域，匹配到2段視頻的對應幀，獲得時間量度上的匹配。但對應幀差分后仍存在較大的圖像差，無法準確識別異常物體。

2.2 空間對齊

分析得到，由于時間對齊后攝像頭角度的偏差以及多幀匹配1幀會存在角度差等問題，對應幀差分仍然會存在較大的間隙和偏差。為了補償這種偏差，要對圖像進行像素級的匹配。本文首先利用改進的加速魯棒特征(SURF)算法提取對應幀上的興趣點[11]，進而采用隨機樣本一致性算法(RANSAC)取一定數目的特征點。如果將參考幀和當前幀圖像看作2個坐標系，那么同一特征點在2個坐標系中有可能坐標值不同，坐標不同則意味著圖像發生了旋轉或平移。篩選出一定數目的對應點坐標，利用DeepFlow[12]算法分塊求得變換的仿射變換矩陣。將變形場應用到圖像處理中，通過矩陣變換進行深度匹配得到完全對準的矯正圖像，從而進行對應幀差分的算法，此時背景對異物識別的影響被解決掉，就可以很輕松地識別出巡檢區域的異物。

3 實驗

為了評估該方法的有效性，在以遍布管道和機器為背景的工廠展開了實驗，攝像頭被安裝在1.5 m高的固定軌道上，相機可捕捉到的圖像大小為1 440×1 080，幀速率為15幀/s。本實驗采用手動控制攝像頭移動的方法，固定了移動路線，先預先錄制無異常物體的參考視頻上傳至后臺，再拍攝目標視頻，且起點和終點相同。在通過DTW算法成功提取對應幀畫面A、B(圖8)之后，利用改進的SURF算法進行像素點匹配[11]。圖8中的小圓圈為提取的畫面局部特征點，對局部特征點進行描述與對比，設定一定的匹配條件將對應的特征點進行匹配。

圖8 利用改進的SURF算法匹配對應幀圖像的對應點

根據得到的匹配點坐標，利用DeepFlow[12]算法計算得到了由圖A到圖B的變形場,得到矩陣為

然后將變形場應用到圖像處理中，通過矩陣變換、變形處理將圖A修正為圖B角度，得到了完全對準的圖9。

圖9 將圖A修正為圖B角度

圖10顯示了原始對應幀之間的絕對圖像差，圖11顯示了經過像素級對齊算法之后的圖像差。在這些圖像中，較淺的像素表示較大的圖像差異，明顯可以看出，經過算法處理的圖像差異較為集中。但是邊緣由于圖像變換存在不大的間隙，故使用代碼根據圖像邊界間隙自動調整對比范圍，使結果不受間隙影響。

圖10 原始對應幀圖像差 圖11 像素級算法對齊后圖像差

接下來進行閾值處理、腐蝕濾波、膨脹連通等常規算法，就可以識別出圖像中的異物，如圖12所示。對比未經過時間、空間對齊而直接進行背景差分法的圖13，可以看出，圖13識別準確率非常低，整張圖像都被認為是異常物體。而圖12的圖像經過對齊后能夠非常準確地識別出異常物體的存在，即被遺棄的工具箱被成功地識別出來。

圖12 算法對齊后識別異常物體 圖13 原始對應幀識別異常物體

該實驗驗證了DTW-SURF-DeepFlow聯合算法的可靠性與準確性。該方案可以將視頻進行完全的對齊，對齊的圖像通過背景差分即可以檢測出異常物體，且識別異物準確率較高。

4 結束語

本文提出了一種新的巡檢機器人視覺處理方案，解決了傳統監控不夠智能、不能夠自主判斷現場的異常情況和危險情況的問題。同時使機器人能夠識別現場的任何異物，而不是只會識別單一的、固定的、經過訓練的異常物體。

為了提高識別的準確性和可靠性，使用了時間對齊、空間對齊等方法解決視頻對齊難題。

為了驗證該方法的有效性，在實驗軌道上對工廠存在異物和不存在異物的圖像進行了捕獲。實驗結果表明，該方法切實可行，使得因為機器人運行速度和攝像頭角度偏差造成的識別準確率低的問題得到了一定程度上的解決。

該技術對軌道機器人視覺行業的發展和進步是極為重要的，同時該視覺處理方案不僅可以應用在海上油田，還可以應用在任何有固定軌道的巡檢機器人上。