井下低照度環(huán)境下的鉆孔機(jī)器人目標(biāo)跟蹤器

由韶澤，朱 華，李猛鋼，唐超權(quán)，吉澤勇，段宇峰

(1.中國礦業(yè)大學(xué) 機(jī)電工程學(xué)院，江蘇 徐州 221116；2.江蘇省礦山智能采掘裝備協(xié)同創(chuàng)新中心，江蘇 徐州 221008)

近年來，救援[1-3]、地下探測[4]等方向成為了煤礦機(jī)器人研究的熱點(diǎn)。2019年《煤礦機(jī)器人重點(diǎn)研發(fā)目錄》發(fā)布，引導(dǎo)了煤礦機(jī)器人的快速發(fā)展[5]。煤礦環(huán)境是典型的惡劣環(huán)境，存在著諸如通信受限、地形崎嶇、光源缺乏等各種挑戰(zhàn)。而對于采用機(jī)器視覺來工作的煤礦移動機(jī)器人來說，井下的低照度環(huán)境是大部分視覺算法的“頭號殺手”，會引起精度降低、算法失效等問題，通常的應(yīng)對方法是采用紅外相機(jī)或者雙目深度相機(jī)進(jìn)行探測[6]。其中，紅外相機(jī)提取的是灰度圖，特征單一，不適用于高性能的目標(biāo)識別、跟蹤算法；雙目深度相機(jī)提取的深度圖雖然受光照影響小，但依賴顯卡等大功率計算資源，對于移動機(jī)器人這種有著嚴(yán)格能耗限制的設(shè)備并不友好。近年來，計算機(jī)視覺中的圖像增強(qiáng)算法與目標(biāo)跟蹤算法發(fā)展迅速[7-8]，其中前者可以針對低照度環(huán)境對圖像進(jìn)行加工以改善圖像的質(zhì)量，從而使處理后的圖像更適于人眼的觀感或機(jī)器的識別；后者則能夠?qū)崿F(xiàn)對指定目標(biāo)的跟蹤、定位與識別，并將目標(biāo)的各項參數(shù)提供給控制器，為后續(xù)的應(yīng)用處理提供數(shù)據(jù)。

目標(biāo)跟蹤是計算機(jī)視覺的重要組成部分，經(jīng)過十幾年的發(fā)展，目標(biāo)跟蹤器從傳統(tǒng)的生成類方法迅速迭代至判別類方法[9-10]，并逐步研發(fā)出基于相關(guān)濾波[11-13]與基于深度學(xué)習(xí)的跟蹤器[14-15]。近年來，跟蹤器之間的形式差距越來越小，比如基于深度特征的相關(guān)濾波跟蹤器[16]與加入了相關(guān)濾波模塊訓(xùn)練的Siamese跟蹤器[17]等。但深度學(xué)習(xí)網(wǎng)絡(luò)的精度很大程度取決于目標(biāo)樣本的訓(xùn)練數(shù)量與類型，且參數(shù)眾多容易出現(xiàn)過擬合，導(dǎo)致多數(shù)算法泛化能力較弱，工程實(shí)用性有待提高。

低照度圖像增強(qiáng)技術(shù)在相機(jī)HDR(High Dynamic Range Imaging)、夜視處理、自動駕駛等不同領(lǐng)域中都有廣泛應(yīng)用。由于低照度圖像中的灰度值總體偏小，使圖像整體偏暗，因此最早的圖像增強(qiáng)技術(shù)是針對圖像特征直方圖區(qū)進(jìn)行調(diào)整，這種方法被稱為直方圖均衡化(Histogram Equalization,簡稱HE)[18]。由于圖像各個相鄰像素之間的相關(guān)性大，輪廓邊緣像素與非邊緣鄰域像素間的灰度值差異較小，細(xì)節(jié)信息弱化，因此發(fā)展出了基于視網(wǎng)膜Retinex理論的圖像增強(qiáng)技術(shù)[19]。深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相關(guān)技術(shù)出現(xiàn)后，基于CNN[20]、GAN[21]等網(wǎng)絡(luò)訓(xùn)練的圖像增強(qiáng)算法，使得增強(qiáng)后圖像的觀感有所提升，但需要消耗巨大的計算資源。

基于以上問題及相關(guān)研究，筆者提出一種結(jié)合圖像增強(qiáng)算法的低照度單目標(biāo)跟蹤器(Low-light image target tracker，簡稱LIT)，不僅能耗低、實(shí)時性強(qiáng)、特征采樣好，并且簡單易用，適合移植到各種承擔(dān)煤礦前后車跟隨、巷道巡檢、地下探測等任務(wù)的移動機(jī)器人上。

1 低照度圖像目標(biāo)跟蹤器

對于移動機(jī)器人的目標(biāo)跟蹤任務(wù)來說，算法的運(yùn)行速度是第一準(zhǔn)則，其次要兼顧精準(zhǔn)度。在分析對比前人的相關(guān)工作成果后[7-8]，決定選擇采用實(shí)時性能較好的多通道背景感知相關(guān)濾波器(Background-Aware Correlation Filters，簡稱BACF)[13]作為基準(zhǔn)跟蹤器，并結(jié)合增強(qiáng)效果與速度相平衡的弱光圖像增強(qiáng)算法(Low-light Image Enhancement,簡稱LIME)[22]進(jìn)行綜合改進(jìn)。低照度圖像目標(biāo)跟蹤器算法流程如圖1所示。LIT跟蹤器通過對輸入圖像進(jìn)行照度判別，并在低照度時對輸入圖像進(jìn)行增強(qiáng)處理，再送入相關(guān)濾波器進(jìn)行跟蹤，以確定目標(biāo)當(dāng)前位置與尺度。

圖1 低照度圖像目標(biāo)跟蹤器算法流程

1.1 低照度圖像增強(qiáng)

當(dāng)一幀圖像輸入后，首先需要對其進(jìn)行亮度檢測，以確定是否對當(dāng)前幀圖像進(jìn)行增強(qiáng)。由于目標(biāo)跟蹤中的圖片常常處于不確定光照度的環(huán)境中，會造成某點(diǎn)的局部亮度高于全局平均亮度的問題，因此，提出了一種范圍圖像亮度檢測的方法，具體形式如圖2所示。

圖2 局部亮度檢測

對于一幅輸入圖像Lc(·)，僅檢測目標(biāo)周圍環(huán)境的均值亮度，具體計算公式如下：

(1)

式中：c∈{R,G,B}，表示圖像三原色通道;p表示圖像中某一像素點(diǎn)(pixel)。

基于視網(wǎng)膜Retinex理論[19]，圖像增強(qiáng)一般分為初始光照圖估計和光照圖細(xì)化兩部分，LIME將其看作同時保持圖像原始結(jié)構(gòu)和平滑紋理細(xì)節(jié)的優(yōu)化問題，基于照度圖可以進(jìn)行如下優(yōu)化：

(2)

權(quán)重矩陣W的選取形式與文獻(xiàn)[23]類似，采用公式(3)的方式設(shè)置權(quán)重，且僅基于初始給定值U構(gòu)造一次:

(3)

(4)

式中:o包含圖像寬w和高h(yuǎn)兩個方向，需要分別求解；Gσ(u,v)由標(biāo)準(zhǔn)偏差σ的高斯核產(chǎn)生;d(u,v)為u到v的歐氏距離;ε為防止分母為0的微小常量。

對于公式(2)，可以采用精確求解與快速求解2種方式來進(jìn)行優(yōu)化求解。

1.1.1 精確求解

一般情況下，公式(2)作為嶺回歸問題，可以構(gòu)建如式(5)所示的增廣拉格朗日(Augmented Lagrangian Method，簡稱ALM)公式，并采用交替方向乘子法(Alternating Direction Method of Multipliers，簡稱ADMM)求得優(yōu)化函數(shù)的閉式解。由于得到了精確求解的數(shù)值，因此圖像恢復(fù)質(zhì)量較好。

(5)

式中：Z為拉格朗日乘子；〈·，·〉為內(nèi)積；μ為懲罰因子。

式(5)通過ADMM可以將問題轉(zhuǎn)化為以下3個不同子問題交替求解,以獲得最優(yōu)解。

1)子問題T：

(6)

2)子問題G：

(7)

公式(7)表示收縮算子J，用來對向量和矩陣按元素位給定閾值進(jìn)行縮放，閾值由矩陣A的相應(yīng)元素給出。

3)子問題Z和μ：

(8)

此處Z和μ的更新較為簡單，下一次的優(yōu)化值均由前一次迭代優(yōu)化計算所得到的子問題T與G的值給出。

1.1.2 快速求解

由于公式(2)的L1范數(shù)矩陣為稀疏矩陣，因此可以通過求極限的方式來簡化計算，使問題轉(zhuǎn)化為求解對稱正定的拉普拉斯矩陣，并通過以下方式直接求解：

(9)

由于拋棄了迭代求解的步驟，所以計算復(fù)雜度由O(NlogN)降低至O(N)。

1.2 多通道背景感知相關(guān)濾波器

多通道背景感知相關(guān)濾波器BACF將目標(biāo)跟蹤問題構(gòu)建為最小化目標(biāo)函數(shù)來進(jìn)行優(yōu)化求解：

(10)

式中:xk∈M,為第k個通道的矢量化圖像樣本，即輸入的圖像；yj∈M,為相關(guān)響應(yīng)y的第j個元素，y符合高斯分布；fk∈D,為目標(biāo)函數(shù)訓(xùn)練得到的濾波器;[Δτj]為循環(huán)位移算子；xk[Δτj]為樣本xk的第j階離散循環(huán)位移；λ為正則化參數(shù)；K為特征通道的數(shù)目；M為樣本x的長度，裁剪矩陣P∈BD×M，其中D?M，B表示掩模矩陣，P用來裁剪樣本xk中心大小為D的像素。

相關(guān)濾波器需要在頻域訓(xùn)練濾波器來提高計算效率[24]，根據(jù)Parseval定理構(gòu)建公式(10)在頻域的嶺回歸公式：

(11)

與1.1節(jié)類似，BACF同樣可以通過構(gòu)建ALM公式來進(jìn)行優(yōu)化求解：

(12)

(13)

(14)

(15)

完成優(yōu)化求解后，在第f幀采用以下方式對樣本進(jìn)行自適應(yīng)更新，其中η是在線學(xué)習(xí)率：

(16)

(17)

進(jìn)行相關(guān)響應(yīng)求解時共生成N個不同尺度的響應(yīng)圖，最終選取相關(guān)響應(yīng)最大的尺度圖s作為當(dāng)前尺度變化。

2 試驗裝置與參數(shù)配置

2.1 算法參數(shù)配置

試驗中LIT跟蹤器的部分參數(shù)設(shè)置如下：縮放尺度個數(shù)S=5，尺度增量因子α=1.01，HOG特征圖通道數(shù)為31，CN特征圖通道數(shù)為11，ADMM迭代次數(shù)為2，正則化因子、懲罰因子與學(xué)習(xí)率分別為λ=0.01，σmax=100，β=10，η=0.013。增強(qiáng)算法的部分參數(shù)設(shè)置：ω=0.05，μ=2.0，γ=0.8，ADMM迭代次數(shù)也為2次。濾波器更新頻率采用間隔更新的方式[12]，間隔幀數(shù)為5幀。

2.2 現(xiàn)場試驗裝置及硬件布置

井下試驗在平煤集團(tuán)首山一礦某回風(fēng)巷內(nèi)進(jìn)行，試驗平臺為中煤科工集團(tuán)西安研究院設(shè)計的ZDY-4000LK型煤礦鉆孔機(jī)器人，攝像頭采用徐州科瑞礦業(yè)的KBA12H礦用本安型相機(jī)，本安激光雷達(dá)為中煤科工集團(tuán)重慶研究院設(shè)計的GUL40，兩種傳感器的防爆等級均為Exib I Mb。鉆孔機(jī)器人硬件配置及試驗區(qū)域如圖3所示。

圖3 鉆孔機(jī)器人硬件配置及試驗區(qū)域

在本研究中激光雷達(dá)僅用作數(shù)據(jù)采集，采用純單目攝像頭進(jìn)行跟蹤試驗。工控機(jī)安裝在機(jī)器人防爆箱體內(nèi)，硬件配置為Intel i7-8700 3.40 GHz CPU和Nvidia GeForce GTX 1660Ti GPU。LIT算法代碼采用C++編譯，通過ROS節(jié)點(diǎn)開啟運(yùn)行，并采用rosbag進(jìn)行錄制，目標(biāo)由人工在界面中框選。視頻長33 s，共940幀，目標(biāo)受到強(qiáng)光照變化，平面外旋轉(zhuǎn)、快速運(yùn)動，以及長時間出視野的影響。

3 試驗結(jié)果及分析

3.1 圖像亮度檢測策略驗證試驗

亮度檢測策略對圖像增強(qiáng)算法的影響如圖4所示。

圖4 亮度檢測策略驗證

在OTB-100[7]中的David序列上，全局像素亮度設(shè)置為由0～127共128個級別，在第83幀的圖像左下角可以看到一個亮點(diǎn)，這使得全局亮度高達(dá)120，而此時目標(biāo)周圍的平均亮度只有21，這就會導(dǎo)致亮度檢測器錯誤地判斷有圖像增強(qiáng)的必要性。當(dāng)?shù)?3幀圖像的全局亮度為120時，采用圖像亮度檢測策略可以正確地判斷目標(biāo)范圍的亮度。在測試集中，David序列目標(biāo)在第150幀已經(jīng)可見(光照度Light>30)。因此將曝光迭代次數(shù)設(shè)置為1，照明強(qiáng)度閾值L設(shè)置為40。從測試中可以看出所提出的范圍圖像亮度檢測算法對于一般目標(biāo)跟蹤任務(wù)中的低照度圖像亮度值的檢測具有明顯改善，不會因為非目標(biāo)區(qū)域的噪點(diǎn)而產(chǎn)生非預(yù)期的效果。

3.2 圖像增強(qiáng)算法對比試驗

煤礦鉆孔機(jī)器人在實(shí)時視頻圖像中進(jìn)行跟蹤時，優(yōu)先考慮的是跟蹤算法的運(yùn)行速度及機(jī)器人的續(xù)航時間，圖像優(yōu)化時間過長會導(dǎo)致目標(biāo)跟蹤算法性能降低，計算量過大會導(dǎo)致續(xù)航時間驟降。因此重點(diǎn)討論采用CPU作為主要算力的傳統(tǒng)圖像增強(qiáng)算法，沒有對基于深度學(xué)習(xí)訓(xùn)練的相關(guān)算法進(jìn)行比對。以圖像增強(qiáng)算法的處理速度作為主要評價指標(biāo)，并給出部分分辨率下的圖像增強(qiáng)效果。

選取主流的幾種圖像增強(qiáng)算法[25-28]，并在常見的圖像分辨率下與LIME進(jìn)行優(yōu)化時間的比對，樣本圖片縮放為攝像頭常用的360、480、720、1 080 P共4種分辨率級別。圖像增強(qiáng)算法速度對比見圖5。

圖5 圖像增強(qiáng)算法速度對比

由圖5可以看出，當(dāng)圖像大小為480 P以下時，除LIME-SP(Sped Up)外的其他算法都在5 Hz以下，且精確求解方法LIME-EX(Exactly)所用時間為快速求解方法的2倍。文獻(xiàn)[27]和文獻(xiàn)[28]由于沒有快速優(yōu)化求解的步驟，在所有分辨率下運(yùn)行速度均低于1 Hz。當(dāng)圖像達(dá)到720 P時，LIME-SP的處理速度也急劇下降，文獻(xiàn)[28]因內(nèi)存溢出無法繼續(xù)計算。為了保證視頻圖像的傳輸穩(wěn)定性，移動機(jī)器人一般搭載的攝像頭分辨率普遍為480 P或720 P。并且在目標(biāo)跟蹤算法采用間隔幀更新濾波器時[12]，更新頻率與LIME-SP算法的增強(qiáng)頻率大致相似，因此LIME-SP的運(yùn)行速度足夠LIT跟蹤器使用。

原圖、LIME-SP與其他4種增強(qiáng)算法在720 P圖像中的細(xì)節(jié)對比如圖6所示。

圖6 圖像增強(qiáng)算法質(zhì)量對比

從圖6可以看出,所有算法都具有明顯的亮度恢復(fù)效果，均完整展現(xiàn)出了隱藏在黑暗中的機(jī)器人。其中文獻(xiàn)[25]、[27]和[28]3種算法的噪點(diǎn)控制較好，沒有出現(xiàn)過曝光的現(xiàn)象。相對而言，LIME-SP與文獻(xiàn)[26]在圖像降噪和處理曝光程度方面的控制欠佳，除了照度較高的區(qū)域之外，圖中下方的地面區(qū)域都過度曝光。但從圖6可以看出，進(jìn)行增強(qiáng)處理后的圖片其細(xì)節(jié)及照度均可正常用于LIT跟蹤器的跟蹤。

3.3 低照度跟蹤算法實(shí)驗

LIT跟蹤器(玫紅)與基準(zhǔn)跟蹤器BACF(藍(lán)色)的定性比較，同時與文獻(xiàn)[12](黃色)、文獻(xiàn)[29](綠色)和文獻(xiàn)[30](紅色)中所采用的幾種頂尖跟蹤器進(jìn)行比較，結(jié)果如圖7所示。

圖7 目標(biāo)跟蹤器性能對比(地下車庫)

測試數(shù)據(jù)集共1 044幀，目標(biāo)受到光照變化、旋轉(zhuǎn)、背景相似及低照度的影響。在第165幀時，文獻(xiàn)[12]和[30]因為背景相似的干擾導(dǎo)致跟蹤失敗，之后包圍框跟隨汽車與機(jī)器人運(yùn)動。在第850幀進(jìn)入黑暗區(qū)域后，文獻(xiàn)[29]和BACF保持在目標(biāo)“消失”的位置，只有LIT成功跟蹤到最后一幀。

LIT跟蹤器與其他幾個跟蹤器的平均運(yùn)行速度和性能的定量對比結(jié)果見表1。可以看出，雖然所有算法都能保持實(shí)時速度，但只有改進(jìn)后的LIT跟蹤器成功地對目標(biāo)進(jìn)行了全程跟蹤，而其他跟蹤器在黑暗環(huán)境或背景相似條件下無法成功跟蹤目標(biāo)。

表1 平均幀率與性能定量對比

LIT跟蹤器在井下實(shí)地場景中進(jìn)行跟蹤的效果如圖8所示。可以看出：在第75幀時，雖然照度較低、色彩不明顯，但LIT跟蹤器仍能正確跟蹤礦工頭部；在第264幀時，由于進(jìn)入燈光區(qū)域，目標(biāo)特征明顯變得清晰可見，跟蹤效果正常；在第516幀時，目標(biāo)進(jìn)行了平面外旋轉(zhuǎn)，跟蹤目標(biāo)轉(zhuǎn)移為礦工頭盔；在第580幀后，由于目標(biāo)在視野中消失，包圍框停留在圖像邊緣，但在第600幀后重新捕捉到正確目標(biāo)并跟蹤至最后。綜合來看，LIT跟蹤器雖然在中期和后期，在光照變化時對目標(biāo)范圍判斷有誤差，但始終能在選定目標(biāo)范圍內(nèi)進(jìn)行跟蹤。

圖8 井下現(xiàn)場試驗效果

平均幀率曲線與跟蹤器目標(biāo)置信度曲線如圖9所示，結(jié)果顯示LIT算法在此場景下平均運(yùn)行幀率為40 Hz，以跟蹤大于0.5為成功跟蹤來看，平均跟蹤重疊精度達(dá)到81.6%，表明其能夠準(zhǔn)確地跟蹤目標(biāo)而不發(fā)生飄移。

(a)平均幀率曲線

通過現(xiàn)場試驗可以看出，當(dāng)模型隱藏在暗處中時，細(xì)節(jié)相對粗糙的增強(qiáng)效果仍然可以提升目標(biāo)的跟蹤精度。這意味著跟蹤器不需要“超精細(xì)”樣本模型也可以進(jìn)行跟蹤，這一方面是相關(guān)濾波跟蹤器間隔幀更新帶來的好處；另一方面，相關(guān)濾波跟蹤器的特性使其可以根據(jù)目標(biāo)與背景的明顯差異來跟蹤正確的目標(biāo)。

4 結(jié)論

1)由亮度試驗結(jié)果可以看出，所提出的局部均值亮度檢測方法在具有局部噪點(diǎn)的情況下可以準(zhǔn)確計算目標(biāo)周圍照度。

2)在CPU作為主要算力的情況下，LIME-SP圖像增強(qiáng)算法在常規(guī)720 P攝像頭所采集的圖像優(yōu)化速度優(yōu)于其他方法，且在目標(biāo)跟蹤時能實(shí)時計算。

3)在考慮到移動機(jī)器人的功耗限制的前提下，LIT在低照度環(huán)境中的跟蹤精度為100%、重合精度為94.3%，相較基準(zhǔn)算法BACF來說，跟蹤精度提升了49%，重合精度提升了105%。

4)井下現(xiàn)場試驗結(jié)果表明，在鉆孔機(jī)器人平臺上，LIT平均跟蹤重疊精度達(dá)到81.6%，平均運(yùn)行幀率為40 Hz，可以正確有效地跟蹤目標(biāo)人員。