面向輕軌的高精度實時視覺定位方法

王婷嫻 賈克斌 姚 萌

1.北京工業大學信息學部 北京 100124 2.先進信息網絡北京實驗室 北京 100124 3.計算智能與智能系統北京市重點實驗室北京工業大學 北京 100124

輕軌在城市公共交通系統中扮演著重要的角色.其因運行環境復雜,難以實現信息化和智能化

管理,在一定程度上影響行車安全.因此,開發針對輕軌的高級駕駛輔助系統(Advanced driver assistance system,ADAS)勢在必行[1].列車定位技術作為自動駕駛系統的重要組成部分之一,能否提供準確地輕軌定位信息,直接影響行車安全和調度的有效性.目前查詢應答器、里程計以及全球定位系統等技術被普遍地應用于列車實時定位任務中[2].在城市環境中,由于建筑群、隧道的普遍存在,通常會因遮擋產生多路徑效應導致小范圍內定位出現偏差[3];目前廣泛應用的地面查詢應答器屬于非連續定位且需要昂貴的運營維護成本;基于里程計的定位技術依賴于特殊的傳感器,比如車輪測速傳感器、慣性測量傳感器,這兩種傳感器都會受到列車本身的影響從而隨列車的運行產生累計誤差[4-5].在此情況下,基于單目相機的定位方法由于其成本效益和信息的豐富性,在輕軌定位系統中可以發揮關鍵作用[6].對于視覺定位系統而言,其主要包含三個關鍵部分:場景特征提取,路徑地圖構建,以及真實匹配生成三大模塊[7-8].由此可見,一個綜合定位系統的復雜度會非常高,想要使整個系統達到實時性,更需要從整體考慮使各個模塊算法的時間開銷都盡可能地減少.

面對復雜的運行環境,如何快速地從圖像中提取魯棒性好的特征描述符一直是視覺定位領域研究的熱點.近年來,視覺定位任務中常用的特征提取方法主要有兩類,分別是手工制作特征[6,9-12]和深度學習特征[13-19].目前基于局部特征的視覺定位方法通常在光照、季節等因素導致環境外觀出現明顯變化時表現不佳[9-10].主要是因為基于特征點的描述符缺少整體的結構信息易導致感知混淆,從而降低局部描述符的辨別力.此外,基于全局特征的方法雖然相較于前者具有更好的條件不變性,但對視點變化和遮擋的魯棒性較差[11].為彌補兩者各自的缺點,將局部和全局特征有效融合在一起是目前研究的趨勢[6,12].然而,這類算法雖能夠有效提升定位準確率卻因特征向量維數的激增與場景規模的擴大無法滿足實時性的要求.

近年來,深度卷積神經網絡在特征提取方面取得突出的成績[13-14,16].相比于Gist、Fisher vector、VLAD 等手工制作特征,深度學習特征在光照變化的環境下具有更好的識別能力[14,16].因此越來越多的研究者為獲得更精確的定位結果,將卷積神經網絡作為一種特征提取手段應用于視覺定位任務中[17-19].目前許多方法結合目標檢測先提取顯著性高的區域作為地標候選者,再利用卷積神經網絡描述該區域穩定特征,最后篩選出潛在地標并將其映射到低維空間從而生成特征描述符.這類方法因融合了全局和局部特征描述方法的優勢,在視覺定位領域卓有成效[17-18].此外,還有的方法通過人工標定方式構建豐富的場景識別數據庫,并利用這些數據反復學習到穩定的場景特征,雖然深度學習特征具有更好的穩定性,但僅靠全局描述符作為場景匹配的依據仍難以實現魯棒性高的定位,且昂貴的時間成本和巨大的人工成本根本無法滿足實際應用的需求.

針對上述問題,本文設計了一種高精度實時視覺輕軌定位系統,該系統的創新之處主要體現在以下4 個方面:

1)提出一種衡量像素顯著性的方法來識別參考序列中的關鍵幀,為在線模塊提供適合的檢索窗口,避免因列車經停站造成的離散相似場景的影響,同時有效提升了大規模復雜環境下場景匹配過程的計算效率.

2)為消除場景中摻雜的不穩定信息對定位結果產生的干擾,本文提出一種融合語義特征的關鍵區域檢測方法,在減少特征提取運算量的同時有效地保留了場景中有助于列車定位的顯著性信息.

3)提出一種無監督學習結合像素點位置線索的二值化特征描述方法,在降低場景匹配計算復雜度的同時因不受描述區域形狀的限制具有更廣的應用范圍.在場景跟蹤中,將該描述符與場景序列匹配算法相結合能夠克服因高幀率造成的連續相似場景使定位精度降低的問題.

4)本系統只需單目相機采集數據既可,兼容性高且可移植性強,并實現了視覺定位任務對實時性和高精度的要求.

本文結構如下:第1 節概述了所提輕軌定位系統的構成以及詳細地描述了系統中各個模塊所涉及的關鍵技術;第2 節展示了實驗結果并對結果進行分析討論.最后是結論部分.

1 面向輕軌的高精度實時視覺定位方法

1.1 系統框架

系統的整體框架如圖1所示,可概括為4 個子模塊:1)首先對預處理后的參考序列利用所提出的像素顯著性計算方法得到每幀圖像的顯著性分數,以其作為依據篩選出序列中的關鍵幀;2)其次利用語義分割網絡生成的二值化掩模與像素顯著性分數作為評判依據,建立參考序列中每幀圖像的關鍵區域;3)然后利用無監督學習方法并結合像素點位置信息得到場景特征抽取模式,為后續在線模塊快速生成二值化特征描述符做準備;4)最后,通過離線部分獲得的關鍵幀與場景特征提取模式完成在線匹配,獲取輕軌實時位置.

圖1 所提輕軌定位系統框架Fig.1 The framework of our proposed light-rail localization system

1.2 關鍵幀識別

輕軌在運行過程中,經常會因為經停站造成不同位置場景內容離散相似的問題,這增大了視覺定位任務的難度.針對該問題,本研究提出一種基于像素顯著性分數的關鍵幀識別算法.獲取的關鍵幀為后續場景跟蹤提供合適的檢索窗口,提升匹配精度.

在場景匹配中,采集到的參考幀中通常會保留影響定位精度的不穩定信息,因此需建立感興趣區域(Region of interest,ROI)將參考幀中包含運動物體、鐵軌和邊緣模糊的區域移除.衡量視頻幀重要程度的顯著性分數越高則表示該幀包含的特異性信息越多.本方法利用滑動窗口遍歷感興趣區域中所有像素,從而計算得到像素顯著性分數.

記當前待計算的視頻幀為ft,其時域鄰域內包含N個視頻幀(圖2 中以N=4 為例).當滑動窗口處于像素點(x,y)位置時,如式(1)所示,分別計算當前幀所包含的圖像塊R(x,y,ft)與其他視頻幀相同位置以及其十字鄰域內,5 個圖像塊R(x±1,y±1,ft)之間的差別,使求和得到的當前幀(x,y)位置處像素分數既在時間域和空間域具有顯著性又均衡因外界不可抗力因素造成的抖動影響.

圖2 計算像素顯著性分數的示意圖Fig.2 Illustration of computing saliency score of pixel

其中,DE(·)表示圖像塊間的差別,通過方向梯度直方圖(Histogram of oriented gradient,HOG)特征利用歐氏距離計算得到,以降低光線變化帶來的干擾.R(x±1,y±1,ft)是序列中其他幀相同位置及十字鄰域內的圖像塊.Sp(x,y,ft)表示像素的顯著性分數.

將ROI 中所有像素顯著性分數求和得到視頻幀的顯著性分數.關鍵幀作為劃分參考序列的標志,其顯著性分數應在全局和局部范圍內都高于一般的視頻幀,因此利用關鍵幀檢索窗口能夠在場景匹配中獲得高置信度的匹配結果.關鍵幀提取主要分為兩步,先基于適當的檢索窗口提取參考序列局部范圍內顯著性分數最高的視頻幀,并對顯著性分數進行降序排序;其次將前 幀作為關鍵幀.如圖3 所

圖3 關鍵幀在參考序列中的分布Fig.3 Distribution of keyframes in the reference sequence

Nk示,這些關鍵幀均勻分布在整個參考序列,為后續場景匹配提供了穩定的跟蹤鎖定.

1.3 關鍵區域檢測

針對視覺定位任務,出于高精度和低計算復雜度兼得的考量,本文提出一種融合語義特征的關鍵區域檢測方法.關鍵區域是參考幀中包含特異性信息的區域,這些信息不隨時間的變化而變化,能有助于提高定位結果的魯棒性.期望檢測到的關鍵區域中盡可能少地包含背景信息和動態目標,類似天空、樹木、車輛等.因為這些場景在序列中普遍存在,定位時不能提供有效的信息.

為了減少冗余信息對場景匹配的干擾,同時提高后續提取二值化特征的效率.所提出的關鍵區域檢測算法步驟如下:首先利用之前計算像素顯著性分數的方法,將顯著性分數高于一定閾值TK的像素保留作為初步關鍵區域,檢測結果如圖4(a)所示.因每幀中像素顯著性分數分布在不同尺度,故而采用自適應閾值TK,從而保障算法的魯棒性.閾值計算方式如式(2)所示

其中,Np為ROI 中像素的總個數,K為間接調整閾值的系數.從圖4(a)中發現,提取到的特征區域雖然保留住圖像中特異性場景,但是仍混入了無用信息.針對該問題,本文使用多個在Cityscapes 數據集上訓練的網絡模型對參考幀進行語義分割.按照特異性和穩定性的原則,分割時只保留所需要的6 類場景分別是:建筑物、墻、電線桿、圍欄、信號燈、標志牌.對不同模型分割后的結果,再通過加權融合的方式生成分割精度更高的二值化掩膜.最后將前兩步檢測到的特征區域取交集,得到精細化后的關鍵區域(如圖4(b)所示).

圖4 關鍵區域檢測結果Fig.4 The result of key region detection

1.4 全局–局部場景二值化特征提取

場景匹配模塊作為實時處理單元,不僅要求場景特征描述符具有高區分性還需降低計算特征間相似度的復雜度.基于之前獲取的關鍵區域,使用HOG 或尺度不變特征變換(Scale-invariant feature transform,SIFT)等特征描述符進行場景匹配,雖然可以獲得更精確的匹配結果,但巨大的計算復雜度難以滿足系統實時性的要求.二值化特征描述符因使用漢明距離計算特征間相似度,能夠大幅度提升匹配效率.受此啟發,本文提出一種基于無監督學習的全局–局部場景二值化特征提取方法.該方法利用一種新穎的像素對篩選機制,使保留下來的像素對包含豐富的空間和上下文信息.

當前幀的特征描述符是由級聯所篩選出像素對的二值化比較結果得到的.只有提取到描述力強的像素對才能增加描述符的區分力.本文利用式(3),計算得到像素對顯著性分數,由此來評估其辨別度.

其中,Spair(P,ft)是當前幀ft內某點對P的顯著性分數,DI(P,ft)是當前幀ft內點對P的兩像素間的灰度差,DI(P,fi)是第i個相鄰幀內點對P的兩像素間的灰度差.Nf是相鄰幀的數量.

除此之外,提取到的所有像素對還需要包含豐富的空間信息.在關鍵區域中通常包含兩類像素對.一種是兩個像素來自相同特征子區域;另一種是像素來自不同特征子區域.兩者二值化的結果分別保留了圖像中的局部細節信息和全局結構信息.然而,根據關鍵區域獲取的所有像素對,因數量龐大,即使離線處理仍會耗費巨大的計算內存和時間成本.因此,本文引入像素點位置線索對區域內包含的像素對進行初步篩選.將具有相同位置線索的像素對按照顯著性分數降序排列,只保留其中排名靠前的Nt對像素點作為初步篩選結果.

像素對來自不同區域,會包含不同的信息.保留空間相關性高的像素對會使描述符的區分力降低,因此本文基于原型聚類算法進一步篩選得到相關性低的點對.首先,基于像素對的初步篩選結果,利用式(4)逐一計算其分布向量構建對于當前幀的訓練樣本集D.

其中,分布向量x1(P1,ft)表示像素對P1中所對應像素pi和pj間的灰度值之差在視頻幀fi中的分布,i ∈[t-m,t+m].I(·)表示像素的灰度值,基無監督學習的場景特征模式提取過程偽代碼如算法1所示.

算法1.基于無監督學習的場景特征模式提取過程偽代碼

1.5 在線場景序列匹配

圖像序列匹配算法[20-22]因結合了時域信息和序列圖像的一致性,即使在環境外觀復雜變化的情況下,獲得的匹配結果也具有較高的魯棒性.其中,最具代表性的就是SeqSLAM 算法[20],但該算法對因高幀率造成的連續相似場景和因輕軌經停站造成的離散相似場景區分力不足.針對此缺陷,本文利用第1.2 節中獲取的關鍵幀,將參考序列劃分為多個場景間區分度大的子序列作為當前幀的候選檢索窗口,在提高場景匹配效率的同時有效地控制了定位誤差的范圍.

如圖5所示,上一個匹配過的關鍵幀flast到下一個將要匹配的關鍵幀fnext之間的范圍作為當前幀ft的檢索窗口.直接使用所提方法在離線部分生成的場景特征提取模式,獲得ft與fnext的二值化特征向量,并計算兩者之間的漢明距離DH(ft,fnext). 根據該距離與閾值TL間的大小關系,從而確定檢索窗口Et的范圍.若DH(ft,fnext)≤TL,則ft對應的檢索窗口將移動到下一個場景子序列,即令fnext作為新的flsat,將關鍵幀集合中居于fnext之后的相鄰關鍵幀作為新的fnext;反之,則ft對應的檢索窗口保持不變.

圖5 在線場景序列匹配中的關鍵幀檢索窗口Fig.5 Illustration of the keyframe retrieval window for online sequence

利用場景序列匹配算法在ft對應的檢索窗口Et內搜索與ft最匹配的參考幀并建立候選匹配參考幀集合Qt. 然后,對屬于Qt的任意參考幀fi,通過特征模式計算其對應的描述符,記為Bi(fi);使用同一特征模式計算當前幀ft的場景描述符,記為Bi(ft). 通過式(5),可檢索到Qt內與ft最佳匹配的參考幀fmatched.

2 實驗與分析

2.1 數據集

實驗中使用的MTRHK 數據集和Nordland 數據集分別由中國香港港鐵(Mass Transit Railway,MTR)和挪威廣播公司(Norwegian Broadcasting Corporation,NRK)提供[6].MTRHK 數據集采集自輕軌507 號路線,包含3 組視頻序列,共13 859幀.分辨率為640×480 像素,幀率為25 幀/s,每組視頻序列包含兩段序列,其是從同一列車在相同的路徑上不同運行時間采集到的[5].由于采集時間不同,序列間存在環境以及列車速度變化,需人工校準作為真實標定.此外,該數據集中包含了大量具有挑戰性的場景,如圖6(a)～6(c)所示.Nordland數據集包含4 個季節采集的視頻序列,原始分辨率為1 920×1 080 像素,幀率為25 幀/s,其場景包含城市以及自然等不同類型環境[12].本文選取秋季和夏季共12 000 幀作為訓練和測試數據,并降采樣至640×480 像素.這兩段序列采集自相同運行速度,故而具有相同幀號的視頻幀采集自相同的位置.

圖6 中國香港輕軌數據集中復雜多變的場景示例Fig.6 Examples of complex and volatile scenes in the China Hong Kong light-rail dataset

2.2 評價方法

本文將輕軌定位任務近似作圖像檢索任務,將準確率和召回率用來評價所提出方法的性能.對于Nordland 數據集,由于列車運行速度保持不變,與當前幀具有相同幀號的參考幀可直接作為真實標定;對于MTRHK 數據集,手動標定不同序列間視頻幀的對應關系,將此結果作為真實標定.在實驗中,將匹配結果與真實標定間的差別,稱為匹配偏差,單位為幀.若匹配上的兩幅場景稱為陽性樣本,則匹配偏差大于容差范圍的陽性樣本稱為假陽性樣本(False positives,FP),反之稱為真陽性樣本(True positives,TP).

2.3 參數設置

在實驗中,所提出方法針對不同數據集所需參數的默認值存在差異,如表1所示.

表1 Nordland 和MTRHK 數據集中所需參數設置Table 1 Parameter settings for Norland and MTRHK datasets

2.4 單幀場景識別

通過分割模型得到的語義特征對關鍵區域檢測具有指導作用.由于單一模型的性能存在局限性,本文通過模型融合的方式將不同分割網絡獲得的語義信息有機地結合在一起,從而優化最終的分割效果.本文從參考序列中篩選出50 個關鍵幀進行人工標定,用標定真值與分割結果計算平均交并比.由表2 結果可知,融合后得到的分割效果明顯優于單個模型.對于場景更為復雜的輕軌數據集而言,效果提升尤為明顯.圖7 對分割結果進行了可視化展示.

圖7 不同語義分割網絡獲得的結果示例Fig.7 Example results of different semantic segmentation network

表2 不同語義分割模型間的精度對比Table 2 Accuracy comparison of different semantic segmentation network

為來驗證關鍵區域檢測方法的有效性,實驗中利用HOG 特征作為描述符,比較了特征描述區域大小不同的五種場景描述方法.通過匹配偏差反映場景識別的質量,匹配偏差越小則表示匹配效果越好.方法1 將整個視頻幀作為特征描述區域計算一個HOG 特征;方法2 將整個視頻幀分割成40×40互不重疊的圖像塊,分別計算HOG 特征.匹配時,計算兩幅圖像對應位置小塊的HOG 特征向量間的歐氏距離,并將所有的歐氏距離相加得到圖像間的相似度;方法3 與方法2 類似,匹配時只考慮ROI中包含的圖像塊;方法4 是對基于像素顯著性分數檢測到的特征區域進行描述,其場景描述符通過計算每個連通的關鍵區域的HOG 特征獲得.方法5是在方法4 的基礎上融合語義信息獲取關鍵區域,再進行描述符的提取.

圖8 顯示了這五種方法的匹配偏差和時間成本.縱軸為匹配偏差,橫軸為計算時間以對數刻度方式呈現.如圖8所示,全局HOG 特征方法的匹配偏差最高,局部HOG 特征方法的計算時間最長.相比于前兩者,基于特征區域的局部HOG 特征方法有效地權衡了計算效率與匹配質量間關系.雖然與局部HOG 特征相比,基于感興趣區域的場景匹配方法因描述區域的縮小導致匹配精度下降但是計算效率有顯著提升.此外,融合語義信息后所得到的匹配精度最高.由此可見,在計算場景特征描述符前,先對圖像進行關鍵區域檢測是必不可少的.不僅能夠減少無用信息的干擾提升匹配精確度,還能大幅度縮減時間成本.

圖8 不同方法的匹配偏差和計算時間Fig.8 Matching offset and computation time of different methods

如前文所述,所提出的關鍵區域檢測方法需要根據像素顯著性分數和自適應閾值TK對視頻幀提取初步特征區域.根據式(2)可知TK是幀內平均顯著性分數與系數K的乘積,通過系數K能夠間接調整閾值大小.為確定系數K的值,對所有可能的系數K通過改變式(1)中N的值(變化范圍10～50),獲取5 組不同的關鍵區域進行對比實驗.如圖9所示,橫軸為系數K的值,縱軸為匹配偏差,圖中不同線型分別代表不同取值的N.對比發現,當系數K=1.05 時,其匹配偏差最低.

圖9 系數K 對匹配精度的影響Fig.9 The influence of coefficient K for matching accuracy

SeqSLAM 算法中使用歸一化降采樣圖像作為全局特征描述符[20],其因運算速度快常被用于實時場景匹配模塊.為驗證所提特征提取算法的性能,在實驗中將其與SeqSLAM 算法以及在輕軌定位方面做出突出貢獻的基于無監督學習的輕軌實時定位(Unsupervised learning-based localization for light-rail real time,LRT-ULL)算法[6]進行了對比,觀察這三種方法在單幀場景識別中的表現.圖10中只展示了三種方法在4 組場景真實標定幀中的表現,橫軸為鄰近幀與真實標定間的相對索引,左側縱軸為匹配距離,右側縱軸為匹配分數.其中,僅SeqSLAM 算法用匹配距離來衡量.匹配距離越小則代表場景越相似,匹配分數越大則代表場景匹配程度越高.

圖10 不同方法在單幀場景識別中的性能表現Fig.10 Performance of different methods in single frame scene recognition

SeqSLAM 算法的匹配結果顯示,真實標定附近大約10 個參考幀均與當前幀的匹配距離為0.這表明基于全局特征的場景匹配方法無法區分連續相似場景.通過觀察圖11 匹配分數曲線可知,基于全局-局部特征的LRT-ULL 算法與本文所提算法,均能區分出連續場景間存在的差異.但是,所提算法匹配分數的峰值總是出現在真實標定位置,而LRT-ULL 算法存在較為明顯的匹配偏差.由此可見,所提算法能夠保留識別度高的特征,對相似度高的連續場景具備顯著的區分力,能夠對最終獲得精確的定位結果起到積極作用.

圖11 本文方法在MTRHK 數據集中的匹配結果Fig.11 Illustration of matching results from the MTRHK dataset

除此之外,這三種方法對每幀圖像的平均處理時間如表3所示.所提出的場景特征提取算法明顯比LRT-ULL 算法速度快.這是因為本文方法通過引入像素位置線索,降低了訓練矩陣的維數,使場景描述效率得到顯著提升.

表3 不同方法對每幀圖像的平均描述時間對比(s)Table 3 Comparison of average describing time for each image by different methods(s)

2.5 多幀場景跟蹤

本文提出的定位方法通過引入關鍵幀檢索機制,避免了因長距離行駛和部分極端場景給匹配性能帶來的影響.表4 為本文方法與SeqSLAM 方法[20]和SeqCNNSLAM 方法[18]分別在Nordland 和MTRHK 數據集上進行對比實驗的結果.可以看出,在相同的的容差范圍內,針對場景復雜的MTRHK數據集,本文所提出的定位方法在召回率為100%時精確度能達到90.2%,明顯高于另外兩種方法.圖11 展示了在MTRHK 數據集中,所提出算法的場景匹配結果以及其真實標定.對場景變化相對簡單的Nordland 數據集而言,雖然本文方法在性能上稍遜于使用卷積神經網絡提取場景特征的Seq-CNNSLAM 方法[18],但精確度仍然能夠到達99.24%.

表4 不同場景跟蹤算法的準確率(%)與召回率(%)Table 4 Precision(%)and recall(%)of different scene tracking methods

表5 中對比了在Nordland 數據集和MTRHK數據集中,不同算法完成場景匹配時每幀的平均處理消耗時間.該結果表明,相比于全局特征和CNN特征,使用本文方法計算得到的場景特征,在場景匹配時所消耗時間最少.這是因為該描述符使用漢明距離進行特征間相似度的計算,大幅度提高了特征匹配的效率,從而滿足定位系統對實時性的要求.結合表4 和表5 的實驗結果可知,本文所提出的定位方法實現了在匹配精度和計算復雜度之間的最佳平衡.

表5 在Nordland 數據集和MTRHK 數據集中不同場景跟蹤算法的消耗時間(s)Table 5 The consumption time of different scene tracking methods in the Nordland and the MTRHK dataset(s)

3 結論

本文以高精度輕軌實時定位系統為研究背景,采用視覺定位技術,針對場景變化繁雜的輕軌運行環境,提出結合關鍵幀檢索機制和全局-局部場景二值化特征的定位方法.該方法中,通過融合語義特征檢測到的關鍵區域既能有效降低計算時間成本,又能提升場景識別的準確度.其次,在聚類算法的基礎上結合像素位置線索篩選出低相關性的像素對,不僅使提取到的場景描述符包含豐富的空間和上下文信息,還減少了其中的冗余信息.最后,設計并實現了一個基于單目視覺信息的高精度輕軌實時定位系統.實驗結果表明,本系統不僅解決了因高幀率造成的連續相似場景使定位精度降低的問題,同時在場景內在結構發生變化等極端情況的干擾下依舊保持了較高的匹配精度,既滿足了輕軌定位系統對精度的要求也保證了實時性.