基于移動激光點云的交通標志牌特征提取

甕升霞，陳一平

(廈門大學信息科學與技術學院,福建廈門361005)

?

基于移動激光點云的交通標志牌特征提取

甕升霞，陳一平*

(廈門大學信息科學與技術學院,福建廈門361005)

摘要：針對有效采集到的道路兩旁高密度點云數據，基于移動激光測量技術，提出了一種戶外交通標志牌的自動檢測方法.主要是利用交通標志牌在點云中的反射強度與其他地物目標區別較為明顯的特性進行目標提取.結合基于交通標志牌的形狀特征檢測方法，通過提取桿狀物并分析桿狀物中非桿狀部分的維度特征，提取出具有面狀維度特征的目標物作為所要檢測的交通標志牌.綜合檢測結果可知，有效檢測到點云數據中的交通標志牌，且召回率優于常用的基于反射率的方法，實驗表明該方法能夠取得好的提取結果.

關鍵詞：移動激光掃描；交通標志牌；檢測；主成分分析

交通標志牌作為一種重要的交通基礎設施，可以為駕駛員和行人提供道路指引信息，在規范駕駛員行為的同時也起到了便利交通、保障安全的作用.鑒于此，交通部門定期對交通標志牌的測繪數據進行更新和維護.傳統的測繪技術效率低，且受天氣地形等因素影響.采用現代移動測量技術，移動激光車載系統沿道路行駛，可有效獲得高精度點云數據和動態影像，極大地削減了人工成本，減少了人為誤差.對于獲得的點云數據，人工檢測顯得尤為繁瑣，自動化提取越來越成為未來的發展方向，但是需要高效的檢測強度才能真正應用于實際場景中.

基于視頻圖像的交通標志牌檢測已經進行了十多年的研究[1-3]，圖像的采集需要較好的天氣和光照條件對目標物的位置進行正確的識別.然而，點云數據獲取即使在惡劣的天氣條件下也能完成.與在交通工程中普遍應用的人工視覺系統相比，激光掃描對點云的采集更加準確，密度也更高[4-5].例如，RIEGL VMX-450移動激光掃描系統每平方米可以采集到高達7 000～8 000點的三維點云數據.移動激光雷達系統可以完全捕獲道路環境，包括真實的地理空間信息和回波反射能量，其中回波反射可以反映物體表面的材料特性.因此，利用移動激光雷達技術對城市道路目標進行采集是非常理想的.

近年來，基于移動激光雷達技術的道路目標提取取得了一定的進展.Yokoyama等[6]提出了一種基于拉普拉斯算子平滑和主成分分析(PCA)的桿狀物提取算法.在該方法中，拉普拉斯算子用來對數據進行平滑處理，以消除數據中的噪聲點和數據點的分布偏差；而PCA方法則用于對平滑后的數據分段進行特征分析，并從中檢測柱狀結構目標.Pu等[7]利用形狀先驗知識和拓撲結構來識別道路結構.董震等[8]通過從原始點云中生成多尺度超體素，在進行體素分割后根據分割區域的顯著性進行鄰域聚類，最后結合聚類區域的幾何特性來判斷目標所屬類別.由于交通標志牌一般由高反射材料制成，具有清晰可見性，因此點云數據中的反射強度信息可以有效地將標志牌與道路其他目標區別開來，從而廣泛地應用于交通標志牌檢測中[9-10].另外，基于模板驅動的方法也用于檢測交通標志牌[11-12]，利用交通標志牌的高反射強度、對稱性等特征來實現檢測.

交通標志牌的檢測依然存在著一些待解決的難點，主要在于：交通標志牌往往會被其他目標遮擋，如樹枝、路燈等，導致檢測難度增大；標志牌長期在戶外，難免會有損毀老化，致使它的反射率達不到標準水平；桿部可能傾斜變形；在采集數據的過程中，一些離掃描設備比較遠的標志牌在點云中的密度較低，影響檢測效果.因此，一般魯棒的檢測算法應該克服這些難點，得到精確的檢測結果.目前基于三維點云進行交通標志牌提取的研究主要分為基于分割和特征識別的方法和基于反射強度的方法，前者主要受限于分割算法，由于自然場景的復雜性，重疊在一起的目標很難被分割開，所以，對標志牌檢測的算法性能產生一定的影響.另一方面，基于反射強度的方法也有其缺陷，由于該方法主要通過標志牌在點云中的高強度值與其他道路目標區分開來，如果交通牌因老化而褪色，或是數據采集時由標志牌的反面掃描，會導致點云中標志牌的反射強度缺乏明顯的區分度，基于反射強度的檢測方法就會發生漏檢.

基于以上分析，本研究綜合運用2種方法進行交通標志牌檢測，既可以彌補基于反射強度的檢測算法在交通牌的強度值與其他地物目標未明顯區分時導致漏檢的缺陷，又可以對2種方法的檢測結果相互驗證.

1方法

本文中提出了基于反射強度和形狀特征相結合進行交通標志牌檢測的方法.基于反射強度的檢測方法利用交通標志牌在點云中的高強度特性進行檢測，并在后續聚類過程中定義規則以獲得含有交通標志牌的聚類；基于形狀特征的檢測方法首先從點云中識別桿狀物，通過分析桿狀物中非桿狀部分的維度特征，提取出具有面狀維度特征的目標物作為所要檢測的交通標志牌.最后將2次檢測結果進行疊加合并形成最終的檢測成果.工作流程如圖1所示.

圖1　交通標志牌檢測流程圖Fig.1The flowchart of traffic sign detection

1.1基于反射率的檢測

1.1.1反射強度濾波

掃描得到的點云數據一般包含空間坐標、反射強度以及顏色信息，其反射強度受掃描距離、掃描角度、目標材質及傳播介質等因素影響.為了行車安全，交通標志牌使用高反射率的材料進行噴刷，反射率的值必須達到國家安全生產標準的規定值.理論上，激光回波強度與地物目標的反射率成正比關系，即反射率越大，點云反射強度值越高.因此在點云中，交通標志牌的反射強度比其他目標都要高.盡管點云的反射強度也會受大氣衰減、激光入射角度等多種因素的影響，但還是能夠區分介質屬性差別較明顯的目標.通過將反射強度的閾值設定為超出某一值，道路場景中的大部分非目標物都將被濾除[10].閾值的大小需要經過實驗進行調整以獲得最佳濾波效果.濾波后的點云仍包括除交通標志牌之外的其他高強度目標，如汽車牌照、路錐等，需要進行進一步處理.

1.1.2歐式距離聚類

聚類的目的在于將離散、無組織的數據劃分成一系列具有一定空間拓撲結構的三維語義目標，使每個目標中的數據“相似”或“相近”，而不同目標中的數據差異盡可能大.歐式距離聚類是一種根據相鄰點之間的歐式距離關系進行劃分的方法，其原理是：對于含有n個數據點的集合X={x1,x2,……,xn}，隨機選取1個點pi(i=1,2,…,n)，并標記為已聚類點，將以pi為球心，dc為半徑的球形區域內的所有未聚類點標記為已聚類狀態，并且給以相同的類別標識Li.接著，對于每一個被標記的點，重復上述過程，直到Li已無法再吸收新的點，在數據集合的未標記點中再次進行隨機選取.當數據集中所有的點都已經被標記，該遞歸聚類過程結束.

初始聚類之后，部分聚類中包含感興趣的目標，為了判斷每個聚類Ci是否包含交通標志牌，本文中定義了以下3種規則：

1) 點云數量濾波

結合交通標志牌的尺寸限制以及車載移動激光掃描點云的密度，Ci應該至少包含70個點，少于這個數量的聚類不足以構成交通標志牌.

2) 海拔濾波

依據交通標志牌的高度標準，Ci的z軸最小值與地面點的距離至少應為2 m.這一規則可以過濾掉海拔較低的聚類目標，如汽車牌照、路錐、臨時標志牌等.

3) 高度濾波

依據交通標志牌尺寸標準，Ci的z軸最大值與最小值之差至少應為0.4 m.

根據上述的3個規則，不符合條件的聚類將被濾除.點云中剩下的聚類目標即為交通標志牌目標物.

1.2基于形狀的檢測

基于反射強度的方法會遺漏因老化或被損壞等因素致使反射率變低的交通標志牌，以及背面相對于掃描儀的交通標志牌.因此，結合基于形狀的方法，以確保檢測的完整性.首先，采用基于體素的向上生長方法將地面點從原始三維場景中濾除；其次，采用歐氏距離聚類方法對非地面點進行聚類，分離出空間上相互獨立的目標聚類，從這些聚類中識別出桿狀物目標；最后，采用PCA方法對桿狀目標的非桿狀部分點的維度特征進行分析，從而檢測到交通標志牌目標.

1.2.1地面點去除

車載移動激光掃描系統采集到的被測場景的三維點云數據中包含大量、高密度的地面點.由于檢測目標為非地面點，這些地面點無疑會增加檢測算法的時間和空間復雜度，所以對點云數據進行地面點預處理將有效提高后續的檢測效率.采用基于體素向上增長的方法進行地面點濾除，步驟如下：

1) 將整個三維點云場景在XY平面內按一定的寬度垂直切分成一系列局部點云塊Bi，i=1,2,…,Nb， 其中，Nb為生成的局部點云塊的總數.這些局部點云塊將被單獨地進行地面點濾除處理.

2) 對于每個局部點云塊Bi，i=1,2,…,Nb，利用八叉樹(octree)索引結構劃分，按一定的寬度將其劃分成一系列空間上連續的點云體素Vj,j=1,2,…,Nv，其中，Nv為生成的點云體素的總數.

3) 點云體素Vj,j=1,2,…,Nv上9個鄰域定義為與Vj相鄰接并且在空間上位于Vj上方的9個點云體素.接下來，向上生長過程以點云體素Vj的上9個鄰域(L1,L2,…,L9)為起點，按同樣的方式，分別沿著L1,L2,…,L9的上9個鄰域繼續向上生長.以此類推，當所有已生長到的點云體素再無上9個鄰域可生長時，該遞歸式向上生長過程結束.從已生長的區域中計算出具有最大局部高度值的點云體素Vh，即該生長區域的至高點.

4) 定義高度Hg為地面高度臨界值.如果Vh小于Hg，那么，點云體素Vh將被標記為地面體素.同時，濾除包含點云體素Vh的局部點云塊中的所有點.如果點云體素Vh的高度值大于Hg，點云體素Vh將被標記為非地面體素.同時，保留包含點云體素Vh的局部點云塊中的所有點.

1.2.2基于比例的桿狀物檢測

采用歐式距離聚類方法，將非地面點劃分成一系列三維目標聚類.歐氏聚類的具體過程已在方法1.1.2中介紹.

對于初始分割得到的每個聚類Ci，為判斷Ci是否為桿狀物，對每個聚類Ci作如下處理：

1) 根據z坐標的值將Ci中的點分為4等分，從下至上編號為0～3.接著，取編號為1的部分，等距離分割成N個水平截面，并將每一個點都映射到相應的平面上(如圖2).

圖2　桿狀物檢測Fig.2Percentile based pole recognition

2) 對于每一個平面，易得包含所有點的最小外接圓.計算其最小外接圓的半徑長度，并記錄它與相鄰平面外接圓半徑的差值rdif.規定若Ci為桿狀物，相鄰半徑的差值應不超過dneigh.當一次迭代完成后，計算rdif超過了dneigh的比例x=Nrdif>dneigh/N,如果x超過了預設閾值，則認為聚類Ci不是桿狀物.

選擇編號為1的部分作為判斷桿狀物的依據，既避免了草叢等物體附著在桿狀物上所造成的干擾，也避免涉及到桿狀物上部不同的非桿狀部分，如路燈的燈頭、樹木的樹冠等.

為了進一步對桿狀物進行區分，對于桿狀物聚類Ci作如下處理:

1) 取Ci中編號為2、3的部分，等距離分割為水平截面，并將每一個點都映射到相應的平面上.

2) 從Ci編號為2的部分開始，從下至上遍歷每一個平面，擬合其平面上所映射的點的最小外接圓并計算其半徑.當圓的半徑長度大于某一個設定的最小值時停止.這時，在這個平面以上的部分即為桿狀物的非桿狀部分.

1.2.3交通標志牌檢測

常見道路兩旁的桿狀物可分為樹木、電線桿、路燈、交通標志牌幾大類.這幾類目標物的非桿狀部分的構成如表1所示.

表1　道路兩旁桿狀物組成Tab.1　Pole-like objects composition on the roadside

在組成類別中，只有交通標志牌是含有且大量含有平面元素的.因此，采用PCA算法，通過分析維數特征，可以將交通標志牌與其他非研究目標區別開來.

PCA算法[13-14]是一種有效的降維方法，它在減少數據維數的同時保留對方差貢獻最大的特征.對于目標聚類中的每個數據x，求取x的協方差矩陣，矩陣的特征向量即為點集的主方向，矩陣的特征值λ1,λ2,λ3(λ1≥λ2≥λ3)為對應的3個主方向上的分量大小.并進一步定義維數特征[13]:

(1)

根據掃描點的維數特征，依據式(2)把掃描點粗分類為線性(D=1)、平面(D=2)、離散(D=3)3類.

(2)

如果目標聚類中維數特征為平面的點超過預設閾值，那么可以認為這個目標聚類為交通標志牌.

2實驗結果

本文中的測試數據采用RIEGL VMX-450移動激光掃描系統進行采集，如圖3所示.RIEGL VMX-450由掃描儀、慣導系統、測距儀和4個高分辨率數碼相機組成，掃描儀的激光脈沖發射率可達550 kHz,測距精度可達1 cm.被測場景為實時交通下的廈門環島路，數據覆蓋范圍約5 260 m,包含127個交通標志牌.被測數據中包含常見的道路場景目標，包括建筑物、樹木、路燈、交通標志牌、車輛、行人、草坪等.測試設備為個人臺式機，配置為英特爾酷睿(TM)i5-3470，CPU主頻3.2 GHz，內存8.0 GB.

(a) 環島路點云顯示；(b) 基于反射強度的交通 標志牌檢測結果；(c) 基于形狀的交通標志牌 檢測結果；(d) 基于本文方法的交通標志牌檢測結果.圖4　交通標志牌檢測結果(場景1)Fig.4Traffic sign detection results (scene 1)

圖3　RIEGL VMX-450系統Fig.3RIEGL VMX-450 mobile laser scanning system

依據本文方法對數據進行處理，由基于特征選擇的方法和基于反射強度的方法分別實現交通標志牌檢測，最后將2次檢測結果進行疊加合并形成最終的檢測結果.圖4顯示的是部分環島路的點云顯示(圖4(a))基于反射強度的交通標志牌檢測結果(圖4(b))，基于形狀的交通標志牌檢測結果(圖4(c))，以及基于本文方法的交通標志牌檢測結果(圖4(d)).在圖4(b)中，基于反射強度的方法漏檢了反射率不突出的交通標志牌，在圖4(c)中，基于形狀的方法漏檢了被樹木遮擋的交通標志牌，而基于本文方法的結果沒有漏檢.圖5展示了另外一個場景的檢測結果.

(a)環島路點云顯示；(b) 基于反射強度的交通標志牌 檢測結果；(c) 基于形狀的交通標志牌檢測結果； (d) 基于本文方法的交通標志牌檢測結果.圖5　交通標志牌檢測結果(場景2)Fig.5Traffic sign detection results (scene 2)

從部分檢測結果可以看出，本文方法不僅能準確地檢測到獨立的交通標志牌,而且當它與樹木等目標交錯甚至被部分遮擋時，以及在點云中反射率未明顯高出其他地物目標時，該方法仍然可以得到正確的檢測結果.但是,在某些情況下仍然存在檢測錯誤,漏檢主要集中在標志牌被樹枝等物體完全阻擋時，誤檢主要是由于戶外廣告牌可能被當作是交通標志牌.

為檢驗本文方法對于檢測點云場景中交通標志牌的有效性，以手工標記實驗數據為參考數據，對本文所提出方法的召回率(召回率為檢測到的交通標志牌與場景中交通標志牌總數的比率)、假正、假負數量進行計算(表2).從表2可以看出交通標志牌檢測的召回率可以達到95.2%.同時對本文方法與文獻[10]方法的正確率、召回率2個方面進行了對比,比較結果如表3所示.對于圖4所示場景，大約710萬個點，計算時間為1 095 s，文獻[10]為1 021 s.本研究綜合2種方法檢測交通標志牌，發揮了2種方法的優勢，并使得2種方法中導致漏檢的缺陷相互彌補，因而召回率較文獻[10]方法提高了1.2個百分點.實驗結果表明,所提出的算法適用于道路交通標志牌的自動提取.

表2　環島路上交通標志牌檢測結果Tab.2　Traffic sign detection results on Huandao Road

表3　方法對比Tab.3　Compare with other method　%

3結論

本文以車載激光掃描數據為研究對象，提出了一種適合復雜城市環境的交通標志牌檢測方法.綜合運用基于形狀特征和基于反射強度2種方法進行交通標志牌檢測，既可以彌補基于反射強度的檢測方法無法檢測到從反面掃描或是老化褪色的標志牌的缺陷，又可以對2種方法的檢測結果相互驗證,從根本上提高了道路場景中檢測交通標志牌的精度， 達到優勢互補的效果.應用結果表明，該系統在復雜場景下可以有效檢測到交通標志牌，從而為交通部門掌握道路標志牌情況，有針對性的進行維護奠定基礎.同時，該檢測技術也可在智能交通系統中推廣應用.

但是該方法仍然存在一些漏檢或誤檢，主要為當目標物被大比例遮擋時導致的漏檢，以及戶外廣告牌可能引起的誤檢.下一步的研究將把點云與圖像融合，使我們真正的可以“看到”交通標志牌上的內容.

參考文獻：

[1]BRENNER C.Extraction of features from mobile laser scanning data for future driver assistance systems[M].Berlin，Heidelberg:Springer,2009:25-42.

[2]PICCIOLI G,DE MICHELI E,PARODI P,et al.Robust method for road sign detection and recognition[J].Image and Vision Computing,1996,14(3):209-223.

[3]LANDA J,PROCHAZKA D.Automatic road inventory using LiDAR[J].Procedia Economics and Finance,2014,12:363-370.

[4]CHEHATA N,GUO L,MALLET C.Airborne lidar feature selection for urban classification using random forests[J].International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2009,39:207-212.

[5]HAALA N,PETER M,CEFALU A,et al.Mobile lidar mapping for urban data capture[C]∥Proceedings of the 14th International Conference on Virtual Systems and Multimedia.Limassol,Cyprus:Reasearch Gate,2008:95100.

[6]YOKOYAMA H,DATE H,KANAI S,et al.Pole-like objects recognition from mobile laser scanning data using smoothing and principal component analysis[J].ISPRS Workshop,Laser Scanning,2011,38:115-120.

[7]PU S,RUTZINGER M,VOSSELMAN G,et al.Recognizing basic structures from mobile laser scanning data for road inventory studies[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S28-S39.

[8]董震,楊必勝.車載激光掃描數據中多類目標的層次化提取方法[J].測繪學報,2015,44(9):980-987.

[9]LAFLAMME C.Automatic asset detection,location measurement and recognition:USA 7623248[P].2009-11-24.

[10]AI C,TSAI Y C J.Critical assessment of an enhanced traffic sign detection method using mobile LiDAR and INS technologies[J].Journal of Transportation Engineering,2014,141(5):04014096.

[11]YU Y,LI J,GUAN H,et al.Three-dimensional object matching in mobile laser scanning point clouds[J].IEEE,Geoscience and Remote Sensing Letters,2015,12(3):492-496.

[12]VU A,YANG Q,FARRELL J,et al.Traffic sign detection,state estimation,and identification using onboard sensors[C]∥International IEEE Conference on Intelligent Transportation Systems.Hague:IEEE,2013:875-880.

[13]DEMANTKé J,MALLET C,DAVID N,et al.Dimensionality based scale selection in 3D lidar point clouds[J].International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2011,3812(5):97-102.

[14]LALONDE J,VANDAPEL N,HUBER D F,et al.Natural terrain classification using three-dimensional ladar data for ground robot mobility[J].Journal of Field Robotics,2006,23(10):839-861.

doi：10.6043/j.issn.0438-0479.201512018

收稿日期：2015-12-18錄用日期：2016-02-23

*通信作者：ypchenhk@gmail.com

中圖分類號:TP 391

文獻標志碼：A

文章編號：0438-0479(2016)04-0580-06

Road-traffic-sign Detection from Mobile LiDAR Point Clouds

WENG Shengxia,CHEN Yiping*

(School of Information Science and Engineering,Xiamen University,Xiamen 361005,China)

Abstract:The demand for automated road-traffic-sign extraction is driven by the importance of maintaining and updating the fundamental geographic data of transportation systems for road engineering.Mobile laser scanning(MLS) is a promising technology for the rapid 3-D mapping of roads,providing an efficient means to capture details along roads.This paper presents an automated method to detect road-traffic-signs in outdoor environments using mobile light detection and ranging(LiDAR) and inertial navigation technologies.First,road-traffic-signs are detected based on the intensity attributes,as road-traffic-sign intensity renders significant differences from other objects in point clouds.Second,a road-traffic-sign detection method based on shape features is applied,recognizes pole-like objects from raw point clouds with data extracted by principal component analysis.Finally,two detection methods are combined to form the final detection result.Experiments demonstrate the feasibility and the effectiveness of the proposed method in detecting-traffic-signs from mobile LiDAR point clouds.

Key words:mobile laser scanning;road-traffic-sign;detection;principal component analysis

引文格式：甕升霞，陳一平.基于移動激光點云的交通標志牌特征提取[J].廈門大學學報(自然科學版)，2016,55(4)：580-585.

Citation：WENG S X, CHEN Y P．Road-traffic-sign detection from mobile LiDAR point clouds[J].Journal of Xiamen University(Natural Science)，2016,55(4)：580-585．(in Chinese)