一種智軌列車的全景環視圖像生成方法

呂曉聰，羅意平

一種智軌列車的全景環視圖像生成方法

呂曉聰，羅意平

(中南大學 交通運輸工程學院，湖南 長沙 410075)

針對新型交通系統多編組智軌列車(Autonomous rail rapid transit，ART)由于車體過長而存在的安全隱患，基于8個單目相機傳感器和2個鉸接角度傳感器，提出改進的圖像配準方法以生成單車廂環視圖像。結合圖像映射原理與幾何對齊技術融合鉸接傳感器角度數據實現整車全景環視圖像的生成。研究結果表明：在單車廂環視圖像生成過程中，改進的基于固定棋盤格內角點的圖像配準方法配準精度與效率更高，且實際操作更簡單；在多車廂環視圖像生成過程中，本文所提出的方法被證明了在不同的鉸接角時都能夠有效且清晰地生成整車的全景環視圖像，這對可視化大型多編組車輛視野盲區以及主動為駕駛員提供行車環境信息從而保證車輛安全駕駛具有重要意義。

智軌列車；車輛安全；全景環視；圖像處理

近年來，隨著城市的快速發展以及車輛的廣泛使用，由于城市道路空間有限，造成了一系列的交通問題，包括交通擁堵、停車困難、空氣污染等等，這些問題的存在直接影響著城市經濟的發展[1]。在這一背景下，出現了地鐵、輕軌、快速公交(Bus rapid transit，BRT)等城市公共交通系統。其中，相比地鐵和輕軌，BRT可以縮短乘客出行時間且降低建設成本，同樣可以有效地緩解城市交通壓力[2?4]。理想情況下，城市快速公交系統不會與傳統的行車道交叉，但在人口稠密的城市地區，這樣的解決方案造價比較高昂[5]。2017年，在城市軌道列車系統與快速公交系統的基礎上，智能軌道快運系統ART出現在了大眾視野中。與BRT不同，ART在行駛過程中不受固定軌道的限制，且與其他車輛共享路權，不需要建設專用的行車道，在建設成本與建設周期上都要比其他城市交通系統更有優勢。普通BRT車輛的長度為18 m左右，而標準3節編組的ART車輛長度為31.64 m，單次客運量比BRT大很多，并且智軌列車具有軌道列車柔性編組的特點，可以根據客運量需求調整車輛編組性能，整體是靈活多變的。這種交通系統的提出將可以更好的利用有限的城市道路空間解決現存的交通問題。但是由于ART車體過長，且沒有專用的行車道，行車環境復雜多變，因此會存在駕駛員視野有限，無法觀察到車輛行駛盲區的情況，一旦發生剮蹭或者碰撞事故，其傷亡和財產損失要比普通車輛嚴重得多，故智軌列車的行車安全性能是評價這一新型城市交通系統的重要指標。相關研究指出，車輛行駛環境的可視化以及障礙物的識別對車輛主動安全駕駛具有重要意義[6?8]。高級輔助駕駛系統(Advanced driving assistance system，ADAS)是目前應用最為廣泛的輔助駕駛系統，主要包括全景環視、自動泊車、智能環境感知等；其中，全景環視圖像是ADAS的主要視覺技術之一，旨在幫助駕駛員擴大視野、消除車輛盲區，更好地了解車輛行駛環境[9]。并且，圖像配準與圖像拼接技術是全景環視圖像相關研究的重點，目前大多數研究都采用了基于傳統特征的方法，例如SIFT[10](Scale-invariant feature trans- form)、SURF[11](Speeded up robust features)、ORB[12](Oriented fast and rotated brief)等特征描述符，這種方法雖然比較穩定可靠，但精度受待配準環境影響較大。近年來，隨著深度學習的快速發展，該技術也被應用于圖像配準的研究，該方法魯棒性強，但比較復雜，目前在實際應用中并不多。本文將基于如圖1所示的8個單目攝像頭與2個角度傳感器為3節編組智軌列車提出一種全景環視圖像生成方法，并在單車廂環視圖像生成過程中提出一種改進的圖像配準方法，最終為多編組智軌列車生成全景環視圖像，對其行駛環境進行可視化，以提高車輛行駛安全。

圖1 相機與角度傳感器位置示意圖

1 單車廂環視圖像生成

由于多編組智軌列車的組合方式與普通車輛不同，相鄰車廂通過鉸接盤連接，在車輛行駛過程中，位于不同車廂兩側的相機，其相對位置會發生轉動；因此，本文提出將多編組智軌列車全景環視圖像的生成過程拆分為多個單車廂環視圖像的拼接，將尋找相機相對位置關系的問題轉換為尋找多個單車廂環視圖像動態拼接的問題。

在單車廂環視圖像生成過程中，特征點匹配是第1步也是最重要的一步，特征點匹配的準確性在一定程度上影響著最終圖像拼接的效果。傳統的圖像配準多采用基于特征的方法；但這些特征匹配算法比較復雜，在嵌入式系統中需要耗費很長的時間，難以達到實時的效果，又由于包含車輛周圍環境特征的圖像被轉換為俯視圖，俯視圖中地面特征信息復雜，且數量眾多，所以在全景環視圖像成像過程中，大部分研究都使用標定布來輔助圖像拼接，但部分實際應用仍采用手動對齊的方法，操作麻煩、誤差不一，因此本文針對單車廂環視圖像的生成提出了一種改進的基于固定棋盤格內角點的圖像配準方法。

首先，如圖2所示，將棋盤格標定布擺放在單車廂兩側，單目攝像機安裝位置分別位于車廂前側與兩側的正中間。

圖2 棋盤格標定布擺放位置與所選固定內角點

將攝像機采集到的RGB圖像經過畸變矯正與俯視圖轉換后便可得到單車廂3個方向的俯視圖像，對俯視圖像分別進行SIFT，SURF，ORB特征以及棋盤格內角點檢測。圖3為某一側俯視圖像不同特征檢測結果，其中，基于SIFT，SURF和ORB特征檢測結果可以看出檢測到的特征點多、復雜且無序存儲，不易后續讀取處理，特征點匹配效率低；基于攝像機校正過程中僅對棋盤格內角點進行特征識別與提取的特性，采用Opencv函數cv2.findchessboardCorners對棋盤格內角點進行檢測，檢測到的特征點僅為棋盤格內角點，且內角點坐標數據有序存儲，故可以基于固定的棋盤格內角點對單車廂相鄰攝像機生成的俯視圖像進行特征點匹配，這種匹配方法準確、高效、操作方便，并且不需要額外復雜的計算，即使在圖像存在部分畸變失真的情況下，該方法仍然能準確地對棋盤格內角點進行檢測。

(a) SIFT；(b) SURF；(c) ORB；(d) Cherssboard Corners

然后，選擇對應棋盤格中3個不共線的內角點坐標值計算一幅圖像相對于另一幅圖像的透視變換矩陣，根據透視變換矩陣便可以將兩幅圖像變換到同一平面。如圖2所示，棋盤格內角點1，2，3，1，2和3被選為待匹配的棋盤格內角點，然后在采集到的單車廂前側、左側、右側的俯視圖像中分別讀取這6個內角點的坐標值，計算左右兩側圖像相對于前側圖像的仿射變換矩陣F和N并存儲，具體計算過程如下。

將F1，F2和F3的坐標值代入式(1)并展開便可以計算轉換矩陣TF。同樣地，基于棋盤格固定內角點N1，N2和N3可以計算車廂左側俯視圖像到前側俯視圖像平面的轉換矩陣TN。最后利用矩陣TF與TN基于線F1F3、N1N3實現單車廂環視圖像的生成，模擬實驗結果如圖4所示，由拼接結果可知本文所提出的基于固定棋盤格內角點的圖像配準方法可行，且操作簡單，效率更高。

2 多車廂全景環視圖像生成

多車廂環視圖像的生成主要是基于各個單車廂環視圖像融合相鄰車廂間相對轉動角度，根據數學幾何關系與圖像映射原理實現多個單車廂環視圖像的對齊[13]，從而實現整車全景環視圖像的 生成。

2.1 鉸接盤中心坐標計算

圖5 鉸接盤中心O1和O2在單車廂環視圖像中的位置關系

由于圖像成像大小與三維世界坐標系中的物體在尺寸上保持著一定的比例關系。故根據俯視圖像中棋盤格相鄰內角點的像素坐標便可計算圖像在𝑢軸和𝑣軸上的單位像素距離d和d。以6×4的棋盤格為例，記單個棋盤格的大小為×，如圖6所示，通過第2部分中對棋盤格內角點進行檢測的結果可以得到有序存儲的內角點坐標值。

圖6 棋盤格內角點檢測坐標示意圖

因此，在軸方向有：

式中：為棋盤格在軸方向的內角點數量，按如圖6所示的棋盤格有=6。同樣在軸方向有：

由于鉸接盤中心1和2在車輛中心線上，且車輛整體對稱分布，如圖7所示，測量2個鉸接盤中心到兩側車廂中心的水平距離1，2，則有：

圖7 三節單車廂環視圖與鉸接中心的相對位置關系

2.2 多環視圖像拼接

圖8 圖像映射過程

根據單應性變換的原理，其轉換關系可以表示為：

圖9 前、中、后單車廂環視圖像第1次圖像轉換過程

圖10 前、后單車廂環視圖像第2次映射轉換過程

圖11 點到的映射關系

式中：1，2，3，4和5分別為：

3 實驗結果分析

3.1 實驗結果

本文的實驗硬件環境為Intel(R) Core(TM) i7- 7800X CPU @ 3.50 Hz 3.50 GHz 32.0 GB，軟件環境為Ubuntu16.04，python3.7和OpenCV3.1.0。實驗所用單目攝像機技術參數如表1所示。

表1 單目攝像機技術參數

其中，單節車廂的實驗對象為一輛長11.5 m，寬2.5 m，高3 m的公交車，實驗所用棋盤格標定布規格=40 cm，且按如圖2所示的位置擺放，并測量記錄橫縱方向上棋盤格標定布距離車廂的實際距離。對于3個方向采集到的RGB彩色圖像根據第2節中的方法，選取棋盤格固定內角點作為單車廂環視圖像拼接的特征匹配點對，并計算車廂兩側俯視圖像到前側俯視圖像的對應轉換矩陣F和N，最后生成單車廂環視圖像，實驗結果如圖12所示；該結果進一步證明了在單車廂環視圖像生成過程中所提出的改進的基于固定棋盤格內角點的圖像配準方法的可行性。

圖12 單車廂環視圖像實驗結果

標準的智軌列車是由3節車廂通過鉸接盤連接而成，車輛全長31.64 m，寬2.65 m，高3.34 m。根據單車廂環視圖像生成方法，可以基于棋盤格標定布單獨完成3節單車廂環視圖像的生成，且計算并存儲攝像機在車輛安裝完畢后的內外參數以及各個方向RGB圖像的處理矩陣，并認定攝像機一旦安裝完畢，這些參數將不再發生變化，故在脫離棋盤格標定布后，仍然可以對單車廂環視圖像進行生成。

為了進一步驗證本文所提出的全景環視圖像生成方法的可行性，在不同實驗環境、不同實驗鉸接角度的情況下重復進行了整車全景環視圖像的生成實驗，實驗結果如圖14所示，圖14(a)為不同的實驗環境下所生成的全景環視圖像。從圖13和圖14的實驗結果可以看出，本文所提出的方法可以有效且清晰地為多編組鉸接智軌列車生成全景環視圖像。

(a) θ1=θ2=0°；(b) θ1=28.1°，θ2=?15°

(a) θ1=5.3°，θ2=?25°；(b) θ1=0°，θ2=1.5°

3.2 討論與分析

由于多編組智軌列車是一種新型的城市智能交通工具，目前關于智軌列車全景環視圖像生成的研究還比較少，因此，為了評估本文所提出的研究方法，從研究內容和實驗結果2個方面對其進行了分析。表2從3個方面將相關研究與本文的研究內容進行了對比。

表2 本文的研究內容與相關研究的對比

其中，大多數相關研究中單目攝像機的數量一般不超過6臺，并且相鄰攝像機之間的相對位置始終固定不變，且多僅應用于普通乘用車。而在本文的研究中，單目相機的數量不僅達到了8臺，并且由于車輛組合方式的差異，安裝在相鄰車廂上的攝像機會發生相對旋轉；本文所提出的方法適用范圍更廣、適用性更強，其中，針對3節標準編組的智軌列車所提出的全景環視圖像生成方法是靈活多變的，不僅能用于3節編組的車輛，基于相同的思路還可應用于其他多節編組的大型車輛，例如掛車、拖車等；且在生成單車廂環視圖像過程中所提出的改進的圖像配準方法同樣適用于普通乘用車環視圖像的生成，實際操作上，改進的圖像配準方法比基于標定布進行手動對齊要更簡單方便，并且效率上要比基于傳統特征點的方法更高。

(a) 文獻[14]；(b) 文獻[15]；(c) 文獻[16]；(d) 文獻[17]；(e) 本文研究方法

圖15給出了相關文獻[14?17]的實驗結果和本文實驗結果的對比。從圖15可以更直觀地觀察到，在同樣可以清晰地可視化車輛周圍行駛環境信息的情況下，本文的研究方法所生成的全景環視圖像視野更廣闊，更加適用于車體較長盲區多的大型鉸接車輛。

4 結論

1) 針對單車廂環視圖像的生成，基于攝像機校正過程中僅對棋盤格內角點進行特征識別與提取的特性，提出了改進的基于棋盤格固定內角點的圖像配準方法，該方法可以降低圖像特征點匹配復雜度，提高圖像配準精度與效率。

2) 基于圖像映射原理與幾何對齊技術提出適用于多編組智軌列車的全景環視圖像生成方法，且用實驗驗證了方法的可行性，有效地解決了智軌列車由于車體過長盲區過大的問題。

3) 多編組智軌列車全景環視圖像生成方法靈活可變，同樣適用于其他同類型的車輛，該項研究也奠定了全景環視技術在大型鉸接車輛上的研究基礎。

[1] ZHANG S, JIA C, MA C, et al. Impacts of public transportation fare reduction policy on urban public transport sharing rate based on big data analysis[C]// IEEE International Conference on Cloud Computing & Big Data Analysis, 20-22 April 2018. Chengdu, China. New York, USA: IEEE, 2018: 280–284.

[2] GUO Y, HAN Y. Priority model of BRT signal based on ABM[C]// Chinese Control & Decision Conference, 28-30 May 2017. Chongqing, China. New York, USA: IEEE, 2017: 7597?7599.

[3] Koehler L A, Seman L O, Kraus W, et al. Real-time integrated holding and priority control strategy for transit systems[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(9): 3459?3469.

[4] Racehorse V J, ZHANG G, Sussman A, et al. Bus rapid transit system deployment for high quality and cost-effective transit service: A comprehensive review and comparative analysis[J]. Intelligent Transport Systems, IET, 2015, 9(2): 175?183.

[5] Sebastiani M T, Luders R, Fonseca K V, et al. Evaluating Electric bus operation for a real-world brt public transportation using simulation optimization[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(10): 2777?2786.

[6] Nanba H, Kawai T, Sawada M, et al. Field operational test of v2v between tramcars and cars ‘towards automated driving system[C]// 2019 IEEE Intelligent Vehicles Symposium (IV), 9-12 June 2019. Paris, France. New York, USA: IEEE, 2019: 2443–2449.

[7] WEN Y F, XIE Y J, CAI R F, et al. Study on the environmental safety monitoring system for modern tram[C]// IEEE International Conference on Networking, Sensing and Control, 27-29 March 2018. Zhuhai, China. New York, USA: IEEE, 2018: 1–6.

[8] Kanieczka A, Michalowicz E, Piniarski K, et al. Infrared thermal camera-based system for tram drivers warning about hazardous situations[C]// 2018 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 19-21 Sept. 2018. Poznan, Poland. New York, USA: IEEE, 2018: 250–254.

[9] Kato K, Suzuki M, Fujita Y, et al. Image synthesis display method and apparatus for vehicle camera: US, 7139412[P]. Nov. 21 2006.

[10] Lowe D G. Object recognition from local scale-invariant features[C]// International conference on computer vision, 20-27 Sept. 1999. Kerkyra, Greece. New York, USA: IEEE, 1999: 1150?1157.

[11] Bay H, Ess A, Tuytelaarss T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346?359.

[12] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]// International Conference on Computer Vision, 6-13 Nov. 2011. Barcelona, Spain. New York, USA: IEEE, 2011: 2564? 2571.

[13] Santhanam S M, Balisavira V, Roh S H, et al. Lens distortion correction and geometrical alignment for around view monitoring system[C]// 2014 International Symposium on Consumer Electronics (ICSE), 22-25 June 2014. JeJu island, South Korea. New York, USA: IEEE, 2014: 1?2.

[14] Hedi A, Loncari S. A system for vehicle surround view[J]. IFAC Proceedings Volumes, 2012, 45(22): 120?125.

[15] YU M, MA G. 360° surround view system with parking guidance[J]. Driver Assistance Systems, 2014, 7(1): 19? 24.

[16] YANG Z, ZHAO Y, HU X, et al. A flexible vehicle surround view camera system by central-around coordinate mapping model[J]. Multimedia Tools and Applications, 2019, 78(9): 11983?12006.

[17] Nobori K, Ukita N, Hagita N. A surround view image generation method with low distortion for vehicle camera systems using a composite projection[C]// IAPR International Conference on Machine Vision Applications (MVA), 8-12 May 2017. Nagoya, Japan. New York, USA: IEEE, 2017: 386?389.

Panoramic surround-view image generation method for ART

Lü Xiaocong, LUO Yiping

(School of Traffic and Transportation Engineering, Central South University, Changsha 410075, China)

The new transportation system autonomous rail rapid transit (ART) has potential safety hazards due to the long body. Panoramic surround-view image generation method for ART was proposed based on eight monocular camera sensors and two hinged angle sensors. An improved image registration method is proposed to generate a single-carriage surround-view image. Then the articulated angle sensor data was fused to realize the panoramic surround-view image of ART according to the principle of image mapping and geometric alignment technology. The experimental results show that the improved image registration method based on the fixed chessboard inner corner points was more accurate and efficient, and the operation is simpler. The proposed method has been proved to be able to effectively and clearly generate panoramic surround-view images of ART at different hinge angles. This is significant for visualizing blind spots for large multi-marshalling vehicles and actively providing driving environment information to the drivers to ensure safety of the vehicle.

autonomous rail rapid transit; vehicle security; panoramic surround-view image; image processing

U495

A

1672 ? 7029(2021)01 ? 0046 ? 09

10.19713/j.cnki.43?1423/u.T20200245

2020?03?28

國家自然科學基金資助項目(61806222)；中南大學校級基金資助項目(2018ZZTS517)

羅意平(1964?)，男，湖南湘潭人，教授，從事人工神經網絡與機器學習方面的研究；E?mail：ypluo@csu.edu.cn

(編輯 蔣學東)