基于單目視覺的車輛下邊沿估計和逆透視變換的車距測量*

王永森，劉宏哲

(北京聯合大學北京市信息服務工程重點實驗室，北京 100101)

1 引言

隨著經濟的快速發展，我國的機動車產量和保有量已經連年高居世界第一，機動車雖然給人們的生活帶來了方便，但也使交通事故頻發，其中由于駕駛員操作不當而引發的道路交通事故占到了總事故的70%以上。自動駕駛汽車的發展能夠有效地解決這一難題，保障交通系統的運行安全并且提高運輸效率，對促進國民經濟的發展具有重要的意義和經濟價值。作為自動駕駛汽車重要組成部分，駕駛場景視覺感知與分析已經成為自動駕駛領域中的重點研究對象，其中前方車輛檢測是場景感知工作中至關重要的一部分，并且準確測量當前車輛與前方車輛之間的距離可以對車輛進行準確定位，對自動駕駛場景分析與決策系統起著非常重要的作用，對安全行車意義重大[1- 6]。

目前，駕駛環境下前方車輛測距方法根據傳感器不同分為基于雷達和基于視覺2類?；诤撩撞ɡ走_和激光雷達等主動式傳感器的測距方法[7 - 9]雖然測距精度較高，但價格昂貴，同時易受外界環境干擾?；谝曈X傳感器的測距方法應用范圍廣泛，所獲得的信息豐富，價格低廉，并且目前已經出現了很多優秀的目標檢測算法[10 - 16]，為視覺測距提供了很好的目標定位基礎。基于視覺的測距方法又分為基于單目視覺和基于多目視覺2類。基于多目視覺的測距方法[17 - 19]需要融合多個攝像頭的信息，算法復雜，計算量大，相機標定困難，成本相對較高。基于單目視覺的測距方法實現原理簡單，成本低廉，實時性更好。

近年來，國內外對單目視覺測距方法的研究取得了一些進展。文獻[20]提出了一種面向未來智能交通的自適應前方車輛單目視覺測距方法，通過計算圖像坐標系下車道標志線、交通標志、車輛尺度信息，依據相機成像數學模型計算前方目標車輛距離，但其需要特定場景環境，需要獲取多個道路相關信息，不具普適性。文獻[21]為了克服傳統單目視覺測距中時變的攝像機外參數對測量結果的影響,利用道路車道標識線平行約束條件,提出了一種基于車道線消隱點的單目視覺自適應車輛測距方法，但其需要對道路車道線信息進行提取，測距精度受車道線提取準確度的影響，只適用于特定結構化道路。文獻[22]提出了一種使用單目相機估算車輛在彎道時前方車輛距離的算法，通過分析車輛在彎道行駛時的特征對前方車輛進行檢測，在此基礎上實現車距測量，該方法受限于車輛在彎道行駛時的特征信息，只適用于特定場景。文獻[23]利用光流法來計算前方車輛距離，從單目相機測得的光流和車輛控制端的信息來估計車輛的距離和速度，但該方法依賴控制信息，且受光變環境影響較大，不具有普適性。

文獻[24-26]所研究的測距方法是基于相機成像橫向模型算法來計算目標車輛的距離，該方法需要已知目標車輛的實際物理寬度，車輛寬度大約在1.4～2.6 m，根據相似三角形原理計算車輛距離，如果預估的車輛寬度和實際車輛寬度有較大差異則會產生很大的測距誤差。文獻[27]利用縱向測距模型來計算車輛距離，基本原理也是根據相機成像原理，但是與利用橫向測距模型方法不同的是，他們的方法是用自身的相機高度來代替車輛的物理寬度參數，這樣相當于已知一個較為準確的物理值，不需要估算車輛的寬度，提高了測距的精度。但是，該方法忽略了車輛下邊沿問題，無法確定車輛與地面相接的準確位置信息，且受相機安裝角度的精度影響，導致測距誤差的產生。文獻[28]提出了一種基于水平方向和垂直方向的相似三角形測距方法，減少了由于車輛自身在遠距離上的俯仰角而導致的誤差，但該方法沒有考慮到車輛與地面相接的下邊沿位置問題，造成測量誤差。文獻[29]提出了一種基于逆透視變換的測距方法，利用逆透視變換得到道路俯視圖，根據線性關系進行距離計算，該方法雖然簡單易行，但忽略了車輛測距的關鍵點選取問題，只能估計車身整體大致位置，無法精確定位，且對相鄰車道內的車輛測距誤差較大。

通過對上述研究成果進行分析，目前基于單目視覺的車輛測距方法忽略了車輛下邊沿對測距產生的影響，導致測距關鍵點選取不夠精準，造成測量誤差的產生。為了提高駕駛環境中前方車輛單目視覺測距的精度和穩定性，本文提出了基于車輛下邊沿估計和逆透視變換的車距測量方法，利用車輛關鍵點估計車輛三維信息，提取車輛與地面相接的下邊沿位置坐標，計算測距關鍵點，通過基于點的逆透視變換測距模型，實現對車輛距離的高精度測量。

2 方法總體設計

如圖1所示，為了實現車輛下邊沿估計，本文方法借助基于深度學習的目標檢測算法完成駕駛場景中車輛目標以及車輛關鍵組件的檢測。車輛下邊沿估計模型通過分析車輛視角，對車輛所處位姿進行分類，參照車輛組件位置，計算車輛關鍵點坐標，同時依據相機成像原理和幾何先驗模型進行車輛三維信息估計，得到車輛下邊沿信息。逆透視變換模型根據相機成像原理對相機進行標定，得到相機內外參數，從車輛下邊沿信息估計測距關鍵點坐標，根據逆透視過程，對測距關鍵點進行距離計算，完成車距測量。

Figure 1 Overall design of the method圖1 方法總體設計

3 車輛下邊沿估計模型

車輛下邊沿是車輛在道路上時車尾的垂直截面與地面相接的位置，如圖2a所示，而常規的車輛檢測結果如圖2b所示。傳統的測距模型建立在車輛矩形檢測框的基礎上，測距點的選擇基于矩形框的下邊，如圖2c所示，通過對比，真實的車輛下邊沿和檢測得到的矩形框的下邊存在差異，導致測距誤差的產生。特別地，當車輛下邊沿估計不準時，將對橫向距離估計造成非常大的影響。為了從根本上提高測距精度，找到更加準確的車輛下邊沿非常重要。本文建立車輛下邊沿估計模型，對車輛下邊沿進行估計。

Figure 2 Comparison of the lower edge of the vehicle and the detection rectangle圖2 車輛下邊沿與檢測矩形框對比

3.1 車輛視角分析

車輛在行駛過程中，由于所在位置相對于當前車輛會時刻發生變化，相機所捕捉到的車輛在圖像中會呈現不同的位姿角度，相當于觀察車輛的視角不同，從而增加了車輛下邊沿估計的難度。如圖3所示，對車輛在行駛過程中的位置變化進行分析，觀察車輛的視角變化的同時，車輛的下邊沿相對于車輛矩形檢測框的位置也發生變化。

Figure 3 Comparison of different vehicle perspectives圖3 不同車輛視角對比

根據車輛位姿和觀察視角的不同，將車輛關鍵點的選擇分為2種情況：

(1)可以觀察到車輛側面的情況。

如圖3所示，針對前6幅圖像中可以確定車輛側面的情況，即能看到車輪所在的側面，如果不對車輛下邊沿進行估計，而直接采取車輛矩形檢測框進行距離測量，將會造成測距誤差的產生，尤其對橫向距離的估計影響較大。

如圖4所示，為實現車輛下邊沿的估計，本文分別選取車輛側面的2個車輪和地面相接的地方作為2個關鍵點w0(w0(x)和w0(y)),w1(w1(x),w1(y))，除該2點之外，選取車輛車尾或者車頭與相機中可以看到的側面相交的棱，定義為直線L(x=p0)，其中p0為圖像坐標橫軸的坐標值，即需要的5個參數為N(w0(x),w0(y),w1(x),w1(y),p0)。

Figure 4 Vehicle side view圖4 車輛側方視角

(2)無法觀察到車輛側面的情況。

如圖5所示，圖像中的目標車輛相近于正前方車輛的觀察視角，這種情況下車輛的下邊沿和矩形檢測框非常接近，使用矩形檢測框作為車輛的下邊沿進行測距所產生的誤差相對較小。所以，對于該種情況的車輛不進行車輛下邊沿估計，使用矩形檢測框的下邊作為車輛下邊沿進行測距。

Figure 5 Perspective from the rear of the vehicle圖5 車輛正后方視角

Figure 7 Key points estimation圖7 關鍵點估計

在實際應用過程中，為了確定車輛所處的位姿以進行車輛關鍵點估計，定義變量λ,λ表示檢測到的車尾矩形框中心點橫坐標與車輛外接矩形框寬度的比值(車輛外接矩形框的左上角頂點位置為坐標原點)，根據λ的大小判定車輛所處位姿和觀察視角，若λ?[0.42,0.58]，屬于車輛側方視角；若λ∈[0.42,0.58]，屬于車輛正后方視角。

3.2 車輛關鍵點估計

車輛關鍵點估計，首先利用目標檢測算法[11,13]對圖像中的車輛進行檢測，得到車輛外接矩形框坐標位置B(x1,y1,x2,y2)，截取出車輛最小外接矩形框包圍的像素信息。分析3.1節情況(1)中關鍵點位置信息，可通過對相應組件檢測得到關鍵點位置坐標。如圖6所示，利用2個側方車輪和車輛尾部的位置信息，估計出車輛關鍵點。

Figure 6 Vehicle key components detection圖6 車輛關鍵組件檢測

使用SSD(Single Short multi box Detector)目標檢測框架[13]對截取的矩形框包圍的車輛圖像進行檢測，如圖7所示，得到車輪的矩形框位置W0(x1,y1,x2,y2)、W1(x1,y1,x2,y2)和車尾的矩形框T0(x1,y1,x2,y2)。

關鍵點計算過程中，前側車輪和后側車輪組件矩形框分別使用wb0和wb1表示，它們可由式(1)和式(2)得到：

(1)

(2)

變量p0由式(3)得到：

(3)

2個關鍵點w0和w1的坐標由式(4)和式(5)得到，即G=(w0,w1,p0)。

(4)

(5)

3.3 車輛三維信息估計

如圖8所示，車輛目標的三維信息在圖像中使用頂點坐標表示為C={a,b,c,d,e,f,g,h}，其中，{a,b,c,d}表示目標車輛靠近相機側垂直切面上從左上角按照順時針方向的4個頂點在二維圖像上的像素坐標點，{e,f,g,h}表示目標車輛遠離相機側垂直切面上從左上角按照順時針方向的4個頂點在二維圖像上的像素坐標點。

Figure 8 Vehicle 3D information圖8 車輛三維信息

由G得到N=(w0(x),w0(y),w1(x),w1(y),p0)，依據幾何模型計算車輛三維信息中的頂點坐標。計算過程如下：

如圖9所示，由式(6)計算經過w0(w0(x),w0(y))和w1(w1(x),w1(y))2個關鍵點的直線方程F(x)：

(w0,w1)?F(x)

(6)

Figure 9 Vehicle 3D information estimation圖9 車輛三維信息估計

由式(7)計算直線方程F(x)與直線L(x=p0)相交的點，記為構建3D立體框C={a,b,c,d,e,f,g,h}中的頂點d：

(7)

由式(8)可得直線方程F(x)與車輛矩形框左側邊K(x=k0)相交的點，記為C={a,b,c,d,e,f,g,h}中的頂點h：

(8)

然后取車輛矩形框右側邊下頂點為c點，取車輛矩形框左上角頂點為e點，由幾何原理，依次平移線段eh到d點和c點，可得a點和b點，然后依次平移線段hd使d點分別和c點、b點重合，得到g點、f點，即可計算出車輛三維信息C={a,b,c,d,e,f,g,h}。

由車輛三維信息C={a,b,c,d,e,f,g,h}，一般情況下可直接由線段cd得到車輛下邊沿，但關鍵點G會因組件檢測的偏差導致誤差增大，該情況下根據幾何模型計算出的頂點坐標也將出現誤差，隨之估計得到的車輛三維結構將出現畸變，影響車輛下邊沿估計的準確性。所以，為了降低誤差，對C進行濾波校驗。

在像素坐標系下，計算經過c和d2點直線的斜率kc d,kc d決定車輛下邊沿在像素坐標系中的傾斜程度。根據駕駛場景中車輛的角度位姿先驗，定義濾波函數Fsen(x)對其進行濾波，如式(9)所示：

(9)

通過式(9)完成對斜率kcd的修正，其中x表示斜率。利用相機投射投影成像存在消失點的原理[30-33]，對f、g和e進行修正，公式表示如式(10)～式(12)所示：

(10)

(11)

(12)

完成上述過程之后，校驗幾何模型是否滿足式(13)所示的圖像中像素坐標關系：

(13)

令三維信息估計結果標志變量為t，如果滿足此條件，則t=1;不滿足，則t=0。最后通過估計到的車輛三維信息，根據式(14)提取車輛下邊沿R(x1,y1,x2,y2)：

(14)

4 逆透視變換模型

相機逆透視變換，目的是將圖像像素坐標對應還原回物理世界坐標系中，得到圖像的俯視圖，如圖10所示。相機成像的基本原理是將世界坐標系中的物理坐標點映射到像素坐標系中，過程如圖11a所示，逆透視變換依據該原理，將像素坐標系中的像素坐標轉換到世界坐標系中，為相機成像的逆過程,如圖11b所示。

Figure 10 Inverse perspective mapping圖10 逆透視變換

Figure 11 Coordinate transformation process圖11 坐標變換過程

本文基于逆透視變換的測距模型的創新之處在于，利用前方車輛目標處在道路平面這一先驗，結合標定原理，計算尺度縮放因子，然后進行基于點的逆透視變換實現測距，不同于利用全部像素逆透視變換之后的線性關系進行測距的方法。文獻[29]采用的逆透視變換測距方法是將圖像中道路信息還原成物理道路平面俯視圖，利用該平面與真實道路平面具有的線性比例關系，確定車輛的距離。但是，該種方法忽略了車輛的視角姿態，在具有線性比例的關系圖中難以找到車輛的下邊沿位置坐標，只能近似估計車輛的整體車身距離，并且在對整體路面進行逆透視變換時需要對缺失的像素信息進行估計，從而增大了誤差的產生。故本文方法先找到車輛下邊沿，計算測距關鍵點，結合縮放因子，對該關鍵點進行逆透視變換，計算車輛距離，從而減小測距誤差。

單目RGB相機在成像過程中，像素的深度距離信息會在相機坐標到圖像坐標映射過程中丟失，如圖12所示。在完成相機標定之后，得到相機外參旋轉矩陣R3×3和平移矩陣T3×1。外參的作用是將世界坐標系和相機坐標系對齊，經過分析發現，外參包含一個隱藏的物理參數值，即世界坐標系原點和相機坐標系原點之間的位移，利用該物理參數值，以及目標車輛和當前車輛處于同一道路水平面先驗，可求出道路平面像素點所對應的尺度縮放因子，從而實現基于點的逆透視測距。

Figure 12 Camera coordinate system and image coordinate system圖12 相機坐標系和圖像坐標系

逆透視測距詳細過程如下所示：

令K3×3為相機內參矩陣(包含5個內參數)，表示為：

(15)

其中,f為相機焦距，dx和dy分別是相機橫向和縱向單位像素的物理尺寸，(u0,v0)是圖像坐標系原點O1在像素坐標系中的像素位置，r是內參矩陣因子。

設世界坐標系中的坐標點(Xw,Yw,Zw)，對應像素坐標系中的坐標點(u,v)，由式(16)所示的成像矩陣方程可得到式(17)：

(16)

其中,O為1×3的零矩陣。

(17)

(18)

通過4組對應點和單應性矩陣原理，可得相機參數P3×4。

由車輛下邊沿信息R(x1,y1,x2,y2)和式(19)可得測距關鍵點像素坐標E(x,y):

(19)

令Zc=s,s即尺度縮放因子，由式(16)可得：

(20)

(21)

由車輛下邊沿位置先驗，得Zw=0，將Zw=0,(u,v)=E(x,y)代入式(21)，可得s=s0，又由式(21)可得：

(22)

Figure 13 KITTI dataset annotation information圖13 KITTI數據集標注信息

5 實驗

為了驗證本文的測距方法，在具有雷達標注的距離信息的KITTI數據集[34]上進行實驗。為了從多個角度對本文的測距方法進行驗證，本文進行2組對比實驗。第1組是將本文方法與未采用車輛下邊沿估計直接進行逆透視變換的測距方法進行對比，目的是驗證車輛下邊沿對測距本身產生的影響；第2組是將本文方法與其他測距方法對比，目的是驗證本文方法的測量精度。

本文從KITTI官方的訓練數據集中去除用于訓練檢測網絡的5 000幅圖像，剩余的2 481幅圖像用于實驗驗證。本文只對KITTI數據集中標簽為“Car”類別的目標進行驗證，并且對像素寬度小于100的車輛目標不進行下邊沿估計操作，直接進行距離計算。KITTI數據集的標簽格式如圖13所示，每個TXT格式的標簽文件代表對應文件名的圖像中所有目標的信息，如圖13中，每行數據代表一個實例目標，其中每行中的多個值使用空格分開。對本次實驗中需要用到的標簽數據進行如下說明：首先，每行中的第1個值為字符串類型，表示該目標的類別；第5～8位為4個浮點數，代表目標的2D邊界框坐標；第9～11位為3個浮點數，代表目標的尺寸，分別是高、寬、長(單位為m)；第12～14位為3個浮點數，代表目標中心點所處的位置坐標(x,y,z)，該坐標建立在相機坐標系下(單位為m)，坐標軸以相機中心點為坐標原點，正右方為x軸正向，正下方為y軸正向，正前方為z軸正向。本次實驗使用x和z作為實驗驗證的真值，分別代表目標車輛的橫向和縱向距離。

本文實驗使用的操作系統是Ubuntu 16.04，內存為32 GB，GPU為NVIDIA GeForce GTX 1080Ti，編程環境為Python2.7，深度學習框架為PyTorch 0.4.0版本。使用PyTorch實現的Faster R-CNN目標檢測算法[11]進行前期的車輛檢測，使用SSD目標檢測算法[13]進行車輛關鍵組件的檢測，并將檢測階段和測距階段進行了融合。

針對駕駛場景中處于不同狀態的車輛進行測距分析，如前方車輛轉彎、上坡和遮擋。當前方車輛轉彎時，本文方法計算的車距是前方車輛相對于當前車輛的縱向和橫向的距離，如圖14a所示，縱向距離x，橫向距離y，該種情況和非轉彎的車輛測距情況相同，不影響測距結果；當前方車輛在上坡而當前車輛在水平路面時，如圖14b所示，上坡路面角度為α，此時，橫向測距結果不受影響，縱向測距結果將發生變化，變為測量值的secα倍，根據《公路工程技術標準》(JTG B01-2003)規定：各級公路的最大縱坡不應大于3%～9%，即當最大縱坡取9%時，secα=1.0040，即誤差變化比例為0.004 0，車距為100 m時,誤差增加0.40 m；當前方車輛和當前車輛同時處于坡上時，如圖14b所示，兩者處于同一水平面，測距結果不發生變化；當前方車輛受到遮擋時，如圖14c所示，車輛檢測階段會檢測不到完整車輛，在車輛組件檢測時，如果車輛組件檢測結果不完整，則采用車輛矩形框下邊中心點作為測距關鍵點進行車距測量，即相當于采用不進行車輛下邊沿估計的方式進行測距，測距誤差見5.1節。

Figure 14 Vehicle distance measurement and analysis in different states圖14 不同狀態下車距測量分析

本文旨在通過深度學習技術來提高車輛視覺測距的精度，所使用的車輛檢測方法為Faster R-CNN[11]，該方法為通用的目標檢測方法，同其他車距測量方法中需要首先獲取車輛外接矩形框的目的相同，本文的創新之處在于基于車輛外接矩形框的檢測結果，借助輕量快速的目標檢測框架SSD[13]完成對車輛下邊沿的估計。測距各階段用時和算法處理幀率如表1所示。

Table 1 Processing time andprocessing frame rate for each stage

5.1 車輛下邊沿對測距誤差影響驗證

本文對不同縱向物理距離的車輛目標進行分階段統計測試，總共分為4組進行實驗，分別為0～20 m，20～40 m，40～60 m，60～80 m。本次實驗的計算規則是分別統計使用下邊沿估計和未使用下邊沿估計車距測量值與真值之間的差值，即絕對誤差。

在實驗各階段，本文提取了符合測量標準的車輛實例，各距離階段內車輛數量不同，取各階段測距誤差的平均值，實驗結果見表2。數量表示各階段符合測試條件的車輛數，平均誤差表示所有距離階段的車輛測距誤差的平均值。從實驗結果中可看出，采用下邊沿估計的測距精度明顯高于未采用下邊沿估計的測距精度，其次，縱向測距誤差相對于橫向測距更大，尤其在未采用車輛下邊沿估計的測距方法式中更為明顯，而本文方法在橫向測距的精度以及穩定性上表現更好。通過實驗結果還可以發現，目標縱向距離越大測距誤差就會越大，且橫向距離和縱向距離的測量誤差變化程度會有所不同。如圖15所示，在車輛目標的縱向距離逐漸增大的過程中，橫向測量誤差逐漸增大，且變化非常明顯，而縱向測量誤差雖然也在增大，但相對穩定，增幅較小。從這里更可以看出，本文方法相對于未使用下邊沿估計的方法具有更高的測距精度和穩定性。

Table 2 Influence comparison ofranging error in the lower edge estimation

Figure 15 Variation of ranging error圖15 測距誤差變化

5.2 本文方法與其他測距方法對比驗證

將本文方法和其他測距方法進行對比實驗。選取文獻[27,28,35,36]中的方法進行實驗，同樣分成4個不同的距離階段，分別為0～20 m，20～40 m，40～60 m，60～80 m，根據不同距離階段內的車輛目標，分別計算測距誤差的平均值，包括絕對誤差和相對誤差，實驗結果如表3所示。文獻[35]的測距方法只用于對車輛在縱向上的車距測量，該方法在近距離階段(40 m之內)測距精度較高，在遠距離的60～80 m階段，測距誤差變大。文獻[27,28,36]的方法可用于縱向和橫向上的車距測量。從表3可以看出，隨著車輛縱向距離的增大，這幾種方法的測距誤差也有較大程度的增大，而本文方法隨著縱向距離的增大，測距誤差并沒有出現較大的變化，說明本文方法穩定性更好。無論是分階段的對比還是平均誤差的對比，本文方法明顯優于其他幾種方法，且測距的精度更高，尤其在橫向距離測量上誤差更小，表明本文方法針對相鄰車道內的車輛目標更加有效。

Table 3 Comparison between thismethod and other ranging methods

6 結束語

本文針對基于單目視覺的車輛測距技術中忽略了車輛與地面相接的下邊沿問題，提出了一種基于車輛下邊沿估計和逆透視變換的單目視覺測距方法，實現了對前方車輛進行橫向和縱向的高精度車距測量。相對于其他測距方法，本文通過下邊沿估計模型實現對車輛下邊沿的定位，確定更加準確的測距關鍵點，利用基于點的逆透視變換測距模型進行距離計算。實驗結果表明，本文方法的測距精度更高，穩定性更好。在未來的工作中，我們將進一步探索新的車輛下邊沿估計模型，在進行車輛下邊沿估計時，降低因車輛組件過小而產生的影響，提高算法的魯棒性，進一步提高車距測量的精度。