基于多傳感器數據融合的自動泊車系統高精度辨識車位的方法

江浩斌,葉 浩,馬世典,陳 龍

( 江蘇大學 a.汽車與交通工程學院； b.汽車工程研究院, 江蘇 鎮江 212013)

隨著人們對汽車安全與舒適要求的不斷提高，智能化、網聯化、電動化已成為未來汽車發展的趨勢。智能化與網聯化的終極目標是實現無人駕駛，而作為無人駕駛不可或缺的重要組成部分，全自動泊車系統也受到研究人員的高度重視。自動泊車系統是汽車在低速和城市復雜環境下的一個重要應用，其作用是輔助駕駛員安全快速地實現泊車。自動泊車系統由環境感知、路徑規劃和路徑跟蹤3個部分組成[1]。泊車控制器通過環境感知系統獲得待泊車位和障礙物信息，并根據自車與待泊車位的幾何關系規劃泊車路徑，進行路徑跟蹤控制，最終實現自動泊車。自動泊車系統架構如圖1所示。

圖1 自動泊車系統架構

泊車位的精確探測與識別是自動泊車系統的關鍵問題。目前國內外開發的自動泊車系統普遍存在泊車位尺寸探測精度低、識別率低、可識別的泊車位類型較少等問題，尚無有效的解決方案。

目前常用的泊車位探測方法主要包括兩種。一種通過超聲波雷達探測泊車位[2-3]，由于超聲波雷達存在雷達張角且沒有角度探測能力，因此這種方法無法對泊車位進行高精度探測；此外，超聲波雷達探測車位時，泊車位必須至少一側停有車輛。另一種泊車位探測方法通過圖像傳感器直接識別車輛[4]，或在有停車線的情況下，通過視覺傳感器拍攝圖像，設計特定算法識別停車線，以此來識別泊車位[5-6]。這種方法可靠性較差，容易受到天氣、光線等干擾，且目前國內停車位的標線畫法雜亂，給停車線的識別帶來很大難度。此外，基于圖像的泊車輔助系統僅能為駕駛員提供一些輔助信息，需要人工介入才能確定泊車位，或者需要駕駛員根據輔助信息自行完成泊車操作[7-8]。

隨著微電子技術、信號檢測與處理技術、計算機技術、網絡通信技術以及控制技術的飛速發展，各種面向復雜應用背景的多傳感器系統大量涌現[9]。信息融合技術能提高多傳感器系統的可探測性和可信度，增強探測精度，增加目標特征維數[10]，已成為自動泊車乃至無人駕駛的研究熱點。在自動泊車領域，通常采用超聲波雷達和視覺傳感器進行數據融合，以提高識別停車位的能力。許多科研人員在這方面進行了相關探索。王文飛[11]設計了一種基于超聲波雷達和機器視覺的自動泊車系統，提出參考車泊車位模型和泊車線車位模型，分別通過超聲波測距與視頻分析的方法實現泊車位識別。但該系統只是簡單地使用超聲波雷達和視頻分析方法搜索泊車位，將最后結果進行融合，與單獨使用一種傳感器的泊車系統相比，僅增加了泊車位識別類型的數量。高航等[12]利用激光雷達、圖像傳感器、慣性導航系統等建立了停車位感知系統，為不同車位設計了多種泊車路徑并實現路徑跟蹤控制。該系統各個傳感器探測到的信息能在一定程度上進行互補，但并未進行系統性的有機融合，且數據量巨大，難以滿足實時性要求。江浩斌等[13]利用超聲波雷達、視覺傳感器、里程計信息融合來辨識停車位兩側車輛姿態和車位參數模型，再根據模糊邏輯推理出泊車位識別結果，能實現多種停車位的智能識別，但這種方法僅能識別側邊有車的泊車位，且其重點在于識別不規則庫位，并未提高泊車位探測精度，對于泊車位內有移動障礙物的情況也無法識別?？傮w來說，目前有關數據融合的泊車位識別技術研究還較少，研究也不夠深入，泊車位探測精度及可識別的車位類型均不夠理想。

為了提高泊車位的探測精度、識別率、安全性以及識別更多類型車位，本文建立了14種標準停車位模型，通過超聲波雷達與視覺傳感器數據的多層次融合實現對泊車位的識別。通過仿真和實車試驗，驗證了所設計的算法的有效性。

1 泊車位類型建模

國內城市環境中停車位類型較多，總體可分為有停車線停車位和無停車線停車位，或者分為水平停車位和垂直停車位。本文首先對各種停車位建立標準模型，如圖2、3所示。對于圖中所示障礙物1和障礙物2(不區分水平和垂直泊車位)，一般定義為其他停止的車輛、墻體等較大的不會自行移動的障礙物。

圖2 平行泊車位類型

圖3 垂直泊車位類型

1.1 平行泊車位

平行泊車位作為城市中最常見的停車位形式之一，根據泊車位前后是否有障礙物、障礙物與泊車位方位關系以及是否有停車線，本文將其分為7種類型，見圖2。

1.2 垂直泊車位

垂直泊車位也是城市環境中最常見的停車位類型之一。根據泊車位左右是否有障礙物、障礙物與泊車位方位關系以及是否有停車線，本文將垂直泊車位分為7種類型，見圖3。

部分停車位即使內部沒有停車也無法使用。以前后均有障礙物的平行泊車位為例，在停車位中間可能存在其他小型障礙物，如自行車、電動車、行人、小動物或是石塊等。在這種情況下必須有效判斷該車位是否可用，如果是停放的自行車、電動車及其他不動的物體，則該泊車位不能使用；如果是經過的行人、小動物等，實際泊車時行人和小動物已經離開，則可以進行泊車，將這種情況下停車位內部的小型障礙物定義為疑似障礙物(圖4)。

圖4 泊車位中有疑似障礙物的情況

2 泊車位邊界高精度識別

2.1 泊車系統硬件介紹

僅使用超聲波雷達探測泊車位時，由于存在雷達張角，探測精度較低。因此，在超聲波雷達的基礎上增加視覺傳感器，通過數據融合實現泊車位探測精度的提高。如圖5所示，本文采用的技術方案為在車身前后一定高度按一定距離各安裝4個短距超聲波雷達，用于在泊車過程中實時檢測車輛前后是否有障礙物，在車身左右同樣高度各安裝2個長距離超聲波雷達，用于探測泊車位。同時，在車身前后車牌上方、左右后視鏡下方各安裝1個魚眼攝像頭，用于識別車輛邊界和泊車線。所有超聲波雷達及魚眼鏡頭的相對位置在安裝時已確定。

圖5 基于環視和超聲波雷達的泊車系統

尋庫時車輛沿著停車位向前行駛，如圖6所示。在行駛過程中，側面超聲波雷達實時探測泊車位，同時攝像頭拍攝沿途視頻，輪速傳感器記錄車輛實時速度，方向盤轉角傳感器實時記錄前輪轉角。尋庫過程中所有傳感器檢測到的每一個數據均包含時間戳，所有數據均需利用時間戳進行數據對準，以實現時間和空間的統一。為便于描述，對于探測到的車位幾何尺寸，與車輛行駛方向相同的空間距離定義為車位寬度Lw，與車輛行駛方向垂直的空間距離定義為車位深度Ld。

2.2 基于超聲波雷達與視覺數據融合的車輛邊界識別

當超聲波雷達探測不到物體時定義為無限遠，由于乘用車庫位寬度一般為2.5 m，長度一般為5～5.5 m，而在尋庫過程中自車側面與障礙物的距離一般在0.5～1.5 m，所以可將超聲波雷達無限遠處數據統一為7 m。以前后均有障礙物的水平泊車位為例，在尋庫完成后，超聲波雷達探測到的庫位特征如圖7所示。從圖中可以看出，前后兩車之間有1個車位，然而車位邊緣卻無法準確判斷。

圖6 基于超聲波雷達的自動泊車系統

圖7 超聲波雷達探測車位

由于攝像頭和超聲波雷達安裝位置都是固定的，并且進行了數據對準，因此很容易將魚眼鏡頭中心線通過庫位邊緣區域時對應圖片提取出來。為了更精確地識別車輛邊界，需要將圖像中的車輛邊界區域作為興趣區域ROI(region of interest)提取出來。圖像中車輛高度方向邊界很容易根據超聲波雷達測得的側方距離推算出來，結合側方距離突變可得到水平方向邊界區域。將高度和水平邊界框住的部分作為圖像處理的興趣區域ROI。圖8為魚眼鏡頭正對車輛邊界時的經過畸變校正后的圖片，其中ROI用紅色方框標出。圖8(a)為車輛尾部邊緣區域，圖8(b)為車輛頭部邊緣區域。

圖8 車輛邊緣圖像

從提取出的ROI圖像可以看出：由于車輛顏色與環境(地面)顏色不同，因此存在一條很明顯的邊界線，可以采用邊緣檢測算法提取邊界。比較常用的邊緣檢測模板有Laplacian算子、Roberts算子、Sobel算子、LoG算子[14]、Kirsch算子[15]和Prewitt算子等。

本文采用Canny邊緣檢測算法。首先將車輛興趣區域剪裁出來，去掉其他無用部分，如圖9(a)所示；然后進行灰度處理，有效減少計算量；之后采用Canny邊緣檢測算法找出圖中邊緣線，進一步濾波去噪；最后采用hough變換檢測圖中直線，確定車輛邊緣線。進行Canny邊緣檢測后，圖中會出現大量其他直線，對車輛邊緣提取造成干擾，如圖9(c)所示。為此，在進行hough變換時需要將檢測直線的角度限制在一定范圍內。由于車輛邊緣是垂直于地面的，所以將這個角度限制為(90°±α)范圍，其中α為允許的角度誤差，α值一般為5°。最終識別結果如圖9(d)所示，從圖中可以看出算法能夠有效檢測出車輛邊緣。與僅用超聲波雷達檢測出的車輛邊緣區域相比，融合圖像信息后，檢測出來的是一條線，檢測精度明顯提高。通過超聲波雷達與圖像融合識別車輛邊界后，可以得到停車位的有效寬度Lw和有效深度Ld。

2.3 疑似障礙物及車輛朝向識別

對于車位內有疑似障礙物的情況，當車輛行駛時，可以由輪速傳感器檢測輪速，并根據時間積分出行駛里程，結合方向盤轉角，獲得車輛行駛路徑。在統一的世界坐標系下，車輛上超聲波雷達1在時刻t1檢測到小型障礙物，記錄其位置坐標(x1,y1)，在時刻t2時，超聲波雷達2檢測到障礙物，記錄其位置坐標(x2,y2)，則小型障礙物移動速度可由如下公式獲得：

(1)

若庫位內沒有疑似障礙物，則可將v0設置為無窮大，對于結果不會產生影響，便于計算機統一處理。

圖9 Canny邊緣檢測

在車位判斷過程中，僅依靠車位寬度和深度有時并不足以判斷車位類型，因此需要根據對車輛輪胎[16]、車牌[17]、車尾燈[18]等的輔助識別判斷車位類型。若在視頻圖像中檢測到車輛輪胎，則判定為車輛側面，進一步可判斷此車位類型為水平泊車位；若檢測到車牌、車尾燈等，則判斷為車輛頭部或尾部，進一步可判斷此車位類型為垂直泊車位。在實際應用中，車輛輪胎可以抽象為黑色的圓，其尺寸也在一個固定范圍內，因此可以通過經典的Hough圓變換檢測。車牌檢測已經是十分成熟的技術，此處僅需車牌檢測的簡化方法，即只需做到識別車牌即可，不必識別車牌內容。車尾燈顏色為紅色，形狀為直線和角點的組合，可以采用特征匹配的方法進行檢測。采用盡量簡單的算法能夠最大限度地節省處理器計算資源，滿足實時性要求。

3 基于多層次信息融合的泊車位識別

本文數據融合框架如圖10所示。在尋庫過程中，超聲波雷達1和超聲波雷達2同時工作，檢測障礙物。當超聲波雷達1檢測到的距離產生突變時，將發生突變的區域作為ROI提供給視覺傳感器進行特征提取，獲得車輛邊沿線，這樣即可獲得庫位寬度Lw和深度Ld。同時超聲波雷達1和超聲波雷達2檢測庫位內部疑似障礙物速度v0，再經過模糊控制器獲得識別的庫位。由于僅依靠模糊控制器有的庫位無法識別或無法完全確定庫位類型，因此還需通過視覺傳感器提取車輛朝向、停車線等信息，與模糊控制器結果進行信息融合，最終確定泊車位類型。

圖10 數據融合框架

模糊邏輯控制(fuzzy logic control)是以模糊集合論、模糊語言變量和模糊邏輯推理為基礎的一種計算機數字控制技術[19]，是一種非線性全局智能控制的方法。本文設計的模糊控制器包含3個輸入、模糊規則、2個輸出。3個輸入分別是車位寬度Lw、車位深度Ld、庫內障礙物速度v0。輸出為水平、垂直兩種類型，其中水平表示識別出的庫位類型為水平停車位，垂直表示識別出的車位為垂直停車位。

3.1 隸屬度函數

根據先驗知識可知：對于車位寬度，當其小于一定值時，車輛無法停入；當其處于某定值范圍時，垂直泊車時可以停入；當其大于一定值時，垂直和水平皆可停入。因此，得到3個模糊子集：WS、WM、WL，其中:WS表示小寬度，此時車輛無法泊車;WM表示中寬度，此時車輛可以進行垂直泊車;WL表示大寬度，此時垂直和水平皆可停入。車位寬度隸屬度函數如圖11所示。

圖11 庫位寬度隸屬度函數

同理，對于車位深度，當其小于一定值時，車輛無法停入；當其處于某定值范圍時，車輛可以水平停入；當其大于一定值時，垂直和水平皆可停入。因此，得到3個模糊子集：DS、DM、DL，其中:DS表示小深度，此時車輛無法停入;DM表示中深度，此時車輛可以水平停入;DL表示大寬度，此時車輛垂直和水平皆可停入。車位深度隸屬度函數如圖12所示。

圖12 庫位深度隸屬度函數

L1表示車輛垂直泊車時能進入的最小庫位寬度，L2表示標準垂直庫位寬度，L3表示車輛水平泊車時能進入的最小庫位寬度，L4表示標準水平庫位寬度。

對于庫內疑似障礙物速度，當速度小于一定值時，可以認為是傳感器誤差導致，此時認為疑似障礙物是固定障礙物，車位無法使用，當速度大于一定值時，可以認為疑似障礙物是人或者動物，當真正開始泊車時人或動物已經離開，或者其會主動避讓泊車，此時判定車位可用。因此，得到兩個模糊子集：VS、VL，其中:VS表示小速度;VL表示大速度。當庫內沒有疑似障礙物時，定義其中疑似障礙物速度無窮大，即歸入大速度子集，此時不影響結果的正確性。疑似障礙物速度隸屬度函數如圖13所示。

圖13 疑似障礙物速度隸屬度函數

v1表示可以被判斷為運動物體的最小速度，v2表示可以被判斷為靜止物體的最大速度。

3.2 模糊規則

模糊規則是模糊控制的核心，根據經驗和知識推理，用輸入輸出變量的模糊狀態加以描述，即可得到模糊規則。當庫內疑似障礙物速度為VL時，判定為非庫位；當庫內疑似障礙物速度為VS時，模糊規則如表1所示。

表1 模糊規則

表1中有2個結果，分別對應水平庫位和垂直庫位的判斷輸出。若2個結果都是非庫，則說明檢測到的庫位不是停車位；若1個是非庫，另1個結果是水平或垂直，則檢測到的庫位結果對應水平或垂直庫位；若同時出現水平和垂直結果，則說明此庫位既可能是水平庫位，也可能是垂直庫位，需要結合圖像數據融合再次進行確認。為便于計算機處理，對輸出結果進行編號，規則為：水平：01；垂直：10；非：00；無法判斷水平或垂直：11。對于編號為11的情況，需結合視覺傳感器探測到的車輛朝向或者車位線確定庫位類型。通過以上信息融合，可以識別出水平和垂直共14種車位類型。

4 實車試驗

本文在實車上安裝1個圖像處理控制器和泊車控制器，如圖14所示。圖像處理控制器與安裝在車輛四周的4個魚眼鏡頭相連接，將識別出的圖像特征通過CAN總線發送給泊車控制器。泊車控制器與12個超聲波雷達相連接，驅動雷達探測泊車位并記錄數據，結合圖像處理控制器識別出的特征進行信息融合，實現泊車位高精度探測與識別。

圖14 圖像處理器(左)和泊車控制器(右)

通過車載泊車控制器和視覺處理控制器，進行泊車位識別試驗。根據專家經驗，設置模糊控制器參數為：L1=2.4 m，L2=2.6 m，L3=5.2 m，L4=5.6 m，v1=0.5 m/s，v2=1.5 m/s。試驗分為3種情況，泊車位寬度和深度在模糊集范圍內隨機生成，以人作為庫內疑似障礙物。試驗車輛類型為SUV，部分泊車場景如圖15所示，其中15(a)為對水平泊車位的尋庫過程，自車從右向左緩慢行駛進行尋庫操作；圖15(b)為對垂直泊車位的尋庫過程，自車從左向右緩慢行駛進行尋庫操作。

圖15 泊車試驗場景

為全面測試本文提出的泊車位辨識方法，根據庫內疑似障礙物有無及運動情況，將14種泊車位全部分為3種情況：試驗Ⅰ：庫內沒有疑似障礙物；試驗Ⅱ：庫內有人但靜止不動；試驗Ⅲ：庫內有人走動。車位類型及識別結果如表2所示，表中車位類型編號依次對應前文所述水平和垂直泊車位，共14種。基于本文泊車車位辨識方法的試驗結果如表2所示。

為驗證本文泊車位辨識方法的性能，同時進行了目前已有的兩種泊車位探測方法對比試驗。第1種方法僅在車輛側前方安裝一個超聲波雷達，通過車輛向前行駛探測泊車位，試驗結果如表3所示。第2種方法僅使用攝像頭識別車道線，試驗結果如表4所示。

表2 實車試驗結果

表3 僅安裝超聲波雷達時試驗結果

表4 僅安裝攝像頭時試驗結果

從實車試驗結果可以看出，僅在車輛側前方安裝1個超聲波雷達探測泊車位時，無法進行只有停車線的泊車位探測。泊車位內部有疑似障礙物時，無論疑似障礙物是否移動，都會判斷為障礙物，因此對于疑似障礙物移動時的情況，無法正確辨識泊車位。僅使用攝像頭識別泊車位時，對于沒有泊車線的情況不具備識別能力。本文所采用的泊車位識別方法能夠識別更多泊車位類型，識別率較高，與僅采用1個超聲波雷達和僅使用攝像頭檢測泊車位的方法相比優勢明顯，能夠有效提高自動泊車系統的智能化水平。同時，從結果中也可以看出，實驗條件越復雜，泊車位識別成功率就越低。這是由于越是復雜的試驗條件，各個傳感器出錯的概率就越高，進而影響泊車位識別成功率。

5 結束語

本文采用多個超聲波雷達和視覺傳感器，通過數據融合實現了泊車位邊界的高精度探測，能夠有效降低因超聲波雷達張角而產生的庫長探測誤差。

利用2個超聲波雷達先后探測庫位內部疑似障礙物，建立疑似障礙物速度計算方法，解決了庫內疑似障礙物判別問題，為判斷泊車位是否可用提供了有力支撐。

建立了泊車位識別的模糊控制邏輯，能夠有效識別大部分類型車位。采用視覺傳感器檢測出的車輛朝向和停車線等信息進行信息融合，能夠判斷更多種類型的水平和垂直泊車位。

進行了多種實驗條件下的實車試驗。試驗結果表明：本文所采用的泊車位辨識方法能夠有效識別多種類型的泊車位，識別率高，與僅采用1個超聲波雷達和僅使用攝像頭檢測泊車位的方法相比優勢明顯，能夠有效提高自動泊車系統的智能化水平。