基于雙目視覺圖像的倒車障礙物檢測預處理方法

劉昱崗，王卓君,劉艷芳,張祖濤，徐 宏

(1.西南交通大學 交通運輸與物流學院，四川 成都 610031； 2.西南交通大學 綜合交通運輸智能化國家地方聯合工程實驗室，四川 成都 610031； 3.西南交通大學 機械工程學院，四川 成都 610031；4.中國電子科技集團第三十二研究所，上海 201808)

0 引 言

隨著汽車的日益普及,道路和停車場越來越擁擠,駕駛員視野受限，穿行、掉頭、倒車等常規操作所引發的碰撞和拖掛時常發生，其中尤以倒車事故最為嚴重和突出，駕駛員倒車誤操作已成為城市交通事故的重要原因之一。根據英國Accident Exchange事故統計機構2011年研究，英國每年約有4萬起嚴重交通事故，其中有較大的部分是由司機的倒車過失引起的。在中國，由于倒車引起的交通事故，在事故總數、發生率和造成的后果的嚴重性上，遠遠高于國外[1]。因此，如何有效地檢測倒車環境，成功區分出障礙物或行人，成為目前倒車安全領域的研究重點之一。

目前的汽車環境感知技術主要是利用傳感器對車外環境進行檢測，然后將信息反饋給汽車或者駕駛員，進而對汽車進行輔助的控制。雙目立體視覺技術由于其獲取信息豐富、信息準確，失真小、對近距離障礙物的關注度高等優點，成為近年來倒車領域備受關注的環境感知技術之一。魏娟[2]研究了雙目視覺系統在自動倒車系統中的應用，詳細論述了雙目立體視覺的雙目標定、特征提取、雙目匹配3個方面的內容，表明了雙目立體視覺對于倒車環境感知的可用性。但是雙目視差獲取(雙目匹配)一直以來計算機視覺中最關鍵、最困難的一步。盡管國內外許多學者已經提出了很多相關理論如灰度相關性匹配、極限約束、特征點匹配等[3-4]，但誤匹配現象仍然存在，并會大大影響接下來的障礙物檢測等工作，劉雨婷[5]采用隨機采樣一致性(RANSAC)方法來消除偽匹配點。

引入圖像形態學的膨脹、腐蝕操作來使視差圖中屬于同一障礙物的不連通區域連通，消除誤匹配，同時消除一些噪聲，以利于接下來的檢測工作。在倒車過程中，駕駛員或汽車往往更關注車后更近一些的障礙物。遠距離的障礙物對倒車安全沒有實際意義且需要大量計算時間。鑒于此，筆者采用基于距離的障礙物檢測算法，選擇合適的視差值作為障礙物檢測距離的閾值對視差圖進行二值化處理，將距離較近的障礙物作為檢測的主要目標，使得駕駛員或汽車能夠更多的關注到距離較近的障礙物。接著，使用區域標記算法對各個連通進行標記，計算各區域的面積大小，并將面積較小的區域作為噪聲去除。最后提取出余下面積較大的連通區域作為最終障礙物檢測的結果。實驗結果表明筆者提出的基于雙目視覺圖像的倒車障礙物檢測方法能夠有效檢測出車后的障礙物區域。并可對以后基于雙目視覺的倒車障礙物跟蹤與車輛安全控制研究提供前期基礎和一定的借鑒意義。

基于雙目視覺圖像的倒車障礙物檢測方法流程主要包括膨脹和腐蝕、視差圖二值化、障礙物提取3個步驟，如圖1。

針對雙目圖像匹配時容易產生誤匹配，使得視差灰度圖不清晰這一問題，首先采用膨脹和腐蝕算法來消除誤匹配并去除一部分噪聲；然后采用合適的閾值對視差圖像進行二值化，將一定距離內想要檢測到的障礙物劃分出來；接著利用區域標記算法將二值化后的視差圖像中的連通區域進行標記，最后通過面積控制將面積過小的區域作為噪點去除，將面積較大的區域作為障礙物提取出來，實現倒車環境下的障礙物檢測。

圖1 障礙物檢測方法系統流程Fig. 1 System flowchart of obstacle detection method

2 基于雙目視覺圖像的倒車障礙物檢測方法

2.1 膨脹、腐蝕

雙目匹配一直以來都是計算機視覺領域中的重點和難點，且由此產生的誤匹配現象尚未得到很好的解決。誤匹配會使同一障礙物區域的視差值不一致，進而造成同一障礙物區域的視差灰度圖不連通，最終將影響到障礙物的檢測。因此，如何減小誤匹配對障礙物檢測的影響是實現雙目視覺圖像檢測的關鍵步驟。

膨脹和腐蝕是數字圖像處理中常見的形態學操作[6-10]，主要用于圖像的噪聲抑制，邊緣提取，圖像分割，紋理分析，圖像重建等。其區域連通作用可去除雙目視差灰度圖中小區域的誤匹配。接下來筆者將介紹一些基本的數學集合的相互關系和常見的集合運算的概念，再介紹在此基礎上定義的膨脹、腐蝕操作。常用的數學集合的相互關系包括：包含，相交，不包含。常用的集合運算包括：非運算，交運算，并運算，差運算。圖2和圖3分別顯示了3種集合間相互關系的示意圖和4種集合運算的示意圖。其中A和B分別表示兩個數學集合。圖4中陰影部分為運算結果。

圖2 集合間相互關系Fig. 2 Correlation of each set

圖3 常見的集合運算Fig. 3 Common set operation

膨脹定義：設被膨脹圖像為集合X，把集合B(在形態學操作中，一般將集合B稱為結構元素)平移a(x,y)后獲得Ba，如果Ba擊中或被包含于X，記下a點，此時，所有滿足上述條件的a點的集合稱為X被B膨脹的結果。可以用如公式(1)描述X和B的關系：

X⊕B=E{a|(Ba∩X)≠?}

(1)

式中：⊕為膨脹運算符；?為空集。

在形態學操作中，一般將集合B稱為結構元素。圖4顯示了一個簡單的膨脹操作示意圖：

圖4 圖像膨脹操作示意Fig. 4 Image dilation operation

另外，根據結構元素B的不同，膨脹效果也會不同，如圖5：

圖5 不同結構元素下的膨脹操作Fig. 5 Dilation operation under different structural elements

通過膨脹操作，可以使視差圖中同一目標的不連續匹配區域連通起來，減少誤匹配帶來的影響。

腐蝕可以看作是膨脹的對偶運算，定義為：設被腐蝕圖像為X，把結構元素B平移a(x,y)后獲得Ba，如果Ba包含于X，記下a點，此時，所有滿足上述條件的a點的集合稱為X被B腐蝕的結果。可以用如公式(2)描述X和B的關系：

XΘB=E{a|Ba?X≠?}

(2)

式中：Θ為腐蝕運算符。

圖6為腐蝕示例：

圖6 圖像腐蝕操作示意Fig. 6 Image erosion operation

與膨脹操作一樣，結構元素B的不同，腐蝕效果也會有不同，如圖7：

圖7 不同結構元素下的腐蝕操作Fig. 7 Erosion operation under different structural elements

腐蝕操作的目的主要用于去除雙目視差獲取時誤匹配產生的細小噪點。在完成膨脹腐蝕操作后，雙目視差圖像會變得更加清晰。

2.2 視差圖二值化

在現實倒車環境中，距離車后較近的障礙物才會對駕駛員的操作或是車輛的自動控制系統產生影響。因此，在檢測過程中只檢測車后一定距離D內的障礙物而將遠距離的障礙物忽略，既能減少計算量，也符合實際的倒車需要。視差值d與障礙物距車輛的距離Z有如式(3)所示的關系。

(3)

由式(3)可知視差值d與距離Z是一一對應的關系，且距離車輛較近的障礙物視差灰度值較高，距離車輛較遠的障礙物視差灰度值較低。現設定一個安全距離L，若想要檢測L以內的障礙物，則可以通過式(3)反解出相應的視差dL。為了便于接下來對障礙物的標記處理，通過使用dL對視差圖進行二值化可將距離在L之內的障礙物區域灰度值設置為1，將其余非障礙物區域或較遠的障礙物區域的灰度值設置為0。

2.3 障礙物提取

在對視差灰度圖進行去誤匹配和二值化處理之后，圖像中只包含了灰度值1的前景障礙物區域和灰度值為0的背景區域。利用區域標記算法對二值化視差圖中每一個連通區域進行標記，一個連通區域即是一個障礙物。對一些被當作障礙物標記出來的小范圍噪點，可運用閾值化處理，將面積過小的障礙物作為噪聲去除，將剩余面積較大的區域作為障礙物提取出來。這樣便可得到想要檢測的障礙物。

結合倒車圖像的實際情況和膨脹腐蝕操作所帶來的問題，筆者將四連通的區域作為連通區域，采用基于行程的連通區域標記法對連通區域進行標記，具體實現步驟如圖8。

1)逐行對圖像進行掃描，對每一行中出現的白色像素序列進行記錄，記下它們的起點位置，終點位置和對應的行號。

2)對這些白色序列進行標號，從第1行第1個序列依次往下遞增；但如果當前白色序列與上1行有重合的區域，就將上1行有重合區域的那個序列的標號賦給當前的白色序列；如果有2個以上重合，就賦值給最小的那個標號，同時將上1行存在重合區域的白色序列的標號寫入等價對，說明他們是等價的。

3)將等價對轉換為等價序列(可以通過深度優先搜索算法)，從1開始，為每個等價序列附上相同標號。

4)遍歷白色像素序列開始標記，查找等價序列，并附上新的標號。

5)將每個白色序列的標號填入標記圖像中。

6)根據不同的應用，計算質心，面積等。

結合圖8的簡單示例，對圖像進行標記。

圖8 區域標記簡單示例Fig. 8 A sample of region labelling algorithm

掃描第1行：有2個白色像素序列，記為(2,2)和(6,7)分別賦予標號1，2。

掃描第2行：同樣有2個白色像素序列，記為(2,4)和(6,6)，但是這2個序列和第1行都有重疊部分，所以將(2,4)賦予標號1，將(6,6)賦予標號2。

掃描第3行：有1個白色像素序列，記為(4,6)，它與上1行兩個序列都有重合，所以取上1行所有與它重疊的白色像素序列中最小的標號賦予，同時將標號1和2計入等價對。

掃描第4行：有1個白色像素序列，記為(1,2)，因為上1行沒有與它重疊的，所以將這1行的(1,2)賦予標號3。

接著將等價對轉換成等價序列。由于此例較為簡單，其等價對只有1對，即1和2，所以等價序列也只有1和2。此時將等價序列1和2重新標號為1，將單獨的標號為3的白色像素序列改為2。再次掃描圖像，遍歷白色像素序列開始標記，標上新的標號。標記結果如圖9。

圖9 區域標記結果Fig. 9 Results of region labelling algorithm

在標記完每個連通區域之后，可以計算出每個連通區域的面積，將面積過小的區域作為噪點去除，將剩余的面積較大的連通區域作為障礙物區域提取出來。

3 實驗分析

為驗證該方法有效性，采用圖10所示的雙目攝像頭采集的樣圖對筆者提出的基于雙目視覺圖像的倒車障礙物檢測方法進行驗證。圖11(a)為圖10雙目圖像所對應的視差灰度圖。可以觀察到，圖內線框中存在大量的屬于同一物體但不連通的區域。與此同時，由圖11(a)局部放大后的圖11(b)還可看出視差灰度圖中還存在許多白色噪點。

圖10 雙目攝像頭采集樣圖Fig. 10 Sample picture collected by binocular-cameras

圖11 視差圖像Fig. 11 Disparity map

為了解決這兩個問題，通過膨脹和腐蝕來連通區域和去除部分噪點，其處理效果如圖12。

圖12 膨脹腐蝕結果Fig. 12 Results of dilation and erosion operation

可以看出經過膨脹腐蝕之后的視差圖的不連通區域已經連通了。接著對圖像進行二值化處理，將遠距離障礙物和近距離障礙物通過視差關系區分，二值化結果如圖13。

圖13 二值化視差圖Fig. 13 Binary disparity map

然后使用區域標記算法，對不同區域加以標記，如圖14。

圖14 區域標記Fig. 14 Region labelling

區域標記后測量各個圖像塊的面積，將面積過小的噪聲點去除，如圖15。

圖15 面積控制去除小噪聲點Fig. 15 De-noising effect of area control

最后，將標記結果記錄并顯示在左右攝像頭采集的圖片中。左右攝像頭目標定位如圖16。

使用不同的距離L，可計算出不同的dL來對視差灰度圖進行二值化，進而可檢測到不同范圍內的障礙物。假如設置了較大的檢測距離L，則可以檢測到更遠的障礙物，如圖17。

圖17 較大距離內的障礙物Fig. 17 Obstacle existing in a longer distance

為驗證檢測有效性，運用基于雙目視覺圖像的倒車障礙物檢測方法對一些標準數據庫進行了檢測率統計分析，正確檢測率達94%以上，如表1。證明了方法的可行性。除了對這些知名學者提供的標準數據進行實驗驗證之外，本次實驗還對實際采集的倒車現場視頻進行了檢測，采集場景為西南交通大學九里校區逸夫館。圖18顯示了視頻中隨機抽取的4幀圖片的檢測結果，可以看出本方法對實測倒車視頻也有很好的檢測效果。

表1 標準數據檢測和誤檢統計Table 1 Standard data detection and misdiagnosis statistics

圖18 實測倒車環境障礙物檢測Fig. 18 Obstacle detection in the actual reversing environment

4 結 語

提出了一種基于雙目視覺圖像的倒車障礙物檢測方法。該方法首先使用膨脹和腐蝕算法對圖像進行處理，這樣可以有效降低雙目視差圖像中誤匹配和噪點的影響；然后利用安全距離使圖像二值化，去除圖像背景區域，分離出目標前景；接著，運用區域標記算法，標記出二值化視差圖中的連通區域，為障礙物檢測做準備；然后對連通區域進行面積控制，提取出障礙物區域。最后，筆者提供的標準數據和現場視頻采集數據，實驗證明了提出的基于雙目視覺的倒車障礙物檢測方法的有效性。

[1]劉華軍.面向智能車輛的道路環境理解技術研究[D].南京：南京理工大學,2007.

LIU Huajun.ResearchonRoadSceneInterruptionTechniquesforIntelligentVehicles[D]. Nanjing: Nanjing University of Science & Technology, 2007.

[2]魏娟.雙目視覺在自動倒車系統中的應用研究[D].哈爾濱：哈爾濱工程大學，2009.

WEI Juan.TheApplicationResearchofBinocularVisioninAutomaticReversingSystem[D]. Harbin: Harbin Engineering University, 2009.

[3]金偉偉.基于雙目視覺的運動小目標三維測量的研究與實現[D].杭州：浙江大學，2010.

JIN Weiwei.ResearchandRealizationonBinocularStereoVisionSysteminDistanceMeasurementofDynamicObject[D]. Hangzhou: Zhejiang University, 2010.

[4]白明，莊嚴，王偉.雙目立體匹配算法的研究與進展[J].控制與決策，2008,23(7)：721-729.

BAI Ming, ZHUANG Yan, WANG Wei. Progress in binocular stereo matching algorithms[J].ControlandDecision, 2008, 23(7): 721-729.

[5]劉雨婷.基于雙目立體視覺的圖像匹配算法研究[D].昆明:昆明理工大學，2014.

LIU Yuting.ResearchonBinocularStereoVisioninImageMatchingAlgorithm[D]. Kunming: Kunming University of Science and Technology, 2014.

[6]孫繼平,吳冰,劉曉陽.基于膨脹/腐蝕運算的神經網絡圖像預處理方法及其應用研究[J].計算機學報,2005,28(6):985-990.

SUN Jiping, WU Bing, LIU Xiaoyang. Cellular neural network application manner in pre processing image[J].ChineseJournalofComputers, 2005, 28(6): 985-990.

[7] ANSAR A, CASTANO A, MATTHIES L. et al. Enhanced real-time stereo using bilateral filtering[C]//3D Data Processing, Visualization and Transmission, 2004. 3DPVT 2004. Proceedings. 2nd International Symposium on. IEEE, 2004: 455-462.

[8] ESS A, LEIBE B, SCHINDLER K, et al. Robust multi-person tracking from a mobile platform[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2009, 31(10): 1831-1846.

[9]陳武,王安麟,魏俊華.基于CCD的待車數傳感器研究——等待車輛圖像的腐蝕-膨脹識別算法[J].機械科學與技術,2004,21(6):20-23.

CHEN Wu, WANG Anlin, WEI Junhua. Study on sensors for quantity of waiting vehicles based on CCD-corrosion-expansion identifying method for image of waiting vehicles[J].JournalofMachineDesign, 2004, 21(6): 20-23.

[10]陳武.基于CCD圖像的等待車輛數傳感器的研究——等待車輛圖像的腐蝕-膨脹識別算法[D].上海:上海交通大學,2004.

CHEN Wu.StudyonSensorsforQuantityofWaitingVehiclesbasedonCCD-Corrosion-ExpansionIdentifyingMethodforImageofWaitingVehicles[D]. Shanghai: Shanghai Jiaotong University, 2004.

[11]陳誠.基于雙目視覺的運動目標跟蹤算法研究與應用[D].哈爾濱:哈爾濱工程大學，2014.

CHEN Cheng.ResearchandApplicationonMovingObjectsTrackingAlgorithmBasedonBinocularVision[D]. Harbin: Harbin Engineering University, 2014.