基于虛擬現實技術的全景泊車系統及其擴展應用

文翊 丁宗陽 李澤彬 孫國正 何班本

摘要：本論文充分研究倒車攝像頭圖像處理上的特征原理，從基本的成像原理出發，利用圖像轉化方法、圖像拼合算法及融合算法，實現了虛擬圖像和現實圖像的融合，最終完成了全景泊車系統的設計，本方案僅用單個（兩個）攝像頭。通過本方法極大降低了生產成本，使得全景泊車系統對后保盲區的探測能力大幅提升，并且新增非常實用的透明底盤功能。本文方案擴展至倒車雷達系統使得性能的提升，并且新增非常實用的側方障礙物提醒功能。為今后更多傳感器的在虛擬現實技術上的創新開拓了方向。

關鍵詞：全景泊車系統;虛擬圖像;圖像融合;攝像頭

中圖分類號：U471.2 文獻標識碼：A 文章編號：1005-2550（2020）02-0002-08

文翊

畢業于武漢大學，電氣工程與自動化專業，獲得華中科技大學工商管理雙學位;現就職于東風汽車集團有限公司技術中心，主要從事ADAS系統研發與推進，統籌電動車項目ADAS項目的推進等工作，曾參與L3級高等級智能駕駛項目。

1序言

虛擬和真實，我們在兩個世界中徘徊和探索，汽車的世界中虛擬和真實同時出現，我們用虛擬技術去還原一個最真實的世界。汽車已在世界上創新發展前行了百余年，倒車影像已然成為成熟的技術，但是其視角的局限性，車輛近端及兩側的盲區無法消除，帶來安全的風險;而采用四個攝像頭的360°全景影像技術，較單攝像頭的倒車影像相比增加額外的三個攝像頭和一個昂貴的全景ECU外加附加的線束成本大幅增加600余元，在汽車競爭日趨白熱化的今天這樣的成本增加讓各個主機廠望而卻步。

而互聯網時代的當下，各種網絡算法層出不窮，而新興的圖像處理領域也取得了長足的發展，其中圖像配準和圖像融合技術是標志性技術。利用相鄰圖像的配準完成拼接全景影像也已經完成工業化生產，用于四攝像頭的全景影像。若利用圖像的記憶和基于圖像可信度的連續拼合法，可以利用一定時間內汽車行駛過程中掃描過的圖像，通過連續的拼合操作，最終完成全景俯視圖的拼合。利用單個攝像頭實現全景泊車系統，不僅極大的降低了成本，而且衍生出的新功能“透明底盤”亮點十足。

2基于虛擬現實技術的全景泊車系統的基本原理

2.1倒車攝像頭的基本參數及標定原理

倒車攝像頭通過感光元件，將識別到的光感信息轉換為PAL或NTSC制式的信號，傳遞給車內中控系統處理，由觸摸屏進行成像顯示。其中攝像頭有一定的視場角，能覆蓋車后方絕大多數范圍，但側力‘及后保視角連線處必然會有一定盲區（圖1）。

攝像頭分辨率為攝像頭性能的重要參數，經過等比例放大處理后的攝像的圖像像素的長于寬，一般略微高于顯示系統像素的長與寬，多余的部分可在車型標定中自由裁剪，這種冗余的設計多用于攝像頭非居中布置（圖2）的圖像居中矯正，及制造公差的控制防止出現黑邊。本文利用這種可自由裁剪的攝像頭設計的基本標定原理，剪裁出小部分圖像，作為記憶圖像的基準，以便進行后期的圖像拼合工作。

光軸是攝像頭的重要參數，廣角攝像頭的原理來看，圖像圍繞光軸向四周發散，光軸落點可視為原始圖像的光中心，此處圖像最清晰畸變最小，在普通倒車影像設計中普遍將光軸落點置于15m左右的影像常用區。光軸落點（圖3）為本文圖像參考系的基準像素點，以此店為原地的坐標系可保證所有像素點畸變最小。

目標物的照高（圖4），項目中多以2m處2m高的參照物為基準，本參數在基本攝像頭標定中自由可調多用來調節占空比，已獲得良好的畫面配比，優化視覺顯示，本文中通過調節本值，保證基于虛擬現實技術的全景泊車系統最后旱現效果為標準俯視圖，客戶有良好的感知。

2.2圖像融合技術及原理

倒車攝像頭的原始和圖像記憶后的圖像是兩個不同制式的圖像，成像效果必然，其光影造成的顯示差異必然導致圖像色差，前一時刻記憶的圖像也和后一時刻的圖像也有部分差異，所以第一步為圖像的校準和拼合。

在車輛設計和標定的過程中，分別選取環境一致的像素區域作為配準區域，由于虛擬圖像和真實圖像必然不同，明暗及扭曲的變形是必然的，為了消除圖像融合的痕跡，本文采用的加權平均值法為圖像融合的傳統方法，該方法實現了在95%以上的選定的重疊區域內真實圖像和記憶虛擬圖像的平滑過渡問題，不會出現帶狀鋸齒，且速度快穩定性高。

在虛擬區內的前一時刻的虛擬圖像，與后一時刻的虛擬圖像的拼接也采用本拼合法。

2.3基于虛擬現實技術的全景泊車系統的方案設計

基于虛擬現實技術的全景泊車系統的硬件架構，主要由后視倒車攝像頭，虛擬現實技術的全景泊車系統主程序（可內置于中控操作系統程序或域控制器內），觸摸顯示屏組成;前視攝像頭為功能擴展模塊，可實現雙攝像頭的圖像拼合;透明底盤為其擴展功能，滿足特殊場景下的泊車需求;虛擬現實技術的全景泊車系統架構圖如圖6：

虛擬現實技術的全景泊車系統的系統架構如圖7所示。在車輛靜止時，進行虛擬圖像和真實圖像的拼合工作;在車輛在合理速度區間運動下，系統以最小信號周期為基本單位，實時進行虛擬圖像融合，并累計記憶，循環往復;當倒車雷達進入30cm的標定紅區時，系統還設計有自動跳轉俯視圖的放大試圖功能，突出車位與障礙物的位置關系;若支持前攝像頭擴展模塊則可從上下兩個方向進行圖像融合工作。

基于虛擬現實技術的全景泊車系統的HMI方案設計如圖8：

3虛擬現實技術的全景泊車系統的算法

3.1攝像頭圖像的俯視效果的轉化

后視視角為優化顯示效果，視角和地面程一定夾角，以滿足正常客戶審美的需求，這樣圖像程由近及遠的縮小效果，如需要將其展開為俯視圖效果，首先要對圖像進行處理，首先根據攝像頭供應商提供的畸變參數組（圖9）進行畫面的擬合，其中K=[k1，k2……kn]，一系列K值代表不同區域的畸變參數，n為需要擬合的最高位置的區域。

這樣處理后得到了真實圖像俯視化處理后的效果（圖10），可以看出本區域是很小的。

3.2圖像拼合的基本算法

本文中快速融合算法采用加權平均值法，其基本原理公式可表示為：假設N、Y為真實圖像和記憶虛擬圖像的像素點，融合圖像P-A可表示為：

其中式中d1、d2代表了其重疊區域寬度代表值，令該式中滿足d1+d2=1，故d1、d2很好的代表了真實圖像和記憶虛擬圖像中單個像素點的權重值。在圖像拼接融合的過程中，對于遠端視覺不可見場景，d1漸變至0，d2漸變至1，通過加權平均值法完成了真實圖像和記憶虛擬圖像在選定配準區域內平滑過渡問題。

本方法在圖像完成基本的變形后，即刻完成圖像的拼合工作，本步驟完成后雖然在直觀圖像上呈現平滑過渡，但在具有參照物的情況下會有錯位現象，故后續將對拼合圖像進行校正。

3.2真實的俯視圖像與虛擬圖像的矯正

在開始下一步計算和圖像拼合前，需要對真實的俯視圖像與虛擬圖像區域進行標定和對中，否則會出現圖像的錯位缺陷。現在設有真實的俯視圖像參考矩陣為N，R為虛擬圖像參考矩陣，T為平移向量，xc和YG表示光軸落點的圖像坐標，廠為攝像頭焦距，dx、dy為單個像素的成像大小，那么可以有公式組：

提取除光軸落點外的其他參考坐標點，其坐標為（Xn，yn），其中n為重要參考點總數，本文工程應用中多采用真實的俯視圖像邊沿像素點為參考點。則相鄰的兩個像素點間的的距離為：

4虛擬現實技術的全景泊車系統的應用

4.1實際應用過程中的圖像轉換及融合

本文中關于虛擬現實技術的仝景泊車系統在真實場景下的轉化及融合過程是這樣呈現的，在車輛掛人R擋（擴展有前視攝像頭系統掛入D擋前7s）車速在0-11km/h內滿足要求的條件下，系統自動開肩運行。

系統運行過程中，原始真實圖像會旱現在真實可視區供駕駛員查看;原始圖像僅做變換處理的圖像會顯示在虛擬全景俯視圖區域的真實圖像區。變化后的效果如圖所示，拿標準矩形物體來說，圖像已由常規視角的梯形圖像，變為俯視視角的矩形顯示效果，如圖13：

經過本文中方法的變換，已將正常的后視視角變化為俯視視角，且均符合正常人觀察的審美。

后在對真實虛擬的圖像進行拼合及矯正，最終效果如圖14所示：

在圖像拼合及矯正后，可見雖然仔細觀察可以看到虛擬圖像和真實圖像的分界線，但其完全對正無錯位，呈像效果較一致，滿足設計要求。

4.2滿足客戶需求的系統工作流程

本虛擬現實技術的全景泊車系統在車速等于0時，即開始虛擬圖像和真實圖像的拼合工作;在車速0-11km/h內，系統以信號周期50ms為基本時間單位，進行t時刻和下一周期t+1時刻的虛擬圖像融合，并累計記憶，直至下一周期t+2時刻再與t+1時刻的虛擬圖像融合;但倒車雷達進入30cm的標定紅區時，系統自動跳轉俯視圖的放大試圖，突出車位與障礙物的位置關系;下圖測試中本文分別采用單攝像頭方案，及支持前攝像頭擴展模塊則可從上下兩個方向進行圖像融合工作的雙攝像頭方案進行了測試。

最終產生的標準融合俯視圖及放大融合俯視圖如下圖15、圖16：

按本流程開發的系統，已可以正常呈現全景影像的效果，從標準視圖及放大圖看和傳統全景影像兩者差異不大。

4.3系統的測試和驗證

使用虛擬現實技術的全景泊車系統，進行各個角度的泊車測試，經過測試，無論駕駛員如何操作，均能完成虛擬俯視圖像的重構，如圖17：

重構圖像精度與傳統360系統差別不大。

使用虛擬現實技術的全景泊車系統，進行精確標定后，對其距離準確性進行測試，誤差在2cm內，和普通倒車影像相當;且本為虛擬圖像的誤差，可以看到后保下方盲區，保證駕駛安全，如圖18：

經過某高端SUV車型的階段功能驗證將車輛HMI界面與底線重合，可知：

使用本方案可將車輛后保下盲區由30cm左右縮減至5cm內，若使得本車圖像透明化，新的透明底盤功能甚至可以完全消除盲區。

使用虛擬現實技術的全景泊車系統，對側面障礙物進行檢測，檢測方法如圖19所示：

最后測試結果顯示，如圖20，系統能有效的提醒車輛側面1.5m內的障礙物，提高了駕駛安全的保證。

經過某高端SuV車型的階段功能驗證探測區域的驗證情況可知：

通過對本系統測試表明，虛擬現實技術的全景泊車系統不僅能在僅使用單個或兩個攝像頭的情況下完成通常需要4個攝像頭才能完成的全景泊車，極大的降低了成本，效果令人滿意。而且還能實現常規全景系統無法完成的，保險杠下盲區探測及放大視圖切換能力，一舉多得。

5虛擬現實技術的擴展和引申

5.1雙攝像頭虛擬現實技術的全景泊車系統

虛擬現實技術的全景泊車系統可以擴展至雙攝像，實現前方視圖的顯示，及更大范圍的圖像拼合如圖21：

5.2虛擬底盤技術的應用

在使用虛擬現實技術的全景泊車系統，界面插入一個控制開關，使得車輛貼圖半透明化實現透明底盤功能。

透明底盤可以方便駕駛員識別車輛下方的井蓋等障礙物方便客戶泊車，結果如圖22：

利用本虛擬現實技術的全景泊車系統可在0成本增加的情況下，實現透明底盤功能，輔助駕駛員泊車安全，使得車輛更有競爭力。

5.3虛擬倒車雷達及側方障礙物提醒

倒車雷達目前較為成熟，但基本探測區呈扇形，其側后方會呈現一定的盲區。若使用虛擬現實技術，在按本文中同樣的計算方法，計算出障礙物距離，使用本文3.3中技術方案，計算虛擬障礙物的距離，及時障礙物脫離雷達探測區也能給駕駛員警示。

障礙物目標如下圖23，進入脫離探測區后進入虛擬目標區，可以擴展約1m的探測范圍。

虛擬探測區還能進一步擴展，直至將車輛四周完全無死角覆蓋，形成新的側方障礙物提醒功能，如圖24：

側方障礙物提醒功能能有效提醒側方障礙物，防止車輛運動或車門開啟時對車門的損傷。

6結論

不忘初心，奮勇前行，本論文從基本的倒車攝像頭原理出發，闡釋了圖像成像的原理和方法;并利用圖像的拼合原理及車輛軌跡計算的方式，研究并實現了單攝像頭實現全景泊車的虛擬現實技術，將車輛后保下盲區由30cm左右縮減至5cm內;并將其算法，擴展至AAS倒車雷達及透明底盤功能;其中利用虛擬技術的AAS系統可將探測區域擴展至車輛四周。虛擬技術及車輛的軌跡算法領域擴展了新的思路，為今后車企成本控制，功能性能提升，自主開發的算法積累打下了基礎。