一種汽車全景環視影像勻色方法

謝紹川

（同致電子科技（廈門）有限公司 福建省廈門市 361000）

1 引言

汽車全景環視影像，英文全稱為Around View Monitor，簡稱為AVM系統。AVM系統首次是在日本誕生，由多家車企（例如馬自達車企、日產車企）和電子公司（例如松下電工、三洋電機）合作研發并應用在汽車上。AVM系統一般是在汽車低速（根據需求設置速度范圍，正常取0～15km/h）時，通過汽車四周（前后左右）安裝的四路魚眼攝像頭實時采集視頻幀，然后根據事先的標定矩陣，對四路視頻幀進行透視變換、無縫融合等圖像處理，最終拼接出完整的車身周圍360度全景鳥瞰實時視頻，并顯示到中控顯示屏幕上[1]。目前伴隨市面上汽車保有量日漸增多，駕駛道路擁擠、停車難度大等問題日漸突出，可輔助駕駛員實時觀測車身全景的AVM系統受到廣大消費者的歡迎，為眾多新手駕駛員帶來福音。

對于實時采集視頻的四路攝像頭而言，受場景和光照等因素影響，采集得到的四路視頻幀難免會在色彩上存在一定的差異，故在對四路視頻幀進行融合之前，需要做四路視頻幀間的色彩一致性校正（也稱勻色處理），從而保證融合后全景影像的平滑過度。目前對于勻色處理的研究，主要使用的方法有直方圖匹配法、線性變換法和基于統計量法，其中基于統計量法因其不需過于復雜繁瑣的計算，很適合應用到嵌入式的汽車電子上。

基于統計量法中有一個經典的算法：Wallis 濾波器[2][3]，很多學者都在這一方面進行深度研究[4][5]，且取得了不錯的勻色效果。將該算法應用到AVM系統存在一個問題：不存在目標基準影像。針對此問題，本文提出了一種基于YUV色度空間色偏估計方法，根據色偏估計結果，由無色偏的視頻幀組成基準影像庫，然后進一步采用基于YUV色度空間的Wallis濾波器，完成勻色處理，取得了不錯的效果。

2 汽車全景環視影像介紹

如圖1所示，詳細剖析了AVM系統的組成框架，一般而言，該系統主要由四路魚眼攝像頭組成，分別安裝在車身前保險杠、左后視鏡、右后視鏡及后備箱位置，各攝像頭獨立工作實時采集視頻幀，并傳輸到AVM主機，再通過嵌入式圖像相關技術處理，合成出實時全景影像顯示到中控顯示屏上，方便駕駛員無盲點地觀察車身狀態和路況。由此可見，AVM系統為擁擠路況、復雜泊車駕駛提供了很好的輔助作用。

如圖2所示，簡明概要地介紹了AVM系統框架，系統主要由CPU和GPU兩部分組成：

（1）CPU（Host）負責整個YUV視頻流的通道邏輯，將采集到的四路視頻幀送入GPU（Device）端，并再從GPU獲取融合拼接后的視頻幀，顯示到中控顯示屏上；

圖1：AVM組成框架

（2）CPU（Device）承載了整個AVM系統的圖像處理部分，結合汽車事先標定的變換矩陣，對四路視頻幀進行拼接區域截取、透視變換，然后進行勻色勻光處理，最后帶入汽車事先標定的拼接矩陣完成無縫融合，得到全景影像視頻。

本文介紹的勻色方法就是圖2“勻色勻光處理”中的一部分，處理過程完全是基于YUV色度空間。

3 基于YUV色度空間的勻色方法

3.1 視頻幀色彩差異

對于AVM系統的四路獨立魚眼攝像頭，它們實時拍攝的場景是千變萬化的，由此帶來的色彩是難以時時刻刻保持完全一樣[6]。雖然目前攝像頭都自帶自動白平衡的功能，但汽車車身是一個大體積物體，車身結構也較為復雜，各角度的自然光變化、攝像頭拍攝角度的差異及拍攝場景的復雜性都可能導致自動白平衡出錯，進而造成四路視頻幀色調存在差異。造成視頻幀色彩差異的原因可主要歸納為以下幾種情況：

其中，E1代表晝間向陽面和陰影面光照差異帶來的色彩不一致，不同光照條件下，路面反射的光譜特性會有所不同；E2代表夜間各種路燈和各種車燈等不同色溫光源帶來的色彩不一致；E3代表實際路況中不同成像場景帶來的色彩不一致，例如路邊大面積綠植。

由于AVM系統的全景影像來自于四路視頻幀拼接而成，上述情況存在的色彩不一致如果沒有得到很好的修正，最終的全景影像就會存在色彩跳躍明顯，過渡頓挫感強的問題。為了呈現較好的效果，勻色處理至關重要，經過較為妥當的勻色處理之后，全景影像所包含的四路視頻幀擁有相近的圖像色彩屬性，進而讓影像更符合人眼實際所見的視覺效果。

表1：勻色結果效果統計

圖2：AVM系統框架

3.2 基于YUV色度空間的色偏估計

對四路視頻幀進行勻色處理之前，為避免一些無用的步驟，并為下一步的處理做準備，需要首先進行色偏視頻幀的檢測。通常所用的色偏檢測算法有很多種，歸結起來主要是：Gray-world算法[7]、White-patch算法[8]以及基于Lab色度空間的檢測方法[9]。Grayworld算法和White-patch算法的前提都是對圖像進行一定程度的假設，因此假如場景超出假設范圍，錯誤的檢測結果就在所難免，而基于Lab色度空間的檢測方法以顏色的分布情況作為考量，充分利用顏色的矢量相關性，因此較不受限于場景。本文借鑒基于Lab色度空間的色偏檢測算法，提出了基于YUV色度空間的色偏檢測算法：從YUV視頻幀中分離出色度分量U、V，然后繪制二維色度直方圖f(u,v)進行分析：

圖3：正常視頻幀與色偏視頻幀的二維色度直方圖

（1）假如視頻幀無色偏，二維色度直方圖只會存在單峰值或者不存在峰值，且如果存在單峰值，該峰值的位置距離中性軸位置（中性軸是u=128，v=128）很近；

（2）假如視頻幀存在色偏，二維色度直方圖的峰值數量較多，且分布分散較為分散，比較大的峰值位置距離中性軸位置都比較遠。

如圖3所示，對視頻幀進行拼接區域的截取，然后繪制二維色度直方圖，視頻幀的色偏程度與峰值位置距離中性軸位置的值大小正相關，即峰值位置距離中性軸位置越遠，色偏的程度越大，反之則色偏程度越小。

基于YUV色度空間的色偏估計可用等價圓進行量化分析，如以下公式所示：

公式中，f(u,v)代表了二維色度直方圖，而k為色度分量u或v，μk代表對u軸或v軸的積分。最終等價圓的圓心C和半徑σ可以表示為：

由公式（3）所示，可以得到等價圓到軸心的距離以及視頻幀的色偏程度：

其中，μ代表等價圓圓心到中性軸軸心的距離，D代表等價圓和中性軸軸心之間的距離，Dq代表等價圓和中性軸軸心偏離的程度，Dq值越大則兩者的偏離程度越大。取一定的閾值，判斷D和Dq與閾值間的大小關系，就可以判定出視頻幀是否色偏。

3.3 經典Wallis勻色處理

Wallis勻色處理實際上相當于使用一個Wallis濾波器進行線性變換：先選定基準影像做為調整的目標，然后分別統計待校正影像和基準影像各自像素值的均值和標準差，最后通過Wallis濾波器，將待校正影像的統計值映射到與基準影像近似相等，如此，便完成了勻色處理。Wallis濾波器的變換公式為：

公式（5）中，f(x,y)代表經過Wallis濾波器處理后影像在(x,y)處的像素值，g(x,y)代表待校正影像在(x,y)處的像素值，r1和r0則分別是濾波器中的乘性和加性系數，它們分別為：

公式（6）中，mg和Sg分別代表了待校正影像的像素值均值和標準差，而mf和Sf則分別代表基準影像的像素值均值和標準差，另外的c和b分別是像素值標準差和像素值均值的擴展常數，它們的取值范圍都是[0,1]。經典的Wallis濾波器取c=1，b=1，所以公式（5）可以寫為：

公式（7）就是經典的Wallis濾波器，當待校正影像和基準影像的像素值均值和標準差一樣時，濾波器的變換將不會對待校正影像產生任何的改變。

3.4 勻色方法實現原理

如圖4所示，把經典的Wallis濾波器應用到YUV色度空間中，結合基于YUV色度空間的色偏估計，實現汽車全景影像勻色處理。處理的過程如下：

（1）基于YUV色度空間的色偏估計，建立基準影像庫：

1.接收到四路YUV的視頻幀；

2.根據汽車事先標定的變換矩陣，對輸入的四路YUV視頻幀分別做拼接區域的截取；

3.對截取拼接區域后的四路視頻幀分別繪制UV二維色度直方圖；

4.根據3-4的公式計算視頻幀色偏程度，小于閾值就判定為無色偏，計入基準影像庫；

圖4：基于YUV色度空間的勻色處理

圖5：試驗1—四路視頻幀及勻色處理前后的全景影像

圖6：試驗2—四路視頻幀及勻色處理前后的全景影像

5.集合所有無色偏的視頻幀，建立基準影像庫。

（2）基于YUV色度空間的勻色處理，完成四路色彩一致性的校正：

1.判斷基準影像庫中的視頻幀數，存在視頻幀才進行勻色處理；

2.統計基準影像庫中所有視頻幀合起來的U、V標準差和均值，做為Wallis濾波器的基準目標值；

3.分別統計四路視頻幀的U、V標準差和均值；

4.在U、V色度上分別應用Wallis濾波器，根據3-7的公式完成四路視頻幀勻色處理。

4 試驗結果及分析

圖7：試驗3—四路視頻幀及勻色處理前后的全景影像

4.1 試驗結果主觀評價

本文選取了三組典型色彩不一致的四路視頻幀進行試驗，通過圖5～7可以明顯看出經過勻色處理后的全景影像明顯解決了四路色彩不一致的問題。

4.2 客觀量化評價

勻色處理能夠讓全景影像的整體色調過渡變得均勻，所以本文對經過勻色處理和沒有經過勻色處理的全景影像做U、V色度空間的標準差和均值統計，做為客觀量化評價指標，標準差越低，則影像的色調過渡越均勻，均值越接近中性值128，則影像的色偏程度越低。如表1所示，三個試驗均可以看出，勻色處理后全景影像的色彩明顯比勻色處理前的更趨于一致，與主觀效果評價結果相符。

5 結束語

本文結合Wallis濾波器的特點，提出以基于YUV色度空間的色偏估計為判斷方法，建立基準影像庫，再應用Wallis濾波器到YUV色度空間中，完成勻色處理。經過多組試驗，證明該方法有效地解決了汽車全景環視影像的色彩過渡不均勻問題，同時，基于YUV色度空間契合了汽車嵌入式電子中視頻幀的色彩制式，在實際應用中能夠省略不必要的色彩空間轉換步驟。