一種車載多模式全景融合拼接算法

劉 暢,徐美華,郭愛英

(1.上海大學機電工程與自動化學院,上海200444;2.上海大學新型顯示與系統集成教育部重點實驗室,上海200444)

近年來,隨著計算機視覺的發展,全景圖像被廣泛應用于醫學成像技術、遙感圖像技術、虛擬現實世界和車載安全等方面[1].在車載安全方面,全景輔助駕駛系統彌補了駕駛員視覺上存在盲區的不足,市場上也出現了很多全景泊車系統.然而,全景輔助系統仍然面臨諸多問題:如何給駕駛員提供方便、全面的視角,拼接圖像的質量如何,有無拼接縫和鬼影,拼接速度的快慢等.

在全景拼接算法的發展過程中,學者們的主要是針對拼接算法的運算速度和準確性、構建全景圖的視角這兩方面進行改進.在構建全景圖的設計上,Brown等[2]提出了利用透視變換來自動化拼接的方法,此方法是基于Lowe[3-4]提出的尺度不變特征變換(scale-invariant feature transform,SIFT)特征點來完成拼接,該方法提供了完成的全景拼接方案,但是需要大量圖像進行匹配,耗時較長;2008年,Bay等[5]提出了加速穩健特征(speeded up robust features,SURF)算法,這是上述SIFT算法的改進算法,計算速度得到提升,為算法在實時性系統中的應用打下了基礎;Joo等[6]則是基于上述SURF特征點,將待拼接圖像分為數組柵格,每組柵格給予近處的特征點更高的權重,并進行一次拼接矩陣的運算,提高了拼接算法的準確性.在視角的呈現上,改進方法主要有柱面投影、球面投影以及3D全景模型.李曉輝等[7]使用球面投影的方法完成了25張圖像的拼接,然而球面投影上直線的彎曲度太大,對駕駛員有一定誤導性;劉冬等[8]對多個視角進行了曲面建模,實現的3D車載環視全景圖更符合人的直觀感受,但是其對于高于地面的物體存在較為嚴重的拉伸形變;楊剛等[9]基于參考點的匹配實現了俯視圖的拼接,由于每一幀圖像不需要重復計算匹配矩陣,故該方法拼接速度較快,方便泊車,但是不適用于呈現更廣的視角.

基于上述討論,通過對柱面投影模型和俯視圖模型的研究和整合,本工作提出了2種模式自動切換的全景拼接方案.根據相鄰幀之間的特征點位置關系判斷行車方向.如果為前進狀態,則判斷為行車過程,系統自動切換為柱面投影模型,給駕駛員提供廣闊的視角;如果為后退狀態,則判斷為倒車過程,系統切換為俯視圖模型,準確呈現地面障礙物以及車道線等信息.另外,將柱面投影的運算速度和拼接效果進行優化,使算法可運用到實時視頻拼接中.

1 相關理論

全景拼接算法的框圖如圖1所示.輸入圖像首先需要進行畸變校正,去除魚眼攝像頭的徑向畸變;然后采用柱面投影和透視變換2種方法對畸變后的圖像進行視角變換;將得到的圖像進行SURF特征點提取和配準,就得到初步的拼接全景圖;最后,對重疊區域進行圖像融合,就可得到無拼接縫后的完整全景圖.

圖1 全景拼接算法框圖Fig.1 Panoramic stitching algorithm frame

1.1 柱面投影模型

在圖像拼接過程中,如果直接對具有一定角度拍攝的圖像序列進行拼接,則會破壞實際景物的結構特征[10].為了解決這一問題,需要對原始圖像進行柱面投影.柱面投影是將空間看作一個圓柱體,將圖像投影到柱面坐標系下.柱面全景圖去除了上方和下方2個部分,在水平360?方向為用戶提供環形視覺[11].柱面投影效果如圖2所示.

圖2 柱面投影示意圖Fig.2 Cylindrical projection diagram

對于投影后的圖像上任意一點Q(x1,y1),反變換到原圖上為P(x,y),焦距f的計算公式為

式中:θ為相機的水平視角,是由環繞一周的圖像數量和重合度決定的.將坐標原點移動到圖像中心點后,2個對應點變為.由圖2可得P′的坐標為

根據式(2)可得原圖和投影圖之間點的對應關系,對于給定焦距f可以生成相應的柱面投影圖.

1.2 透視變換模型

對攝像機獲取的斜投影圖像進行2次投影變換得到垂直視角投影圖像,所用的方法為透視變換[12].透視變換的效果如圖3所示.

圖3 透視變換示意圖Fig.3 Perspective projection diagram

對于原圖像上的一點(x,y),投影后的圖像上與之相對應的像素點為(x′,y′).2個點之間存在單應性關系,而這種單應性關系可以表示為

由于單應性矩陣H存在8個自由變量,因此需要至少4組方程才能有解.而每組對應點可以得到2組方程,故需要至少4組對應點才能找到H的解,且4個點中任意3個不能在同一條直線上.對于每組對應點,式(3)可以化簡為

將4對點坐標組合,可得

式中:A為8×8的可逆矩陣.根據上述關系,可以求出h即為單應性矩陣H.

1.3 基于特征點的圖像拼接

在圖像拼接部分,選取較快的SURF特征點進行圖像拼接,并采用隨機抽樣一致(random sample consensus,RANSAC)算法[13]去除其中的誤匹配.在已經配準的特征點中,令x=[x y]T和x′=[x′y′]T為相鄰2幅圖像I和I′的特征點對.在實際拼接過程中,特征點對的匹配關系可用透視變換的模型來表示.根據式(3)的單應性可知:

式中:rj為單應性矩陣H的第j行變量.將1組帶有噪聲的特征點代入上述公式,并將其線性化的方法定義為數字線性磁帶(digital linear tape,DLT)技術[14].由03×1=n′×Hn可得

式中:n=[xT1]T.令ai為式(7)中的LHS矩陣的前2行,第i組數據的誤差可以表示為‖aih‖.DLT方法最小化所有組數據誤差的平方和,即

將ai組合為矩陣A∈R2N×9,式(8)可以表示為

將矩陣A用奇異值分解(singular value decomposition,SVD)方法進行分解,h的最優解為最小特征值的特征向量.將h重構為單應性矩陣H,并將H作用于原圖,就可得到拼接后的圖像.

2 多模式全景拼接算法

多模式的全景拼接方案結合了柱面拼接和俯視圖拼接這2種方法的優點,旨在根據車輛的行駛狀況的不同選擇合適的全景圖像的呈現方法,給駕駛員提供更好的視角選擇.多模式全景拼接算法具體的實現框圖如圖4所示.

圖4 多模式全景拼接算法框圖Fig.4 Frame of multi-mode panoramic stitching algorithm

2.1 畸變校正

圖像的獲取是通過4路魚眼攝像頭來實現的,2種模式下都需要對魚眼攝像頭進行畸變校正.畸變校正采用9×7大小的棋盤來進行的.棋盤網格的角點檢測[15]結果如圖5所示.

圖5 角點檢測結果Fig.5 Result of corner detection

根據文獻[16]中的張正友標定法可以知道,圖像坐標系下的坐標與世界坐標系下的坐標有如下關系:

式中:A為相機的內參數;[R t]為相機外參數;m和M分別表示為圖像坐標系和世界坐標系下的坐標;s為一個尺度因子.根據式(10),可以計算出相機的內外參數矩陣的初值.然后利用L-M算法[17]估計出最大似然參數,此步驟的目的是消除噪聲點.當計算出內外參數矩陣后就可以根據畸變模型的公式計算出畸變參數,完成畸變校正:

2.2 基于特征點的行車方向判斷

根據相鄰2幀圖像的特征點的對比,可以判斷出車輛的行駛方向.特征點的檢測時間較長,如果每一幀都進行特征點的計算與匹配,則會影響拼接算法的實時性,因此每相隔30 s進行一次特征提取.提取到的特征點一方面用于此處車輛行駛方向的判斷,另一方面用于下面的特征匹配.

相鄰2幀圖像之間有重疊區域,根據式(3)可知存在單應性矩陣.將單應性矩陣分解可以得到

式中:HS表示圖像的旋轉平移;HA為一個上三角矩陣;HP表示圖像形變.在HS中R為旋轉量;t為平移量.因此H矩陣中的t即為圖像之間的平移狀況.由于圖像噪聲可能會導致2幀之間存在平移量,故根據實際車速分別計算出前進與后退狀態下的判斷閾值α、β.令tT=[x y],以小車右邊攝像機所拍圖像為參考,根據式(12)可判斷出行車方向:

將小車右邊攝像機所拍攝的校正后的圖像進行對比判斷.判斷出行車方向后,就對舵機發出控制信號.如果是前進方向,則讓舵機與水平面平行;如果是后退方向,則讓舵機向下與水平面呈45?夾角.

2.3 視角變換

根據小車的行駛方向進行相應的視角變換.前進時,為了給駕駛員提供更廣闊的視角,采用柱面拼接的方法;倒車時,為了給駕駛員提供地面障礙物及停車線信息,采用透視變換的方法.在拼接前,先根據上述柱面投影和透視變換的方法計算出變換后的特征點與變換前的對應矩陣;而在拼接過程中,只需要根據對應矩陣就可以找到原圖上對應點的坐標,這種方法可以提升相鄰幀的運算速度,提高實時性.通常,得到的坐標并非整數,因此使用雙線性插值法計算該點的像素值.透視變換和柱面投影結果分別如圖6、7所示.

圖6 透視變換結果Fig.6 Results of perspective transformation

圖7 柱面投影效果Fig.7 Results of cylindrical transformation

2.4 特征匹配

觀察相鄰2幀圖像,可以看出2幀圖像的對應點集中在重疊區域所在的半邊,說明相鄰2幀圖像的特征提取和匹配主要在半邊的圖像進行,這樣可以縮短拼接所需時間.特征點提取與匹配如圖8所示.

圖8 特征點匹配結果Fig.8 Result of features matching

根據上述DLT算法,可以求出2幀圖像的單應性矩陣,然而如果根據單應性矩陣將整幅圖像變換到另一幀圖像上,則會導致變換后的圖像出現重疊區域與非重疊區域比例不一致的情況.文獻[18]將圖像分成不同區域進行處理.簡化后的上述方法可用于拼接效果的優化.簡化方法為:對于靠近重疊區域的三分之一采用單應性矩陣H的變換方法,對于遠離重疊區域的三分之一采用相似變換,中間區域則采用二者過渡的變換矩陣.具體實現過程:①根據H計算左邊三分之一部分各行像素點的位移情況Δx1;②根據相似變換計算右邊三分之一,得到每行的位移情況Δx2;③中間三分之一部分各行的位移量是根據Δx1和Δx2加權計算所得,即Δx3=w1Δx1+w2Δx2.由此,可以得到拼接效果更好的全景圖像,2種方法的對比如圖9、10所示.

圖9 根據H矩陣拼接結果Fig.9 Stitching result according to H

圖10 改進算法拼接結果Fig.10 Stitching result of optimized method

由圖9和10對比可以看出,算法呈現出更好的視角,避免了遠離重疊區域一端圖像的拉伸情況.另外,針對特征檢測時間較長的問題,采取間隔提取特征點的方法,即每隔30 s進行一次特征點的提取,并對單應性矩陣進行修正,這樣可在保證準確性的同時提高算法的實時性.

2.5 圖像融合

不同圖像由于存在顏色亮度差異會出現明顯接縫,需要進行融合處理[19].加權平均融合算法類似于直接求平均的算法,但是其在重疊區域不是將像素值進行簡單疊加,而是先進行權值運算再疊加求平均,這樣可用于圖像融合.設I為融合后的圖像,I1和I2分別表示為參考圖像和待拼接圖像,則圖像I在(x,y)處的像素值為

式中:w1+w2=1.不加入融合算法和加入融合算法的對比如圖11所示.

圖11 不加入和加入融合算法對比圖Fig.11 Comparison images of without and with fusion algorithm

圖11(a)中沒有加入融合算法,可以看出明顯的拼接縫,而(b)中使用融合算法,拼接縫被修正,效果良好.

3 實驗結果

為了驗證多模式算法,本實驗室自行開發了一套多模式車載全景拼接系統(見圖12).本系統主要包含小車模型、四路魚眼攝像頭、舵機控制板和PC機等.輸入設備為四路魚眼攝像頭,每一個攝像頭輸入圖像尺寸為640×480(像素).算法處理使用的PC機配置如下:Inter Core i5-7300HQ@2.50 GHz;8 G內存.配置的運行環境為Visual Studio 2017平臺上基于Opencv3.3,使用C++語言編程實現本算法.實驗平臺如圖12所示.

實驗中,小車前進時系統自動切換為行車模式,舵機自動調整角度,與水平面平行,拼接輸出的全景圖如圖13所示.

從圖13可以看出,柱面投影將攝像頭按照后—左—前—右—后的順序拼接成為一幅完整的全景圖,且每幀圖像都較好地保留了原圖的視角,相鄰圖像之間的拼接縫也被處理好了;僅在攝像頭近處存在一些視角盲區,這是由于魚眼相機的視角所限制的.

圖12 實驗平臺示意圖Fig.12 Experimental platform diagram

圖13 行車模式全景拼接圖Fig.13 Panoramic stitching image of forward-mode

小車后退時系統自動切換為倒車模式,舵機自動調整角度,與水平面呈45?夾角,方向向下.拼接輸出的全景圖如圖14所示.

圖14 倒車模式全景拼接圖Fig.14 Panoramic stitching image of backward-mode

圖14的中心區域用實驗用車的圖像模擬車身位置,完整呈現了車身周圍的俯視圖在圖像邊緣的模糊部分,是由于攝像頭畸變校正所得的圖像邊緣像素點較少.

在實驗中,選取3組柱面拼接所需時間的數據(見表1);選取3組俯視圖拼接所需時間的數據(見表2).

由于柱面投影中最左邊和最右邊2幀圖像都是車背面攝像頭所獲圖像,即柱面投影是將5幀圖像拼接在一起的,因此其圖像配準的時間相比俯視圖模式要更長.總之,拼接的時間可以滿足實時性的要求.經典柱面投影算法運算與改進算法性能比較如表3所示.

表1 行車模式全景拼接所需時間Table 1 Time cost on forward-mode stitching

表2 倒車模式全景拼接所需時間Table 2 Time cost on backward-mode stitching

表3 經典柱面投影算法與改進算法性能比較Table 3 Performance comparison of classical cylindrical projection and improved algorithm

根據柱面投影模型中投影后的點和投影前的點之間存在的對應關系,可以計算出投影后的圖像上每一點與投影前圖像上對應點的位置關系,其中超出原圖范圍的點不予考慮.以上述對應點的位移量建立起與圖像像素數目一致的位移矩陣,根據此矩陣就可以找到原圖上對應點的位置,并利用雙線性插值法得到柱面投影圖.此步驟僅在初始化過程中進行,而在拼接過程中不需要重復計算,這就加快了這部分算法的實現速度,增強了算法的實時性.

從實驗結果來看,拼接圖完整地呈現了2種視角下的全景圖像,為駕駛員提供了更豐富的路況信息.同時,算法所用的總體時間也滿足了實時性的要求,方便駕駛員及時做出調整.

4 結束語

通過對全景視角的優化問題進行研究,本工作提出了一種多模式的全景融合拼接算法.該算法針對全景駕駛輔助系統在視角上無法完整提供駕駛員所需視角的問題,將柱面投影和透視變換下的俯視圖模型結合在一起,并根據實際行車狀況,選擇合適的模型進行全景拼接.另外,對傳統的基于一個單應性矩陣的拼接做出改進,優化了柱面投影下的全景圖的呈現效果.經過實驗證明,該算法也可以滿足駕駛輔助算法的實時性要求,具有一定的實際應用價值.未來工作中將繼續研究拼接圖像之間的精確匹配,消除由一個單應性矩陣映射所帶來的鬼影現象,同時還需要進一步提高算法的速度和魯棒性.