山區高速公路隧道出入口視覺融合技術研究

馬慶祿,馬 戀,王江華,孔國英

(1.重慶交通大學交通運輸學院,重慶 400074；2.山區復雜道路環境“人-車-路”協同與安全重慶市重點實驗室,重慶 400074；3.重慶奉建高速公路有限公司,重慶 401120)

1 引 言

隨著山區地形復雜公路的增加,山區橋隧的數量也在增加。2020年年末全國公路隧道21316處,比上一年增加2249處,其中特長隧道1394處,長隧道5541處。隧道口內外光照強度差異大使駕駛員在駛入隧道中由于強弱參照系的反差,往往是發生交通事故的主要原因。針對隧道口區域,單一的傳感器在外界復雜道路條件下無法克服空間分辨率的問題,減少駕駛員由于視覺沖擊帶來的視覺負荷,對入口交通改善措施進行研究是隧道安全工作的重中之重。

目前隧道入口交通安全改善主要集中在改變照明方式,J.L.Xu等[1]使用UC-Win/Road仿真軟件,建立了12個不同長度的隧道模型,在隧道入口前250 m和出口前50 m,駕駛員的心率(HR)波動顯著；在隧道出口,HR受隧道長度的影響較大且變化越大。D.H.Qi等[2]為了使道路隧道能源系統更具可持續性和彈性,在隧道的出入口安裝半透明光伏(STPV)頂棚。H.Lu等[3]為減少隧道出入口段造成的交通事故數量,提出了合理的隧道出入口段限速值,以提高隧道出入口段車輛行駛的安全性。L.Wang等[4]介紹了一種以機器視覺為基礎的根據夜間行駛車輛的燈光效應生成的報警系統,一旦發現風險,系統會及時發出警告信號。A.Nowosielski等[5]用于目標識別的夜視系統使用Ubuntu MATE操作系統下的專有ODROID XU4微型計算機處理熱圖像,擴展了人類視覺的能力,支持安全出行。U.Lee等[6]在不同的天氣條件下為自動駕駛汽車配備傳感器融合算法,該算法被應用于無人駕駛汽車EureCar(KAIST)。H.Chen[7]廣泛使用的駕駛錄像機(DVRs)作為具有高移動性的分布式傳感器進行道路異常的普適感知。Z.F.Zhang等[8]介紹了一種用于夜間安全駕駛的帶自動控制燈的主動近紅外攝像系統。對捕獲的目標紅外圖像進行圖像分割和圖像形態學處理,提高了司機的判斷準確性。在低光和高動態范圍性能條件下,為了解決低照度下的照明條件的挑戰,M.Gehrig等[9]提出了一個新的數據集(DSEC)。D.Hafner和J.Weickert[10]將輸出圖像定義為輸入圖像的凸組合,利用局部響應和非線性響應等對比度增強方法,然后進行曝光融合、多光譜成像和脫色實現定制圖像融合。周正康[11]提出利用隧道傳感器指揮調度隧道信號燈,利用數據輸入和輸出動態控制隧道進出口區域的信息交流,但是隧道全天候照明不免會造成能源浪費；王向等[12]在采用減光設施,在隧道入口采取非主動的措施實現強弱參照系合理過渡的視覺體驗；梅家林等[13]指出提升交通安全水平可通過在隧道入口區域利用平衡空間路權、駕駛員的心理狀態和道路行駛要求等策略；黃婷等[14]從駕駛員的視認距離出發,對比了環形和矩形標記的特點,提出環形立面比矩形有更高的辨識度,視認距離更有保障；陳柳曉等[15]為了保障駕駛員的行車安全,對比分析了3種不同顏色(綠色、黃色、紅色)景觀設計,實驗結論是隨著間隔減小,黃色設計減速效果明顯；杜志剛等[16]為提高駕駛員的曲率感知能力在隧道曲線段設置了多個可見反光環；吳玲等[17]將減速標線的形狀設計成魚刺形和樹池性減速標線應用于隧道入口段和出口段,并通過設置參數對模型計算。

針對單一傳感器圖像存在的信息不足,相較于多源傳感器獲得目標的局限性和差異性,本文提出基于卷積稀疏表示(convolution sparse representation,CSR)和局部能量特征處理的紅外與可見光融合研究對隧道出入口視覺信息互補。

2 低照度下隧道口分析

2.1 隧道出入口特性

山區隧道出入口具有封閉、明暗對比度差,一旦發生交通事故存在空間狹小,救援困難的缺點。駕駛員根據接收到的信號由各感官的提供,視覺信息占比在70 %～80 %之間[18]。山體隧道在現行隧道在速度行駛、行車安全等方面與普通公路隧道有許多差異,如圖(1)所示,光照強度隨著季節變化,時間段的區別、環境的變化對駕駛員影響不同。

在隧道內駕駛員隨著自然光照與隧道光源影響,隧道出入口段注視點的位置和次數捕捉信息能力降低,撞擊側墻、追尾成為事故發生的主要原因。對于貨運車輛,此階段貨運司機獲取交通信息變得更加復雜多變。隧道交通安全設施改善中,也存在現有標志標線、彩色涂裝生命周期短,因此本文旨在關注人因(Human factor)以減少人的失誤(Human error)為主,駕駛員根據視覺信息有效調控駕駛員在隧道出入口,減少因光線過渡原因誘發,能夠有效地完成車輛控制。

2.2 非下采樣Contourlet變換

為提高隧道可見光所呈現的視覺信息和增強紅外像素暗處細節,下面通過與原始可見光圖像融合進一步提高增強圖像中的多傳感器信息。Cunha在2005年提出了非下采樣Contourlet變換(NSCT)具有很好的平移不變性和方向選擇性,多分辨率效果明顯。相較于Contourlet變換已有良好的空域和頻域局部特征,NSCT避免圖像退化過程中信息量的丟失。

NSP的低通分解濾波器H0(z)和高通分解濾波器H1(z)將圖像分為低頻子帶和高頻子帶,采用分離的高頻子帶作為細節層,低頻子帶通過下一級低通分解濾波器H0(z2l)和高通濾波器H1(z2l)分解為低頻子帶和帶通子帶,分離出的帶頻區成為下一個級別的細節層,分離m級細節層的濾波器稱為ψm(z),如式(1)所示:

(1)

細節層和低頻子帶用于分離下一級,若進行m層分解,分解后的低頻子帶層記為m,其中m=1,2,…,M,當m=1和m=M時,為分辨率最高和最低的層級,分解后的低頻子帶層為G(·),細節層為L(·),原始圖像為I0(·),在第m級分解為Gm(·)和Lm(·),NSP分解的細節層進行NSDFB方向分解,在第m級分解為Nm(·),其中n=1,2,…,Nm,第n個方向和第m個尺度的子帶為Lm,n(·)。

2.3 局部能量特征處理

利用加權局部能量和局部能量比將隧道入口的紅外與可見光圖像的低頻子帶結構細節信息保存:

(2)

R(x,y)=Ei(x,y)/Ev(x,y)

(3)

R(x,y)表示紅外局部能量與可見光局部能量的占比,Ei(x,y)相對于Ev(x,y)越大,其像素越有可能屬于目標,但是式(3)R(x,y)受Ei(x,y)和Ev(x,y)共同作用。因此,對于融合圖像應盡可能保留紅外圖像中目標的高亮特征。

CF(x,y)=

(4)

式中,CF(x,y)為融合圖像的低頻系數；uI、uV分別為加權系數;T1、T2分別為設定高低閾值由式(5)所示。

(5)

式中,mean[·]表示均值；std[·]表示標準差；k1,k2為經驗參數,文中k1=0.5,k2=1.5。

3 預處理及特征分析

3.1 直方圖修正

在隧道低照度情況下,視覺信息對比不明顯,但是由于灰度值呈現的不均勻現象而集中在某一塊區間內,視覺特征區別不清晰,對比度不高。直方圖均衡化技術可以對隧道出入口視覺信息進行二值化選取閾值,重新均勻各個灰度值,達到增強的效果。

由圖2可知經直方圖修正后,(b)對(a)來說隧道入口處更加清晰,(d)對(a)灰度值呈現均勻修正。

圖1 隧道出入口視覺特征

圖2 隧道入口處前后修正對比

3.2 高斯平滑處理及銳化

二維Gabor濾波器頻率和方向十分接近人類視覺系統[19],二維Gabor濾波器可表示為式(6):

(6)

其中,θ為Gabor濾波器的方向;σu和σv分別為高斯包絡在u軸和v軸上的標準差(u軸平行于θ;v軸垂直于θ);w用于調制頻率。

由圖3可知Gabor濾波器與視覺皮層相比十分接近,殘差數值不大。因此,二維Gabor濾波器圖像增強作用明顯。

圖3 Gabor濾波器空域函數

3.3 卷積稀疏表示

傳統稀疏表示具有偽吉布斯效應,卷積稀疏表示(Convolutions Sparse Representation,CSR)的原理是將原圖像建模為特征響應系數與濾波字典間的一組卷積和,從而取代冗余字典與稀疏系數乘積的表達方式。CSR模型表示為:

(7)

式(7)交替方向乘子算法(ADMM)中,{dm}表示M維卷積字典；{xm}為特征響應；*為卷積運算符號；s表示源圖像；λ>0表示自定義參數。

利用新活性度量方法NAM對高頻信息進行融合,如式(8)[20]所示:

(8)

4 實 驗

4.1 實驗系統

實驗系統采用螢石互聯網近紅外監控攝像頭,螢石無線互聯網電池攝像機C3A,如圖6(a),6(b)所示,擁有7.5 m紅外夜視,防水麥克風和揚聲器,最高分辨率1080 p,IC紅外濾光片可自動切換白天/黑夜模式。電源電壓DC12 V；計算機的CPU采用Intel Core i7-7500U2.5 GHz,內存為8 GB,Matlab 2018a環境。針對低照度下隧道出入口行車會車時實際場景,本文進行了實驗室模擬環境下的低照度下會車場景實驗,低照度隧道出入口駕駛員行駛的模擬實際路況如圖4(c),4(d)所示,一個發光面為199 mm×36 mm的LED條形光源(AFT-WL21244-22)模擬隧道光照條件,采用沙盤山區隧道模型,光源周圍3輛汽車模型模擬低照度下隧道出入口行駛車輛。

圖4 模擬低照度隧道入口場景

實驗選用了大小為1920×1080預配準的2組隧道出入口紅外與可見光圖像進行實驗,并挑選了具有對比性的(Curvelet、NSCT、NSCT-T算法、SR-C&L算法、SF-Energy-Q)5組融合算法進行性能比較。對于NSCT分解部分,尺度濾波器采用“pyrexc”,方向濾波器采用“vk”,分解級別設為4,級數為[2,3,3,4]。

4.2 隧道入口處融合評價

選用主觀視覺與客觀指標結合對融合結果進行評價。6個客觀評價指標:互信息量(MI)、空間頻率(SF)和平均梯度(AG)、邊緣信息傳遞因子(QAB/F)、結構相似性(SSIM)和峰值信噪比(PSNR)。其中,指標數值越大,融合效果更好。

主觀視覺層面看,圖5這6種融合處理結果均有所體現。但是基于Curvelet變換和NSCT變換2種方法所得的融合圖像對比度偏低,背景不突出,整體偏暗；運用NSCT-T算法亮度適中,SR-C&L算法較為陰暗,SF-Energy-Q算法出現了“塊狀陰影”三種算法在車輛隧道外車輛顏色有所體現,但局部顯示車輛顏色分辨率不高；采用本文所提方法輪廓方面比較清晰,特征顯著,總體視覺效果最好,與其余5種融合算法相比占據優勢。關于低照度隧道入口處融合實驗的客觀評價指標如表1所示。

圖5 低照度隧道入口處不同算法融合結果

對比分析表1可以發現,CSR-E算法MI略低于SR-C&L算法和Curvelet算法,AG略低于NSCT-T算法,其余SF、QAB/F、SSIM、PSNR這4項客觀指標占比度較高,主觀視覺上融合效果都能很好體現。為了驗證算法的實時性加入時間評價,如圖6所示。

圖6 隧道出口處指標三維圖

表1 隧道入口處性能指標評價

圖6中(a)～(f)表現六種算法指標值及運行的時間,為展示更加清晰直觀的實驗結果,對應的客觀指標及時間展示如圖7所示。

由圖7可知各指標在時間上算法占比差異,CSR-E算法MI指標運算時間僅需12 ms,比較圖像融合結果,無論是從視覺效果還是客觀指標評價,CSR-E算法占據優勢。為確定六種算法在不同指標運行下的平均時間,如表2所示。

圖7 隧道入口融合評價雙Y軸柱狀-點線圖

表2 不同算法在隧道入口處運行的平均時間

由表2可知,六種算法所運行的平均時間相差不大,本文CSR-E算法運行時間為3.465×102ms低于NSCT、NSCT-T和SF-Energy-Q三種算法,雖然高于Curvelet和SR-C&L,但比較圖像融合結果,CSR-E算法均占據優勢。

4.3 隧道出口處融合評價

隧道出口處融合結果如圖8所示。由圖8可以看出,基于Curvelet變換和NSCT變換2種方法所得的融合圖像對比度偏低,可見光背景下隧道內出口外車輛行駛畫面不清晰,隧道中2輛車輪廓信息及色彩信息表現不明顯,整體不突出、偏暗；運用NSCT-T算法亮度適中,SR-C&L算法較為陰暗,SF-Energy-Q算法也出現了“塊狀陰影”,以上算法在車輛隧道外車輛顏色有所體現,但局部顯示車輛顏色分辨率不高；采用本文所提方法輪廓方面比較清晰,特征顯著,總體視覺效果最好,與其余5種融合算法相比占據優勢。本文算法融合結果辨識度高,行駛車輛顏色及輪廓信息更加清晰,整體的層次感對比更加強烈,車輛目標清晰,能夠有效描述源圖像的結構特征。出口處評價指標與隧道入口處一致,互信息量(MI)、空間頻率(SF)和平均梯度(AG)、邊緣信息傳遞因子(QAB/F)、結構相似性(SSIM)和峰值信噪比(PSNR)。

圖8 低照度隧道出口處不同算法融合結果

對比分析表3可以發現,CSR-E算法SF略低,AG略低于SF-Energy-Q,其余4項客觀指標占比度較高,MI、QAB/F、SSIM和PSNR分別為7.5145、0.5598、0.8879和19.2664。可以看出,本文算法的融合辨識度高,主觀視覺層面看,這6種融合處理結果均有所體現。圖9為了驗證算法的實時性加入時間評價,除了以上六種指標,驗證算法的實時性加入時間評價,如圖9所示。圖9中(a)～(f)表現六種算法指標值及運行的時間,為展示更加清晰直觀的實驗結果,對應的客觀指標及時間展示見圖10。圖10各指標在時間上總體相差不大,總體而言,無論是從視覺效果還是客觀指標評價,CSR-E算法都占據優勢。CSR-E算法MI指標運算時間僅僅需要9.9 ms。為確定六種算法在不同指標運行下的平均時間,如表4所示。

表3 隧道出口處性能指標評價

圖9 隧道出口處指標三維圖

圖10 隧道出口融合評價雙Y軸柱狀-點線圖

由表4可知,六種算法所運行的平均時間相差不大,本文CSR-E算法運行時間為3.4440×102ms,與其他5種算法相比,運行時間最短,減少1.17ms同時在視覺效果顯著,CSR-E算法占據優勢。

表4 不同算法在隧道出口處運行的綜合時間

5 結 論

(1)本文結合CSR和局部能量特征的特性,提出了一種CSR-E紅外與可見光圖像融合框架。文章首先對紅外和可見光源圖像進行圖像增強及去噪處理,利用NSCT將預處理圖像分解成一個低頻子圖和多個高頻子圖,其次,采用卷積稀疏表示與局部能量特征表示方法、活度測量方法進行融合處理,進行重構得到紅外與可見光融合圖像。實驗表明,CSR-E算法克服了傳統的“SR”和“偽Gibbs”效應,彌補了圖像之間關聯性差的缺點,保存能量信息與邊緣細節信息。

(2)算法框架上,本文主要將NSCT分解所得的低頻基礎分量利用局部能量特征的方法進行融合,重點體現在紅外亮度信息得到保留,使用CSR融合低頻細節特征分量,并根據活性測度算法提取源圖像的特性,對高頻部分進行融合。

(3)本文算法結合了有關NSCT、CSR算法的優點,結合局部能量特征的融合規則,最終融合圖像對比度高。實驗使得最終的融合結果圖不僅有著良好的視覺特性,結合MI、SF、AG、QAB/F、SSIM、PSNR六種評價指標進行評價。實驗結果表明,在隧道入口處圖像CSR-E算法對比Curvelet、NSCT、NSCT-T、SR-C&L、SF-Energy-Q5種算法,QAB/F指標提高了14.14 %,隧道出口處圖像運行平均時間減少1.17ms,SSIM提高了3.38 %,總體運算成本相差不大,提升圖像的魯棒性和視覺清晰度以及算法運行時間是下一步研究的重點。