基于DCP-Imp CycleGAN CenterNet去霧算法的交通標志檢測

霍愛清，馮若水，胥靜蓉

(西安石油大學 電子工程學院，陜西 西安 710065)

0 引言

道路交通標志檢測是智能駕駛的熱門研究方向[1-2]。近年來由于環(huán)境污染使城市霧霾天氣頻發(fā),霧霾天氣不僅對日常出行造成嚴重不便,同時也對交通標志的檢測造成干擾,使檢測結果容易出現(xiàn)誤檢、漏檢現(xiàn)象。對于這個問題的解決思路主要分為2種:一種是聯(lián)合去霧和檢測算法,生成端到端的去霧檢測模型,如Li等[3-4]、陳瓊紅等[5]分別提出將不同檢測模型與AODNet[3]進行結合,但該類方法對去霧結果過度依賴而影響檢測的效果。另一種是先去霧后檢測的無關聯(lián)方法,如陳秀新等[6]通過有霧先驗知識優(yōu)化和判別學習對圖像去霧還原,使檢測精度和泛化能力皆有提高;Tanwar等[7]基于對大氣模型的重構,通過輕量級CNN得到較好的識別效果。

上述2種思路首要解決的都是對去霧效果的優(yōu)化問題。目前常用的傳統(tǒng)去霧算法有DCP[8]、AODNet和EPDN[9],以及其他不同的方法[10-11]。傳統(tǒng)去霧算法存在去霧后圖像顏色有偏差且失真的問題。基于深度學習的去霧算法雖然能有效提高清晰化效果[12-13],但仍會存在一定霧霾殘留。

針對小型交通標志的檢測,基于深度學習的檢測模型已被廣泛使用,如SSD[14]、EfficientNet[15]、M2Det[16]、FPN[17]和Faster-RCNN[18]等,在復雜環(huán)境下基于錨框的算法會引入大量超參數(shù),使訓練速度大幅下降。相較之下anchor-free的CenterNet[19]算法更適合霧天環(huán)境的檢測任務,故本文還將以CenterNet為框架進行進一步優(yōu)化,以實現(xiàn)去霧后的交通標志檢測。

綜上,本文提出了一種無關聯(lián)的DCP-Imp CycleGAN(Dark Channel Prior-Improve Cycle-Consistent Generative Adversarial Network)融合去霧算法,主要工作如下:

① 采用DCP和CycleGAN結合的方式,對圖像進行去霧清晰化;

② 針對去霧后圖像質(zhì)量不高的問題,將對抗網(wǎng)絡輸出的圖像進行感知融合,使圖像更趨近真實;

③ 對檢測網(wǎng)絡CenterNet中殘差卷積模塊進行輕量化操作,并引入注意力機制CBAM以及FPN特征融合來提高對小型交通標志的檢測性能。

1 改進算法

1.1 DCP-Imp CycleGAN融合去霧算法

在交通標志檢測前先對圖像進行預處理操作,對圖像進行去霧還原。如圖1所示,DCP算法存在無法適應高亮區(qū)域而導致去霧后圖像整體偏暗的問題,去霧效果不理想。

(b)DCP去霧后圖1 暗通道先驗法去霧結果Fig.1 Results of dehazing by dark channel prior method

而循環(huán)一致性生成對抗網(wǎng)絡(Cycle-Consistent Generative Adversarial Network,CycleGAN)存在優(yōu)化成對數(shù)據(jù)集的弱監(jiān)督訓練優(yōu)勢,故本文將DCP嵌入到CycleGAN網(wǎng)絡中,從而提高去霧圖像分辨率及紋理信息恢復質(zhì)量,解決DCP算法存在色差導致的不真實問題。為此本文提出了DCP-Imp CycleGAN融合去霧算法,該算法框架如圖2所示。

圖2 DCP-Imp CycleGAN算法框架Fig.2 DCP-Imp CycleGAN algorithm framework

該算法將DCP算法嵌入到改進的CycleGAN框架中,通過不斷學習更新產(chǎn)生與原始圖像高度相似的圖像,保留圖像中高質(zhì)量的紋理信息,并將細化后的圖像進行感知融合,從而得到更清晰真實的圖像。主要流程如下:

① 輸入待處理的有霧圖像Ireal到DCP中,獲得透射圖TDCP和初步去霧圖像JDCP,并由RT和RJ兩個網(wǎng)絡對其分別精細化處理,將結果與大氣光值A通過構建的關系式得到模糊圖像Irec。

② 通過CycleGAN網(wǎng)絡進行成對的數(shù)據(jù)集優(yōu)化訓練。不斷學習更新精煉網(wǎng)絡RT,以提高模糊圖像Irec和輸入圖像Ireal的相似度,使輸出的精細化透射圖Tref得到適當細化。另一個精細化網(wǎng)絡RJ通過鑒別器D來更新,將精細化去霧圖像Jref與準備好的自然無霧樣本Jreal進行對抗學習,進行真?zhèn)闻袆e,來獲得更自然的無霧圖像Jref。

③ 將前2步獲得的模糊圖像Irec、精煉化圖像Jrec和自然無霧圖像Jref輸入到感知融合模塊中,通過權重分配處理,輸出最終的去霧圖像Jfused。

1.1.1 CycleGAN網(wǎng)絡結構優(yōu)化

為降低參數(shù)量并提高分類質(zhì)量,本文針對原CycleGAN網(wǎng)絡中的主干網(wǎng)絡RJ以及判別器D分別進行改進。RJ的結構共由9個殘差塊組成,為避免大量殘差計算而影響對抗學習的速度,將殘差塊中第一個3×3卷積改為一個3×3的空間卷積和一個1×1卷積,這樣可以確保網(wǎng)絡參數(shù)量的降低,再通過引入串行空洞卷積擴大感知,使細節(jié)特征得到保留,其空洞率設為2、2、2、4、4、4。圖3為改進前后的殘差塊示意。

(a)原殘差塊

(b)改進后殘差塊圖3 改進前后殘差模塊結構Fig.3 Residual module structure before and after improvement

鑒別器D是對抗學習的關鍵部分,負責圖像的真?zhèn)闻袛?即判斷精細化去霧圖像Jref和自然無霧圖像Jreal之間的相似度。為了在保留原始輸入圖像空間信息同時還能進一步提高分類性能,本文使用全卷積網(wǎng)絡作為鑒別器,其網(wǎng)絡結構如圖4所示。

圖4 鑒別器D的結構Fig.4 Structure of discriminator D

前4個卷積塊由卷積核大小為4×4的卷積層、實例歸一化層和LeakyReLU激活函數(shù)組成;添加了一個4×4×1的卷積層,經(jīng)過一個Sigmoid激活函數(shù)層;最后進行一個0-1的真?zhèn)闻袛?輸出1則為真實圖像,0為重建圖像。

1.1.2 感知融合模塊

在保證能見度的情況下,感知融合模塊是通過給對抗性學習生成的Jrec和Jref分配合適的權重,在保證能見度的情況下,獲得二者融合后更自然真實的圖像。其中權重的分配計算通過自然圖像Ireal,與Jrec、Jref的相似度圖計算而形成的真實性指標確定。

為了得到合適的相似度圖,采用高斯顏色空間LMN的廣義梯度幅值(Gradient Modulus,GM)和色度信息(Chrominance information of the LMN color space,ChromMN)兩個特征來進行度量。根據(jù)圖像質(zhì)量評價(Image Quality Assessment,IQA)研究表明,GM是通過YIQ顏色空間的Y通道(即亮度通道)進行計算,而ChromMN是指LMN顏色空間的M和N通道。因此,為了得到GM,將彩色圖像由RGB空間轉(zhuǎn)換為YIQ顏色空間并保留Y分量如式(1)和式(2)所示:

Y=0.299R+0.587G+0.114B,

(1)

(2)

式中:x表示像素點,Gx(x)和Gy(x)表示Y通道處的水平方向和垂直方向的偏導數(shù)。

LMN顏色空間的M和N通道計算式為:

M=0.30R+0.04G-0.35B,

(3)

N=0.34R-0.60G+0.17B。

(4)

通過計算與GM和ChromMN這2個特征的相似性來評估去霧圖像的真實性。將2幅相似圖像的GM值分別用G1(x)和G2(x)表示,則像素x處的廣義梯度相似性SG(x)和色度相似性SC(x)可定義為[20]:

(5)

(6)

式中:C1、C2是一個正常數(shù)以避免無效運算,此處C1取值160,C2取值130。

同時考慮SG(x)、SC(x),則總的相似度SGC(x)為:

SGC(x)=SG(x)·[SC(x)]α,

(7)

式中:α為用來調(diào)整GM和ChromMN相似性的重要參數(shù),實驗中設為0.4。

(8)

經(jīng)softmax后,Wref(x)+Wrec(x)=1。

由精細化處理后的去霧圖像Jrec是一個清晰但不符合大氣散射物理模型的圖像,為了得到更理想的效果,由文獻[21]中的Koschmieder定律(式(9),圖2中Eq1)重新構建另外一個清晰無霧圖像Jrec。最后,將Jref和Jrec分別與相對應的權重融合,獲得最終結果Jfused:

(9)

Jfused=Jref⊙Wref+Jrec⊙Wrec。

(10)

1.2 DF-CenterNet算法優(yōu)化

針對CenterNet網(wǎng)絡對小型目標檢測精度不高、網(wǎng)絡參數(shù)量過大的問題,本文提出了DF-CenterNet (Depthwise Separable Convolution and Feature Pyramid Network-CenterNet)改進算法,主要從殘差模塊和特征融合兩方面對CenterNet進行改進,DF-CenterNet的整體框架如圖5所示。

圖5 DF-CenterNet模型框架Fig.5 DF-CenterNet model framework

由圖5可知,DF-CenterNet模型框架主要由主干特征提取網(wǎng)絡Backbone、特征融合網(wǎng)絡FPN及熱圖Heatmap三部分組成。本文將原CenterNet中的殘差塊替換為改進后的D-Conv Block,并引入CBAM注意力機制提高對有效信息的提取能力;在特征融合部分結合FPN網(wǎng)絡進行網(wǎng)絡結構設計,將淺層的小目標特征與深層特征堆疊,以減少細節(jié)紋理的丟失;使目標位置直觀地反映在Heatmap中。

1.2.1 殘差模塊優(yōu)化

ResNet50作為CenterNet的特征提取網(wǎng)絡,主要由封裝后的殘差卷積塊(Conv Block)和身份卷積塊(ID Block)組成,而殘差塊的大量使用會導致計算量大幅增加。因此首先對其進行了輕量化改進,改進后的D-Conv Block結構示意如圖6所示。

圖6 D-Conv Block結構Fig.6 Structure of D-Conv Block

采用深度可分離卷積替換原始殘差塊中的第二個3×3卷積層,以減少過大的參數(shù)量堆積;同時在激活函數(shù)的選擇上,考慮到ReLU函數(shù)會存在激活無效的問題,在D-Conv Block中選用Mish函數(shù)作為激活函數(shù),從而避免激活值過大導致函數(shù)飽和。

為了使網(wǎng)絡更專注有效信息,增強對小型交通標志的檢測,本文引入了輕量級卷積塊注意力機制(Convolutional Block Attention Module,CBAM)[22],如圖7所示。

圖7 CBAM示意Fig.7 Schematic diagram of CBAM

CBAM包含通道注意力(Channel Attention Mo-dule,CAM)和空間注意力(Spatial Attention,SAM)兩個子模塊,分別在通道和空間維度進行特征關注。輸入特征設為F∈RC×H×W,通過CAM的一維卷積MC∈RC×1×1后與原輸入特征殘差相乘,再將CAM的輸出結果傳入SAM并進行二維卷積MS∈R1×H×W,將輸出結果與殘差相乘,得到2次特征細化提取后的結果。其整體過程描述如下:

F′=MC(F)?F,

(11)

F″=MC(F′)?F′。

(12)

1.2.2 FPN特征融合

CenterNet模型將主干網(wǎng)絡提取到的特征層進行3次反卷積,得到大小為128 pixel×128 pixel、通道數(shù)為64的特征層,再將其傳遞到檢測模塊進行關鍵點預測。而伴隨網(wǎng)絡的加深,目標的細節(jié)紋理信息存在丟失情況,在預測時使用單一的深層特征信息是造成小尺寸交通標志檢測精度不高、甚至漏檢的主要原因。因此本文借鑒了FPN的網(wǎng)絡構建,將ResNet50中的ID Block層特征進行通道調(diào)整作為FPN的特征,記為圖5中{C2、C3、C4、C5}。經(jīng)過3次上采樣以及特征堆疊的方式,將深層的語義信息與淺層高分辨率的信息進行特征間信息融合,以增強對小型標志的檢測能力。

2 實驗及分析

2.1 數(shù)據(jù)集

本文的實驗數(shù)據(jù)包括:去霧實驗用BeDDE數(shù)據(jù)集進行訓練并用自制數(shù)據(jù)集(500張有霧圖像、200張無霧圖像)進行測試;檢測實驗采用CCTSDB數(shù)據(jù)集,共計15 734張包含不同天氣和道路的自然場景下的交通標志圖像,訓練集和測試集按9∶1劃分,圖像尺寸為512 pixel×512 pixel,使用LabelImg進行圖像標注,并將標注數(shù)據(jù)分為三大類目標:指示標志、禁止標志、警告標志。

2.2 實驗環(huán)境

本文在實驗階段的環(huán)境平臺為CPU:Intel Corei7-10875H,單顯卡GPU:NVIDIA GeForce RTX 2060 6 GB,通過PyTorch深度學習框架搭建模型,并基于CUDA10.1 和 Cudnn7.6.0來完成GPU的加速運算。實驗中共設置100個epoch,batchsize大小設為4,采用梯度下降法加快模型收斂速度,學習率經(jīng)25個周期進行一次更新,分別為0.001、0.005、0.000 1、0.000 5。

2.3 實驗評價標準

本文對于去霧效果的評估采用結構相似度(Structural Similarity Index,SSIM)及峰值信噪比(Peak Signal to Noise Ratio,PSNR)兩個參數(shù)[23]。

SSIM是常用的圖像評價指標,從亮度、對比度和結構三方面來綜合度量圖像的相似性。其中SSIM取值[0,1],大小與圖像相似度呈正相關。

SSIM計算表達為:

(13)

PSNR是基于對應像素點的誤差評價,其計算表達為:

(14)

式中:MSE為圖像的均方誤差,MaxI為圖像可能的最大像素值,PSNR單位dB,取值越大則表示保真程度越高。

本文對于目標檢測實驗采用平均精確度均值mAP、參數(shù)量(M)和FPS三項指標進行評估。

2.4 實驗結果

2.4.1 DCP-Imp CycleGAN融合去霧實驗

本文將DCP初步去霧的圖像和準備好的有霧圖像輸入到循環(huán)對抗網(wǎng)絡進行訓練,學習并更新對應的權重,使用感知融合模塊融合相似性圖像實現(xiàn)圖像的去霧清晰化。

為了驗證本文去霧算法的可行性,將DCP-Imp CycleGAN融合去霧算法與DCP、AODNet以及EPDN進行了實驗對比。圖8為不同算法去霧的可視化結果。

(a)原圖

(b)DCP

(c)AODNet

(d)EPDN

(e)本文圖8 去霧算法可視化結果Fig.8 Visualization results of the dehazing algorithm

由圖8可見,DCP算法去霧后圖像存在整體色彩失真、暗部細節(jié)不足的問題;AODNet和EPDN算法這2種監(jiān)督網(wǎng)絡對于圖像中心區(qū)域去霧效果較明顯,但仍存在圖像顏色偏暗問題,其中AODNet還出現(xiàn)了偽光暈現(xiàn)象。相較之下,本文提出的DCP-Imp CycleGAN算法對圖像去霧效果最好,且對暗部紋理細節(jié)高度還原,解決了去霧后圖像色差大、不清晰的問題。

采用SSIM和PSNR兩個評價參數(shù)對實驗結果進行客觀評價,對比結果如表1所示。

表1 不同去霧算法對比結果Tab.1 Comparison results of different dehazing algorithms

由表1可以看出,本文的DCP-Imp CycleGAN融合去霧算法的SSIM和PSNR都是4種算法中最大值,其中峰值信噪比最高達18.06 dB,相較于原DCP算法提高了6.06 dB,表明了對圖片的細節(jié)還原度更高,而結構相似度可高達85%,顯示出在圖像色彩表現(xiàn)上的優(yōu)越性。

2.4.2 交通標志檢測實驗及分析

為更直觀表現(xiàn)檢測模型的改進效果,本文用去霧后的數(shù)據(jù)集進行實驗,設計了消融實驗、可視化對比實驗和不同算法對比實驗。

① 消融實驗

首先,為驗證本文模型改進的有效性,設計了相應的消融實驗。在CenterNet的基礎上,分別驗證不同改進策略對模型的影響,實驗結果如表2所示,其中“×”表示在改進模型中沒有使用該模塊,“√”表示在改進模型中使用該模塊。

表2 DF-CenterNet模塊消融實驗Tab.2 DF-CenterNet module ablation experiments

由表2可以看出,在將原殘差塊改為D-Conv Block+Mish后,提高了網(wǎng)絡訓練的穩(wěn)定性和檢測速度,因此mAP提高了1.21%,FPS提升了2幀/秒。再引入CBAM注意力機制,使得mAP進一步提高了2.31%,FPS也提高了3幀/秒,驗證了特征提取過程中使用注意力機制可以減少資源消耗,同時提升模型的檢測性能。最后通過FPN網(wǎng)絡將位置信息和語義信息進行融合,在犧牲一點檢測速度代價下使模型mAP進一步提升1.96%?？梢姼倪M后的DF-CenterNet可以獲得更良好的檢測效果。

② 可視化對比實驗

圖9為CenterNet算法改進前后的交通標志檢測可視化對比結果。由圖9可以看出,相較于改進之前的算法,DF-CenterNet算法對較小型的交通標志的檢測效果更為顯著,使第一行圖中小型標志的分類置信度明顯提升,第二行圖中在多個小型交通標志的場景下,也能有效防止漏檢和誤檢現(xiàn)象,由此可見本文算法具備良好的識別能力。

(a)CenterNet (b)DF-CenterNet圖9 CenterNet改進前后可視化結果Fig.9 Visualization results of CenterNet before and after improvement

③ 不同算法對比實驗

為了驗證DF-CenterNet 模型對交通標志的檢測性能,在同一實驗環(huán)境下分別與SSD、Faster-RCNN、EfficientNet、M2Det、CenterNet 這幾個模型進行對比分析實驗,實驗結果如表3所示。

表3 不同算法的檢測對比結果Tab.3 Detection result comparison of different algorithms

由表3分析可知,本文算法相較于原CenterNet的檢測精度和速度均有提升,且網(wǎng)絡更加輕量,實現(xiàn)了對CenterNet網(wǎng)絡的全面優(yōu)化。本文算法的mAP值達到94.63%,在檢測精度上優(yōu)于其他算法,相較于SSD、Faster-RCNN、EfficientNet、M2Det分別提升了8.38%、10.65%、15.15%、9.87%。在參數(shù)量方面,本文算法的參數(shù)量略高于SSD算法,但與其他算法相比更為輕量。從算法整體性能來看,本文算法的檢測精度和速度均為最高值,在道路交通標志檢測任務中占據(jù)很大優(yōu)勢。

3 結束語

本文提出了一種基于DCP-Imp CycleGAN與CenterNet的融合去霧檢測算法。

該方法在圖像預處理階段,將DCP嵌入到CycleGAN中進行網(wǎng)絡框架改進,再采用感知模塊將學習后的清晰圖像進行加權融合,從而保證了圖像的高質(zhì)量紋理信息,提高了圖像的清晰度和真實性。

對CenterNet檢測網(wǎng)絡進行了優(yōu)化改進,首先對主體的殘差塊進行了輕量化設計,提高了網(wǎng)絡運行速度,其次引入CBAM注意力機制,聯(lián)合特征融合部分的FPN模塊,構建了新的DF-CenterNet檢測模型,增強對小型交通標志的特征獲取能力。

本文模型與多種去霧模型的對比實驗結果表明,本文的融合去霧算法使圖像表現(xiàn)更趨近于真實圖像;目標檢測的對比實驗結果表明,DF-CenterNet模型相較原CenterNet算法,mAP提高了5.48%,FPS提高了4幀/秒,具有更精確、更快速的優(yōu)勢,能夠有效避免霧天環(huán)境小型交通標志的漏檢、誤檢。