基于對抗生成網絡的瀝青路面紋理圖像修復方法

鄧海斌 魏唐中 杜銀飛

(湖州市公路與運輸管理中心1) 湖州 313000) (南京興佑交通科技有限公司2) 南京 210008) (中南大學土木工程學院3) 長沙 410083)

0 引 言

瀝青路面性能檢測是維持道路服役性能、保證行車安全的重要手段[1].傳統的人工巡查的方式較為主觀，人力成本高，逐步被數字化技術所替代[2].隨著傳感技術的發展，攝像頭、激光雷達、探地雷達等感知裝備被應用于道路檢測中.其中，圖像數據由于其低成本、輕便化的特點，得到了最為廣泛的應用[3].

隨著人工智能技術的發展，卷積神經網絡(convolutional neural network，CNN)在圖像處理問題中得到了廣泛應用.許多學者采用目標識別算法進行道路病害自動識別，包括裂縫、坑槽、網裂等[4-7].在此基礎上，為了更精細地獲得路面病害如寬度、面積等信息，對病害進行語義分割也成了研究熱點[8-10].為了對瀝青路面進行更細致地觀察，通過調整攝像頭角度和清晰度，可獲取到路面集料形態清晰的路面紋理圖像，并嘗試通過解析路面紋理圖像來分析路面的表觀構造特性.Du等[11]利用路面紋理圖像，構建基于領域學習的深度神經網絡，預估路面的抗滑性能.

在圖像處理中，圖像數據質量是關鍵的影響因素之一.然而在獲取過程中，感知裝備往往會受到設備質量、設備調試、拍攝距離和運動速度等諸多因素的干擾，導致路面紋理圖像的分辨率不夠或圖像模糊[12].

圖像分辨率不足主要是受制于成像設備的硬件條件.Dong等[13]將CNN與圖像超分辨率(super resolution，SR)融合，提出了SRCNN網絡模型.Kim等[14]提出基于殘差網絡的超分辨率重建深度網絡(VDSR)和循環超分辨率神經網絡模型(DRCN)，重點關注和學習低分辨率圖像與高分辨率圖像差異較大的高頻細節信息，而無需過多學習相似度較高的低頻信息.Lim等[15]提出了EDSR模型，降低了模型計算資源的消耗.生成對抗網絡(generative adversarial networks，GAN)創新的生成器與判別器相互學習和對抗的方式提升了模型的性能.Ledig 等[16]提出的SRGAN模型首次將GAN應用到了圖像超分辨率重建的問題中，并取得了較好的效果.丁明航[17]設計了基于注意力機制的GAN超分辨率重建方法，可用于路面裂縫圖像清晰化的處理，提高了路面裂縫的識別精度.目前的超分辨率算法在紋理細節上仍不夠真實自然，且比較適用于有清晰輪廓和邊界的圖片.

圖像模糊問題分為對焦模糊和運動模糊.對焦模糊主要是由焦距調試不到位或是拍攝環境改變導致的對焦不準而引起的.運動模糊是指由拍攝設備與場景的相對運動造成的光學介質與目標場景的相對運動，產生圖像偏移，導致圖像模糊.運動圖像修復包括了非盲運動圖像修復和盲運動圖像修復.非盲運動圖像修復是原始圖像已知，模糊核可以通過參數估計計算得到；盲運動圖像修復是模糊核和原始圖像都是未知的[18].盲運動圖像修復難度更大，但是應用則更為廣泛，在視頻動態監控[19]、車載圖像采集等場景中較為普遍.盲運動圖像修復的研究包括基于模糊核估計和基于深度學習網絡.Rav等[20]提出多方向模糊核的多幅盲運動圖像修復方法，該方法僅局限于模糊核為勻速直線運動的情況，不適用于復雜運動情況.Chun等[21]采用交替迭代的方法同時將圖像進行框架變換，利用框架的冗余性導致的魯棒性，使得該算法能夠更好地控制多幅運動模糊圖像之間的配準誤差.在深度學習方面，樊晶華[22]采用基于條件的GAN進行多種模糊情況的圖像復原.王曉紅等[23]采用卷積神經網絡獲得模糊圖像的高維特征，利用深度強化學習結合多種CNN去模糊工具建立去模糊框架.

上述研究中的圖像大部分是具有清晰輪廓的物體，但路面紋理圖像的輪廓無序且復雜，目前尚未有研究對其特點提出針對性的圖像修復方法.文中針對路面紋理圖像分辨率低、成像模糊等問題，構建了面向路面紋理的基于GAN的圖像修復模型.采集了3 456張路面紋理圖像，對原圖像進行處理，構建了低分辨率、高斯模糊和運動模糊的數據集，并分別設計網絡結構.為了更好地還原路面紋理的細節特征，在生成器損失函數中，加入基于紋理特征的損失項，通過圖像質量還原評價指標衡量對抗生成模型的效果.

1 數據集構建

1.1 路面紋理圖像數據獲取

在構建訓練數據集時，在原圖像的基礎上加上擾動因子來模擬有質量問題的圖像.為了采集高質量的原數據，本文采用攝像機在靜止情況下獲取圖像數據.因為鏡頭角度、拍攝距離等原因，圖像會出現輕微的傾斜、變形.因此需要對圖像數據進行圖像矯正、分辨率統一、圖像分割、灰度均衡化等操作.在路面框選出300 mm×300 mm的區域，并標記上控制點，采用透視變換，利用式(1)的變換公式，實行對圖像畸形校正.

(1)

式中：(u,v)為原始圖像像素坐標；(x=x′/w′，y=y′/w′)；為變換之后的圖像像素坐標aij，為矩陣系數.文中選擇1 mm內10個像素點的圖像精度作為后續原圖像的一個標準.通過透視變換和圖像像素點統一，每張圖片都能獲得3 000×3 000分辨率的路面紋理圖像.在此基礎上，可以根據數據集的要求對圖像進行分割.

由于在不同時期、不同光照和不同路面拍攝的路面的顏色和亮度有較大的差異，因此采用灰度均衡化的方式改變圖像中各像素的灰度，以增強動態范圍偏小的圖像的對比度.具體地，把原始圖像的直方圖變換為均勻分布的形式，增加了像素之間灰度值差別的動態范圍，對圖像中像素個數多的灰度值進行展寬，而對像素個數少的灰度值進行歸并，從而達到增強圖像整體對比度的效果.具體的圖像預處理流程見圖1.

圖1 圖像數據預處理流程

1.2 圖像修復問題定義

將圖像質量問題分為三類，分別是低分辨率、對焦問題引起的失焦模糊以及運動過程中引發的運動模糊.對于圖像低分辨率的問題，直接采用下采樣進行圖像壓縮.圖像尺寸為M×N，對其進行s倍下采樣，即得到(M/s) ×(N/s)尺寸的分辨率圖像.文中的圖像壓縮的倍數s為4.

對于失焦引起的模糊，采用高斯模糊對圖像進行處理.其過程是圖像二維矩陣與正態分布做卷積，生成失焦成像效果.高斯模糊的表達式為

(2)

式中：x,y為像素點坐標；δ為標準差，文中采用δ為1的高斯模糊函數對圖像進行處理.

對于攝像頭的快速移動產生的動態模糊，主要影響因素是初始位置和初始速度矢量，考慮位移長度、時間間隔、角度等因素.勻速直線運動模糊核的PSF數學表達式為

(3)

勻速直線運動PSF影響因素是模糊長度標量(L)和運動軌跡與水平面夾角θ，模糊核矩陣表示物體位移矢量.圖2為對原圖像進行處理后的低分辨率、高斯模糊和運動模糊的低質量圖片.

圖2 低質量圖片示例

以目標區域面積25 mm×25 mm的圖像為一個樣本，通過圖像處理和切割，共有3 456張圖像作為原圖像的數據集.并通過圖像變換的方法，獲得了低分辨率、高斯模糊和運動模糊的路面紋理圖像數據各3 456張.

2 模型設計

2.1 整體框架設計

文中設計了基于對抗生成網絡的圖像修復神經網絡框架，對抗生成網絡由生成器和判別器組成.生成器的輸入為低質量的圖像數據集，輸出是生成的高質量圖像，在訓練生成器時,將判別器的參數固定，通過計算生成的圖像和原高質量圖像之間的損失值來優化生成器的參數，為了能更好地讓生成器學習到路面紋理的特征，在生成器損失函數中，除了判別器評分外，還添加了感知損失值和基于灰度共生矩陣的(gray-level co-occurrence matrix，GLCM)紋理特征[24]的計算.在訓練判別器時，固定生成器的參數，訓練判別器.在得到修復的圖像后，采用綜合評價指標對修復效果進行衡量.整體框架設計見圖3.

圖3 整體框架設計

2.2 生成器網絡結構設計

鑒于不同低質量圖像的大小和干擾不同，因此生成器的網絡結構針對不同的輸入類型，進行差異化設計.運動模糊和高斯模糊的修復采用一致的網絡結構，超分辨率的生成器結構略有不同.為了增加網絡深度，引入了殘差模塊[25]，殘差模塊由三部分組成，兩個卷積層(卷積-歸一化-激活)和一個恒等映射，即將輸入的特征在輸出層進行融合.每個殘差模塊的結構見圖4.

圖4 殘差模塊結構

模糊修復生成器的網絡架構是先通過卷積層進行下采樣，提取圖像特征，在通過多個殘差塊加深網絡深度，再通過上采樣恢復原來的圖像大小，模糊修復的生成器網絡結構見圖5.超分辨率生成器的輸入的長寬分別是和輸出圖像的1/4，因此網絡架構沒有下采樣，通過卷積層和多個殘差模塊提取圖像特征，再通過上采樣恢復原來的圖像大小，整體網絡架構參考SRGAN的生成器而設計的，超分辨率的生成器網絡結構見圖6.

圖5 模糊修復生成器的網絡模型

圖6 超分辨率生成器的網絡模型

2.3 生成器損失函數優化

生成器損失函數中包含了對抗損失、感知損失和紋理特征損失.對抗損失是判別模型對生成的圖像評判的分值產生的損失，計算式為

(4)

式中：x為數據集中的輸入圖像；n為數據樣本量；G為生成器；D為判別器.

感知損失是生成圖和原圖像之間在成熟的預訓練的網絡架構提取的特征的損失計算，可以使生成器學習和原始圖像在深層內容細節上的差異，有助于對圖像紋理細節的重構.文中所用的感知損失網絡的預訓練模型是 VGG-19，選用VGG19網絡中第9層的特征參數作為感知損失的計算特征，其計算公式為

(5)

式中：C、H、W分別為通道、寬和高；CjHjWj為第j層的特征圖大小；φj為第j層的特征數值.

紋理特征損失是生成圖和原圖像之間紋理特征指標計算的損失.文中利用GLCM方法提取圖像紋理的高階特征，并選擇其中最為顯著的熵和能量兩個特征.熵值(Entropy)測量了圖像紋理分布的隨機性.復雜的紋理成分傾向于產生高熵值，而紋理成為單調的成分則表現為低熵值.能量(Energy)表示了紋理分布的均勻性.基于GLCM紋理特征的損失項計算式為

(0≤i≤255,0≤j≤255)

(6)

(7)

(8)

(9)

(10)

式中：i為像素灰度值；j為鄰域的平均像素灰度值；f(i,j)為二進制數(i,j)出現的頻率；Pij(x)為出現(i,j)的概率，可以反映像素位置的灰度值和周圍像素的灰度分布的綜合特征.

優化后的生成器損失函數表達式為

Loss_G=Loss_DG+Loss_Perceptual+

Loss_Entropy+Loss_Energy

(11)

2.4 判別器模型設計

判別器的結構均一致，判別器的輸入是圖像，真實圖像的標簽為1，生成圖像的標簽為0.網絡結構的設計以深度卷積神經網絡設計原則為主，用步長代替池化進行下采樣，最后通過全連接層和softmax函數輸出0～1的分值，越接近1則表明圖像越接近真實圖像.判別器的網絡架構見圖7.

圖7 模糊修復網絡和超分辨率網絡判別器網絡模型

判別器的損失值即對原圖像和生成圖像的判別損失，是原圖像和生成圖像判別得分的期望差，計算式為

(12)

3 訓練與結果

3.1 模型訓練與結果

對于三類問題分別構建模型進行訓練，訓練的總步數epoch為10 000.批大小batch_size為1，采用keras框架進行訓練，優化器采用adam，在訓練過程中保存生成器的損失值、辨別器的損失值和準確率.以超分辨率模型為例，圖8為訓練過程中各指標的變化情況.

圖8 超分辨率網絡模型訓練過程

由圖8可知：盡管訓練過程中存在波動，模型的判別器和生成器損失值都呈下降趨勢，不同的是生成器的損失值在訓練初期下降非常快，然后基本趨于平緩，判別器的損失值下降較為緩慢.對于判別器的準確率，在訓練初期上升很快，并一直維持高準確率，呈逐漸收斂趨勢，由此可見判別器訓練的比生成器更好.圖9為三個模型的結果.

圖9 模型生成結果

3.2 基于圖像質量的模型評估

引入全參考評價方法，選取峰值信噪比(peak signal to noise ratio，PSNR)和結構相似性(structural similarity， SSIM)兩個指標.PSNR衡量圖像所有像素點間直接的差異，SSIM則衡量圖像間特定的結構差異.計算公式為

(13)

(14)

(15)

式中：R(m,n)和I(m,n)為灰度值，M×N指圖像的長、寬；L為圖像能夠表示的最大灰度，L=255.C1=(k1L)2，C2=(k2L)2，k1=0.01，k2=0.03.當SSIM的計算值向1偏移時，說明圖像間相似性越來越大，而計算值向0偏移時，代表圖像間越來越不相似.為了更方便比較，將PSNR、SSIM兩指標進行賦予權重，整合成綜合評價指標I進行評價，計算公式為

(16)

文中對三類模型生成的圖像進行指標計算，與原圖像比較.對于低質量的輸入圖像，僅計算高斯模糊和運動模糊的低質量圖像的指標.為了驗證生成器損失中GLCM紋理特征的影響，進行消融試驗，對比損失函數中是否引入GLCM紋理特征的生成圖像質量指標的差異.表1為生成綜合圖片質量指標I對比結果.

表1 綜合圖片質量指標I對比

由表1可知：高斯模糊修復模型得到的生成圖像和原圖像最接近，而運動模糊的接近程度較低，其原因是運動模糊會讓部分邊緣像素移位，增加了訓練的難度.另一方面，損失函數中增加了GLCM紋理特征的模型結果要總體優于沒有GLCM紋理特征的，可見GLCM紋理特征的提取和對比有利于生成器學習到紋理的細節特征，有助于路面圖像的修復.

4 結 論

1) 根據問題需求，采集了3 456張路面紋理圖像，對原圖像進行處理，構造了低分辨率、高斯模糊和運動模糊的數據集，并通過對抗生成網絡有效地進行圖像的修復，獲取較為理想的路面紋理圖像.

2) 針對路面紋理圖像的特點，在對抗生成網絡中的生成器損失函數中增加了基于GLCM紋理特征的損失項，使得生成器生成的圖像能更好地重構路面紋理的細節.并通過圖像質量還原評價綜合指標驗證了含有GLCM紋理特征損失項的模型修復效果更好.

3) 文中的低質量數據集是人工合成的，與實際情況仍有差距，后續研究將使用實際采集的低質量圖像進行驗證.