排水管道圖像霧氣及光斑干擾去除方法研究

李夷進， 閆睿， 楊峰*， 喬旭， 李梵若， 劉文

(1.中國礦業大學(北京)機電與信息工程學院, 北京 100083； 2.北京城市排水集團有限責任公司科技研發中心, 北京 100083)

隨著中國城市化發展，排水管網的范圍日益增大，然而隨著排水量的增加以及管道使用時間的增長管道內部極易出現腐蝕、破裂、滲漏等病害。目前，管道內窺攝像檢測(close circuit television inspection, CCTV)[1]是應用最普遍的管道缺陷檢測方法。管道機器人代替維護人員進入危險管道進行檢修，提高了安全性。基于管道內窺攝像檢測通過人眼目測管道缺損等病害的發生以及發展程度，然而獲取的視頻圖像往往容易受到排水管道中的水氣以及雜物的干擾，出現白霧現象，且管道機器人在前行的過程中，水氣及污水易附著在鏡頭上，會導致光斑現象，嚴重影響維護人員對管道病害的判讀。

目前圖像去霧的主要方法包括基于圖像增強的方法以及基于大氣散射模型的方法。基于圖像增強的方法，直接使用某種圖像增強的算法進行去霧，也會帶來一些噪聲,丟失圖像局部細節，主要有小波分析的方法[2]、直方圖均衡化[3]、同態濾波算法[4]和Retinex算法[5]等；基于大氣散射模型的方法，其利用模型，估計模型參數，然后還原圖像。暗通道先驗法成為了最經典的去霧算法[6]，然而在排水管道的背景下，并不適合大氣散射模型，并且會產生色偏。近年來，隨著深度學習的發展，基于神經網絡的圖像去霧方法也取得了巨大的進展。Zhang等[7]提出了一種密集連接金字塔除霧網絡，可以共同學習透射率圖，大氣光值和去霧。Chen等[8]利用生成對抗網絡，可實現端到端的圖像去霧。Dong等[9]提出了一種基于U-Net的具有密集特征融合的多尺度增強去霧網絡，然而，訓練需要大量的管道數據，獲取管道場景相匹配的有霧和無霧的圖像是十分困難的，耗時長。而且這些算法都無法去除鏡頭上附著的霧氣帶來的光斑問題。

為此，基于大氣散射模型提出了適合管道的霧氣退化模型并結合暗通道先驗法去霧，使用一種多尺度Retinex色偏恢復算法[10]校正圖像色偏，最后將RGB顏色空間轉換為HSV顏色空間，使用改進的二維伽馬函數[11]調整亮度，降低鏡頭污染導致的圖像光斑問題，提高排水管道圖像的可視度和清晰度，解決傳統算法中存在的色偏與光斑現象，并進行實驗驗證。

1 暗通道先驗算法

排水管道霧氣的產生是由于管道中懸浮粒子對目標反射光的吸收與散射，導致成像亮度低，光源受到介質的散射形成背景光，造成的圖像不自然。大氣散射模型[12]是在自然光條件下，所有位置的光照強度默認是由最遠處的太陽光提供，將光照強度近似為一個常數。在排水管道中并無自然光，使用LED燈作為光源，光照強度隨著與光源的距離的增大而減小，而并非如大氣散射模型中始終近似于常數。因此使用管道霧氣退化模型，并結合暗通道先驗法來解決管道水霧造成的圖像模糊。

在真空中，光強不隨距離衰減，然而在散射介質中，光在傳播的會隨著傳輸距離的增加光強逐漸衰減，霧天衰減模型即平行光經過散射介質，假設其具有單位橫截面積，得到平行光在距離為d處的光照強度，可表示為

E(d,λ)=E0(λ)e-β(λ)d

(1)

式(1)中：E0(λ)為初始的光強；E(d,λ)為衰減后的光強；β(λ)為散射系數；λ為光源的波長。

點光源的衰減遵循負二次方定律，隨著距離光源距離增加，因為光線要覆蓋的區域成倍增加，根據能量守恒定律，其表達式為

(2)

探測器接收到目標體的反射光以及空氣介質中的漫反射光，假設將體積微元dv內的介質被看做成一個光源，則其光強為dI(x,λ)，如圖1所示。

w為立體角；x為與探測器的距離；dx、dw分別為距離x與立體角w的微分單元

LED光源雖為點光源，在管道這一特殊背景下，光線只有在初始很短的一段距離球面傳播，之后光線要覆蓋的面積幾乎不變，為管道的橫截面積，因此可近似地看作平行光，若LED光源光強為L0，則根據光源的損耗公式，結合式(1)可得到達探測器后的光強dL為

dL(x,λ)=dI(x,λ)e-β(λ)xdx

=kβ(λ)e-β(λ)xdx

=L0β(λ)e-2β(λ)xdx

(3)

式(3)中：k為LED光源在x處的光照強度。

積分可得散射光強的值為

(4)

因此成像系統的總光強為

(5)

(6)

暗通道先驗原理為：在非天空區域，對于一個無霧圖像，每個局部區域很可能至少一個顏色通道會有很低的值，可表示為

(7)

式(7)中：C為顏色通道；Ω(x)表示x的領域內；y為像素。

對式(6)變形，假設在圖像中一定大小的矩形窗口內透射率的值為定值，化簡得

(8)

(9)

基于管道模型的暗通道先驗去霧結果如圖2所示。

millisecond表示毫秒;distance表示距離

2 MSRCR算法

由于水霧的影響，光在到達相機前，被排水管道中的懸浮粒子吸收和散射，不同波長的光衰減速度不同，紅色光波長較長衰減較快，藍色光波長較短傳播距離較遠，因而暗通道先驗得出的結果存在藍色色偏，使用帶顏色恢復的多尺度Retinex算法對色偏圖像進行圖像增強。多尺度視網膜增強算法(multi-scale Retinex，MSR)[13]是由Retinex[14]改進而來的，其原理可表示為

r(x,y)=lgR(x,y)

=lgS(x,y)-lg[F(x,y)*S(x,y)]

(10)

式(10)中：r(x，y)為反射圖像R(x，y)求對數的結果；S(x,y)為觀察者獲取的圖像；R(x,y)為反射圖像；F(x,y)為中心環繞函數；*表示卷積。

(11)

式(11)中：wk為k個尺度下的權重；Fk(x,y)為k尺度下的中心環繞函數。

帶色彩恢復的多尺度視網膜增強(multi-scale Retinex with color restoration, MSRCR)算法是計算出的各個通道的min和max值，其表達式分別為

min=Mean-DynamicVar

(12)

max=Mean+DynamicVar

(13)

式中：min為各個通道的最小值；max為各個通道的最大值；Mean與Var分別為各通道數據均值與均方差；Dynamic表示實現無色偏的調節過程。

最終結果為

R(x,y)=[r(x,y)-min]/(max-min)(255-0)

(14)

圖3為MSRCR增強的結果，與原圖相比，不僅恢復了管道圖像的色彩，保持了圖像的邊緣特性。

millisecond表示毫秒;distance表示距離

3 二維伽馬函數

在機器人前進的過程中，由于大部分管道內部具有一定污水充滿度，鏡頭極易受到管道中的水氣或污水的干擾而污染，從而造成場景中出現部分過于明亮的區域，即光斑現象，破壞了正常的圖像。

3.1 光照分量的提取

由于HSV(色調：hue、飽和度：saturation、明度：value)色彩空間更接近人眼對色彩的感知，不會出現失真現象，因此首先將圖像轉變到HSV色彩空間。

目前常用提取光照分量的方法有基于線性引導濾波、雙邊濾波、Top-hat、高斯濾波等[15]，為了更好的保持光照分量的邊緣特性，選用多尺度高斯濾波算法，其有效地壓縮動態范圍并準確地估計排水管道圖像的光照分量，高斯濾波的表達式為

(15)

式(15)中：σ為尺度因子；λnorm為歸一化常數，確保高斯函數滿足歸一化條件。

利用高斯函數和輸入圖像做卷積，即可得到光照分量的估計值，可表示為

(16)

式(16)中：kscale為尺度的數量；V(x,y)為輸入圖像的亮度；Gi(x,y)為i尺度下的高斯濾波；I(x,y)為估計出來的光照分量。

3.2 構造改進的伽馬函數

由圖4(a)可以看出，出現光斑的位置普遍亮度偏高，飽和度偏低，故選取感興趣區域，校正亮度，去除明亮區域。根據亮度分量構造校正函數，改進的二維伽馬函數可以依據亮度分量自適應的調整參數，解決排水管道圖像光斑現象。改進的二維伽馬函數表達式為

millisecond表示毫秒;distance表示距離

(17)

V′=Vgamma

(18)

改進的二維伽馬函數校正前后圖像亮度圖細節對比如圖4所示，分別為去霧圖象、初始的亮度、圖像的光照分量、經過伽馬變換后的圖像亮度和經過伽馬變換后的圖像。可觀察到原圖中光斑區域的亮度得到了明顯降低，良好地解決了圖像因鏡頭污染造成的光斑問題，提高了圖像的質量，使其更符合人類的視覺感知系統。

4 算法流程與實現

基于管道內窺攝像檢測的傳統缺陷檢測方法，獲取的管道圖像往往會受到光照、水霧等影響，造成霧氣與光斑等干擾，破壞了正常的圖像。因此使用暗通道先驗法對圖像去霧處理并進行色彩校正，并在HSV色彩空間對排水管道圖像進行亮度校正，總體算法流程如圖5所示。

圖5 算法流程圖

5 實驗結果與分析

實驗視頻數據來自中國礦業大學(北京)自主研發的管道機器人，如圖6所示。通過建立排水管道視頻圖像數據集來驗證本方法的有效性。實驗中排水管道圖像數據集截取自北京市不同區域的排水管道。實驗所用的計算機配置為CPU Intel(R) Core(TM) i7-8700 3.0 GHz, RAM 16 GB。實驗算法編程使用vs2015。

圖6 管道機器人

利用信息熵、峰值信噪比PSNR以及水下圖像質量評價UIQM[16]質量評估指標對本文算法處理過程進行評估。信息熵反映圖像信息豐富程度，信息熵越大，圖像越清晰。峰值信噪比是被處理圖像與參考圖像之間的均方誤差，數值越大代表保留圖像質量信息越高，失真越小。水下圖像的退化機理主要包括光線吸收導致的顏色偏差，光線前向散射導致的細節模糊和光線后向散射造成的低對比度，與排水管道霧氣圖像的衰退機理相似，因此用UIQM作為作為評價依據，包含圖像的色度評價指標UICM、清晰度評價指標UISM和對比度評價指標UIConM，數值越大表示圖像效果越好，UIQM計算公式為

UIQM=c1UICM+c2UISM+c3UIConM

(19)

式(19)中：c1、c2、c3為各個分量的權重，c1=0.028 2，c2=0.295 3，c3=3.575。

在實驗驗證中，選取6幅不同區域的排水管道，如圖7所示，其中圖7(a)～圖7(c)為無缺陷排水管道，圖7(d)包含輕度腐蝕缺陷，圖7(e)包含中度腐蝕缺陷，圖7(f)中包含中度腐蝕以及異物侵入缺陷。

millisecond表示毫秒;distance表示距離

如表1所示，Retinex算法雖然具有較高的PSNR值，提升了視覺效果，但圖8整體去霧效果不佳，大部分霧氣無法去除。DCP算法去能夠達到去霧的目的，然而無法去除光斑，并且背景信息丟失嚴重有嚴重的色偏現象，如圖9所示，管道腐蝕區域缺陷不明顯，嚴重影響管道病害研判。

表1 Retinex算法評價指標

millisecond表示毫秒;distance表示距離

millisecond表示毫秒;distance表示距離

EPDN算法相較于前兩種算法，其能夠達到較大范圍的去霧目的，同時對于背景信息的保存也較為完整。但圖10中該算法無法去除光斑，且使得圖像“暗處更暗”的現象更加明顯，從而影響管道病害研判的精度。

millisecond表示毫秒;distance表示距離

如圖11所示，本文算法在去霧的同時糾正了色偏，能壓制了圖像中的光斑現象，提高了對比度和清晰度，顏色飽滿，細節清晰，具有良好的視覺效果并且相較于原圖與其他算法，本文算法的結果可以更清晰的觀察到管道缺陷。如表1和圖12所示，本文算法在UIQM指標最具優勢，同時具有較高的信息熵和PSNR值，意味著相比于其他算法圖像具有更好的清晰度和對比度，信息熵和峰值信噪比占較大優勢，圖像信息豐富、失真小。

millisecond表示毫秒;distance表示距離

圖12 各算法在數據集上評價指標的均值

6 結論

針對目前大多數去霧算法在排水管道中的應用存在的去霧不徹底，存在色偏以及光斑問題，本文提出了一種排水管道圖像霧氣及光斑干擾去除方法。方法結合管道霧氣特征，構建暗通道先驗法去霧算法，使用一種多尺度Retinex色偏恢復算法恢復色彩，最后改進二維伽馬函數，通過降低鏡頭污染，實現對圖像光斑的壓制。本文算法在排水管道有霧圖像樣本中信息熵、PSNR、UIQM指標優于文中其他去霧算法，主觀上具有良好視覺效果，在去霧的基礎上，能更好地處理顏色和細節特征，從而提高排水管道病害解譯準確度。