復雜場景下隧道電纜圖像分割算法

韓彥芳，楊海馬，楊志豪，張裕聰，王紫菲

（上海理工大學 光電信息與計算機工程學院，上海 200093）

隧道內電纜以卡具固定在水泥墻面上，電纜脫落會帶來嚴重的安全問題。人工巡視耗時長、步行檢測效率低，易疲勞，車行檢測易漏檢。在巡視車上安裝圖像采集裝置獲取圖像，采用圖像處理技術進行檢測能極大提高檢測效率和精確度。但成像環境的影響，常常導致成像光照不均，而隧道中水泥墻面的潮濕使墻面和電纜成像灰度相近，使光照不均和墻面干擾成為影響圖像分割結果的關鍵，尤其在工程應用中，更需要簡單、高效的方法來解決這一問題。

在光照不均方面，受益于Land 等[1]提出的人眼視覺亮度與色彩感知模型——Retinex 理論，許多研究者提出了多種有效方法[2]。如同態濾波[3]，通過設計頻域濾波器在傅立葉域對不同光源分量的頻率成分進行濾波，從而實現灰度均衡化。傳統方法通過線性和非線性灰度變換如伽馬校正等[4]方法增強對比度從而消除光照不均的影響；以及基于灰度統計直方圖方法進行灰度均衡等[5]。近年流行的深度學習方法在廣泛的樣本訓練基礎上可以得到比傳統方法更好的效果，但是其訓練過程的不可解釋，導致其訓練往往無法考慮圖像工程中更高一級處理的需求[6]。在基于數學形態學理論方面，Liu 等[7]提出用Top-Hat 變換結合灰度變換的方法進行光照不均帶鋼表面圖像處理，改善了后續二值化結果。這些方法在不同應用領域均取得了很好的效果。但以上方法基于灰度值進行全局增強，而沒有考慮圖像灰度值的空間分布特點。對隧道電纜圖像而言，其光照的不均衡導致目標和背景灰度相同或相近，使全局灰度均衡的方法沒辦法將目標和背景的灰度區分開，因而導致基于灰度特征相似性的圖像分割方法失效。

另一方面，隧道不同位置存在墻面潮濕、剝落、污跡、帶狀干擾等不利因素的影響，導致墻面成像灰度與電纜灰度相近，傳統基于特征相似性的區域分割方法很難區分兩者[8-9]，而基于特征不連續性的邊緣檢測方法受墻面和電纜表面噪聲的影響也存在很大困難[10]。基于深度學習的方法可以充分挖掘多種圖像特征，但需要大量樣本的歸類、整理和標記工作以進行網絡訓練[11-12]。區域生長方法[13-16]可以同時利用空間和灰度分布信息，但往往耗時長、因噪聲和光照不均的影響，會出現空洞和過分割現象。

文中以隧道電纜檢測為應用背景，根據電纜圖像空間和灰度分布特點，探討改進區域生長電纜分割方法。針對光照不均、墻面不利因素影響以及耗時長問題，在分析電纜圖像空間和灰度分布特性的基礎上，采用灰度均值投影包絡擬合離差，對電纜ROI 進行定位，從而消除光照不均和墻面對圖像分割的影響；同時，結合電纜空間位置信息，初始化種子點并設定終止準則，大大減少了待處理數據量。

1 隧道電纜圖像分析

1.1 隧道電纜圖像采集

隧道電纜圖像采集系統由巡視車上加載光源、圖像采集卡、運動控制卡構成，獲取圖像數據及與圖像相對應的公里標數和工作距離數據，將相應數據輸入計算機進行存儲、分析，公里標數和工作距離用于對檢測結果圖像所對應的實際地點進行定位，以通知人工及時檢修。隧道電纜圖像采集系統見圖1。

圖1 隧道電纜圖像采集系統Fig.1 Tunnel cable image acquisition system

從工程應用需求和數據采集效率的角度考慮，視頻采集系統獲取的只有光強信號，沒有波譜信息。圖像采集過程中，巡視車行進方向與電纜平行，墻面正對光源中心區域較亮，遠離光源部分的墻面較暗，導致所采集圖像光照不均。同時，潮濕墻面與大部分電纜成像灰度值都較低，導致常用的OTSU 閾值法無法將電纜從背景中提取出來。圖2 所示原始圖像大小為1 000×1 800，其OTSU 二值化結果可明顯看出光照不均的影響。圖2 中，左邊一列為原始圖像，右邊一列為對應的OTSU 閾值化結果。

1.2 電纜圖像灰度分布分析

由圖2 可知，由于光源能量隨距離增大而衰減，使照度在水平方向上呈現出從中心向兩側遞減，光源行進方向（垂直方向）照度均衡的特點。同時，電纜在圖像中也具有明顯的垂直走向，所以如果將像素灰度值向垂直方向投影，可以結合空間和灰度值特征對墻面較暗區域與電纜區域的特點進行分析。基于這一思想，提出如下垂直方向投影法進行灰度分布分析。

設圖像為f(x,y),圖像大小為M×N，則定義垂直方向灰度均值投影V為：

依據式（1）對圖2 中原始圖像a—f 進行計算，得到垂直方向灰度均值投影，如圖3 所示，橫坐標為圖像的列數，縱坐標為計算出的列向灰度均值投影V，其結果分別與圖2 中a—f 原始圖像對應。

圖2 電纜原始圖像及OTSU 閾值化結果Fig.2 Original image and OTSU thresholding results of cable

圖3 垂直方向灰度均值投影Fig.3 Vertical projection of gray mean

通過圖像采集系統獲取了1 km 的隧道視頻，共3 098 幅圖像。經統計，發現不論是墻面潮濕、污跡、涂畫、裂紋還是電纜位置靠左或右側邊、表面污損，其灰度均值投影曲線包絡都表現為二次曲線走勢。其中，電纜在空間上對應于曲線的谷點位置，光源中心對應峰值位置，而在水平方向，隨著遠離中心位置，灰度列均值急劇衰減，以致圖像左右兩側灰度甚至低于電纜區域灰度；當墻面整體潮濕（圖3b）而電纜表面反射光較強時，電纜對應曲線兩谷值中間包括一個峰值所在的區域；當電纜位于圖像左右兩端位置時，與墻面的灰度相近，其可區分度降低（如圖3d 所示）。

4）當墻面有形似電纜的低灰度區域時，（如圖3f）曲線會有多個谷點，而電纜傾斜角度較低，區域內部特征一致性較高，對應的谷點一般最小。

通過以上分析，發現投影曲線谷點區域對應于電纜所在位置，因電纜在圖像中為豎直走向，所以以谷點為中心的矩形區即電纜所在ROI（Region Of Interest）。如果提取ROI 區域進行電纜分割，則可以避開光照不均衡和墻面潮濕、剝落、涂畫、裂紋等多種不利因素的影響。同時，大大降低待處理的數據量。基于這種設想，文中提出基于灰度投影谷點檢測的ROI 提取方法以進行電纜圖像分割。

1.3 二次多項式包絡離差ROI 提取

基于最小二乘法，采用二次多項式對灰度投影曲線V外包絡函數進行擬合得到擬合曲線C，則定義離差r為：

由于電纜在投影曲線中往往對應最遠離包絡函數的谷點，所以可通過求取離差最大值獲取電纜位置l。

式中：arg（x）為求x對應的坐標。

由圖2a—f 得到的包絡曲線及其擬合離差結果見圖4。其中，圖4a—f 為灰度均值垂直方向投影曲線包絡擬合結果，圖4g—l 為根據式（2）計算得到的包絡離差曲線圖。兩類圖的橫坐標均為圖像列數，左欄圖縱坐標為圖像灰度均值垂直方向投影包絡擬合值，右欄圖縱坐標為擬合離差值。從圖4 中看出，包絡離差曲線的峰值非常明顯，對應于電纜所在列位置。

圖4 投影包絡擬合及離差Fig.4 Envelop fitting and deviation of projection

2 基于區域生長的ROI 電纜分割

2.1 ROI 電纜特征分析

基于以上分析，可知線纜區域內像素點具有如下特征。

1）像素列坐標均在擬合離差最大值坐標附近。

2）線纜區域內部像素一致性較高。

3）墻面剝落嚴重時，區域灰度變化大。

4）卡具寬度比線纜大。

因此，定義特征量如下。

1）設ROI 圖像為f（x,y）其大小為M×N，擬合離差最大值列坐標為l，則定義空間偏移量d為：

2）設r為表示列數的隨機變量，L為列數，V(i)為第i列像素灰度均值投影，Vpeak表示灰度均值投影的峰值，定義為：

根據H，尋找曲線低谷對應的坐標范圍，即得卡具所在的行坐標范圍，在此行坐標范圍內，可對卡具在水平方向的分布范圍進行搜索定位，從而得到卡具水平方向跨度D。

2.2 ROI 區域生長模型

基于先驗知識和以上特征分析，采用區域生長算法模型進行電纜分割，可以方便地將灰度分布特征和空間分布特征結合起來。為此，提出如下種子點選擇、生長準則和終止準則。

種子點選擇：在ROI 內，根據式（3）選擇列坐標為l的所有像素為種子點S，種子點個數為N，種子點灰度均值為m。

生長準則：對于種子點四鄰域中待檢測像素點x（i，j）的判斷準則為：|m-x|＜T，T為閾值。當x滿足生長準則時，將x加入種子點集合，S的個數N增加1，更新種子點灰度均值m。

終止準則：根據卡具水平方向分布范圍結果，設定空間偏移量閾值為D，根據式（4），當待檢測像素點空間偏移量d＞D或當待檢測點灰度值與種子平均灰度值m之差大于閾值T時，停止生長。

2.3 灰度均值方向投影ROI 區域生長分割算法

基于灰度均值投影和區域生長模型，在原始圖像上的電纜分割流程見圖5。

圖5 ROI 區域生長流程Fig.5 Flow chart of ROI region growing

設原始圖像為f（x，y），大小為M×N。

1）讀入圖像。

2）灰度投影包絡擬合。根據式（1）對圖像做垂直灰度均值投影，得到V（i），i=1,2,…,N，基于最小二乘原則，采用二次多項式對V進行包絡擬合，得到包絡曲線C（i）i=1,2, …,N。

3）ROI 提取，種子點初始化。根據式（2）計算包絡離差ri，根據式（3）得到離差最大值對應的列坐標l；由l確定電纜ROI 區域，并以圖像中第l列所有像素點初始化區域生長種子點。

4）卡具寬度估計。根據式（8）計算ROI 水平方向灰度均值投影，尋找谷點，對應于卡具所在行范圍，以此區域內所有像素垂直灰度均值投影確定卡具水平方向跨度D。

5）頻域高斯低通濾波。根據式（5）—（7）計算ROI 二階矩μ2，根據μ2大小判斷墻面剝落和涂畫情況，用以確定頻域高斯低通濾波器截止頻率D0,當μ2較大時，選擇較小D0進行濾波；

6）區域生長。計算種子點平均灰度值m，計算種子點四鄰域中像素點灰度值與m差值，及其空間偏移量d，根據生長準則生長。

7）終止條件判定。根據式（4），判斷待檢測像素空間偏移量d是否大于D，若d大于D，則停止生長；若d小于D，則判斷待檢測像素灰度值與種子點灰度均值之差是否小于閾值T，如果是，則將當前像素點加入種子點集合，更新種子點個數N，更新種子點灰度均值m，返回第6 步；如果否，停止生長。

8）輸出分割結果。

3 實驗結果及分析

光照不均、墻面裂紋、墻面潮濕、剝落和涂畫等是所有隧道成像中影響分割的主要原因。但各種狀況影響分割算法的角度不同，一種全局分割方法很難同時對所有墻面狀況下的圖像分割都取得好的效果。根據影響因素的不同，對巡視車圖像采集系統獲取的一公里隧道墻面數據共3 098 幅灰度圖像進行分類，構建了6 個數據集，分別對應于六種墻面狀況，即單純光照不均、墻面潮濕、污跡、裂紋、電纜位于圖像一端（暗區域）、條帶狀干擾等，圖2a—f 所示原始圖像分別展示了不同墻面類別的特點。所有圖像均存在光照不均問題，其中圖2a 所屬數據集墻面不利因素較少，主要為單純光照不均；圖 2b 所屬數據集主要為墻面潮濕而電纜表面特征一致性差；圖2c 所屬數據集主要為墻面潮濕且存在潮濕輪廓干擾；圖2d 所屬數據集主要為電纜位于圖像的一端暗區域中；圖2e 所屬數據集為墻面存在嚴重剝落和裂紋；圖2f 所屬數據集為墻面上存在與電纜形似的潮濕區域。為驗證算法的有效性，每個數據集由30 幅圖像構成。

對比實驗基于 6 個數據集進行。分別采用K-means 聚類和全局區域生長等傳統分割方法、目前得到廣泛關注的Unet 語義分割方法和文中的ROI 區域生長法進行實驗。

Unet 是一種基于編碼解碼結構的深度神經網絡，對小訓練樣本問題非常有效，在語義分割中得到廣泛關注和成功應用。首先從每個數據集中取3 幅圖像進行標注，將每幅圖像分成240×448 的圖像塊，對Unet網絡進行訓練，然后利用訓練好的Unet 網絡對每個數據集進行語義分割。Unet 網絡的訓練在單CPU 上進行，迭代次數為90 次，用時2 小時6 分鐘，訓練準確度和損失曲線見圖6。

圖6 Unet 訓練過程Fig.6 Process of Unet training

實驗在Windows10 操作系統下進行，對不同數據集，進行高斯核函數同態濾波后，分別采用K-means 聚類和全局區域生長進行分割，利用訓練好的Unet 網絡和ROI 區域生長算法，分別對每一個數據集進行測試，實驗在相同的軟硬件環境下進行，每種數據集中每張圖像的平均運行時間見表1。

從表1 中看出，全局區域生長方法耗時長的問題非常明顯，不考慮Unet 網絡訓練時間，只統計使用訓練好的Unet 網絡處理測試樣本時間，每種數據集的每張圖像平均運行時間也都在30 s 以上。基于ROI的區域生長由于極大降低了待處理數據量，算法運行時間大大降低。

表1 平均運行時間對比Tab.1 Comparison of average running time s

采用Unet 語義分割、K-means 聚類、全局區域生長與文中的ROI 區域生長分割分別對6 類數據集進行實驗對比。每類數據集取出典型實驗結果見圖7—12。

從圖7—12 可看到，光照不均和墻面不同狀況對基于全局灰度特征的圖像分割方法帶來極大困難，雖然Unet 網絡訓練準確度達到95%，但在測試中，背景干擾的影響和細節丟失的問題比較嚴重，雖然通過改進網絡結構和訓練方法，可以改善Unet 網絡的處理效果，但其處理測試樣本的時間也值得關注。基于灰度投影初始化種子點的全局區域生長法在墻面狀況較好時可以提取出電纜區域，但電纜表面一致性差或者墻面存在嚴重剝落和裂紋時（如圖8 和圖11），全局區域生長法也受到了很大影響。在不同墻面狀況下，基于ROI 的區域生長法避開了光照不均和墻面的影響，成功實現了電纜分割。

圖7 數據集1 實驗結果對比Fig.7 Comparison of segmentation result of data set 1

圖8 數據集2 實驗結果對比Fig.8 Comparison of segmentation result of data set 2

圖9 數據集3 實驗結果對比Fig.9 Comparison of segmentation result of data set 3

圖10 數據集4 實驗結果對比Fig.10 Comparison of segmentation result of data set 4

圖11 數據集5 實驗結果對比Fig.11 Comparison of segmentation result of data set 5

圖12 數據集6 分割結果對比Fig.12 Comparison of segmentation result of data set 6

分別對各種方法的分割正確率進行了對比。正確率的衡量應以滿足更高層應用需求為標準。鑒于圖像分割目的是為了得到獨立而完整的電纜區域，以用于最終的電纜脫落狀態識別，所以將正確率的衡量標準定為能否正確提取目標，而不受背景干擾。為此，采用2 個指標進行統計：誤把電纜當做背景的漏分率（TF）和錯把背景當做目標的誤分率（FT），其中，當電纜區域空洞面積大于電纜面積一半的情況，記為漏分TF。對每個數據集進行了實驗觀察和統計，得出漏分率TF 和錯分率FT 的結果如表2 所示。

表2 誤分率FT 和漏分率TF 結果對比Tab.2 Comparison of false segmentation rate FT and miss segmentation rate TF

為具體比較分割結果的準確程度，分別對每個數據集取出 3 幅圖像共 18 幅圖像進行標注得到groundtruth 數據，計算各方法分割結果與groundtruth之間的平均Dice 系數，如表3 所示。Dice 系數反映了分割結果與groundtruth 的重合程度，其值介于[0,1]之間。

表3 平均Dice 指數對比Tab.3 Comparison of average Dice parameter

由表2 和表3 可知，Unet、K-means 方法在墻面情況復雜時，漏分割和錯分割的比例很高，尤其是當墻面剝落和裂紋嚴重時，這2 種方法的平均Dice 系數不到0.2，算法幾乎失效。而大部分情況下，這2種算法受到墻面干擾的影響而會把墻面錯分為電纜；全局區域生長法因為利用了定位信息進行種子點初始化，所以對于單純光照不均、墻面潮濕和電纜位于圖像一端暗區域范圍時，平均Dice 系數在0.9 以上，分割效果相對較好，但在墻面存在條帶狀暗區域干擾時，平均Dice 系數不到0.2，該方法也會失效；不論是哪一類數據集，ROI 區域生長法的平均Dice 系數都在0.9 以上，獲得了很好的效果，只有在電纜表面一致性很差時，電纜內部會稍有小面積空洞（如圖8所示）。

4 結語

隧道電纜脫落圖像檢測具有重要安全意義和實用價值。其中，電纜圖像分割是實現電纜狀態識別的關鍵。通過分析隧道成像數據，建立了6 種墻面情況的數據集：單純光照不均、墻面潮濕、剝落、污跡、裂紋，基于特征相似性的圖像分割方法很難同時對所有數據集實現有效電纜分割。傳統區域生長法受種子點選擇、生長準則和終止準則的影響很大，往往存在耗時長、空洞和過分割問題。文中通過對電纜圖像空間分布和灰度分布特征分析，利用灰度均值投影包絡擬合離差，簡單、快速實現電纜ROI 定位，在ROI上通過區域生長實現電纜分割。針對種子點對區域生長算法的影響，充分利用定位信息進行種子點初始化，針對區域生長耗時長的問題，利用定位信息確定了區域生長空間范圍，極大降低了待處理數據量。與傳統分割方法及目前流行的Unet 語義分割的對比實驗結果表明，文中方法有效避開了光照不均和墻面多種不利因素對分割算法的影響，獲得了更好的效果，為進一步電纜狀態識別提供了有力支撐。