基于多特征融合的鐵路護欄網格提取

藍智敏,梁禮明,盛校棋,黎富泉,吳健

(江西理工大學 電氣工程與自動化學院，江西 贛州 341000)

0 引 言

鐵路沿線護欄是鐵路網絡重要基礎設施，也是鐵路綜合檢測重要對象之一，其作用在于防止行人、動物及異物侵入鐵軌，確保列車正常高速安全運行。綜合檢測列車裝配有視頻采集設備[1],能夠采集鐵路沿線的環境信息，為后期人工檢測提供護欄圖像，節省大量人力和物力。盡管如此，獲取的護欄圖像仍需人工識別是否有缺損，人工識別效率低、即時性差，無法勝任我國現代化高速鐵路檢測任務。為了降低成本、提高護欄檢測準確率和即時性，亟需研發一套完備的自動化智能識別系統，而該系統的前期工作關鍵在于如何準確提取復雜背景下不同類型的完整護欄網格圖像，以獲取其先驗信息，用于后期智能識別算法的研究。

鐵路護欄網格圖像提取或網格形狀目標提取方面的文獻較少，其中，文獻[2]基于形態學的分割方法能夠利用結構元素分解復雜形狀，從中提取有用信息，在無復雜背景的單一網格提取中能夠準確定位分割。然而，對于背景復雜的鐵路護欄網格圖像，盡管增大結構元素的尺寸能有效區別出背景和目標，但仍保留了大量背景信息，造成誤分割；文獻[3]通過均值漂移算法對鐵路護欄圖像進行平滑和分割，并針對過分割的圖像采用區域合并，最終實現護欄網格圖像的提取。該算法具有復雜度低、運算效率高等優點，在目標和背景灰度相差較大的情況下，能夠有效地提取目標，由于該方法只關心圖像的灰度特征而忽略空域特征，因此，抗噪性能差，容易造成欠分割。

鐵路護欄網格圖像的背景復雜多樣，但以植被最為常見，其顏色與護欄顏色極其相近，是護欄網格圖像提取任務中最難的一種情形，常見的分割算法難以滿足需求。因此，本文綜合考慮鐵路護欄網格圖像的線性特征、方差特征和矩特征，提出一種融合多特征與二維最大熵的鐵路護欄網格圖像提取算法，相對于其他傳統方法，它能在復雜背景下提取出更完整的護欄網格圖像，以期實現鐵路沿線破損防護欄網的自動檢測，改變人工巡查費力費時現狀，提高工作效率。

1 圖像預處理

為了降低光照等環境因素影響，提高護欄網格圖像的信噪比，在護欄網格圖像特征提取前需要對原始圖像進行預處理。

1.1 圖像降噪

常見的圖像降噪方法有高斯濾波、均值濾波、中值濾波、維納濾波等，這些濾波器容易導致圖像的邊緣細節模糊，丟失護欄的空域信息[4]。為了能夠保留護欄的空域特征，采用雙邊濾波降噪[5]。在雙邊濾波同時考慮圖像的空域信息和亮度信息，這是對像素空間鄰近度與圖像亮度相似度的一種折衷處理，不僅不會丟失邊緣細節信息，而且還能達到保邊去噪的效果。雙邊濾波根據每個像素點及其鄰域構建不同的模板權重，對于窗口大小為Wb×Wb的模板，模板中心像素點濾波后的亮度值Ib(x,y)計算式為[6]

Ib(x,y)=∑i,jI(x,y)ωs(x,y,i,j)ωc(x,y,i,j)/
[∑i,jωs(x,y,i,j)ωc(x,y,i,j)]，

(1)

式中：(x,y)為模板窗口的中心點坐標；(i,j)為模板窗口其他像素的坐標；I(x,y)為原始模板中心像素點的亮度值；ωs(x,y,i,j)為相似度權重，描述了兩像素點之間亮度的相似程度；ωc(x,y,i,j)為鄰近度權重，描述了兩像素點之間歐氏距離的鄰近程度。

1.2 圖像增強

為了降低光照因素影響，有效地提取出護欄網格圖像特征，需要對降噪后的護欄網格圖像進行圖像增強。伽馬變換能夠將圖像的亮度級變換到更窄或更寬的區域[7]。伽馬變換定義為

Ig(x,y)=αIb(x,y)γ，

(2)

式中：Ig(x,y)為伽馬變換后像素點(x,y)的亮度值；α和γ分別為控制因子和變換因子，α通常設置為1，當圖像整體或者感興趣區域比較暗時，可令0<γ<1，從而增加圖像對比度以呈現更多的細節信息，當圖像整體或者感興趣區域比較亮時，可令γ>1，從而減小圖像的對比度，以降低光照因素影響。

2 特征提取

為克服單一特征易造成欠分割的難題，并且結合護欄自身的特點，依次提取護欄的線性特征、方差特征和矩特征，實現多特征融合。經過預處理的護欄網格圖像，其綠色通道具有更高的信噪比，故將預處理過的彩色護欄網格圖像Ig轉換為綠色通道的護欄網格圖像G，以高效提取特征。此外，在提取每一類特征之前，使用與該類特征模板尺寸大小相適應的高斯濾波以模糊不感興趣特征，從而降低不同特征之間的耦合程度。

2.1 線性特征

鐵路護欄具有優良的線性特征，可近似看成水平直線和垂直直線，故可以選取0°和90°方向的線性特征?？紤]到護欄使用一段時間后可能會有輕微變形，以及受地形等因素影響，護欄并非絕對的水平與垂直走向，故還需在0°和90°的基礎上正負偏移5°，再選取4個方向的線性特征。為便于表述，記角度βk={-5°,0°,5°,85°,90°,95°}對應的線性特征為GLk，其中k=1,…,6。

為確保提取結果具有連通性，分別選取5個尺寸的模板Wl×Wl，Wl={3,5,7,9,11}，則模板的平均灰度值計算式為

(3)

其中，G(i,j)為模板內像素點(i,j)的灰度值。

(4)

經過模板中心像素點(x,y)的垂直方向及正負偏移5°方向的3條直線的平均灰度值可按行遍歷計算，計算公式為

(5)

由式(4)和(5)可以計算出經過中心像素點(x,y)的6條直線的平均灰度值，該點的線性特征GL(x,y)的定義為

(6)

式中，max {·}為取6條直線平均灰度值中的最大值。

2.2 方差特征

方差反映了圖像灰度值的離散程度，表征了圖像的異常點，通過提取圖像的方差特征，能夠獲取護欄的輪廓信息，以區分背景區域[8]。為獲取具有尺寸不變性的方差特征，分別選取3個尺寸的模板Wv×Wv，Wv={3,5,7}，則模板中心像素點(x,y)的方差特征GV(x,y)定義為

(7)

根據式(7)，每計算一次GV(x,y),滑動一次窗口，直到遍歷完整幅圖像；依次選取3種尺寸的模板，可以得到3種尺寸的方差特征GVk。定義圖像的方差特征為

(8)

2.3 矩特征

矩特征具有灰度、平移、尺度和旋轉不變性，能夠檢測物體的邊緣與輪廓。結合護欄網格圖像的特點，本文主要采用Haar矩[9]以獲取具有灰度不變性、平移不變性和尺度不變性的特征，選取3個尺寸的模板Wh×Wh，Wh={3,5,7}，并分別計算水平矩特征和垂直矩特征。

(9)

模板中心像素點(x,y)的垂直矩特征定義為

(10)

3 二維最大熵分割

信息熵(information entropy)的概念來源于信息論，一維最大熵分割算法[10]是將圖像每個像素點的灰度值看作隨機的信號，利用使目標熵與背景熵達到最大時的閾值進行圖像分割。由于一維最大熵分割算法只考慮圖像像素的灰度值信息，而沒有考慮像素的空間信息，分割性能較差。而二維最大熵分割算法[11]同時考慮了像素點灰度值及其鄰域平均灰度值，分割性能有較大提升。根據同態性，無論是目標區域還是背景區域，其內部的像素灰度級比較均勻，像素點的灰度值與該點鄰域平均灰度值相近，故可將像素點灰度值與鄰域平均灰度值看作同一類灰度；目標區域與背景區域所占比例最大，目標與背景的分界處像素點灰度值與鄰域平均灰度值差異比較大，故可找到一個最優閾值將二者分離。

設一幅圖像總像素點數為m×n，灰度級數為λ，Nij表示該圖像中點灰度為i且鄰域平均灰度為j的像素點個數，則點灰度-鄰域平均灰度(i,j)的發生的概率可表示為

(12)

由于二維最大熵分割的核心思想是找到一個最優的閾值向量(s,t)，將目標與背景一分為二，故不妨設目標區域由點灰度低于s、鄰域平均灰度低于t的像素點組成，則目標區域概率和背景區域概率分別定義為

(13)

(14)

根據信息熵理論，定義二維熵函數為

(15)

由式(13)～(15)可計算出目標和背景的二維熵,分別為

(17)

熵判別函數定義為

φ(s,t)=Eo(s,t)+Eb(s,t)。

(18)

根據最大熵原理，選取最優閾值向量應滿足

(19)

由式(19)計算出最優閾值向量，進行二維最大熵分割。

4 加權融合與圖像后處理

4.1 加權融合

對經過形態學處理的3種初分割結果進行分析，根據每種初分割結果的噪聲多少及護欄網格的完整性、粗細程度，決定3種初分割結果在加權融合中所占的權重[12]。加權融合算法定義為

(20)

式中：Gl(x,y),Gv(x,y)和Gh(x,y)分別為線性特征圖、方差特征圖和矩特征圖的初分割結果中像素點(x,y)的灰度值；ωl,ωv和ωh為灰度對應的權重。

經過二維最大熵初分割，護欄像素點的灰度值較大，接近255；非護欄像素點的灰度值較小，接近0。通過給各個初分割結果賦予權重，進行加權求和，能有效地決策出該點是否為護欄像素點。

4.2 圖像后處理

連通域去噪核心思想是目標物的連通域面積較大，而噪聲的連通域面積較小，通過反轉連通域面積較小的區域為背景，從而達到去噪的目的。連通域去噪主要有4鄰域標記法和8鄰域標記法[13]，本文采用8鄰域標記法，并以連通域內像素點個數代表連通域的面積。通過定義連通域標簽label(x,y)來記錄輸入圖像Gf像素點(x,y)的信息，其取值為{1,2,3}，1代表未檢查，2代表檢查合格或不需要檢查，3代表檢查不合格。8鄰域標記法的具體步驟如下：

步驟1設定背景灰度閾值Tb，若點(x,y)的灰度值Gf(x,y)

步驟2以某一label為1的像素點為起點，以8鄰域為步長，開始遍歷檢查。判斷該點8鄰域內像素點的灰度值是否大于Tb，若大于Tb，則label更新為3，表示該點不合格，否則label更新為2，依次進行，直到出現某一像素點的8鄰域灰度值全都小于Tb，說明該連通域檢查完畢，統計該連通域內label為3的像素點個數，記為A1。

步驟3重復步驟2，可統計出第i個連通域中label為3的像素點個數Ai。

步驟4設定連通域像素點個數閾值Ta，若Ai

5 結果與分析

本實驗仿真平臺為Visual Studio 2017和opencv3.4，計算機配置為Intel?CoreTMi5-8300H CPU，16G內存，Nvidia GeForce GTX 1060 GPU，采用64-bit Win10 operating System。

5.1 預處理

對護欄圖像進行雙邊濾波降噪和伽馬變換圖像增強，如圖1所示。雙邊濾波器的像素鄰域直徑d依次取5，15和25，可得到3種不同濾波尺寸的圖像，其中，圖1(b)濾波尺寸太小，降噪效果不足；圖1(d)濾波尺寸太大，雖然將背景大部分模糊，但也模糊了部分護欄；圖1(c)濾波尺寸選取合適，既把背景中的樹木模糊又將護欄很好保留。對圖1(c)進行伽馬變換，由于護欄圖像整體亮度較大，伽馬值應大于1，伽馬值依次設置為2和3。其中，圖1(f)過度弱化了背景，導致圖像整體較暗，而圖1(e)伽馬值選取合適，既突顯了目標區域又弱化了背景區域。

圖1 雙邊濾波降噪和伽馬變換圖像增強的參數選擇

5.2 特征提取

依次提取圖1(e)的線性特征、方差特征和矩特征。其中線性特征模板尺寸Wl={3,5,7,9,11}，角度βk={-5°,0°,5°,85°,90°,95°}；方差特征模板尺寸Wv={3,5,7}；矩特征模板尺寸Wh={3,5,7}。提取的特征如圖2所示。

圖2 鐵路護欄網格特征提取結果

5.3 最大熵初分割

對圖2分別進行一維最大熵分割與二維最大熵分割，初分割結果如圖3所示，對比兩種分割方法發現：一維最大熵分割雖然背景噪聲很小，但是護欄出現大量孔洞甚至斷裂，這主要是因為一維最大熵分割算法只考慮圖像像素點的灰度值，從而部分與背景有相近灰度值的護欄像素點被當成背景；二維最大熵分割算法能夠分割出更多的目標區域，雖然一些背景也被分割進去，但該類噪聲與目標相比連通性較差且分布獨立，經本文的后處理算法即可去除，故選取二維最大熵初分割結果。

5.4 加權融合與連通域去噪

對比圖3(d)、(e)和(f)發現，線性特征初分割的護欄最完整，但護欄較細，噪聲較多；方差特征初分割噪聲最少，但護欄分割過粗且有斷裂；矩特征初分割效果最差，噪聲多且護欄有孔洞和斷裂。綜上分析，在加權融合進行權重選擇時，線性特征權重應不小于0.5，方差特征權重應大于矩特征權重。當線性、方差和矩特征權重分別取為0.1，0.7和0.2時，加權融合結果如圖4(a)所示；當線性、方差和矩特征權重分別取為0.1，0.2和0.7時，加權融合結果如圖4(b)所示；當線性、方差和矩特征權重分別取為0.7，0.2和0.1時，加權融合結果如圖5(a)所示，對圖5(a)進行連通域去噪，結果如圖5(b)所示。

圖3 特征圖的一維最大熵與二維最大熵初分割結果對比

圖4(a)由于方差特征權重過大，導致提取的護欄過粗和斷裂；圖4(b)由于矩特征權重過大，導致噪聲過多，提取的護欄有孔洞和斷裂；圖5(a)各特征權重比例合適，融合后護欄完整且粗細合適。圖5(b)為連通域去噪處理結果，能夠實現較為完整的護欄網格提取，提取的護欄左上角和右下角較細，主要是因為在原圖中，護欄的左上角和右下角出現生銹的情況，這也間接反映了護欄的這兩個部分可能需要進行維護。

圖4 不同特征權重比例下加權融合結果對比

圖5 線性、方差和矩特征權重分別取0.7，0.2和0.1時加權融合及其連通域去噪結果

為進一步體現本文方法的有效性和可行性，對文獻[2-3,10,14]分割算法進行復現，運用于鐵路護欄風格圖像的提取，護欄網格最終提取結果如圖6所示。文獻[2]形態學算法能夠初步區分出背景與目標，但仍保留大量背景信息，易模糊目標，不利于護欄網格提取；文獻[3]均值漂移算法網格提取效果較好，但仍有較大噪聲，且護欄存在部分空洞現象，造成欠分割；文獻[10]一維最大熵算法提取結果背景噪聲小，但提取的護欄網格偏細，且有斷裂；文獻[14]OTSU算法易造成過分割，提取出大量背景；本文算法提取的護欄網格圖像較為完整且噪聲少。

圖6 不同算法鐵路護欄網格圖像提取結果對比

6 結 語

鐵路護欄是鐵路重要基礎設施，其網格圖像精確提取是后續鐵路護欄檢測關鍵步驟。本文對護欄的線性特征、方差特征和矩特征進行融合，解決了單一特征易造成誤分割和欠分割問題；利用二維最大熵進行分割，克服了一維最大熵分割抗噪性能差的缺點；采用雙邊濾波、伽馬變換和連通域去噪方法，大幅度降低噪聲。本文方法在護欄網格圖像提取方面較一些傳統的方法有優異的性能，但也存在不足之處，主要有實驗參數需要手動調節，不具備自適應性；基于模板的特征提取，會導致圖像的四周邊緣無法被檢測到。因此，下一步工作主要是解決參數自適應問題和如何根據同態性讓圖像邊緣內側鄰域像素灰度值近似代替邊緣像素值，以減小特征提取誤差。