一種橋梁拉索表面缺陷圖像的背景分割方法研究

王建林，潘建平

(重慶交通大學 土木工程學院，重慶 400074)

隨著我國經(jīng)濟的高速發(fā)展，橋梁建設(shè)十分迅速，大跨徑的斜拉橋更是被廣泛采用。拉索是斜拉橋的主要受力部件之一，其耐久性和可靠性直接影響橋梁的安全和使用壽命，拉索表面因長期暴露于自然環(huán)境中并承受交變載荷，會出現(xiàn)不同程度的老化和損壞[1]。在橋梁運營期間，需要對拉索表面做年度檢測來確定拉索表面狀況和估計內(nèi)部鋼絲狀況，并形成檢測報告[2]。目前的實際生產(chǎn)工作中，亟待破解橋梁拉索表面缺陷自動化檢測技術(shù)。

當前，橋梁拉索表面缺陷檢測包括視頻采集和視頻處理。在視頻處理環(huán)節(jié)，相關(guān)單位主要采用人工瀏覽和截取圖像的方式進行，而自動化視頻處理尚處于研究試驗階段[3]。國外的一些高校和研究機構(gòu)對橋梁拉索視頻處理方法進行了研究[4-5]，但目前未見在實際生產(chǎn)應用中的相關(guān)報道和產(chǎn)品；國內(nèi)方面，重慶大學[6]、東南大學[7]和華南理工大學[8]也作了相關(guān)研究，在自動化視頻采集方面取得了一定成果，但視頻數(shù)據(jù)自動化處理技術(shù)仍不夠成熟。

橋梁拉索表面缺陷圖像背景分割是自動化視頻處理的關(guān)鍵技術(shù)環(huán)節(jié)，它將視頻圖像中的拉索區(qū)域與背景分割開，為后續(xù)的病害識別提供優(yōu)質(zhì)圖像。據(jù)此，本文提出了一種利用掩模處理來對橋梁拉索表面缺陷圖像進行背景分割的方法。

1 理論與方法

將圖像在Lab顏色空間利用閾值法進行分割，再利用數(shù)學形態(tài)學去噪，最后進行掩模處理完成圖像的分割。

1.1 顏色空間

1.1.1 RGB顏色空間

顏色空間是用數(shù)學方法將顏色形象化表示的彩色模型，RGB顏色空間是最常見的一種顏色空間。用RGB顏色空間表示顏色的方法簡單，但是不是均勻的顏色空間，不符合人的感知心理。在RGB顏色空間要改變一個顏色時，3個通道的值都需要修改，RGB顏色空間上的距離并不代表人眼視覺上的顏色相似性[9]。因此，在數(shù)字圖像分割中很少直接在RGB顏色空間進行，而是轉(zhuǎn)換到其它顏色空間進行處理。

1.1.2 Lab顏色空間

Lab顏色空間是一種與設(shè)備無關(guān)的顏色空間，也是一種基于生理特征的顏色空間，即用數(shù)字化的方法來描述人的視覺感應，因此在數(shù)字圖像分割中具有優(yōu)勢[10]。Lab顏色空間中明度和顏色是分開的，如圖1所示，L分量用于表示像素的亮度，取值范圍是[0,100]，表示從純黑到純白；a表示從紅色到綠色的范圍，取值范圍是[127,-128]；b表示從黃色到藍色的范圍，取值范圍是[127,-128]。

圖1 Lab顏色空間立方體

1.1.3 RGB顏色空間轉(zhuǎn)Lab顏色空間

RGB顏色空間無法直接轉(zhuǎn)換到Lab顏色空間，需要先轉(zhuǎn)換到XYZ顏色空間再轉(zhuǎn)換到Lab顏色空間[11]，即RGB—XYZ—Lab。因此該顏色空間轉(zhuǎn)換分兩部分進行，具體步驟如下所示：

1)RGB顏色空間—XYZ顏色空間

假設(shè)r、g、b為3個顏色通道的值，取值范圍均為[0,255]，轉(zhuǎn)換式如式(1)所示：

(1)

其中，gamma函數(shù)是用來對圖像進行非線性色調(diào)編輯，目的是提高圖像的對比度，該函數(shù)不是唯一的。

2)XYZ顏色空間—Lab顏色空間

假設(shè)L、a、b是最終的Lab顏色空間3個通道的值，轉(zhuǎn)換式如式(2)所示：

(2)

其中X、Y、Z是RGB轉(zhuǎn)XYZ后計算出來的值，Xn、Yn、Zn的默認值一般為95.047，100.0，108.883[11]。

1.2 閾值分割

閾值分割方法直觀、簡單、計算速度快，且其處理過程性能穩(wěn)定，因此圖像閾值分割方法是目前最受青睞的一種圖像分割方法。常用方法包括直方圖法、Otsu法、分水嶺法等。

1.2.1 閾值分割原理

設(shè)原圖像為f(x,y)，經(jīng)過分割后的圖像為g(x,y)，單閾值分割的目的是確定一個閾值T，將大于T的像素點的值置為1，小于T的值置為0，如式(3)所示：

(3)

單閾值分割后的圖像僅有灰度級為0和1的兩類像素，該分割方法適用于僅將圖像分割為目標和背景兩部分，且灰度級范圍分布明顯不同的情況。

1.2.2 直方圖閾值分割法

圖像的灰度級直方圖反應了一幅圖像中灰度級分布信息，是閾值選取的重要參考依據(jù)[12]。直方圖法分割形式簡單，按照一定的規(guī)則找到一個閾值T即可完成分割，該方法可以通過選取一個初值，然后進行迭代找出最佳閾值，也可根據(jù)直方圖人工選取最佳閾值。

1.3 數(shù)學形態(tài)學去噪

數(shù)學形態(tài)學的語言是集合論，數(shù)學形態(tài)學中的集合表示圖像中的對象，在二值圖像中，所有白色像素的集合是該圖像的一個完整的形態(tài)學描述[13-14]。數(shù)學形態(tài)學的基本思想是基于結(jié)構(gòu)元SE的操作。

1.3.1 數(shù)學形態(tài)學基本操作

數(shù)學形態(tài)學的基本操作有腐蝕、膨脹、開操作和閉操作。腐蝕是一種消除邊界點，使邊界向內(nèi)部收縮的過程；膨脹是將與物體接觸的所有背景點合并到該物體，使邊界向外擴張的過程；開操作一般會平滑物體的輪廓，斷開較窄的狹頸并消除細的突出物；閉操作會彌合較窄的間斷和細長的溝壑，消除小的孔洞，填補輪廓線中的斷裂。

1.3.2 連通分量的提取和孔洞填充

從二值圖像中提取連通分量是自動圖像分析的核心。如式(4)迭代過程可以完成連通分量的提取，其中，A是包含一個或多個連通分量的集合，并形成一個陣列X0，B是一個8或者4連通域的結(jié)構(gòu)元。

Xk=(Xk-1⊕B)∩A(k=1,2,3…).

(4)

當Xk=Xk-1時，迭代過程結(jié)束，Xk包含輸入圖像中的所有連通分量。

一個孔洞被定義為由前景像素相連接的邊界所包圍的一個背景區(qū)域，由式(5)迭代過程來完成孔洞的填充。

Xk=(Xk-1⊕B)∩Ac(k=1,2,3…).

(5)

其中，當Xk=Xk-1時，迭代過程結(jié)束，Xk包含所有被填充的孔洞。Xk和A的并集包含所有填充的孔洞及這些孔洞邊界。孔洞填充能夠填充圖中所有被邊界包圍的孔洞，但是不能填充與邊界相鄰的區(qū)域。

1.4 掩模處理

掩模處理的實質(zhì)是圖像乘法運算，是圖像代數(shù)運算的一種。圖像代數(shù)運算是指將兩幅或多幅圖像通過對應像素之間的加、減、乘、除運算得到輸出圖像的方法[15]。其中，乘法運算主要屏蔽圖像的某些部分來完成圖像掩模處理，或者乘以一個常數(shù)，改變圖像的亮度。其具體運算如式(6)所示：

C(x,y)=A(x,y)*B(x,y).

(6)

其中，A(x,y)和B(x,y)表示進行代數(shù)運算的兩幅圖像，C(x,y)表示A(x,y)和B(x,y)運算后的結(jié)果圖像。

2 分割試驗

2.1 試驗設(shè)計

通過分析爬索機器人獲取拉索圖像數(shù)據(jù)的原理，發(fā)現(xiàn)對于同一根拉索，由同一臺攝像機拍攝的圖像中拉索目標的位置固定。據(jù)此本文將針對同一根拉索，由同一臺攝像機獲取的圖像作為一個處理單元。

根據(jù)以上分析，提出了基于Lab顏色空間與掩模處理的圖像分割方法對橋梁拉索表面缺陷圖像進行背景分割。其主要思想是在一個處理單元中先通過閾值分割獲取一幅圖像的背景掩模，然后利用該掩模對處理單元的其它圖像作掩模處理，完成橋梁拉索表面缺陷圖像的分割。具體過程包括以下三個方面，其技術(shù)路線圖如圖2所示。

1)選擇一幅圖像，將該圖像從RGB顏色空間轉(zhuǎn)換到Lab顏色空間，在Lab顏色空間進行閾值分割；

2)對分割后的圖像進行數(shù)學形態(tài)學處理，得到該圖像的背景掩模；

3)利用該背景掩模對該處理單元所有圖像進行掩模處理，得到所有圖像的目標區(qū)域，完成拉索圖像背景與目標的分割。

圖2 拉索圖像分割技術(shù)路線圖

2.2 分割試驗

為了使實驗結(jié)果具有可比性，所有的實驗都在處理器為Intel(R) Xeon(R) CPU E3-1231 v3，主頻為3.40 GHz，內(nèi)存為8.0 GB的PC機上，以MATLAB 2013A為平臺進行。

本次實驗數(shù)據(jù)由爬索機器人在野外實際獲得，具有實際應用價值。實驗一共選取了512幅橋梁拉索表面缺陷圖像，每幅圖像大小約10 KB，是同一根拉索，由同一攝像機獲取視頻中的一部分圖像，將其作為一個處理單元。包括了無損傷的圖像、輕微刮傷的圖像、嚴重損壞的圖像和有污跡的圖像等，具有很強的代表性。

2.2.1 基于Lab顏色空間的單閾值分割

首先將一幅原始橋梁拉索表面缺陷圖像從RGB顏色空間轉(zhuǎn)換到Lab顏色空間，然后在L通道進行直方圖單閾值分割，分析直方圖模式，并優(yōu)化設(shè)置分割閾值，得到初步的拉索目標區(qū)域。如圖3所示為試驗中的一幅橋梁拉索表面缺陷圖像，圖4是該圖像在RGB顏色空間中R、G、B3個通道的直方圖和Lab顏色空間中L、a、b3個通道的直方圖模式對比圖。

圖3 拉索表面缺陷圖像

圖4 RGB-Lab顏色空間3個通道直方圖對比圖

對比直方圖模式，在RGB顏色空間3個通道的直方圖都呈正態(tài)分布，信息分布廣泛，在Lab顏色空間，只有L通道呈正態(tài)分布，信息分布廣泛，而a、b兩個通道信息全部集中于中間部分。橋梁拉索表面缺陷圖像分割的目標是將其分為目標區(qū)域和背景兩部分，因此，在Lab顏色空間選擇L通道直方圖單閾值分割方法進行分割，能夠快速準確地分割出目標區(qū)域和背景區(qū)域。在該試驗中，通過綜合分析與優(yōu)化，將分割閾值設(shè)置為105，其最終分割結(jié)果如圖5所示。

圖5 Lab顏色空間閾值分割結(jié)果

2.2.2 數(shù)學形態(tài)學去噪

數(shù)學形態(tài)學處理的具體流程為：

1)對閾值分割結(jié)果用結(jié)構(gòu)元為3×3的全1矩陣 進行開運算，去除較窄的狹頸和消除細的突出物，完成輪廓的平滑，得到開運算二值圖像如圖6(a)所示；

2)標記開運算二值圖像的所有連通分量，求圖像中所有連通區(qū)域的面積，選取面積最大的連通域，即為拉索目標區(qū)域圖像，如圖6(b)所示；

3)對最大連通域圖像進行孔洞填充，填充位于拉索目標區(qū)域的背景，得到填充孔洞后的二值圖像，如圖6(c)所示；

4)對填充孔洞后的二值圖像做邏輯非運算，提取所有連通分量，選取面積最大的兩個連通域，去除與邊界相連的噪聲，即可得到拉索目標區(qū)域掩模；

5)對拉索目標區(qū)域掩模做邏輯非運行，得到最終的背景掩模，如圖6(d)所示。

2.2.3 掩模處理

本文方法的關(guān)鍵是圖像掩模處理。在一個處理單元中，獲取其中一幅圖像的背景掩模，利用該背景掩模對處理單元的所有圖像進行掩模處理，即可完成該處理單元所有圖像的背景分割。

圖6 數(shù)學形態(tài)學去噪結(jié)果圖

2.3 結(jié)果分析

2.3.1 處理結(jié)果

常規(guī)方法首先對圖像進行顏色空間變換，然后采用直方圖閾值分割對變換圖像進行分割處理，并結(jié)合數(shù)學形態(tài)學方法消除分割結(jié)果的噪聲影響。本文與常規(guī)方法進行了對比實驗，如圖7所示。圖7(a)為嚴重損傷的橋梁拉索表面缺陷圖像，因為損傷嚴重，導致了拉索與背景的邊緣模糊；圖7(b)為常規(guī)方法分割的結(jié)果，分割結(jié)果不理想；圖7(c)為本文方法分割的結(jié)果，成功地完成了分割。實驗結(jié)果表明，本文的方法能夠成功分割橋梁拉索表面缺陷自動化檢測過程當中難以分割的圖像。

圖7 損傷嚴重的拉索圖像分割對比圖

在該處理單元的512幅圖像中選擇具有代表性的4幅圖像進行分割效果展示，如圖8所示，圖8(a)、圖8(c)、圖8(e)、圖8(g)為分割前的4幅圖像，分別為無損傷的圖像、輕微刮傷的圖像、有污跡的圖像和嚴重損壞的圖像；圖8(b)、圖8(d)、圖8(f)、圖8(h)為運用本文方法對該處理單元進行分割的結(jié)果，每一幅圖像的分割結(jié)果都較理想。

圖8 處理單元分割前后對比圖

2.3.2 時間與效率

表1統(tǒng)計了利用常規(guī)方法和本文方法進行批量處理的時間成本。對兩種處理方法的時間成本進行對比分析發(fā)現(xiàn)，圖像數(shù)量越多，本文方法的優(yōu)勢越明顯，效率是前者的6倍左右，如圖9所示。在實際的橋梁拉索表面年度檢測過程中，其圖像數(shù)量非常大，因此利用本文方法能夠顯著地提高檢測效率。

表1 兩種方法計算時間對比 s

圖9 兩種方法時間成本對比圖

3 結(jié) 論

本文通過分析爬索機器人獲取數(shù)據(jù)的原理，以及當前橋梁拉索自動化檢測所存在的問題，提出了一種利用掩模處理的橋梁拉索表面缺陷圖像背景分割的新方法。該方法在Lab顏色空間進行閾值分割，并結(jié)合數(shù)學形態(tài)學進行去噪處理得到背景掩模，然后利用背景掩模對原始圖像進行掩模處理，最終完成拉索表面缺陷檢測圖像分割。

本文方法成功地實現(xiàn)了橋梁拉索表面缺陷圖像的背景分割，相對常規(guī)方法，本文方法具有分割速度快、抗干擾能力強和分割效果好的優(yōu)點，具有一定的實用價值，為后續(xù)的病害檢測和識別提供了條件。但是本文方法要求圖像中拉索目標區(qū)域變化不大，使該方法應用具有一定的局限性。后續(xù)需要進一步研究對分割方法的適應性。