基于圖像處理的多視覺特征融合方法及其應用

劉建華，歐陽萍，劉戈靈，鐘澤輝，曾凡齊，袁子鈞

（1.湖南工業大學 交通工程學院，湖南 株洲 412007；2.中國鐵路廣州局集團有限公司 株洲車輛段 株洲輪軸車間，湖南 株洲 412007；3.常德金鵬印務有限公司，湖南 常德 415000）

1 研究背景

軌道交通車輛牽引/制動性能的有效發揮依賴于輪對和軌道相互接觸時的黏著利用情況[1-2]，而輪軌接觸行為的復雜性和強非線性耦合作用，導致輪軌黏著特性呈現復雜多變的瞬態現象。其影響因素眾多，尤其是軌面狀態變化是改變輪軌黏著的重要因素[3-4]。不同軌面狀態下的輪軌黏著特性差異較大，如積雪軌面的黏著系數遠小于干燥軌面。因我國軌道交通車輛運行區域繁雜，運行過程中的軌面狀態突變時有發生，實現軌面狀態的有效辨識可為提高輪軌黏著利用率，提升車輛運行效率提供支撐。

國內外學者在軌面識別方面做了一定的研究工作，尤其是在軌道表面缺陷檢測識別方面取得了一定的成果。閔永智等[5]設計了一個軌面圖像采集裝置，用于提取軌道表面缺陷圖像Harr-like 特征和低層視覺特征，利用C4.5 和AdaBoost 算法對軌面缺陷進行分類識別。Zhang H.等[6]結合軌面圖像，提出了一個基于馬爾可夫隨機場的魯棒高斯混合模型，以對軌道表面缺陷進行快速分割。Xiong Z.M.等[7]利用激光測量輪廓并與標準軌道模型輪廓對比，實現了軌道表面缺陷的視覺檢測。然而，現有的軌面狀態辨識方法大多是基于車輛運行時的黏著系數、蠕滑速度等實時數據，構造軌面狀態的數據驅動模式實現的，如任強等[8]、黃景春等[9]通過測量輪軌的黏著系數，并且通過估算輪軌的蠕滑速度，構造了基于模糊規則的軌面狀態辨識模型；Zhang C.F.等[10]基于實時黏著狀態，提出了一種基于BP-Adaboost 算法的軌面狀態辨識方法。這其實是一種事后狀態檢測方法，而對因軌面狀態突變引起的空轉、滑行等問題，難以實施有效的預測控制。實際上，水、油、冰、雪等軌面上的“第三介質”不同時，軌面所呈現的視覺信息也會有較大差異，如干燥軌面粗糙度較大、冰雪覆蓋軌面則呈現高反射白色。通過提取不同軌面狀態的視覺信息特征，研究多視覺信息特征融合的軌面狀態辨識方法，對獲取輪軌黏著狀態、實施高性能黏著控制具有重要意義。

為此，本研究擬基于先進視覺處理和模式識別技術，通過分析影響輪軌黏著的顏色、紋理等軌面狀態的視覺信息特征，建立一個基于支持向量機（support vector machines，SVM）的軌面狀態辨識模型，最后通過實驗仿真驗證了課題組所提出方法的有效性和可行性。

2 軌面狀態的視覺辨識框架

依據實際軌面工況，將軌面狀態分為干燥、潮濕、油污和積雪4 類狀態，利用視覺采集裝置獲取軌面狀態的視覺信息，通過分析不同軌面下的顏色、紋理等視覺信息的差異，提取最能反映軌面狀態的視覺信息特征，進而建立軌面狀態辨識模型，形成如圖1所示的軌面狀態辨識框架。

圖1 軌面狀態的視覺辨識框架Fig.1 Visual identification framework of track state

如圖1所示，基于軌面視覺信息采集設備獲取的軌面圖像，通過圖像分割、圖像灰度化、圖像去噪等圖像預處理模塊，減少因光源、攝像機電流噪聲等環境因素造成的圖像污染；通過提取并分析圖像的顏色和紋理特征，選取反映軌面狀態的圖像信息；進而利用SVM 建立軌面狀態圖像特征與軌面狀態之間的關聯模型，以獲取軌面狀態。

3 圖像預處理

從現場采集的軌面圖像容易受到環境或人為因素噪聲干擾。為了保證軌面圖像質量，必須對圖像進行預處理。

圖像預處理的具體步驟如下：首先，將每張軌面圖像裁剪成只包含鐵軌接觸面的子圖像，子圖像的大小尺寸為750×4 027。然后，對子圖像進行灰度化處理，以提高運行速度。接下來利用二維中值函數對灰度子圖像消除噪聲，以提高圖像質量。由于篇幅有限，具體的灰度化處理、中值濾波等方法詳見文獻[11-12]，本文不再贅述。經過圖像預處理后的4 種軌面狀態如圖2所示。

圖2 4 種軌面狀態的圖像預處理Fig.2 Image preprocessing

由圖2可以看出，經過預處理后的軌面圖像均具有較高的對比度和清晰度，便于后續特征提取與分類判別工作。

4 軌面狀態視覺特征提取

4.1 顏色特征提取

由4 種軌面狀態的顏色特征可以發現，積雪軌面圖像最為明亮，干燥軌面圖像相對于潮濕軌面圖像、油污軌面圖像較為明亮，油污軌面圖像最為灰暗。為此，選取預處理后軌面圖像的灰度均值來描述圖像的明暗程度。

對于M×N軌面圖像，圖像點(x,y)的灰度值為f(x,y)，則灰度均值計算公式為

潮濕軌面圖像、油污軌面圖像比干燥軌面圖像顏色鮮艷，圖像反差較大；積雪軌面圖像顏色單一，圖像反差最小。為此，選取預處理后軌面圖像的灰度方差反映圖像的反差大小。灰度方差計算公式見式（2）。

選取干燥、潮濕、油污、積雪軌面圖像各50 張，根據式（1）（2）分別計算4 種軌面的灰度均值和灰度方差，計算結果如圖3所示。

圖3a是4 種軌面的灰度均值散點圖，可以發現4 種軌面灰度均值存在差異，并有分層現象。積雪軌面圖像的亮度最大，則其灰度均值最大。其后依次是干燥軌面、潮濕軌面、油污軌面。圖3b是4種軌面的灰度方差散點圖，由圖同樣也發現4 種軌面有分層現象。且潮濕軌面的方差最大，對比度較高。其次是油污軌面、干燥軌面。積雪軌面由于軌面被雪覆蓋成白皚皚的一片，對比度較小，則方差最小。

圖3 4 種軌面的顏色特征提取散點圖Fig.3 Color feature extraction scatter diagram of four track surfaces

4.2 紋理特征提取

分析不同狀態軌面紋理，發現積雪軌面紋理分布均勻，紋路較為模糊；潮濕軌面受水的影響比干燥軌面紋理清晰，油污軌面紋路較為清晰。為此，選取灰度共生矩陣[13-14]的對比度（Ccon）描述軌面圖像紋理清晰程度。

設軌面圖像灰度共生矩陣是N×N矩陣，灰度i與灰度j相距為Δδ=(Δx,Δy)的概率為p(i,j)，則Ccon的計算公式為

軌面被不同介質覆蓋，軌面圖像灰度分布不同。積雪軌面圖像灰度分布均勻，油污軌面圖像灰度分布較均勻，潮濕軌面圖像灰度分布離散。為此，選取灰度共生矩陣的角二階矩（Casm）描述軌面圖像灰度均勻程度，其計算公式見式（4）。

選取干燥、潮濕、油污、積雪軌面圖像各50張，根據式（3）和（4）分別計算4 種軌面的Ccon、Casm，計算結果如圖4所示。

圖4 4 種軌面的紋理特征提取散點圖Fig.4 Texture feature extraction scatter diagram of four track surfaces

圖4a是4 種軌面的Ccon散點圖，可以看到潮濕軌面的Ccon最大，圖像紋理最為清晰；其次是干燥軌面、油污軌面，積雪軌面的Ccon最小，圖像紋理模糊。圖4b是4 種軌面的Casm散點圖，可以明顯看到4 種軌面狀態有分層現象，積雪軌面因其灰度分布均勻，Casm最大，圖像其次是油污軌面、干燥軌面，而潮濕軌面Casm最小，圖像灰度分布最離散。

5 多特征融合SVM 的軌面狀態辨識

軌面狀態會隨著軌道車輛運行環境的變化而變化，則軌面圖像分類屬于非線性的模式識別問題，而SVM 旨在解決非線性等問題，應用于特征分類、模式識別等問題[15-16]。為此，選用SVM 作軌面狀態分類器。

針對采集的軌面數據有4 類，即k∈{1,2,3,4}，選取了“1V1”方法構建多分類SVM 模型[17]。設顏色特征向量為A1，紋理特征向量為A2，則融合特征向量為

輸入融合特征A，m個分類函數為

式中：表示拉格朗日系數；bJ表示分類閾值；K(A,Ai)表示核函數；yi∈{-1,1}。

當同時滿足式（7）和式（8），則A應屬于第k類。

為了保證軌面分類識別的有效性，即

式中τ＞0，則A應屬于第k類。

6 系統驗證與分析

本文仿真實驗采用MATLABR2016a 軟件，實驗環境如下：CPU，Intel Core i3-4005M@ 1.7 GHz；內存，4 GB；Windows10 操作系統。從現場采集了4 種不同狀態的軌面圖像，經過預處理后，建立圖像數據庫，其中干燥軌面、潮濕軌面、油污軌面、積雪軌面各50 張，共計200 張軌面圖像。

為了驗證所提方法的有效性和可行性，利用SVM分類器分別對基于第3節實驗提取的顏色特征、紋理特征和融合顏色、紋理特征對軌面數據庫進行分類。測試集圖片和訓練集圖片按照軌面數據庫總量1:4劃分，則測試集樣本為40 張，訓練集樣本為160 張。基于3 種不同特征的不同狀況軌面識別正確率對比如表1所示。

表1 不同特征的SVM 識別正確率對比Table 1 Comparison of recognition accuracy of SVM with different features

由表1可以看出，基于融合特征的模型識別正確率比基于單一特征的模型識別正確率高，其正確率可達到95.0%。而基于單一特征模型中，采用基于顏色特征的模型比基于紋理特征模型的要好，其原因是軌面長期受輪軌磨損，紋理信息比較弱。3 種模型的對比試驗結果表明，基于多特征融合的SVM 模型性能良好，具有較高的識別精度。基于3 種不同特征的SVM 分類結果如圖5所示。

圖5 測試集分類結果Fig.5 Test set classification results

圖5a是基于顏色特征的不同狀況軌面分類結果圖，從圖中可以看出，干燥、積雪軌面因其顏色特征顯著，基本識別正確。而潮濕、油污軌面的誤判較多，其原因可能是潮濕、油污軌面的顏色比較相近。圖5b是基于紋理特征的不同狀況軌面分類結果圖，從圖中也可以驗證軌面紋理信息微弱，干燥軌面、潮濕軌面、油污軌面的誤判均較多，而積雪軌面因其紋理特征分布均勻，基本識別正確。圖5c是基于融合顏色、紋理特征的不同狀況軌面分類結果圖，從圖中可以觀察到干燥軌面、潮濕軌面和積雪軌面基本識別正確，而油污軌面只有2 張圖像被誤判。因此可得，課題組所提方法可以有效地識別軌面狀態。

7 結語

為了能有效地識別軌面狀態，本研究根據不同狀態軌面的視覺特征差異，選取灰度均值、灰度方差、對比度、角二階矩作為軌面圖像的特征參數，并且通過SVM 對軌面狀態圖像進行分類仿真。實驗結果顯示，本研究所提出的方法具有較高的識別精度。然而，軌面狀態受環境影響而復雜多變，本研究只提取了干燥、潮濕、油污、積雪軌面，下一步將搭建實驗平臺，進一步研究復雜的軌面狀態，如水油混合軌面等，以增強所提方法的實用范圍。