基于高斯混合部件模型的鐵路扣件檢測(cè)

何 彪 ，李柏林 ，羅建橋 ，王開(kāi)雄

（西南交通大學(xué) 機(jī)械工程學(xué)院，四川 成都 610031）

鐵路鋼軌扣件是軌道上用以聯(lián)結(jié)鋼軌和軌枕的零件，又稱(chēng)中間聯(lián)結(jié)零件，其作用是將鋼軌固定在軌枕上，文中將鐵路鋼軌扣件簡(jiǎn)稱(chēng)為扣件.當(dāng)前，針對(duì)扣件檢測(cè)，國(guó)內(nèi)外研究者圍繞基于計(jì)算機(jī)視覺(jué)的檢測(cè)方法開(kāi)展了廣泛的研究[1-4].文獻(xiàn)[1]提出了融合金字塔方向梯度直方圖（pyramid histogram of oriented gradients，PHOG）和宏觀(guān)局部二值模式（macroscopic local binary pattern，MSLBP）特征的扣件缺陷識(shí)別算法，研究中采用支持向量機(jī)（support vector machine，SVM）訓(xùn)練扣件分類(lèi)器.文獻(xiàn)[2]分別提取改進(jìn)后的邊緣梯度特征（improved edge orientation histogram，IEOH）和扣件端部的MSLBP 特征，采用層級(jí)加權(quán)進(jìn)行特征融合，并利用貝葉斯壓縮感知，完成扣件缺陷識(shí)別.文獻(xiàn)[3]針對(duì)六角螺栓型扣件，提出了用多層神經(jīng)感知分類(lèi)器來(lái)區(qū)分正常和丟失狀態(tài)的扣件.文獻(xiàn)[4]提出了快速模板匹配（fast template matching，F(xiàn)TM）算法，該算法首先運(yùn)用模板匹配算法根據(jù)軌道的幾何關(guān)系來(lái)定位扣件，然后采用最近鄰分類(lèi)器判斷扣件是完整狀態(tài)還是丟失狀態(tài)，最后用基于GPU 的CUDA 來(lái)加速FTM 中大量費(fèi)時(shí)的計(jì)算.高斯混合模型（Gaussian mixture model，GMM）在點(diǎn)集配準(zhǔn)[5-9]中具有廣泛的應(yīng)用，文獻(xiàn)[6]提出了統(tǒng)一的框架結(jié)構(gòu)用于剛性和非剛性的點(diǎn)集配準(zhǔn)，通過(guò)高斯混合模型表達(dá)輸入點(diǎn)集，然后通過(guò)求解兩個(gè)高斯混合點(diǎn)集的統(tǒng)計(jì)學(xué)差異最小化完成點(diǎn)集配準(zhǔn)，對(duì)包含一定量噪聲點(diǎn)和異常點(diǎn)的點(diǎn)集具有魯棒性.可變形部件模型廣泛應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域[10-15]，文獻(xiàn)[10]在方向梯度直方圖（histogram of oriented gradient，HOG）特征的基礎(chǔ)上提出了可變形部件模型（deformable part model，DPM）算法，引入部件模型和變形花費(fèi)，運(yùn)用SVM 訓(xùn)練分類(lèi)器，在PASCALVOC-2007 目標(biāo)檢測(cè)圖像庫(kù)中取得了較好的識(shí)別率.文獻(xiàn)[11]進(jìn)一步完善了DPM模型，加入了語(yǔ)法模型和多組件模型，采用隱藏SVM 來(lái)訓(xùn)練DPM 模型，訓(xùn)練時(shí)只需要指定根濾波器的位置而不需要指定部件的位置，即可得到帶有部件的DPM 模型.

傳統(tǒng)扣件狀態(tài)檢測(cè)方法大多采用基于分類(lèi)器的分類(lèi)思想，需要同時(shí)準(zhǔn)備數(shù)量相當(dāng)?shù)目奂龢颖竞拓?fù)樣本用于訓(xùn)練分類(lèi)器.本文則將扣件分類(lèi)看作是對(duì)扣件這類(lèi)物體的目標(biāo)檢測(cè)問(wèn)題，將可變形部件模型思想運(yùn)用到扣件部件模型中，結(jié)合模板匹配算法，采用高斯混合模型算法訓(xùn)練扣件部件模型.訓(xùn)練中需要用到大量的扣件正樣本，但僅需要少量的扣件負(fù)樣本，解決了扣件檢測(cè)中扣件樣本不平衡的問(wèn)題，因?yàn)閷?shí)際線(xiàn)路中扣件正樣本的數(shù)量遠(yuǎn)遠(yuǎn)多于扣件負(fù)樣本.本文中將可變形部件模型與傳統(tǒng)模板匹配算法相結(jié)合，提出了高斯混合部件模型（Gaussian mixture part model，GMPM）算法，并將其應(yīng)用于扣件狀態(tài)檢測(cè)，實(shí)驗(yàn)結(jié)果表明 GMPM 算法在扣件檢測(cè)中能夠取得較好的綜合性能.本文的主要貢獻(xiàn)有：

（1）對(duì)原始HOG 特征作了相應(yīng)的改進(jìn)，簡(jiǎn)化了原始HOG 特征的計(jì)算方法，并將其作為高斯混合部件模型算法的底層特征；

（2）采用余弦相似性度量HOG 特征之間的相似度，根據(jù)扣件形狀設(shè)計(jì)對(duì)應(yīng)掩膜模板用于屏蔽扣件圖像中背景區(qū)域的干擾，依據(jù)扣件形狀和扣件檢測(cè)任務(wù)來(lái)劃分部件，部件之間采用星型連接方式度量相對(duì)位置關(guān)系；

（3）采用高斯混合模型算法求解所提出的部件模型，而不再采用傳統(tǒng)的基于SVM 的有監(jiān)督分類(lèi)算法訓(xùn)練求解，聚類(lèi)算法的運(yùn)用使得大量正樣本數(shù)據(jù)可以應(yīng)用于訓(xùn)練過(guò)程之中，進(jìn)一步增強(qiáng)算法的魯棒性.

1 算 法

1.1 部件模型

對(duì)于一個(gè)包含m個(gè)部件的目標(biāo)檢測(cè)模型P=f(p1,p2,···,pm)，這m個(gè)部件共同組成了一完整的目標(biāo)模型，因此，m個(gè)部件之間不是相互獨(dú)立的，在空間位置上存在著一定的關(guān)聯(lián)，部件之間采用星型連接方式，約定以部件p1作為連接中心，則其余m-1個(gè) 部件{p2,p3,···,pm}相 對(duì)于部件p1滿(mǎn)足一定的空間位置約束，即

式中：φi,1(x,y)為 部件pi相對(duì)于部件p1可變動(dòng)的位置范圍，其中，i=2,3,···,m；(xi,1,yi,1)為 部件pi相對(duì)于部件p1標(biāo) 準(zhǔn)偏差位置；( Δxi,1,Δyi,1)為 部件pi相對(duì)于部件p1位置的可變范圍.

測(cè)試時(shí)，部件p1采用滑動(dòng)窗口的方式在測(cè)試圖像特征空間中，根據(jù)任務(wù)需要進(jìn)行全局或局部的遍歷搜索.部件pi是目標(biāo)局部區(qū)域的表觀(guān)特征描述，其中的每一個(gè)特征點(diǎn)模板采用高斯混合模型進(jìn)行求解，測(cè)試圖像中目標(biāo)物體與部件模型的整體相似度可以綜合各個(gè)部件的相似度來(lái)度量，即

淮山含有酚類(lèi)物質(zhì)，加工過(guò)程中暴露在空氣，在氧化酶的作用下容易發(fā)生褐變，因而在速凍淮山片的預(yù)處理工序，需要?dú)缁蜮g化氧化酶活性。短時(shí)間微波(407.6 W和60 s)燙漂處理可有效鈍化淮山段(長(zhǎng)2 cm、直徑2 cm)的氧化酶活性，能較好保留淮山的營(yíng)養(yǎng)成分，延長(zhǎng)速凍淮山的貨架期；速凍淮山解凍后，其品質(zhì)好[29]。鄭磊[30]研究不同凍結(jié)溫度(-20℃、-30℃、-40℃)對(duì)淮山品質(zhì)和細(xì)胞微結(jié)構(gòu)的影響，發(fā)現(xiàn)-40℃凍結(jié)能使凍結(jié)淮山的冰晶均勻、較好保持淮山的細(xì)胞微結(jié)構(gòu)。

式中：ψj為 第j組權(quán)重組合下目標(biāo)的整體相似度；δj,i為 部件pi在第j組權(quán)重組合下的權(quán)重，表征部件pi在目標(biāo)整體中的重要性；φi為每個(gè)部件的部件相似度，應(yīng)滿(mǎn)足φi≥λi，λi為檢測(cè)到該部件的最低要求；目標(biāo)的整體相似度應(yīng)滿(mǎn)足ψj≥T（整體閾值），即認(rèn)為在當(dāng)前位置檢測(cè)到了目標(biāo)；δj,i根據(jù)經(jīng)驗(yàn)和訓(xùn)練綜合得到，λi和T通過(guò)訓(xùn)練得到.

在測(cè)試圖像中，每一個(gè)部件存在若干個(gè)可能的位置，每個(gè)部件的最終相似度取部件可變動(dòng)范圍內(nèi)相似度的最大值，即

部件相似性度量采用帶掩模的特征點(diǎn)加權(quán)求和得到，在測(cè)試圖像特征空間中選取左上角點(diǎn)坐標(biāo)為(x,y) ，大小為Ai×Bi的特征區(qū)域，其與訓(xùn)練得到的部件模型中部件pi之間的部件相似度為

式中：ηi(a,b)為 部件pi中特征點(diǎn)(a,b)處的權(quán)重，表示特征點(diǎn)在部件中的重要性，為了簡(jiǎn)化模型的訓(xùn)練，各個(gè)特征點(diǎn)選取相同的權(quán)重值；mi(a,b) 為部件pi在特征空間中的掩膜模板，mi(a,b)=1表示前景區(qū)域，mi(a,b)=0表 示背景區(qū)域；s(x+a,y+b)為特征點(diǎn)相似度.

考慮大小為Ai×Bi的 部件pi，其中每一特征點(diǎn)由K個(gè)特征向量混合而成，每一個(gè)特征向量的維度為L(zhǎng).令tk(x,y,z)表 示部件pi，其中(x,y)表示特征點(diǎn)向量在部件pi中 的位置坐標(biāo)，z表示特征點(diǎn)向量的維度坐標(biāo)，k表示混合分量，且有x∈{1,2,···,Ai}，y∈{1,2,···,Bi}，z∈{1,2,···,L}，k∈{1,2,···,K}.在測(cè)試圖像特征空間中，令h(x,y,z)表示與部件模型pi具有相同大小Ai×Bi的 特征區(qū)域，則其中特征點(diǎn) (x,y)處的特征點(diǎn)相似度s(x,y)為

式中：wk(x,y)為 部件pi中特征點(diǎn)(x,y) 處的第k個(gè)特征向量的權(quán)重，且有

特征點(diǎn) (x,y) 處的第k個(gè)特征向量的相似度sk(x,y)采用余弦相似度[16]進(jìn)行度量，如式（6）所示.

1.2 HOG 特征

根據(jù)扣件圖像中邊緣的特性，針對(duì)性地改進(jìn)了Roberts 算子來(lái)計(jì)算圖像梯度，即分別計(jì)算與中心像素點(diǎn)在水平和垂直方向間隔一定距離的兩個(gè)像素點(diǎn)的灰度差值，作為中心像素點(diǎn)在水平和垂直方向的梯度，并由此計(jì)算中心像素點(diǎn)的梯度幅值與梯度方向，如式（7）所示.

式中：f(c,d)為 圖像在(c,d)處 的灰度值；gc(c,d)為水平方向的梯度；gd(c,d)為 垂直方向的梯度；g(c,d)為梯度幅值；θ(c,d)為 梯度方向；τ為 間隔距離（τ=1,2,··· ），τ的取值根據(jù)圖像的分辨率決定.

然后選取r×r大小的方形區(qū)域（r＞0），這樣的區(qū)域稱(chēng)為cell，將θ (x,y)離散化為L(zhǎng)個(gè)方向，即

按離散化之后的方向累加聚合為L(zhǎng)維直方圖向量，再對(duì)這L維直方圖進(jìn)行歸一化，有

式中：D(c,d,z)為 (c,d)處 的第z維 梯度幅值；E(x,y,z)為未歸一化的HOG 特征；h(x,y,z)為歸一化后的HOG特征.

1.3 高斯混合模型求解

高斯混合模型（GMM）[8]可以用較高的精度表示任何連續(xù)分布，多個(gè)高斯分布疊加在一起便可以形成混合高斯分布，定義如下的集合V={vn,n=1,2,···,N}，表示從訓(xùn)練集中提取的局部特征描述子集合，vn為L(zhǎng)維 特征向量，如HOG 描述子等，假定V服從混合高斯分布，則有

式 中：wk為 權(quán) 重，wk≥0且為GMM 中第k個(gè)高斯分布，即

式中：μk為GMM 中第k個(gè)高 斯分布的均值；Ok為GMM 中第k個(gè)高斯分布的協(xié)方差矩陣.

GMM 中參數(shù)的求解，根據(jù)從大量訓(xùn)練樣本中提取的局部特征向量集V，采用EM 算法優(yōu)化最大似然函數(shù)迭代求解.GMM 中初始的 μk、Ok和wk由k均值聚類(lèi)算法給出，根據(jù)這些初始參數(shù)運(yùn)用EM 算法計(jì)算 γnk（E 步驟），

式中：γnk為vn由第k個(gè)高斯混合成分生成的后驗(yàn)概率，由 γnk更 新GMM 中 的 μk、Ok和wk（M 步 驟），

2 扣件實(shí)驗(yàn)

2.1 扣件圖像分類(lèi)

扣件圖像采用文獻(xiàn)[1]的分割算法從軌道圖像中分割得到.由于軌道圖像的采集是在戶(hù)外進(jìn)行的，因此存在較大的光照變化，表現(xiàn)為扣件圖像具有不同的亮度，不同的光照條件下的扣件呈現(xiàn)出不同的圖像特性，難以建立統(tǒng)一的扣件部件模型來(lái)適應(yīng)各種光照條件下的扣件檢測(cè)，并且達(dá)到較好的綜合性能.因此，本文采用分類(lèi)建模的思想，即首先對(duì)扣件圖像按亮度的不同進(jìn)行聚類(lèi)，然后分別針對(duì)每一類(lèi)扣件圖像建立對(duì)應(yīng)的扣件部件模型.

扣件圖像的聚類(lèi)采用k均值算法[18]，以扣件圖像的灰度直方圖作為聚類(lèi)特征.總共選取各種光照條件下的扣件樣本18 514 張，通過(guò)實(shí)驗(yàn)測(cè)試發(fā)現(xiàn)將這些樣本聚成3 類(lèi)時(shí)，每一類(lèi)樣本中的扣件圖像具有相近的光照強(qiáng)度，且大致將扣件圖像聚類(lèi)為高亮度、中亮度和低亮度3 類(lèi)，與人眼的分類(lèi)判定接近，如圖1所示，3 類(lèi)扣件樣本數(shù)量分別為6 085、5 704、6 725 張.

圖1 3 類(lèi)亮度扣件圖像Fig.1 Three types of brightnesses in a fastener image

2.2 扣件GMPM 訓(xùn)練

聚類(lèi)后的扣件圖像，每一類(lèi)中的圖像特征仍然存在著局部的差異，但這些圖像特征的分布可以認(rèn)為服從高斯混合分布，因此采用GMPM 算法分別對(duì)每一類(lèi)扣件圖像進(jìn)行建模，目的在于適應(yīng)同類(lèi)扣件圖像中的類(lèi)內(nèi)差別，每一類(lèi)均隨機(jī)選取3 000 張扣件正樣本作為訓(xùn)練樣本，剩余的扣件作為測(cè)試樣本.扣件具有特定的形狀，分割之后的扣件圖像是矩形的圖像區(qū)域，扣件并沒(méi)有充滿(mǎn)整個(gè)矩形區(qū)域，因此，根據(jù)扣件的形狀設(shè)計(jì)對(duì)應(yīng)的扣件掩膜模板，用于屏蔽背景區(qū)域的干擾.扣件的初始部件模型采用啟發(fā)式算法獲得，即人為選擇10 張僅含扣件區(qū)域的扣件子圖像，分別計(jì)算每張扣件子圖像的HOG 特征，將對(duì)應(yīng)的HOG 特征點(diǎn)累加后求均值，得到扣件平均HOG 特征圖，然后運(yùn)用掩膜模板對(duì)平均HOG 特征圖進(jìn)行掩膜處理即可得到扣件的初始部件模型，最后運(yùn)用GMM 對(duì)訓(xùn)練圖像進(jìn)行迭代訓(xùn)練，實(shí)驗(yàn)中的迭代次數(shù)設(shè)定為3 次.測(cè)試時(shí)，首先計(jì)算測(cè)試圖像與3 個(gè)聚類(lèi)中心的距離，將測(cè)試圖像歸到距離最小的一類(lèi)中，再采用這一類(lèi)的扣件部件模型進(jìn)行扣件的狀態(tài)檢測(cè).

2.3 扣件檢測(cè)結(jié)果

表1為高斯混合部件模型在扣件檢測(cè)中的實(shí)驗(yàn)結(jié)果.由表1可知，GMPM 算法在滿(mǎn)足較低漏檢率的同時(shí)也取得了較低的誤檢率和相對(duì)較高的正確率.圖2為部分扣件檢測(cè)結(jié)果，測(cè)試結(jié)果表明GMPM算法不僅能夠適應(yīng)不同光照條件的扣件檢測(cè)，也可以檢測(cè)出這類(lèi)由于拍攝角度等原因引起輕微形變的扣件.圖3中的扣件均存在局部區(qū)域遮擋，GMPM算法對(duì)于這類(lèi)非扣件端部遮擋的扣件也能將其識(shí)別為正?？奂许能壍谰€(xiàn)路中的這類(lèi)扣件也占一定的比例.圖4為扣件端部存在遮擋情況時(shí)的檢測(cè)結(jié)果，GMPM 算法并沒(méi)有在遮擋部位檢測(cè)到對(duì)應(yīng)的部件（扣件端部），算法會(huì)將這類(lèi)扣件判定為問(wèn)題扣件，因?yàn)榭奂瞬勘徽趽趿耍荒芘卸奂徽趽醯牟糠质欠裢旰茫簿蜔o(wú)法判斷這類(lèi)扣件是否仍然對(duì)鋼軌存在壓緊固定作用，因此這樣的判定是合理的.

表1 高斯混合部件模型扣件檢測(cè)結(jié)果Tab.1 Fastener detection results of the gaussian mixture part model

圖2 部分扣件檢測(cè)結(jié)果Fig.2 Fastener detection results

表2為相關(guān)算法的性能對(duì)比.由表2可知：GMPM 算法相對(duì)于文獻(xiàn)[4]的 FTM 算法的漏檢率和誤檢率分別降低了4.39%和8.05%，同時(shí)正確率提高了 7.97%；GMPM 算法相對(duì)于文獻(xiàn)[3]中算法的漏檢率和誤檢率分別降低了1.64%和11.7%，同時(shí)正確率提高了 11.67%；盡管文獻(xiàn)[2]中取得的正確率高達(dá)97.6%，但是卻沒(méi)有給出相應(yīng)的漏檢率和誤檢率.因此綜合來(lái)看，本文所提的GMPM 算法針對(duì)光照變化和存在輕微形變與局部遮擋條件下的扣件檢測(cè)，取得了3.16%漏檢率、9.80%誤檢率和90.27%正確率（準(zhǔn)確率）的綜合檢測(cè)效果.

圖3 局部區(qū)域遮擋扣件檢測(cè)結(jié)果Fig.3 Fastener detection results using local occlusion

圖4 扣件端部遮擋檢測(cè)結(jié)果Fig.4 Fastener detection results using end region occlusion

表2 算法性能比較Tab.2 Comparison of algorithm performance %

3 結(jié)束語(yǔ)

本文提出的高斯混合部件模型算法，將可變形部件模型算法與傳統(tǒng)模板匹配算法的思想相結(jié)合，聚類(lèi)思想的使用，使得算法可以將采集得到的大量正樣本圖像運(yùn)用到訓(xùn)練之中，然后運(yùn)用高斯混合算法求解部件模型，有效的解決了扣件檢測(cè)中扣件正樣本數(shù)量遠(yuǎn)遠(yuǎn)多于負(fù)樣本的這一問(wèn)題，精簡(jiǎn)改進(jìn)的HOG 特征和可變形部件思想的運(yùn)用，也解決了扣件圖像光照變化較大和存在輕微形變與局部遮擋的問(wèn)題，扣件實(shí)驗(yàn)結(jié)果表明，高斯混合部件模型算法，在保證較低的漏檢率和誤檢率的同時(shí)也能夠取得較高的正確率.