基于局部形狀特征和Bag-of-Feature模型的磨粒圖像形狀特征提取?

魯華杰 張 偉 劉 濤

（1.海軍航空大學岸防兵學院 煙臺 264001）（2.海軍航空大學職業教育中心 煙臺 264001）

1 引言

磨粒分析是一種重要的機械系統狀態監測方法，設備潤滑系統中的磨粒反映了機械設備內部的磨損情況，是設備磨損狀況的重要信息載體［1］。磨粒圖像分析技術是將計算機圖像處理技術和磨粒分析相結合，促進了磨粒分析向智能診斷方向的發展［2］，通過對得到的磨粒圖像進行分析，提取磨粒的形狀特征、紋理特征和顏色特征等，進而根據這些特征對磨粒類型進行識別，從而判斷機械系統的磨損情況。

磨粒圖像的形狀特征是判斷磨粒類型的一種重要依據，同時認知心理學方面的研究也表明，形狀相比于顏色和紋理，在人類視覺感知中起著非常重要的作用。通常圖像形狀特征的提取方法主要分為兩類［3］：一是基于輪廓的形狀特征，如形狀簽名、傅里葉描述子和邊界矩等；二是基于區域的形狀特征，如不變矩、Zernike矩和通用傅里葉描述子等。上述的方法提取圖像中物體的形狀特征時，一般是根據物體的整體輪廓和整體區域，而人類視覺系統傾向于將物體分解為多個視覺部件，并根據視覺部件的特征以及視覺部件之間的關系來描述物體的形狀［4］。

基于此，本文提出了一種基于局部形狀特征和BoF（Bag-of-Features）模型［5～6］的磨粒形狀特征的提取方法。首先構建磨粒區域的骨架，并根據相鄰骨架端點對和骨架分支對將磨粒輪廓和磨粒區域劃分成不同的片段和子區域，分別稱之為輪廓基元（contour primitives）和區域基元（region primitives）；然后相鄰的不同數量的輪廓基元和區域基元組合，構成不同的局部輪廓（local contour）和局部區域（local region），并分別根據基于輪廓和區域的形狀特征提取方法，得到局部輪廓和局部區域的形狀特征，兩者融合構成磨粒的局部形狀特征集合；最后依據BoF模型的思想，根據訓練集所有磨粒樣本的局部形狀特征集合構建視覺詞典，經過的特征編碼、特征匯集和歸一化，得到局部形狀特征集合的編碼向量。以編碼向量作為磨粒的形狀特征，對磨粒類型進行識別。

2 磨粒局部輪廓和局部區域構建

現有的圖像形狀分解方法一般分為三種：基于輪廓的方法、基于形狀區域的方法和綜合方法。其中形狀的骨架綜合利用形狀的輪廓和內部區域信息，廣泛用于形狀的分解及表示。但是構建骨架時對形狀輪廓的細微變化較為敏感，為此學者們提出了很多的改進方法，減少骨架的毛刺，使得骨架能夠更加有效、合理地分析形狀。Bai等［7］提出了采用離散曲線演化的方法簡化骨架，取得了較好的效果，本節采用文獻［7］中的方法構建磨粒區域的骨架。然后根據磨粒的骨架構建磨粒的局部輪廓和局部區域。

設磨粒區域為R，構建的磨粒區域骨架的端點集合和分支集合分別為e=(e1，e2，…eT)和b=(b1，b2，…bT)，磨粒的輪廓基元CP(m)和區域基元RP(m)分別為相鄰的骨架端點對(ei，ej)之間的輪廓片段cij和相鄰骨架分支對(bi，bj)之間的子區域rij，則

相鄰的不同數量的輪廓基元和區域分別組合，可以得到反映不同尺度輪廓特征和不同尺度區域特征的局部輪廓LC(n)和局部區域LR(n)，則

圖1所示為磨粒圖像、骨架、局部輪廓和局部區域，其中圖1（a）、（e）、（i）分別為嚴重滑動磨損磨粒、粘著磨損磨粒和疲勞磨損磨粒的二值圖像，圖1（b）、（f）、（j）分別為三種磨粒的骨架，圖 1（c）、（g）、（k）分別為構建的三種磨粒的部分局部輪廓，圖1（d）、（h）、（l）分別為構建的三種磨粒的部分局部區域。

圖1 磨粒圖像、磨粒骨架、部分局部輪廓和部分局部區域

3 磨粒局部形狀特征提取

通過構建磨粒的骨架，得到磨粒的局部輪廓和局部區域之后，根據基于輪廓和基于區域的形狀特征描述方法，分別提取磨粒局部輪廓和局部區域的形狀特征，最后融合磨粒的局部輪廓特征和局部區域特征，得到磨粒的局部形狀特征集合。

3.1 磨粒局部輪廓形狀特征

根據磨粒局部輪廓的中心距離函數，計算局部輪廓的邊界矩和傅里葉描述子，作為磨粒局部輪廓的形狀特征，并且邊界矩［8］和傅里葉描述子［9］都具有平移、旋轉和尺度不變性。

中心距離函數為形狀輪廓點到形狀質心的距離：

其中：x(i)和y(i)為局部輪廓點的坐標，gx和gy為形狀質心的坐標。

以前3階歸一化的矩和中心矩作為磨粒局部輪廓的邊界矩特征BM，則

磨粒局部輪廓的傅里葉描述子FD為

3.2 磨粒局部區域形狀特征

提取磨粒局部區域形狀特征時，以區域矩［10］和通用傅里葉描述子［11］作為磨粒局部區域的形狀特征，其中區域矩包括不變矩、Zernike矩和偽Zernike矩等，本節采用具有平移、旋轉和尺度不變性的7個不變矩作為局部區域的區域矩特征。

以7個二維不變矩作為磨粒局部區域的區域矩特征RM，則

具有平移、尺度和旋轉不變性的通用傅里葉描述子GFD為

3.3 磨粒局部形狀特征

設磨粒共有N個局部輪廓及對應的局部區域，則第i個局部輪廓的形狀特征及對應的第i個局部區域的形狀特征融合構成磨粒的第i個局部形狀特征xi，則

式中：d表示特征的維數。

N個d維的局部形狀特征構成磨粒的局部形狀特征集合X，則

4 基于BoF模型的形狀特征表示

BoF（Bag of Features）模型是由 Li Fei-Fei和Sivic等將文檔檢索領域的BoW（Bag of Words）模型應用到計算機視覺領域發展起來的，已經在圖像檢索、場景分類、動作識別和物體識別等領域得到了廣泛應用。BoF模型的思想是先提取訓練集合圖像的局部特征，然后采用聚類的方法對所有局部特征進行聚類，以得到的聚類中心作為圖像的視覺單詞，所有的視覺單詞構成圖像的視覺詞典，或稱為碼本。最后根據局部特征與視覺單詞之間的映射關系，對圖像的局部特征進行特征編碼和特征匯集，最終得到圖像的編碼向量。

4.1 構建視覺詞典

根據磨粒局部形狀特征提取方法，可以得到訓練集中所有磨粒圖像的局部形狀特征集合X，然后根據所有的局部形狀特征構建視覺詞典。目前構建視覺詞典一般采用聚類的方法，其中k-means聚類方法因其簡單和有效，得到了廣泛應用，將具有最大相似性的局部特征歸為一類，以得到的聚類中心bi作為視覺單詞，M個視覺單詞組合構建視覺詞典B=[b1，b2，…，bN]∈Rd×M。

4.2 特征編碼

視覺詞典構建完成之后，就需要將d維的局部特征根據視覺詞典轉換成M維的編碼，即對局部特征進行特征編碼。局部約束線性編碼［12］在計算機視覺領域的應用中取得了矚目的效果，根據局部性原理，它在對局部特征xi編碼時不是采用所有視覺詞典B的作為基，而是以B中k個最近鄰作為局部基來進行特征編碼。經過特征編碼之后，得到磨粒的局部形狀特征編碼集合C=[c1，c2，…，cN]∈RM×N，其中ci表示局部形狀特征xi的編碼向量，cij表示視覺單詞bj對局部形狀特征xi的編碼。

4.3 特征匯集

由于不同的磨粒構建的骨架不相同，導致不同磨粒得到的局部輪廓和局部區域的數量也不相同，進而不同的磨粒其局部形狀特征的個數也不相同。因此即使基于相同的視覺詞典對所有磨粒的局部形狀特征進行編碼，由于編碼向量的維數不同，不能直接用于磨粒類型識別。這就需要對特征編碼向量進行特征匯集，使得每個磨粒圖像的局部形狀特征匯集成維數相同的特征編碼向量。

經典的特征匯集方法包括求和匯集、平均匯集和最大匯集，其中采用最大匯集的方法得到的結果比求和匯集和平均匯集的結果更好［13］。對于某個磨粒的N個局部形狀特征的編碼矩陣C，其最大匯集為

最后采用CX的2范數‖CX‖2對CX進行歸一化，得到CX=CX/‖CX‖2。對CX經過特征匯集和歸一化之后，每個磨粒的編碼向量CX都是一個M維的向量，僅與用來進行特征編碼的視覺單詞的個數M有關，而與每個磨粒中局部形狀特征的個數N無關，因此可以利用特征匯集和歸一化之后的M維的編碼向量CX來表示磨粒的形狀特征，進而根據這個編碼向量對磨粒類型進行識別。圖2（a）、圖 2（b）和圖 2（c）分別為圖 1（a）、圖 1（e）和圖 1（i）所示磨粒直方圖表示的歸一化后的編碼向量。

圖2 磨粒編碼向量

5 磨粒類型識別

以某型導彈發射車發動機為監測對象，獲得其潤滑系統中磨粒的圖像之后，根據磨粒的特點對其分類，本文對其中的嚴重滑動磨損磨粒、粘著磨損顆粒和疲勞磨損磨粒進行類型識別研究。每種類型的磨粒分別獲得30個樣本，將這90個樣本隨機分成兩部分，60個用于訓練，30個用于測試。首先構建磨粒樣本的骨架，根據骨架得到磨粒樣本的局部輪廓和局部區域，并提取磨粒樣本的局部輪廓形狀特征和局部區域形狀特征，所有的局部輪廓和區域形狀特征融合構成磨粒樣本的局部形狀特征集合。然后采用k-means聚類方法，根據訓練集所有磨粒樣本的局部形狀特征構建視覺詞典，經過特征編碼、特征匯集及歸一化得到訓練集和測試集所有磨粒樣本形狀特征的編碼向量。最后采用多級支持向量機的方法［14］，根據磨粒形狀特征的編碼向量對磨粒類型進行識別，并與其它形狀特征提取方法做比較。表1為基于形狀特征的磨粒類型識別實驗結果。

表1 磨粒類型識別實驗結果

由表1可以看出，本文提出的基于BoF模型的磨粒形狀特征提取方法，在磨粒類型識別實驗中的結果都要優于其他幾種常用的形狀特征描述方法。由于本文在提取磨粒的局部形狀特征時，綜合了不同尺度的磨粒的局部輪廓和局部區域形狀特征，能夠充分反映磨粒的整體和局部特征，以及輪廓和區域的形狀特征。同時根據BoF模型的思想，磨粒的局部形狀特征經過特征編碼、特征匯集和歸一化后，得到單一的編碼向量，能夠很好地簡化磨粒的形狀特征，提高磨粒類型識別的準確率。

6 結語

1）根據磨粒區域骨架端點和骨架分支，得到磨粒的局部輪廓和局部區域，并提取局部輪廓和局部區域的形狀特征，兩者融合得到磨粒的局部形狀特征集合。

2）根據BoF模型的思想，采用聚類的方法構建局部形狀特征的視覺詞典，然后通過特征編碼、特征匯集和歸一化，得到磨粒形狀特征的編碼向量表示。

3）磨粒類型識別實驗結果表明，本文提出的磨粒形狀特征提取方法能夠充分利用磨粒的整體和局部特征，以及輪廓和區域的形狀特征，提高磨粒類型識別的準確率。