基于微流控的油液動態磨粒目標檢測方法

蔣志強,左洪福,王 涵,郭家琛

(南京航空航天大學民航學院，南京 211106)

隨著機械系統和設備的復雜化，故障檢測的難度也隨之增加。潤滑系統作為機械設備中極其重要的組成部分，油液檢測技術在機械磨損狀態監測與故障診斷中發揮著越來越重要的作用。機械設備故障磨損會產生不同的磨損顆粒[1]，而對油液中磨粒的識別檢測也是一個重要的研究方向。

近年來國內開始研究在線式油液磨粒監測技術，但是很多方法無法識別磨粒的幾何特征信息，對于粒徑小的顆粒也無法檢測[2]。為了彌補現在的在線油液監測技術的不足和缺點，圖像處理技術的應用提供了很好的思路，成為一個重要的研究方向。基于在線鐵譜圖像的磨粒識別系統最先是由陶輝等[3]和武通海等[4]提出，此方法將磨粒先沉積下來后進行識別研究，但會使磨粒堆積過多，影響在線監測效果。基于微流體與圖像識別技術的在線潤滑油磨粒分析方法是由郝延龍等[5]提出，此方法能檢測油液的污染程度，但在線監測的實時性不強，功能不完善。本文結合高速攝像機，實現了基于微流控顯微圖像分析技術的油液動態監測實驗平臺設計，研究了微流動顆粒的圖像模糊恢復方法并且將模糊顆粒圖像恢復；提出一種基于微流控的油液動態磨粒檢測方法，首次實現了磨粒目標的單目標檢測，縮短了傳統方法對磨粒識別的時間，保證圖像處理算法的實時在線分析。

1 實驗平臺

分析實驗中結合的微流控芯片技術和高速視覺技術，利用已有的基礎實現基于微流控顯微圖像分析技術的油液動態監測實驗平臺設計，系統結構如圖1所示。此系統由單筒顯微鏡、圖像傳感器、高速成像軟件、微量泵、油液微流管路等組成，完成系統在線供油及磨粒圖像的在線采集分析。

圖1 基于微流控顯微圖像分析技術的油液動態監測系統結構框圖

隨著高速視覺技術的發展，高速成像技術能通過高速攝像機將過程和細節記錄下來并且分析。實驗設備選用的是大恒高速視覺產品，此數字攝像機是由大恒圖像最新研發的緊湊型數字攝像機，具有高清晰度、高精度、低噪聲等特點。高速成像軟件采用加拿大Norpix公司開發的高速視頻存儲軟件StreamPix。

采用本系統采集圖像數據時，傳感器和場景之間的均勻線性運動會產生圖像模糊現象。本文分析研究圖像的退化模型，應用基于退化函數的方法恢復磨粒模糊圖像；再采用一種基于視覺顯著性的目標檢測方法，實現磨粒目標檢測。

2 微流動顆粒運動模糊恢復

圖像的退化過程被建模為一個退化函數H和一個加性噪聲項n(x,y)，圖像f(x,y)為此過程原圖像，圖像g(x,y)為此過程后的圖像，如圖2所示[6]。

圖2 退化過程模型示意圖

g(x,y)=H[f(x,y)]+n(x,y)=

f(x,y)*h(x,y)+n(x,y)

(1)

式中：*表示卷積；h(x,y)是該退化函數的空間表示。而且，h(x,y)就是點擴散函數PSF。

此實驗中，由于在獲取圖像時，傳感器與場景之間是均勻線性運動而產生圖像模糊，圖像模糊可以使用函數fspecial來建模。

PSF=fspecial(′motion′,len,theta)

(2)

式中：len表示線性移動的尺度，theta表示運動模糊角度。在此實驗中，磨粒在高速拍攝過程中運動速度較慢，本文認為磨粒短時間內作勻速直線運動。即theta參數為0。

計算退化模型中的運動模糊尺度len是顆粒模糊圖像復原的關鍵。假設在曝光時間內，磨粒在芯片通道的軸線方向上移動len個像素。如果利用曝光時間和流速來計算模糊尺度len的大小，難度較大且誤差很大。因為微流控芯片流道內的速度分布不均勻，各個磨粒的流速差異較大且計算困難，所以本文運用基于自相關函數的方法估算運動模糊圖像中的len大小。在勻速直線運動模糊圖像的頻譜圖中會出現平行暗條紋，理論和實驗證明暗條紋的方向與模糊方向垂直，模糊尺度就是條紋之間的距離，本文利用此方法，計算原模糊圖像的自相關函數[8]，能較為準確地計算出模糊尺度。對實驗后的磨粒圖像進行預處理，首先需要圖像灰度化處理。采用轉換公式如下

G=0.299r+0.587g+0.114b

(3)

式中:G表示圖像的彩色特征量；r表示紅色分量；g表示綠色分量；b表示藍色分量。使用Sobel算子和得到的灰度圖像做卷積運算，卷積需要先將Sobel模板旋轉180度。因此Sobel的卷積模板是：

(4)

得到卷積后圖像，再求每行的自相關函數：

(5)

其中:l(i)代表第k行中第i+1個像素的灰度值；N是圖像的行像素數；m表示整數；m∈[-N-1,N-1]。

自相關函數可以由卷積后的圖像求出，圖像每行對應一個自相關函數，曲線上都有兩個最低值，這就是共軛相關峰，分別對稱分布在最高值的兩側，如圖4所示。模糊尺度len是兩峰橫坐標差值的1/2。根據圖像的行數，求得max(k)個模糊尺度的值，此圖像的模糊尺度就是max(k)個值中頻率最高的那個值。此方法的優點是能抑制噪聲干擾，提高模糊尺度可靠性與識別精度。在得出自相關函數共軛相關峰的橫坐標差值后，然后求得模糊尺度len，最后對圖像進行復原。

圖3 磨粒模糊圖像原圖

運用前面描述的求圖像自相關函數的方法求得圖像的自相關函數圖，如圖4，得到兩峰橫坐標差值出現頻率最高的值為4，求出整幅圖像的模糊尺度為2pixels。

利用Matlab中的圖像處理函數實現維納濾波，得到的磨粒恢復圖像如圖5。

將圖3和圖5對比分析可知，恢復圖像中的磨粒的邊界輪廓更加清晰，邊緣的信息相比于原圖更加豐富，此方法也對圖像基于顯著性目標檢測和磨粒的三維重建奠定了基礎。

圖4 自相關函數

圖5 磨粒恢復圖像

3 基于顯著性的磨粒目標檢測

人類視覺系統在面對自然場景時具有快速搜索和定位感興趣目標的潛在能力[9]，視覺顯著性檢測是經過某些算法模仿人的視覺，標記某些圖像中的感興趣區域ROI(Region of Interest)[10]，進而進行某些目標的精準定位與檢測。本文首次在磨粒圖像上借鑒頻域殘差顯著性[11]的計算，提取磨粒圖像ROI區域，然后構建磨粒檢測評價指標，完成目標檢測。此方法計算簡單、有效且速度較快，對實現微流顆粒的在線監測具有較大意義。

3.1 顯著性分析

國內外基于顯著性方法已有研究，Achanta等[12]利用局部顏色和亮度特征的對比多尺度方法求出像素點顯著值，最終得到顯著性圖。Hou等[13-14]提出一種基于頻域的顯著性檢測方法，將圖像轉化到頻譜域進行分析，利用離散余弦變換及反變換得到顯著性圖。此方法對原圖像進行離散余弦變換及卷積運算，算法簡單有效、計算速度快，得到的顯著圖對后續處理有較大意義，而且不需要其他對目標識別的知識信息。所以，本文將以該方法為基礎研究微流顆粒目標的檢測問題。

令I作為存在磨粒目標的灰度圖，那么它能用下面的形式表示出來

I=f+b,I,f,b∈RM×N

(6)

其中：f代表此圖像的前景信息；b表示圖像的背景信息；M，N表示矩陣I，f，b的維度。

王敬凱琢磨，張小波11時20分放學，李桂明12時55分在單位大門口碰到張秋，其間有95分鐘時間，那么，作案需要多少時間呢？20分？10分？甚至還短一些？如果真是李桂明作的案，那么，時間之謎又如何解開呢？王敬凱決定親自試一試。

ImageSignature(I)=sign(DCT(I))

(7)

式中，DCT為離散余弦變換，將圖像變換到頻率域中，sign運算定義：

(8)

所得的結果中包含圖像的前景信息，然后再通過余弦反變換

(9)

(10)

其中：“*”是卷積運算；“° ”代表Hadamard乘積；g可以平滑磨粒圖像的顯著圖S，是一種高斯濾波器。

這就是本文基于顯著性理論的磨粒目標檢測方法，這種方法的優點是計算過程不復雜且目標檢測準確，正好在基于微流控領域的磨粒識別方法上能有重要的借鑒意義，對于此方向的研究也具有重要的現實意義。

3.2 顯著性檢測

本文基于此方法首次將微流中磨粒圖像進行檢測實驗，圖6、圖7分別為同一磨粒兩種不同姿態的顯著性檢測效果圖。

圖6 姿態一磨粒的顯著性檢測效果圖

圖6(a)為磨粒姿態一的原始圖。圖6(b)是其所對應的三維圖，已將彩色值轉化為0-1的漸變值，圖中顏色最深的部分就是磨粒目標的所在區域，周圍區域也有雜質干擾但目標相比于背景更加突出。將灰度圖經兩次變換后可以得到重構圖為圖6(c)。圖6(d)為此算法求出的磨粒目標顯著圖，圖中磨粒目標區域明顯突出于其他背景區域。圖6(e)為磨粒目標顯著圖經過閾值處理得到的二值圖像，有效地排除了圖像中雜質的干擾，識別確定了圖像中磨粒的位置并且為磨粒的識別奠定了基礎。圖7中磨粒姿態二的檢測過程與圖6同理。

針對兩種不同姿態、位置的磨粒圖像進行顯著性檢測效果對比分析，體現出此算法的可靠性和適用性。

圖7 姿態二磨粒的顯著性檢測效果圖

為了精準和更快地檢測出油液中磨粒的位置、完成磨粒圖像目標檢測識別。本文借助顯著性方法，即求出存在磨粒目標的圖像的重構圖和顯著圖，然后檢測出磨粒的位置。實現的基本原理是基于磨粒目標相對于油液背景顯著的特點。

頻域變換過程后，圖像中存在大量顯著性相關信息。而經過兩次變換后的重構圖中不但包括大量目標信息，而且還有效地抑制了油液背景信息，讓磨粒目標更加明顯，此方法可以更有效地避免了背景圖像中雜質和噪聲的干擾。

在二值化處理后，圖像中只有少數明顯突出區域出現，這些區域就是磨粒目標的潛在區域，其中就包括磨粒目標所在的位置，正是這個過程提高了磨粒目標的檢測效率。

4 實驗結果及分析

本文定義檢測率和誤警率，定量地評價此算法性能，目的是更加客觀地反映本文磨粒的檢測效果。微流道磨粒監測數據為大量視頻序列幀圖像，考慮到立體磨粒在流道中的姿態、位置變化以及噪聲的影響，應用檢測率和誤警率能夠作為磨粒目標檢測效果評價指標，其中，檢測率(DR)和誤警率(FA)的計算如下：

(11)

采用含有不同粒徑大小磨粒視頻序列幀作為實驗數據，每種粒徑磨粒視頻序列幀按照平均時間間隔取20幀作為整個視頻序列幀的樣本，分別計算各種粒徑磨粒的整個視頻序列幀圖像檢測率，進行磨粒目標檢測分析。作為實驗數據的磨粒圖像都是基于微通道直徑和長度相同背景下拍攝的，圖像的分辨率為852×648，圖像中存在不同的噪聲干擾。

由表1可見，等效粒徑大于50 μm的磨粒圖像基于顯著性的目標檢測結果為100%，說明了此算法的有效性和適用性。等效粒徑小于50 μm的磨粒，考慮到立體磨粒在流道中的姿態變化，會出現磨粒圖像丟失現象，由于微流控芯片加工工藝問題使通道背景圖像產生噪聲，也會造成檢測率降低。表1中數據還表明，此算法能有效地排除背景圖像中噪聲雜質的干擾。

表1 幾種粒徑大小磨粒目標檢測率

本文借助顯著性的概念，大大減少了用于目標檢測的窗口數量。此方法先確定磨粒圖像中的顯著區域，得到顯著圖，然后再實現后續計算完成目標檢測，這很大程度提高了磨粒圖像中目標檢測的效率。

本文使用Intel Core i5-6300HQ 2.30GHz CPU計算機中Matlab平臺，對分辨率為852×648的磨粒原圖像展開實驗，目的是定量準確地評價出磨粒的識別效率。運用本文方法在Matlab平臺中計算單幀圖像的平均檢測時間，檢測效果如圖8所示。得到單幀圖像檢測并且標記需要1.15 s，滿足磨粒檢測的高效需求。所以本文方法能準確檢測出磨粒目標并且檢測效率較高，對微流控磨粒監測技術的研究有重要意義。

圖8 大小為852×648的磨粒圖像檢測效果

5 結論

1)提出了基于微流控的油液磨粒目標檢測算法，實現了對微通道磨粒圖像的單目標檢測，通過對5種粒徑大小的磨粒圖像進行算法識別實驗，驗證了算法的適用性。

2)實驗結果表明，基于微流控的動態磨粒目標檢測算法效果比較好，但檢測率會受磨粒圖像丟失和圖像背景噪聲影響；該算法效率較高，但受圖像大小和處理設備平臺影響。