結合NSST顯著性檢測及圖割的泡沫紅外圖像分割

陳詩媛， 廖一鵬， 張 進， 王衛星

(福州大學 物理與信息工程學院，福建 福州 350108)

1 引 言

浮選是浮選機內礦物與空氣中的微氣泡發生碰撞粘附，利用礦物與雜質表面的親疏水性質，可浮性高的礦物顆粒隨著氣泡上浮至液面泡沫層，從而將目標礦物從物質組成復雜的礦石中分選出來的選礦方法[1]。研究表明，浮選過程中氣泡的生成和崩塌可有效反映礦物含量[2]，而圖像分割是浮選圖像處理分析和檢測新生成與崩塌的氣泡的關鍵，廣泛應用于計算機視覺及工業生產等領域[3]。目前，浮選氣泡的分割主要在可見光圖像上進行，這種方法受光照影響很大，容易出現過分割和欠分割，因此可在紅外圖像上對浮選氣泡進行處理，提高抗干擾能力，更加準確地對新生成和崩塌的氣泡進行檢測。

浮選氣泡的穩定性影響了回收率、精礦品位等生產指標性能[4]，準確地對泡沫圖像進行分割，能有效識別新生成和崩塌的氣泡，為后續氣泡的穩定性、崩塌力計算打下基礎。但是氣泡不斷位移且發生形變，泡沫圖像存在光照不均、噪聲大、氣泡粘連等問題，導致氣泡識別檢測困難。目前，學者們提出了多種不穩定氣泡的檢測方法。Sameer等人[5]利用分水嶺算法對泡沫圖像進行分割，提取圖像中氣泡，然后將第2幀中氣泡的質心映射到第1幀的分割圖像中，計算連續幀之間氣泡的交點數進行崩塌判斷。該方法準確度受限于分水嶺分割結果，破裂的氣泡在氣泡的陰影較暗的區域容易被過度分割；Jahedsaravani等人[6]根據連續幀中氣泡出現和消失時在泡沫表面產生的反射和陰影之間的差異以及泡沫速度信息來判斷崩塌氣泡。該方法檢測精度受氣泡形變和光照的影響，形變氣泡的亮點和高亮邊緣易被誤檢。陳良琴等人[7]首先通過閾值分割法和分水嶺提取相鄰兩幀氣泡亮點區域和氣泡個體區域，然后根據氣泡破裂合并的內在特點提取變化特征，最后將支持向量機引入，得到氣泡穩定度數據；Nakhaei等人[8]研究了浮選操作條件對泡沫表面外觀特征的影響，使用分水嶺分割技術計算泡沫氣泡的大小，并通過分析連續幀和檢測氣泡中心的移動和變化率來計算泡沫速度和穩定性。

目前，對浮選泡沫紅外圖像處理的研究較少，本文對泡沫表面紅外熱成圖像后發現，新生成和崩塌的氣泡會產生高溫，可通過對紅外圖像中高溫區域目標分割以實現新生成或者崩塌氣泡的提取，為后續氣泡的穩定性、崩塌力檢測提供良好基礎。目前紅外圖像的分割方法較多，邵磊等人[9]先通過經典單閾值分割將泡沫紅外圖像劃分為背景和目標兩部分，再選取目標灰度及平均值為圖像做二維雙閾值分割，能有效提取出目標，但抗噪性較差。圖像顯著性檢測被廣泛應用于圖像分割、目標識別與追蹤等領域。Bi等人[10]提出利用顯著性映射將空間信息融合到傳統的GMM中進行圖像分割，能準確標識目標且很大程度上提高了目標分割的精度。Peng等人[11]綜合測地距離、外觀重疊信息和邊緣信息，提出自適應調整各個約束項的交互式圖割方法，節省了實驗工作量，優化了分割效果，但是需要手動選取前景和背景，不適用于工業生產領域。廖苗等人[12]基于自適應分段非線性增強構建圖割能量函數，實現自動分割，并采用形態學開操作對分割結果進行優化，將其中錯誤分割區域剔除，提高分割正確率，且綜合分割性能優于現有多種算法。泡沫紅外圖像存在分辨率和對比度低缺陷，噪聲干擾嚴重，氣泡邊緣的高溫區域模糊，圖像單尺度下的分割精度不高。近年來,多尺度幾何分析的發展為圖像分析處理開辟了新的研究方向,非下采樣Shearlet變換(NSST)[13]不僅繼承了NSCT的變換特性，而且具備運算效率高、分解方向不受限制等特質，已應用于圖像分割[14]，并取得較好的分割效果。

本文提出一種結合NSST域圖像顯著性區域的標識定位及圖割的泡沫紅外圖像分割方法。首先，通過非下采樣Shearlet變換(NSST)將泡沫紅外圖像分解為低頻子帶和多尺度高頻子帶；其次，采用GBVS算法對低頻子帶圖像進行顯著性檢測，得到顯著性值和視覺顯著圖；然后，對各個高頻方向子帶系數計算閾值和尺度相關系數，去除噪聲系數和非線性增強邊緣、弱邊緣系數；最后，結合NSST域視覺顯著性進行圖割：NSST重構后結合圖像顯著值和亮度特征構造包含區域項和邊界項的能量函數，再利用最大流/最小割算法求解能量函數的最小值進行目標分割，提取新生成的和崩塌的氣泡并計算分割精度。

2 NSST域顯著性檢測及增強去噪

2.1 泡沫紅外圖像的NSST分解

非下采樣Shearlet變換(NSST)包括多尺度分解和多方向分解兩部分，是對NSCT的優化改進。NSCT繼承了Contourlet變換的多尺度多方向及良好的空域和頻域特性[15]，但是運算效率不高，不適用于對實時性要求高的場合。針對NSCT存在的缺點，Easley等人[16]提出了NSST，與NSCT相比，運行時間短，能夠滿足實時性要求。NSST具有多尺度多方向、平移不變的變換特性，而且運算效率高。泡沫圖像通過k級非下采樣金字塔(NSP)多尺度分解后，得到k+1個子帶圖像，其中包括1個低頻圖像和k個尺度不同的高頻圖像。對多尺度分解后子帶圖像進行l級多方向分解，分解為2l+2個方向子帶圖像，NSST方向分解采用Shear濾波器保證圖像不失真，使圖像具有平移不變性，并有效抑制偽吉布斯效應。

根據非下采樣Shearlet變換(NSST)特有的優勢，可將其運用到氣泡檢測中，低頻子帶圖像去除噪聲，提高氣泡亮點對比度，保留氣泡輪廓信息，留下顯著性的高溫區域，有利于定位新生成的和崩塌的氣泡；高頻子帶圖像包含氣泡的邊緣、紋理特征，能有效估算崩塌位置和范圍進行分割，以提高算法整體的魯棒性。原圖像經過NSST變換分解后的低頻圖像和高頻圖像如圖1所示。

圖1 氣泡圖像多尺度變換Fig.1 Multiscale transform of bubble images

2.2 低頻子帶圖像顯著性檢測

視覺顯著性檢測[17]是指通過智能算法模擬人的視覺特點，獲取圖像中局部視覺特征突出的顯著區域，即自動選擇感興趣的區域進行處理，忽略不感興趣的區域。顯著性檢測在應用于提取顯著目標區域時，普遍采用閾值的分割方法缺乏廣泛適用性。本文在Graph cuts框架下，融入低頻子帶圖像的顯著性檢測，有效估計泡沫紅外圖像的前景與背景，將資源集中處理圖像中最能引起用戶興趣、表現圖像內容的區域，減少計算量，提高信息處理效率和通用性。

顯著性檢測中的GBVS算法是對ITTI算法的優化改進，特征提取方法與ITTI一致，且生成的顯著圖有利于閾值分割。本文采用GBVS算法對低頻子帶圖像進行顯著性檢測，引入馬爾可夫鏈[18]計算特征差異得到顯著性值，并通過歸一化顯著值和合并多個激活圖生成視覺顯著圖。從NSST分解后的低頻子帶圖像中提取亮度和方向視覺信息分別對應的特征矩陣，獲得圖像尺寸為n×n的特征圖。依次以特征圖為輸入，計算相應的激活圖。對于特征圖或者原圖，用馬爾可夫的方法來定義一個像素(i,j)和其領域的不同，并要求(i,j)對應于激活圖中的位置處要有較高的值。我們需要構造一個圖，首先以特征圖中的一個像素作為圖中的一個節點，然后根據像素點間的灰度值相似度和像素點位置間的歐氏距離作為連接權值，將每個像素點兩兩連接，構成一個有向全連接的圖GA，從節點(i,j)和節點(p,q)的連接權重表示從某一節點(i,j)出發訪問到另一節點(p,q)的概率，定義為：

W((i,j),(p,q))=d((i,j)||(p,q))·
D(i-p,j-q)，

(1)

式中，G(i,j)和G(p,q)分別代表節點(i,j)和節點(p,q)的特征，兩者差異的具體衡量公式為：

(2)

D(i-p,j-q)表示節點(i,j)和節點(p,q)位置間的歐式距離，計算公式為：

(3)

在有向全連接圖GA上定義一個馬爾可夫鏈，因為馬爾可夫鏈中轉移概率矩陣具有從一個節點到其他所有節點的轉移概率之和必須為1的性質，所以對連接權重進行歸一化，每一個連接權重都乘以一個系數使得總和為1，形成馬爾可夫狀態轉移矩陣。并將節點作為馬爾可夫鏈的狀態，邊權重作為馬爾可夫鏈中狀態的轉移概率。權值越大，轉移概率越大，節點視覺特征差異越大的點越顯著。根據多次迭代馬爾可夫轉移矩陣達到的馬爾可夫鏈平穩分布對節點進行計算獲得顯著值。最后把每個特征的激活圖進行歸一化并相加，得到視覺顯著圖。

2.3 高頻子帶增強及去噪

(4)

(5)

(6)

(7)

(8)

(9)

(10)

3 基于顯著性檢測結果的圖割方法

視覺顯著性檢測是指通過智能算法模擬人的視覺特點，獲取圖像中局部視覺特征突出的顯著區域，即自動選擇感興趣的區域進行處理，忽略不感興趣的區域。顯著性檢測在應用于提取顯著目標區域時，普遍采用閾值的分割方法缺乏廣泛適用性。本文在Graph cuts框架下，融入低頻子帶圖像的顯著性檢測，有效估計泡沫紅外圖像的前景與背景，將資源集中處理圖像中最能引起用戶興趣、表現圖像內容的區域，減少計算量，提高信息處理效率和通用性。

融合各個尺度下的細節，對多尺度高頻子帶做增強和去噪處理后進行NSST重構，并對該重構圖像進行圖割。提取出圖像的區域特征與邊界特征并將二者融合，在此基礎上建立的模型即為圖割算法模型，具有全局最優性，且在一定程度上解決了過分割或分割不足的問題。構造一個包含區域項和邊界項的能量函數，把圖像映射成一個帶權圖G=(V,E)，V和E分別是頂點和邊的集合，圖割的能量函數構建為：

(11)

為了突出泡沫紅外圖像中高溫區域表示的新生成和崩塌的氣泡，本文采用基于高斯擬合的氣泡亮度模型，氣泡亮度模型構建公式為：

(12)

式中：I為圖像亮度，氣泡亮度范圍為[IL,IH]，參數k用于氣泡亮度模型中新生成和崩塌的氣泡與背景的對比度調節，k取1.5。亮度模型fI要進行各向異性濾波并歸一化到[0,1]之間。

對泡沫紅外圖像中的顯著性區域進行高斯擬合，運用高斯函數擬合其亮度分布，來獲取氣泡亮度范圍[IL,IH]，公式表示為：

(13)

Ip表示像素點p的亮度值，FI(fp)為亮度約束項，定義如下：

(14)

僅依賴亮度特征的區域項會出現不是目標的區域也被提取分割的現象。為彌補亮度特征判斷不足所產生的干擾結果，本文加入顯著性約束項，區域顯著值較大的被判定為目標；反之，判定為背景。

(15)

(16)

(17)

(18)

(19)

圖割能量函數中的邊界項用B(fp,fq)表示，公式為：

(20)

(21)

式中：Ip、Iq分別表示像素點p和像素點q的亮度值，d(p,q)為像素p和q之間的歐氏距離，SP為像素集P的像素總數。如果鄰域像素p和q越相似，那么B(fp,fq)越大；如果兩者存在很大差異，那么B(fp,fq)逼近于0，即能量越小，它們處于目標和背景的邊緣部分的可能性很大，則有較大可能被分割。

(5)單位面積吸能S(Unit area energy absorption)，定義為結構壓潰前的總吸能E與承載面積A之比，見式(4)：

4 算法流程與步驟

綜上分析，本文泡沫紅外圖像的NSST域分割算法流程圖如圖2所示，具體實現步驟如下：

Step1：攝像機實時采集浮選槽表面的泡沫紅外圖像，并將圖像傳輸給后臺處理主機。

Step2：對泡沫紅外圖像進行NSST多尺度分解，得到1個低頻圖像和k個尺度不同的高頻子帶，各尺度高頻子帶再分解為l個方向子帶。

Step3：采用GBVS算法對低頻子帶圖像進行顯著性檢測，引入馬爾科夫鏈計算特征差異得到顯著性值，并通過歸一化顯著值和合并多個激活圖生成視覺顯著圖。

圖2 泡沫紅外圖像分割流程圖Fig.2 Flow chart of foam infrared image segmentation

Step5：結合NSST域視覺顯著性進行圖割，首先，融合各個尺度下的細節，并對增強和去噪處理后的多尺度高頻子帶、低頻子帶圖像進行NSST重構，得到增強及去噪后的泡沫紅外圖像；然后，結合圖像顯著值和亮度特征構造一個包含區域項和邊界項的能量函數；最后，利用最大流/最小割算法求解能量函數的最小值，得到分割結果。

5 實驗結果與分析

為驗證本文所提出的泡沫紅外圖像分割算法的有效性，以福建金東礦業股份有限公司的鉛礦浮選廠泡沫紅外圖像作為實驗測試對象，實驗的硬件平臺為Intel(R) Core(TM) i5-4260U CPU@1.40 GHz 2.00 GHz、4.00 GB RAM,運行環境為Windows 7+MATLAB 2017a。通過大量實驗對所提方法進行驗證，給出了各實驗步驟的結果及分析，并與現有方法進行了結果比較分析。

在完成圖像分割任務之后，需要對分割結果進行性能評估。一般采用的指標是IOU和假陽性率，公式為：

(22)

(23)

式中: TP為標準割和算法分割結果相交部分，FN為標準割減去TP部分，FP為算法分割結果減去TP部分，分割結果與標準割比較示意圖如圖3所示。

圖3 分割結果與標準割比較示意圖Fig.3 Comparison of segmentation results map with standard segmentation map

實驗1為泡沫紅外圖像分割實驗結果及對比。對浮選泡沫紅外圖像(見圖4(a))進行NSST分解，得到低頻子帶圖像(見圖4(b))和多尺度高頻子帶，其中高頻尺度1如圖4(c)所示、高頻尺度2如圖4(d)所示。對低頻子帶圖像進行GBVS顯著性檢測，GBVS圖如圖4(e)所示，顯著部分如圖4(f)所示，圖中點表示顯著部分的質心。融合各個尺度下的細節，并對增強和去噪處理后的多尺度高頻子帶、低頻子帶圖像進行NSST重構，得到增強及去噪后的泡沫紅外圖像如圖4(g)所示。最后對圖像進行圖割操作，分割結果如圖4(h)所示。

若采用直接對泡沫紅外圖像進行GBVS顯著性檢測，不在NSST低頻子帶圖像下進行顯著性檢測，GBVS圖如圖4(i)所示，而后進行圖割得到結果如圖4(j)所示，容易分割出非目標區域，分割精度較低。若沒有對多尺度高頻子帶先進行增強去噪處理再圖割，分割結果如圖4(k)所示，目標區域邊緣雜亂，精確度不高。泡沫紅外圖像標準割如圖4(l)所示。

圖4 本文分割算法的實驗結果及對比Fig.4 Experimental results and comparison of the segmentation algorithm in this paper

將本文分割算法與傳統分割算法相比較，區域生長算法分割結果如圖4(m)所示，分割存在區域空洞和邊緣模糊問題。分水嶺算法分割結果如圖4(n)所示，分割精度有所提高，但缺乏邊緣平滑。閾值分割算法分割結果如圖4(o)所示，分割速度較快但精度不高。K聚類算法分割結果如圖4(p)所示，分割后的圖像輪廓清晰，但是完整度較低。

實驗2 為驗證本文算法在紅外圖像下具有較好的抗噪聲性能，對浮選泡沫紅外圖像疊加了均值為0，方差為10%的高斯白噪聲，結果如圖5(f)所示，并與現有文獻方法和原始泡沫紅外圖像各文獻分割算法進行結果比較分析。各方法分割結果如圖5所示。用IOU和假陽性率對分割結果進行性能評估，驗證本文分割算法的精確度和有效性，各算法的實驗數據統計如表1所示。

圖5 加噪泡沫紅外圖像分割算法的對比Fig.5 Comparison of noise foam infrared image segmentation algorithms

表1 加噪泡沫紅外圖像分割結果比較Tab.1 Comparison of noised foam infrared image segmentation results

實驗3 為驗證本文算法在不同工況下，不同大小、個數和類型的氣泡圖像具有普遍性。對采集的100張256×256浮選泡沫熱成像圖，分別運用文獻[9]、文獻[10]、文獻[12]及文中算法進行分割，為了定量比較分割效果，選取有代表性的欠浮選、正常浮選、過浮選圖像進行試驗，試驗結果如圖6所示，計算分割后圖像的IOU、假陽性率，及算法的平均運行時間，各算法的性能統計結果如表2所示。

圖6 3種浮選紅外圖像分割算法的對比Fig.6 Comparison of three flotation infrared image segmentation algorithms

表2 3種浮選紅外圖像分割結果比較Tab.2 Comparison of segmentation results of three flotation infrared images

實驗數據表明：區域生長分割算法、閾值分割算法、文獻[9]和文獻[12]易受光照和運動形變影響，造成分割區域有空洞、分割出非目標區域，精確度較低。分水嶺分割算法存在邊界模糊問題且受限于分割參數的選取，存在一定的誤差。K聚類算法分割一定程度上解決了過分割和欠分割現象，分割后的圖像目標輪廓清晰，但精度仍較低。文獻[10]能準確識別目標，分割精度較其他方法有一定提高。本文方法受影響小，分割精度較高，且在噪聲較大的紅外圖像下，閾值分割算法、K聚類算法、文獻[9]和文獻[12]的分割精度急劇下降，而本文方法仍保持較高精度，有較好的抗噪性。各算法的平均運行時間統計如表2所示，本文分割方法的運行時間較長，是現有文獻方法的2～3倍，但本文方法能準確識別目標，精確分割出新生成或崩塌的氣泡，與實際氣泡的邊界較吻合，抗噪性好，分割精度高。

實驗4 為了進一步檢測新合成或崩塌氣泡提取方法的性能，選取正常浮選氣泡圖像、欠浮選氣泡圖像、過浮選氣泡圖像各50幅作為實驗對象進行定量對比。采用差異法對提取結果進行性能評估，采用的指標為氣泡檢測效率RD及準確率TC，公式為：

(24)

(25)

式中:Pn為專家人工標記的氣泡數量，Py為各方法提取到的氣泡數量，Pt為各方法檢測正確的氣泡數量，新合成或崩塌氣泡提取結果性能分析如表3所示。

將本文方法與改進分水嶺分割、文獻[9]、文獻[10]和文獻[12]等分割方法的運行時間進行比較，運行時間表見表2。

根據表3結果分析，對于正常浮選氣泡圖像，4種方法都呈現出較高的檢測效率和準確率，且相差不大。對于欠浮選氣泡圖像，文獻[6]檢測精度受氣泡形變和光照的影響，氣泡的亮點和高亮邊緣易被誤檢，文獻[7]和文獻[8]對小氣泡會造成誤檢誤分割，導致檢測效率和準確率下降，而本文方法一定程度上提高了分割提取精度，抑制了檢測效率和準確率下降。對于過浮選氣泡圖像，文獻[6]存在過分割，文獻[7]和文獻[8]方法受氣泡形變影響而造成誤識別，檢測效率和準確率不高，而本文方法受影響小，提取精度高。綜上分析，本文方法用于檢測新生成和崩塌的氣泡，表現出較高的檢測效率和準確率，在不同浮選工況下均表現出良好的魯棒性，滿足浮選生產在線檢測和動態變化需求。

表3 新合成或崩塌氣泡提取結果性能分析Tab.3 Performance analysis of extraction results of newly synthesized or collapsed bubbles

6 結 論

針對浮選泡沫紅外圖像目標邊界模糊、噪聲影響導致圖像分割困難的問題，提出一種結合非下采樣Shearlet變換(NSST)域顯著性檢測及圖割的泡沫紅外圖像分割方法。采用泡沫紅外圖像進行崩塌和新合成氣泡的分割，受光照影響很小，抗干擾能力強；在NSST域下進行多尺度多方向的高頻子帶增強及去噪，減少了噪聲影響，保留更多的氣泡輪廓信息、邊緣及紋理特征，有利于提高邊緣區域的分割精度；在Graph cuts框架下，融入高斯擬合的氣泡亮度模型和低頻子帶圖像的顯著性檢測，有利于準確估計泡沫紅外圖像的目標區域與背景，減少了過分割和欠分割現象，提高了分割精度。實驗結果表明，本文算法較現有文獻方法相比，受光照影響小,能有效對目標區域進行分割，一定程度上解決了過分割和欠分割問題。正常浮選檢測準確率為91.8%，欠浮選為87.1%，過浮選為88.9%。分割精度有明顯提高，能更加準確地對新生成和崩塌的氣泡進行檢測，且表現出良好的抗噪性，在不同工況下均表現出良好的魯棒性，適用于浮選生產檢測。