基于圖像特征匹配的煤泥浮選泡沫速度特征提取方法

郭中天，王然風，付翔，2，魏凱，王宇龍

（1.太原理工大學 礦業工程學院，山西 太原 030024；2.山西焦煤集團有限責任公司 博士后工作站，山西 太原 030024）

0 引言

煤泥浮選工藝是典型的多輸入多輸出復雜工藝，在實際浮選生產過程中，浮選司機主要通過肉眼觀察浮選泡沫特征變化，依靠個人經驗對浮選工況進行判斷并對浮選過程進行控制[1]。這種憑借人工經驗的操作方式存在準確性和穩定性不足的劣勢，嚴重影響了浮選過程控制優化[2]。浮選泡沫圖像中包含許多與浮選過程變量和產品質量相關的信息，準確并快速地提取浮選泡沫圖像特征，建立浮選泡沫圖像特征與浮選過程關鍵參數間的非線性映射關系，對浮選過程的實時在線監測與控制是十分有意義的[3-4]。

煤泥浮選泡沫圖像特征一般包括基于單幀圖像提取的靜態特征（包括泡沫顏色特征、紋理特征、形態特征等）和基于圖像序列幀提取的動態特征（包括泡沫速度、穩定度等，泡沫速度是動態特征中的一個關鍵特征參數）。許多學者對泡沫圖像靜態特征提取進行了分析。文獻[5]從多種圖像特征中選擇恰當的物理參數（顏色、紋理 ）描述精選泡沫圖像，研究了基于圖像處理技術的泡沫顏色和紋理特征提取方法。文獻[6]將泡沫圖像進行顏色空間轉換并計算顏色共生矩陣，從歸一化后的顏色共生矩陣中提取特征統計量來表征泡沫紋理狀況，設計有效描述浮選泡沫紋理的新特征參數。文獻[7]采用小波閾值去噪和形態學操作對泡沫圖像進行標記，然后對處理后圖像進行距離變換、灰度重構，并用分水嶺算法完成分割，統計泡沫形態特征。由于浮選泡沫圖像局部靜態特征相似，難以很好地用于浮選實時監測與控制，一些較為復雜的工況判斷需要用到浮選泡沫圖像的動態特征。基于圖像處理的浮選泡沫動態特征參數提取，文獻[8]提出了一種基于尺度不變特征轉換（Scale-Invariant Feature Transform，SIFT）和改進卡爾曼濾波的在線泡沫速度測量方法，并討論了泡沫速度與生產性能指標的關系。文獻[9]根據泡沫速度大小和方向對應分布范圍改進SIFT 算法匹配條件，利用隨機抽樣一致（Random Sample Consensus,RANSAC）算法進一步剔除誤匹配點，并根據匹配結果提取泡沫速度特征。以上算法在圖像發生縮放、光照和仿射變換時仍保持穩定，但在匹配過程中出現了大量誤匹配且實時性不足的問題。文獻[10]采用同態濾波和直方圖均衡化相結合的方法對井下圖像進行預處理，在加速KAZE（Accelerated-KAZE,AKAZE）和暴力匹配（Brute Force，BF）的基礎上利用RANSAC 進行精準匹配，但RANSAC 在剔除錯誤匹配的同時也剔除了較多正確匹配。

針對上述問題，本文提出了一種基于AKAZE 與基于網格的運動統計（Grid-based Motion Statistics，GMS）算法[11]和卡爾曼運動估計的煤泥浮選泡沫速度特征提取方法。首先，采用限制對比度自適應直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）和三維塊匹配濾波（Blockmatching and 3D filtering，BM3D）對浮選泡沫圖像進行預處理，保留更多的紋理和邊緣細節信息。然后，采用AKAZE 特征匹配算法和BF 對預處理后的圖像特征進行網格劃分，采用GMS 算法快速可靠地區分正確與錯誤的特征匹配，從而提高泡沫圖像特征匹配的準確性和實時性。最后，根據匹配結果計算浮選泡沫速度，并以此為測量值，利用卡爾曼運動估計對測量值進行修正，得到更穩定的煤泥浮選泡沫速度。

1 煤泥浮選泡沫速度特征提取流程

煤泥浮選泡沫速度特征是實現浮選狀態客觀評價不可或缺的特征參量，其與浮選生產速率、泡沫帶礦量及精煤回收率等浮選性能參數有極大關聯。

基于圖像特征匹配可大大降低煤泥浮選泡沫速度特征提取的難度，是一種快速、非接觸式的軟測量方法。基于圖像特征匹配的煤泥浮選泡沫速度特征提取是通過分析泡沫視頻圖像中相鄰幀的相互關系，從而進行特征匹配來實現的。由于高幀率數字相機相鄰幀間的間隔時間很短，相鄰幀間同一目標煤泥浮選泡沫的亮度和位置不會發生劇烈變化。泡沫在三維空間中的位置變化可看作在二維圖像空間的平移。相鄰幀泡沫位置信息會發生變化，但其主要特征不會發生劇烈變化，如圖1 所示。

基于圖像特征匹配的煤泥浮選泡沫速度特征提取方法主要包括泡沫圖像獲取、圖像預處理、特征檢測與匹配和速度提取4 個部分，其流程如圖2 所示。通過浮選泡沫圖像采集系統得到質量清晰及特征明顯的視頻，從中提取泡沫序列幀圖像。對泡沫序列幀圖像進行銳化和去噪處理，并對處理后的泡沫圖像進行特征點檢測、特征匹配和錯誤匹配過濾。根據特征匹配結果計算泡沫特征點的速度，為浮選泡沫速度特征提供測量值。在此基礎上利用卡爾曼運動估計方法對得到的測量值進行迭代修正，得到更穩定的煤泥浮選泡沫速度特征。

圖2 煤泥浮選泡沫速度特征提取流程Fig.2 Coal slime flotation froth velocity feature extraction process

2 煤泥浮選泡沫速度特征提取算法

2.1 圖像預處理

實驗采集到的煤泥浮選泡沫圖像存在光照分布不均勻、起泡邊緣信息模糊、相鄰泡沫間存在陰影及噪聲干擾等問題，采用CLAHE-BM3D 算法對原始泡沫圖像進行增強和去噪處理，使泡沫圖像的紋理細節和對比度更加突出。首先，將輸入的原始圖像分割為多個子塊，計算每個子塊與其相鄰子塊的對比度變換函數，進而增強每個子塊的對比度[12]。其次，使用雙線性插值合并相鄰子塊得到均衡化后的對比度增強圖像。然后，對增強圖像進行去噪處理，對圖像進行分塊，計算待匹配塊與參考塊的相似性，根據相似性進行分組提取相似塊[13]。最后，將這些相似塊堆疊成三維群組，對其進行協同濾波處理[14]，再將處理后的結果聚合返還到原圖像塊的位置上，得到預處理后的圖像。

2.2 AKAZE-GMS 特征匹配

針對傳統AKAZE 特征匹配算法存在誤匹配的問題，在利用BF 算法進行粗匹配的基礎上，采用GMS 算法進行精匹配，提高匹配準確率和實時性。首先，采用快速顯式擴散數學框架（Fast Explicit Diffusion，FED）構建泡沫圖像尺度空間，引入改進局部差分二進制描述符（Modified-Local Difference Binary，M-LDB）描述每個特征點，尋找不同尺度下Hessian 極大值點，以完成局部特征點提取[15]。然后，利用K 近鄰算法檢測出目標特征點的最近鄰點和次近鄰點，采用BF 算法對所有特征點進行特征粗匹配。最后，采用GMS 算法快速可靠地區分正確與錯誤的特征匹配，得到高質量的匹配點對。

2.3 卡爾曼運動估計

卡爾曼濾波器可利用線性系統狀態方程對泡沫狀態進行最優估計，由于根據圖像特征匹配結果得到的泡沫速度測量值受系統的噪聲和干擾影響，泡沫速度估計可看作濾波過程[16]。設泡沫初始時刻位置為p0，速度為v0，由于相鄰幀時間間隔很短，泡沫位置變化很小，近似看作泡沫做勻速運動，在 Δt時間后泡沫的位置pt和速度vt分別為

將式（1）和式（2）轉換為矩陣向量。

通過變量代換可得狀態轉移公式，對t時刻泡沫狀態進行預測。

式中：St為泡沫在t時刻預測狀態矩陣；S0為泡沫在初始時刻的狀態矩陣；A為狀態轉移矩陣，

采用測量值來修正預測狀態的誤差，在測量值與預測狀態間尋找泡沫狀態最優估計。

式中：F為最優估計矩陣；Zt為測量矩陣；K為卡爾曼系數。

3 實驗結果分析

煤泥浮選泡沫圖像采集系統主要由煤泥浮選系統和圖像處理系統2 個部分組成，如圖3 所示。煤泥浮選系統由儲料桶、礦漿預處理器、藥劑桶、給料泵、微量給藥泵、驅動下置式浮選柱等組成，主要負責產生連續的煤泥浮選泡沫。圖像處理系統由光源、圖像采集裝置、圖像處理平臺組成。光源由2 條機器視覺專用 LED 光源組合而成，圖像采集裝置采用4.5 倍光學變焦，1 200 萬像素CMOS 自動聚焦的工業相機，500 萬像素3 倍變焦鏡頭。圖像處理平臺包括硬件和軟件2 個部分：硬件環境為Intel（R）Core（TM）i7-11800H @ 2.30 GHz，內存為32 GB，顯卡為NVIDIA GeForce GTX3060；軟件環境為OpenCV開源計算機視覺庫和 Python 平臺。本文實驗所用樣品來自山西汾西礦業（集團）有限責任公司柳灣選煤廠，粒級為0～0.25 mm。

圖3 煤泥浮選泡沫圖像采集系統Fig.3 Image acquisition system for coal slime flotation froth

為驗證本文AKAZE-GMS 特征匹配算法的性能，采用SIFT 算法、SURF（Speeded Up Robust Features，加速穩健特征）算法、傳統AKAZE 算法與AKAZEGMS 算法進行對比，結果如圖4 所示。可看出SIFT 算法檢測到的特征點分布較為稀疏；SURF 算法雖然檢測到了較多的特征點，但出現了明顯的簇集現象，不能很好地表示圖像特征；傳統AKAZE算法檢測的特征點大部分均勻分布在泡沫邊緣區域，有效解決了簇集現象，但存在特征點數量較少的問題；AKAZE-GMS 算法較好地解決特征點簇集的同時又盡量保留了更多數量的特征點，這是因為預處理后圖像所受噪聲影響降低、對比度增強、邊緣特征更突出。

圖4 各算法特征檢測結果對比Fig.4 Comparison of the feature test results of each algorithm

為驗證AKAZE-GMS 算法特征匹配效果，將SIFT、SURF、傳統AKAZE 算法與AKAZE-GMS 算法進行對比，匹配結果如圖5 所示。可看出SIFT 算法匹配結果仍有較多的誤匹配；SURF 算法匹配結果相較于SIFT 算法匹配對數量和匹配精度提高，但匹配對分布在集中的一個區域內；傳統AKAZE 算法相較于前2 種算法匹配對分布更均勻，匹配精度更高，但過濾了較多的正確匹配對；AKAZE-GMS 算法匹配精度最高，匹配對分布更均勻，同時保留了更多的匹配對。

圖5 各算法特征匹配結果對比Fig.5 Comparison of the feature matching results of each algorithm

對不同匹配算法結果進行分析，匹配精度和算法運行時間見表1。可看出AKAZE-GMS算法匹配正確率提高，保留了更多匹配對，且運行時間更短。

表1 匹配精度及運行時間Table 1 Matching accuracy and running time

煤泥浮選泡沫速度計算結果如圖6 所示。可看出根據特征匹配結果計算得到的泡沫速度測量值波動較大，測量值經過卡爾曼運動估計修正后的速度估計值較為平穩，更符合真實工況。

圖6 煤泥浮選泡沫速度計算結果Fig.6 Calculated coal slime flotation froth velocity results

為了對比不同算法提取泡沫速度特征的穩定性，選取速度均值和標準差作為衡量標準，對不同算法直接根據匹配結果及經過卡爾曼運動估計修正后提取的速度特征進行分析，結果見表2。可看出AKAZE-GMS 算法經過卡爾曼運動估計修正后提取的速度特征更加穩定。

表2 不同算法提取速度特征統計分析Table 2 Statistical analysis of speed features extracted by different algorithms 像素/s

4 結論

（1）通過預處理降低了噪聲對圖像質量的影響并增強了圖像的對比度，提高了泡沫圖像質量，突出了泡沫的邊緣細節特征，解決了特征點檢測中特征點簇集的同時又盡量保留了更多數量的特征點。

（2）采用AKAZE-GMS 算法得到的匹配對分布更均勻，匹配精度最高，達99.99%，保留的正確匹配對遠高于其他算法，同時運行時間縮短至3.73 s，實時性更好。

（3）經過卡爾曼運動估計修正后的特征匹配結果得到的泡沫速度穩定性更高，更接近其實際速度，能更好地為浮選過程中泡沫監測提供指示參量。