基于視覺檢測的非接觸式膏體濃度識別方法

馬博淵，周佳城，班曉娟，袁兆麟，阮竹恩

(1. 北京科技大學 北京材料基因工程高精尖創新中心，北京，100083；2. 北京科技大學 順德創新學院，廣東 佛山，528300；3. 北京科技大學 材料領域知識工程北京市重點實驗室，北京，100083；4. 北京科技大學 人工智能研究院，北京，100083；5. 北京科技大學 計算機與通信工程學院，北京，100083)

礦產資源是人類賴以生存、社會發展不可缺少的基礎資源，綠色礦山建設是實現礦業高質量發展的重要途徑和必然要求，是我國實現由礦業大國向礦業強國轉變的必由之路[1-2]。膏體充填是綠色礦山建設過程中的重要組成部分，針對采礦作業造成的地下采空區，使用經過科學配制的充填料漿對采空區進行回填，控制覆巖開采破壞和地表沉陷，降低地表塌陷等災害發生的風險，保護生態環境，減少土地資源的破壞與占用[2]。基于此，膏體充填技術已成為當前我國礦山開采過程中的重要環節之一。

膏體充填對地表沉陷的控制效果主要取決于膏體料漿的濃度[3-4]，因此，膏體濃度的檢測精度是保證充填質量的關鍵因素。合格的膏體具有濃度適中、不沉淀、不析水、不離析和便于輸送等特點[5-6]，因此，在膏體充填過程中，對膏體濃度的準確檢測是提高充填質量的關鍵環節。若膏體濃度太低，則會造成充填強度較低，存在地表塌陷的風險，若膏體濃度太高，則會造成充填管道堵塞，無法泵送膏體至采空區，甚至損壞設備[7]。傳統的膏體濃度測量方法包括濃度壺測量法、烘干法、射線測量法、壓差法、浮子法和電磁法[6]等，然而，由于這些方法均屬于接觸式測量方法，在攪拌機高速運動過程中，容易損壞測量設備或因測量時間長而無法獲取實時濃度。在工業生產中，也常使用濃度計對膏體濃度進行測量，主要包括超聲濃度計和核子濃度計。經過實際工業生產驗證，超聲濃度計在高濃度下的精度偏低，并且容易被損壞。核子濃度計存在大量的輻射，出于安全考慮，國內并不允許使用核子濃度計測量膏體濃度[4]。基于視覺檢測的非接觸式膏體濃度實時識別方法成為適用于礦山生產的必然選擇。

通過現場大量現場實驗分析，本文作者發現不同濃度的膏體在紋理表觀上具有明顯差異，如圖1所示。因此，圖像識別方法為膏體濃度識別提供可能的技術手段。

圖1 不同濃度的膏體形態Fig. 1 Different morphology of paste with different concentrations

近年來，隨著硬件計算能力的提高和人工智能理論的發展，基于深度學習的卷積神經網絡(convolutional neural networks, CNN)依托于其強有效的特征提取能力[8-9]成為圖像處理與分析領域中的主流方法[10-11]。LECUN 等[12]提出卷積神經網絡，KRIZHEVSRY 等[13]提出ALEXNET，在超大型數據集ImageNet 上將圖像識別的Top-5 錯誤率降低至16.4%(Top-5錯誤率指對每幅圖像同時預測5 個標簽類別，若預測的5 個類別任意之一為該圖像的正確標簽，則視為預測正確，否則視為預測錯誤，Top-5錯誤率指預測錯誤的圖像數目與總圖像數目之比)。VGG[14]，GoogleNet[15]，ResNet[16]和DenseNet[17]等網絡多次將錯誤率降低，截至2017年最后一屆ImageNet圖像識別競賽，SENet[18]將圖像識別的Top-5錯誤率降低至2.991%，遠低于人類錯誤率5.1%。目前，針對專有領域的特殊問題，如圖像細粒度分類[19-20]、神經網絡的可解釋性分析[21-23]、視頻序列分類[24-25]、小樣本圖像學習[26-27]等，科研人員進一步優化卷積神經網絡結構，旨在讓人工智能方法解決應用過程中的實際問題。

在膏體圖像濃度識別任務中，膏體圖像具有紋理特征精細、干擾多、光照條件不均等特點。基于卷積神經網絡的膏體圖像識別面臨如下挑戰：

1) 膏體圖像具有圖像尺寸大且紋理特征精細的特點，而在傳統的卷積神經網絡分類應用中，需要將圖像縮小成固定尺寸(如224 像素×224 像素)，以減少硬件資源的占用，提高訓練效率。然而，如果縮小膏體圖像尺寸訓練網絡模型，將損失圖像中的精細紋理特征，產生模型過擬合的風險。

2) 由于膏體圖像識別方法需要在實時工業生產環境中運行，攪拌機的轉動將會干擾圖像識別進程，導致模型識別不準確。

3) 在工業條件下，光照不均問題將影響卷積神經網絡對紋理細節的分析。

為了解決以上問題，迫切需要針對膏體濃度識別領域中獨有問題改進卷積神經網絡的結構和訓練過程。采用卷積神經網絡單獨分析局部紋理特征可為濃度識別提供充足的信息，但局部圖像不具有代表性且容易對轉動的攪拌機葉片造成干擾，由此通過特征融合的方式融合多個局部區域進行識別為大尺寸膏體圖像識別任務提供了可能性。通過預處理方法進行數據增廣，可有效提高卷積神經網絡對于工業現場不同光照條件的穩健性。

綜上所述，本文針對膏體濃度檢測領域中傳統接觸式濃度計識別精度低、易損壞且對人體產生有害輻射等問題，提出一種基于視覺檢測的非接觸式膏體濃度識別方法，利用圖像分析方法在非接觸條件下識別膏體的濃度，從而避免接觸式測量對儀器的侵蝕和核子濃度計的輻射對人體的損害。針對膏體監測場景下圖像紋理特征精細、干擾多、光照條件不均等特點，設計基于深度特征融合的深度卷積神經網絡模型，通過多模型全連接層融合的方式融合局部區域的細節特征，并引入伽馬(Gamma)矯正數據增廣策略，有效提高膏體料漿紋理的識別準確性及不同環境光照條件下的穩健性。

1 基于深度特征融合的膏體圖像濃度識別

1.1 膏體數據集采集

在北京科技大學進行模擬膏體制備實驗，并拍攝不同濃度的膏體視頻圖像。整個實驗環境包括攝像機、三腳架、攪拌缸、攪拌機、照明燈光以及混合膏體等。圖2和圖3所示分別為制備實驗示意圖和流程圖。

圖2 模擬膏體制備及圖像采集實驗環境示意圖Fig. 2 Simulation paste system preparation and image acquisition experiment environment diagram

圖3 模擬膏體制備及圖像采集流程圖Fig. 3 Simulation paste system preparation and image acquisition flow diagram

主要針對灰沙比為1∶16 的混合膏體濃度進行研究，成分主要包括尾砂、粗骨料、水等，顏色呈灰色狀。在制備環境中，使用2 支為功率400 W，色溫為5 000 K，光通量為110 lm的LED燈給圖像采集提供照明。固定在攪拌機上方兩側，距底部80 cm。用三腳架將1 臺攝像機固定于攪拌機正上方140 cm 處，距離料漿80 cm 以上，拍攝畫面中心與料漿中心一致。

在保證實驗效果的前提下，為節省財力、物力以及時間成本，使用灰沙比為1∶16 固體物料(包括尾砂、粗骨料等)以及不斷增加清水的方式進行混合膏體配制。即先測量高濃度的膏體，然后增加定量的清水以逐級降低濃度。通過初始固體物料的質量和每次增加清水之后的膏體總質量，確定當前的料漿實際濃度。

在數據采集前均勻攪拌，以確保濃度識別的準確性。多濃度膏體視頻數據為基于圖像分析的膏體濃度高精度識別提供了關鍵信息。

在膏體制備過程中，將灰砂比為1∶16 的固體物料(包括尾砂、粗骨料等)和水按配比倒入攪拌缸中，并調整攝像頭進行對焦[28-29]，再用攪拌機攪拌均勻。其中攪拌方式包括手動攪拌和自動攪拌。

本次拍攝的2 組膏體質量分數視頻有45 種(由于工業現場通常關注高濃度膏體識別的準確性，因此本文進行分階段采樣，當質量分數為20%～60%時，按照5%的梯度采集；當質量分數為60%～78%時，按照0.5%的梯度采集)。每種濃度均按照25 幀/s 的幀率錄制5 min，共有7 500 幀圖像。本文從中選取攪拌均勻、各個參數一致的5 000 幀，用以制作得到不同濃度的膏體數據集，最終在手動攪拌和自動攪拌2 種方式下對均具有112 500幀圖像的數據集用于深度學習模型分析。

1.2 Gamma矯正策略

在拍攝采集膏體圖像數據集時，由于拍攝角度與液位高度的變化，以及隨著拍攝時間的改變，現場光照亮度不穩定，并且識別結果容易受到現場實驗條件下環境光的影響，導致圖像存在噪聲。因此，本文采用Gamma 矯正策略改變膏體圖像的亮度，作為數據增強策略驅使網絡模型學習真正的紋理細節信息，以降低環境光對濃度識別的干擾，從而提高濃度識別的準確性。

Gamma矯正策略是指對膏體圖像的Gamma曲線進行轉換。其公式表示為

式中：I為原始輸入圖像矩陣(取值為[0，1])；f(I)為Gamma 矯正結果；λ為系數。當λ＞1 時，圖像整體亮度變暗，當λ＜1 時，圖像整體亮度變亮，如圖4所示。

圖4 Gamma矯正示意圖Fig. 4 Schematic diagrams of Gamma correction

1.3 單模型特征提取

由于CNN 模型只能輸入固定大小的圖像塊用于分析和計算[30-31]，為充分考慮全局特征和紋理細節，本文針對輸入模型的圖像，設計全圖縮小(full size shrinking)和隨機裁剪(random cropping) 2 種圖像預處理方式，將圖像尺寸由1 920 像素×1 080 像素縮小到224像素×224像素輸入CNN模型，如圖5所示。

圖5 2種圖像預處理方法Fig. 5 Two image processing methods

由圖5可知：全圖縮小的方式雖然可以使網絡模型訪問到全局圖像信息，但由于縮減過程中造成的紋理細節信息缺失，不利于對精細的膏體紋理細節進行分析。而隨機裁剪的方式會丟失全局信息，并且容易受到旋轉過程中的攪拌機葉片干擾，降低識別準確率。

因此，本文采用模型融合的方式進行濃度分類，設計包括局部圖像級聯融合、全連接層融合和特征圖融合在內的3種模型融合方式，通過結合全局和局部圖像特征，提升膏體圖像分類準確率。由于模型融合是把獨立的學習器組合起來，因此，需要將裁剪得到的5 幅圖像分別輸入5 個CNN 模型，并且通過參數共享策略提升模型訓練結果，從而提升學習效果。

1.4 多模型特征融合

本文采用多圖融合的方式實現模型融合，具體實現思路是在隨機裁剪的基礎上，從1 920 像素×1 080 像素的原圖中，按固定位置裁剪出5 幅224 像素×224 像素的小圖(如圖6 所示)，在模型參數共享的基礎上，分別送入模型進行訓練、驗證和測試，然后使用2種模型融合方式，提升膏體圖像分類的準確率。本文選擇局部圖像級聯融合、全連接層融合以及特征圖融合3種方式進行對比分析，模型融合網絡模型如圖7所示。

圖6 從膏體圖像原圖中按固定位置裁剪5張小圖示意圖Fig. 6 Schematic diagram of cut out five small pictures from original paste image in a fixed position

圖7 3種模型融合算法Fig. 7 Three model fusion algorithms and image stitching algorithm

本文使用的局部圖像級聯融合方式指將隨機裁剪得到的5張小圖融合為1張圖片，并將融合得到的圖片送入1 個深度神經網絡中進行分析、訓練、測試，以驗證與局部裁剪的方式相比，膏體濃度識別準確率是否有所提升。

使用的全連接層融合方式指將1張大尺寸膏體圖像中得到的5張局部圖像分別送入網絡的5個參數共享的特征提取分支中，使每張圖片經過的每一層計算參數都保持一致，最后經過逐個提取分支特征，每張局部圖像得到1個包含其屬于每一個分類概率的數組。然后，將5張局部圖像得到的數組進行平均，再根據最終求得的概率，將概率最大值的分類作為對應大尺寸膏體圖像的預測分類。

使用的特征圖融合方式指將特征提取分支輸出的5張局部圖像特征圖進行通道級聯，再進行全連接分析操作，得到概率矩陣，最后取最大概率對應的分類作為預測結果。

通過后續實驗分析，本文選擇VGG16 作為特征提取分支。

2 實驗

首先選擇在圖像分類競賽(imagenet large scale visual recognition challenge, ILSVRC)中典型的3 種模型(VGG16[14]，resnet50[16]和DENSENET121[17])作為特征提取分支的基線模型進行分析，并選擇分類效果最好的模型進行下一步模型融合實驗。本文僅選擇上述基線模型以證明本文提出的深度特征融合方法的有效性，在實際應用中可根據實際需要更換基線模型。

以經過ImageNet 預訓練的CNN 模型為基礎[32]，再用提前劃分得到的膏體圖像訓練集，對模型進行再訓練。本文在手動攪拌和自動攪拌2種數據集中均有112 500幀圖像，并按照3∶1∶1的比例分為訓練集、驗證集和測試集，即訓練集有67 500幀圖像，驗證集和測試集均有22 500 張圖像，并分別標記濃度標簽。本文在預處理圖像的過程中，對比是否應用Gamma 矯正的實驗結果，以驗證Gamma矯正對減弱光照條件變化帶來的誤差影響。

使用開源的深度學習框架Pytorch 進行代碼編寫和資源管理，并采用4 塊NVIDIA GeForce GTX 1080Ti 對圖像識別網絡模型進行訓練，以提高網絡模型訓練的運算速度。統一設置網絡模型的參數：訓練輪次為20 輪；batch size 為25；學習率初始為0.01，并采用cosine函數遞減算法，每輪次更新學習率，逐漸減小；動量設置為0.9，并利用交叉熵損失函數(cross entropy loss)與隨機梯度下降(stochastic gradient descent, SGD)優化器算法逆反饋優化網絡參數，優化網絡模型[33]。

2.1 單模型識別結果

針對同一預處理算法，3種模型的濃度識別準確率結果如表1所示，其中，VGG-16與ResNet-50的準確率明顯比DenseNet-121 的準確率高，本文推測底層紋理特征適用于膏體濃度識別，而使用深層的卷積神經網絡具有過擬合的風險。以VGG-16網絡為例，輸出局部裁剪的圖像及前5種濃度預測概率如圖8所示(實際質量分數標注于圖片下方，以橫向柱狀圖展示預測結果中置信度最高的5個類別的置信度，帶有條紋橫向柱代表實際濃度對應的置信度)。

表1 不同模型與預處理算法的膏體濃度識別準確率Table 1 Paste concentration identification accuracy of different models and preprocessing algorithms

圖8 單模型膏體濃度識別結果Fig. 8 Recognition results in single model of paste concentration

從表1可以得出：采用單圖隨機裁剪的預處理方式，得到的實驗結果和全圖縮小的實驗結果相差約10%。從圖8可看出：運用單模型的識別準確率不高，甚至Top-5中不存在預測正確的濃度。經對此分析，單純的局部裁剪無法有效地減弱攪拌機圖像對膏體信息的干擾，即存在影響濃度識別的噪聲信息，同時，全圖縮小的濃度識別準確率在無Gamma矯正時超過95%，然而，應用Gamma矯正后正確率驟降至25%。本文認為該波動超出正常范圍，原因在于采用全圖縮小的模型無法訪問到精細的膏體紋理特征，將環境光照亮度變化也作為分類依據，但這一特征與濃度無關，據此，本文設計全新的模型融合算法，以增強實驗結果置信度，并降低噪聲信息。

2.2 單模型局部圖像級聯融合識別結果

上述結果表明，直接進行局部裁剪并輸入網絡模型訓練難以達到預期效果，因此，本文設計局部模型融合算法，將5張經過局部裁剪得到的圖片進行拼接融合，輸入網絡訓練與測試。結果如表2 所示。以VGG-16 網絡為例，輸出圖像及前5種濃度預測概率如圖9 所示(實際質量分數標注于圖片下方，以橫向柱狀圖展示預測結果中置信度最高的5個類別的置信度，帶有條紋橫向柱代表實際濃度對應的置信度)。

表2 單模型局部圖像級聯融合算法的膏體濃度識別準確率Table 2 Paste concentration recognition accuracy of local original image fusion

圖9 單模型局部圖像級聯融合膏體濃度識別結果Fig .9 Recognition results in single model local image cascade fusion of paste concentration

從圖9可以看出：局部圖像級聯融合算法比上述單圖局部裁剪的算法的濃度識別準確率更高，且在Gamma 矯正后，沒有出現識別準確率驟降的情況。對比圖8，所有的Top-5 都包含了正確的濃度，且幾乎所有濃度都在Top-1(預測結果中置信度最高的一個類別)位置預測正確。證明此方法可以明顯減小由于光照變化帶來的膏體濃度特征識別誤差，但是其準確率較低，難以應用于實踐。為進一步提高膏體濃度識別準確率，本文設計2種基于基線模型的模型融合算法：全連接層融合與特征圖融合。

2.3 多模型融合識別結果

如前文所述，本文設計并實現2種基于基線模型的模型融合算法：全連接層融合與特征圖融合。得到結果如表3所示。以VGG-16網絡和全連接層模型融合為例，輸出圖像及前5種濃度預測概率如圖10所示(實際質量分數標注于圖片下方，以橫向柱狀圖展示預測結果中置信度最高的5個類別的置信度，帶有條紋橫向柱代表實際濃度對應的置信度)。

表3 不同模型融合算法的膏體濃度識別準確率Table 3 Paste concentration recognition accuracy of different model fusion algorithms

圖10 多模型全連接層融合膏體濃度識別結果Fig .10 Recognition results in multi-model full-connection layer fusion of paste concentration

由圖10可知：2種模型融合算法都比前述單圖隨機裁剪算法和單模型局部圖像級聯融合算法的濃度識別準確率高。對比3種模型，與上述實驗結果類似，VGG-16 的濃度識別準確率最高，而ResNet-50 與DenseNet-121 的結果與之相比，相差7%～15%。對比2 種模型融合算法，全連接層融合的效果普遍比特征圖融合的效果好，證明對各自獨立的全連接層結果進行平均能夠更好地提取濃度特征，提升濃度識別準確率。

2.4 Gamma矯正策略對比

應用Gamma 矯正策略可以中和圖像的光照信息，降低環境光噪聲信息對圖像濃度特征信息的干擾，據此，設計對比實驗將Gramma矯正作為數據增強策略訓練CNN模型。

結果表明，應用Gamma 矯正策略可以顯著提高濃度識別準確率。全圖縮小預處理方法在應用Gamma 矯正策略后，濃度識別準確率驟降，證明全圖縮小方法由于未訪問到膏體精細紋理特征造成該方法的泛化性能不強，而全連接層融合算法則可以很好的解決這一問題。全連接層融合算法針對手動攪拌數據集和自動攪拌數據集在增加Gamma矯正后，濃度識別準確率均提升約2%。

3 討論

本文針對膏體充填任務中關鍵的濃度識別問題，提出一種基于視覺檢測的非接觸式膏體濃度識別方法，以膏體圖像數據集為基礎，對膏體濃度監測準確率進行分析。實驗證明，本文提出的方法為膏體濃度識別提供一套全新的解決方案，即通過分析膏體的紋理特征可有效對濃度進行監測。但該方法需要充分考慮現場環境因素的影響。實驗證明，在引入Gamma 矯正的情況下，模型的準確率受到一定的影響，但模型的穩健性得到提高。

在未來的研究中，擬采用基于視頻分類的分析方法，以充分提取膏體攪拌過程中的紋理信息和運動信息，即在同一攪拌機轉速下，濃度高的膏體運動慢，濃度低的膏體運動快。本文認為通過有效提取膏體料漿的運動信息有助于提高濃度識別的準確率。

本文在預研實驗中僅采集灰砂比為1∶16 的膏體，然而，在實際工業生產的充填膏體配料中，灰砂比有1∶4，1∶8，1∶16 和1∶24 這4 種配料方式，本文后續將驗證模型在其他不同材料配比的膏體濃度分類的準確率，并在輕量化模型部署、模型高速計算等方面進行研究與實驗。

4 結論

1) 采用深度學習算法，以膏體圖像數據集為基礎的基于視覺檢測的非接觸式膏體濃度識別方法可以有效實現膏體濃度監測。

2) Gamma 矯正策略應用于模型融合的各項對比實驗中，識別準確率均提升1.2%以上，對提升算法對不同環境的適應性具有顯著效果。

3) 單模型局部圖像級聯融合算法比單模型非級聯算法具有更高的環境適應性，多模型融合算法相較單模型局部圖像級聯融合算法的濃度識別準確率提升7%以上，全連接層融合相較特征圖融合的準確率提升1%以上，其針對手動攪拌數據集和自動攪拌數據集的濃度識別準確率分別達到88.79%和91.42%。

4) 基于視覺檢測的非接觸式膏體濃度識別方法，可有效提高膏體料漿紋理的識別準確性及對不同環境條件下的穩健性，對于解決傳統接觸式濃度計識別精度低、易損壞且對人體產生有害輻射等問題有重要意義。