基于改進的高斯混合回歸的球磨機料位軟測量

楊飛+喬鐵柱+龐宇松+閻高偉

摘 要： 針對球磨機系統(tǒng)多模態(tài)復雜過程中的料位不確定性，球磨機振動信號存在非線性、噪聲和外界干擾等問題，采用一種基于改進的高斯混合回歸（GMR）的球磨機料位軟測量方法，解決傳統(tǒng)高斯混合模型初始化含有噪聲和異常值的數(shù)據(jù)難以聚類的問題。首先，利用改進的K?medoids聚類算法與EM算法分別初始化和優(yōu)化高斯混合模型（GMM）的最佳高斯分量個數(shù)、最優(yōu)模型參數(shù)，然后采用GMR預測輸出球磨機料位。最后實驗驗證了改進GMR模型得到的預測料位可以很好地跟蹤真實料位，并且通過實驗結果的對比分析，驗證了改進模型的有效性和實用性以及較好的預測精度。

關鍵詞： 球磨機料位； 多模態(tài)； 振動信號； GMM； 聚類； 軟測量； GMR

中圖分類號： TN98?34； TP181 文獻標識碼： A 文章編號： 1004?373X（2018）05?0153?06

Abstract： Since the fill level of the ball mill system in multimode complicated process is uncertain， and the vibration signal of ball mill has the characteristics of nonlinearity， noise and outside interference， a soft measurement method for ball mill fill level based on improved Gaussian mixture regression （GMR） is proposed to solve the problem that it is difficult to cluster the data embedding noise and abnormal value of the traditional Gaussian mixture model （GMM） initialization. The improved K?medoids clustering algorithm and EM algorithm are used respectively to initialize and optimize the optimal Gaussian component quantity and optimal model parameters. The GMR is used to predict the output level of the ball mill. The experimental results verify that the predicted fill level obtained by improved GMR model can track the real fill level accurately. The comparative analysis of experimental results verifies that the improved model is feasible and practical， and has high prediction accuracy.

Keywords： ball mill fill level； multimode； vibration signal； Gaussian mixture model； clustering； soft measurement； Gaussian mixture regression

0 引 言

球磨機是磨礦工業(yè)中廣泛使用的基礎設備，準確測量球磨機料位是實現(xiàn)優(yōu)化控制和節(jié)能降耗的關鍵技術之一。近年來，科研人員提出了許多測量球磨機料位的方法，其一般步驟是：先對采集的信號計算頻譜特征，然后進行降維和特征提取，最后建立頻譜特征與料位之間的模型。文獻[1]利用快速傅里葉變換方法求取信號的功率譜密度（Power Spectrum Density，PSD），然后采用主元分析（Principal Component Analysis，PCA）方法提取特征和減少冗余信息，最后用支持向量回歸（Support Vector Regression，SVR）建立回歸模型。文獻[2]利用PCA方法進行振動信號的特征提取，然后采用偏最小二乘回歸方法（Partial Least Square Regression，PLSR）建立球磨機料位軟測量模型。文獻[3]采用偏最小二乘法（Partial Least Square，PLS）對球磨機振動信號進行特征提取和降維，然后采用極限學習機（Extreme Learning Machine，ELM）建立料位軟測量模型。上述方法均取得了較好的結果。

文獻[4]通過分析球磨機研磨過程的機理和筒體振動的加速度頻域信號，將球磨機運行過程分解成若干個不同的特征模態(tài)，然后采用KPLS算法建立預測子模型，最后利用信息熵值的集成加權融合方法預測輸出。

在此，對球磨機在不同料位條件下多工況的復雜多模態(tài)過程，由于不同料位采集數(shù)據(jù)的均值和協(xié)方差不斷變化，基本的單高斯分布建立的模型較差，無法準確預測料位。高斯混合模型（GMM）是單高斯概率密度函數(shù)的延伸，具有平滑逼近任意形狀密度分布的特性[5]，因此可以對復雜的球磨機數(shù)據(jù)的多模態(tài)性進行很好的描述。針對球磨機系統(tǒng)多模態(tài)復雜過程中料位的不確定性，球磨機振動信號存在非線性、噪聲和外界干擾等問題，以及GMM在多模態(tài)過程監(jiān)督和軟測量方面的成功應用[6?7]，采用一種基于改進的高斯混合回歸（GMR）在球磨機多模態(tài)過程料位軟測量的方法。首先，利用改進的K?medoids算法[8]和EM[9]算法優(yōu)化高斯混合模型的最佳分量個數(shù)和最優(yōu)模型參數(shù)，然后利用GMR預測料位的輸出。實驗結果表明該方法具有較高的測量精度。endprint

1 高斯混合模型及EM算法

1.1 高斯混合模型

高斯混合模型（Gaussian Mixture Model，GMM）是描述混合密度分布的模型，用有限多個單高斯概率密度函數(shù)的加權形式逼近任意的連續(xù)分布。高斯混合模型的概率密度函數(shù)[10]定義為：

式中：是GMM中單高斯分量的個數(shù)；是第個單高斯分量的概率密度函數(shù)；是第個單高斯分量的權重，且滿足：是第個單高斯分量的參數(shù)集，和分別為第個單高斯的均值向量和協(xié)方差矩陣；表示個單高斯模型參數(shù)組成的全局參數(shù)集。因此，含有個高斯分量的高斯混合模型的所有參數(shù)表示為：。

給定個獨立同分布的訓練數(shù)據(jù)樣本的似然函數(shù)和對數(shù)似然函數(shù)分別為：

1.2 改進的GMM初始化聚類K?medoids方法

傳統(tǒng)GMM利用K?means聚類算法對模型參數(shù)進行初始化，然后通過期望最大化（Expectation?Maximization，EM）算法估計參數(shù)，由于EM算法對初始值要求較高，初值不恰當可能導致算法收斂到局部最大值點，在此對傳統(tǒng)的GMM進行改進，利用改進的K?medoids算法優(yōu)化GMM模型的初始化參數(shù)。

與K?means中心點選取不同，K?medoids中心點選取的規(guī)則是從當前cluster中選取的中心點到其他所有cluster點的距離之和最小。K?means聚類算法產(chǎn)生類的大小相差不會很大，對于含有噪音或者異常值的數(shù)據(jù)很敏感，而K?medoids不容易受到那些由于誤差之類的原因產(chǎn)生的噪音數(shù)據(jù)的影響。由于球磨機運行過程中，料位測量容易受到各種因素的干擾而出現(xiàn)噪音和異常值，K?medoids[11]在處理這樣的數(shù)據(jù)方面魯棒性較強，具有一定的優(yōu)勢，可以提高GMM模型的性能。

K?medoids初始化GMM參數(shù)過程如下：

1） 從訓練數(shù)據(jù)樣本中隨機選擇個點作為初始的聚類中心點

2） 將訓練數(shù)據(jù)樣本中其他的數(shù)據(jù)點根據(jù)最近原則劃分到個聚類中；

3） 根據(jù)下列公式更新每個聚類的中心點；

4） 返回步驟2），當各個聚類中心點不再變化時，執(zhí)行步驟5）；

5） 步驟4）得到樣本的個聚類中心點和其他樣本所屬類的標簽屬性，根據(jù)每個聚類中的樣本個數(shù)可以計算出每個高斯分量的權重比值即將中心點作為GMM模型的均值，即根據(jù)每個聚類中的樣本，利用協(xié)方差公式可以計算出每個高斯分量的協(xié)方差

通過以上步驟可得到GMM模型的初始化參數(shù)：

1.3 EM算法

EM算法是一種從“不完全數(shù)據(jù)”中求解模型分布參數(shù)的極大似然估計方法。EM算法通過不斷重復E步驟（E?step）和M步驟（M?step），直到對數(shù)似然函數(shù)收斂到一定的閾值，最終獲得GMM模型中的未知參數(shù)和權值

EM算法求解未知參數(shù)和權值的迭代步驟[12]如下：

2 基于高斯混合回歸的軟測量

2.1 高斯混合回歸（GMR）

高斯混合回歸（Gaussian Mixture Regression，GMR）[12]主要是基于高斯條件和高斯分布的線性組合特性。假設數(shù)據(jù)向量是由兩部分組成：輸入和輸出如果服從含有個分量的高斯混合模型分布，同時，每個高斯分量的均值向量和協(xié)方差矩陣可以劃分為以下輸入和輸出部分：

對于第個高斯分量，給定輸入時，相應的輸出也服從高斯分布，關于的條件概率定義為：

其中，均值和協(xié)方差的計算公式為：

由于輸入是由混合模型生成的，輸出的分布式由部分組成的，就整個混合模型而言，關于輸入的輸出的期望條件分布也是一個高斯混合模型：

式中：是關于輸入的第個高斯分量的后驗概率，由貝葉斯公式可得：

最后，給定一個輸入輸出的條件期望可以由高斯分布估計出，基于高斯分布的線性轉(zhuǎn)換特性，輸出的均值向量和協(xié)方差矩陣的計算公式為：

2.2 擬合混合模型

在預處理混合模型時，無論是GMM模型還是GMR模型，都需要給定高斯分量個數(shù)，此外，EM算法的參數(shù)估計過程也需要預先定義混合分量的個數(shù)在本文中，采用最小梯度準則（Minimum Gradient Citerion，MGC）選擇最優(yōu)的高斯分量個數(shù)，MGC定義如下：

式中：分別代表的最小值和最大值；代表含有個高斯分量的GMM的概率密度的對數(shù)似然函數(shù)；grad是對所有的對數(shù)似然函數(shù)值求梯度值；是最佳高斯分量個數(shù)。在高斯混合模型中，模型性能一般都隨著值的增加而提高，但是過大的值會增加模型復雜度，并且模型的泛化能力會變差，當模型的對數(shù)似然函數(shù)不再增大或者增大較緩慢時，取此時的模型為最優(yōu)模型，所以在此采用最小梯度準則來選擇恰當?shù)闹怠?/p>

在上述過程中，當變化時需要反復執(zhí)行EM算法來估計參數(shù)，EM算法的初始化參數(shù)由K?medoids聚類算法得到。擬合混合模型的算法步驟如下：

預處理：預處理訓練集，給定和選取準則函數(shù)MGC

初始化：令

使用改進K?medoids初始化個分量的高斯混合模型的參數(shù)，記為

主循環(huán)：當重復：

采用EM算法估計模型的新參數(shù)并且計算相應的對數(shù)似然函數(shù)；

刪除掉最不可能的高斯分量，并且與它最接近的一個高斯分量合并為一個新的高斯分量。這樣得到分量個數(shù)為的高斯混合模型，并且具有參數(shù)；

令

最佳高斯分量：通過最小梯度準則函數(shù)選取

最終混合模型的參數(shù)估計為

上述步驟中關鍵的一步是刪除掉最不可能的高斯分量，并且與它最接近的一個高斯分量合并為一個新的高斯分量。首先，最不可能的高斯分量可以通過尋找權重最小得到，即：

然后，與第個高斯分量最接近的高斯分量可以得到，對稱Kullvack?Leibler（KL）[13]散度是度量概率相似性的常見準則。對于高斯密度，利用對稱KL散度準則可以求出GMM中其他的高斯分量與第個高斯分量之間的相似度，如下：endprint

與第個分量最相似的另一個高斯分量是

這樣，第個和第個高斯分量將會合并為一個新的分量，根據(jù)文獻[14]，新高斯分量的權重均值和協(xié)方差通過下式計算：

2.3 基于GMR的軟測量

假定過程輸入變量是輸出變量是將輸入變量和輸出變量合并為一個新的向量那么和的聯(lián)合概率密度就是的概率密度，用GMM分布表達為：

如果新的輸入變量是相應的輸出變量是為了預測輸出，需要構建基于GMR的軟測量模型。首先，均值和協(xié)方差可以劃分為輸入、輸出部分，如式（7）。然后，對第個高斯分量，關于的后驗概率和條件概率估計為：

式中：和是第個條件高斯分布的均值和協(xié)方差參數(shù)，可以通過式（9）計算。

最后，預測輸出結果是各個高斯分量的加權和：

基于GMR的軟測量過程主要分為兩個階段：離線建模階段和在線測量階段，其流程圖如圖1所示。

3 基于改進的GMR球磨機料位軟測量

3.1 實驗數(shù)據(jù)處理

為驗證本文所采用方法的有效性，針對實驗室小型球磨機進行料位軟測量實驗研究。料位樣本分別為1 L，2 L，…，20 L，實驗球磨機筒體振動信號由現(xiàn)場同步采集，對每個樣本下的料位進行振動信號采集，最終獲得20組振動信號數(shù)據(jù)。然后，采用Welch方法[15]計算振動信號的功率譜密度（Power Spectrum Density，PSD），圖2為振動信號的功率譜圖。將每組信號的PSD平均分成22個樣本，則樣本總數(shù)為440，并把每組的22個樣本隨機分成15個訓練樣本和7個測試樣本，因此最終得到訓練集有300個樣本，測試集有140個樣本。

由圖2可以看出，球磨機研磨過程振動信號的能量主要集中在600～6 000 Hz頻率范圍內(nèi)，即振動信號的有效頻譜。綜合考慮頻譜的波動范圍及計算效率，以100 Hz為單位頻段對有效頻譜進行分割并求均值。因此，最終得到的訓練集數(shù)據(jù)維數(shù)大小為300×54，測試集數(shù)據(jù)維數(shù)大小為140×54。

3.2 測量結果

為了評價所提供方法的建模能力，采用均方根誤差（Root Mean Square Error，RMSE）和平均絕對誤差（Mean Absolute Error，MAE）作為測量精度的評價指標，其中將RMSE作為主要的評價指標。其計算公式為：

式中：和分別表示第個樣本的實際值和估計值；為測試樣本個數(shù)。

根據(jù)擬合高斯混合模型，采用訓練集數(shù)據(jù)進行離線建模，設置初始化參數(shù)最后通過擬合混合模型方法優(yōu)化得到的最佳高斯分量個數(shù)是然后采用GMR方法對球磨機料位進行在線軟測量，測試集數(shù)據(jù)預測結果如圖3所示，圖中實線代表球磨機料位的真實值，星號代表料位的預測值，從圖中可以看出球磨機料位預測值可以很好地跟蹤期望的真實值。本實驗軟測量結果的測量精度均方根誤差RMSE為0.358 8，平均絕對誤差MAE為0.261 2。

3.3 結果分析與對比

為驗證所采用改進的GMR模型的軟測量建模能力和有效性，將其與傳統(tǒng)GMR方法、主元回歸（PCR）、偏最小二乘回歸（PLSR）和支持向量回歸（SVR）方法進行比較。采用RMSE作為主要評價指標。表1給出了上述五種方法的料位預測評價指標對比結果。圖4為所提方法與對照方法測試的結果比較。

根據(jù)表1中的評價指標RMSE和圖4可以看出，改進GMR模型得到的測試集預測結果最好，且要明顯好于其他四種方法，改進GMR模型得到的預測料位可以很好地跟蹤真實料位，達到較好的預測精度。分析其原因，主要是改進GMR在處理含有噪聲和外界干擾的球磨機數(shù)據(jù)時，K?medoids初始化GMM得到較優(yōu)的參數(shù)，由于球磨機系統(tǒng)運行時存在料位的不確定性，改進GMR可以建立表征不同工況的球磨機狀態(tài)模型，并且可以對球磨機數(shù)據(jù)的多模態(tài)性進行很好的描述。除此之外，當球磨機運行過程中工況改變或者受到其他干擾時，球磨機料位測量會出現(xiàn)異常值，改進GMR模型受到的影響較小，并可以很好地跟蹤其真實料位，實驗結果說明改進GMR預測模型的準確性要優(yōu)于傳統(tǒng)GMR，PCR，PLSR和SVR方法。

4 結 語

針對球磨機系統(tǒng)復雜過程中的料位不確定性，球磨機振動信號存在非線性特性等問題，本文采用一種基于改進的高斯混合回歸的球磨機料位軟測量方法。首先，利用改進的K?medoids算法和EM算法優(yōu)化GMM的最佳高斯分量個數(shù)和最優(yōu)模型參數(shù)，然后采用GMR預測輸出球磨機料位。實驗結果表明，改進GMR模型在處理球磨機系統(tǒng)多模態(tài)復雜過程中具有較好的優(yōu)勢，顯示了GMR在多模態(tài)過程中軟測量的有效性和可行性。下一步將研究球磨機在實際的磨礦過程中的模態(tài)分析方法，對球磨機特有的多模態(tài)過程具體劃分模態(tài)工況，從而針對不同模態(tài)具體分析球磨機料位，進一步提高球磨機料位的預測精度。

參考文獻

[1] TANG Jian， ZHAO Lijie， YU Wen， et al. Soft sensor modeling of ball mill load via principal component analysis and support vector machines [J]. Lecture notes in electrical engineering， 2009（67）： 803?810.

[2] 湯健，鄭秀萍，趙立杰，等.基于頻域特征提取與信息融合的磨機負荷軟測量[J].儀器儀表學報，2010，31（10）：2161?2167.

TANG Jian， ZHENG Xiuping， ZHAO Lijie， et al. Soft sensing of ball mill based on frequency domain feature extraction and information fusion [J]. Chinese journal of scientific instrument， 2010， 31（10）： 2161?2167.endprint

[3] TANG Jian， WANG Dianhui， CHAI Tianyou. Predicting mill load using partial least squares and extreme learning machines [J]. Soft computing， 2012， 16（9）： 1585?1594.

[4] 湯健，柴天佑，趙立杰，等.基于振動頻譜的磨礦過程球磨機負荷參數(shù)集成建模方法[J].控制理論與應用，2012（2）：184?186.

TANG Jian， CHAI Tianyou， ZHAO Lijie， et al. Ensemble modeling for parameters of ball?mill load in griding process based on frequency spectrum of shell vibration [J]. Control theory and applications， 2012（2）： 184?186.

[5] BISHOP C M. Pattern recognition and machine learning [M]. New York： Springer， 2007： 432?443.

[6] YU J. Multiway Gaussian mixture model based adaptive kernel partial least squares regression method for soft sensor estimation and reliable quality prediction of nonlinear multiphase batch processes [J]. Industrial and engineering chemistry research， 2012， 51（40）： 13227?13237.

[7] GRBI? R， SLI?KOVI? D， KADLEC P. Adaptive soft sensor for online prediction and process monitoring based on a mixture of Gaussian process models [J]. Computers and chemical engineering， 2013， 58（22）： 84?97.

[8] YUAN Xiaofeng， GE Zhiqiang， SONG Zhihuan. Soft sensor model development in multiphase/multimode processes based on Gaussian mixture regression [J]. Chemometrics and intelligent laboratory systems， 2014（138）： 99?103.

[9] GHAHRAMANI Z， JORDAN M I. Supervised learning from incomplete data via an EM approach [J]. Advances in neural information processing systems， 1993（6）： 120?127.

[10] KAUFMAN L， ROUSSEEUW P J. Finding groups in data： anintroduction to cluster analysis [M]. New York： John Wiley & Sons， 1990： 108?123.

[11] MCLACHLAN G， KRISHNAN T. The EM algorithm and extensions [M]. New York： John Wiley & Sons， 2007： 105?132.

[12] KULLBACK S. Information theory and statistics [M]. US： Courier Dover Publications， 2013： 189?207.

[13] 周越，司剛?cè)軙煟?功率譜分析在筒式鋼球磨煤機內(nèi)存煤量測量中的應用研究[J].工業(yè)儀表與自動化裝置，2006，35（6）：21?24.

ZHOU Yue， SI Gangquan， CAO Hui， et al. A study of the power spectrum analysis application to ball mill load measurement [J]. Industrial instrumentation & automation， 2006， 35（6）： 21?24.

[14] YU J， QIN S J. Multimode process monitoring with Bayesian inference?based finite Gaussian mixture models [J]. Aiche journal， 2008， 54（7）： 1811?1829.

[15] CHEN Xinquan， PENG Hong， HU Jingsong. K?medoids su?batitution clustering method and a new clustering validity index method [C]// Proceedings of the 6th World Congress on Intelligent Control and Automation. [S.l.]： IEEE， 2006： 5896?5900.endprint