基于范數優化極限學習機的礦漿濃度預測

王　歡，姜昌偉，徐　鑫，孫為平，魯鵬云，張德政

(1.鞍鋼集團礦業公司，遼寧 鞍山 114001；2.北京科技大學計算機與通信工程學院，北京 100083；3.材料領域知識工程北京市重點實驗室，北京 100083)

?

基于范數優化極限學習機的礦漿濃度預測

王歡1，姜昌偉2，3，徐鑫1，孫為平1，魯鵬云1，張德政2，3

(1.鞍鋼集團礦業公司，遼寧 鞍山 114001；2.北京科技大學計算機與通信工程學院，北京 100083；3.材料領域知識工程北京市重點實驗室，北京 100083)

選礦過程中的礦漿濃度是一個重要的生產工藝參數，一般可以通過預測礦漿濃度來提高生產效率。由于礦漿濃度和其他的生產工藝參數往往非線性相關，這給礦漿濃度的預測帶來了很大困難。本文針對此問題，基于極限學習機這一面向神經網絡的新穎學習算法，提出了一種礦漿濃度預測新算法。首先，使用相空間重構方法對礦漿濃度數據進行預處理，從一維轉換到多維。然后，使用基于L2范數的極限學習機算法(ELM-L2)建立時序預測模型，實現預測功能。圍繞來自于某礦廠的真實生產數據進行了實驗驗證，結果顯示，針對大規模的數據樣本集，所設計的算法與傳統神經網絡預測算法相比，訓練時間大約減少了30%，而預測精度大約提高了48%。實驗結果表明了所設計預測算法的有效性。

極限學習機；相空間重構；礦漿濃度；預測

粗選過程的礦漿濃度是浮選過程中的重要工藝指標之一[1]。目前多數浮選過程都是通過離線化驗檢測來得到礦漿濃度，這需要較長的處理時間，導致調節落后。粗選過程中礦漿濃度的變化一般具有非線性特征，很難從化學反應機理上建立礦漿濃度的預測模型，因此，可考慮進行數據驅動建模[2-3]。根據礦漿濃度的具體生產數據，使用一些高效的神經網絡算法建立預測模型，利用預測結果合理控制生產過程中各種原料的使用，同時根據預測值和實際值的比較來發現生產過程的變化和問題。

隨著現代礦山自動化建設的推進及大數據信息化的快速發展，生產數據倉庫存儲了大量采集到的礦山生產經營管理數據，以及相關的各類外部數據[4]。通過分析采集到的礦漿濃度數據，基于BP神經網絡等傳統的機器學習算法，可建立時間預測模型，觀察數據的變化趨勢。雖然該方法取得了一定的成效，但在實際應用過程中，由于影響的因素過多，BP算法的預測效果變動較大，有時不甚理想，存在著預測精度不高和預測速度較慢等典型不足。

針對這些不足，本文考慮采用極限學習機(ExtremeLearningMachine，ELM)此類新算法，實現礦漿濃度的優化預測。ELM是近年來興起的一類新穎的神經網絡高效學習算法，它具有學習速度快、泛化能力強、可調節性能參數少等突出優勢，在機器學習等領域得到了廣泛的應用。與傳統的神經網絡學習算法相比，ELM在回歸和分類等問題上，能夠得到泛化能力更優的解，并且有著很快的訓練速度。ELM已在很多特定領域，開展了數據分析應用[5-6]。由于經典的ELM是基于經驗風險最小化原則實現的，它可能會在一些應用實例中產生過擬合現象，導致模型不夠穩定，這給算法的實際應用帶來了一定的挑戰。為了克服傳統ELM的這一不足，出現了一些改進的ELM算法，例如，基于核的ELM算法(Kernel-ELM)[7]、基于正則化的ELM算法(R-ELM)[8]、基于L2范數的ELM算法(ELM-L2)[7]等。這些算法在一定程度上能有效避免過擬合現象，并具有更好的魯棒性和泛化能力。但是其中一些算法在實際應用中也有一些局限性。例如，這些改進的算法在一些小樣本訓練數據集中，都能達到很好的預測效果，但是隨著樣本數據量的逐步增加，Kernel-ELM和R-ELM算法的預測效果不甚理想，甚至會出現內存溢出的問題。因此，在樣本數量比較大的情況下，這兩類算法在計算實現上有一定困難。通過多次實驗發現，ELM-L2算法的訓練速度快，預測精度高，并且能夠適應不同大小數據樣本集的訓練，基本不會出現內存溢出等計算問題。同時，采用礦山企業實際礦漿濃度數據進行的實驗顯示，與傳統的BP算法相比，ELM-L2具有更高的預測精度。通過已經獲得的數據，采用ELM-L2算法構建的學習網絡，能夠對相關未知數據進行預測，實驗表明，預測效果比較理想。

1　相空間重構理論和極限學習機

1.1相空間重構理論

根據相空間重構理論，對于實際測得的一組時間序列數據{zi| i=1，2，…，p }，相空間中的相點個數為T=p-(r-1)τ，而重構后的相空間向量Zi(i=1，2，…，T)可表示為式(1)。

(1)

在這里，對于選擇的r和τ，在測得的時間序列數據{zi| i=1，2，…，p }中，存在一個嵌入時間窗Γ，使得zi和zi+Γ所構成的相空間軌跡相對規則[9]。

1.2極限學習機

極限學習機(ELM)作為一種簡單且有效的神經網絡學習算法，最早被提出用來訓練單隱層前饋神經網絡。在該網絡中，輸入層和隱含層間的權值矩陣以及隱含層節點的偏置可以隨機初始化，而不需要像傳統學習算法那樣進行迭代更新。所需計算的只有隱含層和輸出層的權值矩陣，而該矩陣則可通過求廣義逆矩陣的方法求得。

這里，設定有N個訓練數據{xi，ti} (i=1，2，…，N)，其中，xi是d維的訓練樣本，ti是m維的輸出向量。ELM算法的整體結構如圖1所示[5]。圖中，L是隱含層節點的數目，wj是隱含層中第j個節點與輸入層之間的權重向量，bj是隱含層第j個節點的偏置。wj和 bj一旦隨機初始化后就不再改變。y是ELM算法中的的輸出向量，對于第i個樣本，隱含層的輸出可以表示為zi，見式(2)。

(2)

圖1　ELM的應用框架

對于所有的訓練數據而言，神經網絡的輸出函數可以表示為：Hβ=T，其中，H為隱含層的輸出矩陣，可以表示為式(3)。另外，β為輸出權重，可以表示為式(4)。T是輸出向量，可以表示為式(5)。

(3)

(4)

(5)

2　基于范數優化極限學習機的礦漿濃度預測

傳統的預測算法(如BP神經網絡算法)往往存在訓練速度慢和預測精度不高等不足，在進行礦漿濃度預測時，很難滿足實際要求。ELM是一種非常簡單的機器學習算法，它有著很好的泛化能力，并且學習速度遠遠快于傳統的神經網絡學習算法?？紤]到經典ELM的實現主要基于經驗風險最小化原則，可能產生一個比較復雜的學習模型。因此，可以通過引入ELM-L2這一改進算法，在一個統一框架中進行優化學習處理。實際上，仿真結果也顯示，ELM-L2算法的預測精度明顯優于BP算法。在這里，基于L2范數ELM的數學模型可描述為式(6)[7，10]。

(6)

式中，ξ表示L2范數的正則化系數。式(6)能產生一個閉合解，可表示為式(7)。

厚責于己，能實現自身素質的提升。責己有利于我們及時地發現自身的不足并迅速改正，進而逐漸提高自我的修養，達到“知明而行無過”的最終目標。

(7)

(8)

(9)

(10)

式中，I是一個單位矩陣。引入L2范數的ELM改進算法是基于結構風險最小化的原則，具有更好的泛化能力和更強的魯棒性。

通過引入L2范數到傳統的ELM中，克服了傳統ELM的一些缺點。ELM-L2算法的學習步驟可以總結如表1所示。

表1　ELM-L2算法的執行步驟

針對礦漿濃度預測問題，這里基于范數優化極限學習機ELM-L2求解算法的實現框架如圖2所示。

圖2　基于范數優化極限學習機的礦漿濃度預測實現框架

3　實驗結果和分析

為了驗證預測算法的有效性，基于國內某個礦山企業的礦漿濃度真實數據，開展了如下的測試實驗。算法運行在IntelRRCoreTMi3，2.13GHzCPU的計算環境中。首先，整合收集到的數據。數據是按一個固定的時間間隔來采集的，其中有效的數據被控制在40～50之間。在實驗進行之前，首先分析了所采集數據的變化特征。圖3是基于采集到的20000多個數據繪制的礦漿濃度擬合圖，由于數據是等時間間隔獲得的，所以擬合圖能夠在一定程度上說明數據的變化趨勢。從圖3可以看出，20000多個數據分布波動相對比較大，整體呈現先上升再下降的趨勢，但在局部上，數據的分布還是比較穩定的。由于數據的分布呈現比較明顯的非線性特征，傳統的預測方法較難建立一個適應于此情況的動態預測模型，而數據驅動下的神經網絡優化預測算法則對處理此類非線性問題有一定優勢，尤其是本文討論的ELM-L2算法，有著很好的泛化能力。

在預測問題的研究中，一般用均方根誤差(RootMeanSquareError，RMSE)作為評價標準，RMSE的值越小，說明預測的結果越準確，誤差越小。RMSE的計算公式見式(11)。

(11)

圖3　礦漿濃度數據變化趨勢

另外，根據對所獲得的礦漿濃度樣本數據集的分析，采用大小為3000和7000的樣本進行預測實驗比較合適。這里主要完成了時序預測實驗。這里的時序序列是指按照時間的順序，將事情變化發展的過程記錄下來，所構成一個特定序列。通過觀察和研究時序序列，找尋其變化發展的規律，以預測將來的走勢。本實驗主要根據時序序列，研究礦漿濃度的變化發展趨勢，找尋礦漿濃度的變化規律，另外，還通過對比分析ELM-L2和傳統的神經網絡算法BP的訓練學習效果，驗證ELM-L2算法在預測精度方面的優勢。

因為這里獲得的是時序序列的數據，如果不對數據進行預處理，很難獲得理想的訓練學習效果，因此，在使用BP和ELM-L2算法進行實驗之前，使用文獻[9]中的相空間重構方法對數據進行了預處理，將一維數據轉為多維數據。采用同一數據集，使用不同的時間延遲τ和嵌入維數r進行實驗，當時間延遲τ為8，嵌入維數r為2時，預測精度最高。所以，在下面的實驗中，將時間延遲τ設為8，嵌入維數r設為2。對經過相空間重構預處理后的礦漿濃度數據集，分別利用ELM-L2和BP算法進行訓練，得到相應的預測學習實驗結果。圖4是針對3000個測試樣本的礦漿濃度時序預測結果，其中ELM-L2的預測曲線更接近真實值曲線，而BP的預測曲線波動較大，與真實值差別較大。圖5是針對7000個測試樣本的時序預測結果，通過圖5可以看出，相比3000的樣本進行實驗時，ELM-L2的預測精度更高。這說明，在本文數據驅動下的神經網絡優化預測算法應用中，數據樣本越多，預測效果越好，這與前文中的理論分析是一致的。同時，對比BP算法的預測效果，當樣本數量達到7000時，預測精度很差。這主要是因為BP算法中的神經網絡結構固定，其在線反復迭代訓練學習機制，對樣本數據增加后的適應效果不佳，致使預測精度下降明顯。

本實驗分別使用3000和7000個樣本進行測試。首先，通過重構后，將20個樣本作為測試集，其余數據作為訓練集。表2顯示了，針對不同數量的樣本集，ELM-L2和BP兩種算法的測試精度和訓練時間。

通過上述針對不同大小樣本數據集進行的實驗，可以看出，在不同數量的訓練樣本下，ELM-L2的預測精度都比BP的預測精度高，而且ELM-L2訓練時間明顯更短。另外，通過使用不同數量的樣本進行實驗，還可以發現，當訓練樣本數量較小時(即低于3000時)，ELM-L2和BP算法的預測精度都可以滿足實際的要求。而隨著訓練樣本數量的增加，ELM-L2能達到更好的預測精度，BP算法的預測精度反而下降，不能滿足實際預測精度的要求。

表2　ELM-L2和BP算法的訓練時間和測試精度

圖4　礦漿濃度時序預測結果(3000個測試樣本)

圖5　礦漿濃度時序預測結果(7000個測試樣本)

4　結　論

為了預測礦漿濃度的變化趨勢，并總結其變化規律，本文利用礦山數據倉庫中的歷史數據，提出了數據驅動下基于ELM-L2算法的礦漿濃度預測神經網絡學習新方法，建立了礦漿濃度的時序預測學習模型。本文中提出的ELM-L2神經網絡學習預測模型結構簡單，泛化能力強，收斂速度快，能獲得較好的預測精度。結合某礦山的實際生產數據，進行了實驗驗證，結果顯示，針對大規模的數據樣本集，本文中提出的方法與傳統的BP神經網絡預測算法相比，所需的訓練時間大約減少了30%，而預測精度則大約提高了48%，有效驗證了文中方法的高效性。通過基于ELM-L2的選礦生產指標預測方法，可發現礦漿濃度的變化規律，從而能夠合理配置選礦過程中的其他原料。另外，通過預測礦漿濃度的變化趨勢，還可以發現選礦過程中可能出現的問題，在一定程度上保證安全生產。在今后的工作中，將進一步結合礦山生產中的其它工藝數據，進行方法的應用驗證。

[1]劉長鑫，丁進良，姜波，等.選礦過程精礦品位自適應在線支持向量預測法[J].控制理論與應用，2014，31(3)：386-391.

[2]薄洪光，張書冉，劉曉冰，等.支持鋼鐵企業產能時序預測的數據同化方法[J].計算機集成制造系統，2011，17(6)：1298-1307.

[3]Tucker P.The influence of pulp density on the selective grinding of ores[J].International Journal of Mineral Processing，1984，12(4)：273-284.

[4]Blazquez G，Hoces M C，Castro F H.Influence of pulp density and cell size in minerals flotation[J].Afinidad Revista De Química Teórica Y Aplicada，2002，59(500)：415-420.

[5]Huang G B，Song S，You K.Trends in extreme learning machines：a review[J].Neural Networks，2015，61：32-48.

[6]Luo X，Chang X H，Ban X J.Regression and classification using extreme learning machine based on L1-norm and L2-norm[J].Neurocomputing，2016，174：179-186.

[7]Huang G B，Zhou H，and Ding X.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems，Man，and Cybernetics，Part B：Cybernetics，2012，42(2)：513-529.

[8]Deng W Y，Zheng Q H，Chen L.Regularized extreme learning machine[C]//Proceedings of IEEE Symposium on Computational Intelligence and Data Mining，2009：389-395.

[9]Zhang W，Ma Y，and Yang G.Study on parameter selection of phase space reconstruction for chaotic time series[J].Advances in Information Sciences and Service Sciences，2012，4(2)：67-77.

[10]Hoerl A E，Kennard R W.Ridge regression：biased estimation for nonorthogonal problems[J].Technometrics，1970，12(1)：55-67.

A prediction algorithm for pulp concentration using norm-optimized extreme learning machine

WANGHuan1，JIANGChang-wei2，3，XUXin1，SUNWei-ping1，LUPeng-yun1，ZHANGDe-zheng2，3

(1.AnsteelMining，Anshan114001，China；2.SchoolofComputerandCommunicationEngineering，UniversityofScienceandTechnologyBeijing，Beijing100083，China；3.BeijingKeyLaboratoryofKnowledgeEngineeringforMaterialsScience，Beijing100083，China)

Pulpconcentrationasoneofthemostimportantproductionparametersplaysanimportantroleintheoreproduction.Generally，theproductionefficiencycanbeimprovedbyapredictionforpulpconcentration.Sincetherearesomenonlinearrelationshipsbetweenthepulpconcentrationandotherproductionparameters，itimposesverychallengingobstaclestoaddressthisissueofprediction.Anovelpredictionmethodisproposedinthispaperthroughtheuseofextremelearningmachine(ELM)thatisaneffectivelearningalgorithmdevelopedforneuralnetwork.Firstly，thepulpconcentrationdataispreprocessedbythephasespacereconstructionmethod，andthetimeseriespredictionmodelisadjustedfromonedimensiontomultipledimensions.Secondly，animprovedELMalgorithmusingL2norm(ELM-L2)isdevelopedtoimplementtheprediction.Theexperimentsareconductedwithareal-worldproductiondatasetfromamine.Comparedwiththetraditionalpredictionmethodusingneuralnetwork，theproposedapproachcanreducethetrainingtimeby30%andimprovethepredictionaccuracyby48%foralarge-scaledataset.Theexperimentalresultsshowtheeffectivenessoftheproposedalgorithm.

extremelearningmachine(ELM)；phasespacereconstruction；pulpconcentration；prediction

2015-12-08

中央高?；究蒲袠I務費專項資金資助項目資助(編號：FRF-BD-15-013A)

王歡(1971-)，男，高級工程師，現任鞍鋼集團礦業公司信息開發中心經理，主要從事礦山信息化方面的研究與開發工作。E-mail：info_engineering@163.com。

張德政(1964-)，男，教授，博士研究生導師，北京科技大學計算機與通信工程學院副院長，材料領域知識工程北京市重點實驗室主任，主要從事人工智能與知識工程的研究工作。E-mail：dzzhzd@126.com。

TP3，TD9

A

1004-4051(2016)08-0112-05