基于改進隨機森林算法的工業過程運行狀態評價

常玉清 孫雪婷 鐘林生 王福利,2 劉英嬌

1.東北大學信息科學與工程學院 沈陽 110819 2.流程工業綜合自動化國家重點實驗室(東北大學)沈陽 110819

工藝操作的安全性和優化性是工業界近幾十年來備受學術界和工業界關注的兩個關鍵問題[1].然而,由于擾動、噪聲等不確定因素的存在,安全性和最優性都可能發生惡化,這會導致運行性能的下降.因此,及時、準確地掌握過程運行狀態,對于提高企業經濟效益、生產效益和產品質量都有重要意義.而傳統的過程檢測僅僅是監測生產過程是否正常,對于異常的生產過程剖析原因通過調整使生產繼續正常運行.為了獲得更高的經濟效益,需要得到整個工藝過程的優劣狀態,因此相關學者提出了運行狀態評價的概念[2-3].運行狀態評價是指在生產過程正常運行的前提下,對實際生產過程的運行優劣進行識別與判斷,當運行狀態處于“非優”時,通過及時調整操作,使運行狀態達到“優”.因此,對運行狀態評價的研究具有重要的理論意義和應用價值.

目前,針對運行狀態評價學者們進行了一定的研究.案例推理[4]方法評價速度快,且推理評價過程包含了學習和歸納,有一定實際意義.粗糙集理論[5]能夠有效地分析和處理不完備信息,并從中發現隱含的知識,揭示潛在規律.它的根本思想是在保持條件屬性相對于決策屬性不變的前提下,通過屬性約簡和值約簡等過程,挖掘數據內涵的規則,在對定性和定量變量混合的數據處理上具有較好的效果.人工神經網絡[6]學習能力強,能夠表達非線性的映射關系,在非線性過程的運行狀態評價中有應用.針對小樣本情況,研究者提出灰色關聯分析法[7].模糊評價[8]是最常用的評價方法之一,它既符合決策過程中信息的可用性和不確定性,又符合人的認知的模糊性.針對多模態過程運行狀態評價,鄒筱瑜等[9]提出了基于高斯混合模型的評價方法,確保特征提取的準確性,避免了模態劃分問題.文獻[10]提出了多種工業過程運行狀態評價方法,但其是基于定量變量,對于定性變量的處理并未提及.

但在實際生產中,復雜工業過程運行環境差、檢測技術不完善,導致過程定量信息與定性信息共存,限制了傳統的運行狀態評價方法的應用.其中,定量信息指用數值大小描述的變量信息,定性信息指通過語義定性描述的變量信息.本文通過對復雜工業過程進行深入研究,提出了基于隨機森林的運行狀態評價方法,隨機森林的特點是能夠同時處理定量信息和定性信息,且無需對數據進行復雜的預處理.

為了提升隨機森林的性能,學者們提出了多方面的改進方案.文獻[11]通過操作訓練集和訓練特征定義了一組新的隨機森林分類器.Tuv 等[12]、Paul 等[13]提出通過特征選擇來去除不重要特征、減小特征冗余以減小特征空間.文獻[14]提出了隨機森林中一種有效的聚合方法—交替決策森林,該方法將隨機森林的訓練歸為全局損失最小化問題.在投票環節,提出一種加權投票方法為不同決策樹賦予不同的投票權值[15].但是針對決策樹之間的冗余問題,以上方法未有提及.為了解決該問題,本文提出一種基于改進的隨機森林運行狀態評價算法,采用互信息計算隨機森林中不同決策樹之間的相關性以及每棵決策樹的評價精度,剔除相關性大且精度低的決策樹.同時,為了解決投票權重問題,將評價精度轉換成決策樹的權重,增加精度高的決策樹投票權重,降低精度低的決策樹投票權重,進而提高隨機森林的評價精度.

本文主要以濕法冶金的氰化浸出過程為研究對象,分別利用傳統的隨機森林算法和改進的隨機森林算法建立運行狀態評價模型,通過對評價結果的對比分析,驗證了所提方法的正確性和有效性.

1 隨機森林

1.1 隨機森林定義及性質

隨機森林(Random forests,RF)算法是Breiman 于2001年提出的一種分類和預測算法,其本質是將Bagging 算法和隨機子空間算法結合起來[16-18].隨機森林是一種以決策樹為基分類器的集成學習模型[19].它是利用bootstrap 抽樣方法生成多個訓練集,針對每個訓練集建立一個決策樹模型,然后通過投票方式集成所有決策樹的預測結果.RF 具有很高的預測準確率,對異常值和噪聲具有很好的容忍度[20],且不容易出現過擬合,并且訓練速度較快,目前已廣泛應用于各種分類及預測問題.

定義1.隨機森林是一組由多個決策樹分類器組成的集成分類器,隨機向量獨立同分布.當輸入待分類樣本后,每個決策樹分類器通過簡單投票(即少數服從多數)得出分類結果.

1.2 隨機森林的生成

2 基于改進隨機森林的工業過程運行狀態評價

工業過程運行狀態評價是指在生產過程正常運行的前提下,通過一定的方法對實際生產過程的運行狀態進行識別與判斷,當運行狀態處于“非優”時,及時調整生產操作,以使狀態達到最佳.其實質是通過學習歷史數據,對在線數據的運行狀態進行分類評價.

在用傳統隨機森林算法進行運行狀態評價時,由于其會生成相似度較高的決策樹,造成模型冗余,同時在投票環節,所有決策樹權重相同,忽略了不同決策樹的性能差異.基于上述問題,本文提出了一種基于互信息的加權隨機森林算法(Mutual information weighted random forest,MIWRF).利用互信息計算任意兩棵決策樹的相關性,對于相關性較大的決策樹,只保留評價精度最高的決策樹,從而形成新的隨機森林,并將評價精度轉化為投票權重,最終得到冗余更小,評價精度更高的隨機森林模型.

2.1 改進的隨機森林算法

在文獻[21]中,Krogh 和Vedelsby 提出了一種誤差-分歧分解規則,該規則表明個體學習器準確性越高,多樣性越大,則集成效果越好.基于該結論,我們提出用互信息來度量個體學習器的多樣性和準確度.

2.1.1 算法描述

在信息論中,互信息用來衡量兩個變量之間的相互依賴關系[22],換而言之,它表示一個隨機變量中包含另一個隨機變量的信息量.對于兩組給定隨機變量X,Y,它們的互信息表示為

其中,p(x,y)為X,Y的聯合概率分布,p(x),p(y)分別為X,Y的邊緣概率分布,H(X)是X的信息熵,其計算式為

其中,p(xi)表示事件xi發生的概率;H(Y)是Y的信息熵,H(X,Y)是聯合熵,其計算式為

當變量X和Y完全獨立時,互信息最小,結果為0,說明兩個變量之間不包含重復信息.反之,互信息越大,兩個變量的相互依賴性越大,即兩個變量之間的重復信息越多.

對于隨機森林中的決策樹hi(i=1,2,···,K),I(hi,hk)(k /=i)表示決策樹hi與hk的互信息.本文采用I(hi,hk)(k /=i)來計算決策樹hi與hk之間的相關性,即重合度.其計算式為

其中,yi(i=1,2,···,K)為第i棵決策樹的輸出狀態.I(hi,hk)的值越大,說明兩棵決策樹的相關性越大,所描述的信息的重合度越高.通過計算任意兩棵決策樹的互信息,將互信息值大于閾值ε的決策樹合為一組.I(hi,y表示決策樹hi與實際標簽y的互信息,即決策樹hi的輸出評價結果與實際評價結果之間的相關性.其計算式為

I(hi,y)的值越大,說明決策樹hi的評價精度越高.最后將相關性較小、精度較高的決策樹組成新的隨機森林.

算法具體過程如下:

步驟1.獲取訓練集D={(x1,y1),(xxx2,y2),···,(xxxN,yN)},驗證集T={(xxx1,y1),(xxx2,y2),···,(xxxL,yL)},xxxi(1×M)為評價屬性,yi(1×1)為評價標簽.

步驟2.通過Bootstrap 抽樣從D中抽取n(n ≤N)個樣本,重復K次,得到K個訓練集.

步驟3.對于每一棵決策樹的內部節點,從樣本M個屬性中隨機抽取m個屬性,選擇m個屬性中的最優分裂屬性作為該節點的測試屬性.

步驟4.生成K棵完全隨機決策樹,組成隨機森林R={h1,h2,···,hK}.

步驟5.將驗證集T輸入R中得到評價結果.

步驟6.根據評價結果,依次計算每棵決策樹與其余決策樹的相關性.將所有I(hi,hk)(k /=i)大于閾值ε的決策樹合為一個決策樹組.若hi與其余所有決策樹相關性均小于等于閾值ε,則該決策樹單獨作為一組.

步驟7.再將組外決策樹按照順序重復步驟6,直至全部決策樹分組完成.

步驟8.根據精度I(hi,y)獲取每組中精度最高的決策樹.

步驟9.將所獲取的決策樹組成新的隨機森林.

2.1.2 加權投票

對輸入的樣本數據進行評價時,傳統的隨機森林在投票時每棵決策樹的投票權重相同,忽略了不同決策樹的評價精度對最終結果產生的影響[23],降低了隨機森林整體的評價精度.

為了增加評價精度高的決策樹和降低評價精度不高的決策樹對最終評價結果的影響,本文提出了加權投票方法,將評價精度轉化為決策樹的投票權值.在傳統隨機森林精簡后,新隨機森林中的決策樹評價精度矩陣ACC為[15]

其中,accqp表示第p棵決策樹對于第q種運行狀態的評價精度,其中,p=1,2,···,P,q=1,2,···,Q,Q為評價結果的等級數目,P為改進后決策樹數量.通過將驗證集T代入新的隨機森林,并計算每棵決策樹對于每一類的輸出結果的正確率獲得.

根據評價精度矩陣,定義權重矩陣W為

其中,wqp表示第p棵樹對于第q種運行狀態的權重,其計算式為

基于互信息的加權隨機森林算法(MIWRF)的具體流程如圖1.

圖1 基于互信息的加權隨機森林算法Fig.1 Weighted random forest algorithm based on mutual information

2.2 運行狀態評價模型的離線建模

由于隨機森林能夠同時處理定量和定性信息,同時無需對正常數據進行復雜的預處理.在獲取離線建模數據后,生成包含K棵決策樹的初始隨機森林評價模型R.同時用驗證集T精簡初始模型.根據第2.1 節所提方法,計算任意兩棵決策樹的相關性I(hi,hk)(k /=i),將相關性大于閾值ε的決策樹合為一個決策樹組,再計算組內決策樹的評價精度I(hi,y),留下組內精度最高的決策樹,生成包含棵P決策樹的新的隨機森林評價模型R′.在投票環節,以評價精度為基礎生成隨機森林的權重矩陣W.

2.3 在線評價

3 金濕法冶金浸出過程的運行狀態評價

3.1 濕法冶金浸出過程

濕法冶金指使用一定成分的無機水溶劑或有機溶劑與經選礦富集的精礦相接觸[24],通過化學反應使礦石中的有用金屬轉入溶液中,再從溶液分離富集所含的金屬離子,最后以單質或其化合物的形式提取的方法.本文以高銅線為研究對象,研究其氰化浸出過程.氰化浸出過程是濕法冶金中比較重要的一步,浸出的好壞對黃金的產量和綜合經濟效益的高低有直接影響,因此對浸出過程進行運行狀態評價具有重要意義.

氰化浸出是指將氰化鈉溶液與含有待提取金屬的礦石進行化學反應,提取其中的有價金屬或其化合物.浸出工序包含四個浸出槽,分別向第1、2 和4 浸出槽內加入氰化鈉溶劑,并向每個浸出槽中通入空氣以使氧氣溶于礦漿中并攪拌礦漿,使金單質與氰化鈉充分反應,最終以金氰離子形式存于液相中.理論上氰化浸出的化學方程式如式(14).為了防止氰化鈉被水解產生劇毒氣體HCN 或者被二氧化碳分解消耗,常用石灰乳作為保護堿.

3.2 運行狀態影響因素分析

在氰化浸出過程中,影響因素眾多,對可能影響浸出結果的因素分析如下[25-28].

1)NaCN 添加量和濃度

氰化鈉添加量和濃度會影響浸出過程的反應速率和浸出率的高低,氰化鈉的添加量直接影響溶液中氰化鈉的濃度.NaCN 濃度過低,金的溶解速率較低,會使得一定時間內的反應不充分;NaCN 濃度過高,會增加生產成本.在實際生產中,NaCN 濃度固定不變,因此不考慮 NaCN 濃度對浸出率影響;NaCN 添加量是可以在線獲得的定量變量.

2)攪拌強度和氧濃度

濕法冶金的浸出過程主要通過通入空氣對浸出槽內的液體進行攪拌,使其充分反應,提高反應速率,其在充入空氣的同時也帶入了反應所需的氧氣.在這里,用空氣流量大小來體現攪拌強度和氧濃度.空氣流量是可以在線測量的定量變量.

3)初始金品位和礦漿濃度

初始金品位和礦漿濃度直接影響著整個浸出過程的運行狀況及浸出率的高低.礦漿濃度直接決定其中的反應物的擴散速度,初始金品位影響著金的浸出量.在實際生產過程中,受生產條件的限制,這2 個變量無法在線獲得,只能由專家給出定性估計.

3.3 運行狀態評價仿真實驗

綜合第3.2 節影響因素分析,本文以氰化浸出過程的浸出效果作為評價指標,選取19 個與該指標密切相關的過程變量,列于表1 中.氰化浸出過程是一個定性信息與定量信息共存的過程,根據評價指標及該過程對運行狀態評價的具體要求,將浸出過程的運行分為優、次優和非優三個等級.本節將所提方法應用于我們課題組開發的金濕法冶金半實物仿真平臺中,此仿真平臺模擬了所研究的金濕法冶金生產過程.經過長時間的實踐、修正和完善,此平臺可以較為準確地模擬該濕法冶金生產過程,為實際生產決策提供參考.從金濕法冶金仿真平臺采集5 000 組訓練數據,其中,4 000 組數據作為訓練集用來建立傳統隨機森林模型,1 000 組數據作為驗證集.實驗選取參數決策樹數量K=100 ,評價屬性數量m=5 ,閾值ε=0.85 ,H=5 .

表1 浸出過程變量列表Table 1 Key variables affecting leaching efficiency

為了驗證本文算法的有效性,從仿真平臺采集850 組數據作為測試樣本,設計了如表2 的實驗,實驗模擬了由于一次浸出浸出槽4 氰化鈉添加量不足導致的運行狀態評價等級從“優”逐漸轉化為“次優”,再轉化為“非優”.同時分別建立了傳統隨機森林算法在不同決策樹數量下的評價模型,對比改進前后模型決策樹的數量可知改進算法在提高精度的同時降低了模型的復雜度.

表2 浸出過程實驗設計Table 2 Experiment of leaching process

3.4 實驗結果分析

運行狀態等級的概率計算結果如圖2,最終評價結果如圖3.由于實際采集的樣本會存在一定程度的波動,因而圖中的概率計算會出現一些波動尖點.從圖2 的概率計算結果可以看出,在前160 個樣本點,等級“優”的概率最大:從161 個樣本點開始,等級“優”的概率逐漸減小,等級“次優”的概率逐漸增大.314～479 個樣本點中,等級“次優”的概率最大:自480 個樣本點起,等級“次優”的概率逐漸減小,等級“非優”的概率逐漸增大.從第637 個樣本點起,等級“非優”的概率最大.根據運行狀態等級在線評價策略,運行狀態等級評價結果為:1～317 個樣本點,運行狀態等級評價結果為“優”等級:318～640 個樣本點,為“次優”等級:641 個樣本點起,為“非優”等級.與實際運行狀態等級對比,精度達到96.2%,而隨機森林評價模型精度為93.6%.驗證了本文所提運行評價方法的有效性.

圖2 運行狀態等級概率Fig.2 Probability of grade of running state

圖3 運行狀態評價等級Fig.3 Grade of running state

兩種算法的對比實驗結果如表3所示.從表3可以看出與傳統的隨機森林算法相比,本文所提改進算法的決策樹數量大大減少,且改進算法在一定程度上提高了評價精度.

表3 RF 與MIWRF 實驗結果對比Table 3 Comparison of experimental results of RF and MIWRF

為了進一步驗證所提方法的評價性能,將MIWRF 方法與KNN(K near neighbor),ANN(Artificial neural network),RF(Random forest),基于互信息精減決策樹但未加權的隨機森林算法MIRF(Mutual information random forest)和文獻[2]中的FDbD 方法進行了對比實驗.KNN 中,近鄰數設置為10 并采用曼哈頓距離.ANN 中,神經網絡的層數為2,隱含層神經元個數為10.RF、MIRF、MIWRF 的參數設置與第3.3 節一致.FDbD 是基于Dempster-Shafer 理論的模糊動態因果圖方法,該方法應用模糊理論減少了定量變量離散化導致的信息損失,同時針對DCD(Dynamic causal diagram)中取值/狀態既能通過原因節點進行推理又能被測量/估計的節點,通過DST 先將多源信息進行融合,再進行推理,彌補了傳統DCD 無法同時利用推理和測量估計所提供的信息的缺陷.

表4 列出了6 種算法的運行結果,包括評價精度、建模時間和測試時間,可以看出,通過對決策樹的精簡和加權投票,可以得到最佳的運行狀態評價結果.與傳統的評價方法(KNN,ANN)相比,基于隨機森林的評價方法在精度上有了顯著的提高,這表明基于集成學習的評價方法比單一模型的評價方法具有更好的性能.對于3 種基于隨機森林的運行評價方法,傳統的隨機森林建模時間相對較長,主要是因為RF 的訓練集比MIRF 和MIWRF 大,不需要從訓練集中劃分出驗證集.但RF 的評價精度比MIRF 和MIWRF 低,這主要是因為RF 的決策樹存在冗余且部分精度較低,而基于互信息分組選擇后的決策樹具有多樣性且精度高.高精度和多樣性的基學習器能提高集成學習器的泛化能力.與MIRF 相比,MIWRF 對于運行狀態的精度進一步提高但訓練時間與測試時間略長,這是由于MIWRF 算法對決策樹輸出結果進行了加權,強化了性能好的決策樹同時弱化了性能差的決策樹.與FDbD 方法相比,MIWRF 的精度有一定的提升且在時間上有微弱的優勢.FDbD 基于過程知識和數據建立運行評價模型,在評價模型中引入過程知識一方面充分利用了過程知識,另一方面增強了模型的解釋性,這些優點在非優原因追溯階段得到了充分的體現,基于FDbD 模型追溯的非優原因更接近引起非優運行狀態的根本原因.但在實際應用中過程知識的提取相對困難且所獲得的過程知識難以保證完備,同時加入過程知識的評價模型難以推廣到一般的工業過程.MIWRF 完全基于數據,能輕易推廣到一般的工業過程,但如何基于MIWRF 進行非優原因追溯有待進一步研究.綜上所述,MIWRF不僅降低了評價模型的復雜度,還提高了評價模型的精度.

表4 6 種評價方法的運行狀態評價性能Table 4 Performances of 6 evaluation methods

3.5 實際數據測試

為了進一步驗證本文方法的實用性,從某冶金廠獲取5 組現場數據用于仿真驗證,5 組數據的運行狀態評價評價結果如圖4～8所示,評價精度達96.1%,能夠滿足定量信息與定性信息共存的復雜工業過程的運行狀態評價要求.說明本文所提方法在現場實際生產過程中具有應用價值.

圖4 優到次優的轉換Fig.4 Transformation from optimal to suboptimal

4 結束語

圖5 次優到非優的轉換Fig.5 Transformation from suboptimal to non-optimal

圖6 次優到優的轉換Fig.6 Transformation from suboptimal to optimal

本文針對定量信息與定性信息共存的工業生產過程的運行狀態評價問題,提出了基于互信息的改進隨機森林方法,并且建立了運行狀態評價模型以及相應的在線評價策略.解決了定量與定性信息共存下的運行狀態評價問題,與傳統隨機森林方法相比,不但提高了運行狀態評價的精度,而且降低了模型的復雜度.將本文所提出的方法與傳統運行評價方法進行了對比仿真實驗并應用于濕法冶金氰化浸出過程,仿真和實際應用結果證明了所提方法的正確性與有效性.

圖7 非優到次優的轉換Fig.7 Transformation from non-optimal to suboptimal

圖8 優、次優到非優的轉換Fig.8 Transformation from optimal,suboptimal to non-optimal

此外,在對上述工作進行研究時,本文并未考慮如何采取有效措施進行非優運行狀態原因追溯.即當運行狀態評價結果為非優時,通過非優原因追溯,追溯出導致非優的變量,并結合過程特性給出操作指導建議.未來的研究將會圍繞如何基于隨機森林進行非優原因追溯展開.

綜上所述,本文針對復雜工業過程提出的運行狀態評價方法,在現有成熟方法上進行改進和應用,具有科研價值,但仍存在研究空間.