結合知識圖譜與深度神經網絡的煙絲松散回潮質量預測方法

王 宵， 徐成現

(昆明理工大學 機電工程學院， 云南 昆明 650500)

松散回潮是制絲工藝中的關鍵工序，該工序的目的是為了增大煙葉物料的濕度，使葉片較為疏松地分開，以滿足下一道工序一級加料的工藝要求。因此，對松散回潮的質量進行預測顯得十分重要。目前，對松散回潮的質量預測主要通過數據進行驅動，劉穗軍等[1]對松散回潮中的加工參數及質量指標進行了統計分析，并建立了針對松散回潮出料含水率的精準控制模型，以實際案例驗證了模型有效性；李秀芳[2]為提高松散回潮在加工過程中的控制能力，對煙片含水率和回風溫度進行優化，提高了松散回潮質量的精細控制能力；唐軍等[3]采用貝葉斯網絡分析方法建立了松散回潮工藝參數和質量指標之間的復雜模型，提升了該工序質量預測精度。但上述方法并沒有考慮制絲工藝中的規范類文件、技術標準以及工人經驗等知識，而知識圖譜可以將這些多源異構的知識加以利用。目前知識圖譜主要應用于資源服務、醫療和生物等領域。劉橋等[4]583對知識圖譜構建所用到的技術、知識圖譜的定義和架構等進行闡述，指出其在多領域應用的可行性；張善文等[5]172將知識圖譜與雙向長短時記憶網絡進行融合對小麥條銹病進行了預測，為小麥條銹病的預警和綜合防治提供了科學的依據。知識圖譜能夠很好地對客觀世界的實體和關系進行統一的描述和管理，在形成知識圖數據庫的前提下，課題組將人工智能下的深度神經網絡預測算法與其相結合，在充分利用多源異構數據的同時，搭配神經網絡算法強大的訓練、預測和自學習能力，最終提高了松散回潮質量預測效果。研究為松散回潮質量預測提供了參考。

1 松散回潮知識圖譜構建

在構建松散回潮知識圖譜[6]的過程中，三元組是基本單元[4]584，可以表示為“實體-關系-實體”的形式。松散回潮知識圖譜是根據該工序的實體、實體之間的相互關系加以鏈接形成的網狀結構，其可以直觀表示為“松散回潮頭實體-實體關系-松散回潮尾實體”。松散回潮頭實體主要由工藝流量、循環風門開度、排潮風門開度、出料中水的質量分數和出料溫度等構成；實體關系存在于不同類型的頭實體或尾實體之間，主要包含加工參數、質量指標、貯存時間等；松散回潮尾實體則包括相關的標準化數據，如模組1A線3 000 kg/h的工藝流量，模組1B線的出料中水的質量分數指標在(17.0±1.5)%以及相關的注意事項等。該知識圖譜的構建過程主要由以下操作完成：首先對松散回潮的工序、標準化、加工參數和質量指標等多源異構化的數據知識進行抽取和表達；其次通過知識融合的方式對不同實體進行消歧、鏈接和消解，使抽取出的數據具有更強的層次性和邏輯性；然后利用頭尾實體之間的關系進行節點和邊的知識合并和加工以形成有效的組織和管理；最后對合并后的知識進行質量評估和知識更新，最終形成完整的松散回潮知識圖譜。圖1所示為制絲線上松散回潮知識圖譜的構建流程，圖2所示為構建松散回潮知識圖譜過程中的部分實體案例，其中橫線上數據表示不同參數對質量指標的影響權重，即質量指標影響因子。

圖1 松散回潮知識圖譜構建流程Figure 1 Knowledge graph construction process of loosening and conditioning

圖2 部分實體案例Figure 2 Partial entity case

為了更好地利用和發揮松散回潮知識圖譜中多源異構數據知識的價值，課題組采用動態矩陣映射的方式嵌入模型，并以此學習其中不同實體和關系的特征向量，從而形成定性的知識到定量的結構數據的轉化。該知識圖譜驅動的向量化過程可以通過以下方式進行描述：首先將松散回潮知識圖譜中的實體和實體之間的關系以映射的方式嵌入到空間，同時給空間中的每個實體定義對應的向量；其次，通過詞向量轉換工具Word2vec將知識圖譜三元組中高維的空間向量轉換成低維向量；知識圖譜三元組中的頭實體、關系以及尾實體可以用h,r,h′進行表示，通過不斷調整頭實體h和關系r以使其不斷接近尾部實體h′。在此基礎上引入2個相關的投影矩陣Φr,1h和Φr,2h′將頭實體和尾實體映射到關系所在的空間中形成關聯。最后，將Φr,1h和Φr,2h′進行向量積的拆分形成距離函數以評價詞向量訓練過程：

dr(h,h′)=‖Φr,1h+r-Φr,2h′‖。

(1)

基于松散回潮知識圖譜驅動的動態矩陣映射詞向量知識嵌入過程如圖3所示[5]174。針對該圖譜中的結構化、半結構化和非結構化的多源異構數據，通過知識抽取、實體鏈接、知識融合和加工合并等操作形成統一的易管理的知識圖數據庫，在詞向量工具的處理下，知識圖數據以映射和扁平化的方式轉換到低維空間，形成了可表達、可訓練的結構化向量數據，服務于深度神經網絡的訓練。

圖3 動態矩陣映射知識嵌入過程Figure 3 Dynamic matrix mapping knowledge embedding process

2 深度神經網絡模型

深度神經網絡能夠很好地對數據之間非線性的特征關系進行提取[7-8]，同時在訓練時收斂速度較快。雙門控循環單元和注意力機制( bidirectional gated recurrent unit-attention, BIGRU-Attention)[9-11]深度神經網絡模型作為深度神經網絡的核心層，將某一時刻的狀態與前后時刻的狀態都進行關聯，可以充分考慮語義之間的上下文關系，也更有利于松散回潮知識圖數據的深層次和關鍵層次類特征提取。課題組研究的深度神經網絡模型結構如圖4所示。該模型主要由詞向量嵌入層、BIGRU-Attention核心層以及輸出層所構成。詞向量嵌入層主要是由word2vec轉換后的低維向量作為數據源，在BIGRU層的操作下完成具體的計算，最終經softmax(指數歸一化函數)層輸出松散回潮質量預測的相關結果。

圖4 深度神經網絡模型結構Figure 4 Deep neural network model structure

2.1 BIGRU-Attention層

BIGRU層的主要目的是對詞嵌入層的向量進行更深層次的特征提取，BIGRU的單元結構如圖5所示。

圖5 BIGRU單元結構Figure 5 BIGRU cell structure

根據其結構，可以理解為前向GRU和反向GRU同時對向量進行處理，可表示為：

bijk=BIGRU(eijk)。

(2)

式中：eijk表示第i時刻第j個句子中的第k個詞的詞向量，bijk表示經過BIGRU編碼完成的對應詞向量。

其次，BIGRU層為突出知識數據中更關鍵的信息，引入Attention層，通過對詞向量進行權重的計算，以分配不同影響參數的權重。Attention層主要是對編碼后的bijk向量進行處理，其公式如下：

cijk=tanh (wwbijk+fw);

(3)

(4)

(5)

式中：bijk為BIGRU編碼處理后的向量，tanh為激活函數，ww表示權重分配過程中的相應系數，fw表示偏置系數，gw表示Attention機制在初始化過程中的隨機初始矩陣，qijk表示經BIGRU-Attention處理后得到的包含權重分配的向量數據。

2.2 softmax輸出層

輸出層的輸入數據為上一層中輸出的向量數據，即qijk，通過下式進行處理：

yj=softmax(B1qijk+b1)。

(6)

其中B1代表輸出層上待訓練的參數矩陣，b1為偏置參數，yj代表最終預測的松散回潮質量相關標簽。

3 案例驗證

課題組從某煙廠制絲工藝的標準文件中抽取相關的工藝標準、生產規范技術要求等實體數據，結合生產線上松散回潮的相關加工參數和質量指標等幾萬條數據作為數據的基礎，用于指定工序松散回潮的質量預測。

3.1 試驗環境搭建

課題組利用PC端的硬件基礎，在Windows10系統和GTX850的基礎上，搭配TensorFlow1.14版本，結合代碼可視化工具pycharm，以keras作為深度神經網絡算法的融合引擎，在GPU的高效運行下實現實驗的驗證，其具體參數設置如表1所示。

表1 實驗參數設置

3.2 模型評價指標

為更好地對松散回潮質量預測做出更好的評價，課題組采用預測精度a進行評價[5]175，則有

(7)

式中：Tp與Fp分別為模型預測為正確的正確樣本數和錯誤樣本數，a為模型預測的正確樣本數和總樣本數之比。

3.3 結果分析

課題組將雙門控循環單元和注意力機制結合知識圖譜(bidirectional gated recurrent unit-attention-knowledge graph，BIGRU-Attetion-KG)的深度神經網絡預測方法與其他未結合知識圖譜的4種方法進行對比。4種方法分別是利用CNN，LSTM，BP和BIGRU-Attention神經網絡進行松散回潮質量的預測。所得出的實驗結果如表2所示。

表2 不同方法預測結果對比

從表2可以看出，課題組所提出的結合知識圖譜和深度神經網絡的方法在精度、訓練時間和預測時間上較其他方法都有較大的提升。主要是因為知識圖譜充分利用了制絲工藝標準中松散回潮工序的相關技術規范、注意事項等非結構化的知識，而其他方法卻只能借助生產線上采集的結構化數據。除此之外，BIGRU-Attention的引入，能夠使不同時刻的數據更有效地聯系并能充分利用關鍵信息的價值，而其他方法在數據利用方面往往顯得較為單一，缺少層次性。因此，課題組所提出的BIGRU-Attetion-KG的方法克服了相關的噪聲問題，改善了預測的效果。

為更有力地說明知識圖譜引入的價值，課題組對BIGRU-Attention和BIGRU-Attention-KG進行單獨的分析，2種方法隨著迭代次數的準確率變化如圖6所示。可以看出，結合知識圖譜后，模型的預測精度具有顯著的提升，當迭代次數不斷增加時，預測精度a也逐漸趨于不變。統觀全局，未結合知識圖譜的BIGRU-Attention預測精度最終為85.93%，而BIGRU-Attention-KG的在迭代150多次后一直保持在90.00%以上，充分說明提出方法的可行性和有效性。

圖6 BIGRU-Attetion-KG與BIGRU-Attetion準確率對比Figure 6 Accuracy comparison of BIGRU-Attetion-KG and BIGRU-Attetion

4 結語

針對制絲工藝中松散回潮質量預測難度大、相關參數設置不穩定等難題，課題組提出了一種知識圖譜和深度神經網絡相結合的預測方法。首先從制絲工藝標準文件中抽取出與松散回潮相關的實體信息構建出知識圖譜，進行統一的資源信息管理；其次利用詞向量處理工具將知識圖譜轉換成可表示可操作的低維特征向量；然后，融合深度神經網絡對輸入的低維向量進行分析和預測。本研究實現了定性知識轉化為定量分析再到定性輸出的流程，經由案例驗證了研究模型的可靠性，為松散回潮質量預測提供了新的思路。