刮板輸送機監測的數據挖掘與可視化分析

渠婷婷

(寧夏天地奔牛實業集團有限公司，寧夏 銀川 750000)

0 引言

目前煤礦刮板輸送機動力部監測系統產品已經成熟，監測數據作為判斷設備運行狀態的底層支撐，目前存在以下問題：①數據量大，業務系統積累的數據時間長，類型多，傳感器實時性高,每天產生大量的數據；②難打通，存儲的數據格式多樣，不利于其他軟件讀取分析；③不直觀，行列式，無法交互，統計的數據沒有產生價值；④采集設備存儲的數據質量需要分析核實，并分析數據質量低下的原因。現在存儲的數據量已遠超目前人工所能處理的范圍，但這些數據對刮板輸送機的設計制造沒有發揮其價值，因此需要開發一套基于Python的數據挖掘及可視化軟件，用來整合、歸納、挖掘數據之間的關系，將可視化技術與數據挖掘過程緊密地結合在一起, 將數據與數據挖掘結果可視化。我們采用多種統計、計算手段對數據加以詳細研究和總結歸納，多維度觀察積累的數據，從大量的歷史數據中抽取出潛在的、有價值的信息，發現數據的發展規律和預測趨勢走向，然后轉化為可視化的表現形式的過程。

1 系統介紹

本系統由數據轉換模塊、數據處理模塊、數據挖掘模塊、數據顯示模塊等組成。數據轉換模塊負責將不同格式的數據轉換為同一種格式；數據處理模塊負責將不同來源的數據進行集成，將轉換好的數據批量導入數據庫，并對采集數據的頻率進行處理，并執行數據清洗工作；數據挖掘模塊負責發現數據中的隱含規律，用于總結分析；數據顯示模塊負責數據分析結果可視化和數據挖掘過程可視化，用于和用戶更好的交流互動。本系統采用B/S架構，Python開發語言，后臺服務應用Flask框架，數據庫采用MySQL數據庫，采用了MVC，Ajax異步加載等技術可以在不用刷新整個頁面的情況下，與服務器交換數據并更新部分網頁內容。用戶可以通過瀏覽器進行人機交互操作，獲取任意時間段的數據,并按照用戶意愿獲取經過分析后的結論。

2 需求分析

2.1 主要完成的工作

需求分析是軟件開發項目中非常重要的一部分，決定著項目的成敗。準確獲取需求決定了后續的分析方法和方向。需求分析重點研究人們想從數據中獲得怎樣的價值。刮板輸送機監測數據的數據挖掘與可視化分析主要是為了完成以下幾個方面的工作。

驗證：驗證監測系統數據的數據質量。

優化：通過數據分析結果的研究，對監測系統提出優化建議。

提升：提升刮板輸送機監測系統的附加價值。

發現：發現符合一定規律隱含的有用信息并服務于刮板輸送機的設計制造。

2.2 研究的方向

本次刮板輸送機監測數據的數據挖掘和可視化分析的需求分析工作主要是針對刮板輸送機的業務范圍對監測系統的數據質量、數據相關性、數據規律總結的分析研究。

在智能化礦井建設過程中，其監測系統獲取數據的準確性在很大程度上影響著刮板輸送機后續的控制及分析工作的工作質量和整體工作水平，因此刮板輸送機監測數據的數據質量至關重要，是首要的研究內容。在獲取的大量數據中，需要統計分析數據的真實有效性，鑒別數據的損壞率及損壞的具體原因，并針對提高監測數據的數據質量提出優化改進建議。只有建立在高質量的數據基礎上進行分析總計，分析的結果才更具說服力，研究的結果更可靠有效。

3 數據挖掘與可視化分析

3.1 數據獲取

數據獲取是數據挖掘與可視化分析工作的基礎，是指根據需求分析的要求收集數據。井下設備采集、存儲的數據意義重大，但由于很多煤礦井下不具備網絡條件也并未將設備采集的數據通過環網傳輸到地面，只能通過現場拷貝獲取數據；具備網絡條件的采用遠程傳輸的方式獲取數據；然后對不同礦井的數據進行集成并針對采集數據進行數據挖掘以及可視化分析。

由于自動化設備的品牌類型繁多，各廠家的接口類型都不相同，不同設備采集存儲的數據格式多種多樣。刮板輸送機監測數據主要來源于機器設備采集的周期性數據與用戶的意見和反饋數據。本系統主要采集的數據包含不同地區礦井監測系統的數據。然后通過系統開發的批量化自動導入程序進行數據集成。將不同裝置獲取的值經過轉換統一導入MySQL數據庫，通過程序中的數據展示模塊轉換為JSON格式的數據進行顯示。

3.2 數據預處理

數據預處理是指數據如何被清洗、集成、變換的過程。由于煤礦設備容易受到振動、高頻、噪聲等影響，導致實際獲取的數據存在臟數據，比如數據值不合理的情況，溫度=-1 000 ℃，突然出現一個很大或者很小的數(不符合趨勢變化)，也可能由于斷電等導致某個時間段出現數據為空的情況。因此，需要對這些數據進行預處理，包含數據清洗、數據類型轉換、將多個動力部數據合并成一個數據庫、添加數據描述。數據清洗是指出現一些數據不合理的情況將這些影響判斷的數據篩選掉。

在數據預處理完成后，就會得到一個沒有明顯錯誤的數據集所構造的數據庫。目前已經開發了數據預處理子程序，該程序支持將監測獲取的數據按照預期的要求批量導入數據庫，并對數據進行篩選操作。正確的數據預處理對結果的可靠性會產生非常重要的影響。

3.3 分析建模

通過對比分析、回歸分析、聚類分析、分組分析、方差、標準差、最小最大值等分析方法，可以發現數據中有價值的信息。使用ecStat數據挖掘工具，采用最新的數據分析模型，通過數據之間的相互關系、變化趨勢可以產生出許多有關聯，有價值的結論。Python語言在數據挖掘領域有很大的優勢，它編程自由靈活，語法表達優美易讀,代碼開發效率高，因此許多數據科學領域的從業者都使用Python做數據挖掘。

本系統采用回歸算法分析了任意兩路傳感器之間的回歸曲線，回歸算法根據原始輸入數據集中自變量和因變量的值擬合出一條曲線，以反映其變化趨勢。目前研究的是單個自變量的回歸算法，將不同類型的傳感器作為自變量，其他路的傳感器數據作為因變量，不考慮時間因素的影響，繪制回歸曲線并將其擬合出一條直線或曲線，將擬合出的直線或曲線總結為一個公式。本系統主要擬合出4種回歸曲線，分別為線性回歸、指數回歸、對數回歸、多項式回歸。將大量的樣本數據輸入到數據分析模塊，然后通過ecStat得到各擬合的回歸曲線公式。本系統也分析不同條件下的數據方差、標準差、最大值、最小值、平均值為后續的分析提供支持。

3.4 模型分析與優化

由于數據量大，不能保證所有數據都是真實可靠的，數據預處理只能從取值范圍、趨勢等方面進行篩選，而無法從安裝位置是否合理等方面進行篩選；另外收集到的傳感器的種類和數量也是有限的，并不是有關方面的全部數據。通過數據分析雖然可以獲取有價值的信息，但是分析結果可能存在偏差，所以需要數據挖掘的直觀結果加上分析人員對于這些數據的理解與預測綜合考慮，不斷糾偏，得到不斷優化的數據挖掘模型。用戶通過對比性的信息看懂數據背后存在的復雜聯系，數據分析有效性的保證來源于數據質量。高質量的數據源能夠保證分析結果的真實性和有效性。

3.5 數據可視化

Echarts是國內一個開源的JavaScript的圖表庫，為用戶提供生動直觀、可交互的可視化展示平臺。本系統通過輕量級Web框架Flask向前端傳輸Json數據，前端通過Echarts定制大屏展示主題，為了提升展示效果，項目采用Ajax異步傳輸方式實現畫面的自動定時更新，方便用戶在自動模式下對數據展示的需求。當然前端也可以通過發送POST請求向業務系統發起數據請求，業務系統整合處理后以標準的Json格式返回方便人機交互。該系統引入的數據可視化技術包括柱狀圖、餅狀圖、散點圖、三維立方體、回歸曲線、數據分布圖表等。

數據挖掘結果可視化是以視圖的形式給出由數據挖掘算法得出的結果或知識, 以提高用戶對結果的理解。許多挖掘技術包括不同的數學步驟并且要求用戶的干預, 可視化能夠在用戶參與下支持決策過程, 可視化工具可以使用戶在數據挖掘過程中根據領域知識作出判斷, 幫助用戶作出更加合理的挖掘決定。后臺工作人員設置各種選項供分析人員選擇，對篩選數據加以詳細研究并且總結規律，最后導出一份包含了描述現狀的數據分析報告并且根據內置的邏輯算法得出具體的整改措施和建議。將數據展示和數據挖掘結果展示是將復雜的過程簡單化，具有良好的用戶體驗。

4 結語

把計算機中的數據挖掘與可視化分析技術應用于煤礦設備的監測系統獲取的數據，將有助于從大量的數據中挖掘事先不知道，但又有潛在價值的信息。利用Python可以快速開發適合于數據采集、清洗、整合、數據挖掘和展示的平臺，將有助于解決監測系統目前存在的不足，促使我們更有效地利用數據進行趨勢預測，為我們更好地服務于煤礦機械提供可靠的技術支撐。