信息系統關鍵服務實時監控的實踐

秦四濱

摘要：本文介紹了的生產過程執行系統（以下簡稱MES系統）在實際工作中經常出現故障的許多關鍵服務，并對這些故障的產生及產生故障后對系統的影響進行了分析，找到了判斷故障發生的方法，根據判斷故障放生的方法開發出監控程序，通過監控程序對這些故障進行實時監控，當故障發生時能夠第一時間發現，能夠程序自動恢復的，監控程序就自動進行故障恢復不需要人為干預，不能自動恢復的實時通知運維人員進行故障恢復，給出了很好的解決方案。

關鍵詞：生產運行系統;故障;監控

中圖分類號：TP393? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）23-0007-02

開放科學（資源服務）標識碼（OSID）：

生產過程執行系統（以下簡稱MES系統）已經成為生產制造企業每天運行的必不可少的應用系統，系統一旦出現問題，如果不能盡快進行恢復，會給企業的生產和經營造成一定的影響。能夠使MES系統出現故障之后及時了解故障信息并快速恢復是擺在信息系統運維人員的一個巨大課題。

1 原因分析

MES系統在實際應用中，由于系統應用軟件存在的設計缺陷、后天開發的第三方應用不那么成熟和服務器長時間運行導致不穩定，以及各種原因造成的網絡中斷都會造成MES系統故障，而每次故障發生后都是當用戶使用系統時先發現，再由用戶通知運維人員，往往這個時候故障已經持續很長時間了，有些時候會將故障這段時間的基礎數據丟失，造成應用系統的統計計算結果不準確不及時，不但給用戶的使用造成阻礙，更會給信息系統的運維工作帶來很大的麻煩。

2 解決方案

2.1 運維模式的創新

對MES系統經常出現故障的重要服務進行深入研究及分析，找到程序自動判斷這些故障的方法，開發監控程序，當上面提到的任一服務出現故障異常時，就會及時發現，用監控程序能夠進行故障恢復的就在程序中自動處理，不需要人為干預，需要人為手動干預的就立即將故障信息發送手機短信到相關系統維護人員，并將每次得故障信息都記錄到日志文件中，使運維人員第一時間獲知故障信息并及時進行故障恢復，最大限度地保障用戶的順暢使用和數據的準確性，從而更加高效的保障了MES系統的平穩運行，顯著地提高了部門的運維水平。

2.2 運維技術的創新

2.2.1實時數據庫PHD運維創新

實時數據庫PHD為整個MES系統提供所有的過程歷史數據以及實時數據的采集，是DCS控制系統到MES的中間橋梁，為整個MES系統提供數據支持。實時數據庫采用buffer-shadow架構，在各裝置的控制室安裝的buffer機連入DCS控制網絡，通過RDI采集現場的數據存儲在本地硬盤的基礎上也同時通過RDI將采集到的數據上傳到中心機房的shadow上。MES系統各個應用模塊用到的數據都是來自中心機房的PHD主服務器shadow，為了保證shadow機出現故障后能夠及時恢復，要做好兩個方面：實時數據庫故障監控與恢復、出現故障后PHD的歷史恢復。

2.2.2實時數據庫故障監控與恢復

不僅要解決故障，更重要的是在出現故障時第一時間知道解決且數據能夠恢復。首先要進行PHD的歷史恢復，PHD的歷史恢復就是shadow機出現故障恢復后Buffer機自動上傳故障期間丟失數據的功能。在實際的運維過程中發現，shadow機總出現故障，故障率為平均2次/月，每當出現這種故障，運維人員只能重新啟動服務器進行恢復，不但對我們的應用和運維造成了很大的麻煩，通過分析發現PHD有5個關鍵服務：PHD SERVER，RDI SERVER，API SERVER，REMOTE API SERVER，LEGACY API SERVER，針對此情況開發出了實時數據庫PHD監控程序，此程序實時地對PHD的運行狀態進行監控，并能監控每個RDI的運行狀態，一旦這幾個關鍵服務出現故障或采集接口RDI的狀態不對，就會實時地殺死這5個服務對應的系統進程，這種方法能夠快速地關閉這5個服務，殺死進程后再重新啟動PHD服務，保證PHD能夠自動進行系統級的恢復，不需要人為干預，此技術的實現投用，很好地保障MES系統的正常運行。

2.3關系數據庫Oracle運維創新

MES系統的Oracle數據庫是非常關鍵的數據庫，存儲著所有的配置數據和每天的業務數據;如Oracle數據庫出現問題，整個MES系統就失去的數據支持，系統就將癱瘓，所以在Oracle數據庫出現故障的時候，能夠快速地進行數據恢復就是非常重要的。

2.3.1 Oracle數據庫的備份與恢復

原軟件提供了一個數據庫備份方案，對數據的恢復沒有介紹，其備份方案需要人為定時清理過期備份，一旦忘記刪除過時備份的話，使得以后的備份都不能進行，數據庫系統也會因為磁盤空間的不足造成宕機，這在我們MES系統實施初期就發生過這種現象，給系統的實施造成了不小的麻煩，所以制定一個完善可行的備份恢復方案是非常必要的。通過研究，對原備份腳本進行改造，開發出一套新的備份恢復策略，新策略創新的功能是將每天備份的歸檔日志存儲在當天數據備份目錄的log子目錄下，這樣在自動刪除過期數據備份時一并將過期的日志刪除，新策略能夠自動聯機備份數據，并保留我們所需要天數的備份，并自動刪除過期的數據備份和日志備份，并每天將最新的備份自動異地備份到一臺備用的服務器上，一旦Oracle數據庫出現故障，就算所有的數據文件、控制文件、歸檔文件及聯機日志文件損壞或丟失的情況下，我們都可以在備用服務器上將數據庫恢復到備份期間內任意時間點。

2.3.2 Oracle數據庫的故障實時監控

隨著系統數據量的增加，Oracle數據庫總會出現莫名其妙的故障， Oracle服務器在出現故障后不再對外提供數據連接服務，所有客戶端都會出現連接錯誤，并且在我們手動故障恢復后，發現物料平衡的后臺服務calumass在Oracle故障恢復后不能恢復，calumass服務直接影響著裝置質量計算數據的準確性，為了避免這樣的情況出現，開發出了對這兩個服務實時監控的程序，程序能在系統出現故障就能實時將這些故障地記錄下來，并通過我們的郵箱將具體的故障信息發郵件及短信到相關運維人員的手機，運維人員能夠及時地進行故障的恢復。

2.4 OM操作監控關鍵服務運維創新

OM操作監控部分的主要功能是實時監控生產工藝參數、記錄工藝參數偏差原因并提供工藝參數趨勢圖分析方法。同時也為我公司的PHD及應用模塊的平穩率計算提供基礎數據。操作監控所涉及的后臺關鍵服務有兩個一個是REFRESHTARGETPHD，另一個是VARIANCE MONITORING WEB。然而在實際的MES運行中，經常會出現OM模塊中的操作監控出現故障，停止監控的情況，每次出現這種情況時候，在OM的操作監控中看到的監控情況是所有監控指標都在正常指標范圍內，也就不記錄偏差，當這種情況發生時，到Business FLEX TPI組態工具中查看后臺服務的運行情況，發現它們的下一周期運行時間都停留在過去的某個時間，而不是將來的某個時間，為了能夠及時地發現后臺服務出現故障，開發出了監控程序，此程序能夠實施查詢保存在數據庫中的這兩個服務的運行狀態，就及時地將其調度時間改到不久將來某個時間點，重啟這些服務及時進行故障恢復。

2.5 數據采集buffer機運維創新

數據采集buffer機負責連入DCS控制網絡， MES系統用到的基礎數據都是buffer機采集的，每個buffer機負責一套dcs系統數據的采集，在實際的系統運行過程中，經常會出現網絡斷網故障，機器系統故障，一旦某個buffer機產生故障，現場dcs的數據就不會傳送到MES系統中去，造成某套裝置的數據錯誤，如何才能對這些buffer機進行實時監控呢？我們也可以像監控PHD服務那樣監控每一臺buffer機，那樣的話我們能夠實時監控并自動修復PHD服務所產生的故障，但buffer機到MES網的網絡故障判斷不了，可以通過到shadow機實時數據庫中查詢每個buffer機采集的關鍵位號的信息與當前時間進行比較的方法來判斷buffer機運行狀態及其連接的網絡是否正常。如常壓裝置的buffer機可以設定兩個關鍵位號：大慶原油進料FQ_1001，俄油進料FQ_1007，如果一切正常的話在PHD實時數據庫中會每2分鐘產生FQ_1001的一條記錄和FQ_1007的一條記錄，會一直持續下去，用當前時間與這兩條記錄對應的時間戳進行對比，如果小于等于2分鐘說明buffer機正常一直在采集數據，如果大于2分鐘就說明就說明此buffer機出現故障或連接此buffer機的網絡中斷能采集數據但不能傳輸數據了。根據這種判斷方法開發出了buffer機的監控程序，當出現異常時會及時地發送短信給相關的運維人員及時地進行故障恢復。

3 實際應用效果

監控程序應用一個月監控到的故障多起，有網絡光纖被施工人員誤挖斷的情況，有網絡交換機斷電的情況，有buffer機網卡死掉的情況，有Oracle數據庫故障情況，有關鍵服務phdsql故障情況，所有這些故障的發生，運維人員都及時收到了提示短信，并及時進行了處理，沒有給MES系統帶來影響，用戶感覺不到故障的發生和影響。

4結論

MES是生產制造企業每天必須運行的系統，系統一旦出現問題，會給企業的生產和經營造成一定的影響。通過監控程序的實施，解決了系統運行中困擾信息運維多年的重大技術難題，使運維人員先于用戶發現故障及時恢復，最大限度地保障用戶的順暢使用和數據的準確性，本文通過對MES信息系統實時監控的實踐，為更好地運維信息系統提供了一種思路和方法，通過此方法的實施，顯著地提高信息系統的運維水平。

【通聯編輯：光文玲】