空管自動化系統智能運維技術研究綜述

林國峰，詹伶俐，沈德仁

（南京萊斯信息技術股份有限公司,江蘇南京 210000）

航空是我國的戰略性產業，是建設獨立自主國防的重要基礎，也是帶動國民經濟發展的重要力量。航空在我國的可持續發展道路上正扮演著不可或缺的重要角色，為各地區協同發展帶來了源源不斷的動力。面對航線數量以及航班數量的不斷增長，空管自動化系統在實現平穩有序的空中交通管制中發揮了重要的作用。經過多年的技術推進，國內已經實現了航班信息與航空雷達自動化系統、電子進程單的關聯，實現了空中交通管理的數字化和集成化。即使如此，空管自動化系統還是面臨著很大的技術變革需求，下一代空管自動化系統的研究與應用迫在眉睫，因此針對下一代空管自動化系統運行保障體系建設的研究具有重大的戰略意義。

1 空管自動化系統的發展

1.1 傳統空管自動化系統

20 世紀60 年代末70 年代初，美國聯邦航空局（Federal Aviation Administration，FAA）開始建設全國空中交通管理系統，自此對航空管理的研究引起了關注。到了20 世紀80 年代中后期，隨著通信網和互聯網技術的進步，全球主要國家的空管自動化系統逐步形成了完善的地基導航技術，并且開始采用數字通信技術和計算機技術。目前，中國、美國、法國等國家已經構建出了完善的空管自動化系統。這些系統普遍由通信、導航和監視3 部分組成。通信方面包括空地數據鏈網絡、航空移動衛星通信網以及空地一體化航空通信網；導航方面包括以衛星技術為基礎的導航、定位和自動著陸系統；監視方面包括自動相關監視以及超視距監視。

1.2 下一代空管自動化系統

經過多年的發展，空管自動化系統雖然已能較好地滿足空中交通管理的各項需求，但空管自動化系統仍然存在很大的技術發展空間。一方面，隨著通用航空、無人機航空等領域研究的興起，目前正在積極開展基于航跡運行相關技術的研究，而現有的空管自動化系統將不再適用；另一方面，隨著虛擬化、容器、彈性計算以及人工智能等先進計算技術的發展及其性能優勢的體現，各方已經將以上技術作為下一代空管自動化系統研制的基礎技術支撐。這種技術架構、軟硬件設施的巨大變革，以及業務復雜度、系統規模的全面提升，對下一代空管自動化系統的可靠性保障提出了全新的、嚴峻的挑戰，尤其在資源管理、數據管理等方面，系統的性能異常將更加難以捕捉和追蹤。由此可見，下一代空管自動化系統亟需一套與之匹配的運行保障體系，能夠對系統中的性能異常進行智能檢測和預警，從而保證空管自動化系統的可靠運行。

2 空管自動化系統智能運維體系

智能運維（algorithmic IT operations,AIOps）的出現為空管自動化系統的運行保障體系建設提供了可行的解決方案。AIOps 并不是一種具體的算法，而是集成了許多算法（包括數據挖掘、統計分析、機器學習等算法）形成一套完善的、自動化的運維體系，進而輔助人工團隊完成大量的、重復性的運維任務，甚至為復雜的故障排查提供可信的數據分析結果。

面向空管自動化系統的智能運維體系如圖1所示。該體系通過前端可視化展示空管自動化系統的監控服務模塊，包括網絡監控、服務器監控、存儲監控、虛擬化監控、數據庫監控以及中間件監控。計算平臺是本體系中的核心，它對接了空管自動化系統的服務器和數據庫，為AIOps 構建異常檢測、異常診斷以及異常預斷三大主要算法模型，進而提供了智能告警、系統管理、配置管理以及權限管理等核心功能。

圖1 空管自動化系統智能運維體系示意圖

根據計算平臺中算法模型的技術原理劃分，目前針對智能運維的主要研究大致分為基于時間序列分析的方法、基于文本挖掘的方法、基于深度學習的方法以及最近提出的基于溯因推理（abductive learning）的方法。

2.1 時間序列分析的智能運維方法

時間序列分析起始于20 世紀90 年代，時間序列的研究涵蓋了相似性查詢、時序模式挖掘、時間序列分類和聚類、時間序列異常檢測等領域，是各行各業尤其是復雜系統研究中密切關注的內容。目前，空管自動化系統的許多監控項都是時間序列數據，因此時間序列分析是其智能運維研究中非常重要的一環。

時間序列分析的基礎是統計分析，國內外早已開展了眾多研究。時間序列分析的代表算法是差分整合移動平均自回歸模型（auto-regressive integrated moving average model，ARIMA）[1]，最初用于氣象數據以及傳染病數據等具有明顯季節性或周期性的單維時間序列的異常檢測。早在2003 年，文獻[2]提出了使用計算建模技術實現對計算機異常的診斷。文獻[3]提出了一種將ARIMA模型應用于網絡流量趨勢分析的方法，該方法從網絡流量的原始數據中提取出相關特征并對各個特征分別建立ARIMA 模型，將實際值與模型預測值的差值作為偏離度向量，通過不斷更新偏離度并結合支持向量機（support vector machine，SVM）對網絡流量進行分類實現實時在線分析。文獻[4]提出了基于L1 正則化邏輯回歸算法，并借助統計學上的分位點，通過某個時間跨度上的服務器性能指標構造了狀態“指紋”，通過“指紋”的相似度比較來確定異常事件的具體類型，從而協助運維人員實施對應的解決方案。文獻[5]介紹了一個名為DBSherlock的性能異常診斷工具，用于大型線上交易系統數據庫性能異常診斷。DBShelock 集成了異常檢測和因果分析功能，其中異常檢測功能基于DBSCAN算法實現，因果分析功能則是一種基于斷言的解釋機制，類似決策樹算法。不過該解釋機制的可靠性在很大程度上取決于反饋信息的精確程度，即使非常小的輸入噪聲都會對精度造成較大的影響，從而不得不修改原有的樹形結構。Jeyakumar 等[6]構造了一種基于因果概率圖模型的根因分析框架，在框架內整合了異常查詢、異常分類以及指標關聯等功能。由于運行過程依賴于大量的人為操作，隨著系統規模的擴展以及指標數據量的增加，框架整體的可行性會有所下降。

指數平滑（exponential smoothing，ES）是在經典的移動平均法基礎上發展起來的一種時間序列分析方法，其優勢在于模型簡潔、參數少易于訓練、計算開銷少等，早期主要應用于中短期經濟發展的趨勢預測。Holt-Winters 算法[7]又稱為三次指數平滑（triple-exponential smoothing，TES）。作者所在課題組根據自動化系統監控數據的特點對Holt-Winters 模型進行了優化，設計了監控項的動態異常檢測和趨勢預測方法，效果如圖2 所示。

圖2 基于Holt-Winters 模型的空管自動化系統監控項預測和異常檢測效果圖

我們利用采集到的監控項歷史數據去訓練Holt-Winters 模型的參數。根據監控項的實時數據，基于3σ 準則自適應生成監控項的告警上界和告警下界，上下界共同組成了監控項的動態基線，不再使用簡單的閾值去判斷監控項的正常或異常，例如圖2 中的紅色曲線低于下界，因此判定為異常。這種方法的優勢在于克服了當前自動化系統頻繁出現告警誤報、漏報和告警不及時的問題。同時，該方法可根據監控項的實時數據生成未來一段時間（未來10min、1h 等）的數值預測結果，在關鍵監控項的監控上給予技保人員充分的時間提前量，提升告警應對能力。

以上方法的技術基礎均為時間序列分析，其優勢在于：1）時間序列數據在所有可監測數據中的總量占比相當大，相關應用非常廣泛；2）時間序列分析模型結構簡單，模型訓練與部署的計算負載較小。其劣勢在于：現有的時間序列分析技術缺乏對長期的、具有復雜關聯關系的數據（例如文本）進行分析的能力。

2.2 基于文本挖掘的智能運維方法

在空管自動化系統運行過程中，很多復雜關聯關系的信息都包含在消息以及日志等文本數據當中。基于文本挖掘開展智能運維技術研究，可以彌補時間序列分析在這方面的缺陷。

朱麗娜等[8]定義了單步相似度和模式相似度來分析日志文件，引入拓撲排序合并相似單步來計算模式相似度，通過模式相似度的度量提前預判性能異常信息，實現告警的預警。文獻[9]提出了一種基于SD 結構的處理頻繁路徑基算法實現日志文本的關聯，使得COFI 算法在時間性能和空間性能上有所提升。楊楊等[10]基于模糊推理策略為規則前件賦予不同的權重，對于權重不高的失敗join 操作給予一定的容忍度，克服了Rete 算法的精確匹配問題，在告警消息缺失、中斷等情景下提升了關聯模型的容錯性。魯顯光等[11]采用數組查詢的方式在稀疏項中查找頻繁項集，而使用Top-Down 遍歷查找密集項中的頻繁項集，避免了FPgrowth 算法針對稀疏數據集中的單個項需要構建多個分支條件模式樹的問題。

以上方法對傳統的文本挖掘方法進行了改進，提升了文本語義、關聯等復雜信息的分析能力。如果將這一類方法應用于自動化系統監控消息和日志的挖掘，將顯著提升自動化系統的智能運維水平。但是現有的文本挖掘方法的不足在于：1）文本的非結構化以及文本模板的多樣性對文本挖掘模型的構建造成了一定的困擾，需要設計相匹配的結構化和特征提取方法；2）現有的文本挖掘方法缺乏對長文本數據的語法和語義進行分析的能力。

2.3 基于深度學習的智能運維方法

不難看出，前述的智能運維方法總體上需要經過故障機理分析、數據預處理、提取特征數據、建立模型等一系列流程，既需要花費大量時間又需要運維人員具備極強的專業知識。隨著空管自動化系統的復雜化和規模化，對端到端的智能運維方法的應用需求日益迫切，而深度學習的發展和普及恰好提供了新的思路和途徑。

作為深度學習的前身，經典機器學習在智能運維領域也誕生過一些應用。Lin 等[12]考慮到日志文件標注的困難性，嘗試利用日志相似性對系統日志進行聚類實現無監督的日志異常檢測，但聚類算法不能有效地利用日志文件在時間維度上的序列特征。Qiu 等[13]提出的SyslogDigest 模型將非結構化的日志消息映射到消息模板上以解析日志消息，然后基于消息模板的序列生成高層次的事件記錄。

后來基于學習開展智能運維研究吸引了許多學者的關注。文獻[14]基于去噪自編碼器對多種故障進行了診斷，實驗結果表明其診斷準確率高于單隱含層的BPNN、多隱含層的BPNN 以及SVM。Brown 等[15]將具備注意力機制的循環神經網絡（recurrent neural network,RNN）用于分析日志數據，分析結果可協助運維人員進行系統的入侵檢測。文獻[16]介紹了一種基于LSTM 的DeepLog模型，避免了RNN 的梯度消失/爆炸問題，在離線階段判斷新產生日志序列與模型學習到的特征是否相符，如果不相符就認為該日志序列是異常的。張林棟等[17]基于雙向長短期記憶（Bi-directional long short-term memory，Bi-LSTM）網絡實現了HDFS 和OpenStack 數據集上的異常檢測，有效地結合了前序事件以及后續事件對當前異常事件的影響。Meng 等[18]對DeepLog 進行改進并設計了LogAnomaly 模型，實現了跨日志類型的遷移。文獻[19]提出利用CNN 來檢測大規模系統日志中的異常情況，基于不同大小的卷積核提取出日志之間的內部關聯。文獻[20?21]借助專家經驗從日志序列中提取典型特征，然后在隨機森林等傳統機器學習方法學習日志異常模式，避免了對海量訓練數據的過度依賴。張圣林等[22]基于GloVe 框架提取日志中的語義信息并構造了日志的模板向量，在一定程度上克服了不同語法造成的跨類型日志融合困難的問題。陳興蜀等[23]在ptrace 監控進程基礎上利用滑動窗口切割生成進程的系統調用短序列，同時設計了一種數據結構Map 實現短序列去重，在有限的訓練開銷下基于LSTM 網絡實現了進程資源調用異常檢測功能。隨著生成對抗網絡（generative adversarial network,GAN）相關研究的深入，文獻[24]提出利用InfoGAN[25]和推理神經網絡生成數據的平衡樣本以及對應的標注，再利用第二個GAN 進行標簽優化，最后通過隨機森林做分類，結合Hyperband 算法實現參數的快速優化。

目前，應用于智能運維的深度學習模型主要包括自動編碼器、深度置信網絡、卷積神經網絡、循環神經網絡以及生成對抗網絡。相比傳統的時間序列分析方法以及文本挖掘方法，深度學習方法的優勢在于：1）支持端到端的模型構建，不需要過多地考慮數據結構化以及數據的特征提取；2）具備對長期的、具有復雜關聯關系的數據（包括文本數據和數值數據）進行挖掘的能力。然而，目前深度學習方法還存在一些不足，主要包括：1）模型結構復雜，是否收斂具有一定的不確定性，需要開展大量的調試工作；2）對訓練數據的規模和質量有著非常高的要求；3）盡管在蘊含關系推理上具備較強的能力，但在預設關系推理上存在明顯的不足，具體表現為分析、解釋和推理上遠遠達不到human level。

2.4 基于溯因推理的智能運維方法

深度學習方法雖然性能強大，但仍然存在許多不足。現有的深度學習技術基礎主要基于統計分析實現自動的歸納和演繹，其技術核心對數據的規模和質量有著非常高的要求且方法的泛用性不好，同時在敘事[26]、閱讀[27]、反事實推理[28]等任務上的表現遠遠達不到Human Level 級別的水平。其根本原因在于，當前基于統計分析的深度學習技術表現出了優秀的蘊含關系推理（entailment inference）能力[29?30]，但并不具備預設關系推理（presupposition inference）能力，這種邏輯能力上的缺陷導致其無法勝任有關過程推理、模式解釋的任務[31]。空管自動化系統要達到一種更高級別的智能運維水平，就必須突破經典的歸納和演繹思維邏輯，實現一種稱為溯因推理（abductive reasoning）的高階思維能力。

所謂溯因推理是指從其他案例環境中借鑒觀測結果、結論及相關知識，同時深入考察具體事件[32]，研究過程經過循環往復“多次迭代”，在經驗觀察和抽象理論之間靈活移動，開展更具擴展性的事件追蹤[33]。性能異常的溯因推理是通過一定手段來尋找處于異常狀態下的系統故障點，進而為系統修復或改進提供參考的過程[34]。相比深度學習方法，溯因推理學習將著重強化模型模擬預設關系推理的能力，使模型在分析、解釋推理上的能力達到甚至超越human level。然而，溯因推理僅僅在學術界顯現出一小部分的成果，其中有部分成果稱之為反繹學習（abductive learning），可見相關研究尚處于起步階段。

基于溯因推理技術，空管自動化系統的智能運維有望達到自動化根因診斷的水平，即不需要人為干預，模型自動收集監控項以及文本數據來判斷系統出現告警甚至是故障的原因。如圖3 所示，模型對DCP1 服務磁盤I/O 性能陡降的告警進行診斷，首先收集告警前相關日志文本建立日志序列，其次輸出根因猜測，再次收集告警后相關日志建立日志序列，然后通過告警后的日志序列去驗證猜測的合理性，最后推斷出造成DCP1 服務器磁盤I/O 陡降的根因在于DCP1 服務器的CPU 負載過高。

圖3 基于溯因推理的自動化系統告警根因診斷模型

3 結束語

本文圍繞下一代空管自動化系統建設，分析了基于智能運維的保障體系關鍵技術，包括基于時間序列分析的方法、基于文本挖掘的方法、基于深度學習的方法，以及最近提出的基于溯因推理學習的方法，總結了各個技術領域的研究現狀。

通過本文系統性的闡述可知，溯因推理是當今機器學習領域的熱點問題和關鍵突破口。現階段溯因推理還有許多問題有待解決，包括但不限于以下方面：1）突破現有機器學習方法依賴的IID 假設，實現穩定的推理。2）克服干擾變量、樣本偏差導致的虛假相關性對模型穩定性的干擾。3）建立具備可解釋性的新學習范式。總而言之，溯因推理研究將在下一代空管自動化系統智能運維體系建設中發揮重要的推動作用，即以多元統計分析為基礎，融合因果推理、深度學習以及自然語言處理技術，不依賴于對系統模型的準確理解，依靠系統運行過程中產生的性能指標以及日志文本挖掘出有用的潛在信息，并對空管自動化系統運行過程中出現的性能異常事件做出合理的檢測、根因診斷以及預警。相關的研究將對航空水平的提升具有重要的參考價值，將在民航運輸業具有廣泛的應用前景。