基于線性結(jié)構(gòu)因果模型的服務(wù)故障傳播路徑識別

李榮宸，姜瑛，姒鑒哲

（1.云南省計算機技術(shù)應(yīng)用重點實驗室，云南 昆明 650500；2.昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引言

近年來，隨著云計算技術(shù)的不斷發(fā)展，越來越多的企業(yè)和組織將其業(yè)務(wù)遷移到云端。然而，在云計算環(huán)境下，服務(wù)故障的傳播路徑更加復(fù)雜，因此準(zhǔn)確識別服務(wù)故障的傳播路徑對于保障云計算服務(wù)的可靠性和穩(wěn)定性至關(guān)重要[1]。但是，由于云計算環(huán)境的高度分布式和異構(gòu)性等特點，識別服務(wù)故障的傳播路徑面臨著許多難點，包括如何有效地收集和處理海量的監(jiān)控數(shù)據(jù)，如何準(zhǔn)確地識別故障源和故障傳播路徑等[2]。快速動態(tài)地識別服務(wù)故障傳播路徑，可以及時定位故障發(fā)生的區(qū)域并確定服務(wù)故障的傳播和擴散情況，降低系統(tǒng)不正常運行的風(fēng)險。

因此，研究云計算環(huán)境下服務(wù)故障傳播路徑識別具有重要意義：一方面，可以幫助企業(yè)和組織及時發(fā)現(xiàn)和解決服務(wù)故障，提高云計算服務(wù)的可靠性和穩(wěn)定性；另一方面，可以為云計算服務(wù)的優(yōu)化和改進提供有價值的參考和支持，推動云計算技術(shù)的進一步發(fā)展和應(yīng)用[3-4]。因此，如何快速準(zhǔn)確地識別云計算環(huán)境下的服務(wù)故障傳播路徑，成為亟待解決的問題。

1 相關(guān)工作

近年來，故障傳播路徑識別受到廣泛關(guān)注。文獻[5]認(rèn)為模塊之間通過函數(shù)調(diào)用交互，故障可以通過模塊接口傳播，抽象出核心模塊之間的依賴關(guān)系，識別故障在模塊之間的傳播路徑。文獻[6]提出了一種以異常傳播為導(dǎo)向的微服務(wù)故障診斷方法，它利用微服務(wù)的測量信息和服務(wù)之間的調(diào)用行為來構(gòu)造一張微服務(wù)的依賴圖，在此基礎(chǔ)上對異常的微服務(wù)進行檢測，來獲得服務(wù)的故障傳播圖，并確定異常的根源。文獻[7]將目標(biāo)鎖定在分布式系統(tǒng)中，在服務(wù)之間存在著不同的執(zhí)行軌跡，使用注射代理的方法對業(yè)務(wù)進行攔截并轉(zhuǎn)發(fā)，通過分布式跟蹤系統(tǒng)采集服務(wù)調(diào)用信息，可以很好地發(fā)現(xiàn)在服務(wù)調(diào)用路徑中存在的異常。文獻[8]中提出了一種在云計算環(huán)境下的服務(wù)故障傳播路徑識別方法，該方法利用服務(wù)呼叫關(guān)系來構(gòu)建一個服務(wù)互動圖，并對該圖進行優(yōu)化，從而構(gòu)建出一個服務(wù)關(guān)系圖，對其進行全面的研究，最終對服務(wù)故障傳播的影響因素進行了全面的分析和計算，從而對其進行識別。然而，服務(wù)的高頻調(diào)用產(chǎn)生海量數(shù)據(jù)，給服務(wù)異常的實時性分析帶來挑戰(zhàn)[9]。貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)是從給定數(shù)據(jù)集中推斷事件關(guān)聯(lián)關(guān)系的常用方法，能夠從實時數(shù)據(jù)中學(xué)習(xí)服務(wù)故障傳播結(jié)構(gòu)。文獻[10]提出一種基于父節(jié)點濾波的高斯貝葉斯網(wǎng)絡(luò)故障傳播路徑識別推理算法，通過結(jié)構(gòu)學(xué)習(xí)算法構(gòu)建貝葉斯網(wǎng)絡(luò)，再根據(jù)參數(shù)權(quán)值和對父節(jié)點集進行約簡，求出約簡父集可能子集的最大條件概率，逐層推理確定故障的傳播路徑網(wǎng)絡(luò)。貝葉斯網(wǎng)絡(luò)[11]的結(jié)構(gòu)學(xué)習(xí)已經(jīng)被證明是NP-hard 問題，因此構(gòu)建網(wǎng)絡(luò)的算法應(yīng)盡可能保證準(zhǔn)確率并降低時間開銷。

綜上所述，基于服務(wù)調(diào)用信息構(gòu)建服務(wù)依賴關(guān)系是識別服務(wù)故障傳播路徑的常用方法，但服務(wù)的高頻調(diào)用為服務(wù)故障傳播路徑的實時性分析帶來挑戰(zhàn)。而通過貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)推斷完整的故障傳播路徑需要一定的時間開銷。針對這些問題，本文提出一種基于因果圖模型的服務(wù)故障傳播路徑識別方法，在未知服務(wù)之間依賴關(guān)系的情況下推斷服務(wù)故障事件因果關(guān)系，構(gòu)建服務(wù)故障傳播圖以識別出服務(wù)故障的傳播路徑。

2 云環(huán)境下服務(wù)故障傳播路徑識別方法

在云計算環(huán)境下，服務(wù)故障事件之間具有因果關(guān)系，可以通過推斷因果關(guān)系來構(gòu)建服務(wù)故障傳播圖，識別服務(wù)故障傳播路徑。由服務(wù)故障傳播導(dǎo)致的事件因果關(guān)系存在一個特點：作用于服務(wù)故障傳播方的隨機事件更易影響感染方，而作用于服務(wù)故障感染方的隨機事件不太可能影響傳播方。

基于以上特點，本文提出一種基于因果圖的服務(wù)故障傳播路徑識別方法，在不知道服務(wù)間依賴關(guān)系的前提下，從服務(wù)運行數(shù)據(jù)中提取服務(wù)故障事件，推斷故障事件之間的因果關(guān)系以構(gòu)建服務(wù)故障傳播圖，并根據(jù)服務(wù)故障傳播圖與故障服務(wù)列表確定服務(wù)故障傳播路徑。方法的主要步驟包括服務(wù)故障事件度量、服務(wù)故障傳播圖構(gòu)建和服務(wù)故障傳播路徑識別。

2.1 服務(wù)故障事件度量

服務(wù)由于運行結(jié)果錯誤或性能下降而無法正常運行的現(xiàn)象稱為服務(wù)故障事件。使用服務(wù)運行數(shù)據(jù)來度量單個服務(wù)故障事件，可以反映單個服務(wù)的故障情況，同時也是分析不同服務(wù)故障事件之間因果關(guān)系的基礎(chǔ)。

故障使服務(wù)無法正確處理請求或處理請求的時間過長，進而導(dǎo)致服務(wù)占用系統(tǒng)資源異常，通常會出現(xiàn)資源使用率、服務(wù)執(zhí)行時間等指標(biāo)過高或過低的現(xiàn)象。其次，當(dāng)服務(wù)對物理資源存在較為穩(wěn)定的調(diào)度邏輯時，會使得各項物理資源之間產(chǎn)生穩(wěn)定的關(guān)聯(lián)關(guān)系，例如，服務(wù)通過網(wǎng)絡(luò)接收用戶請求并進行處理時，網(wǎng)絡(luò)流量較大也會使得CPU 資源占用較高。而故障使得服務(wù)資源調(diào)度出錯并進一步導(dǎo)致服務(wù)運行結(jié)果出錯時，物理資源之間的調(diào)度邏輯也會發(fā)生變化。此外，服務(wù)被調(diào)用次數(shù)決定了服務(wù)占用多少系統(tǒng)資源，所以指標(biāo)過高或過低也會受到服務(wù)被調(diào)用次數(shù)的影響。

為了衡量服務(wù)運行數(shù)據(jù)指標(biāo)期望偏離與服務(wù)調(diào)度邏輯的變化情況，本研究將統(tǒng)計量作為服務(wù)故障事件度量值。該方法在去除服務(wù)正常運行時方差為0 的指標(biāo)及非平穩(wěn)的指標(biāo)后，通過主成分分析（Principal Component Analysis,PCA）算法去除數(shù)據(jù)中的完全共線性以避免度量值小于0，再使用協(xié)方差矩陣消除指標(biāo)間的線性關(guān)系，從而可以直接使用指標(biāo)均值偏離情況度量這兩類情況。統(tǒng)計量的計算公式如式（1）所示：

式中：u和Σ分別為服務(wù)正常運行數(shù)據(jù)集中各項指標(biāo)均值構(gòu)成的均值向量和協(xié)方差矩陣；Xˉ和n為當(dāng)前服務(wù)運行數(shù)據(jù)集中各項指標(biāo)均值構(gòu)成的均值向量和數(shù)據(jù)集數(shù)據(jù)量。當(dāng)某服務(wù)高于閾值時，則認(rèn)為該服務(wù)發(fā)生故障。

取n=1 時可求出某服務(wù)在某段時間內(nèi)每一時刻的度量值，根據(jù)時間順序排列成行向量后得到該服務(wù)的故障事件度量向量，將所有服務(wù)的故障事件度量向量組合成一個矩陣，這個矩陣為服務(wù)故障事件度量矩陣。服務(wù)故障事件度量矩陣反映了服務(wù)故障事件之間的因果關(guān)系。當(dāng)服務(wù)由正常變?yōu)楣收蠒r，度量值升高。服務(wù)異常程度越高，度量值越大。因此，服務(wù)故障傳播導(dǎo)致服務(wù)故障事件度量矩陣中對應(yīng)服務(wù)的行向量線性相關(guān)。

2.2 服務(wù)故障傳播圖構(gòu)建

服務(wù)故障傳播圖為帶權(quán)有向圖，節(jié)點表示故障服務(wù)，邊的方向表示故障傳播方向，權(quán)重表示故障事件因果效應(yīng)強度。由于服務(wù)故障傳播使得服務(wù)故障事件度量向量線性相關(guān)，因此服務(wù)故障事件服從線性結(jié)構(gòu)因果模型[12]。在線性結(jié)構(gòu)因果模型中，若服務(wù)x故障導(dǎo)致服務(wù)y故障，則因果關(guān)系可表示為y=wx+e，其中e為隨機擾動項，代表x以外的服務(wù)調(diào)用次數(shù)、服務(wù)故障等隨機事件對y的影響，w為因果效應(yīng)強度。因此，對于n個服務(wù)的故障事件x1,x2,…,xn，其因果關(guān)系表示為如下形式：

式（2）的矩陣形式為x=Wx+e，x為服務(wù)故障事件度量矩陣，e是殘差矩陣，W是服務(wù)故障傳播圖的鄰接矩陣。為了求解系數(shù)矩陣W構(gòu)建服務(wù)故障傳播圖，本文采用DirectLiNGAM 算法[13]首先分析變量與隨機擾動項的獨立性遞歸求出外生變量以得到因果順序排列，使得排列在后面的事件不影響前面的事件，即求出x1,x2,…,xn分別對應(yīng)哪個服務(wù)，最后估計參數(shù)得到矩陣W。

然而，在使用DirectLiNGAM 算法推斷事件因果關(guān)系求解系數(shù)矩陣W時，可能出現(xiàn)一些特殊情況。例如，某服務(wù)在處理完請求后因為停止運行或不被調(diào)用造成服務(wù)運行數(shù)據(jù)缺失，此時該服務(wù)沒有傳播故障，也沒有被傳播故障，所以該服務(wù)的狀態(tài)不受其他服務(wù)影響，但在線性結(jié)構(gòu)因果模型中，最不容易受到其他變量影響的變量會被識別為外生變量，因此如果某個服務(wù)缺失數(shù)據(jù)越多，這個服務(wù)就越容易被識別為故障的傳播方。為避免此類情況的發(fā)生，本文優(yōu)化DirectLiNGAM 算法，在分析變量與隨機擾動項獨立性求解外生變量時，僅使用兩個服務(wù)同時運行的數(shù)據(jù)，若沒有同時運行的數(shù)據(jù)，則判定兩個服務(wù)故障事件獨立性最強，即變量與隨機擾動項獨立性最弱。

通過調(diào)整后的DirectLiNGAM 算法推斷出服務(wù)故障事件的因果關(guān)系，從而構(gòu)建出服務(wù)故障傳播圖，以確定服務(wù)故障的傳播方向及故障事件間的因果效應(yīng)強度。

2.3 服務(wù)故障傳播路徑識別

服務(wù)故障傳播圖是一種所有服務(wù)之間都有一條有向邊連接的有向無環(huán)圖，且圖中邊的權(quán)重表示因果效應(yīng)的強度。服務(wù)故障傳播導(dǎo)致不同服務(wù)故障事件具有較強的線性關(guān)系，從而圖中對應(yīng)邊會有更高的權(quán)重。因此，服務(wù)故障傳播路徑是服務(wù)故障傳播圖中以故障服務(wù)為起點，且因果效應(yīng)較強的路徑。

為了從服務(wù)故障傳播圖中獲取服務(wù)故障傳播路徑，首先依據(jù)2.1 節(jié)方法篩選出故障服務(wù)，然后標(biāo)準(zhǔn)化處理服務(wù)故障傳播圖權(quán)重；其次遍歷服務(wù)故障傳播圖，篩選出所有以故障服務(wù)為起點的路徑；最后將路徑上所有邊權(quán)重相乘，作為該路徑的因果效應(yīng)強度，并對所有路徑按因果效應(yīng)強度降序排序。路徑排列越靠前，則故障由這條路徑進行傳播的概率越大。服務(wù)故障傳播路徑識別算法如下所示：

服務(wù)故障傳播路徑識別算法的主要開銷為圖的遍歷和對標(biāo)圖的邊權(quán)重進行標(biāo)準(zhǔn)化，因此如果服務(wù)數(shù)量為n，時間段長度為m，算法的時間復(fù)雜度為O (mn3)。

3 實驗及分析

3.1 實驗環(huán)境

為了驗證本文方法的有效性，本文使用兩種實驗環(huán)境。

環(huán)境1：使用Python 語言開發(fā)的10 個服務(wù)，實現(xiàn)根據(jù)用戶請求進行計算與匯總的功能。10 個服務(wù)部署在Docker 容器中，其中1 個服務(wù)負(fù)責(zé)處理請求，8 個服務(wù)執(zhí)行計算功能，最后1 個服務(wù)對計算結(jié)果進行匯總處理。通過程序插樁方式獲取每次調(diào)用時每個服務(wù)的處理請求耗費時間、用戶請求內(nèi)容、請求與執(zhí)行結(jié)果的數(shù)據(jù)包大小和服務(wù)調(diào)用關(guān)系，環(huán)境1 服務(wù)依賴結(jié)構(gòu)如圖1 所示。

圖1 實驗環(huán)境1 服務(wù)依賴結(jié)構(gòu)

如圖1所示，服務(wù)ReqProce負(fù)責(zé)處理用戶請求，服務(wù)CalcA、CalcB、CalcC、CalcD、CalcE、CalcF、CalcG 和CalcH構(gòu)成了應(yīng)用的計算節(jié)點。服務(wù)ReqProc 在接收用戶請求后，會根據(jù)用戶請求內(nèi)容分析需要調(diào)用計算節(jié)點哪些服務(wù)進行計算，然后再調(diào)用對應(yīng)服務(wù)執(zhí)行計算功能。在計算節(jié)點服務(wù)計算完成后，服務(wù)ReqProc 調(diào)用CalcSum對計算節(jié)點服務(wù)的計算結(jié)果進行匯總處理，其中計算節(jié)點的計算結(jié)果通過數(shù)據(jù)庫進行存儲。在故障注入時，使用Python 語言開發(fā)程序向服務(wù)ReqProc 發(fā)送大量請求，隨機調(diào)整用戶請求內(nèi)容，改變服務(wù)需要處理的數(shù)據(jù)量及對計算節(jié)點服務(wù)的調(diào)用方式。

環(huán)境2：微服務(wù)應(yīng)用SockShop。SockShop 是一個由Java、Go、.NET 和NodeJS 等多種語言開發(fā)的微服務(wù)電商平臺，包含13 個微服務(wù)，服務(wù)依賴結(jié)構(gòu)如圖2 所示。

圖2 實驗環(huán)境2 服務(wù)依賴結(jié)構(gòu)

如圖2 所示，frontend 接收用戶請求并提供前端頁面。orders、payment、carts、catalogue、user 分別提供訂單、支付、購物車、產(chǎn)品目錄管理和用戶信息管理功能，shipping 接收訂單并提供發(fā)貨功能，queue-master 模擬發(fā)貨過程。另外，部分核心服務(wù)由對應(yīng)的數(shù)據(jù)庫管理服務(wù)進行管理數(shù)據(jù)存儲。本文將服務(wù)SockShop 部署在Docker 容器中，使用Docker stats 工具采集每個服務(wù)對應(yīng)容器的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤資源的使用情況，并通過WeaveScope 監(jiān)控服務(wù)之間的調(diào)用關(guān)系。在注入故障時，使用WeaveWorks 壓力測試工具向frontend 發(fā)送大量請求，通過WeaveScope 觀察到故障注入導(dǎo)致SockShop產(chǎn)生frontend→orders、orders→user、orders→carts、orders→payment、carts→catalogue 這幾條調(diào)用路徑。

3.2 對比實驗結(jié)果分析

格蘭杰因果檢驗（Granger Causality Test）是一種常用的因果關(guān)系檢驗方法，格蘭杰因果檢驗將兩個時間序列分別表示為X和Y，然后建立兩個AR 模型，分別是X的AR 模型及X和Y的VAR 模型。然后通過比較這兩個模型的預(yù)測誤差，判斷Y是否受到了X的影響，即X是否是Y的因果變量。可以處理非平穩(wěn)時間序列和多變量時間序列，并且可以進行因果關(guān)系的方向推斷。但是，它也有一些局限性，如只能檢測線性因果關(guān)系，對噪聲敏感等。格蘭杰因果關(guān)系定義為作為因的變量的過去信息更有助于解釋作為果的變量的變化。與格蘭杰因果檢驗不同，本文因果關(guān)系定義為作用于因的隨機事件更容易影響作為果的隨機事件。因此將本文方法與格蘭杰因果檢驗進行對比。

本次實驗針對兩個實驗環(huán)境進行故障注入并采集數(shù)據(jù)，由于兩種方法都對數(shù)據(jù)敏感，因此采用隨機樣本容量隨機抽取連續(xù)數(shù)據(jù)樣本的方法來獲取故障發(fā)生的任意階段數(shù)據(jù)。首先計算每個樣本中服務(wù)的故障事件度量值，然后分別使用本文方法和格蘭杰因果檢驗推斷服務(wù)故障事件度量值之間的因果關(guān)系，從而識別故障傳播路徑。實驗中針對每條路徑抽取500 個樣本，統(tǒng)計兩種方法故障傳播路徑識別準(zhǔn)確率與方法平均運行時間，對比兩種方法的有效性及性能。實驗結(jié)果如表1 所示。

表1 服務(wù)故障傳播路徑識別對比實驗結(jié)果

如表1所示，格蘭杰因果檢驗平均準(zhǔn)確率為35.13%，平均運行時間為10.131 9 s；本文方法平均準(zhǔn)確率為77.04%，平均運行時間為0.251 3 s。在準(zhǔn)確率方面，本文方法優(yōu)于格蘭杰因果檢驗，原因在于格蘭杰因果檢驗主要分析事件兩兩之間的關(guān)系，而本文方法綜合考慮了所有事件，避免了因為遺漏重要變量而產(chǎn)生的內(nèi)生性問題，從而提升了準(zhǔn)確率。然而，在識別環(huán)境2 中路徑frontend→orders時，本文方法識別準(zhǔn)確率降低，原因是在環(huán)境2中，雖然frontend 調(diào)用orders 導(dǎo)致orders 故障，但frontend 需要獲取orders 的處理結(jié)果并為用戶提供對應(yīng)的前端界面，造成了服務(wù)之間雙向依賴關(guān)系。這種關(guān)系產(chǎn)生的環(huán)路導(dǎo)致內(nèi)生性問題，造成識別準(zhǔn)確率下降。

在性能方面，本文方法遠遠優(yōu)于格蘭杰因果檢驗，原因是格蘭杰因果檢驗在推斷因果關(guān)系時需要對服務(wù)大量的過去信息進行分析，需要較大的時間開銷。

綜上所述，本文所提出方法能夠有效識別服務(wù)故障傳播路徑，且時間開銷較低，但當(dāng)服務(wù)存在雙向依賴關(guān)系導(dǎo)致故障傳播出現(xiàn)環(huán)路時，會因為內(nèi)生性問題造成識別準(zhǔn)確率下降。

4 結(jié)論

針對云計算環(huán)境下的高頻調(diào)用導(dǎo)致服務(wù)故障傳播路徑的實時性分析困難，以及貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)推斷完整的故障傳播路徑時間開銷大的問題，本文提出了一種基于線性結(jié)構(gòu)因果模型的服務(wù)故障傳播路徑識別方法。首先，監(jiān)測并收集服務(wù)運行數(shù)據(jù)，通過服務(wù)運行數(shù)據(jù)度量服務(wù)故障事件；然后，應(yīng)用DirectLiNGAM 算法推斷服務(wù)故障事件之間的因果關(guān)系并構(gòu)建服務(wù)故障傳播圖；最后，基于服務(wù)故障傳播圖確定故障傳播路徑。

實驗表明，本文方法能夠以較短的時間開銷準(zhǔn)確識別服務(wù)故障傳播路徑。但是，本文方法在識別存在雙向依賴關(guān)系的服務(wù)故障傳播路徑時，會因為內(nèi)生性問題使得識別的準(zhǔn)確率降低。因此，接下來將深入分析如何結(jié)合服務(wù)調(diào)用鏈路構(gòu)建因果推斷的先驗知識，在具備先驗知識的情況下識別服務(wù)故障傳播路徑。

注：本文通訊作者為姜瑛。