故障注入在智能網(wǎng)絡(luò)管控系統(tǒng)測(cè)試中的應(yīng)用研究

王敏

關(guān)鍵詞：可靠性；可靠性測(cè)試；故障注入

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）02-0075-03

1 引言

隨著云計(jì)算技術(shù)在各個(gè)行業(yè)的普及，基于云計(jì)算的軟件在各個(gè)行業(yè)的應(yīng)用也越來(lái)越廣泛。云計(jì)算軟件在長(zhǎng)期運(yùn)行過(guò)程中，經(jīng)常會(huì)出現(xiàn)一些可靠性問(wèn)題，雖然部分問(wèn)題是低概率問(wèn)題，但是問(wèn)題一旦出現(xiàn)，會(huì)給整個(gè)系統(tǒng)造成嚴(yán)重的后果。智能網(wǎng)絡(luò)管控系統(tǒng)作為全局網(wǎng)絡(luò)設(shè)備的管理、控制和分析中心，在整個(gè)網(wǎng)絡(luò)中的地位尤其重要，一旦出現(xiàn)問(wèn)題，必然會(huì)帶來(lái)非常嚴(yán)重的影響。為了避免此類(lèi)問(wèn)題，軟件可靠性測(cè)試尤其重要。軟件可靠性測(cè)試涵蓋了需求分析、軟件設(shè)計(jì)、測(cè)試設(shè)計(jì)、測(cè)試驗(yàn)證等各個(gè)階段。在智能網(wǎng)絡(luò)管控系統(tǒng)測(cè)試過(guò)程中，結(jié)合故障注入技術(shù)，在該軟件系統(tǒng)中開(kāi)展可靠性測(cè)試全過(guò)程，通過(guò)工作實(shí)踐證明，故障注入測(cè)試在可靠性測(cè)試中的重要性。

2 故障注入概念

故障注入測(cè)試屬于軟件可靠性測(cè)試方法[1]中的一種，它是根據(jù)選定的故障模型，采用故障注入工具將故障注入系統(tǒng)中，通過(guò)采集系統(tǒng)對(duì)注入故障的反應(yīng)信息，對(duì)系統(tǒng)進(jìn)行可靠性分析[2]。

故障注入技術(shù)根據(jù)故障注入方式不同分為三種：硬件實(shí)現(xiàn)的故障注入、仿真實(shí)現(xiàn)的故障注入、軟件實(shí)現(xiàn)的故障注入[3]。軟件實(shí)現(xiàn)的故障注入是通過(guò)軟件的方式模擬故障，通過(guò)修改軟件的相關(guān)數(shù)據(jù)或軟件的狀態(tài)變量來(lái)模擬故障的產(chǎn)生，從而加速系統(tǒng)的失效[4]。通常情況下，軟件系統(tǒng)的故障可能會(huì)隱藏得較深，需要在特定的環(huán)境或復(fù)雜的條件下才能觸發(fā)，被動(dòng)地等待故障發(fā)生后，再去定位和修復(fù)，這種方式是非常低效的，也無(wú)法全面保證軟件系統(tǒng)的可靠性。軟件故障注入能夠在可控的條件下主動(dòng)去觸發(fā)故障，再進(jìn)行分析和解決，從而保證軟件系統(tǒng)可靠性測(cè)試的充分性[5]。

3 智能網(wǎng)絡(luò)管控系統(tǒng)的故障注入測(cè)試

智能網(wǎng)絡(luò)管控系統(tǒng)實(shí)現(xiàn)了物理網(wǎng)絡(luò)與商業(yè)意圖的有效連接，向下實(shí)現(xiàn)全局網(wǎng)絡(luò)的集中管理、控制和分析，面向商業(yè)和業(yè)務(wù)意圖使能資源云化、全生命周期自動(dòng)化，以及數(shù)據(jù)分析驅(qū)動(dòng)的智能閉環(huán)；向上提供開(kāi)放網(wǎng)絡(luò)API與IT快速集成。智能網(wǎng)絡(luò)管控系統(tǒng)應(yīng)用于運(yùn)營(yíng)商網(wǎng)絡(luò)、數(shù)據(jù)中心、企業(yè)園區(qū)、企業(yè)專(zhuān)線(xiàn)等場(chǎng)景，讓網(wǎng)絡(luò)更加簡(jiǎn)單、智慧、開(kāi)放和安全，加速運(yùn)營(yíng)商及企業(yè)的業(yè)務(wù)轉(zhuǎn)型和創(chuàng)新。整個(gè)系統(tǒng)層級(jí)結(jié)構(gòu)如圖1 所示。

智能網(wǎng)絡(luò)管控系統(tǒng)具有以下三個(gè)關(guān)鍵能力。第一個(gè)能力是管、控、析融合，實(shí)現(xiàn)以場(chǎng)景為中心的自治閉環(huán)。采用云化架構(gòu)，將不同系統(tǒng)和流程中的數(shù)據(jù)統(tǒng)一到一個(gè)平臺(tái)，拉通數(shù)據(jù)模型，匹配不同業(yè)務(wù)場(chǎng)景和各運(yùn)維階段的訴求，將業(yè)務(wù)意圖封裝在業(yè)務(wù)模型中，客戶(hù)可根據(jù)業(yè)務(wù)訴求選擇所需模型，多個(gè)業(yè)務(wù)模型以場(chǎng)景為中心封裝在業(yè)務(wù)App中，閉環(huán)解決該場(chǎng)景的各類(lèi)運(yùn)維需求。第二個(gè)能力是云地協(xié)同，AI使能預(yù)測(cè)性網(wǎng)絡(luò)維護(hù)。通過(guò)大數(shù)據(jù)處理技術(shù)，注入多種AI算法，實(shí)現(xiàn)網(wǎng)絡(luò)流量實(shí)時(shí)可視和可預(yù)測(cè)、網(wǎng)絡(luò)故障自動(dòng)識(shí)別和預(yù)測(cè)、業(yè)務(wù)體驗(yàn)歷史可回放和預(yù)測(cè)。第三個(gè)能力是開(kāi)放可編程，使能開(kāi)放App生態(tài)，提供開(kāi)放可編程框架，南向支持與第三方網(wǎng)絡(luò)控制器或者設(shè)備對(duì)接，北向與云端AI訓(xùn)練平臺(tái)和IT應(yīng)用快速集成。

智能網(wǎng)絡(luò)管控系統(tǒng)的可靠性測(cè)試貫穿整個(gè)版本生命周期，可靠性測(cè)試過(guò)程主要包括：可靠性測(cè)試計(jì)劃制定、需求分析、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試結(jié)果分析，如圖2所示。

3.1 可靠性測(cè)試計(jì)劃制定階段

由版本測(cè)試經(jīng)理制定版本測(cè)試計(jì)劃，版本測(cè)試計(jì)劃包含了各類(lèi)專(zhuān)項(xiàng)測(cè)試計(jì)劃，其中一個(gè)專(zhuān)項(xiàng)測(cè)試就是可靠性專(zhuān)項(xiàng)測(cè)試，該計(jì)劃中需要明確可靠性測(cè)試范圍、可靠性測(cè)試方法以及測(cè)試時(shí)間點(diǎn)等。

3.2 可靠性需求分析和測(cè)試設(shè)計(jì)階段

測(cè)試架構(gòu)師和測(cè)試工程師參與需求分析和開(kāi)發(fā)設(shè)計(jì)的評(píng)審，從需求列表分析出可靠性測(cè)試需求，制定測(cè)試方案，并設(shè)計(jì)測(cè)試用例。可靠性測(cè)試方案和測(cè)試用例需通過(guò)測(cè)試架構(gòu)師評(píng)審，再由測(cè)試工程師針對(duì)可自動(dòng)化用例提前編寫(xiě)自動(dòng)化測(cè)試腳本。

針對(duì)智能網(wǎng)絡(luò)管控系統(tǒng)層級(jí)結(jié)構(gòu)的特點(diǎn)，測(cè)試架構(gòu)師設(shè)計(jì)了故障注入可靠性測(cè)試用例基線(xiàn)，故障類(lèi)型主要分為節(jié)點(diǎn)故障、進(jìn)程故障、網(wǎng)絡(luò)故障、內(nèi)存故障、CPU故障、磁盤(pán)故障、文件故障等七大類(lèi)[6]，如表1所示。各故障類(lèi)型中包含多個(gè)測(cè)試用例，用例基線(xiàn)總數(shù)超過(guò)了200個(gè)。測(cè)試工程師可根據(jù)所負(fù)責(zé)模塊的需求進(jìn)行分析，從基線(xiàn)中選取適用的故障注入類(lèi)型，生成各個(gè)模塊的故障注入測(cè)試用例。

3.3 可靠性測(cè)試環(huán)境搭建

故障注入測(cè)試之前，必須首先完成測(cè)試環(huán)境的搭建，包括環(huán)境部署和軟件產(chǎn)品的安裝，以及故障注入工具的安裝。

3.3.1 環(huán)境的部署和軟件產(chǎn)品的安裝

智能網(wǎng)絡(luò)管控系統(tǒng)部署相對(duì)復(fù)雜，這里從服務(wù)器配置開(kāi)始介紹整個(gè)硬件環(huán)境部署和軟件產(chǎn)品的安裝過(guò)程。

1）配置硬件設(shè)備

登錄各服務(wù)器系統(tǒng)，配置IP和用戶(hù)名密碼，根據(jù)磁盤(pán)數(shù)量和磁盤(pán)可靠性要求配置RAID。

2）安裝FusionCompute CAN 和FusionComputeVRM

各服務(wù)器主機(jī)節(jié)點(diǎn)首先安裝FusionCompute CAN （Compute Node Agent），然后規(guī)劃兩個(gè)主機(jī)節(jié)點(diǎn)安裝FusionCompute VRM（Virtual Resource Management），通過(guò)FusionCompute VRM 可以實(shí)現(xiàn)對(duì)虛擬資源和用戶(hù)數(shù)據(jù)的統(tǒng)一管理，對(duì)外提供彈性計(jì)算、存儲(chǔ)、IP等服務(wù)。

3）配置FusionCompute 安裝VRM時(shí)，已經(jīng)自動(dòng)將VRM所在的兩臺(tái)CNA 主機(jī)添加到FusionCompute管理系統(tǒng)中。為了管理所有的CNA主機(jī)，需要在FusionCompute管理界面手動(dòng)添加其余的CNA主機(jī)，并將新添加主機(jī)的存儲(chǔ)資源都添加到FusionCompute中。

虛擬機(jī)管理軟件FusionCompute安裝完成后，默認(rèn)會(huì)創(chuàng)建一個(gè)ManagementDVS虛擬分布式交換機(jī)，用于業(yè)務(wù)分發(fā)平面（和CNA、VRM地址規(guī)劃所在平面相同）。需要再創(chuàng)建1個(gè)虛擬分布式交換機(jī)，用于內(nèi)部通信。虛擬交換機(jī)通過(guò)上行鏈路連接到物理機(jī)網(wǎng)口，通過(guò)端口組連接到虛擬機(jī)網(wǎng)口，創(chuàng)建虛擬交換機(jī)的同時(shí)需要添加上行鏈路和創(chuàng)建端口組才能正常工作。

4）創(chuàng)建虛擬機(jī)

FusionCompute 完成配置后，可通過(guò)本地模板創(chuàng)建虛擬機(jī)。通過(guò)https：//VRM 節(jié)點(diǎn)IP地址：8443登錄FusionCompute，選擇本地相應(yīng)的虛擬機(jī)模板文件創(chuàng)建相應(yīng)操作系統(tǒng)的虛擬機(jī)，虛擬機(jī)安裝操作系統(tǒng)后需要進(jìn)行必要的網(wǎng)絡(luò)配置。

5）安裝產(chǎn)品軟件

完成上述規(guī)劃后，即可通過(guò)EasySuite軟件，根據(jù)計(jì)劃安裝的集群選取虛擬機(jī)節(jié)點(diǎn)數(shù)量，安裝對(duì)應(yīng)的智能網(wǎng)絡(luò)管控系統(tǒng)版本。

3.3.2 故障注入測(cè)試工具安裝

這里介紹TC工具、CFE工具、客戶(hù)端命令、ARES 工具四種故障注入方法[7]，在測(cè)試過(guò)程中，主要通過(guò)ARES工具實(shí)現(xiàn)故障注入測(cè)試。

1）TC工具注入

TC（Traffic Control）流量控制器，是Linux自帶的模塊。通過(guò)TC命令可以注入網(wǎng)絡(luò)丟包、網(wǎng)絡(luò)錯(cuò)包以及網(wǎng)絡(luò)延時(shí)等故障。

2）CFE工具注入

CFE（Common Fault-injection Entry）工具是公司自研的故障注入工具，在Linux系統(tǒng)中通過(guò)CFE命令方式可以實(shí)現(xiàn)進(jìn)程故障、CPU故障、內(nèi)存故障、磁盤(pán)故障等多種故障注入。

3）客戶(hù)端命令注入

通過(guò)客戶(hù)端軟件登錄虛擬機(jī)，實(shí)現(xiàn)虛擬機(jī)復(fù)位、進(jìn)程重啟等故障，也可以通過(guò)Linux操作系統(tǒng)的ifcon?fig實(shí)現(xiàn)虛擬機(jī)網(wǎng)絡(luò)端口故障。

4）ARES工具注入

ARES工具是公司基于CFE自研的可視化故障注入工具，可通過(guò)Web界面實(shí)現(xiàn)各類(lèi)故障注入測(cè)試。該工具集成了TC工具、CFE工具、客戶(hù)端命令支持的所有故障注入類(lèi)型，且操作界面方面簡(jiǎn)單，不需要記憶各種操作命令。

因?yàn)锳RES工具操作簡(jiǎn)單，故障注入測(cè)試優(yōu)先選用ARES工具進(jìn)行測(cè)試。首先，將ARES客戶(hù)端安裝包上傳到需要注入故障的各個(gè)虛擬機(jī)，并進(jìn)行安裝。然后，登錄ARES服務(wù)器Web頁(yè)面，通過(guò)輸入虛擬機(jī)IP、用戶(hù)名和密碼進(jìn)行連接，連接虛擬機(jī)成功后，就可以針對(duì)虛擬機(jī)進(jìn)行各類(lèi)故障注入測(cè)試。

3.4 可靠性測(cè)試執(zhí)行

完成智能網(wǎng)絡(luò)管控系統(tǒng)和故障注入工具安裝后，就可以按照可靠性測(cè)試用例進(jìn)行測(cè)試執(zhí)行。可靠性測(cè)試執(zhí)行方式包括自動(dòng)化執(zhí)行和手工執(zhí)行兩部分。

測(cè)試工程師在需求交付后，完成自動(dòng)化腳本的調(diào)試和執(zhí)行，所有腳本提交到自動(dòng)化工廠(chǎng)，經(jīng)自動(dòng)化工廠(chǎng)驗(yàn)收通過(guò)后方可納入自動(dòng)化工廠(chǎng)腳本。無(wú)法實(shí)現(xiàn)自動(dòng)化的腳本，則由測(cè)試工程師手工執(zhí)行。根據(jù)版本可靠性測(cè)試計(jì)劃，在相應(yīng)迭代開(kāi)發(fā)時(shí)間點(diǎn)，由自動(dòng)化工廠(chǎng)完成全部可靠性腳本執(zhí)行，并由測(cè)試工程師完成腳本分析和手工測(cè)試執(zhí)行。

無(wú)論是自動(dòng)化測(cè)試還是手工測(cè)試，故障注入測(cè)試過(guò)程如圖3所示。首先，需完成業(yè)務(wù)背景的部署，要求按照業(yè)務(wù)滿(mǎn)規(guī)格的一定比例進(jìn)行部署，具體比例由開(kāi)發(fā)架構(gòu)師和測(cè)試架構(gòu)師審核達(dá)成一致。然后，執(zhí)行相關(guān)業(yè)務(wù)配置，完成業(yè)務(wù)配置后，注入故障。在注入故障的同時(shí)，進(jìn)行業(yè)務(wù)檢查。由于此時(shí)處于故障注入狀態(tài)，部分業(yè)務(wù)會(huì)顯示不正常狀態(tài)，因此需要選擇可預(yù)估的業(yè)務(wù)狀態(tài)進(jìn)行檢查。最后，撤銷(xiāo)故障注入，再次進(jìn)行業(yè)務(wù)檢查，所有業(yè)務(wù)狀態(tài)都應(yīng)該恢復(fù)正常。為了能更好地發(fā)現(xiàn)低概率問(wèn)題，故障注入自動(dòng)化測(cè)試也可用作夜航腳本，利用晚上的時(shí)間反復(fù)執(zhí)行后，再去檢查系統(tǒng)狀態(tài)，通過(guò)夜航腳本可以更高效地發(fā)現(xiàn)問(wèn)題。

3.5 可靠性測(cè)試結(jié)果分析

在多個(gè)版本的可靠性測(cè)試過(guò)程中，故障注入測(cè)試發(fā)現(xiàn)了很多有價(jià)值的可靠性問(wèn)題，如典型故障有：

1）集群環(huán)境中某個(gè)節(jié)點(diǎn)注入故障后，整個(gè)集群不能感知該節(jié)點(diǎn)故障，業(yè)務(wù)繼續(xù)下發(fā)到故障節(jié)點(diǎn)，導(dǎo)致業(yè)務(wù)處理失敗。

2）構(gòu)造集群中某個(gè)節(jié)點(diǎn)上關(guān)鍵配置文件損壞故障后，無(wú)法從集群中其他節(jié)點(diǎn)獲取最新配置文件，導(dǎo)致該節(jié)點(diǎn)異常。

3）通過(guò)設(shè)置超大日志或者大量日志文件，觸發(fā)日志文件繞接場(chǎng)景，發(fā)現(xiàn)日志繞接失敗，日志文件過(guò)多，導(dǎo)致磁盤(pán)空間滿(mǎn)。

通過(guò)對(duì)每一輪故障注入測(cè)試發(fā)現(xiàn)問(wèn)題的故障分析，甄別出典型故障，并在版本的各個(gè)模塊發(fā)起測(cè)試排查，同步完善可靠性測(cè)試用例基線(xiàn)。經(jīng)過(guò)測(cè)試執(zhí)行閉環(huán)和基線(xiàn)用例閉環(huán)，進(jìn)一步提升了版本的可靠性質(zhì)量。

4 結(jié)束語(yǔ)

隨著軟件系統(tǒng)在長(zhǎng)期使用過(guò)程中，暴露出越來(lái)越多的可靠性問(wèn)題，可靠性測(cè)試的重要性也在逐步提升，做好軟件的可靠性測(cè)試，對(duì)于提升整個(gè)軟件的產(chǎn)品質(zhì)量，提高系統(tǒng)的穩(wěn)定性和安全性，尤為重要。在智能網(wǎng)絡(luò)管控系統(tǒng)的可靠性測(cè)試中結(jié)合故障注入技術(shù)，使系統(tǒng)可靠性測(cè)試的故障類(lèi)型更加全面，同時(shí)也提高了低概率問(wèn)題發(fā)現(xiàn)的效率，故障注入技術(shù)已經(jīng)成為可靠性測(cè)試中不可缺少的重要手段。