排查應(yīng)用系統(tǒng)故障

■

故障現(xiàn)象

最近，公司某生產(chǎn)應(yīng)用系統(tǒng)升級(jí)后，出現(xiàn)一重要模塊無(wú)法正常使用的故障，比較奇怪的是該模塊同時(shí)提供國(guó)際和國(guó)內(nèi)兩種報(bào)表服務(wù)，而其中只是國(guó)際報(bào)表不能正常使用。具體現(xiàn)象是提取國(guó)際報(bào)表時(shí)提十幾次可能有1次正常輸出。在發(fā)現(xiàn)問(wèn)題后，系統(tǒng)研發(fā)項(xiàng)目組立即找到運(yùn)維部門(mén)協(xié)助排查故障，而筆者有幸參與了故障排除的整個(gè)過(guò)程。

故障排查

從故障現(xiàn)象看，是系統(tǒng)升級(jí)后出現(xiàn)的應(yīng)用故障，應(yīng)重點(diǎn)關(guān)注應(yīng)用層面的問(wèn)題。但項(xiàng)目組認(rèn)為，同樣的國(guó)內(nèi)報(bào)表功能都正常，只是國(guó)際報(bào)表功能不正常，應(yīng)該看一下安全訪(fǎng)問(wèn)控制策略有沒(méi)有問(wèn)題。找到負(fù)責(zé)信息安全的同事詢(xún)問(wèn)最近是否對(duì)安全策略有調(diào)整，得到的答復(fù)是沒(méi)有。

再次詢(xún)問(wèn)項(xiàng)目組這次的應(yīng)用系統(tǒng)升級(jí)修改了哪些地方，回復(fù)說(shuō)只是新增了一些功能（實(shí)際上也同時(shí)增加了報(bào)表內(nèi)容），沒(méi)有其他變化。請(qǐng)項(xiàng)目組讓使用國(guó)內(nèi)報(bào)表功能正常的用戶(hù)使用國(guó)際報(bào)表功能看看是否正常，結(jié)果是國(guó)內(nèi)報(bào)表功能正常的用戶(hù)提取國(guó)際報(bào)表時(shí)也出現(xiàn)提取失敗的現(xiàn)象。繼續(xù)追問(wèn)國(guó)際報(bào)表和國(guó)內(nèi)報(bào)表有什么不同，項(xiàng)目組答復(fù)是，國(guó)際報(bào)表一般比國(guó)內(nèi)報(bào)表要大，因?yàn)閮?nèi)容要多一些，格式等其他都一樣（后來(lái)發(fā)現(xiàn)這就是問(wèn)題關(guān)鍵）。問(wèn)題再次陷入了僵局。

既然是應(yīng)用故障，那就再試一下抓包分析看看有什么異常信息。運(yùn)維配備的Fluke OPV協(xié)議分析儀派上了用場(chǎng)。先將應(yīng)用系統(tǒng)接口服務(wù)器的端口鏡像出來(lái)，模擬用戶(hù)使用情況，提取國(guó)際報(bào)表失敗和成功時(shí)的數(shù)據(jù)包做對(duì)比分析。與此同時(shí)，項(xiàng)目組還搭建了一個(gè)模擬生產(chǎn)環(huán)境用于測(cè)試。在測(cè)試過(guò)程中發(fā)現(xiàn)，在環(huán)境搭好后，第一次提取國(guó)際或國(guó)內(nèi)報(bào)表時(shí)，都肯定會(huì)失敗。難道是系統(tǒng)存在什么未知的Bug？但這個(gè)問(wèn)題很快也被放棄，原因是國(guó)內(nèi)同行沒(méi)有使用同類(lèi)型的應(yīng)用軟件，無(wú)法幫助我們判斷是否存在Bug的問(wèn)題。

最后，通過(guò)大量的數(shù)據(jù)包比對(duì)分析發(fā)現(xiàn)，在故障出現(xiàn)時(shí)，用戶(hù)端一般都在發(fā)出提取報(bào)表請(qǐng)求數(shù)據(jù)包后的30s時(shí)，會(huì)再次向服務(wù)器端發(fā)出停止發(fā)送數(shù)據(jù)包的FIN終止傳輸信號(hào)。然后就會(huì)出現(xiàn)我們看到的故障現(xiàn)象，即用戶(hù)無(wú)法正常提取國(guó)際報(bào)表。

故障分析

那這個(gè)30s是否是應(yīng)用系統(tǒng)設(shè)置的閥值還是用戶(hù)操作系統(tǒng)設(shè)置的呢？咨詢(xún)微軟工程師后得到的答復(fù)是，操作系統(tǒng)不會(huì)設(shè)置這個(gè)閥值，只能是由應(yīng)用軟件設(shè)置。立即詢(xún)問(wèn)應(yīng)用軟件工程師，應(yīng)用軟件有沒(méi)有這個(gè)設(shè)置，回復(fù)是沒(méi)有。就算是有設(shè)置閥值的地方，也是設(shè)的60s。對(duì)此答復(fù)，筆者想到了一個(gè)測(cè)試方法來(lái)驗(yàn)證。

請(qǐng)項(xiàng)目組同事重新搭建一個(gè)模擬環(huán)境，在第一次提取一個(gè)國(guó)內(nèi)報(bào)表（內(nèi)容盡可能少），因?yàn)楣P者想驗(yàn)證的是，如果提取的報(bào)表很小的情況下，并確保在30s內(nèi)可以完成提取時(shí)，還會(huì)不會(huì)出現(xiàn)每次都會(huì)在第一次模擬測(cè)試時(shí)的失敗現(xiàn)象。反復(fù)實(shí)驗(yàn)結(jié)果是，第一次可以正常完成報(bào)表提取，同時(shí)也就驗(yàn)證了應(yīng)用軟件確實(shí)存在30s的響應(yīng)時(shí)間閥值問(wèn)題。

故障解決

問(wèn)題最終被定位，即由于應(yīng)用軟件客戶(hù)端發(fā)出請(qǐng)求后，如由于提取的表生成時(shí)間超過(guò)30s，客戶(hù)端會(huì)自動(dòng)發(fā)送放棄接受數(shù)據(jù)的請(qǐng)求，而新升級(jí)系統(tǒng)后的國(guó)際報(bào)表內(nèi)容增加較多，報(bào)表生成時(shí)間一般都會(huì)超過(guò)30s，因此升級(jí)后才出現(xiàn)了大量國(guó)際報(bào)表不能正常提取的問(wèn)題。該應(yīng)用軟件廠商在拿到我們提供的測(cè)試結(jié)果后，第二天緊急向項(xiàng)目組提供了一個(gè)軟件升級(jí)補(bǔ)丁，修復(fù)完成后故障現(xiàn)象隨即消失，故障徹底排除。

經(jīng)驗(yàn)總結(jié)

對(duì)于此次應(yīng)用系統(tǒng)故障的排故過(guò)程，筆者有幾點(diǎn)體會(huì)想和同行們分享。

1.在系統(tǒng)發(fā)生故障時(shí)，首先需要詳細(xì)詢(xún)問(wèn)用戶(hù)故障現(xiàn)象，是完全不能用還是部分不能用？還是系統(tǒng)響應(yīng)變慢？這些問(wèn)題建議通過(guò)建立臨時(shí)的QQ群組來(lái)和用戶(hù)直接溝通，這樣用戶(hù)反應(yīng)問(wèn)題迅速，還可以直接語(yǔ)音、視頻溝通，以及上傳下載測(cè)試程序等，總之好處多多。

2.如果是系統(tǒng)功能完全不能用，應(yīng)首先了解系統(tǒng)硬件是否發(fā)生故障或近期有無(wú)變更，比如網(wǎng)絡(luò)設(shè)備、服務(wù)器或者存儲(chǔ)設(shè)備。這些可通過(guò)用戶(hù)交叉測(cè)試、網(wǎng)絡(luò)連通性測(cè)試等方法驗(yàn)證。

3.如果是部分功能不能用或系統(tǒng)響應(yīng)變慢，應(yīng)立即查找應(yīng)用軟件方面的問(wèn)題。首先應(yīng)查看是否有安全策略變更，確保不是安全設(shè)備策略阻止了新應(yīng)用數(shù)據(jù)傳輸，這通過(guò)檢查安全設(shè)備配置即可迅速判斷。另外，還需跟蹤數(shù)據(jù)包流向，確保不是網(wǎng)絡(luò)配置的問(wèn)題。

4.如果確認(rèn)故障在應(yīng)用軟件本身，就需要利用網(wǎng)絡(luò)分析軟件或硬件來(lái)幫助查找故障點(diǎn)。這就需要收集大量的數(shù)據(jù)包進(jìn)行采樣分析，分析人員需要對(duì)安全、網(wǎng)絡(luò)和應(yīng)用系統(tǒng)都有較為豐富的經(jīng)驗(yàn)，更有利于幫助問(wèn)題查找，不至于陷入大海撈針的窘境。研發(fā)人員永遠(yuǎn)都覺(jué)得系統(tǒng)的故障基本都是安全或者網(wǎng)絡(luò)引起的，因此對(duì)數(shù)據(jù)包分析的人員，必須具有較為豐富的知識(shí)及個(gè)人權(quán)威，這純屬個(gè)人觀點(diǎn)，僅供參考！

5.在做應(yīng)用軟件故障分析時(shí)，強(qiáng)烈建議有條件的情況下搭建模擬環(huán)境進(jìn)行測(cè)試。這不僅能有效排除其他干擾因素，還能在不影響生產(chǎn)的情況下進(jìn)行反復(fù)模擬測(cè)試，這也是我們這次排故比較快速和順暢的主要原因之一。