殺毒軟件無法更新病毒庫案例分析

黃旭東 張盛男

醫院發生了一次殺毒軟件無法更新病毒庫的故障，醫院的運維人員和殺毒軟件廠商的技術人員對故障原因進行排查，原因是控制臺的數據庫文件寫滿所致。針對這次事件，技術人員結合故障現象和控制臺日志對故障過程進行了復盤，并對故障原因追根溯源，在此基礎上對運維工作提出了改進措施。

殺毒軟件環境簡介

某醫院部署了一套殺毒軟件，已使用10年左右。殺毒軟件是C/S結構，即一個服務端（通常稱為殺毒軟件的控制臺，簡稱控制臺）以及安裝在PC機和服務器上的殺毒軟件客戶端（簡稱客戶端）。

病毒庫更新的流程，是控制臺每周一次自動從殺毒軟件的官方網站下載病毒庫，客戶端每天從控制臺更新病毒庫。

醫院的運維人員每周做2次巡檢，內容包括控制臺更新病毒庫是否成功、客戶端更新病毒庫成功的比例是否正常等。殺毒軟件廠商的技術支持人員每季度到醫院做一次深度巡檢，內容包括控制臺運行狀態是否正常、控制臺是否有隱患等。

事件經過

1.發現疑點

201X年9月中旬，醫院的運維人員某甲進行例行巡檢，抽檢了50個服務器，其中一項巡檢內容是殺毒軟件的病毒庫是否更新到最新。抽檢結果是7個客戶端病毒庫日期已超過2周，沒有更新到本周的日期，即過期比例是14 %，這個比例大大超出了經驗值，服務器處于7×24 h開機狀態，客戶端病毒庫都能及時更新，偶爾因為特殊情況才會不成功，過期的比例通常在4 %以內。這個異常的比例引起了某甲的注意，初步判定為殺毒軟件更新病毒庫異常，立即向領導上報，領導批示繼續關注、持續跟蹤。

2.初步排查

客戶端更新病毒庫是自動進行的，也可以在客戶端界面上點擊“更新”手動進行。某甲在上述7個客戶端上嘗試手動更新病毒庫，反復點擊“更新”多次后，有2個客戶端的病毒庫更新到本周，另5個沒有變化。

2個客戶端能更新，表明控制臺是正常的。某甲查看了5個客戶端的磁盤空間，可用空間很充足，排除了磁盤空間不足的可能性。某甲在客戶端電腦上ping和telnet控制臺，ping是通的、telnet也是通的，排除了網絡不通的可能性。經過一系列檢測后，某甲排除了其他原因，將范圍縮小到殺毒軟件自身，因缺乏殺毒軟件更新病毒庫的工作原理資料，無法進一步排除原因。

某甲聯系殺毒軟件的技術支持人員某乙，詳細描述了現象和排查過程。某乙判斷是客戶端在長期運行后，部分功能模塊或配置文件損壞，導致更新病毒庫的模塊無法正常工作。某乙提供了一些嘗試解決的方法：從更新正常的客戶端電腦上拷貝通信文件和策略文件，導入更新異常的客戶端；在電腦的控制面板中找到殺毒軟件，點“修復”，重啟操作系統。除了重啟系統，某甲嘗試了某乙提供的其他方法，5個客戶端的病毒庫仍然沒有變化。生產服務器不能隨時重啟，需要與業務的使用方協商日期和時間才能重啟。某甲聯系業務使用方給出的重啟時間，最早是在10月底，在重啟操作系統之前，無法進一步排查，只能等待、繼續觀察。

3.陷入僵局

9月最后一周，某甲例行巡檢時，重點關注了上述5個服務器，有2個客戶端病毒庫更新到最新；同時，在本周抽檢的50個服務器（與上周沒有重合）中，有3個客戶端病毒庫日期是上周的、沒有更新到最新。

控制臺統計數據時，判斷客戶端病毒庫是否過期的標準是超過10天沒有更新的都算做“已過期”。某甲巡檢看到控制臺顯示病毒庫已過期的比例是27 %，超過了20 %的歷史經驗值，但臨近國慶節長假，實習生等已提前休假，此時無法確定是殺毒軟件沒有更新病毒庫，還是一些PC機沒有開機。

連續幾周，某甲觀察到的現象總結起來，是個別客戶端病毒庫未能更新，手動更新有可能成功，也可能不成功，完全是隨機事件，沒有任何規律可循，排查原因一時陷入了困境。

10月第一周，情況和上周相似，病毒庫過期比例36 %，適逢國慶節放假期間，這個比例屬于正常情況。

10月第二周，情況和上周相同，病毒庫過期比例43 %，國慶節后第一周，這個比例稍微有點偏高，但是也可以算做正常情況。

4.真相浮現

10月第三周，某甲通過控制臺發現2個測試服務器的殺毒軟件病毒庫是上周的，經聯系使用方確認這2個測試服務器當天中午可以重啟，此前發現病毒庫過期的客戶端都是生產服務器，這是首次出現在測試服務器上，于是轉機從此開始。中午，某甲在2個測試服務器上進行了完整的測試操作：卸載客戶端- >重啟操作系統- >安裝客戶端- >重啟操作系統- >手工多次更新病毒庫，在這些試驗后，病毒庫仍然沒有更新。

同時，控制臺顯示的病毒庫過期比例是61 %。10月第三周，醫院各科室已恢復正常的工作秩序，過期比例這么高，明顯不正常，某甲判斷問題出在控制臺的可能性非常大，但是沒有技術資料，無法進一步分析是哪里出了問題。

某甲電話聯系殺毒軟件的技術支持人員，講述了本周觀察到的現象，技術人員判斷客戶端病毒庫過期不是個例，是普遍現象，需要到現場進行排查。

次日早上，殺毒軟件的技術支持人員某丁到某醫院現場。經過一上午的排查，從控制臺的日志文件里找到一些報錯信息，與數據庫空間已滿有關。打開數據庫的設置界面，看到控制臺使用的數據庫文件AntiVirus.mdf的大小限制為20 000M（20 G），如下圖所示，而這個文件此時的大小是20 00M。

某丁與更資深的同事確認之后，確定是數據庫文件寫滿導致客戶端更新病毒庫失敗的概率很大。解決方法是把“最大文件大小”修改為“無限制”。修改設置之后，當天16點查看控制臺數據時，病毒庫過期比例降低到45 %。

10月最后一周，病毒庫過期比例降低到17 %，回落到歷史經驗數據20 %以內，這個數據表明問題已徹底解決、客戶端更新病毒庫的功能已恢復正常。

事件分析

1.事件復盤

結合巡檢觀察到的現象和控制臺的日志，技術人員對此次故障的全過程進行了復盤，內容如下。

9月初到9月中，控制臺的數據庫文件大小接近20 G上限，個別客戶端更新病毒庫時需要寫入數據庫的內容較多，超出了可用空間，更新失敗。

9月中旬，更新病毒庫失敗的客戶端數量持續增多，巡檢時抽測的過期比例是14 %。

9月最后一周，控制臺釋放了一些數據庫文件的空間，所以有些上周不成功的客戶端本周更新病毒庫成功了；同時，不斷有客戶端嘗試更新病毒庫，向數據庫中寫入數據，使數據庫文件大小一直保持在很接近20 G的位置。客戶端的現象是哪個客戶端能更新成功，完全是隨機的、沒有規律。

10月第一周，國慶長假，很多電腦沒開機，大量客戶端病毒庫過期，在統計數據中湮沒了有異常的客戶端。

10月第二周，信息中心沒有各科室回歸工作的統計表，也就沒有電腦開機的數據。雖然控制臺顯示的過期比例是43 %，但是無法判斷客戶端病毒庫過期是電腦沒開機，還是更新病毒庫失敗。

10月第三周，數據庫文件在本周或之前已經寫滿20 G，控制臺能釋放非常有限的數據庫空間，只有少量幸運的客戶端能成功更新病毒庫。巡檢看到的現象是過期比例已經達到61 %。

11月第一周，修改數據庫設置之后，有了充足的數據庫文件空間，客戶端都能成功更新病毒庫。于是過期比例下降到17 %。

2.故障探源

故障原因找到了，處理起來也很快，但是這個風險點為什么一直沒有被發現呢？還要溯源查清楚，因此技術人員進行深入分析。

某醫院安裝部署這個控制臺是在10年前，是殺毒軟件廠商的技術人員實施的。控制臺是傻瓜化的安裝程序，雙擊運行之后填寫數據庫用戶名、密碼等參數后，安裝過程自動進行。安裝程序自動創建了控制臺使用的數據庫實例、設置實例的參數如文件大小限制等，同時創建表機構、創建控制臺訪問數據庫的用戶等。技術人員按照操作手冊進行操作，操作手冊里面沒有更改數據庫設置的內容，即使是最新版的手冊里也沒有。

控制臺的功能，設計了一些機制來刪除數據庫記錄，確保數據庫文件有充足的空間可以使用。所以按照廠商的設計，20 G的大小是足夠的，廠商的巡檢列表檢查項里沒有設計相應的檢查項。

某醫院的情況是在非常偶然的情況下出現的，在國內的用戶中很罕見。

控制臺從官網更新病毒庫時，寫入數據庫的內容很小，優先級很高，在數據庫文件幾乎寫滿的情況下，控制臺仍然能成功更新病毒庫。

工作建議

從故障出現苗頭，到最終解決，經歷了近2個月的時間，我們總結出一些建議，可以更好地指導未來的工作。

1.建議殺毒軟件廠商完善巡檢細則

該殺毒軟件的技術支持人員每季度會給某醫院的控制臺做巡檢，但是多年來一直沒有發現這個隱患，原因是巡檢列表中沒有數據庫設置這個檢查項。此次事件后，某醫院已建議該廠商增加數據庫文件使用率等檢查項。

2.建議其他廠商完善巡檢項

除了殺毒軟件，某醫院還部署其他公司的軟件系統，有一些軟件系統和殺毒軟件類似，是成品軟件，因各種原因提供給醫院的技術資料非常少，醫院的運維人員能做的巡檢和運維工作非常有限，深度巡檢非常依賴廠商。醫院不清楚廠商的巡檢列表中是否有數據庫文件使用率、表空間使用率等檢查項，因此建議廠商在巡檢列表中增加相應的內容，保障系統的穩定性和可用性。

3.不放過工作中的任何疑點

很多故障，一開始都是苗頭或征兆的，因為忽略或沒有及時排查，隨著時間的積累發展成了故障，進而引起業務中斷等，因此碰到疑點要徹查。此次故障，某甲在巡檢中發現情況異于經驗值，每周和殺軟廠商的技術支持人員溝通，從疑似有問題到一步一步確認問題，并且通過一系列測試把故障點縮小到控制臺，為技術支持人員排查故障和解決問題創造了有利條件。

4.及時獲取領導的支持

這次事件中，某甲上報領導后，領導給予某甲充分的時間跟進此事，某甲得以連續數周投入大量時間跟蹤現象、進行各種測試。這個故障，能及時發現且比較順利地解決，離不開領導的大力支持。

5.相信專家，但不迷信專家

專家在大多數時候都是對的，所以要相信專家。但是智者千慮偶有一失，也不能完全迷信專家，不能認為專家每次都是對的。較好的做法是收集更多的信息，給專家提供豐富的資料，協助專家做出正確判斷。

6.及時尋求技術支持

在國慶、春節等節假日之前發現的疑點，要本著寧可虛驚一場也不放過一個的精神，及時進行排查，需要廠商協助的，不能怕麻煩別人，也不能擔心占用廠商服務時長，一定要請廠商的技術人員來現場排查，避免因節假日而讓軟件系統長期帶病運行，從一個小隱患發展成大問題。