自觀聯網系統故障案例分析

歐陽雪梅

（民航華東空管局氣象中心，上海 200335）

華東地區自動氣象觀測系統聯網系統，是將華東空管分局站和華東屬地化機場的自動觀測系統的實時數據進行收集，并將收集來的自動觀測數據及其他圖形產品等氣象數據在服務網站上展示出來，供氣象用戶使用。如果不能及時收到各地的自動觀測數據，網站上就缺少各地的數據資料，會對氣象用戶的數據使用帶來不便，對氣象服務造成一定的影響。所以有效的故障處理方法，可以縮短排除故障的時間，提高排除故障的效率使系統盡快恢復正常，從而減少對用戶的影響。

1 華東地區自動氣象觀測系統聯網簡介

華東地區自動氣象觀測系統聯網系統，由自動氣象觀測數據收集、數據處理和氣象綜合服務網站幾個部分組成。其中自動氣象觀測數據收集、處理分系統是通過各節點的串口，定時收集自動氣象觀測數據,在互聯網上通過虛擬專用網（VPN）的數據通信方式，將采集來的氣象數據傳輸至華東空管局氣象中心。這些數據經過網御防火墻，到達數據接收處理服務器。數據接收服務器接收各個節點采集的自動觀測系統的數據，進行預處理，然后分解并存入數據庫。氣象綜合服務網站子系統用來展示這些數據。同時，氣象用戶可以使用VPN 數據鏈路經互聯網連接到氣象中心，通過訪問氣象綜合服務網站的方式，獲取華東地區自動氣象觀測系統實時資料以及氣象綜合服務網站提供的其他飛行預告圖等氣象資料。網絡結構如圖1。從以上網絡結構，可以看出：氣象中心的網頁服務器展示的數據包括自動觀測數據和天氣警報、報文資料、圖形產品等。這些資料分別來自于屬地化機場和氣象中心的民航氣象數據庫系統。其中屬地化機場的自動觀測數據來自于各機場的自動觀測系統。它的流程是這樣的：自動觀測系統輸出的數據經過串口設備以及交換機、路由器，通過網絡到達氣象中心的路由器、防火墻、交換機，然后到達數據處理服務器。最后將數據發送到本系統的數據庫服務器。自觀數據從自觀系統發出，到達數據處理服務器的數據通信是通過虛擬專用網絡（VPN）實現的。虛擬專用網絡VPN 就是利用公用網絡（Internet）的資源，建立一個私有的點對點的連接，利用加密技術對經過此連接的數據進行加密，保證這些數據僅被指定的發送者和接收者使用，保證了數據的私有性和安全性，并且可以靈活增加新的節點。自觀聯網系統的防火墻，使用的是網御防火墻。網御防火墻集成了防火墻、VPN、入侵檢測與防御、防暴力破解、敏感信息防泄漏、高流量清洗、輿情監控、防注入攻擊等功能。具有網絡適應性、HA 功能、訪問控制功能等核心功能。采用創新的VSP 通用安全平臺,具有高效的USE 統一安全引擎,防火墻虛擬化等功能。天氣警報、報文、圖像產品以及空管分局站的自觀數據等資料是由民航氣象數據庫系統，經過內網防火墻發送到本系統的數據庫服務器入庫。

對于該系統可能的故障點粗略統計如下：

1.1 屬地化機場的自觀數據到達數據庫時可能的故障點。1.1.1 自動觀測系統沒有數據輸出；1.1.2 串口設備故障；1.1.3傳輸前的網絡設備故障；1.1.4 傳輸鏈路故障；1.1.5 網御防火墻、交換機故障；1.1.6 數據處理服務器的故障；1.1.7 數據庫入庫故障。

1.2 空管分局站自觀數據以及天氣警報、報文、圖像產品等資料到達數據庫，可能的故障點。1.2.1 內網鏈路故障；1.2.2 內網網絡設備故障。

1.3 網站服務器故障。1.3.1 網頁打不開；1.3.2 網頁無資料（該現象與前兩條故障點有關）。

2 故障現象

接到某機場報修電話，稱華東地區自動氣象觀測聯網系統不能上傳AWOS 數據，同時也看不到其他機場最新AWOS 數據。

3 故障排查處理

根據故障現象可以分成兩方面考慮：第一是AWOS 數據不能上傳到氣象中心。第二是網頁上看不到其他機場的最新數據。根據上文對故障點的粗略分析，可以看到，上傳不了AWOS數據（自觀數據），有7 種可能，前3 種發生在某機場自身，他們可能在報修前已檢查過自身問題，第4 種情況為網絡問題，對方能訪問氣息中心的網頁，說明傳輸鏈路應該正常，所以著重考慮后面幾條。

3.1 通過網御防火墻的用戶信息，查詢用戶在線狀態。因是某一機場報修，首先考慮檢查該節點的鏈路連接是否正常，因此首先登錄網御防火墻，查詢用戶連接情況。3.1.1 通過管理員用戶登錄網域防火墻。3.1.2 進入首頁后，選擇“統一認證”里的“用戶信息”，可以通過“登錄時間”和“在線時間”判斷該節點鏈路連接正常。見圖2。

圖2 用戶連接情況

3.2 重啟網御防火墻。因網御防火墻發生過卡死，因此懷疑用戶信息里顯示的“登錄時間”和“在線時間”等為僵死信息，因此將網御防火墻重啟。重啟后再次查詢，排除鏈路問題。

3.3 通過登錄服務網站網頁，查詢所有其他屬地化機場AWOS 數據是否正常在網頁顯示。3.3.1 網址為：http://172.160.2.1（administrator/******）。3.3.2 進入首頁后，選擇“自觀數據”下的“自觀表格”，發現空管分局站的自觀數據是正常的，說明內網鏈路和內網網絡設備均正常。屬地化機場的自觀數據大部分都是過期數據，資料時間停留在報修時間點之前，只有少數屬地化機場數據正常。從網頁顯示上也能看出該故障點可能發生在網御防火墻、數據處理服務器以及數據庫的入庫這幾個方面。因網御防火墻重啟過，著重檢查數據接收服務器。

3.4 查看數據接收服務器是否正常。查詢AWOS 數據接收目錄。登錄數據接收服務器，查詢AWOS 數據接收目錄/data/swap/awos2/20201027，發現只收到少部分機場的AWOS 數據。并且在重啟網御防火墻后，仍然不能收到大部分機場的新數據，于是懷疑接收處理進程有問題。由于不知道接收處理進程的名稱和位置，便想到過防火墻上端口占用情況，找到對應的進程名稱，進而找出處理進程是否正常運行。

3.5 查找處理進程是否正常運行。3.5.1 登錄網御防火墻。選擇“防火墻”下的策略，看到AWOS 數據上傳端口有兩個。記下這兩個端口號。見圖3。3.5.2 登錄數據接收服務器，根據端口占用情況，找出對應的進程名稱及路徑。執行命令Netstat -apn |more 發現只有一個端口被占用，另一個端口沒有進程占用。說明另一進程沒在運行。見圖4。

圖3 防火墻端口號查詢

圖4 進程占用端口情況

3.6 查找處理進程所在路徑及名稱。由于不知道另一進程的名稱，于是通過查找正在運行的進程的位置，去查找另一個進程的路徑及名稱。3.6.1 查找命令：Find /-name 進程名。通過find 命令，找到正在運行的進程的路徑是在/home 目錄下，于是在該目錄下，找到相應目錄下的進程，進程名為airport。見圖5。3.6.2 使用命令ps-ef | grep 進程名，發現該進程沒有運行。

圖5 查找進程路徑

3.7 啟動處理進程。進入進程所在目錄，手動啟動該進程：3.7.1 cd /home/airport/。3.7.2 nohup ./airport &。

3.8 查看傳輸日志。3.8.1 cd /home/airport/logs。3.8.2 tail -f 20201027.log。從輸出結果可以看出，已經接收到了所有屬地化機場的AWOS 數據。

3.9 再次登錄氣象綜合服務網頁，查詢到屬地化機場AWOS 數據恢復正常。

4 故障原因分析

通過以上步驟對故障的排查，確定了故障點在數據處理服務器。通過防火墻的端口占用情況，找到屬地化機場自觀數據的接收處理是由以下兩個不同的進程，使用不同的端口進行數據傳輸的。

4.1 Airport 進程。通過A 端口傳輸三十多個機場的AWOS 數據。進程路徑：/home/airport/airport。

4.2 Startserver 進程。通過B 端口傳輸少部分幾個機場的AWOS 數據外，還傳輸所有雷達資料。進程路徑：/home/server/shell/startserver。

由此可以看出，不論是在氣象綜合服務網頁上查詢不到AWOS 數據，還是在數據接收服務器上的AWOS 數據接收目錄下，查詢不到新的AWOS 數據，都是由于傳輸處理進程（airport 進程）down 導致。所以啟動airport 進程后，數據恢復。

結束語

以上故障的處理方法，可以總結如下：首先列出所有可能的故障點，根據系統結構，按照不同數據的來源以及數據缺失情況，先確定大概問題出現在哪里，然后分門別類去查找，找出故障可能出現的階段，再在該階段深入查找故障點。本次故障處理的巧妙之處是，在排除了鏈路故障、防火墻故障后，將故障定位在數據接收處理服務器。雖然知道可能是進程down，但又不知道具體的進程名稱，于是通過查找進程占用端口，反向查找進程，并通過已在運行的進程的目錄位置，找到沒有運行的進程目錄，從而找到該進程，并重新啟動它。