長春龍嘉機場氣象信息網系統故障分析

楊詩緣，張 偉

(中國民用航空東北地區空中交通管理局吉林分局，長春 130022)

0 引言

隨著中國民航運輸業快速穩定發展，航班飛行量與日俱增，航班壓力與航班飛行的安全性和高效性之間的沖突日益提升。天氣對飛行安全有著十分重要的影響，民航史上70%的航班事故都是天氣原因造成的。為了提升預報員和觀測員的業務水平，民航局空管局引進了民航氣象信息網系統，將其作為提供氣象信息服務的重要軟件。氣象信息網系統可以為用戶提供豐富的氣象信息，其使用成熟的虛擬化軟件和云系統軟件搭建云平臺，并在云平臺上部署業務[1]。該系統采用云計算平臺作為氣象信息服務系統的基礎支撐平臺，可實現自動觀測系統、雷達系統、衛星云圖系統的信息共享與交換、流程整合與協作、資源管理與配置[2，3]。氣象信息網系統可以綜合、直觀、及時地獲取氣象數據，從而提高氣象信息服務水平。

1 理論支持

1.1 數據庫

數據庫是按照數據結構組織，存儲和管理存入數據的一個“巨大的倉庫”。在其空間內，可以放置成千上萬，甚至以億為單位計算的數據內容。但是在數據庫中數據并不是自由地、隨便地存放，而是按照一定規則，否則會為查詢帶來很多不便。數據庫可以與多個用戶共享數據，并通過一定方式儲存在計算機中，用戶可以對存儲的數據進行添加、檢索、更新和刪除等操作。數據庫管理系統是數據庫系統的重要組成部分，負責管理數據庫，包括對數據庫進行創建、檢索、新增、修改和刪除等操作，還可以對數據庫進行用戶管理、權限管理等。

1.2 表空間

表空間是組成數據庫的最小單位，包含許多數據庫實體，如表、索引、視圖、回退段、聚簇和臨時段等。一個數據庫可以擁有1個或幾個表空間，1個表空間映射著1個或幾個數據庫文件。永久表空間：存儲數據庫中需要永久化存儲的對象，如二維表、視圖、存儲過程和索引。臨時表空間：存儲數據庫的中間執行過程，如保存order by數據庫排序、分組時產生的臨時數據。操作完成后存儲的內容會被自動釋放。臨時表空間是通用的，所有用戶均使用TEMP作為臨時表空間。UNDO表空間：保存數據修改前的副本，存儲事務所修改的舊址，即被修改之前的數據。對數據進行修改的同時會對修改之前的信息進行保存，便于對數據執行回滾、恢復和撤銷等操作。

2 故障排查過程及解決方案

長春龍嘉機場氣象信息網系統共有6臺服務器，分別為：情報網通信機、情報網服務器(主)、情報網服務器(備)、內網通信機、外網通信機和外網服務器。還有5臺顯示器，分別為：預報終端、觀測終端、進近終端、塔臺終端和飛服終端。氣象信息網從數據庫中提取自觀數據、報文數據，從雷達服務器中提取雷達數據，從衛星服務器中提取衛星云圖(圖1)。

圖1 氣象信息網拓撲圖

2.1 氣象信息網網站無法訪問

氣象設備機務員在巡檢設備時，發現氣象信息網數據無更新，刷新后發現無法登錄網站。在網站發生故障的第一時間，值班機務員首先在預報終端輸入命令行：ping192.6.202.104，查看能否連接服務器，結果發現無法連接104服務器。以同樣的方式連接其他服務器，發現能ping通101、102和103服務器。于是初步判斷是104服務器存在故障，隨后查看104服務器，服務器顯示處于運行狀態，重新插拔網口后，發現依然無法ping通104服務器，KVM機的分屏上也找不到104服務器。最終強制重啟104服務器后，104服務器ping通，判斷故障原因應該是104服務器宕機。然后在廠家的遠程指導下用xshell軟件連接104服務器，輸入 命令行：df-h，發現磁盤空間剩余不足，進入/data/his/目錄刪除歷史留底數據，系統恢復正常運行。

2.2 氣象信息網無最新數據

當日值班機務員接到進近管制室打來的電話，反映氣象信息網無最新數據。得知該情況后，機務員立刻檢查設備，在信息網終端電腦上訪問192.6.202.104：8080/amss/信息服務網站，在自動觀測模塊下查詢本場ZYCC的數據，結果發現查詢要耗時幾十秒甚至幾分鐘。機務員推測可能是oracle數據太多所導致，于是通過sqldeveloper連接106服務器數據庫，手動刪除awos_rpt和awos_ele的大部分數據，結果發現問題仍然存在。接著，機務員判斷可能是CPU占用過多導致，于是輸入Top命令查看內存和CPU信息，發現CPU占用并不多，而且內存使用也正常。隨后，將104服務器切換到grid用戶，使用命令：crsctl stop/start cluster-all重啟數據庫，然后重啟tomcat，問題依然沒有得到解決。最后機務員向廠家工程師說明情況，工程師建議查看oracle日志，結果發現日志文件切換頻繁，判斷可能是日志文件過小導致，于是修改日志文件大小為1024 M，部分命令如下：

//查看日志文件大小及狀態

select group#，thread#，status，bytes/1024/1024MBtyes from v$log；

//新增日志文件，大小為1024 M

ALTER DARABASE ADD LOGFILE THREAD 1 GROUP 5(‘+DATADG’，‘+DATADG’)SIZE 1024M；

//手動切換日志文件

Alter system switch logfile；

//刪除status為inactive的日志文件

ALTER DATABASE DROP LOGFILE GROUP 1；

將原有的4份50 M的日志文件全部刪除，并新增了4份1024 M的日志文件后，發現問題并沒有得到解決；隨后在廠家工程師的指導下查看了數據庫的表結構，發現沒有建立主鍵和索引，將awos_rpt表建好主鍵和幾個字段的索引后(主要是itime字段建好索引)，問題得到解決。長春機場數據庫重建后沒有將數據庫表建立完整，缺少主鍵和索引，由于awos自動觀測數據最多，所以受影響最大；在解決問題的過程中發現awos數據不僅查詢緩慢而且數據庫中沒有最新的awos數據，排查發現入庫目錄下堆積了許多文件，查看tomcat日志發現mydb的入庫進程運行正常，只是入庫速度比較慢，判斷為awos_rpt表沒有建立主鍵導致入庫緩慢，查看tomcat日志有類似“order by itime”的sql語句輸出，因此給awos_rpt表建立itime字段的索引，經驗證查詢速度得到極大提升。

2.3 http：//192.6.202.104：8080/amss沒有數據

設備機務員接到觀測員反映，氣象信息網雷達圖沒有上傳，于是機務員首先用筆記本連接服務器，查看入庫目錄和留底目錄，發現留底目錄數據正常，但是網頁沒有顯示圖片，連上SQL developer查看果然沒有最新數據，初步判斷是入庫錯誤，查看日志，提示ORA-01691錯誤，說明表空間被占滿(圖2)。

圖2 錯誤代碼為ORA-01691

于是使用以下語句：

SELECT Total.name "Tablespace Name"，filepath，

Free_space，(total_space-Free_space)Used_space，total_space

FROM

(selecttablespace_name，sum(bytes/1024/1024)Free_Space

fromsys.dba_free_space

group bytablespace_name

)Free，

(select b.name，sum(bytes/1024/1024)TOTAL_SPACE，a.NAME as filepath

fromsys.v_$datafile a，sys.v_$tablespace B

wherea.ts# = b.ts#

group byb.name，a.NAME

)Total

WHERE Free.Tablespace_name = Total.name；

因為數據庫的asm管理方式和普通數據庫不同，無法找到表文件的路徑所以清理表空間的步驟可能不相同，需要暫時先增加1個表文件，執行語句如下：

Alter tablespace USERS add datafile ′+DATADG/zyccdb/datafile/users_add4′ size 1024M autoextend on next 128M；

最后問題得到解決，雷達圖上傳恢復正常。

3 結束語

通過文章所述案例可以看出，氣象信息網系統故障原因一般有4個方面：一是104服務器宕機，造成網絡無法連接；二是由于磁盤空間不足導致數據無法更新；三是數據庫表建立不完整，缺少主鍵和索引，導致數據查詢緩慢；四是由于退出網頁方式錯誤，導致表空間溢滿，使數據無法更新。由此可見，在日常設備維護維修工作中，機務員不僅要學會如何處理故障問題，還要教會用戶如何正確使用設備軟件，避免因人為誤操作而導致設備出現故障的情況發生。