地震行業Oracle數據庫維護現狀分析及對策1

周 娜1） 李永紅2） 李曉京1） 張 蕾1）

?

地震行業Oracle數據庫維護現狀分析及對策

周 娜李永紅李曉京張 蕾

1）中國地震臺網中心，北京 100045 2）山東省地震局，濟南 250014

地震行業Oracle數據庫系統支撐了信息、前兆、應急、日常辦公等多種業務應用，是業務運行的基礎保障，因此分析數據庫運行維護的狀況，并提出可行性建議具有重要的意義。本文總結了近4年來Oracle數據庫運行維護過程中出現的問題，歸納了影響數據庫運行的各種因素，提供了數據庫運行維護過程中的關鍵點，對于指導數據庫的穩定、健康、可靠運行具有一定的參考意義。

地震 數據庫 維護現狀 對策

引言

在整個IT產品的壽命周期中，運營階段的成本占了整個成本的約70%—80%（其余的成本花費在產品開發和采購上），而運行維護作為運行服務的重要組成部分，已成為人們關心的重要課題（李淑娟等，2008）。地震行業Oracle數據庫系統支撐了信息、前兆、應急、日常辦公等多種應用，已成為地震業務、政務系統運行的基礎保障。數據庫系統的運行水平直接決定了業務系統的運行質量。本文總結了近4年來Oracle數據庫運行維護過程中出現的問題，歸納了影響數據庫運行的各種因素，提供了數據庫運行維護過程中的關鍵點，對指導數據庫的穩定、健康、可靠運行可提供參考。

1 現狀

目前，Oracle數據庫系統主要集中分布在國家中心、41個區域中心、33個應急中心、300個縣節點、300個臺站，其中雙機系統79套，單機系統600套。而支撐行業數據庫運行的硬件平臺多樣，部署方式復雜，具體表現在以下幾個方面。

（1）數據庫系統的部署環境多樣復雜。雙機數據庫IT環境涉及到IBM服務器、曙光服務器和SUN服務器系統，以及數據存儲系統EMC與HDS。

（2）數據庫系統的技術結構復雜，管理難度高。系統大多采用Unix和Linux系統，數據庫使用Oracle 10g RAC，存儲使用Oracle ASM管理。

（3）數據庫系統地域分散。主要集中分布在國家中心、41個區域中心、33個應急中心、300個縣節點和300個臺站。

（4）系統管理分散。各級節點自行管理維護。在部分節點內部，服務器和操作系統一般按照業務應用分多個運行維護小組，各自管理維護。

以上特點決定了地震行業數據庫運行維護是一個復雜而艱巨的任務，需要總結多年來數據庫運維過程中出現的問題，制定合理的運行維護策略，以保證數據庫系統的正常運行。

2 運行維護事件分析

為了更好地分析數據庫運行維護過程中出現的問題，作者分析整理了近4年來數據庫運行維護過程中出現的各類問題，其中系統故障6類、存儲故障5類、網絡故障3類、ASM故障11類、CRS故障8類、數據庫本身故障12類及其它故障4類，具體故障如表1所示。

表1 數據庫故障分析一覽表

續表

故障大類故 障 小 類節 點 ASM故障（8）asm慢問題青海信息網絡系統 （9）建asm的時候點create new 沒有反映 （10）asm歸檔滿導致數據無法登陸多省信息、應急平臺 （11）其它asm相關問題咨詢 CRS故障（1）crs重啟問題云南等 （2）suse10crs不能自動重啟問題suse平臺 （3）suse10vipca問題 （4）crs狀態offline （5）crs狀態Abort(coredump)多省應急系統 （6）安裝ORACLE集群CRS，運行root.sh時，報錯 [ CSSCLNT][1]clsssInitNative: connect failed, rc 9 failure at final check of oracle crs stack.10北京等多省 （7）crs安裝 Failure at final check of Oracle CRS stack. 10廣西 （8）crs hang問題多省應急平系統 6．數據庫故障（1）ORA-00600: internal error code, arguments: [qertbFetchByRowID], [], [], [], [], [], [], []多省應急系統 （2）表空間不能刪除 （3）ORA-27102 out of memory （4）ORA-27123: unable to attach to shared memory segment IBM AIX RISC System/6000 Error: 13: Permission denied重慶應急 （5）opt滿多省信息應急系統 （6）前兆suse10升級問題寧夏 （7）表空間數據文件建到本地導致數據不正常多省信息應急系統 （8）數據庫登不上，已超過最大連接數天津 （9）ORA-00600: internal error code, arguments: [3705], [1], [1], [2], [8], [], [], []海南 （10）ORA-00205: error in identifying control file, check alert log for more info天津 （11）ORA-00600: internal error code, arguments: [kccchb_3], [10346], [10345], [10345], [], [], [], []重慶應急 （12）其它問題咨詢多省 7．其它故障（1）機房異常斷電導致數據問題多省 （2）網絡交換機故障導致數據問題多省 （3）更換存儲導致數據問題多省 （4）其它不正常操作導致數據問題多省

進一步對表1中7大類故障進行分析，可以看出存在以下問題：

（1）操作系統平臺存在兼容性問題

如部分省局數據庫運行在曙光服務器上，操作系統為SUSE，操作系統與后臺存儲系統之間的銜接容易出故障，如：表1中的系統故障（2）和（3）。而采用IBM和SUN硬件平臺的節點數據庫系統就沒有類似問題的發生。

（2）存儲系統平臺存在兼容性問題

如應急數據庫系統部署在HDS之上，HDS經常容易發生數據壞塊的情況，造成數據庫故障，如：表1中的存儲故障（3）、（4）；ASM故障的（1）、（2）；CRS故障的（5）、（8）等。

（3）日常維護存在問題

在操作系統和存儲系統軟硬件平臺不出現問題的情況下，需要維護人員每天、每周和每月定時做很多工作，如：查看磁盤空間使用情況、數據庫告警日志等。而目前缺乏統一的規章制度與規范，督促維護人員完成這些日常工作，維護工作的好壞基本上取決于維護人員的責任心。再者，運行維護人員的水平較低，一些基本的數據庫維護工作難以很好的完成。如果有一套健全的規章制度與規范，同時還有一批具有較高數據庫運行維護經驗的管理人員，那么上述7大類故障中的大多數故障是可以提前預防的。

（4）數據庫管理和維護缺乏科學依據

缺乏一套有效的數據庫監控系統來對數據庫運行狀態的各關鍵指標信息進行數據搜集和統計，完成如日常性能監控、每月性能評估、數據庫審計等人工工作量大，難以完成的工作，將數據庫隱患消滅在萌芽狀態（秦士兵，2012）。

而在數據庫運行維護中凸顯出來的主要問題有：

（1）運行維護管理制度不健全。目前Oracle數據庫管理被動、分散、管理規范不完善，如：缺乏統一的備份與管理策略、安全策略、管理流程等。

（2）運行維護人員技術水平較低。相對于專業的Oracle數據庫運行維護人員而言，目前行業內的技術人員在數據庫方面的運行維護技能水平較低，技術人員相對不固定。雖然技術人員通過了每年的技術培訓，但在提高運行維護的能力方面還有待進一步提高。

（3）運行維護技術平臺亟待建立。缺乏數據庫基礎運行環境（操作系統、存儲系統和網絡）的統一故障預警及故障監測機制。管理員對系統故障的反應速度無法提高，一般是在出現問題以后才進行查找及處理，難以充分保障關鍵業務系統的可用性，無法做到“主動式”系統管理。

3 對策與建議

針對數據庫運行維護過程中出現的問題，應該從運行維護的組織架構、流程制度規范、技術支撐平臺（蔣曉玲等，2012）等方面著手，以求提高行業數據庫的運行維護水平和能力。

（1）完善行業數據庫運行管理制度

以提高數據庫運行水平和管理能力為目標，建立一套完整的流程管理規范，同時結合必要的工具管理軟件，使主機、存儲和數據庫系統得到責任保障，保證數據庫系統連續穩定運行。

（2）加強人員培訓

一般來說，地震行業比較注重硬件平臺建設，而對流程和人員的軟平臺建設有所忽略。由于當前人員的技術水平還較低，再加之相關培訓的不足，因此解決實際問題的能力和效率較低。為此需要開展相關的技術培訓，以提高地震系統數據庫的運行和維護技能。

（3）建立數據庫運行維護技術支撐平臺

應建立數據庫基礎運行環境（操作系統、存儲系統和網絡）的統一故障預警及故障監測機制，由過去的“被動式”管理轉變為“主動式”管理，以提高數據庫管理人員對系統故障的反應速度，保障關鍵業務系統的可用性。

（4）建立數據庫運行維護知識庫

開展數據庫知識轉移工作，建立一套持續機制，確保維護知識和技能的傳承。將數據庫運行維護中的每次事件、故障或者問題解決過程中所獲得的解決方法和維護經驗都記錄下來，建立一個知識庫，以提高對出現的事件及問題的處理效率。

4 結語

Oracle數據庫系統的運行維護是一個需要長期面對的研究課題，應結合IT行業運行維護的相關管理理論，進行不斷的開發和完善。本文僅針對目前存在的問題提出了一些方向上的解決辦法。在未來的發展中，還需要將成熟的管理理論與具體的需求及目標結合起來，以探求出解決具體問題的方案。

蔣曉玲，林鐘靈，2012. 基于ITIL的油氣田信息系統運行維護體系的構建——以中國石油西南油氣田為例. 天然氣工業，32（s1）：162—164.

李淑娟，趙澤宇，宓詠，2008. 信息化校園應用的運維監控保障研究. 實驗技術與管理，25（8）：11—14.

秦士兵，2012. 電力企業信息系統中Oracle數據庫運維管理. 中國新技術新產品，21：41—42.

Analysis of Problems in Operation and Maintenance of Oracle Earthquake Database and Their Resolutions

Zhou Na, Li Yonghong, Liu Xiaojingand Zhang Lei

1) China Earthquake Networks Center,Beijing 100045, China 2) Earthquake Administration of Shandong Province, Jinan 250014, China

The Oracle earthquake database system provides a support to many earthquake applications, such as earthquake information, precursor, emergency response and related daily office work. It is very significant to analyze of operation status and to keep good maintenance of Oracle seismic database. In this article, we collected the problems occurring during operation and maintenance of Oracle earthquake database in the past 4 years and summarized the possible factors resulting in these problems. We then propose some suggestions to resolve these problems. This work provides a guideline for the stability, health and reliability of the operation of the earthquake database.

Earthquake database; Maintaining status; Strategy

中國地震臺網中心青年基金項目資助

2012-12-23

周娜，女，生于1978年。中國地震臺網中心信息網絡部工程師。主要從事計算機網絡維護、數據庫管理等方面的工作。E-mail：zhouna@seis.ac.cn