李金
(榆林學院 圖書館,陜西 榆林 719000)
隨著計算機技術在高校工作中的廣泛應用,高校各項日常工作中都普遍使用以數據庫(DataBase,DB)技術為基礎的聯機事務處理(Online Transaction Processing,OLTP)系統來提高工作效率,減輕工作強度,如教務管理系統、人事管理系統、科研信息系統和學籍管理系統等。此外,近些年,為了給學校高層提供決策支持,很多高校又紛紛建立了以數據倉庫(Data Warehouse,DW)技術為基礎的聯機分析處理(Online Analytical Processing,OLAP)系統,如決策支持系統(Decision Support System,DSS)就是以OLAP系統為基礎的。但是,在很多情況下,DB-DW兩層體系結構并不能滿足高校在處理日常工作時所有的需求,因為很多需要解決的問題是中層管理者所面對的,也就是說,這些問題既不屬于聯機事務處理,又算不上是高層決策分析。于是,引入一種新的數據環境—操作數據存儲 (Operational Data Store,ODS), 也就是在 DB和DW中間加入這樣一個層次,形成DB-ODS-DW的三層體系結構,為中層管理者處理日常事務提供支持。
有很多情況,DB-DW的兩層體系結構并不能涵蓋高校日常管理工作中所有的數據處理要求,可以借助于DB-DW的中間層ODS(操作數據存儲)來解決。它像DW一樣是一種面向主題、集成的數據環境,又像操作型DB一樣包含著全局一致的、細節的當前數據[1]。
數據倉庫之父William.H.Inmon在1993年所寫的論著Building the Data Warehouse中將數據倉庫定義為:“一個面向主題的、集成的隨時間變化的非易失性數據的集合,用于支持管理層的決策過程”[2]。在他的這本著作中,所定義的ODS是一個面向主題的、集成的、可變的、當前的細節數據集合,用于支持企業對于即時性的、操作性的、集成的全體信息的需求。ODS(Operational Data Store)是數據倉庫的一個擴展,它也是一個企業級的數據存儲模式,它的構造也是面向主題的[3]。
從ODS的定義來看,它兼有DB和DW兩者的特點。一方面,ODS包含全局一致的、細節的、當前或接近當前的數據,可以進行全局聯機操作型處理,這與DB的特點相似;另一方面,它是一種面向主題的、集成的數據環境,且數據量小,適用于輔助完成日常決策的數據分析處理,這又與DW的特點相似。因此,當中層管理者遇到既不屬于聯機事務處理,又算不上是高層決策分析的問題時,就可以利用基于ODS技術的管理系統進行妥善處理。
全局聯機操作型處理是指在處理數據的時候,利用ODS技術可以在一個事務中調用其它多個事務的數據,例如教務系統可以調用人事系統、科研系統的數據,這與以往基于DB的OLTP系統不同,以往的OLTP系統中一個應用只是面對一個部門,部門之間的數據相互獨立,往往形成了“信息孤島”[4],在進行企業級的事務處理往往代價很大,因為需要對各個部門的原始數據進行集成。而ODS中的數據已經是面向全局集成,所以建立在ODS上的OLTP可以快速實現對各個部門數據的全局集中管理,即通過利用ODS技術,可以克服以往面向應用的數據庫過于分散的缺點。
前面提到,很多高校為了提供給高層決策支持,建立了基于DW的OLAP系統。在數據倉庫上實現OLAP主要是為了進行長期趨勢分析,數據倉庫中的數據量很大,所以OLAP應用的運行時間都比較長[5]。然而,在學校的日常事務中,中層領導常常需要對一些非決策性的事務進行處理,也就是說,在很多情況下,這些中層領導在處理事務時不需要參考太多的歷史數據,而主要參考當前數據或是近期數據,而且要求有較快的響應速度,我們把這種對數據的處理方式稱為“即時OLAP”,這也是建立ODS數據模型的主要目的。因為ODS的數據是基于全局的,那么,在ODS上進行的OLAP,就可以對數據庫中的數據進行全局更新。
在高校中,有很多基于DB技術的部門,如人事處、學生處、教務處、國資處、檔案處等等,由于每個部門所產生的數據都是相互獨立的,所以同一個信息都有可能有不一致的地方。教務處經常做的工作是對全校教學任務的安排,這個工作的綜合性很強,需要綜合很多部門的信息,比如教師信息、教室信息、實驗設備信息以及學生信息等等,倘若教務處給某個教師安排了需要某種實驗設備的課程,在教務處的系統里面,這些實驗設備是存在的,而在國資處的系統里面這些設備已經報廢,這樣就會導致教學安排的失敗,而要不停返工,使得教務處的工作效率很低,并且增加了工作強度。通過這個例子我們可以看到,分散的部門需要協同工作時候往往遇到困難。
ODS中的數據在進入ODS之前經過清洗和整理,達到集成和一致的目的,在全局上保持一致,這使得ODS不同于傳統分散的操作型系統,類似于數據倉庫[6]。當我們建立了ODS系統后,如圖1所示,它通過存放在ODS的記錄系統定義和一系列參考表在DB和ODS之間進行雙向聯系,保證了實驗設備信息的全局完整性和一致性,就不會出現教務處與國資處同一實驗設備不同信息的現象了。

圖1 DB和ODS之間進行雙向聯系Fig.1 Two-way link between DB and ODS
基于ODS的高校管理系統主要包括操作數據庫、數據整合與數據刷新、ODS數據庫等,系統體系結構如圖2所示。

圖2 基于ODS的高校管理的系統框架Fig.2 The framework of college management system based on ODS
其中,ODS系統具體的設計包括以下4個步驟。
1)在數據源的基礎上建立全局模式
建立全局模式之前,一定要首先了解原有DB中的數據模式,然后參考DW系統中的主題域,對數據源進行集成、凈化和轉換,建立面向主題的全局模式。
2)參照已建立的DW環境建立ODS模式
在DB-ODS-DW三層體系機構中,ODS的作用是承上啟下,給DW提供接口,所以建立ODS模式時還要參照已建立的DW。當兩者之間發生沖突時,以DW為準,改動ODS模式。
3)定義記錄系統
在DB-ODS-DW三層體系結構中,數據傳送是靠定義記錄關系系統來實現的。如圖3所示。

圖3 DB-ODS-DW三層體系結構的數據傳送Fig.3 Data transfer of DB-ODS-DW three-tier architecture
類似于DW中記錄系統的定義,ODS記錄系統是提供給ODS的數據,來自DB環境,是DB系統中各應用所使用的數據。ODS記錄系統的定義要指明與ODS數據相應的數據所在的DB表,經過系統的過濾和轉換,與DW的記錄系統雙向對應起來。
4)向ODS裝入數據
完成了記錄系統定義之后,就可以進行ODS數據的裝入了,這個過程包括初裝數據和數據追加。初裝數據應該分批進行,然后隨著需求的不斷增加和明確,逐步完善ODS中的數據。初裝完成后,確定數據追加的途徑,以完成對ODS數據追加。
經過上述的這些步驟,基于ODS的高校管理系統模型就建立起來了。
ODS技術綜合了數據庫的即時操作性和數據倉庫的決策性,是兩者的重要過渡和補充?;贠DS的高校管理系統的應用,使得高校中原本龐雜和孤立的數據庫與數據倉庫資源得到整合,相互之間可以簡單的進行訪問和調用,使得高校各部門的管理工作和部門之間的協調工作得到很大的改進。同時,ODS技術的引進,可以滿足高校管理的高校管理多層次要求,即面向各級管理人員,能夠更有效地利用信息資源,為高層決策分析提供服務。
文中介紹了一種基于ODS技術的高校管理系統設計方案,以此來彌補DB-DW兩層體系結構的不足,并給出了系統的框架,重點對ODS系統設計及實現方法做了詳細介紹,希望此文能對高校管理系統的建設起到參考作用。
[1]趙太勝,張威,錢旭.基于ODS構建商業系統的即時OLAP應用[J].現代計算機,2001(5):37-39,57.
ZHAO Tai-sheng,ZHANG Wei,QIAN Xu.Building a OLAP in time of business system based on ODS[J].Modern Computer,2001(5):37-39,57.
[2]張青.基于數據倉庫理論的教學管理數據模型的設計[J].大眾科技,2007(12):154-155.
ZHANG Qing.The design of teaching management data model based on the theory of data warehouse[J].Popular Science&Technology,2007(12):154-155.
[3]姚楠.ODS在實現電力企業數據中心中的作用[J].電力信息化,2007(7):93-96.
YAO Nan.The role of ODS in implementation in electricity enterprise data centers[J].Electric Power Information Technology,2007(7):93-96.
[4]呂海燕,呂紅,任穎,等.數據倉庫在教學管理系統中的應用研究[J].現代計算機:專業版,2009(10):163-165.
LV Hai-yan,LV Hong,REN Ying,et al.Research on the application of data warehouse in teaching management system[J].Modern Computer, 2009(10):163-165.
[5]王月敏.基于ODS技術的決策支持系統研究[J].云南民族大學學報:自然科學版,2007(1):63-65.
WANG Yue-min.The research of the DSS based on ODS[J].Journal of Yunnan Nationalities University:Natural Sciences Edition,2007(1):63-65.
[6]張宇,薛永生,張延松,等.應用ODS技術解決電子政務系統數據一致性問題[J].廈門大學學報:自然科學版,2004(S1):289.
ZHANG Yu,XUE Yong-sheng,ZHANG Yan-song,et al.ODS solution of the coherence matter in e-government[J].Journal of Xiamen University:Natural Science,2004(S1):288-292.