科研項目及業績管理系統中異構數據庫中間件系統的設計與實現

□劉座銘 高長宇 夏善磊 趙 昕

一、引言

目前，隨著國內高校、科研等單位科技投入的逐年提高，科研項目在數量和質量上都取得了可喜的成績。隨著科技項目數量越來越多，科研管理工作難度越來越大。科技管理部門、項目負責人及參與人員在科技工作中都面臨著項目進程管理重復性繁瑣工作、科技信息關聯度低、數據之間利用價值低等情況。在一定程度上制約著科技項目信息管理的正規化、精細化發展[1～3]。

實現科研項目的精細化、過程化管理，就必須借助現代化的、先進的信息管理工具，建立規范化、現代化的信息管理系統就是必然趨勢。通過本文設計的實現，不僅能為相關單位科研信息管理平臺提供一個安全可靠的技術平臺，而且還能為一些企業科研的長遠謀劃和宏觀調控提供充分的科學理論依據，有利于相關單位企業的科學技術協調發展；有利于人才培養以及成果轉化取得新進展，推動科研-生產-咨詢一體化協調發展[4～6]。

但是由于一些單位科研管理系統除了本單位使用外，還有可能讓下級部門或相關合作單位使用，但是由于一部分單位存在保密性的要求，可能無法使用互聯網進行科研相關信息管理；另外在使用的過程中可能存在科研相關信息輸入項的變化等情況。這些情況要求科研相關信息平臺應該具備數據庫的靈活配置和擴展，就需要能夠實現異構數據庫的效果。如何集成和整合這些異構數據庫，實現數據間的交換和共享，逐步成為當前科研相關信息管理平臺建設的迫切需求。本文從上述實際情況處理，提出了科研項目及業績管理系統中的異構數據庫系統的設計和集成。通過該系統的異構數據庫系統應用，為后續類似管理系統的異構數據庫系統應用提供了范例。

二、基于中間件系統的科研項目及業績管理系統設計

(一)設計目標。建立異構數據庫集成系統，一直是國內外數據庫領域中討論、研究的熱點話題，曾有幾家大型的數據庫廠商提出了各自的方案[7～9]，但都是以主流數據庫產品同構復制的基礎上提出的。因為有很多不同種類的信息源，所以針對異構數據庫集成系統而言，它不僅要能夠集成信息，還應完成信息間的互操作，并為用戶提供各種方式的查詢和搜索服務。如何解決異種信息源的集成問題[10～11]，關鍵是數據庫集成的智能管理。普通用戶的需求是屏蔽掉各種層次異構特性的程序，因為他們不必了解各物理數據庫系統的分布，不必掌握各物理數據庫的組成結構，也不必自己去進行數據轉換和結果匯總，想要得到一個綜合結果，只需要通過一個簡便的全局查詢就可以得到，這就是異構數據庫的主要研究內容。這種聯合使用技術既與各種數據庫間有著緊密的聯系，同時在新的研究領域中，又別于已有的數據庫。本文在深入了解異構數據庫集成的相關理論、中間件技術以及XML技術的基礎上，以中間件的技術思想為基礎，對異構數據庫的查詢方式和方法進行了抽象，并專門為使用數據庫的用戶提供了一個通用的接口，從而實現了這部分軟件的復用，提高了數據庫開發的效率。

(二)系統架構設計。本文為了簡化科研項目及業績管理系統處理異構數據庫，引入中間件系統。根據中間件系統的特點以及異構數據庫集成的應用需求，本文將中間件系統設計為三層，分別為數據庫控制及數據采集層、數據處理層和應用層。如圖1所示。其中數據庫控制及數據采集層的功能主要是連接不同數據庫，對數據庫進行命令控制，讀寫數據庫數據等。數據處理層主要接受數據庫控制及數據采集層傳遞過來的數據，對數據進行條件查詢和格式轉換，將處理后的數據傳遞給下一層。應用層主要是接受數據處理層傳輸過來的數據，通過API接口提交給應用系統；同時應用層也接受應用系統的控制命令，通過消息機制傳遞給控制層進行數據庫操作和數據的讀寫。

圖1 中間件架構圖

(三)核心功能模塊實現。

1.數據庫控制及數據采集層。數據庫控制及數據采集層主要作用是連接不同的數據庫，利用標準接口屏蔽不同數據庫的差異性，調用數據庫數據，執行數據庫命令，并將其查閱出的數據傳遞到數據處理層進下一步處理。這一層具備以下功能。

(1)自動檢測和連接數據庫。中間件系統要集成不同數據庫，屏蔽其差異性，需要能夠自動檢測到數據庫，并正確連接數據庫，才能進一步操作數據庫，從而對數據庫的數據進行查詢和處理。為了完成上述設計目標可以采用如下自動檢測連接設備的實現步驟：

①Step1。應該提供一個不同數據庫的管理模塊，通過該模塊可以在系統中集中注冊常見類型的數據庫。注冊信息包括：讀寫數據庫連接參數、數據庫用戶信息、數據庫地址等。

②Step2。利用程序自動掃描數據庫，檢測數據庫是否連接到中間件系統，如果連接到中間件系統，則自動按照注冊的數據庫參數連接數據庫，如果連接成功，則返回連接成功的消息給中間件系統的數據處理層，如果連接失敗則返回數據庫連接失敗的信息。

③Step3。如果接受到連接成功的反饋，則進入數據讀取和數據庫命令執行階段，進行系統所需數據庫查詢和操作。

(2)統一數據讀寫接口。由于不同的數據庫具有一定差異性，不僅僅是連接參數的差異，也包括數據格式的不同，為了提供數據處理層能夠統一數據格式，中間件系統應該采用統一的數據讀寫接口，在連接設備成功后，通過統一的數據讀寫接口為數據處理層提供數據。

2.數據處理層。當數據庫控制及數據采集層將數據傳遞給數據處理層，這里的數據屬于原始數據，需要在數據出路層進行一些封裝，便于應用層進行數據的操作。

(1)數據搜索查詢。在數據處理，應該利用應用層的消息參數，得到應用層所需查詢條件，在數據庫控制及數據采集層將數據傳遞過來后，對數據進行條件查詢，縮小數據范圍。

(2)數據格式處理。由于系統所需要數據和數據庫數據在格式上有一定的差異性，在數據處理層應該針對數據格式進行轉換。一方面是應用層反饋過來的數據，將其轉換數據庫適用的數據格式，傳遞給數據庫控制及數據采集層，保存到數據庫中；另一方面是將數據庫控制及數據采集層傳遞過來數據進行查詢縮小范圍之后，將數據格式轉換為應用層所需的格式，傳遞到應用層。

3.應用層。應用層在接受到數據處理層處理的數據后，經過標準接口傳遞到應用系統中，供應用系統使用，應用層主要包括以下功能。

(1)數據消息處理模塊。該模塊的主要功能是將接受數據，通過消息機制通知應用系統，應用系統收到通知后，利用標準接口接收數據。

(2)命令消息處理模塊。該模塊的主要功能是應用系統通過消息接口通知應用層，進行數據庫的操作命令，例如連接數據庫、查詢數據表、插入和更新數據等，消息到應用層后，應用層通過消息機制通知.數據庫控制及數據采集層，由.數據庫控制及數據采集層進行數據庫的命令執行。

(四)消息機制實現。消息是中間件系統進行數據庫控制、數據查詢和處理的核心機制，中間件系統一般采用面向消息的形式來構建；因此需要設計中間件系統的消息處理機制。

消息處理模塊一般包括消息編碼、消息解碼和消息通信三個部分。消息編碼和解碼一般來說將傳遞內容，形成層次性對象，利用外部文件或者內存數據序列來存儲，編碼和解碼實際上就是存儲和解析的過程。很多文獻都有相關介紹，在這里本文就不多作說明，本文在此主要說明一下消息通信的處理過程。一般來說，消息通信的流程如下。

1.Step1：監聽。當中間件系統啟動后，系統會自動運行配置文件，然后根據配置內容信息，設定連接的參數，并在特定端口進行監聽，等待應用系統發來的請求；

2.Step2：連接的建立。在監聽過程中，在中間件系統收到應用系統的請求后，如果兩者間的連接數沒有達到最大限度，那么就開辟一個任務線程來處理該請求，開始消息交換。

圖2 消息通信流程

3.Step3：握手。為了雙方建立消息通道后，確保消息交換能夠順序進行，也是為了保障安全性，需要遵循一定的規范，因為在實際消息傳輸之前，需要進行握手操作。第一，連接請求方，給接收方發送握手信息，并表明它的身份，其中包括它的期望消息規范格式；第二，接收方獲取握手請求信息后，驗證其身份，并針對提交的消息格式和規范，對自己掌握信息進行檢查，如果符合對方要求，則響應握手請求；如果不符合對方要求，則反饋握手失敗信息。第三，請求方得到接收方的響應，如果握手成功，則進行后續的命令、回復消息的傳輸；否則關閉連接請求。

4.Step4：收發消息。如果握手成功，則雙方開始進行命令消息傳輸，消息傳輸包括收取和發送。中間件系統消息通信的流程如圖2所示。

三、結語

本文針對科研項目及業績管理系統針對構建異構數據庫的需求，采用中間件系統，從而實現了異構數據庫的集成應用設計，同時提出了中間件體系結構，并詳細講解了中間件系統的功能和實現；最后設計了中間件系統的消息通信流程。通過科研項目及業績管理系統中的異構數據庫中間件系統的設計，該中間件系統可以簡化科研項目及業績管理系統對異構數據庫技術的集成復雜性，使得異構數據庫數據在科研項目及業績管理容易使用，方便管理，而且具有一定的擴展性。該中間件系統也可以應用于其他應用系統，來實現異構數據庫技術的集成。