高校數(shù)字化系統(tǒng)數(shù)據(jù)整合研究與實現(xiàn)

鄭州旅游職業(yè)學院 王靜蕾

高校數(shù)字化系統(tǒng)數(shù)據(jù)整合研究與實現(xiàn)

鄭州旅游職業(yè)學院 王靜蕾

一、數(shù)據(jù)整合的策略

為了實現(xiàn)統(tǒng)一的資源管理、門戶管理和權限管理，必須科學規(guī)范地對高校的信息資源進行整合。在數(shù)據(jù)整合過程中，通過對業(yè)務流程的組織和再造，從而推動高校的制度創(chuàng)新和管理創(chuàng)新，最終實現(xiàn)教育信息化、決策科學化和管理規(guī)范化。目前，信息資源主要有3種整合策略。

1.資源集中法。指通過對高校現(xiàn)有應用系統(tǒng)的調(diào)研，按照各個部門的需求，制定統(tǒng)一的信息標準和應用平臺，在統(tǒng)一的框架中重建各種應用子系統(tǒng)，建立統(tǒng)一的主題數(shù)據(jù)庫，用于存儲全校的數(shù)據(jù)。各部門將有用的數(shù)據(jù)集中到數(shù)據(jù)中心。這樣，系統(tǒng)中只有1個主數(shù)據(jù)庫，這樣做的優(yōu)點是各個子系統(tǒng)之間的耦合程度較高，資源相對穩(wěn)定，容易實現(xiàn)各子系統(tǒng)與數(shù)據(jù)中心的無縫連接。缺點是開發(fā)周期相對較長，用戶需求難以準確把握且靈活度不高，資源的所有權也無法得到很好的解決。

2.元數(shù)據(jù)整合法。指在保留各部門原有應用系統(tǒng)不變的前提下實現(xiàn)資源整合，從各應用系統(tǒng)中抽取有共享價值的數(shù)據(jù)，建立共享數(shù)據(jù)中心。各部門的數(shù)據(jù)讀寫操作都在其原有的應用系統(tǒng)中進行，只有當這些數(shù)據(jù)涉及其他部門時，系統(tǒng)才通過預先的部署將共享的數(shù)據(jù)推出或錄入，從而實現(xiàn)應用系統(tǒng)數(shù)據(jù)的相互關聯(lián)。這種方法的優(yōu)點是數(shù)據(jù)檢索速度快，能適應內(nèi)容的頻繁更新，缺點是統(tǒng)一數(shù)據(jù)標準的難度較大。

3.聯(lián)合檢索法。聯(lián)合檢索法類似于元數(shù)據(jù)整合的做法，在應用系統(tǒng)只涉及本地數(shù)據(jù)訪問時，數(shù)據(jù)操作只發(fā)生在本地，當請求訪問其他部門和工作站的數(shù)據(jù)時才和數(shù)據(jù)中心進行關聯(lián)。兩者的不同之處在于，這種資源整合方法并不創(chuàng)建共享數(shù)據(jù)庫，而是建立資源索引庫。所有業(yè)務數(shù)據(jù)仍然存放在各部門的工作站中。部門將有共享價值的數(shù)據(jù)子集存放在資源索引庫中，告訴它某個數(shù)據(jù)處于網(wǎng)絡的哪個位置，其功能類似于互聯(lián)網(wǎng)上的搜索引擎。這種方法適合元數(shù)據(jù)不能集中訪問不同資源的情況，但它采用了資源索引庫，而忽視了原有資源信息存在的不同標準，因此，維護難度比較大。

二、數(shù)據(jù)整合過程中的關鍵步驟

雖然以上3種數(shù)據(jù)整合策略各有利弊，但都需要在數(shù)據(jù)源中獲取有用的數(shù)據(jù)，并利用某種方法形成一種類似于“中間件”的集成模式，用戶可通過這種集成模式與數(shù)據(jù)源之間建立聯(lián)系，從而對元數(shù)據(jù)進行查詢或修改等操作。數(shù)據(jù)整合中所利用到的關鍵技術有以下幾種。

1.獲取元數(shù)據(jù)。各部門的數(shù)據(jù)保存于不同的應用系統(tǒng)服務器上，存儲的標準也不盡相同，對于這些異構數(shù)據(jù)源的整合，最關鍵的步驟就是集成數(shù)據(jù)源的相關信息，也就是獲取元數(shù)據(jù)。目前，主流的數(shù)據(jù)庫產(chǎn)品均能根據(jù)保存的數(shù)據(jù)庫文件類型生成相應的SQL腳本，協(xié)助用戶備份或建立數(shù)據(jù)庫。這些腳本包含了數(shù)據(jù)源的所有元數(shù)據(jù)。雖然不同的數(shù)據(jù)庫產(chǎn)品在語法上略有不同，但都可以通過分析SQL腳本結(jié)構來提取所需要的元數(shù)據(jù)，并將按照統(tǒng)一的格式保存到元數(shù)據(jù)庫中。

2.集成模式的建立。所謂數(shù)據(jù)集成在這里是指按照用戶的查詢需求從各部門數(shù)據(jù)源中得到元數(shù)據(jù)并進行清理與整合，并將元數(shù)據(jù)作為依據(jù)進行連接形成元數(shù)據(jù)庫的過程。集成后數(shù)據(jù)在邏輯上依然是按“表”或“視圖”的形式組織的，但因為同一列的元數(shù)據(jù)來源于不同的數(shù)據(jù)源，所以集成時可能會因為數(shù)據(jù)源對字段類型定義的不同而導致整合的失敗。因此，在進行集成之前，必須根據(jù)實際的需求建立相應的集成模式，如對相同語義的元數(shù)據(jù)重新定義統(tǒng)一的字段名稱、類型和長度等數(shù)據(jù)內(nèi)容，從每個數(shù)據(jù)源得到的數(shù)據(jù)都要使用此標準進行轉(zhuǎn)換以確保集成操作順利地進行。

3.集成模式與元數(shù)據(jù)之間的映射關系。集成模式對異構數(shù)據(jù)源上具有相同語義的元數(shù)據(jù)進行了統(tǒng)一的管理，但如果要獲得實際需要的數(shù)據(jù)，還必須通過與異構數(shù)據(jù)源的元數(shù)據(jù)發(fā)生某種聯(lián)系來實現(xiàn)，這種聯(lián)系便是集成模式與數(shù)據(jù)源元數(shù)據(jù)之間的映射。映射是以集成模式為參照，由用戶選擇需要整合的表，將需要集成的具有相同語義的元數(shù)據(jù)并聯(lián)到相關的集成模式上。這時，異構數(shù)據(jù)源就會以集成模式為紐帶產(chǎn)生一定的關聯(lián)，只要對集成模式及相應的映射關系進行分析就能得到各數(shù)據(jù)源的實際查詢語句，實現(xiàn)對異構數(shù)據(jù)源的查詢。

4.查詢語句的生成。通過對集成模式及其對應的映射關系進行分析，就能把集成模式的查詢分解為針對各異構數(shù)據(jù)源的查詢，然后再把各數(shù)據(jù)源的查詢結(jié)果按照集成模式進行整合，最終得到集成結(jié)果。

三、數(shù)據(jù)整合的關鍵技術

1.數(shù)據(jù)整合的大致思路。先根據(jù)用戶需求鎖定所需的元數(shù)據(jù)，然后建立集成模式，對其進行一定的篩選和刪減，生成用戶視圖（表），并確定相應的映射關系，對用戶視圖（表）進行分析，根據(jù)用戶視圖（表）的字段以及相應的映射關系確定每個異構數(shù)據(jù)源需要查詢語句，并使用用戶視圖的字段作為元數(shù)據(jù)字段的別名，如果在數(shù)據(jù)源中不存在映射關系，則元數(shù)據(jù)字段以“NULL”值代替。最后，根據(jù)元數(shù)據(jù)字段生成各數(shù)據(jù)源查詢語句，每執(zhí)行一個查詢語句后都在本地數(shù)據(jù)庫中建立臨時表保存查詢結(jié)果。對所有的臨時表按記錄數(shù)目的多少進行排序，將記錄數(shù)目最少的2個表進行連接，由此生成1個新的臨時表，完成后將參與連接的2個表刪除。循環(huán)上述步驟，直到剩下最后1個臨時表，即為集成查詢的初步結(jié)果。最后對最終臨時表進行整理，消除表中的重復項，并按用戶視圖的樣式輸出，完成最終的數(shù)據(jù)整合。

2.關鍵代碼舉例。在此，對整個過程關鍵代碼舉例說明，以在2個不同部門的服務器上的2張表作為源數(shù)據(jù)表，通過SQL中的openrowset命令來實現(xiàn)數(shù)據(jù)的同步查詢、修改等操作。具體操作代碼如下所示：

不難看出，這段代碼只對1臺服務器數(shù)據(jù)庫進行操作，而對另1服務器數(shù)據(jù)庫的操作在存儲過程“client_seach”中體現(xiàn)出來。存儲過程“client_seach”的關鍵Transact-SQL語句如下所示：

用select*from client查詢本機數(shù)據(jù)庫表，用openrowset打開另1臺服務器得數(shù)據(jù)表，用on a.id=b.id語句與這2個數(shù)據(jù)表建立關系，再用full join命令把2張表的數(shù)據(jù)聯(lián)合起來。關鍵代碼如下所示：

SqlConnection con = new SqlConnection（"Data Source= J-23\J23SQL2005；Initial Catalog=Testlkss；Integrated Security=True"）；//建立與“J-23\J23SQL2005”與服務器數(shù)據(jù)庫連接

SqlCommand cmd=new SqlCommand（"client_insert"，con）；

cmd.CommandType=CommandType.StoredProcedure； //執(zhí)行存儲過程

本文，筆者對高校信息資源的數(shù)據(jù)整合進行了分析和研究，主要探討了數(shù)據(jù)整合的相關策略和模式，并結(jié)合具體實例給出了關鍵技術的實現(xiàn)代碼，為高校進行數(shù)據(jù)整合的設計提供了思路。