基于地震資料處理的數(shù)據(jù)庫遷移方法研究

金弟，邵萌珠，何嘉誠，葉月明，王宗仁

（中國石油杭州地質(zhì)研究院計(jì)算機(jī)應(yīng)用研究所，浙江杭州 310023）

地震資料處理平臺是油氣勘探開發(fā)領(lǐng)域重要的科研裝備[1-2]，對油氣井位部署和規(guī)模油氣藏發(fā)現(xiàn)起到重要作用。杭州地質(zhì)研究院是以海相海洋為特色的中國石油下屬油氣勘探研究院，開展國內(nèi)外油氣勘探地震資料目標(biāo)處理研究。隨著油氣勘探深入開展，需對現(xiàn)有地震資料處理平臺的數(shù)據(jù)庫系統(tǒng)進(jìn)行升級改造，為了有高性價(jià)比以及快速有效方便完整進(jìn)行數(shù)據(jù)庫遷移，提出將Oracle 數(shù)據(jù)庫[3-4]遷移到PostgreSQL 數(shù)據(jù)庫[5-7]的數(shù)據(jù)遷移解決方案。為油氣勘探開發(fā)領(lǐng)域的數(shù)據(jù)庫數(shù)據(jù)遷移提供借鑒參考。

1 數(shù)據(jù)庫遷移設(shè)計(jì)方案

1.1 數(shù)據(jù)組織結(jié)構(gòu)分析

現(xiàn)有地震資料處理的Oracle 數(shù)據(jù)庫系統(tǒng)共有OPM、OCM、RDM 等7 個(gè)數(shù)據(jù)庫實(shí)例，涉及的處理工區(qū)有常規(guī)處理、交互式處理、時(shí)間偏移、深度偏移四種地震工區(qū)類型[8]。如圖1 所示，整個(gè)數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)組織架構(gòu)以地震項(xiàng)目工區(qū)為核心，每個(gè)地震項(xiàng)目工區(qū)在物理上對應(yīng)一個(gè)表空間，邏輯上對應(yīng)一個(gè)Schema，每個(gè)Schema 對應(yīng)所屬的數(shù)據(jù)庫對象集。

圖1 地震資料處理數(shù)據(jù)組織邏輯結(jié)構(gòu)

可以看出，數(shù)據(jù)庫數(shù)據(jù)組織結(jié)構(gòu)具有多數(shù)據(jù)庫實(shí)例、多地震項(xiàng)目工區(qū)類型、多Schema、多數(shù)據(jù)庫對象、多數(shù)據(jù)變化等特點(diǎn)。這些特點(diǎn)增加了數(shù)據(jù)庫數(shù)據(jù)遷移過程的復(fù)雜性，提升了對數(shù)據(jù)遷移完整性的要求，是數(shù)據(jù)庫數(shù)據(jù)遷移的難點(diǎn)所在。也是在設(shè)計(jì)數(shù)據(jù)遷移方案時(shí)，重點(diǎn)需要解決的關(guān)鍵性問題。

1.2 數(shù)據(jù)遷移技術(shù)流程

通過上述對地震資料處理平臺Oracle 數(shù)據(jù)庫數(shù)據(jù)組織邏輯結(jié)構(gòu)的闡述與分析，數(shù)據(jù)庫系統(tǒng)有多個(gè)數(shù)據(jù)庫實(shí)例和一定規(guī)模數(shù)量不同類型的地震資料處理項(xiàng)目工區(qū)Schema。

數(shù)據(jù)庫數(shù)據(jù)遷移以地震資料處理項(xiàng)目工區(qū)為一個(gè)邏輯遷移單位，數(shù)據(jù)庫數(shù)據(jù)遷移方法的核心思想是采用模板機(jī)制方法設(shè)計(jì)來解決。

1）分析源數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)庫實(shí)例層的數(shù)據(jù)組織結(jié)構(gòu)，構(gòu)建數(shù)據(jù)庫實(shí)例級模板及相關(guān)參數(shù)，分析源數(shù)據(jù)庫系統(tǒng)的不同地震項(xiàng)目工區(qū)層的數(shù)據(jù)組織結(jié)構(gòu)，構(gòu)建地震工區(qū)級模板及相關(guān)參數(shù)，完成二類模板構(gòu)建及參數(shù)選擇。

2）設(shè)計(jì)模板轉(zhuǎn)換程序，針對具體的數(shù)據(jù)庫實(shí)例名稱、項(xiàng)目工區(qū)類型、項(xiàng)目工區(qū)名稱等參數(shù)輸入完成模板到項(xiàng)目工區(qū)級數(shù)據(jù)遷移的SQL 執(zhí)行腳本集。

3）根據(jù)SQL 執(zhí)行腳本集完成數(shù)據(jù)庫數(shù)據(jù)遷移和數(shù)據(jù)完整性、一致性檢查。數(shù)據(jù)遷移技術(shù)流程如圖2所示。

圖2 數(shù)據(jù)遷移技術(shù)流程

1.3 創(chuàng)建模板與參數(shù)選擇

隨著地震資料處理平臺長期使用和地震資料處理項(xiàng)目工區(qū)增多，7 個(gè)數(shù)據(jù)庫實(shí)例與不同地震項(xiàng)目工區(qū)的組合在源數(shù)據(jù)庫系統(tǒng)中產(chǎn)生大量的Schema，每個(gè)Schema 又產(chǎn)生眾多所屬的數(shù)據(jù)庫對象集，因此源數(shù)據(jù)庫系統(tǒng)的各個(gè)數(shù)據(jù)庫實(shí)例中具有Schema 數(shù)量的動(dòng)態(tài)變化和數(shù)據(jù)庫對象集合的數(shù)量規(guī)模不確定性等特性，通過模板機(jī)制能很好地解決這些問題。

針對7 個(gè)數(shù)據(jù)庫實(shí)例設(shè)計(jì)7 個(gè)數(shù)據(jù)庫實(shí)例級的模板。如圖3，針對四種地震資料處理項(xiàng)目工區(qū)類型設(shè)計(jì)四類地震項(xiàng)目工區(qū)級模板，針對每個(gè)數(shù)據(jù)庫實(shí)例模板和每類地震項(xiàng)目工區(qū)類型的特點(diǎn)，結(jié)合對應(yīng)地震項(xiàng)目工區(qū)Schema 中的數(shù)據(jù)庫對象類型，每類地震項(xiàng)目工區(qū)級模板由若干數(shù)據(jù)庫對象子模板構(gòu)成，結(jié)合模板的參數(shù)選擇實(shí)現(xiàn)模板到可執(zhí)行遷移腳本程序集的生成。

1.4 遷移工具設(shè)計(jì)

遷移工具主要由SQL 模板集、Perl[9]轉(zhuǎn)換程序、SQL 腳本集等構(gòu)成。

1）SQL 模板實(shí)現(xiàn)在1.3 節(jié)闡述的各類模板。

2）Perl 轉(zhuǎn)換程序是遷移工具的主程序執(zhí)行代碼，主要包括把SQL 模板轉(zhuǎn)換成SQL 腳本集和執(zhí)行SQL 腳本集兩項(xiàng)功能。

圖3 二類模板創(chuàng)建與執(zhí)行腳本生成關(guān)系

3）SQL 腳本集分為創(chuàng)建、拷貝、修改三種類型，創(chuàng)建類SQL 腳本主要完成表、序列、視圖、觸發(fā)器等數(shù)據(jù)庫對象的創(chuàng)建功能，拷貝類SQL 腳本完成對應(yīng)數(shù)據(jù)庫對象的實(shí)體數(shù)據(jù)從源數(shù)據(jù)庫系統(tǒng)服務(wù)器遷移到目標(biāo)數(shù)據(jù)庫系統(tǒng)服務(wù)器，修改類SQL 腳本通過追加約束、索引等數(shù)據(jù)庫操作修改數(shù)據(jù)庫的地震資料處理項(xiàng)目工區(qū)相關(guān)聯(lián)的Schema 所屬數(shù)據(jù)庫對象集。

2 數(shù)據(jù)庫數(shù)據(jù)遷移實(shí)現(xiàn)

該節(jié)以O(shè)PM 為數(shù)據(jù)庫實(shí)例，某海域的一個(gè)時(shí)間偏移地震項(xiàng)目工區(qū)作為數(shù)據(jù)遷移案例。源數(shù)據(jù)庫系統(tǒng)為2010 年建設(shè)的Oracle 數(shù)據(jù)庫，目標(biāo)數(shù)據(jù)庫系統(tǒng)為2022 年建設(shè)的PostgrepSQL，源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫的遷移環(huán)境如表1所示，案例數(shù)據(jù)信息如表2所示。

表1 數(shù)據(jù)遷移環(huán)境

表2 案例數(shù)據(jù)信息

2.1 遷移前相關(guān)準(zhǔn)備工作

2.1.1 遷移數(shù)據(jù)備份

在進(jìn)行數(shù)據(jù)遷移之前，為了解決在數(shù)據(jù)遷移過程中出現(xiàn)數(shù)據(jù)缺失、數(shù)據(jù)錯(cuò)誤導(dǎo)致數(shù)據(jù)無法恢復(fù)的問題，需對源數(shù)據(jù)庫系統(tǒng)Oracle 進(jìn)行備份。由于遷移數(shù)據(jù)以地震資料處理項(xiàng)目工區(qū)為遷移單位，因此需要對遷移的項(xiàng)目工區(qū)進(jìn)行備份。在源數(shù)據(jù)庫服務(wù)器上，利用Oracle Export 工具[10]對該項(xiàng)目工區(qū)對應(yīng)的Schema 的數(shù)據(jù)庫對象集合進(jìn)行邏輯備份。

2.1.2 Oracle_FDW安裝配置與互連

數(shù)據(jù)遷移工作需要在目標(biāo)數(shù)據(jù)庫服務(wù)器上對源數(shù)據(jù)庫服務(wù)器執(zhí)行遠(yuǎn)程數(shù)據(jù)遷移任務(wù)，通過PostgreSQL 的 Oralce_FDW(ForeignDataWrapper for Oracle Database)[11]方式創(chuàng)建源數(shù)據(jù)庫系統(tǒng)與目標(biāo)數(shù)據(jù)庫系統(tǒng)互連數(shù)據(jù)遷移通道。目標(biāo)數(shù)據(jù)庫服務(wù)器需要進(jìn)行如下安裝配置：

2.2 創(chuàng)建OPM數(shù)據(jù)庫實(shí)例

2.2.1 創(chuàng)建OPM數(shù)據(jù)庫實(shí)例模板

在目標(biāo)數(shù)據(jù)庫服務(wù)器上，OPM 數(shù)據(jù)庫實(shí)例創(chuàng)建主要包括兩項(xiàng)功能，一是創(chuàng)建OPM 數(shù)據(jù)庫用戶名、實(shí)例名以及相關(guān)授權(quán)操作，二是創(chuàng)建OPM 數(shù)據(jù)庫用戶對應(yīng)的Schema 數(shù)據(jù)庫對象集合。下面為OPM 數(shù)據(jù)庫實(shí)例模板中創(chuàng)建數(shù)據(jù)庫的部分SQL 代碼，其中$dbuser、$dbpassword 等以$開頭的為參數(shù)輸入（下同）：

2.2.2 生成創(chuàng)建數(shù)據(jù)庫實(shí)例執(zhí)行SQL腳本

通過轉(zhuǎn)換程序模塊把OPM 數(shù)據(jù)庫實(shí)例模板轉(zhuǎn)換成可執(zhí)行的SQL 腳本，以下為轉(zhuǎn)換程序函數(shù)調(diào)用入口：

PGUtils 是轉(zhuǎn)換程序工具包，ConvertToDBSQL 函數(shù)共有5 個(gè)參數(shù)。第一個(gè)參數(shù)為OPM 數(shù)據(jù)庫實(shí)例模板；第二個(gè)參數(shù)為除模板之外新追加的執(zhí)行程序代碼變化部分；第三個(gè)參數(shù)為轉(zhuǎn)換成可執(zhí)行的SQL 腳本的存儲位置；第四個(gè)參數(shù)為模板中需要被替換的部分參數(shù)列表，一般是$開頭的參數(shù)，如$dbuser 等；第五個(gè)參數(shù)為實(shí)際替換的具體參數(shù)值列表，如hzopm001。

2.3 創(chuàng)建時(shí)間偏移地震項(xiàng)目工區(qū)

2.3.1 動(dòng)態(tài)構(gòu)建時(shí)間偏移地震項(xiàng)目工區(qū)模板

針對源數(shù)據(jù)庫服務(wù)器，根據(jù)地震項(xiàng)目工區(qū)模板類型、源數(shù)據(jù)庫的OPM 數(shù)據(jù)庫名稱、源OPM 數(shù)據(jù)庫中被遷移的Schema 名稱，生成該Schema 對應(yīng)的數(shù)據(jù)庫對象集數(shù)據(jù)，為轉(zhuǎn)換程序生成最后的數(shù)據(jù)庫對象創(chuàng)建提供源數(shù)據(jù)庫對象信息。在hzopm001 數(shù)據(jù)庫實(shí)例中，ZZ99 項(xiàng)目工區(qū)對應(yīng)的Schema 主要包括表、視圖、序列、角色、觸發(fā)器等數(shù)據(jù)庫對象類型。模板生成信息函數(shù)如下：

2.3.2 地震項(xiàng)目工區(qū)數(shù)據(jù)庫對象創(chuàng)建

在已經(jīng)創(chuàng)建目標(biāo)數(shù)據(jù)庫服務(wù)器的OPM 數(shù)據(jù)庫實(shí)例中，完成批量自動(dòng)創(chuàng)建地震項(xiàng)目工區(qū)對應(yīng)的表空間、用戶、權(quán)限等。對于一些特殊的數(shù)據(jù)庫對象集，如數(shù)據(jù)庫對象索引index、約束constraint、序列sequence 等與源數(shù)據(jù)庫對應(yīng)不一致，需要在目標(biāo)數(shù)據(jù)庫系統(tǒng)中額外重建。

如在模板數(shù)據(jù)庫對象集中，對地震項(xiàng)目工區(qū)輸入表PROJECT_INPUT_DATA、作業(yè)運(yùn)行狀態(tài)視圖JOB_RUN_VIEW 等自動(dòng)創(chuàng)建，而相關(guān)索引、約束、序列需另外重建。

2.4 執(zhí)行數(shù)據(jù)遷移

完成創(chuàng)建數(shù)據(jù)庫實(shí)例OPM 和時(shí)間偏移地震項(xiàng)目工區(qū)ZZ99，對應(yīng)Schema 所屬數(shù)據(jù)庫對象集的元信息在目標(biāo)數(shù)據(jù)庫服務(wù)器中構(gòu)建生成，開始進(jìn)入用戶數(shù)據(jù)的遷移工作。由于源數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)對象集的元數(shù)據(jù)結(jié)構(gòu)動(dòng)態(tài)變化，在遷移數(shù)據(jù)的過程中，采用動(dòng)態(tài)獲取數(shù)據(jù)庫對象的元數(shù)據(jù)結(jié)構(gòu)信息方法。

以數(shù)據(jù)庫對象table 為例,遷移過程方法如下：

1）輸入Schema 名稱、Tables 名稱，從源數(shù)據(jù)庫系統(tǒng)中動(dòng)態(tài)獲取Table 的元數(shù)據(jù)結(jié)構(gòu)信息：

2）根據(jù)動(dòng)態(tài)獲取的源數(shù)據(jù)庫系統(tǒng)中table 對應(yīng)的數(shù)據(jù)結(jié)構(gòu)信息，實(shí)現(xiàn)Table 中的源數(shù)據(jù)庫系統(tǒng)用戶數(shù)據(jù)遷移到對應(yīng)的目標(biāo)數(shù)據(jù)庫系統(tǒng)中：

3）在遷移的過程中，參照文獻(xiàn)[12-13]的方法解決數(shù)據(jù)轉(zhuǎn)換過程錯(cuò)誤、數(shù)據(jù)類型不一致、目標(biāo)數(shù)據(jù)庫字段信息不一致等常見問題。

2.5 數(shù)據(jù)遷移結(jié)果分析驗(yàn)證

數(shù)據(jù)遷移時(shí)在多臺機(jī)器上執(zhí)行多個(gè)任務(wù)，并通過網(wǎng)絡(luò)傳送大量數(shù)據(jù)，不可避免會出現(xiàn)錯(cuò)誤[14]。需要對數(shù)據(jù)遷移結(jié)果的一致性與完整性進(jìn)行檢查，主要從數(shù)據(jù)庫對象的數(shù)量、數(shù)據(jù)庫對象存儲的數(shù)據(jù)量以及地震資料處理應(yīng)用軟件獲取數(shù)據(jù)庫數(shù)據(jù)效果三個(gè)方面進(jìn)行。

2.5.1 數(shù)據(jù)庫對象數(shù)量

在源數(shù)據(jù)庫系統(tǒng)中，向系統(tǒng)表user_objects 中獲取所有的數(shù)據(jù)庫對象類型及其對應(yīng)的數(shù)據(jù)庫對象數(shù)量，然后與目標(biāo)數(shù)據(jù)庫進(jìn)行對比，確保數(shù)據(jù)遷移到目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫對象類型、數(shù)據(jù)庫對象數(shù)量不丟失遺漏。圖4為使用Oracle sqlplus和PostgreSQL psql 分別統(tǒng)計(jì)的數(shù)據(jù)庫對象數(shù)量排名前五的源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫的對象數(shù)量對比。

圖4 數(shù)據(jù)遷移前后數(shù)據(jù)庫對象數(shù)量對比

2.5.2 數(shù)據(jù)庫數(shù)據(jù)量

地震資料處理涉及海量的地震資料采集文件數(shù)據(jù)、中間生成文件數(shù)據(jù)以及成果文件數(shù)據(jù)，這些文件數(shù)據(jù)信息主要存放在帶有dataset 標(biāo)識的相關(guān)表中，是核心數(shù)據(jù)信息之一。圖5 列舉了這些核心數(shù)據(jù)量排名前五的數(shù)據(jù)遷移前后的對比。

圖5 數(shù)據(jù)遷移前后數(shù)據(jù)庫數(shù)據(jù)數(shù)量對比

2.5.3 應(yīng)用軟件實(shí)效

圖6 是遷移前基于Oracle 的Omega2011 應(yīng)用中，舊地震項(xiàng)目工區(qū)ZZ98的25個(gè)有效地震資料處理作業(yè)流程。圖7是遷移后基于PostgreSQL的Omega2021 應(yīng)用中[15-19]，新地震項(xiàng)目工區(qū)ZZ99 的25 個(gè)有效地震資料處理作業(yè)流程。數(shù)據(jù)庫遷移前后確保相同的作業(yè)流程名和個(gè)數(shù)，而且Oracle數(shù)據(jù)庫中的非活動(dòng)的無效作業(yè)流程（標(biāo)識打×）沒有遷移到PostgreSQL數(shù)據(jù)庫系統(tǒng)中。

圖6 遷移前基于Oracle的Omega2011應(yīng)用

圖7 遷移后基于PostgreSQL的Omega2021應(yīng)用

3 結(jié)束語

基于地震資料處理平臺的數(shù)據(jù)庫遷移是油氣勘探行業(yè)科研裝備更新?lián)Q代的重要一環(huán)，在地震資料并行處理應(yīng)用軟件Omeg 的應(yīng)用場景下，文中給出的從Oracle 數(shù)據(jù)庫系統(tǒng)向PostgreSQL 數(shù)據(jù)庫系統(tǒng)遷移的方法和工具取得了很好的效果。但是在整個(gè)遷移過程中，還存在著手動(dòng)人工干預(yù)操作，如何從源數(shù)據(jù)庫系統(tǒng)中自動(dòng)智能化獲取全面的元數(shù)據(jù)信息，并能自我糾錯(cuò)地生成對應(yīng)的目標(biāo)數(shù)據(jù)庫系統(tǒng)元信息，遷移解決方案適用到更多的地震資料并行處理應(yīng)用軟件的應(yīng)用場景中，這些都是今后下一步研究的方向和內(nèi)容。