基于ETL工具的系泊監測數據回傳方式

張 鵬

（中海油能源發展股份有限公司采油服務分公司 天津 300000）

引言

單點系泊是中國海上油田FPSO作業期間普遍采用的一種系泊方式，通過單點系泊裝置實現FPSO定位，井液輸送，電力、控制、通訊信號輸送。同時，FPSO在單點系泊裝置的牽引下，做風向標運動，使其在各種風浪流作用下的應力達到最小。[1]因此，單點系泊裝置成為保障FPSO連續安全作業的關鍵設備。

從近十幾年國內應用效果來看，圍繞單點系泊裝置引發的生產安全事故時有發生，單點液壓緊固件損壞導致單點艙透水的事故，系泊錨鏈斷裂導致生產立管損壞的事故，甚至發生過單點塔架倒塌導致FPSO解脫漂移的嚴重事故，造成重大經濟損失和不良社會影響。海上油田作業者愈發認識到對作業期間的單點系泊裝置進行監測、預警是十分必要的，陸續開展對在役FPSO加裝系泊數據監測系統的工作，同時要求新建FPSO建造期間同期安裝。[1,2]

最近幾年，中國海油旗下FPSO運營公司對標國際，圍繞系泊技術開展了一系列基礎工作，從錨鏈更換到滑環維修再到參與單點設計及滑環研制，逐步形成了系泊技術方面的經驗積累。從2017年，以公司系泊技術方面的工程技術人員為基礎開始籌備組建國內首家系泊技術實驗室，長期開展FPSO系泊數據監測、分析、診斷、評估工作成為實驗室的核心業務之一。因此，能夠連續抓取分布于中國各個海域內的FPSO系泊監測數據，并實現數據轉換整合的數據回傳方式，是實驗室前期建設的重要課題。

1 系泊數據監測系統基本情況調查

目前，中國海上油田現役FPSO共計13艘，分布于渤海、南海，其中6艘已安裝功能較為完善的系泊數據監測系統，5艘可以長期提供穩定、全面、可靠的數據源（表1）。

表1 部分在役FPSO系泊數據檢測系統安裝情況

1.1 系統功能及構架

標準的系統監測功能包括：系泊力、運動姿態、環境條件三大類。[2]通用數據采集范圍涉及17項參數（表2），有些FPSO會根據單點形式和海域環境特點設置個性化參數。數據采集頻率5HZ、1HZ。系統主要設備包括傳感器、數據采集器、上位機。上位機安裝監測軟件和數據庫，實現監測預警、中間過程計算、數據存儲。

表2 測量參數類型

1.2 對外通訊方式及質量

截止2017年底，中國海域內海上油田已實現微波網絡全面覆蓋，海陸聯接帶寬10-30MBps，平均延遲＜3mS。上述6艘FPSO的系泊數據監測系統滿足接入海油專網的條件，可實現海陸數據聯通。南海部分系泊數據監測系統還考慮到了躲避臺風期間，人員撤離后，FPSO斷網斷電的特殊情況，這時監測系統可以依靠專屬UPS供電繼續工作3-7天，期間可以通過海事衛星與外部進行通訊連接。

2 ETL技術原理

ETL（Extract-Transform-Load）是用來描述將數據從來源端經過抽取、交互轉換、加載至目的端的過程。[3]這一概念來自于數據倉庫，是構建數據倉庫的重要一環，用戶從數據源抽取出所需的數據，經過數據清洗，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。伴隨著數據倉庫，ETL技術已經發展了近30年，從紛繁復雜逐步走向標準化，其技術日趨成熟。

2.1 ETL的實現方式

ETL的實現有多種方法，常用的有兩種。[4]一種是通過SQL編程方式實現。其優點是靈活，可實現復雜的功能應用，執行過程高效，但是編碼復雜，技術要求高，后期維護過程有一定的難度，且不容易擴展。另一種是借助ETL工具實現。ETL工具是數據庫廠商或第三方開發的專業工具軟件，借助工具可以快速建立起ETL過程，屏蔽了復雜的編碼任務，提高了開發效率，降低了技術難度，但是缺少一定的靈活性，不過這也是當前大數據時代普遍采用的一種方式。

2.2 ETL工具架構

ETL工具有兩種技術架構，ETL架構和ELT架構，區別如下：[5]

2.2.1 ETL架構

在ETL架構中，數據的流向是從源數據流到ETL工具，ETL工具是一個單獨的數據處理引擎，一般會在單獨的硬件服務器上，實現所有數據轉化的工作，然后將數據加載到目標數據倉庫中，如果要增加整個ETL過程的效率，則只能增強ETL工具服務器的配置，優化系統處理流程。ETL架構的特點包括：

（1）ETL可以分擔數據庫系統的負載。

（2）ETL相對于ELT架構可以實現更為復雜的數據轉化邏輯。

（3）ETL采用單獨的硬件服務器。

（4）ETL與底層的數據庫數據存儲無關。

2.2.2 ELT架構

在ELT架構中，ELT只負責提供圖形化的界面來設計業務規則，數據的整個加工過程都在目標和源的數據庫之間流動，ELT協調相關的數據庫系統來執行相關的應用，數據加工過程既可以在源數據庫端執行，也可以在目標數據倉庫端執行。當ELT過程需要提高效率，則可以通過對相關數據庫進行調優，或者改變執行加工的服務器就可以達到。ELT架構的特點包括：

（1）ELT主要通過數據庫引擎來實現系統的可擴展性。

（2）ELT可以保持所有的數據始終在數據庫當中，避免數據的加載和導出，從而保證效率，提高系統的可監控性。

（3）ELT可以根據數據的分布情況進行并行處理優化，并可以利用數據庫的固有功能優化磁盤I/O。

（4）ELT的可擴展性取決于數據庫引擎和其硬件服務器的可擴展性。

（5）通過對相關數據庫進行性能調優。

3 基于ETL工具的數據回傳方式設計

3.1 ETL工具的選擇與對比

近年來大數據概念席卷全球，圍繞大數據的相關應用如雨后春筍。能夠實現快速部署的數據集成業務推動了ETL工具快速發展。常用的ETL工具主要包括國外商業品牌，開源工具、國產商業品牌這三類（表3）。國外商業品牌工具功能強大，尤其是大型數據庫廠商開發的自有工具能夠與其數據庫完美配合，但產品費用和后期維護成本高昂，適合大型數據工程。開源工具可以免費獲取，代碼公開透明，能夠實現快速部署，實施過程幾乎沒有成本，但后期維護沒有技術保障，對于維護人員的技術水平有較高的要求，適合個人應用或者搞數據實驗。國產商業品牌工具最近幾年也有了相當不錯的進步，內核多基于國外開源工具，產品費用相對低廉，后期維護能夠獲得技術支持，適合中小型數據工程。

表3 部分常用ETL工具

3.2 ETL工具基本配置方法

使用ETL工具可以快速實現數據抓取、整合的工作（圖A），避免了開發專業軟件的復雜過程。ETL工具對于使用者像一個遮蔽的黑盒，無需關心其內部代碼執行過程，使用者只需把精力投入到參數配置過程。

圖A 系泊數據回傳系統架構

ETL工具通常都具備圖形化操作界面，使用過程像搭建流程圖一樣快捷、簡便、直觀。以Beeload軟件為例，通過以下步驟表4可以實現數據回傳的基本需求。

表4 ETL工具配置步驟

3.3 優化設計分析

通常，經過以上配置過程就可以實現數據回傳的基本需求，但要保持高效、穩定的運行還需要從以下幾個方面進行深入細致的調優設計。

3.3.1 ETL工具的部署

ETL工具可以直接部署在目標數據庫服務器上，這種布部署能夠減少硬件投入，提高網絡I/O效率。也可以獨立部署在一臺專用服務器上，這種布部署能夠加強系統安全性和獨立性，避免與其他系統爭奪CPU和內存資源。當清洗轉換過程不需要太多的計算，而對網絡響應速率有要求的時候，可以選擇直接部署在目標數據庫服務器上。

3.3.2 數據源的選擇

數據源的質量是實現有效回傳的前提，應該對數據進行充分分析。例如，ETL工具能夠提供多種數據源接口，包括結構化和非結構化的數據，但還是要盡量選擇結構化的數據資源以提高抓取效率。如果有可能，可以對源數據做進一步的改造。

3.3.3 目標數據庫的設計

目標數據庫結構應根據源數據結構統一成為合理的、關聯的、分析型的新結構，其結構應該能最大化地承載關鍵業務數據，便于查詢和發布。設計過程要重視數據標準化定義，實現統一的編碼、統一的分類和組織。

3.3.4 數據清洗轉換

數據清洗轉換是建立源數據到目標數據字段映射的過程。由于數據源的多樣性，需要建立規則統一數據類型、祛除臟數據，以免給后期數據裝載帶來麻煩。通過ETL工具自帶的函數集可以實現復雜的轉換規則，也可以實現中間過程量到最終結果的計算。如果轉換清洗算法復雜，計算量大，ETL工具應該獨立部署在一個服務器上。

3.3.5 數據同步

數據同步是ETL過程中重要的環節，規則設定的優劣直接影響傳輸效率。數據同步要求源數據的變化能夠映射到目標數據庫中。數據同步模式包括：全量同步模式和增量同步模式。[6]全量同步模式將源數據無差別全部復制到目標數據庫中，隨著數據記錄的增多同步過程會消耗大量時間，造成網絡堵塞，通常只用于初始數據同步或者源數據記錄少且增長不大的同步過程。增量同步模式將源數據與目標數據進行比對，僅對差異部分進行同步更新，適用于源數據記錄不斷增加的同步過程。增量模式又包括：差異增量模式、時間戳模式、觸發器模式。差異增量模式通過邏輯主鍵逐行比較源數據和目標數據，源數據在目標數據表中不存在則插入，存在且信息不同則更新目標數據，目標數據在源數據表中不存在則刪除目標數據，能夠實現無差別同步。同步過程期間需要大范圍比較，效率比較低，不適合大數據量的同步過程。時間戳模式要求源數據表中存在至少1個字段（時間戳），其值隨著時間變化不斷累計，同步過程中，程序通過時間戳對數據進行過濾，結束后程序記錄時間戳信息。這種模式適合源數據只增不減，不斷累積的同步過程。觸發器模式要求在源數據庫中創建觸發器和臨時表，觸發器捕獲新增、修改、刪除的數據到臨時表中，程序從臨時表再同步到目標數據表，同步過程效率高，由于源數據服務器分擔了一部分工作使得ETL服務器負荷大大降低，但是這種模式對源數據庫有較高的要求。數據同步過程還需要作業調度配合，以實現自動定時抓取數據。作業調度設計要求充分考慮同步頻率、數據采集密度與傳輸效率之間的矛盾，同步頻率高，采集密度大容易造成網絡堵塞。對實時性要求不高，可以降低同步頻率，甚至可以選擇T+1同步（隔天同步）。對實時性要求高，可以通過數據篩選降低采集密度。

結語

使用ETL工具抓取數據已經成為業內比較成熟的解決方案。通過ETL工具實現系泊監測數據回傳優勢明顯：①實施過程簡易高效，能夠快速達到數據整合的目的；②相比較專業開發，節省人力物力；③后期維護過程穩定可靠，不需要投入太多精力；④具備很強的擴展能力，隨時可以加入新的數據源。目前，國產部分ETL工具軟件進步很快，在業界積累了一定的成功經驗，足以應對中小型數據工程的基本需求，是一個性價比不錯的選擇。