地質(zhì)災(zāi)害數(shù)據(jù)集成關(guān)鍵技術(shù)研究

蔡健文

摘要：本文探討了地質(zhì)災(zāi)害數(shù)據(jù)集成和數(shù)據(jù)集成系統(tǒng)，分析了地質(zhì)災(zāi)害數(shù)據(jù)集成工具的系統(tǒng)設(shè)計，研究了地質(zhì)災(zāi)害數(shù)據(jù)集成關(guān)鍵技術(shù)。

關(guān)鍵詞：地質(zhì)災(zāi)害;監(jiān)測;數(shù)據(jù)集成

中圖分類號：TP311.1 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2020）03-0113-02

1 地質(zhì)災(zāi)害數(shù)據(jù)集成和數(shù)據(jù)集成系統(tǒng)

數(shù)據(jù)集成的目的是通過數(shù)據(jù)集成操作為用戶提供更好的數(shù)據(jù)服務(wù)，數(shù)據(jù)集成系統(tǒng)的操作包括查詢優(yōu)化與更新，數(shù)據(jù)集成包括了數(shù)據(jù)轉(zhuǎn)化和數(shù)據(jù)清理，但卻不是兩者的相加，而是包括了數(shù)據(jù)清理和數(shù)據(jù)轉(zhuǎn)化的操作，數(shù)據(jù)集成主要是在集成系統(tǒng)上進(jìn)行操作。數(shù)據(jù)集成總體模型包括兩種，一種是完全建立一個全新的信息系統(tǒng)，實現(xiàn)對遺留系統(tǒng)數(shù)據(jù)以及所有操作的轉(zhuǎn)換，該方式不僅成本高而且實現(xiàn)難度很大，另一種方式是在原來的基礎(chǔ)上進(jìn)行擴(kuò)展，使新的系統(tǒng)可以滿足新的應(yīng)用需要[1]。

地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)的主要功能是為實現(xiàn)對地質(zhì)災(zāi)害相關(guān)信息數(shù)據(jù)的監(jiān)測和控制管理，利用該系統(tǒng)的實時性、全方位性及時發(fā)現(xiàn)地質(zhì)災(zāi)害情況并以此為依據(jù)給出相應(yīng)的地質(zhì)災(zāi)害防控方案。因此，地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)在設(shè)計時必須要求能夠獲得全方面的且真實可靠的監(jiān)測指標(biāo)，實現(xiàn)對地質(zhì)災(zāi)害的自動化監(jiān)測，利用自動化處理技術(shù)和相關(guān)集成數(shù)據(jù)操作軟件。首先要利用數(shù)據(jù)庫訪問組件能夠在需要的數(shù)據(jù)庫中獲取原始的監(jiān)測數(shù)據(jù)，再利用算法對這些監(jiān)測數(shù)據(jù)進(jìn)行處理分析，最后獲得的數(shù)據(jù)信息可匯總到數(shù)據(jù)庫中用于綜合評價分析所需。由于現(xiàn)有的數(shù)據(jù)庫優(yōu)化器以及執(zhí)行引擎等已經(jīng)不能適應(yīng)新的集成系統(tǒng)應(yīng)用所需，比如缺乏統(tǒng)計信息、數(shù)據(jù)到達(dá)時間不可預(yù)知、異構(gòu)數(shù)據(jù)源數(shù)據(jù)重疊和冗余等，因此必須加強(qiáng)對數(shù)據(jù)集成系統(tǒng)設(shè)計的研究。

2 地質(zhì)災(zāi)害數(shù)據(jù)集成工具的系統(tǒng)設(shè)計

數(shù)據(jù)集成包含數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清理等操作，所以對于數(shù)據(jù)集成系統(tǒng)的設(shè)計和實現(xiàn)會遇到不少困難，目前在地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)設(shè)計方面存在的問題：首先關(guān)于語義的數(shù)據(jù)清理，一方面數(shù)據(jù)清理的精確度和效率得不到保證，而數(shù)據(jù)清理的效果和效率會對數(shù)據(jù)質(zhì)量產(chǎn)生直接的影響，另一方面記錄間算法的聚類函數(shù)也需要進(jìn)一步研究才能實現(xiàn)高效聚類，只有提高數(shù)據(jù)清理的速度才能保證數(shù)據(jù)處理的精確度和效率。其次自動化或部分自動化的數(shù)據(jù)轉(zhuǎn)換，存在轉(zhuǎn)化效率和集成系統(tǒng)操作效率的問題，此外關(guān)于可視化界面的設(shè)計，主要功能集中在關(guān)系模型上，不具有數(shù)據(jù)清理功能，對于復(fù)雜的數(shù)據(jù)信息無法完成自動化轉(zhuǎn)化工作[2]。

關(guān)于地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)設(shè)計，系統(tǒng)設(shè)計的主要目標(biāo)是利用相關(guān)技術(shù)建立數(shù)據(jù)集成系統(tǒng)模型，從而為地質(zhì)災(zāi)害數(shù)據(jù)監(jiān)測提供高效可靠的服務(wù)。在進(jìn)行該系統(tǒng)設(shè)計時需要滿足幾點原則：（1）要求利用組件化方式進(jìn)行系統(tǒng)設(shè)計，系統(tǒng)必須要有良好的模塊化與可移植性，且遵循軟件工程的原理和方法。（2）要求有方便的接口，簡單的操作就能對異構(gòu)數(shù)據(jù)進(jìn)行操作，實現(xiàn)數(shù)據(jù)清理、轉(zhuǎn)化和集成。（3）要有可擴(kuò)展性，能處理新的數(shù)據(jù)類型，具備二次開發(fā)的功能，且具備良好的用戶可視化界面。

3 地質(zhì)災(zāi)害數(shù)據(jù)集成關(guān)鍵技術(shù)研究

3.1 對原始數(shù)據(jù)的處理

在進(jìn)行地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)設(shè)計過程中，首先必須采用自動化監(jiān)測技術(shù)及其相關(guān)監(jiān)測設(shè)備，但是監(jiān)測手段所獲得的數(shù)據(jù)信息都是原始信息，即頻率值，頻率值無法直接使用故而必須采用相應(yīng)的算法公式進(jìn)行計算，經(jīng)計算獲得的數(shù)據(jù)才能被用到地質(zhì)災(zāi)害監(jiān)測、災(zāi)害預(yù)警等工作中。因此，對原始數(shù)據(jù)進(jìn)行計算處理、轉(zhuǎn)化是整個地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)的關(guān)鍵技術(shù)之一，也是重要工作，為實現(xiàn)對監(jiān)測數(shù)據(jù)處理的自動化，有必要采用和工作流相結(jié)合的配置文件，采用不同的計算公式和參數(shù)，結(jié)合配置文件可進(jìn)行相關(guān)數(shù)據(jù)處理和數(shù)據(jù)庫構(gòu)建工作。

3.2 對異構(gòu)數(shù)據(jù)的集成化處理

對異構(gòu)數(shù)據(jù)進(jìn)行集成化處理，指的是針對不同數(shù)據(jù)庫中的不同數(shù)據(jù)，采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)對這些存儲的監(jiān)測數(shù)據(jù)進(jìn)行集中化處理，需要用到數(shù)據(jù)轉(zhuǎn)化、計算方式，然后將這些經(jīng)過統(tǒng)一處理后的數(shù)據(jù)匯總到統(tǒng)一到監(jiān)測數(shù)據(jù)庫中。

3.3 數(shù)據(jù)標(biāo)準(zhǔn)

利用地質(zhì)災(zāi)害數(shù)據(jù)監(jiān)測技術(shù)獲得的相關(guān)監(jiān)測數(shù)據(jù)在一段時間內(nèi)一般會對應(yīng)相應(yīng)的監(jiān)測值，可通過映射關(guān)系將這些對應(yīng)同一個監(jiān)測值的監(jiān)測數(shù)據(jù)集中到一個相互關(guān)系中，這個相互關(guān)系就是數(shù)據(jù)標(biāo)準(zhǔn)，可用一張表格實現(xiàn)對大部分監(jiān)測數(shù)據(jù)的管理。而在進(jìn)行實際地質(zhì)災(zāi)害數(shù)據(jù)監(jiān)測工作時，一般采集一次數(shù)據(jù)需要多個監(jiān)測值，對于深部位移的監(jiān)測，深度不同、位置不同都需要設(shè)置多個監(jiān)測點，這時每一個時刻就會對應(yīng)不同的位移值，因此必須要使用多個監(jiān)測值。對于不同方向的兩個位移值，監(jiān)測設(shè)備的電壓、溫度等參數(shù)也不相同，因此需要對整個數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)進(jìn)行細(xì)分，這時編碼一般要由多個字符構(gòu)成。

3.4 多源數(shù)據(jù)庫支持

地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)各種各樣，包括結(jié)構(gòu)性和非結(jié)構(gòu)性數(shù)據(jù)，所以對于監(jiān)測數(shù)據(jù)庫的構(gòu)建，也需要建立多源數(shù)據(jù)庫，不同的數(shù)據(jù)庫中包含了不同類型的監(jiān)測數(shù)據(jù)，通過集成化處理使這些數(shù)據(jù)能夠集中到相同的平臺上進(jìn)行分析處理，所建立的數(shù)據(jù)平臺能夠訪問不同類型的數(shù)據(jù)庫組件，并能夠?qū)崿F(xiàn)不同數(shù)據(jù)庫之間的轉(zhuǎn)換。

3.5 數(shù)據(jù)集成系統(tǒng)優(yōu)化

地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)中，對監(jiān)測數(shù)據(jù)存儲進(jìn)行優(yōu)化是因為數(shù)據(jù)采集頻率高、且進(jìn)行數(shù)據(jù)監(jiān)測時間持續(xù)長，隨著數(shù)據(jù)監(jiān)測時間的增加，地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)量將十分龐大，對數(shù)據(jù)存儲提出了更高的要求，不僅要求數(shù)據(jù)存儲的安全性還要提高數(shù)據(jù)響應(yīng)效率，使這些數(shù)據(jù)能夠及時為地質(zhì)災(zāi)害相關(guān)工作提供服務(wù)。此外，地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)的目的之一是供地質(zhì)災(zāi)害數(shù)據(jù)監(jiān)測工作查詢使用，因此除了監(jiān)測數(shù)據(jù)存儲優(yōu)化外還應(yīng)該做好查詢優(yōu)化，查詢優(yōu)化指的是在數(shù)據(jù)庫中預(yù)先確定好策略，或者在數(shù)據(jù)庫運(yùn)行時進(jìn)行調(diào)度和再優(yōu)化，在虛擬數(shù)據(jù)庫下數(shù)據(jù)分布在各個數(shù)據(jù)源上，因此查詢需要重寫，數(shù)據(jù)可能存在到達(dá)不可預(yù)知、規(guī)模和估計規(guī)模差異較大的問題，這時需要采用查詢優(yōu)化器對查詢計劃進(jìn)行再次調(diào)度和再次優(yōu)化，從而提高數(shù)據(jù)查詢的效率和質(zhì)量。在模擬模式下還存在數(shù)據(jù)冗余、重疊和鏡像、噪音等問題，因此對數(shù)據(jù)查詢進(jìn)行優(yōu)化十分必要[3]。

3.6 物化視圖

地質(zhì)災(zāi)害數(shù)據(jù)集成系統(tǒng)設(shè)計時要求實現(xiàn)可視化界面要求，視圖實際上也是虛擬表格，無法實現(xiàn)對數(shù)據(jù)的存儲和查詢，只定義了可進(jìn)行查詢的語句，在訪問數(shù)據(jù)庫時礙事需要從其他表格中獲取數(shù)據(jù)并進(jìn)行相應(yīng)的計算。因此，為避免對數(shù)據(jù)查詢產(chǎn)生影響，采用物化視圖不但可以保證數(shù)據(jù)訪問的效率、提高用戶體驗，而且在龐大數(shù)據(jù)量的情況下尤其可以提高工作效率。

4 結(jié)語

綜上所述，隨著近年來社會經(jīng)濟(jì)的快速發(fā)展，環(huán)境問題也越來越多，尤其工程量的增多使得地質(zhì)災(zāi)害問題成為影響人們生活和城市發(fā)展的最主要問題。這些因素引起的地質(zhì)災(zāi)害如果可以提前進(jìn)行數(shù)據(jù)監(jiān)測并采取相應(yīng)的防控措施，便可以有效降低發(fā)生率、降低危害程度。因此，采用數(shù)據(jù)集成技術(shù)，通過建立數(shù)據(jù)集成系統(tǒng)對地質(zhì)災(zāi)害進(jìn)行監(jiān)測和預(yù)警十分必要。

參考文獻(xiàn)

[1] 何朝陽，巨能攀，黃健.地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)集成系統(tǒng)設(shè)計及實現(xiàn)[J].工程地質(zhì)學(xué)報，2014（03）：405-411.

[2] 韓煜，樊浩.多源地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)管理及預(yù)報系統(tǒng)的設(shè)計與實現(xiàn)[J].測繪技術(shù)裝備，2016（02）：15-19.

[3] 張亮.地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)集成系統(tǒng)設(shè)計及實現(xiàn)[J].工程技術(shù)（引文版），2016（12）：281.

Abstract：This paper discusses the data integration and data integration system of geological disaster， analyzes the system design of data integration tools of geological disaster， and studies the key technologies of data integration of geological disaster.

Key words：geological disaster; monitoring; data integration