面向渤海生態環境的數據庫管理系統設計與實現?

王 瑞， 于曉霞， 葉 敏??， 梁生康， 楊燕群， 韋志國， 聶 婕， 魏志強， 王修林，4，5

(1. 中國海洋大學信息科學與工程學部， 山東 青島 266100； 2.山東省生態環境規劃研究院, 山東 濟南 250101； 3.中國海洋大學化學化工學院，山東 青島 266100； 4. 中國海洋大學海洋化學理論與工程技術教育部重點實驗室， 山東 青島 266100； 5. 深海圈層與地球系統前沿科學中心， 山東 青島 266100)

渤海是中國近岸海域環境問題最為突出的海區之一。作為我國唯一的半封閉型內海，隨著沿海地區產業和人口的高速發展，渤海生態環境形式日趨嚴峻。近年來，中國高度重視渤海環境保護和治理工作，積累了豐富的陸海生態環境監測、調查、統計和計算數據。主要包括：

(1)豐富的監測和調查數據。在環渤海地區建立了較為完善的環境監測網絡和計算模型，構建了基于岸基、水上浮標、衛星遙感等平臺的立體觀測體系，與常規監測和調查手段相結合，形成了較為完善的連接污染源、流域、海域的監測網絡，積累了豐富的陸海環境監測[1]和調查數據[2]。

(2)多樣的社會經濟數據。渤海海域生態環境質量狀況受到環渤海地區人類社會經濟活動和自然環境變化協同作用的影響，社會經濟統計數據成為深入解析渤海水質演化和人類社會活動響應機制的重要載體。只有充分挖掘人類社會活動和沿海水質時空演化響應關系，才能突破污染物產生、輸運、匯集等遷移轉化環節監測盲點，制定精準有效的陸源污染物減排措施。隨著環渤海地區產業細分、人類社會活動多樣性趨向和互聯網技術的飛速發展，產生了規模巨大的多樣性社會經濟統計數據。

(3)多元的地圖數據。除監測、調查數據和經濟統計數據外，GIS等地理信息數據也構成了近海生態環境大數據，主要包括地形地貌、點源、監測站位、入海排污口坐標，面源、行政區、控制單元、水質響應區域、河流矢量圖等地圖數據。隨著空間控制粒度的精細化、地圖繪制技術的多樣性發展，形成了豐富的、跨尺度、多模態地理大數據系統，為流域建模、海洋動力過程仿真、時空數據可視化等提供了更加精細和多元的地理信息空間。

(4)海量的計算數據。隨著海洋動力模式仿真計算和入海污染物生物地球化學過程建模技術的發展，水質預報模型日益豐富，網格化的仿真計算數據能夠從不同時空粒度刻畫海域污染物的時空分布狀態，隨著三維水動力和生物地球化學耦合模型的精細化和多樣化發展，計算數據規模激增[3]。

綜上，渤海生態環境大數據是加強渤海生態環境保護，改善渤海環境質量，突破渤海入海污染物源解析和水質目標管控等關鍵瓶頸問題的數據基礎。但海量多源異構、跨時空、多尺度、多要素的生態環境數據的有效組織和管理給科學研究和決策分析帶來了巨大挑戰。因此，本文聚焦渤海生態環境大數據管理的迫切需求，針對渤海生態環境數據的存儲、檢索、管理等任務，打破傳統的數據管理系統范式，提出了一種多層級遞進式數據管理模式，通過遞進式數據庫設計和垂直應用領域業務分級編碼方法，構建基于語義和時空線索的多維一體化渤海生態環境數據分級檢索系統。為高效管理和利用陸海污染源數據進行科學研究和污染防治等提供技術支撐。

1 研究現狀

中國經過長期的海洋觀測、監測、衛星遙感、專項調查，形成了豐富的海洋信息數據和管理系統。例如，謝志敏搭建了面向海洋氣象的數據匯聚平臺[4]，針對海洋氣象數據標準各異、來源廣泛、結構多樣等特點，建立了標準統一、存儲方便的氣象數據平臺；李立剛設計了海洋觀測數據管理系統[5]，通過整合來源于不同觀測設備的異構監測數據，實現了數據的一致性管理；趙彩云針對海洋環境數據的實時監測和分析需求，設計了海洋環境在線監測數據管理系統[6]；趙雪[7]針對數據分散存儲和可信共享問題，提升了數據共享平臺的安全性；王天雨設計的面向海洋多元數據的云存儲管理系統[8]，使用云計算和大數據的技術進一步提升數據存取的可靠性與實時性；陳宇設計的海洋平臺分布式綜合信息管理系統[9]通過數據分類過程的規范化和統一化約束設計數據編碼方法，將孤立分散的數據空間整合為全面系統的數據空間，從而提高了平臺使用的壽命和系統運行的質量。

雖然針對海量多源異構的海洋數據管理已形成了有效的數據集成和匯聚手段，但上述研究僅針對海洋監測、調查、統計、地圖、計算數據中的單一數據或部分類型開展數據管理，由于數據異構性和時空跨尺度等挑戰，難以擴展至兼容多樣性數據類型的綜合管理平臺。其次，數據管理粒度切換困難。現有數據管理系統難以同時應對基于語義的文件數據檢索和基于時空線索的數值數據檢索。最后，由于缺乏陸海統籌、部門地域協同的陸海統籌污染控制機制，目前尚未形成支撐陸海統籌污染控制垂直應用領域的渤海生態環境大數據管理平臺。

針對以上挑戰，本文打破傳統的數據管理系統范式，通過遞進式數據庫設計，形成了兼容監測、調查、統計、地圖、計算等多種數據類型的原始數據庫、原始歸集數據庫、標準數據庫和功用數據庫的架構，實現跨尺度、多模態海量異構數據的可兼容綜合管理；其次，通過面向垂直應用領域的業務梳理和流程再造，提出了一套通用面向陸海統籌的污染源數據分級編碼方法，實現了語義和時空線索多維一體化數據檢索模式，并最終實現支撐陸海統籌污染控制的渤海生態環境數據庫管理系統。

2 系統設計

2.1 總體設計

系統的總體設計架構如圖1所示。采用多層次體系結構，共分為7層，包括基礎設施層、數據庫、數據層、服務層、運行支持層、業務層和客戶端。基礎設施層主要包括支撐系統運行的必要硬件系統和軟件平臺。數據庫層包含了本系統所有的基礎數據庫，為了兼容監測、調查、統計、地圖和計算等多類數據類型，本文提出了遞進式數據庫設計模式，提出原始數據庫，原始歸集數據庫，標準數據庫和功用數據庫的四級數據管理模式。其后，數據層和服務層主要提供數據緩存、讀寫、事務、用戶管理、配置、監控、日志等通用中間件功能。運行支持層是上層實現對服務層進行調用的中介，業務層主要實現面向應用的功能模塊和流程集成開發，客戶端主要實現系統的登錄和用戶交互。標準規范體系，用于解決不同層次間相互調用的兼容問題，使整個系統在統一的標準下運行，有利于系統的維護和擴展。

圖1 系統架構圖Fig.1 System architecture diagram

2.2 數據庫設計

針對海洋監測、調查、統計、地圖、計算數據跨尺度、多模態海量異構數據的可兼容綜合管理需求，本文提出了多層級遞進式數據庫設計模式。將數據庫劃分為四個子數據庫，分別為原始數據庫、原始歸集數據庫、準數據庫、功用數據庫。其中原始數據庫采用文件粒度管理模式, 實現對匯聚數據的來源管理。原始歸集數據庫在原始數據庫的基礎上，進行數據清洗和質量管控，同時依據元數據規范，將原始數據庫文件規約為格式標準的原始歸集數據表，形成原始歸集數據庫。在原始歸集數據庫的基礎上，依據垂直領域業務結構，抽取關鍵數據，經過可靠性過濾，匯聚形成標準數據庫。最后，面向終端應用，基于業務需求進行數據抽取和生成，形成需求驅動的功用數據表，匯聚成為功用數據庫。這種遞進式的分級數據管理模式和基于業務結構形成的陸海統籌時空語義多維一體化數據管理方法，是本系統的主要創新。

2.2.1 原始數據庫設計 原始數據庫實現對多源異構數據管理。例如，對于地圖數據的shape文件、經濟數據的excel表、科學計算的nc文件等原始數據，其主要目標是實現對多來源、多類型、異構文件的綜合管理。

根據原始數據庫管理需求，設計了一張原始數據庫元信息表，記錄待解析文件的相關信息，以輔助原始文件入庫。其字段結構如表1所示。

表1 原始數據庫元信息表Table 1 Original database meta-information table

多來源、多類型、異構文件存在數據結構不一，數據類型多元的問題。因此無法采用單一解析方法，需分文件解析。

當原始文件入庫時，首先會對文件進行解析以獲取其對應的文件名、文件類型和文件格式等信息，同時生成唯一主鍵sid并記錄于原始數據庫元信息表中，這樣每個被解析的文件就對應原始數據庫元信息表中的一條記錄。

隨后依據原始數據庫元信息表所記錄的文件類型信息，采取相應的數據解析操作。例如，對于柵格類型的文件會逐行讀取，對文本文件則會逐字節加載，而對圖片文件則會將其解析為一串二進制數據。

最后生成一張原始數據庫的數據表，存放所解析的數據。其中數據表名稱會關聯于原始數據庫元信息表中的sid字段，這樣便實現了數據與元信息相關聯，有利于后續對數據的檢索與管理。

原始數據庫實現了對多源、異構、渤海環境大數據的文件粒度級的綜合管理，但是由于原始文件類型多樣、規模各異，導致原始數據庫數據表規模龐大、要素分散、粒度不一、時空不均，難以有效支撐環境數據的查詢和檢索。因此，進一步提出原始歸集數據庫，對原始數據庫文件進行統一規約。

2.2.2 原始歸集數據庫設計 因原始數據庫面臨兩個方面的挑戰，一方面原始數據庫包含大量小表，缺乏合理關聯，導致管理困難。另一方面，表的內部數據結構不盡相同，造成字段缺失，數據冗余，數據置空等挑戰。因此，針對以上問題，通過規約原始數據庫中的小數據表，形成格式標準、質量可靠原始規約數據表。這是原始歸集數據庫的構建目標。

原始歸集數據庫同樣設計了一張原始歸集數據庫元信息表，用以輔助數據規約、轉換和質控。原始歸集數據庫元信息表字段信息如表2所示：

表2 原始歸集數據庫元信息表Table 2 Meta-information table of the original collection database

借助元信息表開展原始歸集數據庫的結構設計工作。首先，針對數據類別，在層次化的垂直方向上，將數據劃分為四類，“地圖數據”、“社會經濟數據”、“陸源環境調查監測數據”、“海洋環境監測調查數據”，并將對應的層次結構信息記錄于原始歸集數據庫元信息表中。同時，在層次結構的末端，會掛載一張具有規范結構的原始歸集數據庫的數據表，從而將數據與類別信息進行關聯。最后依據該結構并配合元信息表進行原始數據轉化工作。

當數據由原始數據庫向原始歸集數據庫轉化時，系統首先根據原始數據庫元信息表中的Data_Source字段信息，判斷并選擇其需要歸集到的特定原始歸集數據庫的數據表，由于原始數據庫和原始歸集數據庫表各自的數據表結構不同，因此需要開展數據質量控制，包括字段信息完整性校驗，數據值空缺補全，數據去冗余等。其后，生成主鍵ssid并將原始數據庫中的sid和相關元信息記錄于原始歸集數據庫元信息表；最后，將原始數據庫中相對應的表的數據歸集進原始歸集數據表中。

如圖2所示，多張原始數據庫的數據表被歸并到一張原始歸集數據庫的表中。這樣便解決了數據格式規范不統一和大量小表存在的問題。

圖2 原始歸集數據庫結構設計Fig.2 Original collection database structure design

原始歸集數據庫通過定義原始歸集數據元信息表和歸集數據標準表，實現數據的完整性和規范性的有效提升。但是，由于數據無法與相關業務的語義信息所關聯，無法有效支撐面向業務領域的需求。因此，需要面向業務領域，開展數據管理，才能實現數據與業務之間的強耦合。

2.2.3 標準數據庫設計 標準數據庫需要滿足面向業務領域開展基于語義的數據檢索需求，既包括基于業務類型的全局數據檢索，也包括針對要素、時空等精細粒度的數據管理。因此，在原始歸集數據庫的基礎上，面向垂直應用領域體系架構，通過業務梳理和流程再造，形成包含業務語義的層次化結構，將每條數據實現與相應的業務層次進行關聯，形成結構化的標準數據庫表；其次，標準數據庫的數據需要和原始歸集數據庫、原始數據庫的數據進行關聯，實現數據溯源。因此標準數據庫的實現需要兩個方面的工作，其一，構建標準數據庫元信息表，實現標準數據庫的結構化管理，將在本節中進行詳細說明。其二，形成數據編碼，實現數據的可回溯。將在2.3.4節中進行詳細介紹。

標準數據庫元信息表結構如表3所示。

表3 標準數據庫元信息表Table 3 Standard database metadata table

由原始歸集數據庫向標準數據庫進行數據轉換的流程如下：首先，根據圖3的業務結構圖，為每個葉子結點生成標準數據庫數據表，用以承載具體數據。本系統所依靠的業務結構是根據陸海統籌污染治理業務需求和邏輯對業務流程進行模塊化和重塑后形成的業務體系，詳情如圖3所示，第一層次包含四大類，包括“陸海界面”，“海域水動力輸運過程多源入海”，“多源入海污染排放數量”和“海域生物生態過程”，其后，根據業務流程進行細粒度劃分，圖3僅對前兩層結構進行簡單示意。所有的葉子結點都對應標準數據庫中的一張數據表，數據表按照層次結構進行關聯，數據表元數據信息中的“業務層次結構”字段對該關聯進行標識。例如鹽度sal要素通過數據業務層次結構字段映射為2-2層次，第一層的2會解析為海域水動力輸運過程，第二層的2進一步歸屬為其下屬的水文類別。通過業務層次關聯，表征了數據對應的業務層次的語義信息。在數據檢索時，依據業務層次信息能快速實現業務領域定位，從而最大程度縮小檢索范圍，加快數據檢索速度。依據業務結構圖中葉子結點所對應的標準數據庫表，對原始歸集數據庫表開展數據篩選，加載到標準數據庫中，最終完成了標準數據庫的構建。

圖3 業務結構圖Fig.3 Business structure chart

2.2.4 功用數據庫設計 功用數據庫即特定功能用途的數據庫。功用數據庫是面向特定領域、特定用戶、特定功能的數據庫。基于業務化需求進行數據抽取和生成，形成需求驅動的功用數據表，匯聚成為功用數據庫。因其數據結構是面向特定業務功能開展定制，本文不做詳細的論述。

2.2.5 數據編碼表設計 對于渤海生態環境的數據利用，最重要的是時空數據的檢索和信息回溯。所謂時空數據檢索即依據給出的時間和空間信息，快速搜索出用戶所需要的數據。而對于信息回溯則是需要通過給定的數據，由標準數據庫開始，由原始歸集數據庫到原始數據庫，最后定位到某個具體的文件并獲得數據來源相關的信息。

為了達到數據的全局檢索和信息回溯的需求，會在已有的原始數據庫元信息表，原始歸集數據庫元信息表和標準數據庫元信息表的基礎上，根據各自其部分信息生成一張編碼信息表。通過該表，從而實現了用戶通過時空條件進行全局檢索，同時進行信息回溯的目的。

編碼表的具體設計如圖4所示。

圖4 業務結構圖Fig.4 Code table structure design

系統通過sid，ssid字段將三張表進行關聯，同時篩選出特定的高頻使用字段信息生成編碼表。如圖4所示，紅色的字段對應于選中字段。用戶對數據進行基于語義或者時空關系檢索時，解析所對應的時空信息和語義信息，實現快速定位并查詢。同時能由給出的要素名稱字段，根據ssid，sid的關聯，回溯至原始數據集，獲取數據的來源方的相關信息。

3 系統主要功能實現

3.1 技術架構的介紹

本系統采用了B/S架構。同時使用了前后端分離的開發模式。使得整個系統呈現為高內聚、低耦合的特性。

前端應用vue.js框架，遵循MVVM開發的模式，通過數據驅動的方式，將頁面的構建和數據的注入進行分離，使得數據和頁面徹底實現了解耦。后端采用了Springmvc的技術，通過View、Controller、 Model三大模塊的構建以應對前端頁面傳來的請求和后臺數據的處理。Mybatis框架技術實現了對數據庫的操作封裝。并提供操作數據的接口，以滿足系統對數據從源數據、歸集數據、標準數據、功用數據的逐步轉化需要。

3.2 標準數據模塊

該模塊劃分為五大類別，分別對應原始數據庫，原始歸集數據庫，標準數據庫和功用數據庫。原始歸集數據庫和標準數據庫分別有對應的層次結構。圖5展示了標準數據庫的層次結構以及所掛載的數據的樣例。通過左側導航欄可以快速定位業務表及數據。

圖5 標準數據庫界面Fig.5 Standard database interface

3.3 快速檢索模塊

快速檢索模塊是利用上述分庫、分業務設計架構，依賴編碼表所提供的信息，快速定位某一個要素所處的業務表的層級，從而避免了全局遍歷數據的情況，大大減少了檢索數據的時間，實現快速檢索需求。

圖6展示了搜索界面，該搜索欄包括三個字段，分別為時間、空間和屬性名。系統會根據輸入的要素名稱所對應的編碼信息解碼出對應的業務層次，再結合所輸入的時空信息，將檢索問題限定在特定小范圍的進行解決。從而完美解決了大規模時空數據檢索的難題。

圖6 數據檢索Fig.6 data retrieval

3.4 統計模塊

如圖7所示，為使數據能夠直觀展示，而設計了一套可視化的界面，后臺系統通過數據統計分析，將其結果以條形圖、折線圖和餅狀圖的方式進行呈現。一方面展示數據的變化趨勢，另一方面又展示數據的占比情況。

圖7 數據可視化Fig.7 Data visualization

4 結語

本文基于渤海海量多源異構、跨時空、多尺度、多要素的生態環境大數據檢索與管理的迫切需求。通過遞進式數據庫設計和通過面向垂直應用領域的業務梳理和流程再造方式方法，實現了一套渤海生態環境數據分級檢索系統，解決了多來源、異構數據的管理和快速檢索問題。為用戶高效利用數據做科學研究和近海污染防治決策分析提供了堅實的數據基礎。