有害藻華數據分析與可視化平臺的設計*

李笑語 于仁成 牟乃夏 耿慧霞 王治鵬 史金浩 薛潤生

有害藻華數據分析與可視化平臺的設計*

李笑語1,6于仁成1,2,3,4①牟乃夏5耿慧霞1王治鵬5史金浩5薛潤生5

(1. 中國科學院海洋研究所 中國科學院海洋生態與環境科學重點實驗室 山東青島 266071; 2. 青島海洋科學與技術試點國家實驗室 海洋生態與環境科學功能實驗室 山東青島 266237; 3. 中國科學院大學 北京 100049; 4. 中國科學院海洋大科學研究中心 山東青島 266071; 5. 山東科技大學測繪與空間信息學院 山東青島 266590; 6. 國家海洋局北海環境監測中心 山東青島 266033)

有害藻華是海洋中最為常見的一類生態災害問題, 對養殖業、旅游業和公眾健康等造成了嚴重威脅, 也給海洋管理帶來了巨大的挑戰。近年來, 與有害藻華相關的生物、化學、水文、氣象等觀測數據以及有害藻華發生記錄等統計數據不斷積累, 統計學方法、地理信息系統(Geographic Information System, GIS)等數據分析方法也在快速發展, 為深入挖掘有害藻華時空演變特征、提高有害藻華監測預警水平奠定了重要基礎。該研究綜合應用數據庫、地理信息系統及可視化技術, 設計了一套集有害藻華多源異構數據管理、分析與可視化為一體的綜合平臺, 能夠實現對有害藻華相關數據的存儲和動態關聯, 并集成了空間分析方法, 實現了數據和分析產品的可視化。該研究以渤海有害藻華長期時空演變特征探究為案例, 展示了該平臺在有害藻華數據分析與可視化方面應用效果。該平臺可望為公眾科普、科學分析和政府決策等提供支撐。

有害藻華; 軟件系統; 數據庫; 地理信息系統; 可視化

有害藻華(harmful algal blooms, HABs)是由于水體中部分藻類的快速增殖或聚集導致的生態災害問題, 廣泛分布于全球近岸海域, 對養殖業、旅游業和公眾健康具有嚴重危害(Anderson, 2008, 2015; Kirkpatrick, 2008; Lewitus, 2012; Townhill, 2019)。近幾十年來, 受富營養化、全球變暖、海上交通運輸和海水養殖業發展影響, 全球范圍內有害藻華的暴發頻次、持續時間、影響范圍、原因種數量以及危害效應等表現出不斷增加的趨勢(Anderson, 2012; Davidson, 2014; Berdalet, 2016)。有害藻華是我國近海常見的生態災害問題(周名江等, 2001; 洛昊等, 2013; 于仁成等, 2016, 2020), 對海水養殖業造成了巨大破壞, 甚至威脅到人類健康和生命安全(中國環境科學學會, 2005; Ding, 2017)。受地理環境、水文條件、社會經濟狀況等因素影響, 不同海域有害藻華的發生狀況存在明顯差異, 給海洋管理也帶來了巨大的挑戰。

近年來, 隨著有害藻華觀測數據和統計數據的不斷積累, 以及統計學、地理信息系統(Geographic Information System, GIS)技術、數值模擬方法等的快速發展, 針對有害藻華的數據分析和可視化能力得到了快速發展, 構建了系列針對有害藻華的數據分析與可視化平臺。美國阿拉斯加有害藻華網絡(Alaska Harmful Algal Bloom Network, AHAB), 通過浮游植物數據、藻毒素數據以及相關環境因子數據的有效管理、分析及可視化, 為貝類食品安全管理者提供了決策信息, 降低了有害藻華對人類健康的危害風險。在美國西海岸的加州中北部海洋觀測系統(Central & North California Ocean Observing System, CeNCOOS)和南加州近岸海洋觀測系統(Southern California Coastal Ocean Observing System, SCCOOS), 通過獲取有害藻華現場觀測數據和遙感影像, 耦合ROMS (Regional Ocean Model System)水動力學模型, 評估加州有害藻華的風險(California Harmful Algae Risk Mapping, C-HARM), 實現了對有毒擬菱形藻(spp.)藻華及其產生的軟骨藻酸(domoic acid)的預警預測并對結果進行可視化展示, 支撐政府決策。海洋生物多樣性信息系統(Ocean Biodiversity Information System, OBIS)是全球海洋生物多樣性和生物地理數據信息的門戶, 通過共享全球數據, 實現了對全球有害藻華藻華原因種分布狀況的可視化展示。有害藻類事件數據庫(Harmful Algae Event Database, HAEDAT)則提供了有害藻華信息, 可對不同類型的有害藻華進行檢索查詢和展示。在國內, 也構建了多個基于遙感或觀測數據的有害藻華監測預警平臺, 為業務化工作提供支撐。近岸海域海洋生態環境綜合分析與決策支持服務原型系統基于深度學習預測模型對赤潮情況進行了預警(曹敏杰, 2015)。赤潮災害應急決策支持系統實現了赤潮災害評估、預測預報、應急處置、損失評估等功能, 支持渤海北戴河鄰近海域的赤潮災害應急決策(李炳南, 2014)。福建省赤潮預警系統能夠實現快速制作、發布赤潮預警, 為赤潮防災減災輔助決策支持等方面提供了支撐平臺(李雪丁等, 2014)。赤潮衛星遙感監測系統(楊建洪等, 2008; 朱乾坤等, 2016; 朱杭杰等, 2020)通過構建衛星數據的自動化處理分析流程, 識別赤潮區域和分布, 并向相關部門發布赤潮通報。

綜上可見, 目前國內外已經構建了系列有害藻華數據管理與可視化平臺, 為有害藻華研究和管理提供了重要支撐。然而, 針對中國海域的有害藻華服務平臺主要為災害監測預警等業務化工作提供支撐, 對有害藻華特征研究等方面關注較少, 有待進一步提升對多源有害藻華數據的管理和分析能力。以我國近海的有害藻華為例, 在富營養化、氣候變化和養殖業發展的影響下, 我國近海的有害藻華呈現出多樣化、有害化和小型化的演變趨勢(于仁成等, 2016)。在有害藻華研究中, 應用的研究手段和獲取的數據類型也越來越多, 涉及生物、化學、水文、氣象、遙感、統計資料等諸多方面(表1), 構成了復雜的多源異構數據。因此, 通過搭建有害藻華數據管理和分析平臺, 探索對有害藻華多源異構數據的高效管理和分析, 是亟待開展的一項工作。

本研究的目的包括: (1) 搭建多源異構有害藻華數據的管理平臺, 建立各類數據庫的動態關聯, 支持數據拓展, 實現有害藻華數據的高效組織管理; (2)集成數據分析和挖掘方法, 為有害藻華研究提供重要工具; (3) 實現數據和產品的可視化, 支撐有害藻華管理決策和科普教育。

表1 有害藻華相關數據集

1 總體設計

從平臺功能設置和應用群體考慮, 以客戶端(Client/Server, C/S)和網頁端(Browser/Server, B/S)相結合的方式, 構建數據管理平臺、GIS平臺和可視化平臺一體的綜合平臺。針對有害藻華數據多源異構的特點及各類數據間動態關聯的需求設計數據管理平臺; 聚焦有害藻華時空特征挖掘需求設計GIS平臺; 圍繞數據及產品的可視化需求設計可視化平臺。整個平臺以有害藻華相關數據為核心, 采用面向服務的五層體系架構(圖1), 自下而上分別為基礎資源層、數據服務層、分析服務層、應用層和用戶層。

1.1 基礎資源層

基礎資源層為平臺提供軟硬件資源保障, 包括服務器、網絡設備和支撐軟件等。

1.2 數據服務層

有害藻華數據涵蓋數值、文本、矢量、柵格等多種格式的結構化和半結構化數據, 其數據主要來自航次調查、統計資料和文獻、遙感影像等, 涉及各類型有害藻華及其危害產物, 也包括了影響其生消過程的各類相關因子。各類數據在架構時采用動態關聯模式以支持數據挖掘。同時, 數據層具有可拓展性, 可為其他類型數據導入提供接口。

1.3 分析服務層

分析服務層連接數據服務層和應用層, 是整個平臺的關鍵部分, 抽取封裝數據庫、GIS系統和可視化軟件的功能, 實現對數據的管理和分析。數據管理平臺的分析服務主要包括數據訪問、數據管理、數據關聯及查詢、數據標準模板制定、用戶權限管理等。GIS平臺的分析服務包括數據訪問、科學計算、渲染與展示、數據查詢與選擇、時空分析、用戶權限等, 其核心為時空分析, 實現對有害藻華的時空特征挖掘。可視化平臺服務包括信息可視化、數據分析、交互功能等, 核心是以可視化的形式進行成果展示。

1.4 應用層

應用層為分析服務層的服務功能提供對外接口, 主要以有害藻華數據管理子系統、有害藻華數據分析子系統、有害藻華數據可視化子系統三個子模塊與用戶進行交互。其中, 有害藻華數據管理子系統和有害藻華數據分析子系統基于C/S端, 有害藻華數據可視化子系統基于B/S端。

1.5 用戶層

本服務平臺面向公眾用戶、科研機構和政府部門,根據不同受眾群體的需求特點, 開放相應的服務。

2 功能設計

有害藻華數據分析與可視化平臺包括數據管理平臺、GIS平臺、可視化平臺三部分, 如圖2所示。

圖1 有害藻華數據分析與可視化平臺的總體設計框架

2.1 數據管理平臺

有害藻華數據管理平臺主要包括9項功能, 如數據導入導出、數據瀏覽功能、數據統計功能如條形圖、柱形圖、折線圖等。為保證數據安全, 可以對用戶進行權限設置, 由管理員對用戶進行統一管理, 同時對數據進行自動備份及恢復功能。通過平臺切換功能可在數據庫平臺內直接切換至GIS平臺。

數據關聯是數據挖掘的基礎, 數據查詢功能充分考慮了數據的關聯需求。例如, 對有害藻華發生情況的統計數據可以實現與有害藻種信息的動態關聯; 航次觀測數據可以通過時間、經度、緯度、水深等作為匹配條件, 實現各類觀測數據的動態關聯。同時, 數據庫在設計時充分考慮了數據的可拓展性, 將數值、文本、柵格、矢量等數據格式納入本平臺, 可根據新數據的格式特點, 創建新模板, 實現數據導入。

2.2 GIS平臺

GIS平臺包括了13項主要功能: 圖層管理、數據加載、數據存儲、查詢功能、坐標選取、地圖瀏覽、測量工具、書簽工具、專題渲染、訪問限制、分析功能、專題圖繪制和平臺切換。

GIS分析功能涵蓋了有害藻華時空分析的主要方法, 包括基礎統計分析、核密度分析、插值分析、方向分布工具、莫蘭指數、熱點分析、最近鄰分析等, 從而實現對有害藻華暴發熱點區域、有害藻華空間分布、趨勢變化等問題的科學分析。

2.3 可視化平臺

可視化平臺主要用于數據和產品的可視化渲染, 包括7項主要功能。系統可提供多種底圖方案, 可視化渲染將數據以點位分布、熱力圖等形式進行展示, 并可在各位置點選進行信息查詢。此外, 可視化平臺還引入了ECharts中柱形圖、折線圖等多種可視化形式對數據進行基礎統計分析。ECharts作為一個使用JavaScript實現的開源可視化庫, 可提供直觀、交互豐富、可高度個性化定制的數據可視化圖表。ECharts的瀏覽器平臺兼容性良好, 性能出眾, 可以進行大數據量的渲染展示。因此, 本平臺引入ECharts, 用于數據的分析和可視化展示。

3 平臺運行環境

3.1 硬件環境

平臺硬件配置包括: 處理器: 2個Intel Xeon Gold 5120, 28核心, 56線程, 2.2GHZ; 英特爾? C621芯片組; 內存: 12根16GB DDR4-2666 ECC內存; 存儲容量: 1塊2TB企業級機械硬盤, 1塊512GB企業級固態硬盤; GPU: 2片NVIDIA TitanV公版顯卡。

3.2 軟件環境

數據管理平臺和GIS平臺使用Visual Studio 2019作為開發工具, C#為開發語言進行開發, 界面部分基于WinForm窗體和DevExpress控件庫開發。數據庫由屬性數據和空間數據兩部分組成, 屬性數據庫是本平臺存儲、查詢、分析、統計功能實現的基礎, 平臺通過ADO．Net和PostgreSQL數據庫進行數據交流, 交流后的結果再傳遞至平臺, 供平臺使用; 空間數據庫利用PostGIS空間數據引擎將空間數據統一存儲至關系數據庫PostgreSQL中。GIS平臺基于ArcGIS Engine平臺, 利用結構化程序設計方法, 根據系統設計階段劃分的各個模塊, 使用ArcGIS Engine的TOCControl、PageLayoutControl、ToolbarControl以及MapControl等控件實現特定功能。可視化平臺是基于Vue和Spring Boot框架, 使用前后端分離架構進行設計實現的, 開發平臺選用Visual Studio Code和IDEA, 使用B/S架構進行開發。其中, 前端部分使用Vue框架, 結合開源的Leaflet進行構建, 并使用Axios訪問后端接口。后端使用目前主流的基于Java開發語言的Spring Boot框架, 針對前端請求, 編寫相應業務邏輯代碼。具體平臺開發軟件環境見表2。

4 平臺應用

本研究以渤海有害藻華發生情況數據(1952～2017年)為例, 介紹平臺在數據管理、分析和可視化方面的功能。

4.1 數據管理平臺

平臺構建了多種類型的數據庫以實現對多源異構數據的存儲和管理。根據有害藻華發生情況的數據特點, 設計了標準模板, 包括有害藻華暴發時間(年、起始月、起始日、結束月、結束日、季節)、地點(位置信息、經緯度)、原因種(中文種名、拉丁文種名)、規模、經濟損失及來源等字段, 每個字段規范了列名、字段類型、字段長度、位數等信息(圖3)。數據管理平臺通過關聯有害藻華發生情況數據庫和藻種信息數據庫, 查詢了2006～2007年渤海有害藻華事件及藻種詳細信息, 如圖4所示。

圖2 有害藻華數據分析與可視化平臺的功能框架

表2 有害藻華數據分析與可視化平臺開發軟件環境

圖3 有害藻華發生情況數據標準模板

圖4 有害藻華發生情況數據庫和藻種信息數據庫關聯查詢結果展示

4.2 GIS平臺

基于1952～2017年渤海有害藻華發生情況記錄,應用GIS平臺對渤海夜光藻()赤潮位置進行查詢并標注(圖5)。根據制圖模板生成了渤海有害藻華發生情況的專題圖(圖6)。基于核密度分析揭示了渤海灣近岸海域和秦皇島近岸海域是有害藻華熱點區域(圖7)。基于方向分布工具發現渤海有害藻華空間分布態勢在2000年前主要沿東北-西南方向分布, 2000～2009年短軸呈現收縮趨勢, 2009年后主要分布方向轉向偏西北-東南方向(圖8), 指示了渤海有害藻華分布態勢隨時間的變化趨勢。

4.3 可視化平臺

基于渤海有害藻華發生情況數據, 利用可視化平臺實現了有害藻華事件隨時間軸在地圖上的時空動態展示(圖9), 統計分析結果可隨時間軸動態變化, 點擊每個有害藻華發生點可獲取有害藻華原因種的介紹。

5 結論與展望

本平臺基于多源異構有害藻華數據, 構建了數據管理平臺、GIS平臺和可視化平臺, 基本實現了對有害藻華數據的組織管理和動態關聯, 可以支持對有害藻華時空特征的探究, 在展示效果上初步實現了有害藻華數據和產品的可視化渲染, 可望為教學科研、管理決策和科普教育提供支撐。

基于搭建的有害藻華數據分析與可視化平臺, 未來將逐步實現對外開放共享, 通過集成更多類型的有害藻華觀測數據, 嘗試內嵌統計學、地統計學、機器學習、數值模擬等數據分析方法和手段, 更好地實現有害藻華成因探究和預測預警, 為管理部門決策提供支撐服務。

圖5 渤海夜光藻赤潮空間分布和屬性查詢結果展示

圖6 渤海有害藻華發生情況專題圖示意圖

圖7 基于核密度分析的渤海有害藻華熱點區域分布示意圖

圖8 渤海有害藻華空間趨勢變化示意圖

圖9 渤海有害藻華發生情況空間分布可視化展示

于仁成, 呂頌輝, 齊雨藻, 等, 2020. 中國近海有害藻華研究現狀與展望[J]. 海洋與湖沼, 51(4): 768-788.

于仁成, 劉東艷, 2016. 我國近海藻華災害現狀、演變趨勢與應對策略[J]. 中國科學院院刊, 31(10): 1167-1174.

中國環境科學學會, 2005. 渤海海區赤潮發生特點的研究. 中國環境保護優秀論文集(2005)(上冊)[M]. 北京: 中國環境科學出版社: 1118-1122.

朱杭杰, 雷惠, 潘玉良, 等, 2020. 基于Java EE與SuperMap的浙江近海赤潮遙感監測系統開發與應用[J]. 科技通報, 36(3): 25-33.

朱乾坤, 陶邦一, 雷惠, 等, 2016. 東海赤潮遙感自動監測系統開發與應用[J]. 海洋學研究, 34(2): 18-24.

李炳南, 2014. 基于GIS的赤潮災害應急決策支持系統研究與應用[D]. 上海: 華東師范大學: 51-63.

李雪丁, 曾銀東, 任在常, 等, 2014. 福建省赤潮預警系統研究與應用[J]. 海洋預報, 31(4): 77-84.

楊建洪, 陳艷攏, 趙冬至, 等, 2008. 赤潮衛星遙感監測系統軟件構建[J]. 海洋環境科學, 27(S2): 78-81.

周名江, 朱明遠, 張經, 2001. 中國赤潮的發生趨勢和研究進展[J]. 生命科學, 13(2): 54-59, 53.

洛昊, 馬明輝, 梁斌, 等, 2013. 中國近海赤潮基本特征與減災對策[J]. 海洋通報, 32(5): 595-600.

曹敏杰, 2015. 浙江近岸海域海洋生態環境時空分析及預測關鍵技術研究[D]. 杭州: 浙江大學: 99-111.

ANDERSON D M, BURKHOLDER J M, COCHLAN W P,, 2008. Harmful algal blooms and eutrophication: examining linkages from selected coastal regions of the United States [J]. Harmful Algae, 8(1): 39-53.

ANDERSON D M, CEMBELLA A D, HALLEGRAEFF G M, 2012. Progress in understanding harmful algal blooms: paradigm shifts and new technologies for research, monitoring, and management [J]. Annual Review of Marine Science, 4: 143-176.

ANDERSON C R, MOORE S K, TOMLINSON M C,, 2015. Living with harmful algal blooms in a changing world: strategies for modeling and mitigating their effects in coastal marine ecosystems [M] // SHRODER J F, ELLIS J T, SHERMAN D J. Coastal and Marine Hazards, Risks, and Disasters. Amsterdam: Elsevier: 495-561.

BERDALET E, FLEMING L E, GOWEN R,, 2016. Marine harmful algal blooms, human health and wellbeing: challenges and opportunities in the 21st century [J]. Journal of the Marine Biological Association of the United Kingdom, 96(1): 61-91.

DAVIDSON K, GOWEN R J, HARRISON P J,, 2014. Anthropogenic nutrients and harmful algae in coastal waters [J]. Journal of Environmental Management, 146: 206-216.

DING L, QIU J B, LI A F, 2017. Proposed biotransformation pathways for new metabolites of paralytic shellfish toxins based on field and experimental mussel samples [J]. Journal of Agricultural and Food Chemistry, 65(27): 5494-5502.

KIRKPATRICK B, CURRIER R, NIERENBERG K,, 2008. Florida red tide and human health: a pilot beach conditions reporting system to minimize human exposure [J]. Science of the Total Environment, 402(1): 1-8.

LEWITUS A J, HORNER R A, CARON D A,, 2012. Harmful algal blooms along the North American west coast region: history, trends, causes, and impacts [J]. Harmful Algae, 19: 133-159.

TOWNHILL B L, TINKER J, JONES M,, 2019. Harmful algal blooms and climate change: exploring future distribution changes [J]. ICES Journal of Marine Science, 76(1): 353.

DESIGN OF INTEGRATED PLATFORM FOR ANALYSIS AND VISUALIZATION OF HARMFUL ALGAL BLOOMS

LI Xiao-Yu1, 6, YU Ren-Cheng1, 2, 3, 4, MOU Nai-Xia5, GENG Hui-Xia1, WANG Zhi-Peng5, SHI Jin-Hao5, XUE Run-Sheng5

(1. CAS Key Laboratory of Marine Ecology and Environmental Sciences, Institute of Oceanology, Chinese Academy of Sciences, Qingdao 266071, China; 2. Laboratory for Marine Ecology and Environmental Science, Pilot National Laboratory for Marine Science and Technology (Qingdao), Qingdao 266237, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Center for Ocean Mega-Science, Chinese Academy of Sciences, Qingdao 266071, China; 5. College of Geodesy and Geomatics, Shandong University of Science and Technology, Qingdao266590, China; 6. North China Sea Environmental Monitoring Center, State Oceanic Administration, Qingdao 266033, China)

As one of the marine ecological disasters, harmful algal blooms (HABs) may have severe impacts on mariculture, tourism, and public health, which has brought a big challenge to marine management. At present, a huge amount of HABs data generated in a long time have been accumulated in the fields of biology, chemistry, hydrology, meteorology, statistics, and methodology. Especially, statistical methods, geographic information system (GIS) tools etc. have been rapidly advanced in recent years, which has laid an important foundation for further exploring the space-time evolution characteristics of HABs and improving the monitoring and early warning level of harmful algal blooms. In this study, a database integrating GIS tools and visualization technology was designed as a comprehensive platform for better data management and application. The platform realizes the dynamic join and storage scalability of multi-sourced HAB data and integrates various methods for spatial analysis and visualization of data and products. A case study was conducted using this platform on the long-term temporal and spatial evolution of HABs in the Bohai Sea. The platform provided an efficient support for popularization of science, scientific research, and governmental decision-making.

harmful algal bloom; software system; database; geographic information system (GIS); visualization

X55; P208

10.11693/hyhz20220500137

*中國科學院戰略性先導科技專項A類, XDA19060203號。李笑語, 博士研究生, E-mail: lxy123coco@163.com

于仁成, 博士生導師, 研究員, E-mail: rcyu@qdio.ac.cn

2022-05-24,

2022-07-04