數(shù)據(jù)資源共享服務平臺的應用研究

呂曹芳 王光興 吳燕

摘? 要：文章主要針對已有數(shù)據(jù)資源的特點，融合了大數(shù)據(jù)等相關技術，依托云平臺構建了數(shù)據(jù)資源共享應用服務支撐平臺體系。分析了現(xiàn)有平臺數(shù)據(jù)共享和應用方面的不足，探討了數(shù)據(jù)共享服務工作流程，共享服務平臺的體系架構等，為數(shù)據(jù)資源共享的應用提供了技術和方法。數(shù)據(jù)資源共享應用服務支撐平臺中給出了數(shù)據(jù)共享服務平臺、數(shù)據(jù)應用支撐工具，以生成數(shù)據(jù)產(chǎn)品或數(shù)據(jù)資源，推動數(shù)據(jù)共享應用。

關鍵詞：數(shù)據(jù)共享;云平臺;數(shù)據(jù)中心;大數(shù)據(jù)

中圖分類號：TP393.0;TP308? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）20-0112-04

Research on the Application of Data Resource Sharing Service Platform

LYU Caofang，WANG Guangxing，WU Yan

（PLA Army Academy of Artillery and Air Defense，Hefei? 230031，China）

Abstract：Based on the characteristics of existing data resources，this paper integrates big data and other related technologies，and builds the data resource sharing application service support platform system relying on the cloud platform. Analyzed the shortcomings of the existing platform data sharing and application，discussed the data sharing service workflow，the architecture of the sharing service platform，etc.，and provided technology and methods for the application of data resource sharing. The data resource sharing application service support platform presents data sharing service platform and data application support tools to generate data products or data resources and promote data sharing application.

Keywords：data sharing;cloud platform;data center;big data

0? 引? 言

當前，云平臺、大數(shù)據(jù)技術的迅猛發(fā)展深刻改變著人們的思維，也對傳統(tǒng)的數(shù)據(jù)存儲管理和共享服務方式產(chǎn)生了革命性的影響[1]。但是，受當時技術條件的制約，這些平臺都不是以大數(shù)據(jù)技術體制為背景開發(fā)的，面對來源廣泛、容量巨大、更新頻繁的數(shù)據(jù)資源，現(xiàn)有的平臺已經(jīng)無法滿足對的數(shù)據(jù)存儲、計算、分析能力不斷增長的需求[2]。因此，亟須廣泛融合大數(shù)據(jù)等相關技術，合理借鑒現(xiàn)有的、成熟的、專業(yè)的數(shù)據(jù)工具，構建新型的大數(shù)據(jù)管理和共享服務平臺，以真正實現(xiàn)數(shù)據(jù)的安全、可靠、高效管理和共享應用。數(shù)據(jù)是數(shù)據(jù)資源建設的“源頭”，為實現(xiàn)數(shù)據(jù)的“聚、通、用”，本文探索構建了數(shù)據(jù)資源共享應用服務支撐平臺體系，并為基于云平臺的數(shù)據(jù)資源共享的應用提供了方法。作者單位因“十二五”以來的數(shù)據(jù)資源建設專項，積累了大量數(shù)據(jù)，但缺少相應的管理和共享服務平臺，所建數(shù)據(jù)無法進行有效加工整理和入庫管理，更談不上全面共享應用。因此作者探索構建新型的大數(shù)據(jù)管理和共享服務平臺，為真正實現(xiàn)大數(shù)據(jù)的安全、可靠、高效管理和共享應用提供思路。

1? 數(shù)據(jù)共享工作流程

國內(nèi)在大數(shù)據(jù)建設初始，數(shù)據(jù)共享機制缺乏，制約了服務質(zhì)量和效率，前期研制的相關數(shù)據(jù)平臺大多側重于數(shù)據(jù)管理功能，在數(shù)據(jù)共享服務和應用支撐方面重視不夠[3]，為了提高共享使用數(shù)據(jù)的積極性、主動性、按需共享、安全管控等服務，研究給出了數(shù)據(jù)共享工作流程，為實現(xiàn)數(shù)據(jù)的高效管理和共享服務提供了思路。

數(shù)據(jù)共享服務工作由四部分組成：一是數(shù)據(jù)用戶注冊審批;二是數(shù)據(jù)目錄管理發(fā)布;三是數(shù)據(jù)發(fā)現(xiàn)和應用;四是數(shù)據(jù)共享評價，工作流程如圖1所示。

數(shù)據(jù)共享用戶必須通過數(shù)據(jù)共享門戶網(wǎng)站提交用戶注冊信息，共享審批組根據(jù)實際情況審批用戶，并確定用戶分級和數(shù)據(jù)共享權限，審批通過的用戶在正式登陸之前設置身份驗證方法和信息。

數(shù)據(jù)中心共享服務組對數(shù)據(jù)目錄進行管理，形成數(shù)據(jù)目錄，待數(shù)據(jù)中心共享審批組審批后，在數(shù)據(jù)共享門戶網(wǎng)站上發(fā)布數(shù)據(jù)目錄。

用戶登錄后，通過瀏覽和查詢數(shù)據(jù)目錄了解現(xiàn)有數(shù)據(jù)情況，根據(jù)實際應用需要和自身權限，查詢和下載相關數(shù)據(jù)，或向數(shù)據(jù)中心提出數(shù)據(jù)共享申請，共享審批組對用戶數(shù)據(jù)共享申請進行審批，數(shù)據(jù)共享服務組根據(jù)數(shù)據(jù)共享申請制作數(shù)據(jù)產(chǎn)品（含分析計算和數(shù)據(jù)處理），然后通過在線或離線的方式分發(fā)共享數(shù)據(jù)。

用戶使用數(shù)據(jù)后，結合實際情況向數(shù)據(jù)提供方反饋數(shù)據(jù)使用情況、同時按要求銷毀共享數(shù)據(jù)，數(shù)據(jù)提供方根據(jù)反饋情況進行數(shù)據(jù)共享評估和數(shù)據(jù)質(zhì)量溯源。

2? 平臺總體架構

2.1? 平臺體系架構設計

平臺體系架構是平臺建設的一個綜合模型，其由許多結構要素及各種視圖所組成，而各種視圖主要是基于各組成要素之間的聯(lián)系與互操作而形成的，用來完整描述平臺建設的整個體系。數(shù)據(jù)資源共享應用服務支撐平臺體系如圖2所示。

運行環(huán)境支撐主要包括基礎軟件、基礎硬件，操作系統(tǒng)等[4]。其中基礎軟件主要包括云操作系統(tǒng)軟件、大數(shù)據(jù)基礎軟件和支撐服務軟件組成，為上層各應用系統(tǒng)提供數(shù)據(jù)訪問、數(shù)據(jù)存儲、大數(shù)據(jù)處理、虛擬和物理資源的分配與調(diào)度以及服務運行支撐等服務，為下層硬件設備提供資源虛擬化與調(diào)度管理服務，為跨云平臺的各類數(shù)據(jù)信息資源和應用系統(tǒng)提供全生命周期的管理和維護，是資源服務和管理維護的核心系統(tǒng)軟件，是云平臺的神經(jīng)中樞，對云平臺的整體運行質(zhì)量具有重要影響。

理論技術支撐主要包括云平臺，大數(shù)據(jù)技術等。云平臺為大數(shù)據(jù)資源提供承載環(huán)境，為大數(shù)據(jù)分析挖掘提供軟硬件支撐，為應用系統(tǒng)的遷移、開發(fā)、部署、運行、維護提供數(shù)據(jù)服務和支撐。大數(shù)據(jù)技術主要是數(shù)據(jù)接入與存儲、大數(shù)據(jù)并行計算等。

數(shù)據(jù)共享服務管理平臺和數(shù)據(jù)共享門戶網(wǎng)站是整個平臺體系建設的重點。數(shù)據(jù)目錄管理發(fā)布平臺、數(shù)據(jù)產(chǎn)品制作工具、數(shù)據(jù)可視化建模工具等則是為數(shù)據(jù)共享服務工作提供工具支撐。平臺及相關工具研制需要相關共享服務標準規(guī)范和機制作保障，平臺的運行需要相關數(shù)據(jù)支撐。

數(shù)據(jù)共享應用用戶通過數(shù)據(jù)共享門戶網(wǎng)站或離線方式獲取共享數(shù)據(jù)，開展數(shù)據(jù)應用工作，并反饋數(shù)據(jù)共享服務質(zhì)量問題;數(shù)據(jù)應用系統(tǒng)開發(fā)用戶通過數(shù)據(jù)共享門戶網(wǎng)站共享應用系統(tǒng)開發(fā)相關資源（開發(fā)組件），進行數(shù)據(jù)應用系統(tǒng)或相關業(yè)務系統(tǒng)開發(fā)。

2.2? 平臺功能架構設計

數(shù)據(jù)資源共享應用服務支撐平臺主要包括兩大部分：數(shù)據(jù)共享服務平臺和數(shù)據(jù)應用支撐工具（數(shù)據(jù)應用系統(tǒng)分為：共享應用支撐工具和應用開發(fā)支撐組件兩部分）。各部分的主要功能組成如圖3所示。

數(shù)據(jù)資源共享應用服務支撐平臺功能架構集服務、管理、應用、開發(fā)為一體。

（1）數(shù)據(jù)共享服務平臺。主要包括數(shù)據(jù)共享服務管理系統(tǒng)和數(shù)據(jù)共享服務門戶網(wǎng)站。

數(shù)據(jù)共享服務管理系統(tǒng)能為數(shù)據(jù)管理用戶提供用戶管理、數(shù)據(jù)目錄管理與發(fā)布、數(shù)據(jù)產(chǎn)品分發(fā)、共享效益評估等功能，確保數(shù)據(jù)目錄能按級動態(tài)發(fā)布，數(shù)據(jù)資源能按需按權共享。

數(shù)據(jù)共享服務門戶網(wǎng)站能為數(shù)據(jù)應用用戶提供數(shù)據(jù)查詢、數(shù)據(jù)產(chǎn)品（數(shù)據(jù)資源和數(shù)據(jù)模型等）、數(shù)據(jù)計算等服務功能，確保用戶能高效共享數(shù)據(jù)資源和計算資源。

（2）數(shù)據(jù)應用支撐工具。主要包括數(shù)據(jù)可視化建模工具，數(shù)據(jù)產(chǎn)品制作工具等。旨在為數(shù)據(jù)共享服務工作提供數(shù)據(jù)產(chǎn)品制作、數(shù)據(jù)計算分析、數(shù)據(jù)應用建模、數(shù)據(jù)預處理等功能。其中，數(shù)據(jù)可視化建模工具，通過ROLAP服務、Spark計算服務、SQL接口等，最終實現(xiàn)用戶要求的可見操作界面的數(shù)據(jù)分析挖掘建模和應用可視化建模及設計;數(shù)據(jù)產(chǎn)品制作工具，是數(shù)據(jù)共享服務平臺與數(shù)據(jù)云存儲平臺之間的連接器，其根據(jù)數(shù)據(jù)共享服務平臺中用戶的數(shù)據(jù)產(chǎn)品需求，通過整合、分析、計算等方式，將數(shù)據(jù)云存儲平臺中的數(shù)據(jù)進行加工，生成數(shù)據(jù)產(chǎn)品或數(shù)據(jù)資源[5]。

（3）應用開發(fā)支撐組件。主要提供的數(shù)據(jù)應用系統(tǒng)開發(fā)組件包括：MGIS組件、數(shù)據(jù)應用模型組件、分析挖掘組件、數(shù)據(jù)可視化組件等。旨在對內(nèi)向用戶提供數(shù)據(jù)應用所需的數(shù)據(jù)和應用系統(tǒng)開發(fā)支撐，以避免重復開發(fā)，提高應用系統(tǒng)開發(fā)效率，更好更快推動數(shù)據(jù)應用工作;向外開放數(shù)據(jù)應用接口，以提高數(shù)據(jù)開放共享能力，全面推動數(shù)據(jù)共享應用工作。

3? 數(shù)據(jù)發(fā)現(xiàn)與共享服務

數(shù)據(jù)發(fā)現(xiàn)與共享服務主要為數(shù)據(jù)用戶提供數(shù)據(jù)目錄檢索、數(shù)據(jù)檢索、數(shù)據(jù)共享申請、數(shù)據(jù)產(chǎn)品瀏覽下載等功能。數(shù)據(jù)發(fā)現(xiàn)與共享服務工作流程如圖4所示。

數(shù)據(jù)發(fā)現(xiàn)與共享服務工作流程通過目錄檢索檢測所需數(shù)據(jù)，有使用需求，提出共享申請最終獲取數(shù)據(jù)的過程。

（1）目錄檢索：數(shù)據(jù)用戶登錄數(shù)據(jù)共享門戶網(wǎng)站，瀏覽和檢索數(shù)據(jù)目錄，幫助用戶了解數(shù)據(jù)資源池中數(shù)據(jù)情況，作為數(shù)據(jù)共享申請的依據(jù)。

（2）數(shù)據(jù)檢索：通過復合條件檢索工具檢索數(shù)據(jù)產(chǎn)品，如果檢索到符合條件的數(shù)據(jù)產(chǎn)品，在用戶權限允許的情況下，可以直接瀏覽或下載數(shù)據(jù)。

（3）數(shù)據(jù)共享申請：對于沒有現(xiàn)成的符合用戶需求的數(shù)據(jù)產(chǎn)品，或者有現(xiàn)成數(shù)據(jù)產(chǎn)品但受權限限制無法在線獲取的數(shù)據(jù)產(chǎn)品，用戶通過門戶網(wǎng)站提出數(shù)據(jù)共享申請。

（4）數(shù)據(jù)共享申請審批與數(shù)據(jù)產(chǎn)品分發(fā)：根據(jù)情況審批用戶共享數(shù)據(jù)產(chǎn)品的權限，或者重新制作符合用戶需要的數(shù)據(jù)產(chǎn)品，然后向用戶分發(fā)數(shù)據(jù)產(chǎn)品（或制作數(shù)據(jù)產(chǎn)品光盤）。

（5）用戶數(shù)據(jù)獲取：用戶通過數(shù)據(jù)共享門戶網(wǎng)站在線下載分發(fā)的數(shù)據(jù)產(chǎn)品，對于密級較高的數(shù)據(jù)產(chǎn)品，需要通過機要郵寄或現(xiàn)場領取的方式獲取數(shù)據(jù)。

4? 結? 論

本文主要在現(xiàn)有成熟的云平臺、大數(shù)據(jù)技術基礎上，吸收了最新架構技術，通過建立合理的數(shù)據(jù)共享機制，構建了安全可靠的數(shù)據(jù)共享應用平臺。一方面徹底消除數(shù)據(jù)建設者的安全顧慮，切實讓數(shù)據(jù)共享應用起來;另一方面讓所有的數(shù)據(jù)共享行為能得到認可和激勵，確保數(shù)據(jù)常建長用。但在建構過程中個別軟件與整個平臺系統(tǒng)的協(xié)調(diào)性、兼容性還有待進一步完善，數(shù)據(jù)建設標準還需要進一步研究。

參考文獻：

[1] 沈怡.科研數(shù)據(jù)實踐的實證研究對數(shù)據(jù)管理和共享的重要意義：個案回顧、反思與前瞻 [J].圖書情報知識，2018（4）：102-108.

[2] 呂欣，韓曉露，畢鈺，等.大數(shù)據(jù)安全保障框架與評價體系研究 [J].信息安全研究，2016，2（10）：913-919.

[3] 李正超.國內(nèi)科學數(shù)據(jù)共享平臺建設現(xiàn)狀及發(fā)展策略研究 [J].圖書館理論與實踐，2018（8）：108-112.

[4] 傅天珍，鄭江平.國外面向科研人員的科學數(shù)據(jù)共享探析 [J].圖書館論壇，2015，35（2）：76-81.

[5] 劉晶晶，馬建華.論科研數(shù)據(jù)開放共享的三種途徑 [J].情報雜志，2015，34（10）：146-150+96.

作者簡介：呂曹芳（1979.09—），女，漢族，安徽壽縣人，副教授，碩士，研究方向：數(shù)據(jù)挖掘等。