數據門戶產品建設研究

王丹丹 張璐明 賀小剛 劉鵬

【摘要】? ? 在我國經濟高速發展的今天，我國經濟建設推動信息化產業高速運行，目前已經滲透進我國各行各業的生產活動中，人們日常生活也離不開信息化產品。在這種背景下，大數據平臺也成為科學技術重要角色。本文針對數據門戶產品進行分析，并對數據門戶產品建設作出研究，促進企業等機構利用數據化產品，旨在提高企業工作效率與質量，為我國經濟健康發展提供奠定基礎。

【關鍵詞】? ? 數據產品? ? 大數據平臺? ? 成果展示

引言：

我國正在大跨步走向信息化時代，社會對于信息產品需求也逐漸提高。而以基礎框架與各類模塊數據門戶產品，因為其適用性較強，所以被企業、社會廣泛使用。還可以根據用戶需求制定不同模塊內容，受到用戶一致好評。所以，將數據門戶產品詳細剖析，分析其基本原理與內容結構，并采用適當方法對其進行建設，可以有效提高企業核心競爭力，提高我國整體科技水平。

一、數據門戶產品的相關概述

1.1 內存計算產品

內存計算產品（In-Memory Computing），準確分析是作為一種技術構架存在，但是為內存計算技術提供信息處理的平臺卻具有大數據特性，可以認為其是數據門戶產品中一類。

例如Spark，基于hadoop分布式文件存儲數據，將數據存儲工作交給HDFS，專注與信息處理環節。以數據計算為主要內容，提供交叉查詢與負載優化等功能。目前使用Spark內存計算技術為Databricks云，主要負責大數據處理相關工作，高效發揮Spark計算能力，為常見工作內容優化流程提供必要初始程序[1]。

而HANA為用戶提供內存計算相關引擎，同時提供基于HANA的建模工具，可以從SAP公司商務配套軟件或產品中直接導入第三方數據內容，數據信息處理后，可以將其傳送到SAP BI客戶端進行完整重現，降低客戶數據處理所需時間，有效提高數據處理工作質量。其他內存計算產品也是以高速信息處理，準確數據分析為主要發展方向，提供海量數據存儲條件，增加用戶黏性。

1.2 hadoop發行版

利用分布式計算機MapReduce，HBase數據庫，Hive引擎構建的hadoop生態系統，現已成為目前主要數據應用技術體系。包括華為，IBM等互聯網與IT廠商，都加入hadoop生態圈，并推出各家企業商用hadoop發行版本，在對hadoop開源社區兼容性，應用安全性等都具有不同特色，可以實現批量處理信息數據，部分企業還在實時數據信息處理有較強建樹[2]。

作為目前應用最為廣泛、最典型大數據處理平臺，不僅可以實現對海量數據高速處理，安全存儲，也可以實現高效管理與監控復雜集群。而hadoop發行版的部分內容因為性能優秀，在實際應用中表現良好性質，也被hadoop開源社區吸收采納，增加hadoop生態系統完善性與多樣性，對后續企業使用提供便利性。

1.3 大數據平臺及產品分析

開源hadoop系統在開發環節存在自身攜帶問題，無法滿足企業商業應用需求，例如在圖形管理工具方面欠缺，會對工作效率大幅度降低。而hadoop發行版不僅與開源hadoop系統具有較高兼容性，也可以根據企業需求增添管理與應用模塊，對開源hadoop方案進行優化升級，進行合理改造;Spark擁有實時查詢功能，在流計算方面變現良好。而hadoop的核心內容，分布式計算架構MapReduce可以對海量數據進行批量式計算。

在Spark日益成熟，行業許多hadoop發行版都會將Spark融入其中，未來兩者極有可能走向相互融合。相較于基于RDBS關系構建數據庫，一體化平臺無論是性能、可拓展性等方面都有較大突破。而在以往SQL接口支持、ET/BI上下游軟件兼容性等薄弱方面，經過近些年發展，部分核心內容已經得到有效突破，擁有良好進展情況。而我國地域遼闊，人口眾多，每天會產生海量數據信息，實時交流軟件騰訊，購物平臺阿里，信息發布平臺微博等，都開始將技術研發專項大數據處理方面，未來中國大數據平臺與產品領域將是科技發展主要方向。

二、數據門戶產品建設研究

2.1 基本概念與參考的模型

根據維基百科定義，大數據即無法使用常規工具，在可接受時間范圍內，有效進行捕獲處理的數據集合形式。在科技逐漸發展的現在，大數據則被描述為無法使用傳統數據處理產品處理的海量數據。

大數據技術并不僅限于可以迅速掌握龐大數據信息內容，重點為如何對數據在短時間內進行有效專業化處理。大數據類型分為結構化、半結構化與非結構化三種，目前全球多數企業處理信息數據多為半結構化數據，并且以每年60%速度穩定遞增。

而數據門戶產品就是基于大數據背景下，融合相關軟件硬件，構成平臺處理一體化功能系統產品。網絡加速模塊、數據存儲單元共同構成大數據硬件基礎設置，而分布式文件系統與其計算系統，內存數據庫和大數據應用中間件構成大數據處理工具，擁有監控功能，提供數據訪問渠道的平臺管理系統，實現深度學習與精準預測的大數據應用，共同構成大數據平臺軟件硬件產品[3]。

其中，在大數據硬件基礎設施與平臺管理系統之間，還有例如分布式資源管理、協作服務，以及數據備份與恢復工具。

2.2 標準化的思路

2.2.1 平臺總體架構

雖然信息技術行業推出多種大數據平臺，涉及到大數據內容的相關產品數量更是無法有效統計。但是從宏觀角度審視，這些大數據平臺與產品卻存在一個問題，即水平參差不齊，難以真正推動我國科學技術穩定發展。

許多平臺應用子模塊僅是將hadoop開源項目的部分內容改動，或者進行差異化演進，并沒有完全對大數據發展提供充足動力。

所以，對于平臺總體進行標準化構建，就需要對子模塊內容、數量進行確認。并對在什么大數據背景下可以被稱作大數據平臺，這種基礎性概念明確。產品術語稱呼，應用場景等內容也需要考慮到平臺總體標準化構建當中[4]。

2.2.2 基礎子模塊

確定大數據平臺總體框架后，還需要明確應用技術框架。緊接著，對數據門戶產品基礎子模塊進行標準化規定。基礎子模塊包括分布式計算系統、文件系統，都需要進行分別規范，除接口規范、應用技術框架等可能與其他工程領域存在重復風險，其余內容并不涉及其他領域，所以可以對其命名與應用制定專屬化標準，促進大數據平臺構建標準化作業。在對基礎子模塊建立相應標準時，要考慮到以大多數應用群體為主，是否對模塊命名或制定標準是否符合當前用戶實際作業情況。要在綜合全面對標準制定是否合規合理后，再進行基礎子模塊制定相關工作。

2.2.3 擴展子模塊

擴展子模塊標準化，主要針對數據容錯與備份、大數據應用等環節。因為這部分拓展子模塊具有互通性，所以會與各種領域或多或少存在標準制定重復風險。所以，應該從現有子模塊制定標準基礎上，對部分標準進行近更新，或者視情況重新制定。

但是對于數據挖掘算法庫等大數據應用中間件，以及管理運維產品接口規范等擴展子模塊，不建議重新制定相關標準[5]。

考慮到未來系統會呈現多樣化功能，所以要在數據門戶產品中預留一定可拓展空間，方便后續拓展子模塊增添與拆卸。這部分拓展子模塊無法確認具體形式、工作特性，所以只需要做好標準化接口制定即可。

同理，即使現在應用的擴展子模塊，也需要對備用模塊做好制定標準化，避免在子模塊更換時，因協議、接口不匹配，造成產品使用出現問題。

三、數據門戶產品建設中的成果展示

為拓展大數據應用層面，數據門戶產品建設也逐漸趨于完善。例如接收借助大數據的5v特性，即體量（Volume）、多樣（Variety）、時效（Velocity）、準確（Veracity）與價值（Value），對ETL工具實現變革，成為在大數據時代下的ETL工具。

例如可以有效管理海量日志文件的Splunk，就是出名大數據ETL工具;而大數據BI軟件相較于傳統BI軟件，可以實現對TB級別數據實時分析，降低信息處理所需時間。而且在大數據BI軟件應用程度不斷加深，也為人們提供一種大數據背景下的可視化工具，讓系統運行更加透明、規范;為保障用戶信息安全，保護企業信息不發生泄漏現象，從隱私保護、漏洞檢測等方面考慮的大數據安全工具正成為市場重點關注對象，例如Splunk Enterprise Security等就是典型大數據安全保護工具。而且，對于數據門戶產品制定標準，雖然在數據庫與非結構數據管理方面有完善標準，但是對于大數據可視化工具等卻沒有明確標準。尤其是開放數據集等新型產品，當前運行效果一般，導致標準制定相對模糊。

我國對于大數據平臺標準設置，對產品標準研制則集中在導入接口、大數據存儲與處理憑條、分析系統等幾個方面，以華為公司為代表的各類國內公司承擔相關工作。目前已經取得突破性進展，部分標準制定已經被國際各種企業所承認，其余標準制定工作也逐漸被提上日程。

四、結束語

綜上，對于數據門戶產品建設工作要保持長久發展，對技術及時更新換代，避免出現獲得短期成果而忽略產品維護工作。

除對產品進行常規維護外，還要積極總結用戶反饋，對產品內容與框架適度調整，從而滿足用戶實際需求?？梢詾閿祿T戶產品擴寬應用模塊，增強其綜合能力，為用戶提供更良好使用體驗。也要建立起相應風險應對機制，保障在數據門戶產品出現問題時，及時修復，避免造成嚴重損失。

參? 考? 文? 獻

[1]李小潔. 基于用戶行為數據的高校圖書館門戶網站建設研究[J]. 山東圖書館學刊， 2020， 000（002）：46-51.

[2]王祎， 張輝， 陳延風. 美國政府數據開放網站管理體系研究及啟示[J]. 中國科技資源導刊， 2020， 52;541（01）：18-22+93.

[3]朱麗娜. 高校智慧圖書館建設路徑探討[J]. 科學與信息化， 2020， 000（001）：40-41.

[4]潘見獨、李慧、顧鋒. 從免費到收費：雙邊信息產品平臺的版本劃分策略研究[J]. 研究與發展管理， 2020， 32（05）：62-71.

[5]鄧玲，顧穎，蔡瀟. “互聯網+政務服務”環境下政務App建設的探索與研究——以江蘇省N市政務App為例[J]. 改革與開放， 2020.