基于大數據的科技管理數據集成平臺探討

程思博

華電電力科學研究院有限公司 北京 100039

在科技管理數據的具體應用中，為有效避免數據孤島的形成，相關單位和技術人員應注重其數據的集成化研究與發展。良好的數據集成不僅可實現科技管理數據訪問效率的提升，同時也可以讓數據的分析及其管理更加科學便利。將大數據作為基礎，進行科技管理數據的集成化平臺建設，便可實現科技管理數據的良好集成。相比較傳統形式的數據集成平臺而言，該平臺不僅在架構部署方面更加簡單便捷，同時也具備更高的處理效率、更好的容錯性和可拓展性。因此，相關單位和技術人員應加強此類平臺的研究，使其在科技管理數據集成中發揮出應有的作用與優勢。

一、大數據與科技管理

(一)大數據概述

大數據又叫做巨量資料，它是指涉及的數據資料具有非常宏大的規模，不可能在合理的時間內通過人的大腦或者是傳統軟件工具進行處理的海量資訊。其主要特征是數據量龐大、數據種類繁多、實時性強、蘊藏價值大等。當今的每個行業領域中都有大數據存在，因此，各個行業領域都需要通過相應的技術來進行大數據的處理、分析、歸納與總結，從而實現所需資訊的獲取與蘊藏價值的挖掘。在這樣的情況下，大數據技術也應運而生，比如數據采集技術、數據挖掘技術、數據處理技術、數據集成技術等。通過這些技術的應用，使得大數據背景條件下的各個行業信息化發展具有了更大動力。

(二)科技管理概述

所謂科技管理，就是通過管理學的合理應用，讓各種的科技資源得到優化整合，并對其進行管理的一種行為。這里的科技主要包括低等科技、中等科技、高等科技、新興科技、新科技、有形科技、無形科技以及適當科技等。就短期意義來看，科技管理可改良科技產品品質、提升科技發展效率；就長期意義來看，科技管理可為科技的發展提供整體性和策略性的規劃，從而實現一個整體、長期的競爭利基創造。

(三)大數據在科技管理數據集成中的主要應用優勢

對于科技管理數據的集成而言，大數據不僅可將傳統的科技管理數據分散模式打破，讓數據之間達到良好的整合與貫通效果；同時也可以讓科技管理數據具有更高的應用效率，從而使其數據效能得以充分發揮；且能夠實現科技管理數據的全局展現，為科技決策提供良好服務[1]。由此可見，大數據在科技管理數據的集成中具有非常顯著的應用優勢，將大數據合理應用到科技管理數據集成中，將會為科技發展及其服務質量提升提供有力支持。

二、以大數據為基礎的科技管理數據集成平臺分析

(一)總體平臺框架分析

在以大數據為基礎所建立的科技管理數據集成平臺中，其主要的組成模塊有四個，第一是云平臺模塊，該模塊在整體平臺中具有基礎性作用，其主要功能是分布式資源的調度與管理，且能夠進行容器編排，從而實現多用戶空間資源的良好隔離與分配。第二是大數據基礎能力模塊，該模塊的主要作用是對各種大數據組件進行集成，對來自云平臺中的資源加以利用，將各種必備工具提供給科技管理數據以及上層應用。第三是數據集成模塊，它是整個平臺中的工作中心，通過大數據基礎能力模塊中提供工具的合理利用，可對科技管理數據平臺中的各種資源數據進行采集、分析、處理、計算與轉換等操作，從而將相應的數據服務提供給應用服務模塊。第四是應用服務模塊，該模塊可將數據形成模塊處理之后的數據作為基礎，將各種類型的服務提供給相應的應用場景，比如風險分析、研究關系分析以及數據可視化等服務，同時也可以對云平臺模塊中的統一調度與管理體系加以利用，從而實現應用的容器化管理。下圖是以大數據為基礎的科技管理數據集成平臺總體框架結構示意圖：

以大數據為基礎的科技管理數據集成平臺總體框架結構示意圖

(二)云平臺模塊分析

在云平臺模塊中，集群分布式管理系統主要通過Mesos技術進行建設，其主要功能是對集群資源進行分配，其中包括網絡資源、儲存資源、內存資源以及CPU資源等。而在Mesos集群中，Hive、Kafka、Spark、Hadoop以及Marathon等的很多種框架都可以運行。因為Mesos的功能只有資源分配，不能實現任務調度以及資源儲存等的功能，所以在集群分布式管理系統的建設中，Mesos需要與其他系統或軟件進行配合。比如，可將Mesos技術和HDFS、Zookeeper、Marathon/Chronos以及Docker相結合，便可組成一個完整的集群分布式系統，該系統可分別對資源分配、文件系統、進程之間通信、任務調度以及進程管理負責[2]。在云平臺模塊中，主要的應用功能包括以下幾點：

第一是集群分布式管理，它可以為物理機以及虛擬機中的服務器同時提供支持，且能夠實現動態擴容，從而為系統應用過程中的自動容錯以及彈性化自動擴容提供支持。

第二是監控告警管理，它可以實現網絡、內存、硬盤、CPU等各種硬件資源數據的定時采集，對資源消耗以及實例數量等各種狀態數據的服務與應用進行監控，同時也可以對文件分布式儲存系統的具體儲存狀態以及其中的文件數量進行監控。對于發現的狀態異常，該模塊將會立即發出告警提示。

第三是日志文件管理，其主要功能是為日志的收集、分析及其查詢提供一個統一框架，其中有日志采集的標準化接口，可對應用程序中的日志采集進行配置與管理，同時也可以為用戶提供一種可視化形式的日志查看器，用戶可按照應用類型以及服務器節點等來進行日志的查詢與分析。

第四是權限管理，對不同用戶組以及用戶在平臺中的應用權限進行設置，讓多用戶形式的大數據平臺權限得到良好控制，防止非授權用戶在平臺中實施不當操作。

第五是負載均衡管理，借助于HAProxy技術對系統負載進行均衡管理，以此來實現特定任務向多個服務器的分發，讓平臺具備更好的業務處理能力，以此來實現其可用性的進一步提升。

(三)大數據基礎能力模塊分析

在該平臺中，大數據基礎能力模塊屬于能力框架，它可以對各種大數據主流組件進行快速集成，為上一層數據采集、儲存及其處理等各種業務需求的實現提供合理的工具。該模塊中的全部組件都可以對云平臺模塊所提供的各種分布式儲存以及計算資源進行高效、合理的運用。除了與數據儲存有關的組建之外，其他大部分組件都可以通過容器化的形式進行資源發布，在該模塊的管理中，其調度管理機制可由云平臺模塊統一提供。在該模塊中，主要的組件及其功能包括以下幾個方面：

第一是數據采集組件，此類組件是將分布式采集平臺作為基礎，讓各種主流數據庫、網絡服務接口和本地文件系統之間達到良好的兼容效果，具備有效的恢復和容錯機制，可讓數據采集以及數據傳輸服務更具可靠性和可用性。就目前來看，Flume以及Kafka是常用的數據采集組件。

第二是數據儲存組件，此類組件可以對非結構化、半結構化以及結構化形式的科技管理數據進行分布式儲存，并實現各種數據的快速查詢與檢索。就目前來看，Redis、Elasticsearch、HBase、MPP以及HDFS等是常用的數據儲存組件[3]。

第三是計算引擎組件，其中的大部分組件都是分布式的計算框架，可為科技管理數據的大規模批量處理提供支持，從而實現數據集成及其運算效率的顯著提升。就目前來看，Spark以及Map Reduce是常用的計算引擎組件。

第四是數據處理組件，其主要功能是數據查詢以及數據倉庫分析，同時也可以對HDFS、HBase以及MySQL中的數據文件進行加載、抽取和轉換。就目前來看，Spark ETL以及Hive是常用的數據處理組件。

(四)數據集成模塊分析

該模塊在整體平臺中具有核心性作用，將ETL技術作為基礎，在各個來源中進行原始科技管理數據的抽取，通過預定義數據模型進行原始數據轉換，再將轉換的數據加載至數據湖。這里的原始數據主要包括多場景、多維度以及多時間的科研數據、信息化服務記錄以及管理數據等，這些數據將以數據資產的形式存在于平臺中。在該模塊對科技管理數據進行集成的過程中，其主要流程包括三個方面：

第一是數據抽取，其抽取對象是科技項目整個生命周期中所涉及的申請、評審、立項、執行以及驗收等數據，比如文獻數據、財務數據、信用數據、成果數據、專家數據、項目數據以及指南數據等。在新建項目或者是新發布的指南數據集成中，便可采用Data X或Sqoop等的組建在文件、數據或其他業務系統中進行原始數據的完整抽取。對于原始項目中的數據修改和新增情況，則可借助于增量法對數據進行抽取，通過Flume等的工具對源數據變化情況進行實時監控，并通過定量或定時的形式進行變化數據的抽取。通過這樣的方式，便可實現數據集成平臺壓力的有效降低，以此來確保其良好運行。

第二是數據轉換，其主要工具是ETL引擎。該引擎中含有很多的數據轉換組件，可讓數據拆分、數據合并、數據加密、數據解密、數據驗證、數據替換、數據過濾等的各種操作自動實現，同時也嚴格規范了數據的格式、訪問接口及其傳輸方式。通過該功能的應用，可實現平臺中科技管理數據的及時轉換，將臟數據及時清除，并實現關聯數據的有效組織。

第三是數據加載，其主要的數據湖加載方式有三種，不同加載方式所適用的場景也存在不同。其一是完全刷新，在該加載方式中，數據湖內僅僅存在最新數據，在每一次加載前，數據抽取程序都會對源數據內的全部記錄進行抽取，然后清空目標數據表，最后將集成厚的新數據加載到數據湖中。其二是鏡像增量，雖然源數據記錄會定期更新，但其中所含有的記錄時間字段卻被儲存到了數據歷史記錄里，借助于ETL，便可將歷史記錄時間作為依據，在源數據中進行增量數據的抽取，然后再通過附加的形式將這些數據加載至數據湖，而數據歷史記錄也會在數據湖中保留。其三是鏡像比較，數據庫每天都會對記錄進行更新，且歷史記錄不會被保留，但是在數據湖中，所有的數據都具備生效日期字段、記錄變化以及更新時間，因此在數據加載的過程中，只需要對新的鏡像數據和上一次加載數據作比較，便可將變更部分找出，并對其進行更新，在此過程中，數據的生效日期也會隨之更新。

該模塊中的所有數據操作方式均為容器化形式，通過這樣的操作，不僅可以讓云平臺模塊中的容器化調度編排功能得以充分利用，同時也可以讓各個數據集成處理中的流水線得到隔離管理，以此來為各個過程的監控提供足夠便利，使各個過程中存在的問題得以及時發現，并讓不同過程之間達到互不干擾的效果。通過這樣的方式，便可讓平臺中資源搶占導致的沖突問題得以有效降低。

(五)應用服務模塊分析

在完成了科技管理數據的集成化處理之后，便可將數據集成模塊中所提供出的各種服務API作為基礎來進行應用平臺的搭建，比如機器學習平臺、統計分析平臺以及數據可視化平臺等，從而為用戶提供所需服務，滿足其個性化應用需求。比如，在機器學習這一應用平臺中，在將同一科技專項中的所有報告或申報書資料進行集成之后，便可通過CFR條件隨機場景模型或者是RNN循環神經網絡來對其領域進行分析。

在傳統形式的信息化科技管理系統中，如果需要進行新業務的上線，或者是進行舊業務的升級，通常都需要重新進行系統配置、環境依賴調整以及項目編譯等的眾多復雜操作，且稍有不慎便會引發系統故障，對其高效穩定運行產生很大程度的不良影響。但是在該平臺的應用中，通過各個功能模塊的應用，便可將敏捷開發理念作為依據，對各種的業務進行分布式協同開發，并達到良好的測試與部署效果，讓各個業務都以容器化的形式運行在應用服務模塊中，從而有效解決傳統科技管理數據信息化系統應用中的諸多問題，在確保業務升級與更新效果的同時實現系統運行效果的良好保障[4]。

結語

綜上所述，科學技術的發展推動了社會的進步，大數據時代已經到來。而在大數據時代背景下，科技管理數據的集成也在傳統基礎上實現了進一步更新與發展。將大數據技術合理應用到此類集成平臺中，通過各種儲存、計算以及控制等的大數據技術組件應用，便可實現平臺穩定性、容錯性和可維護性的顯著提升。將此類集成平臺應用到海量科技管理數據的應用服務中，便可實現各種數據的有機集成，從而為科技管理數據的有效利用奠定堅實的技術基礎，并為科技管理方面的綜合統籌及其決策提供重要支撐。因此，在對科技管理數據進行集成應用的過程中，相關單位與工作人員一定要加強大數據及其關鍵技術的應用研究，然后以此為基礎，對先進的集成平臺加以科學建立。這樣才可以讓科技管理數據應用符合當今時代發展，從而為用戶提供滿意且具個性化的服務。