多源異構數(shù)據(jù)組織與管理

清華大學 北京 100084

前言

在信息技術快速發(fā)展的時代，數(shù)據(jù)增長呈現(xiàn)出爆發(fā)性趨勢，對數(shù)據(jù)的組織與管理也提出了更高的要求[1]。多源異構數(shù)據(jù)廣泛存在于社會經(jīng)濟眾多領域[2]，多源異構數(shù)據(jù)的組織與管理體系尚不完備，需要深入分析，逐步完善。

1 多源異構數(shù)據(jù)的概念和作用

多源異構數(shù)據(jù)是一種復合型數(shù)據(jù)。“多源”指的是一個數(shù)據(jù)的整體具有多個數(shù)據(jù)持有方，具有多個來源；“異構”指的是整體數(shù)據(jù)包含不同的數(shù)據(jù)成分，內容類型不同、特征不同，既有離散型數(shù)據(jù)，又含有混合型數(shù)據(jù)，既包含了結構化數(shù)據(jù)，也包含了非結構化數(shù)據(jù)[3]。例如，互聯(lián)網(wǎng)數(shù)據(jù)結構就是一種典型的異構數(shù)據(jù)，在互聯(lián)網(wǎng)融媒體發(fā)展的過程中，各種媒體的技術原理和成熟度均不相同，數(shù)據(jù)內容差異性很大，因此互聯(lián)網(wǎng)融媒體的多源和異構特征非常明顯[4]。另一個例子是城市交通多源數(shù)據(jù)，城市主管交通的不同部門都各自管理和持有一部分交通相關的數(shù)據(jù)[5]。

2 多源異構數(shù)據(jù)組織與管理面臨的挑戰(zhàn)

2.1 多源數(shù)據(jù)庫的規(guī)模增長不受限制，數(shù)據(jù)種類的增多難有止境

多源異構數(shù)據(jù)的組織和管理是大數(shù)據(jù)時代的重要研究內容[6]。隨著用戶數(shù)據(jù)不斷增加，數(shù)據(jù)采集渠道不斷豐富，其規(guī)模增長不受限制。另一方面，數(shù)據(jù)信息的載體多樣化，從文字到圖形、圖像、聲音，從結構化到半結構、非結構化，數(shù)據(jù)種類的增多也沒有止境[7]。

2.2 管理質量與管理效率之間存在固有矛盾

多源異構數(shù)據(jù)的組織和管理要保證真實性、完備性、自洽性、科學性以及安全性，保證數(shù)據(jù)管理的質量達標，這也是數(shù)據(jù)管理的基本原則。而隨著數(shù)據(jù)規(guī)模的增長和數(shù)據(jù)的復雜多樣化，有限時間之內完成質量管理成為巨大的難題。既要兼顧質量管理水平，也要兼顧管理效率，迫使多源異構數(shù)據(jù)的組織和管理技術的不斷創(chuàng)新。

2.3 多源異構數(shù)據(jù)管理人員能力提升需求迫切

多源異構數(shù)據(jù)源的數(shù)據(jù)內容種類繁多，數(shù)據(jù)量巨大，充分理解這些數(shù)據(jù)的背景和內容，實現(xiàn)有效的管理，對于數(shù)據(jù)管理人員的能力提出了較高的要求。然而，數(shù)據(jù)資源管理的科學系、系統(tǒng)性、可持續(xù)性在很多業(yè)務部門并未受到重視，多源異構數(shù)據(jù)的管理人員的能力提升并未得到有力的保障，這給長效性的多源異構數(shù)據(jù)管理和服務工作帶來了嚴重的隱患。

3 多源異構數(shù)據(jù)組織與管理工作建議

3.1 建立完善的多源異構數(shù)據(jù)管理機制

根據(jù)多源異構數(shù)據(jù)的特征，建立起完善的多源異構數(shù)據(jù)管理機制，可從以下三個方面入手：一是確立數(shù)據(jù)質量評價標準，規(guī)范數(shù)據(jù)管理結構，為數(shù)據(jù)管理的考核提供條件，提高數(shù)據(jù)管理質量；二是制定數(shù)據(jù)管理相關流程以及制度章程，不斷深化數(shù)據(jù)資源建設，保證多源異構數(shù)據(jù)的組織管理的高效進行；三是擁抱“開放數(shù)據(jù)、開放科學”原則，實現(xiàn)異構數(shù)據(jù)的統(tǒng)一管理和共享利用，保證不同性質的數(shù)據(jù)管理都能夠遵循同樣的數(shù)據(jù)管理流程，促進數(shù)據(jù)的規(guī)范性、科學性和開放性的管理與服務[8-9]。

3.2 建立信息技術保證體系

建立起信息技術保證體系，有助于實現(xiàn)數(shù)據(jù)管理質量與數(shù)據(jù)管理效率的同步提升。該體系應當包含數(shù)據(jù)檢測、數(shù)據(jù)存儲、數(shù)據(jù)傳輸、數(shù)據(jù)分析、過程控制等組成部分。此外，需要特別重視運用現(xiàn)代化信息技術手段，研發(fā)數(shù)據(jù)管理和服務的新手段，例如，將高速寬帶通信技術運用到數(shù)據(jù)管理的數(shù)據(jù)傳輸系統(tǒng)，運用數(shù)字化手段開發(fā)數(shù)據(jù)儲存空間，建立數(shù)據(jù)綜合信息管理系統(tǒng)，有效提高數(shù)據(jù)管理的效率[10]。

3.3 加強數(shù)據(jù)管理服務從業(yè)人員的素質建設

落實國家關于“數(shù)據(jù)是新的生產(chǎn)要素”的指示，提升數(shù)據(jù)管理和服務人員的能力和素質。包括加強對數(shù)據(jù)管理人員水平的培訓，提高其數(shù)據(jù)管理服務能力，提高創(chuàng)新意識和技術水平；包括設計數(shù)據(jù)管理服務專業(yè)技術培訓體系和能力評價體系，建立完備的從業(yè)人員職業(yè)晉升和發(fā)展的通道。

4 結束語

隨著社會經(jīng)濟的發(fā)展和各類大數(shù)據(jù)技術的運用，多源異構數(shù)據(jù)已經(jīng)成為社會經(jīng)濟發(fā)展的重要組成部分。多源異構數(shù)據(jù)的組織與管理的能力建設亟須加強，從業(yè)人員的素質建設亟須規(guī)劃。本文建議建立完善的多源異構數(shù)據(jù)管理機制、信息技術保證體系、信息技術保證體系，加強數(shù)據(jù)管理服務從業(yè)人員的素質建設，有助于落實國家關于“數(shù)據(jù)是新的生產(chǎn)要素”的指示，切實促進我國數(shù)據(jù)管理和服務行業(yè)的發(fā)展。