基于大數(shù)據(jù)技術的數(shù)據(jù)中心建設路徑研究

鄧汝和

（廣東長高通信服務有限公司，廣東清遠 511500）

0 引言

隨著互聯(lián)網(wǎng)等新一代信息技術的快速發(fā)展，全球各行各業(yè)產(chǎn)生了海量的數(shù)據(jù)，這些數(shù)據(jù)包含著寶貴的信息和價值，但如何高效的管理和分析這些數(shù)據(jù)成為一個挑戰(zhàn)。大數(shù)據(jù)技術的出現(xiàn)和發(fā)展為有效處理這些海量數(shù)據(jù)提供了新的解決方案。數(shù)據(jù)中心作為大數(shù)據(jù)技術的重要載體，承擔著數(shù)據(jù)存儲、處理、分析和交換的重要任務，成為信息社會中不可或缺的基礎設施。

1 數(shù)據(jù)中心建設目標

1.1 統(tǒng)一數(shù)據(jù)源及數(shù)據(jù)口徑

數(shù)據(jù)中心目標的實現(xiàn)有助于提高數(shù)據(jù)管理的效率和質量，統(tǒng)一數(shù)據(jù)源及數(shù)據(jù)口徑可以確保不同部門或系統(tǒng)使用的數(shù)據(jù)是一致的，這有助于避免數(shù)據(jù)之間的矛盾或不一致，提升數(shù)據(jù)的可信度和可靠性。其中，統(tǒng)一數(shù)據(jù)源能夠減少數(shù)據(jù)的重復存儲和冗余，優(yōu)化數(shù)據(jù)存儲結構，節(jié)約存儲資源，并簡化數(shù)據(jù)管理和維護流程。統(tǒng)一數(shù)據(jù)口徑則意味著數(shù)據(jù)的格式、標準和定義統(tǒng)一規(guī)范，這有助于提高數(shù)據(jù)分析的效率[1]。分析人員無須花費過多時間在數(shù)據(jù)解釋和清洗上，可以更專注于數(shù)據(jù)分析和挖掘價值。統(tǒng)一數(shù)據(jù)源和口徑有助于不同業(yè)務系統(tǒng)間的數(shù)據(jù)交互和集成，這樣可以更順暢地實現(xiàn)業(yè)務流程的整合和協(xié)同，提高企業(yè)整體運作效率。同時也提供了更加可靠和一致的數(shù)據(jù)基礎，有利于企業(yè)管理層進行準確、可靠的決策制定，從而推動企業(yè)發(fā)展。因此通過統(tǒng)一數(shù)據(jù)源及數(shù)據(jù)口徑，數(shù)據(jù)中心可以更好地滿足不同部門和業(yè)務需求，提高數(shù)據(jù)的管理和應用效率，為企業(yè)的發(fā)展提供更可靠的數(shù)據(jù)支持，統(tǒng)一數(shù)據(jù)模型如圖1 所示。

圖1 統(tǒng)一數(shù)據(jù)模型

1.2 一致的數(shù)據(jù)出入口

實現(xiàn)一致的數(shù)據(jù)出入口意味著在數(shù)據(jù)中心內部，所有數(shù)據(jù)的進出流程是經(jīng)過統(tǒng)一規(guī)范和管理的，這一目標的實現(xiàn)對于數(shù)據(jù)中心的運作和數(shù)據(jù)管理具有重要的意義。數(shù)據(jù)出入口流程如圖2 所示。

圖2 數(shù)據(jù)出入口流程

一致的數(shù)據(jù)出入口要求數(shù)據(jù)流程按照統(tǒng)一的規(guī)范進行，包括數(shù)據(jù)的采集、傳輸、存儲、處理和交換等各個環(huán)節(jié)，這有助于確保數(shù)據(jù)的質量和完整性，減少數(shù)據(jù)在傳輸和處理過程中的錯誤和丟失。還可以加強數(shù)據(jù)的安全性管理，通過統(tǒng)一的出入口，可以實現(xiàn)對數(shù)據(jù)進行嚴格的訪問控制和權限管理，確保只有授權人員能夠訪問和操作數(shù)據(jù)，從而防止數(shù)據(jù)的泄露和濫用。一致的數(shù)據(jù)出入口有助于優(yōu)化數(shù)據(jù)管理流程，通過規(guī)范數(shù)據(jù)的輸入和輸出，可以降低數(shù)據(jù)管理的復雜性和難度，提高數(shù)據(jù)管理的效率和準確性。這種一致性也為數(shù)據(jù)的整合和共享提供了基礎，不同部門或系統(tǒng)之間的數(shù)據(jù)可以通過統(tǒng)一的出入口進行交互和共享，實現(xiàn)數(shù)據(jù)的一致性和集成，促進企業(yè)內部各個部門之間的協(xié)同工作。通過規(guī)范數(shù)據(jù)的出入流程，可以減少數(shù)據(jù)的清洗和整理工作，使數(shù)據(jù)分析師能夠更快地獲得可靠的數(shù)據(jù)，從而提高數(shù)據(jù)分析的準確性和效率。

1.3 構建管控中心

管控中心應能夠實時監(jiān)控數(shù)據(jù)中心內部的各項運行指標，可以及時發(fā)現(xiàn)并解決潛在的問題，確保數(shù)據(jù)中心的穩(wěn)定運行。管控中心負責對數(shù)據(jù)中心的資源進行合理的分配和優(yōu)化，通過監(jiān)測各個服務器、存儲設備和網(wǎng)絡設備的利用率，可以根據(jù)需求進行資源的動態(tài)調整，確保資源的高效利用和避免資源的浪費。管控中心應具備故障診斷和應急響應的能力，一旦發(fā)生故障或異常情況，管控中心應能夠迅速定位問題并采取相應的應急措施，以最小化對數(shù)據(jù)中心運行的影響。管控中心負責數(shù)據(jù)中心的安全監(jiān)控工作，包括對入侵、攻擊和數(shù)據(jù)泄露等安全事件的監(jiān)測和響應，通過建立完善的安全體系，可以保障數(shù)據(jù)中心的信息安全。管控中心應通過監(jiān)測和分析數(shù)據(jù)中心的性能指標，提出性能優(yōu)化的建議，這包括提高數(shù)據(jù)處理速度、降低延遲、優(yōu)化網(wǎng)絡帶寬等方面，以確保數(shù)據(jù)中心的高效運行，管控中心的執(zhí)行架構如圖3 所示

圖3 管控中心的執(zhí)行架構

管控中心需要負責確保數(shù)據(jù)中心的運作符合相關法規(guī)和標準，這包括數(shù)據(jù)隱私法規(guī)、安全標準等，保障數(shù)據(jù)中心的合規(guī)性，防范法律風險。通過建立強大的管控中心，數(shù)據(jù)中心能夠更加靈活、高效地應對各種挑戰(zhàn)，確保數(shù)據(jù)中心的穩(wěn)定、安全和可靠運行。

2 大數(shù)據(jù)技術下數(shù)據(jù)中心的具體建設

2.1 集成異構數(shù)據(jù)

在建設路徑的初期階段進行充分的需求分析是關鍵，了解業(yè)務部門和用戶的需求，確定需要集成的異構數(shù)據(jù)類型和來源，明確數(shù)據(jù)中心的整體目標。確定數(shù)據(jù)中心需要集成的異構數(shù)據(jù)源，包括數(shù)據(jù)庫、文件系統(tǒng)、日志文件等，建立標準的數(shù)據(jù)接入接口，確保能夠順利地接入各種不同類型的數(shù)據(jù)源。針對不同的數(shù)據(jù)源進行數(shù)據(jù)格式的標準化工作，主要包括統(tǒng)一數(shù)據(jù)的字段命名、數(shù)據(jù)單位、時間格式等，以確保數(shù)據(jù)在集成過程中能夠保持一致性和可比性[2]。進行數(shù)據(jù)清洗和轉換操作，解決異構數(shù)據(jù)之間的差異，確保數(shù)據(jù)質量。這可能涉及缺失值的處理、異常值的處理、數(shù)據(jù)格式的轉換等工作。建立元數(shù)據(jù)管理系統(tǒng)，記錄和維護各種異構數(shù)據(jù)的元數(shù)據(jù)信息，包括數(shù)據(jù)源、數(shù)據(jù)格式、數(shù)據(jù)所有權等，元數(shù)據(jù)管理有助于數(shù)據(jù)的可理解性和可維護性。部署數(shù)據(jù)集成平臺，通過該平臺實現(xiàn)對異構數(shù)據(jù)的集成，例如，可以采用ETL 工具，也可以選擇其他適合的數(shù)據(jù)集成解決方案，確保數(shù)據(jù)集成的過程能夠高效、穩(wěn)定地進行。異構數(shù)據(jù)集成涉及多個數(shù)據(jù)源，因此需要嚴格的數(shù)據(jù)安全措施和權限控制機制，確保只有授權人員能夠訪問敏感數(shù)據(jù)，防止數(shù)據(jù)泄露和濫用。針對需要實時處理的異構數(shù)據(jù)，考慮引入實時集成和流處理技術，可以通過使用流處理平臺或類似的技術來實現(xiàn)，確保數(shù)據(jù)的實時性和及時性。對數(shù)據(jù)集成的過程進行性能優(yōu)化，包括優(yōu)化數(shù)據(jù)傳輸速度、降低延遲等，確保在大數(shù)據(jù)環(huán)境下，異構數(shù)據(jù)的集成能夠高效運行，實現(xiàn)系統(tǒng)的穩(wěn)定性和可靠性。

2.2 采用追溯法進行數(shù)據(jù)疏理

在建設數(shù)據(jù)中心時，可以采用追溯法進行數(shù)據(jù)疏理，追溯法是一種從末端數(shù)據(jù)逐步追溯到源頭數(shù)據(jù)的數(shù)據(jù)分析方法，其主要目的是通過對數(shù)據(jù)流向、轉換和處理過程的追溯，了解數(shù)據(jù)的來源、流向和轉換規(guī)則，從而實現(xiàn)數(shù)據(jù)的疏理和清晰化。首先明確數(shù)據(jù)中心的建設需求和數(shù)據(jù)范圍，確定需要疏理的數(shù)據(jù)類型和數(shù)據(jù)來源。從數(shù)據(jù)中心的末端數(shù)據(jù)開始，即最終被使用的數(shù)據(jù)，追溯其來源和處理過程，這些末端數(shù)據(jù)可能是報表、分析結果、業(yè)務應用數(shù)據(jù)等。逐步追溯末端數(shù)據(jù)的流向，了解數(shù)據(jù)是如何從源頭到達末端的，包括數(shù)據(jù)經(jīng)過的系統(tǒng)、應用、處理流程等。在追溯過程中識別數(shù)據(jù)經(jīng)歷的轉換規(guī)則和處理過程，這可能涉及數(shù)據(jù)清洗、加工、整合等過程。記錄并整理追溯過程中得到的數(shù)據(jù)元數(shù)據(jù)，包括數(shù)據(jù)的來源、流向、轉換規(guī)則、格式等信息。根據(jù)追溯的結果疏理和整理數(shù)據(jù)的流程，建立數(shù)據(jù)流程圖或數(shù)據(jù)地圖，清晰展示數(shù)據(jù)的流向和處理過程。在追溯的過程中評估數(shù)據(jù)的質量，發(fā)現(xiàn)數(shù)據(jù)質量問題并提出改進建議。根據(jù)追溯結果制定數(shù)據(jù)管理策略和規(guī)范，包括數(shù)據(jù)采集、存儲、處理、共享等方面的管理規(guī)定。

2.3 建立概念模型，開展數(shù)據(jù)整合

概念模型是對業(yè)務領域中數(shù)據(jù)和信息關系的抽象表示，它有助于理清業(yè)務流程、數(shù)據(jù)關系和數(shù)據(jù)元素之間的聯(lián)系，為數(shù)據(jù)整合提供指導。利用業(yè)務建模工具或方法，繪制業(yè)務流程圖、數(shù)據(jù)流程圖等，理清業(yè)務過程和數(shù)據(jù)流動，這有助于識別業(yè)務實體、業(yè)務規(guī)則和業(yè)務事件[3]。通過分析業(yè)務流程，標識出業(yè)務領域中的實體和實體之間的關系，實體可以是業(yè)務對象、概念或事件，而關系則表示實體之間的聯(lián)系。為每個實體定義屬性，即實體所包含的數(shù)據(jù)項。這有助于明確數(shù)據(jù)的內容和特征。基于上述分析，繪制概念模型圖，其中包括實體、關系和屬性，這可以采用實體關系圖（ER 圖）或其他概念建模工具，概念邏輯模型如圖4 所示。

圖4 概念邏輯模型

建立數(shù)據(jù)字典詳細記錄概念模型中每個實體和屬性的定義，以及它們之間的關系，數(shù)據(jù)字典是整合數(shù)據(jù)的參考工具，確保數(shù)據(jù)的一致性和標準化。在概念模型的基礎上，確定數(shù)據(jù)整合的策略和方法，這可能涉及數(shù)據(jù)的抽取、轉換和加載（ETL），數(shù)據(jù)集成平臺的選擇，以及數(shù)據(jù)標準化和清洗等步驟。根據(jù)概念模型和整合策略，開始實施數(shù)據(jù)整合工作，包括數(shù)據(jù)的抽取、清洗、轉換和加載，確保數(shù)據(jù)能夠按照概念模型的定義進行整合[4]。

2.4 數(shù)據(jù)建設

數(shù)據(jù)建設涉及數(shù)據(jù)的采集、存儲、處理、分析和應用等方面，旨在建立一個高效、可靠、可管理的數(shù)據(jù)基礎設施，以支持業(yè)務需求和決策。設計數(shù)據(jù)存儲架構，包括選擇合適的數(shù)據(jù)庫技術、存儲設備和數(shù)據(jù)備份策略，考慮數(shù)據(jù)的結構化和非結構化存儲需求，并確保存儲方案能夠支持業(yè)務的快速發(fā)展。實施數(shù)據(jù)集成，確保不同系統(tǒng)之間的數(shù)據(jù)能夠無縫流通，使用合適的集成工具和標準接口，確保數(shù)據(jù)的一致性和完整性。制定數(shù)據(jù)質量管理策略，包括數(shù)據(jù)清洗、去重、驗證等步驟，確保數(shù)據(jù)質量符合業(yè)務需求，提高決策的準確性和可信度[5]元數(shù)據(jù)是描述數(shù)據(jù)的信息，建立元數(shù)據(jù)管理體系有助于理解數(shù)據(jù)的含義、來源和關系，確保元數(shù)據(jù)的準確性和及時更新。利用數(shù)據(jù)分析和挖掘技術，發(fā)掘數(shù)據(jù)中的潛在信息和模式，建立數(shù)據(jù)分析模型，支持業(yè)務決策和優(yōu)化業(yè)務流程。數(shù)據(jù)建設流程如圖5 所示。

圖5 數(shù)據(jù)建設流程

3 結語

綜上所述，在大數(shù)據(jù)技術下，建設數(shù)據(jù)中心能夠提升數(shù)據(jù)的處理和分析能力，更好的滿足日益增長的數(shù)據(jù)需求。在進行數(shù)據(jù)中心建設的時候，主要是從異構數(shù)據(jù)、數(shù)據(jù)疏理、數(shù)據(jù)整合、數(shù)據(jù)建設等方面入手，讓數(shù)據(jù)中心的建設更加高效，保障數(shù)據(jù)的完整性和保密性，降低數(shù)據(jù)泄漏和損壞的風險。