大數據應用與大數據體系規劃探討

高福春

(中國核電工程有限公司，北京 100840)

當前，信息技術發展迅猛、技術創新層出不窮，以“大數據”和“AI技術”為引領的智能化浪潮正在席卷全球，“大數據”已成為加速企業產品服務創新、推動組織業務變革、引領社會轉型的重要因素。大數據是一種數據處理技術，是一種新的思維方式，更是一系列新理念、新方法、新要素的集中體現。在大數據時代，數據是財富、是資源、也是競爭力。

大數據領域廣受信息技術廠商的關注，全球眾多信息技術廠商紛紛布局大數據領域相關技術研究與開發，IBM、微軟、Oracle、Teradata等先行者已通過技術手段確立了大數據技術與產品的市場地位，已經形成了一套較為完整的大數據生態體系。

2016年3月，國家國民經濟和社會發展第十三個五年規劃綱要發布，綱要指出：“實施國家大數據戰略，把大數據作為基礎性戰略資源，全面實施促進大數據發展行動，加快推動數據資源共享開放和開發應用，助力產業轉型升級和社會治理創新”。2017年1月，工信部印發了《國家大數據產業發展規劃(2016—2020年)》，規劃中對國家“十三五”時期面臨的形勢描述為“大數據成為塑造國家競爭力的戰略制高點之一”“數據是國家基礎性戰略資源”，而“促進行業大數據應用發展，推動重點行業包括電信、能源、金融、商貿、食品、文化創意、公共安全等領域的大數據應用，推進行業數據資源采集、整合、共享和利用，充分釋放大數據在產業發展中的變革作用，加速傳統行業經營管理方式變革、服務模式和商業模式創新及產業價值鏈體系重構”是未來五年大數據產業重點任務之一。

目前，醫療衛生、電子通信、能源電力等領域的眾多企業已經開展了大數據試點應用。大數據應用已成為各類企事業單位等組織的業務技術創新、管理精益化、決策科學的重要手段，全面推進大數據應用已成為核電企業推進產品服務智能化與業務數字化轉型的重要議題和行動方向。

1 大數據應用類型與面臨的挑戰

大數據應用是創新與智慧的重要源泉，應用前景廣闊，大數據發展風起云涌、熱鬧空前，但就大數據支撐技術和應用實踐而言，大數據應用尚處于發展的初期，企業大數據應用仍面臨諸多的挑戰。

1.1 大數據應用內涵與外延

由于大數據技術發展迅猛，技術與應用快速迭代，大數據內涵已遠非大數據概念提出時的狹義應用場景，廣泛傳播的大數據應用普遍存在炒作與夸大其詞的成分，種種原因導致人們對大數據應用尚缺乏一致的認識，社會公眾和組織更愿意從概念層面理解大數據應用：“大數據應用”=“大量的數據的應用”，而人們對大數據應用的認識與理解直接影響企業數據分析的推廣與應用。

基于數據來源，廣義的數據分析應用可初略劃分為五種類型(見表1)。

表1 廣義數據分析應用分類Table 1 The classification of generalized data analysis and application

其中，類型1和類型2為滿足特定業務目的的數據查詢和統計分析，為常規的數據分析應用；類型3為專項數據分析系統，從特定目標對象獲得指標數據，通過數據模型的分析處理，達到預期的數據分析目標；類型4為基于關鍵績效指標(KPI)的多維度數據分析應用，一般用于事項管理和管控決策的輔助支持；類型5為典型的大數據應用，特征是基于主題數據、分析模型的數據分析應用。每一類數據分析應用均需要與之匹配的技術架構的支撐，以滿足特定的數據分析應用與擴展的需要。

基于上述數據應用的分析，從技術實現的視角看，廣義的大數據應用基本可以分為三種情況：

1)基于應用系統及擴展的數據分析應用，對應上述的類型1、2、3；

2)基于數據倉庫技術的數據分析應用，對應上述的類型4；

3)基于主題數據的數據分析應用，對應上述的類型5。

從組織宣傳的視角看，任何數據分析應用都可以歸為“大數據應用”，無關數據量大小、數據形態、分析方法與技術實現。但從大數據應用推進與建設的視角看，需要清晰地區分出不同類型數據應用的數據組織、技術實現、應用模式等的實現與管理。

1.2 大數據應用面臨的挑戰

大數據應用本身蘊含著無限的數據創造價值的想象空間，加之政府的大數據發展規劃和產業政策引導，無疑會激發企業推進大數據應用的決心和信心，但企業現有的數據狀況及大數據分析技術的局限均會制約企業的大數據應用，企業大數據應用面臨著諸多的挑戰。

(1)數據質量不佳與數據標準規范欠缺帶來的數據分析困難

現有信息系統建設時一般不對后期的數據分析應用有過多的設計考慮，導致已積累形成的數據資源的數據屬性、數據格式、數據關聯及數據完整性等問題均會制約進一步的數據分析應用，加之數據標準化不足，數據表達不規范、數據交叉重疊、數據有效性等問題普遍存在，導致數據分析利用的難度變大。

(2)數據分析利用模型與數據體系重視不夠帶來的難于利用

如果統計報表類的數據分析屬于低層級數據應用的話，那么能夠支持業務、技術與管理創新的數據分析就應該屬于高層級數據應用，而高層級的數據分析應用的模型及算法需要創造性的智慧支持，數據分析人員的缺乏也會制約數據分析應用的開展。同時，數據體系化的不足同樣也會制約數據分析應用的開展。

(3)數據應用壁壘與數據利用體制機制導致難以開展數據分析

對于涉及多個業務領域、多個組織的數據分析應用，數據應用的壁壘不僅存在于組織之間，也存在于組織內部的業務領域之間、業務領域和管理域之間，導致很難形成基于單一數據源的數據資源體系，很難支撐大數據分析應用工作的有效開展。需要打破數據壁壘、建立與大數據分析應用相配套的體制機制。

2 大數據應用需求與策略選擇

鑒于大數據分析應用的多樣性和企業大數據應用面臨的挑戰，企業應該結合自身數據分析應用需求，選擇合適的大數據推進策略，有條不紊的推進企業自身的大數據應用。

2.1 大數據應用模式與特點

大數據應用的數據來源廣、數據種類多、時間跨度長的這種特點，決定了很多的大數據應用會突破單一的組織邊界，經濟社會中的不同角色有不同的大數據應用訴求，以下從大數據覆蓋范圍的視角簡要分析大數據的應用模式及特點。

(1)組織范圍視角的大數據應用需求

企事業單位出于自身業務與管理需要開展大數據分析應用工作，其核心是圍繞產品服務和經營管控需求開展大數據分析應用工作。產品服務大數據分析需求一般包括產品開發、產品生產、產品營銷、交付支持等方面，經營管控大數據分析需求一般包括經營管理支持和管控決策等方面。其產品服務大數據分析應用與產品服務密切相關，不同行業、不同業務領域的大數據應用存在較大的差異；經營管控大數據應用具有一定的相似性，不同企業之間的經營管理大數據分析應用具有一定的參考和借鑒性。

(2)產業協作視角的大數據應用需求

隨時互聯網、物聯網和兩化融合的逐步深化，企事業單位之間的產業協作將逐步深化，延伸至客戶端的基于互聯網的產品全生命周期管理將逐步成為現實，基于產業協作視角的大數據應用將逐步興起，并為企業的產品服務優化與創新提供更為廣闊的需求支持。基于產業協作視角的大數據應用的紐帶是“產品與服務”，圍繞產品向兩頭延伸，向上延伸至產品關鍵技術研究、產品零部件、制造，向下延伸客戶產品使用、服務支持，中間為企業內部的產品開發、生產、營銷與交易。產業協作大數據應用的驅動力是提升產業協作效率、支持產品服務優化創新。

(3)產業發展視角的大數據應用需求

站在產業發展視角看，應發揮市場對社會公共數據資源的配置和創新支持作用，充分發揮基于互聯網的產品交易數據、產品電子目錄體系、產品運行的事故事件與維護處置數據、優化改進建議與用戶投訴等產業數據資源的價值。企業應基于產業數據資源供給情況規劃自身的大數據應用，以更好的支持自身的產品服務完善優化與創新。產業數據資源主體也應積極推進數據資源的市場化與服務化，支持企業的大數據應用。同時，政府應加大產業數據資源整合的引導推進與大數據應用的政策與資源支持。

2.2 大數據應用推進策略選擇

企業應根據所在行業特點和價值定位，基于開展大數據應用的核心訴求，選擇符合企業發展需要的大數據應用發展之路。

(1)產品技術創新型大數據應用

產品服務是企業價值創造的承載和經營目標實現的途徑，產品服務的競爭力是企業贏利能力的支撐和生存發展的基礎，提升產品競爭力和贏利能力是企業不懈努力奮斗的目標，開展產品技術創新大數據應用是企業大數據應用優先發展的領域。應圍繞產品開發、產品生產、產品營銷、交付與支持等領域的改進與創新求需求，開展大數據分析應用，發現問題，補齊短板。同時，結合數據資源供給情況，開展基于企業內外部的產品數據收集、整理、完善，逐步建立以主題數據為基礎的產品全生命周期的大數據應用體系，支撐企業的產品服務優化與創新。

(2)業務運行與協作大數據應用

隨著產業分工的專業化發展，企業的生產運行從企業內部的供、產、銷一體化運作逐步發展為涉及產品上下游合作伙伴的業務運行與協作，業務運行從企業內部延伸擴展到產業鏈，產業鏈合作伙伴的協作效率的高低直接影響企業的業務運作效率。開展業務運作與協作的大數據分析應用逐步變得越發重要。推進建立以企業經營計劃為驅動，以生產計劃、物資供應、生產排產、產品庫存、產品營銷、產品支持等領域的數據為依托、以數據標準規范為支撐的業務運行與協作大數據應用體系將成為企業的重要選項，以支持業務運行的績效提升與管理創新。

(3)經營管理績效提升大數據應用

成功的企業離不開高效的經營管理和有效的管控決策支持，建立完善覆蓋企業經營管理各領域的信息系統，通過一體化的經營管理信息系統支持高效的經營管理運作。重視經營管理各領域的數據分析利用，以績效提升為導向，不斷改進企業的經營管理。同時，重視業務成熟度與業務關鍵績效評價指標體系的健全和完善，推進基于關鍵績效指標(KPI)的業務評價與考核機制。基于企業關鍵績效指標評價體系，逐步建立以關鍵績效指標體系為基礎的經營管理大數據應用體系，以更好的支撐企業的經營管理和戰略管控。

3 大數據應用體系規劃與建設

無論是業務視角的大數據應用模式還是技術視角的技術支撐體系均表明，不同類型的數據分析應用依托不同類型的技術解決方案，而數據分析需求往往也是業務應用系統建設的需求之一，本文僅對具有一定普適參考作用的基于主題數據的大數據應用規劃提出規劃與建設參考。

為實現一次數據整理滿足多種數據分析應用的要求，需要對業務數據進行主題化分解，形成基于主題數據的信息分解結構，基于主題數據建立大數據的數據資源體系，實現一次的數據整理滿足未來多種數據挖掘分析的目的。

3.1 技術體系規劃

從架構的視角看，主題大數據系統(以下均簡稱大數據系統)一般包含數據源層、主題數據管理層、數據分析層和數據使用層四個層次，為保證大數據系統的可持續發展，需要對相關各層做好規劃。

3.1.1 整體框架

大數據系統整體框架可用圖1示意表示。

圖1 大數據系統整體框架示意圖Fig.1 The overall frame word of big data system

1)統一技術架構基礎。建立大數據統一的技術架構基礎，實現大數據系統技術路線統一、支撐產品統一、集成標準統一，有利于大數據系統與各業務領域系統的集成。同時，降低大數據應用綜合擁有成本。

2)統一主題數據規劃。為有效支撐長期、跨領域主題數據的挖掘分析，統一各領域主題數據規范是必要的、也是必須的。通過統一的主題數據規劃，確保主題數據規范、數據充分，有效支持大數據試點應用和可持續發展。

3)統一分析模型管理。大數據應用是基于統一的主題數據資源的挖掘分析，為保證數據資產得到有效保護，分析模型得到充分復用，實行統一的分析模型管理是必要的。為此，需要組建數據資產管理部門，統一管理大數據系統的數據資產和分析模型。

4)統籌分析主題管理。各業務領域存在共同的挖掘分析主題需求，為避免大數據分析主題的重疊與交叉，需要建立與業務相銜接的大數據分析主題立項協調機制，提高大數據應用的投資有效性。

5)統一數據分析應用。建立統一的大數據分析應用門戶，為各業務領域用戶提供統一的大數據利用入口。為數據分析用戶提供主題數據瀏覽、檢索服務。按授權訪問已發布的主題分析應用。

3.1.2 信息體系

信息體系重點闡述信息對象的相互支撐與關聯關系，大數據信息體系如圖2示意表示。

圖2 大數據信息體系示意圖Fig.2 The diagram of big data information system

在上述的四層信息架構中，各層數據架構關系如下：

1)數據來源層：主要的數據來源包括各領域的信息系統。進入大數據系統的數據以主題數據形式存在。主題數據專注于描述事務特征的數據對象，是事務對象的客觀表現。與業務數據的差別在于主題數據不強調事務的業務聯系。

2)數據管理層：需要基于統一的主題數據梳理規則，統一規劃各業務領域系統主題數據，按確定的主題數據類型從各系統收集主題數據，進而形成大數據系統主題數據資源庫，實行統一的主題數據資源管理。

3)數據分析層：根據數據分析目標設計不同的數據分析模型和工具。數據分析層與數據資源層相對獨立，數據資源層通過數據分析層體現數據價值，而數據價值的大小則由分析模型確定。

4)數據使用層：數據使用層是數據價值的外在表現，包括大數據應用信息門戶和可視化工具。信息門戶為用戶提供接入入口，提供常規的用戶認證、信息集成、應用集成功能；可視化工具提供數據瀏覽、挖掘分析的可視化展現，其中主題數據維度可視化瀏覽是數據使用層的基本服務。

3.1.3 技術體系

參考業界主流大數據平臺的技術體系，基于成熟、主流的大數據產品與技術，結合企業現有信息系統架構，構建大數據系統技術體系。大數據技術架構主要分為數據源、數據集成層、數據存儲層、數據管理層、挖掘分析層和使用層。

1)數據源層：主要包括大數據系統相關的數據來源業務系統、鏡像的工控系統實時數據、及必要的非結構化數據源等。

2)數據集成層：主要完成和業務系統、數據庫的對接，將應用系統中的結構化、非結構化數據通過批量、增量采集方式匯集到更適合大數據處理利用要求的大數據存儲處理系統中。

3)數據存儲層：提供關系數據庫、優化的HDFS文件系統、NoSQL數據庫、內存數據庫等多種數據存儲形式，支持大容量的數據存儲處理。具體根據企業大數據系統存儲處理的數據情況確定。

4)數據管理層：選用類似的相近軟件和自行開發軟件對存儲在大數據平臺上的主題數據進行管理，主題數據管理系統對大數據系統的數據分析利用至關重要。

5)挖掘分析層：包括瀏覽分析服務和挖掘分析模型建立。瀏覽分析服務提供基本的主題數據瀏覽和常用分析引擎支持，數據分析模型基于數據分析需求，選用已有的分析模式或自行開發實現。

6)使用層：負責將數據分析層的分析結果轉變為可利用的方式展現。利用方式包括通過可視化發現工具提供用戶使用，可為用戶提供信息推送、業務報警、應用分析等服務。在具體分析應用上可根據具體應用場景選擇不同技術產品。

同時，為更好的支撐大數據平臺的運作，需要建立配套的大數據系統管理平臺，該平臺需要提供的功能包括數據標準管理、數據質量管理、數據安全管理、數據架構管理、元數據管理等。

3.2 主題數據管理

大數據應用前景很豐滿，但現實很骨感，每前進一步都存在巨大的困難與挑戰，為更好的推進大數據應用，需要建立與之匹配的體制機制和標準規范支持。

3.2.1 建立數據管控體系

應建立統一的數據資源管控體系，統一管理大數據系統的數據資產，做好各數據資產全周期相關利益方的協調與組織工作，保證擁有完整高質量的數據資產，為數據挖掘分析奠定基礎。

1)建立大數據管理機構。負責大數據資源體系建設；負責統一協調處理數據分析需求，推進數據分析能力快速成熟；負責引入專業數據分析工具和大數據技術，逐步完善大數據平臺及分析工具；建立數據管控機制，建立主題數據標準、推進數據質量持續改進和提升。

2)落實大數據應用的推進責任。成立數據管控委員會負責協調解決數據分析需求、標準與管控等方面的爭議爭端，負責相關預算管理與績效評估；數據管控委員會辦公室負責大數據應用推進工作的組織與落實，負責大數據應用與管理績效考核；相關單位是數據分析需求方與數據管控協同方，負責提出數據分析需求，使用數據分析服務，參與數據管控標準制定，遵循數據管控標準；數據分析團隊提供數據分析服務，負責數據分析模型管理。

3.2.2 關注數據質量管理

數據質量直接影響大數據應用的效果，應大力推進數據質量的持續改進。

1)持續改進主數據質量。主數據是各項業務活動開展及應用系統功能實現的核心基礎，主數據質量好壞直接影響主題數據的質量。應持續改進與提升主數據的完整性、準確性、規范性、一致性與時效性。

2)健全數據關聯體系。梳理細化信息關聯主線，建立各類信息與關聯主線的關聯關系，更好的支持跨領域的主題數據分析。推進業務信息體系化建設，為健全數據關聯做好鋪墊。

3)推進業務數據標準化。標準化的業務數據是數據分析模型建立的基礎，通過業務數據標準化，規范業務數據產生過程，消除人因歧義，提高數據資源的可用性和有效性。

3.2.3 推進主題數據標準化

大數據應用的基礎是各業務領域的主題數據，為充分發揮主題數據價值，需要對業務各層級流程進行全面、系統的梳理，明確主題數據，定義主題數據屬性，形成主題數據模板，為大數據系統建設奠定基礎。

主題數據規劃可以結合大數據應用階段目標適時啟動，確保在建立主題數據之前完成主題數據梳理，以便為大數據系統提供完整、可用的數據資源。

3.3 建立分析模型管理機制

數據分析模型是大數據系統數據價值的發掘工具，是實現預測與分析的基礎支撐。依據大數據應用需求與方向，在標準化數據分析模型的基礎上分領域按功能逐步擴展數據分析模型，并持續完善與優化。

4 推進建議

大數據應用是極具潛在價值的二化融合新興應用，其應用本身涉及組織的業務創新與管理創新，核電企業需要結合自身的業務領域與經營管控需求和核心能力要求，選擇符合本企業特點的大數據應用發展之路，以下建議可供核電企業推進大數據應用時參考。

4.1 分類實策、做好全局大數據應用的統籌規劃

企業應重視數據潛能和數據分析帶來的潛在價值。基于可預見的數據分析的應用領域、應用范圍等特點，確定大數據應用分類，針對不同類型的大數據分析應用，制定不同類別的數據分析應用模式與成長路徑。

(1)組織范圍內的業務管理和經營管理的數據分析

大數據應用的初期，可通過設置業務運作和經營管理的關鍵績效指標(KPI)評價、分析業務運作和經營管理績效，推進PKI關鍵指標的數據分析應用，通過數據分析支持企業經營管理決策的科學化，支持業務運作和經營管理水平提升。

(2)組織范圍內的產品與技術類數據的數據分析

大數據應用的初期，積極推進基于特定應用場景的數據分析應用，盡早發揮數據價值。同時，基于產品改進和產品創新需求，統籌梳理產品生命周期中的開發、生產、營銷、使用與服務等各環節的大數據應用場景與需求，基于應用場景、數據構成、數據來源等關鍵需求確定主題數據顆粒度，統籌規劃主題數據體系，并據此規劃企業的產品與技術大數據應用體系。

(3)產業協作或產業鏈層面的大數據的分析應用

產業協作為企業視角的產品與服務的產業供應鏈協作生態，產業鏈為政府或行業組織視角的產業生態發展。產業協作或產業鏈層面的大數據應用應以產業協作效率提升和產業共同發展為驅動，基于共同利益，梳理各方需求，建立滿足多方需求的主題數據資源體系。基于主題數據開展產業大數據應用體系的規劃與建立。

4.2 打好基礎、做好全局大數據應用的體系建設

開展數據分析工作既需要滿足目標應用場景的數據分析方法的支持，也需要有充分的滿足分析要求的數據的質與量的支持。應用場景越多、數據來源越復雜、大數據體系建設的難度就越大。打好數據分析基礎，做好全局大數據應用體系的建設對大數據應用的健康和可持續發展至關重要。

(1)打好數據基礎，為大數據應用提供高質量的數據保障

在企業已有的信息化基礎上，應注重企業數據體系的梳理與規劃，完善數據分類、數據屬性定義和數據關聯，逐步打通企業內部各業務域、管理域的數據通路，逐步形成單一數據源和數據全周期應用的格局。重視數據標準規范體系的建設，明確數據質量責任。做好跨領域數據共享應用的協調和數據安全保密管理，為大數據分析應用提供有效的充分、多維度、高質量的數據支撐。

(2)建立大數據的技術體系和應用體系，支持可持續發展

大數據應用一項復雜的系統工程，涉及大數據資源體系、支撐平臺、數據分析等技術體系建設，也涉及大數據資源維護、系統運行維護與應用推廣等應用體系建設。組織應基于自身大數據應用發展需求，有序推進建設滿足大數據應用場景需求的技術體系。同時，結合大數據應用場景的相關情況，積極推進大數據應用體系的完善，以便更好的支持大數據應用的可持續發展。

4.3 關注實效，做好示范項目的總結與應用推廣

數據孕含潛能、分析帶來智慧，而智慧從來就不是輕易獲得的。大數據應用屬于高難度、復雜型的兩化融合應用，企業需密切結合自身的產品服務創新、經營管理創效核心需求，關注大數據應用的實效，開展大數據應用的試點建設與應用推廣。

(1)注重大數據培訓與交流，提高大數據應用把握能力

注重大數據技術與應用的培訓，逐步提高企業各級各類人員對數據潛能和數據分析價值的認識。開展大數據應用交流，了解行業內外大數據應用的典型應用場景和數據分析應用效果，提高對大數據應用誤區的辨識能力，結合企業自身業務運作和經營管理特點，發掘大數據應用在企業落地的著力點、應用場景與應用模式。

(2)開展大數據試點，以點帶面推進大數據應用的開展

結合企業數據分析應用的著力點，推進開展大數據應用的試點建設工作，重視大數據應用試點建設過程中的數據梳理與標準規范開發，同步做好大數據應用規劃相關事項的驗證工作。重視大數據應用試點的經驗總結，結合大數據應用試點的經驗反饋，完善企業大數據應用規劃和計劃，以點帶面，推進企業大數據應用相關工作的全面開展。