大數據標準化現狀及展望

韓 晶 王健全

1 中國聯合網絡通信有限公司 北京 100033，

2 北京郵電大學 北京 100876

引言

大數據是繼云計算后的新一代信息技術，它的發展和應用已經對政府、企業決策和人們的生活方式產生深遠的影響。從2014年Gartner發布的技術成熟度曲線(如圖1所示)中可以看出，大數據已經逐漸邁向低谷期。這意味著在經歷了持續的概念炒作之后，大數據市場已趨于穩定，并且形成一套合理的方法，大數據技術和應用也得到了長足發展。

圖1 大數據技術成熟度曲線(Gartner 2014)

目前，大數據企業不斷推出各式各樣的大數據存儲、處理、分析產品，同時，社交網絡、金融、通信、政務等大數據存在的領域，也相繼建設大數據平臺，從平臺的存儲處理分析等各方面都無不體現著行業特征。這種技術和應用缺乏通用性和標準化的現狀，在很大程度上阻礙了大數據的發展。

相對于大數據的標準化工作，傳統數據標準已經相對成熟，數據管理、數據處理和數據表示等方面的國際國內標準都已形成體系，然而，像NoSQL數據存儲系統和GFS文件系統這樣的諸多大數據新技術新應用，無論是國際還是國內，迄今為止其標準規范的研究工作還很匱乏。此外，由于大數據存在領域廣泛、存儲處理產品眾多，不僅大數據的定義、相關術語、分類、架構等方面缺乏統一描述，各種大數據產品的技術要求也不盡相同，這種現狀一定程度上阻礙了大數據產業的良性發展。因此，加強大數據標準化研制，對推動我國大數據產業進程，加快技術與標準的相互融合，推動大數據發展國家戰略和數據立法具有重要意義。

1 大數據標準化現狀

自2012年開始，ITU-T、ISO/IEC、NIST、CCSA等國內外標準研制組織相繼組建工作組展開大數據研究和標準化工作，這些工作組在大數據定義、相關術語、需求等方面輸出少量研究報告和標準，如圖2所示。截至目前，雖然研究成果有限，但其研究方法和方向具有重要的借鑒意義。

圖2 大數據標準化現狀

2012年6月，ITU-T SG13 WP6 Q26/13 TD57中提出“Big Data:use case，requirements，and capabilities”作為未來可能進行的新項目[1]。2013年1月，NIST(美國國家標準和技術研究院)成立Big Data Working Group (NBD-WG)，在大數據定義、術語、要求、安全和隱私、安全隱私架構、參考架構、技術路線方面的研究[2]。2013年3月，CCSA TC7WG3中立項《大數據運維技術與標準研究》，針對大數據的分類、組織，以及大數據分布式管理問題、大數據運維的全生命周期管理、大數據遷移、大數據利用和數據銷售服務管理等范圍進行研究。2013年10月，CCSA TC8WG2中立項《大數據應用安全技術要求》行業標準，該標準從運營商對外數據應用的安全防護層面，研究大數據安全管控技術，包括大數據存儲安全技術、挖掘安全處理技術、輸出審計安全技術、傳輸安全技術、運營安全技術等。2013年11月，ISO/IEC JTC1建立大數據研究組BD-SG，通過調研現有ICT生態系統中與大數據相關的關鍵技術、標準、模型、用例和場景等內容，確定大數據中的關鍵定義和術語，評估大數據標準化市場需求[3]。2014年3月，CCSA TC5WG5立項《移動大數據安全技術研究》研究課題，該課題對大數據安全的基本定義、體系框架、安全技術和保障機制等內容進行研究。2014年3月，CCSA TC1WG4立項《大數據需求、場景及架構研究》研究課題，該課題在借鑒國內外電信運營商和互聯網企業在大數據方面的應用場景的前提下，側重于提煉各個行業對大數據系統的需求，并分析大數據系統的體系架構。2014年3月，CCSA TC1WG4立項《電信互聯網大數據開放平臺標準化研究》研究課題，該課題圍繞促進互聯互通、數據安全和隱私保護等目標，系統分析大數據開放平臺建設、運營、監管中的標準化需求。2014年3月，CESI(中國電子技術標準化研究院)著手《大數據標準化白皮書》征求意見會，重點研究大數據基本概念、特征作用、大數據發展現狀、大數據技術參考模型和關鍵技術，以及大數據標準體系和下一步工作建議等內容。2014年5月，CCSA TC11WG1立項《移動互聯網大數據技術研究》研究課題，研究電信運營商大數據的范圍、數據模型、體系框架、關鍵技術、保障機制、應用場景和價值模式等內容[4]。2014年6月，ITU-T召開大數據研討會，旨在探討大數據對電信運營商的影響以及大數據標準化戰略[5]。

2 NIST大數據標準化現狀

美國國家標準與技術研究院(National Institute of Standards and Technology，NIST)多年以來一直參與分析聯邦政府和私營部門的海量數據管理，在大數據標準化工作方面，NIST遠遠走在前列。

2013年1月，NIST建立大數據工作組Big Data Working Group (NBD-WG)，該工作組又分為定義和分類(Definition and Taxonomy Subgroup)、參考架構(Reference Architecture Subgroup)、技術路線圖(Road Map Subgroup)、安全和隱私(Security and Privacy Subgroup)、用例及需求(Use case and Requirements Subgroup)、大元數據(Big Metadata Subgroup)六個子工作組。通過工作組定義了數據分析技術和技術基礎設施在互操作性、可移植性、可重用性、可擴展性等方面的需求，在大數據定義、術語、要求、安全和隱私、參考架構、技術路線方面展開討論和研究，從而支持大數據的安全有效利用。

在大數據定義方面，NIST認為大數據指的是數據量大、產生獲取速度快、種類多樣的數據，以至于當前系統的存儲容量或分析能力難以支持。

在大數據分類方面，NIST將大數據分為參與者(Actors)、角色(Roles)、活動(Activities)、組件(Components)、子組件(Sub-components)五部分。其中，大數據參與者有傳感器、應用程序、軟件代理、個人、組織、硬件資源、服務等;大數據角色包括數據提供者(Data Provider，DP)、數據消費者(Data Consumption，DC)、系統管理者(System Orchestrator，SO)、大數據應用提供者(Big Data Application Provider，BDAP)、大數據框架提供者(Big Data Framework Provider，BDFP)以及大數據安全隱私相關人員五種。數據提供者代表產生數據或者擁有數據的機構或者人，例如企業、搜索引擎、網絡運營商等參與者;數據消費者使用大數據，例如研究人員、應用程序和軟件系統。同時，企業、終端用戶、研究機構等可能既是大數據提供者又是大數據消費者;系統管理者對大數據進行管理、監控和實施，數據科學家、軟件架構師、安全架構師等均屬此列;應用提供者提供應用實例，應用程序專家、平臺專家、咨詢機構等都可能是應用提供者;框架提供者對外提供硬件和系統管理框架等資源，如集群、數據中心、云平臺提供者等都是框架提供者;大數據安全人員旨在監控大數據安全和隱私保護情況，企業中的安全管理人員和安全專家都屬于大數據安全人員。

在參考架構方面，NIST大數據工作組基于以下規則建立大數據參考架構:大數據參考架構是傳統數據系統的超集，是一種廠商中立、技術無關的系統，同時也是一種由各種邏輯角色組成的功能架構，該架構最終能夠應用到大量不同的商業模型中。圖3展示了該參考架構，其中，數據提供者的職能有發掘數據、描述數據、接入數據以及執行數據操作代碼;數據消費者的職能有發現應用服務、描述數據、數據可視化、數據呈現等;大數據應用提供商的職能包括身份管理和身份認證;大數據框架提供者的職能包括分析處理數據、轉換數據、代碼執行、存儲或檢索數據、提供計算基礎設施以及提供網絡基礎設施等;系統管理者負責明確需求、管理和監控系統運行情況。在大數據用例和需求方面，NIST大數據工作組基于一些已有用例，結合大數據參考架構，建立了26個用例模版，在政府管理運營、商業、國防、健康和生命科學、深度學習和社交媒體、生態系統、天文和物理學、地球環境科學以及能源等9個領域征集了51種大數據實際用例。這些領域的數據量從TB級到10PB級不等，所用平臺有高性能計算(High Performance Computing)機群也有云計算平臺。針對這些實際用例，工作組從數據源、數據生命周期、數據轉換方式、基礎設施、數據使用、架構組件及安全隱私要求等方面進行詳細分解，最終抽取出35個常規需求及437個特殊需求。一個實際用例通常是若干常規需求和特定需求的集合，例如有的用例需要R、Weka等特殊軟件的支持，需要能夠實時處理，或者需要對數據進行加密。隨著大數據參考架構的不斷演進，這些需求也會隨之演進，其內容將會更加豐富，分類也需要不斷調整。

圖3 NIST大數據參考架構

在大數據安全和隱私方面，在大數據參考架構基礎上，對大數據應用提供商與數據提供者、數據消費者、大數據框架提供商之間的三個接口，以及大數據框架提供商內部的安全隱私考慮進行了梳理，如表1所示。

表1 大數據安全和隱私考慮因素

3 大數據標準化工作展望

可以看出，在大數據的國際化進程中，全球范圍內大數據的標準化工作還處于研究階段，無論是術語、架構，還是存儲、處理、行業應用等，都尚未形成標準規范，這也是我國引領國際大數據標準化的良好契機。因此，我國應當加快標準化研究和制定，規范大數據行業，推進行業發展，為我國的大數據戰略頂層設計做參考。

在大數據行業發展方面，與國外企業相比，國內企業側重于大數據基礎設施和數據存儲平臺建設，而在基于大數據的挖掘以及創新商業模式上，還更多處于探索階段。在這種背景下，我國的大數據標準化工作方向有兩個，一是研制大數據術語、架構等通用標準，二是各個行業可以根據行業特定需求制定行業大數據應用標準;因此，在借鑒國外先進經驗的基礎之上，從更加宏觀與全面的角度出發，我國的大數據標準化體系研制工作可通過以下幾方面開展。

1)國家級標準組織機構牽頭建立大數據標準化工作組，政府、產業界、學術界多方參與，針對大數據定義、分類、數據模型、架構、關鍵技術、數據開放和隱私、盈利模式等議題定期展開討論，對外發布研究報告及大數據標準化體系綱要。

2)對我國移動互聯網、通信、金融、政府、醫療等大數據所在領域的大數據源、數據量、數據模型、存儲架構、數據開放等方面展開調研，梳理我國大數據應用場景和需求。

3)研究我國數據開放和隱私相關政策法規，調研產學研用各方對大數據隱私的要求和已有數據開放接口規范。

就目前而言，各個標準化機構可先行研制領域大數據標準，為開展大數據標準化頂層設計提供參考依據。

具體到標準化工作實施方面，從標準化原則來說，大數據與很多已有技術都有交集，例如關系數據庫、數據挖掘等，大數據標準化工作應更側重于大數據背景下的新技術和新應用，例如非關系型數據庫、實時大數據分析、非結構化大數據統一表示等;從標準化范圍來說，大數據全生命周期的各個環節都應考慮在內，同時由大數據引發的新應用和新產品也是標準化工作的重點?；谝陨峡紤]給出大數據標準化體系建議，如圖4所示。

圖4 大數據標準體系框架

大數據標準體系包括以下標準。1)基礎標準。包括大數據術語、大數據參考架構、大數據平臺架構標準。其中大數據平臺架構標準包括整體架構、架構內各個層面(或各個組件)之間的接口標準以及查詢、分析和可視化等應用請求與數據存儲語言的標準化轉換接口的標準化(例如，將應用請求重寫為UnQL、JAQL等非關系型存儲系統查詢語言)。2)數據表示標準。包括數據編碼規范、元數據規范、非結構化數據統一描述規范[6]、大數據集統一描述規范等。3)數據處理標準。包括數據質量評價標準、數據采集標準、數據組織標準等大數據處理階段相關的標準規范。4)數據存儲標準。包括非關系型數據庫規范、非結構數據管理系統規范等大數據背景下的新型存儲系統相關規范。5)大數據服務標準。包括大數據提供服務、大數據實時分析服務、可視化服務等一系列大數據服務的標準化描述和接入。6)大數據安全和隱私標準。包括對外提供大數據服務時，對數據存儲安全，數據傳輸安全，數據分析挖掘安全等方面的標準化。7)行業大數據應用標準。針對電子政務、通信、金融、電子商務、智慧城市、醫療等典型的大數據領域，其領域大數據應用、領域大數據的分類和編碼等方面的標準;8)大數據產品測試標準。包括大數據產品的測試場景、測試指標、測試工具等。

4 結語

大數據標準化是大數據行業良性發展的基礎之一，在全球范圍內大數據標準化尚未形成體系的今天，企業、行業協會、科研機構等各界應當更多投入到大數據標準研制當中，同時積極將我國的大數據訴求輸出到國際標準組織中。

[1]ITU-T SG13[S/OL].[2014-09-20].http://www.itu.int/en/ITU-T/studygroups/2013-2016/13/Pages/default.aspx

[2]NIST Big Data Working Group[EB/OL].[2014-09-20].http://bigdatawg.nist.gov/home.php

[3]ISO/IEC JTC 1 Study Group on Big Data (BD-SG)[EB/OL].[2014-09-20].http://jtc1bigdatasg.nist.gov/home.php

[4]CCSA TC11WG1[S/OL].[2014-09-20].http://www.ccsa.org.cn/tc/index.php?tcid=tc11&groupid=wg1

[5]ITU Workshop on“Big Data”[EB/OL].[2014-09-20].http://www.itu.int/en/ITU-T/Workshops-and-Seminars/bigdata/Pages/default.aspx

[6]韓晶,鄂海紅,宋美娜,等.基于主體行為的非結構化數據模型[J].計算機工程與設計,2013(03):904-908