大數據處理技術下的電商云平臺建設與應用研究

龍虎 李娜

摘要：大數據處理技術下的電商云平臺建設是以大數據技術為基礎，突破一系列關鍵技術，構建基于大數據技術的電子商務云平臺，形成大數據技術在電子商務領域的應用。通過對大數據處理技術、電子商務以及云計算的概念進行梳理，提出了大數據處理技術下的電商云平臺架構，給出了具體的平臺應用，進一步提煉了大數據的價值，推動大數據技術下的電子商務發展。

關鍵詞：大數據處理技術；電商；云平臺

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2018）28-0296-03

Research on Construction and Application of Electronic Commerce Cloud Platform under Big Data Processing Technology

LONG Hu， LI Na

（Kaili University， Kaili 556011， China）

Abstract： The construction of electronic commerce cloud platform based on big data processing technology is to break through a series of key technologies， build electronic commerce cloud platform based on big data technology， and form the application of big data technology in the field of electronic commerce. Through combing the concepts of big data processing technology， electronic commerce and cloud computing， this paper puts forward the framework of electronic commerce cloud platform based on big data processing technology， gives the specific platform application， further refines the value of big data， and promotes the development of electronic commerce based on big data technology.

Key words： Big data processing technology； Electronic commerce； Cloud platform

隨著互聯網浪潮的崛起，大數據技術受到高度關注，大數據技術在各個行業的應用越來越多。國外方面，如美國的亞馬遜公司、Verizon和蘋果等大型企業公司都對云計算及應用方面開展了深入研究，國內方面，如阿里巴巴、當當網、京東、蘇寧易購等電商企業也都先后在大數據處理技術和云計算的研發和應用上投入了大量的精力，并將最新研究成果應用到電商交易中。當前，已有很多企業對大數據技術和云計算很感興趣，并借助大數據技術來對海量電商數據進行數據存儲和信息共享。借助大數據處理技術，結合云計算搭建電商大數據云平臺可及時處理海量的非結構化電商數據，并可節約在電商設備方面的資金投入，在平臺上可實時了解客戶行為數據，快速挖掘有用信息，實現有用信息的智能推送，從而實現電商企業績效提升。大數據處理技術下的電商云平臺建設是以大數據技術為基礎，突破一系列關鍵技術，構建基于大數據技術的電子商務云平臺，形成大數據技術在電子商務領域的應用。通過對大數據處理技術、電子商務以及云計算的概念進行梳理，提出了大數據處理技術下的電商云平臺架構，給出了具體的平臺應用，進一步提煉了大數據的價值，推動大數據技術下的電子商務發展。

1大數據處理技術

大數據，其英文全稱為BIG DATA，是指海量數據，既包括結構化、半結構化數據，還包括非結構化的數據，具有種類繁多的信息價值，無法用目前的主流軟件工具，在一定的時間內，去采取、分析處理及管理，高速海量的信息資產[1]。大數據已被視為硬件和軟件以及網絡之外的第四種計算資源，大數據技術的戰略意義是對海量的有意義的信息進行專業化處理。大數據技術一般可分為整體技術和關鍵技術兩個方面，整體技術主要是是指數據采集、數據存儲、基礎架構、數據處理、統計分析、數據挖掘、模型預測和結果呈現等方面，大數據預處理技術主要是對已接收數據的辨析、抽取和清洗等操作；大數據存儲及管理技術主要是用存儲器將采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用。

2大數據處理技術下的電商云平臺建設

2.1 大數據技術與云計算

大數據技術是涵蓋了從數據的海量存儲和處理以及應用等多方面的技術，主要解決大規模的數據承載和計算等問題，大數據技術對存儲和分析以及安全的需求，促進了云計算架構、云存儲、云安全技術快速發展和演進，推動了云服務與云應用的落地。云計算這個名詞是由Google首席執行官埃里克·施密特在搜索引擎大會上提出的，云計算的特點主要體現在應用層面、服務層面和技術層面三個方面，通過云計算，普通的用戶，如企業公司、政府等社會組織不需要部署自己的機房和各種服務器，只需要向云計算服務商購買云計算資源中心提供的相應服務即可。云計算是大數據處理的基礎，是大數據的IT基礎和平臺。通過云計算，云計算服務提供商可以實現集中統一掌控大量的計算資源，向用戶提供彈性化的計算資源服務。

云計算代表著一種數據存儲、計算能力，大數據代表著一種數據知識挑戰，計算需要數據來體現其效率，數據需要計算來體現價值[3]。云計算類型以服務類型來劃分一般可分為基礎設施類、平臺類和應用類三種類型；以所有權來劃分云計算系統類型主要有公共云、私有云和混合云三種類型。云計算結合大數據，是時代發展的必然趨勢。云計算的資源共享、高可擴展性、服務特性可以用來搭建大數據平臺，分享解決方案，是大數據挖掘及知識生產的基礎，大數據云計算是由分布式計算和并行計算發展而來的，大數據處理可根據需求訪問計算機和存儲系統，計算可能在本地計算機或遠程服務器中，也可能在大量的分布式計算機上運行，分布式計算和并行計算是實現運算的技術支撐。

2.2大數據處理技術下的電商云平臺建設

大數據處理技術下的電商云平臺建設是以大數據技術為基礎，突破一系列關鍵技術，構建基于電子商務大數據的服務平臺，形成大數據技術在電子商務領域的應用。大數據技術體系的支撐，包括基于Hadoop的基礎架構體系及大規模數據存儲與計算方案、海量數據實時處理技術，基于分布式的聯機分析處理技術，海量日志數據分析處理技術，敏感數據管理與數據安全技術。大數據處理技術下的電商云平臺架構如圖1所示。

大數據處理技術下的電商云平臺架構主要由數據來源、平臺建設、服務總線、示范應用和服務對象等部分組成，數據來源部分主要是訂單數據、供應鏈數據、倉儲數據、智能物流數據、互聯網金融數據、開放公共數據和其他數據等部分；平臺建設方面主要是離線計算平臺、實時計算平臺和智能計算平臺三個部分，其中離線計算平臺又包括數據存儲、數據處理和數據訪問三個部分，實時計算平臺主要包括實時抽取、實時計算和多維分析查詢等部分，智能計算平臺主要包括深度學習、運籌學、回歸、分類和聚類等部分；服務總線部分主要是由開放API、沙箱和測試環境、平臺工具、開發者社區、區塊鏈技術、供應商開放平臺、綜合物流開放平臺、售后服務開放平臺等部分組成；示范應用方面主要包括C2B、智能電商、智慧供應鏈、智能物流、智能客服、智慧農業、智慧金融、電商物流指數、零售指數和大數據征信等部分組成；服務對象部分主要由生產商、供應商、經銷商、平臺商家、個人和企業用戶、農產品生產商等。大數據處理技術下的電商云平臺可為傳統制造企業提供大數據分析能力，搭建企業和消費者之間的橋梁，提升生產效率，打造智慧化銷售產業鏈，通過開放產業鏈各個環節的大數據和算法應用能力，促進電子商務及銷售行業創新。

3大數據處理技術下的電商云平臺應用研究

大數據正在從誕生之初的概念化轉向具體的實際應用，大數據技術無論是國內還是國外正在經歷前所未有的快速演變以適應大數據處理與應用需求，很多大型互聯網公司都加強了在大數據領域的投資。大數據處理技術的研究，取得了較大的進展，政府部門對大數據技術及應用越來越重視，很多高校和研究機構都在積極探索大數據技術及應用，并于很多企業聯合成立實驗室探索大數據技術，挖掘大數據到價值。國外對于大數據技術也很重視，如美國政府提出的大數據國家戰略，硅谷地區互聯網企業Facebook和 Google等對大數據的創新應用進行的深入探索，這些互聯網企業還擁有龐大的數據資源及技術設備，而且，很多高端技術人才還為探索大數據技術提供了基礎保障。

通過高質量的電商大數據，可以支持政府宏觀經濟把控、決策并獲取精準的反饋。通過消費趨勢大數據，支持供給側改革和產業結構調整，通過海量消費數據，可以幫助企業和政府了解市場。通過互聯網為企業提供大數據分析能力，搭建企業和消費者之間的橋梁，提升生產效率。通過大數據處理技術提供互聯網金融服務，在風控、征信、理財、股權、保險和管理等領域產生創新，為企業提供大數據解決方案，為個人提供智能財富管理服務。通過云平臺開放大數據資源，利用區塊鏈技術，建立可信，安全的數據資產環境，推進大數據融合、共享和交易。依據客戶消費和檔案數據，稅務發票，輿論數據等，建立企業和個人信用數據庫，輔助政府進行社會和經濟治理。

4結束語

大數據時代背景下，電商借助大數據技術已進入飛速發展，利用Hadoop技術來對大數據進行分析，利用先進的云計算、虛擬化技術、NOSQL數據庫技術和Eucalyptus技術來搭建電子商務云平臺，采用數據挖掘算法并結合云計算對數據的獲取、表示、建模和融合進行研究，建立數據的表示和關聯模型，得出以云服務為中心的計算模型和系統架構，以解決大數據處理技術下的電商云平臺建設，進一步提煉大數據處理技術的應用價值，推動大數據環境下的電子商務發展，同時，也解決了電商設備重復投資建設的弊端，從而節約成本降低費用。

參考文獻：

[1] 龍虎，楊暉.大數據背景下的數據分析與可視化研究[J].凱里學院學報，2016，34（3）：98-102.

[2] 楊偉強.電子商務數據分析[M].北京：人民郵電出版社，2017.

[3] 李天目.大數據云服務技術架構與實踐[M].北京：清華大學出版社，2016.

[4] 李聯寧.大數據技術及應用教程[M].北京：清華大學出版社，2016.

[5] UNITED NATIONS GLOBAL PULSE. 2012，Big Data for Development： Challenges & Opportunities[R].2012.

[6] LAPKIN A. Hype Cycle for Big Data[R].Gartner，Inc.G00235042，2012.

[7] INTERNATIONAL DATA CORPORATION. Electronic Medicines Compendium. 2011 IDC Digital Universe Study： BigData is Here，Now What？[R].2011.

【通聯編輯：王力】