大數據時代電子商務安全與數據分析平臺分析

廖娟 阮運飛

摘要：大數據技術與電子商務領域的發展之間相互促進，大數據在電子商務中的應用，使數據成為一項關鍵性的市場競爭資源，同時也促進了其自身發展普及。本文對大數據時代電子商務安全與數據分析平臺進行分析，強調大數據時代，電子商務數據安全及分析的重要性，研究電子商務安全管理體系及數據分析平臺的構建方案，促進電子商務行業健康化發展。

關鍵詞：大數據;電子商務;數據分析;安全管理

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（201 9）30-0291-02

電子商務通過對市場信息及客戶信息的收集、整理和深挖，精確分析市場形勢、精準把握用戶需求，極大促進了電子商務經濟效益的提升。行業向陽發展的同時，也帶來更嚴重的信息安全問題，導致用戶合法權益受到侵害。在大數據時代，電子商務的安全管理與數據的分析利用同樣重要，因此需要對其安全與數據分析平臺進行研究。

1大數據時代電子商務安全體系構建

1.1安全體系架構設計

大數據時代的電子商務安全體系架構與以往的安全體系并無本質性的差別，由于依托于網絡系統，因此其架構依然涵蓋安全協議、安全技術、服務范圍等模塊，以確保電子商務安全體系的邏輯完整。大數據電子商務安全體系架構包括五個部分，即商務層、協議認證層、安全驗證層、安全技術層和網絡安全層。其中，前三個層級的主要功能是進行安全驗證，由安全技術層和網絡安全層發揮安全防護作用。以網絡安全層為例，網絡安全層為電子商務提供宏觀上的安全保障，包括防火墻技術、信息訪問技術、網絡傳輸安全控制技術等。網絡安全層能夠抵御外部環境對電子商務系統的人侵和攻擊，降低發生數據盜取、信息泄漏等安全問題的概率。而安全技術層負責對數據傳輸過程加密，以免數據在傳輸過程中被盜

取或篡改。數據傳輸加密技術水平與系統計算能力相適應，在大數據時代，數據計算能力得到極大的提升，以往的很多加密技術已不再能滿足電子商務安全防護的需求。

1.2安全驗證方法選擇

1.2.1安全性驗證

數據安全性的衡量標準包括數據備份能力、自我修復能力等。建立在安全的網絡系統環境之下，數據的安全性才能被很好的實現，尤其是數據傳輸、分享過程的安全。數據備份能夠保證存儲在系統數據庫中數據的安全，配合用戶權限管理，對不同權限用戶的操作范圍進行限制，進一步提升數據安全性。電子商務安全防護系統并不能百分之百的保證數據安全，防護系統處于完全被動的位置，因此數據安全性驗證需要從邏輯驗證的角度人手，通過檢驗數據是否正確、完整，以判斷惡意入侵、攻擊行為所帶來的數據資源損失。

1.2.2有效性驗證

數據有效性的判別標準為具備某種特定屬性、屬于某一特定范圍、符合邏輯及規范要求等。數據有效性的限制一般在數據錄入的過程中即進行，如對目標客戶年齡數據的限制，僅允許使用正整數。電子商務系統的數據有效性還包括數據的確定性。例如，在網上支付的過程中，將整個過程分為支付及確認支付，其中的支付過程屬于消費者的預購買行為，此時的交易并沒有完全達成，消費者可根據自身意愿選擇終止。數據有效性驗證參照邏輯事實，其同樣存在多樣化的驗證規則。如正確性、確認陛等。

2大數據時代電子商務數據分析平臺

2.1電子商務數據分析平臺框架結構

大數據時代電子商務數據分析平臺以Hadoop YARN為框架，分為基礎層、架構層和應用層。其中，基礎層由虛擬機、Linux等構成，框架層則為Hadoop YARN框架，應用層包括數據采集模塊、數據存儲模塊、數據篩查模塊和數據分析模塊。

2.2電子商務數據分析平臺模塊設計

2.2.1數據采集模塊設計

電子商務數據分析平臺的數據采集模塊主要采集工具為網絡爬蟲，從網絡中全面采集對電子商務活動有價值的數據信息。常見的數據采集模塊分為動態網頁和靜態網頁兩種模式。動態網頁一般選用由JavaScript所編寫的爬蟲進行數據采集，而靜態網頁則選用Python網絡爬蟲。在采集網絡信息的過程中，兩種爬蟲工具相互配合，以確保采集數據的完整性和全面性。

2.2.2數據存儲模塊設計

在大數據時代，網絡數據信息成為最有價值的資源之一，隨之而來的是爆炸式增長的數據存儲需求。因此數據存儲模塊必須備極高的存儲性能，能夠安全存儲海量電子商務數據。在以往的電子商務數據分析平臺當中，常選用關系型數據庫，目前，該種數據庫的性能已經很難再滿足上述數據存儲要求，分布式數據庫逐漸在電子商務數據分析模塊中普及。此次的數據存儲模塊設計選用NoSQL分布式數據庫，并將HBase作為數據存儲載體，為大數據分析、挖掘等活動奠定基礎嘲。此外，該類型的數據庫還具備橫向擴展、內存數據庫等特點，以滿足大數據背景下的多元化數據存儲需求。

2.2.3數據篩查模塊設計

網絡系統存在海量數據信息，這些信息并不完全能夠被電子商務所利用，網絡爬蟲工具在采集信息時，會將一些錯誤、異常、重復、不完整的信息納人數據庫當中。此時就需要通過數據篩查模塊，對采集到的信息進行過濾和篩選，以使數據庫得到高效的利用，并為后期的數據整理、分析工作提供便利。

依照現代電子商務數據分析的需求，將數據篩查模塊設計為5個子模塊，即方案制定模塊、數據檢測模塊、數據評估模塊、數據糾正模塊和數據輸出模塊。（1）方案制定模塊。該模塊主要負責數據篩查目標的制定、方法的選擇，得出最佳的數據篩查方案。（2）數據檢測模塊。對采集到的數據進行檢測和初步處理，將其中完整性不足、可靠性不夠、異常及其他無效數據篩出并清除，以獲得質量更高的電子商務數據體系，為大數據挖掘做好準備。（3）數據評估模塊。數據評估模塊負責對經過檢測模塊篩查與處理的數據進行質量水平認定，分析導致質量問題的原因。最終結合具體業務需求，對預先制定好的數據篩查方案進行優化和完善，得到數據糾正方案。（4）數據糾正模塊。對被標記的數據進行糾正處理，常用技術方法包括重新排序、融合、規則化處理等，確保數據信息完整、一致。將無效數據、冗余數據清除，并對重復數據進行融合。（5）數據輸出模塊。在數據輸出之前，需要再次對經過處理的數據信息的合理性、可靠性進行驗證，若達到大數據挖掘的要求，則可進行輸出，若無法滿足挖掘要求，重復以上篩查步驟直到數據質量達標。

數據篩查是整個數據處理過程中最重要的部分，只有確保被挖掘數據的完整與可靠，才能據此得到更多有價值的電子商務信息。需要注意的是，數據篩查模塊設計必須具備靈活性、可擴展性和交互性等優點，提供高質量的數據信息。

2.2.4數據分析模塊設計

數據分析模塊對經過采集、存儲、篩查的網絡信息進行分析和挖掘，以為電子商務經營決策、網絡營銷等提供理論參考。本電子商務數據分析平臺的數據分析模塊基于Yarn，配合算法學習，可對大數據進行離線計算和實時計算，并對計算結果進行整理和總結，找到電子商務數據中的關系和規律。例如，不同消費群體的消費能力、消費偏好、服務需求等，以此進行定制服務的提供。其中離線計算的分析技術包括分類算法、關聯分析、協同過濾等，實時計算分析則采用Spark框架中的Streaming及MLlib，以實現更高的數據計算速率。

3結論

大數據背景下，安全體系與數據分析平臺的搭建與完善是實現電子商務穩定、長期發展的基本性要求。電子商務領域，數據信息已成為最有價值的市場資源，為使其得到充分的開發和利用，有必要通過安全體系與分析平臺的融合，打造完善、科學的數據信息管理系統。在確保數據信息安全性的同時對其進行分析和整理，促進大數據技術及電子商務地進一步發展。