基于Hadoop的東盟電子商務平臺的研究與設計

摘要：隨著信息技術的不斷發展，目前各個行業操作流程都越來越自動化，與此同時，各個行業對于信息的記錄、收集與分析、處理意識也越來越強，傳統的存儲模式已經不能滿足信息化時代電商發展的新需求。尤其是全球經濟一體化推動之下，各個地區數據的樣式越來越多樣化，數據的復雜性也同步提升。單機存儲容量有限，而且查詢效果比較低，人們在數據訪問的過程中運行速度也很慢，已經不能滿足當前快速發展的電商設計需求。大數據信息處理平臺，目前已經得到互聯網行業的青睞，在電子商務平臺設計與研究方面得到了廣泛應用?，F以東盟電子商務協議為例，淺談Hadoop大數據平臺的核心組件、技術優勢和應用意義，并就更好地基于Hadoop完善電商數據的收集方案，整合電商網站用戶數據進行統計分析和應用，提升用戶粘性，發現更多創新性商業價值展開論述，以此來推進東盟電子商務平臺系統的研究與設計。

關鍵詞：Hadoop;數據分析;協同過濾;業務;用戶;盈利

中圖分類號：F724?文獻識別碼：A?文章編號：2096-3157（2020）24-0015-03

2018年11月12日，東南亞國家聯盟各國在新加坡簽署東盟電子商務協議，旨在促進區域內跨境電商貿易便利化。東盟電子商務協議的簽訂，為東南亞國家步入電商新時代帶來了有利的契機。與此同時，在電商平臺系統的研究與設計方面也需要加快步伐，這樣才能夠更好地滿足電商企業入駐的需求。同時，用戶訪問過程中信息瀏覽、商品推送的效率也能大大提升。東南亞國家本身區域跨度比較大，人們的一些消費理念，購物需求也各不相同，在這一模式之下，要想更好地推動東南亞電子商務的發展，就必須要因地制宜，做好數據的提取、處理和分析，為企業提供更多精準信息，這樣企業才能夠更好地調整戰略方向，提高資源配置的靈活性，進而為企業發展創造更多價值。至于Hadoop的系統研發已經成為電商發展的核心生態圈，大量的業務數據和日志文件的產生，不僅需要有效的存儲，同時更要能夠快速分析，科學挖掘，這樣才能夠是電商平臺的運營更加穩定，也能更好地結合用戶的需求，發現更多商業增長點。

一、Hadoop架構與優勢分析

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構，在此基礎上用戶可以開展多角度的分布式程序開發，具體顯著的集群威力、高速運算和海量存儲能力。Hadoop框架設計的核心是HDFS和MapReduce。HDFS設計部署在低廉的硬件上，具有較高容錯性，用以提供高吞吐量應用程序訪問數據，可以以信息流形式并行訪問系統中多組數據，實現了數據的海量存儲;而MapReduce是一種編程模型，是一種高性能并行計算平臺，方便了編程人員把自己的程序運行在分布式系統上，結合映射概念，通過系統高效進行數據分布存儲、數據通信、容錯處理等并行計算，使得海量數據的計算過程大大簡化。

1.Hadoop生態圈組件解讀

Hadoop框架結構的實現不是單純依賴基礎組件，而是將一些核心組件整合在了一起，共同構成了Hadoop生態圈（見圖1），這些組件的類型非常多元化，同時各個組件精確分工，密切合作。根據不同的業務需要，人們既可以整體運用全部組件，又能進行有選擇的增刪搭配，還能將服務器嵌入分布式構架之中，整個系統仍然保持穩定流暢安全可靠。Hadoop的基礎組件涵蓋了多個類型，其中比較主要的由HDFS——分布式存儲;Hive——分布式結構化數據存儲;HBase——分布式非結構化數據存儲;Storm、Kafka——分布式消息傳遞;Yarn——資源調度;Ambari——監控;MapReduce框架——分布式計算;Saprk——內存式分布型運算;Flink——實時流處理計算組件等組成，很多基礎組件共同支撐著Hadoop生態圈的流暢運轉。

2.Hadoop生態圈優勢分析

Hadoop生態圈架構的完整和靈活使得它在互聯網電商中被廣泛運用，其優勢體現在以下幾個方面：

第一，高可靠性。Hadoop對數據處理采用的是能夠同時存儲大量數據并進行分布式處理的框架，因此可以有效存儲并行運算，使得數據的提取和處理更加可靠，獲得了人們的高度信賴。

第二，高擴展性。Hadoop系統架構的形式非常靈活，它可以在計算機集簇間高效完成數據任務的分配，并進行海量數據的計算與分析。這種集簇處理不是只著眼于一組數據，而是可以非常方便的擴展到數以千計的節點之中，因而它的高擴展性決定了其應用面非常廣泛。

第三，高時效性。Hadoop在實施大容量數據存儲的同時，還能夠在節點之間進行動態的數據移動，而且分布式運算可以保證各節點之間動態平衡，使得整個系統反應速度非?？欤脩舻臑g覽體驗可以有效增強，數據反饋和呈現的時效性，顯著提升。

第四，高容錯性。Hadoop本身是一個分布式計算平臺，因此它能夠自動對數據進行多副本存儲，一旦任務失敗也能夠重新進行任務分配，方便任務繼續往下推進。它的伸縮式處理方式，可以使數據處理的速度大大加快，任務失敗的頻率也能大大降低。

第五，低成本性。Hadoop本身是開放式的平臺模式。與數據集市相比Hadoop在多個平臺上的運行都非常理想，而且對于延展性功能也可以用其他語言來編寫，最后合并入應用程序之中。它的框架兼容性非常強，這就使軟件本身使用的成本大大降低。一些碎片化任務可以直接發送到節點上，開發人員只需要實現相應的接口，不需要考慮數據流、容錯程序、變形等細節，這就使得分布式程序開發的難度大大降低，兼容性大大提升，軟件使用成本顯著降低。

二、借助Hadoop開展大數據處理的意義

進入新世紀以來，互聯網思維已經改極大的改變了人們的生活模式，網絡的便利性也正引導著人們的購物習慣產生較大的改變。在這一契機之下，越來越多的互聯網企業崛起，其中數量最多、規模影響力比較大的當屬電商平臺。國內的淘寶、京東、拼多多等都已經成為一流平臺，商品的種類非常多，而且吸引了大量優質用戶。在人們使用這些電商平臺的過程中，大量的數據信息也被提取出來，呈現出強大的應用優勢。因此，我們在進行新的電商平臺設計時，也要從中吸取經驗。依托數據分析，嘗試向客戶推送優質商品，提升用戶復購率，通過一些品牌產品的打折、促銷等，提升用戶粘性，使企業和用戶之間的互動交流越來越頻繁，而平臺本身的商業價值及社會影響力也能顯著提升。東盟電子商務平臺的建立也要以此為契機，搭建起一個有力的平臺，為商戶、企業與客戶締造良性溝通橋梁。

1.基于Hadoop生態圈優化數據的挖掘和利用

東盟國家是近年來世界發展最快的互聯網市場，在此之前，東盟國家的互聯網電商發展并不完善，中小企業發展的空間非常非常少。東盟電子商務協議的簽訂為東盟企業的騰飛奠定了有效基礎。要想進一步提升電商平臺對東盟企業的影響力，就必須要使電商平臺能夠以較低的門檻走入千家萬戶，這樣才可以更好地帶動消費市場的發展。在這個過程中，東盟企業不僅要生產出優質的產品，更重要的是要能夠有效挖掘客戶潛在的消費價值。依托數據的存儲和運用，使電商企業能夠更好地找準未來發展方向，實現產業升級。

以往傳統銷售模式下，東盟國家的很多企業都是先生產后銷售，這就會使生產成本的占用大大增加，而且會有產品滯銷的可能，企業的經營風險顯著提升。電商平臺的建立及大數據的挖掘，可以更好地結合市場需求來優化生產作業，以進一步降低企業經營的風險，提升企業總體效益。

2.基于數據分析凸顯用戶至上進行個性化推送

目前中國的電商市場發展已經非常完善，比較著名的如淘寶，本身系統比較流暢，商品的種類也很全，用戶粘合度自然就非常好。這是因為它除了將用戶的一些消費信息、消費數據進行有效記錄之外，還會針對用戶過往的購買喜好進行一些個性化推薦或新品速遞，這樣就極大的方便了用戶在海量商品中快速尋找自己的心儀產品，進而更好地帶動用戶的消費需求。

東盟電子商務平臺設計的過程中也要引入這一理念，除了要建立起一個流暢度較高的電商平臺之外，還要能夠更好地貼合用戶的喜好來進行產品的推送。Hadoop平臺本身有強大的數據存儲和分析功能，尤其是它的高效擴展性和容錯性，非常方便進行并行處理和任務分配。東南亞地區不同國家的用戶消費需求帶有很大的差異性，在統一電商平臺構建的過程中，我們要正視用戶的這一差異，并以此來完成數據的挖掘和優化工作，這樣就可以在較短的時間內把優質產品推送向推送給用戶，而且也能為企業的生產加工與內部升級提供有效參考。

3.激活電商市場良性競爭氛圍促進企業優化升級

隨著互聯網思維的逐步發展，傳統企業要想在競爭中脫穎而出，除了要生產出優質的產品之外，還要能夠貼近用戶需求，提升用戶使用的體驗，以優質的服務迎合客戶的需求，以更好地留住客戶，吸引客戶，進行復購或其他類產品的選擇。因此，電商平臺除了要完成數據的推送，幫助客戶挑選之外，還要完善一體化服務評價系統。

借助大數據分析，讓用戶將使用過程中的一些體驗，包括產品品質、服務的安全性、交易效率周期等都進行有效的收集和反饋，從而更好地幫助企業進一步做好優化升級。淘汰一些不良企業，引導企業樹立較強的風險意識，實現從短期效益，向企業的長遠性發展有機邁進，這樣才可以更好地提升平臺的運轉效率，對于企業自身而言，也是實現轉型升級的一個重要契機。

三、基于Hadoop的東盟電子商務平臺的研究與設計框架分析

1.東盟電子商務平臺的框架分析

東盟電子商務平臺的設計要體現出簡潔性和層次性，對頁面要進行有效的劃分，在不同的位置著重進行不同欄目的推薦，以更好地提升用戶粘性，優化用戶的使用體驗。基于Hadoop的東盟電子商務平臺框架要包含四個基礎部分：數據展示層、數據分析層、數據層和基礎設施層，以Hadoop集群為基礎設施，對數據層的日志文件和業務數據進行處理分析，最后在Web界面進行分析展示。以下為東盟電子商務平臺的總體架構圖（見圖2）。

2.東盟電子商務平臺的特色功能分析

東盟電子商務的主頁要凸顯出廣告位、優推薦、購精品三個模塊。

廣告位主要是為商家預留的重點商品合作展示欄目，可以采用圖片輪換的樣式，滾動顯示一些優質商家的推廣鏈接，從而更好地為平臺創造經濟效益。而從用戶的角度，還要推薦出優推薦這一重點模塊，結合大數據運算得出的結果，每天定時推送一些秒殺產品、熱銷貨品或其他應季主打單品，同樣以滾動展示的方式，以此供用戶瀏覽和秒殺。購精品則是從用戶反饋的角度，推薦一些評價比較好、回購率比較高的商品，凸顯出平臺本身的產品優勢。

同樣在主頁的最上方，要預留出商品搜索欄，方便用戶直接搜索想要購買的商品。搜索出來商品之后，還可以結合平臺大數據對商品進行有效的排行，比如根據商品的價格進行排行，或根據用戶的購買數量即綜合銷量排行榜。結合數據運算和學習能力，還可以推薦一些類似衍生商品。如用戶購買了鋼筆之后，可以推薦之前其他同類別的鋼筆、字帖及其他類別的文具等，為客戶會去購買，提供更多選擇空間。另外，對于用戶的瀏覽足跡也要有效記錄，根據他們的瀏覽方向，可以推送可能具有購買欲望的商品，這類算法的應用可以更好地體現出電子商務平臺的學習技能。

總之，東盟電子商務平臺的研究與設計旨在更好地借助大數據理念來優化電子商務平臺的運營和管理。同時依托Hadoop的數據分析來提升企業本身的風險意識，優化企業質量管理，提升電商行業在市場的整體管控能力，完善電商平臺日常數據的分析與運用，推動電商行業科學決策，穩定健康、良性發展。

參考文獻：

[1]趙正陽.基于Hadoop及深度學習的電商個性化推薦平臺的設計與實現[D].北京交通大學，2018.

[2]嚴亞寧.基于Hadoop的數據處理平臺的設計與開發研究[J].現代信息科技，2019，003（003）：5～7.

[3]李文強.基于Hadoop的電子商務大數據分析綜合實訓平臺建設[J].現代工業經濟和信息化，2018，008（011）：46～47.

[4]劉溪怡.基于Hadoop用戶數據分析系統的研究與設計[J].數碼設計（下），2019，（011）：234～234.

[5]郭旭.基于Hadoop的AIS數據分析平臺設計與實現[J].通訊世界，2019，26（04）：34～35.

[6]彭航.基于Hadoop的高校大數據平臺的設計與實現[J].知識文庫，2019，（019）：45～46.

[注]基金項目：2018年度廣西高校中青年教師基礎能力提升項目“基于Hadoop的東盟電子商務平臺的研究與設計”（項目編號：2018KY1139，主持人：任璇炫）

作者簡介：

任璇炫，廣西工商職業技術學院講師，碩士;研究方向：計算機應用技術。