基于分布式微服務和Hadoop集群的系統研究

陳澤川，寧騰飛，李 智，余文福，王 超

（佛山科學技術學院 數學與大數據學院，廣東 佛山 528000）

0 引 言

近年來，隨著互聯網行業的高速發展，人們的日常生活開始離不開它，導致互聯網訪問量飛速上漲，數據量龐大。面對海量的數據，如果沒有完善的高并發技術能力，服務器就可能會承受過大壓力，致使系統崩潰。如果數據庫沒有采用大數據優化的方式存儲數據，也會使數據庫超負荷，這也是導致系統崩潰的原因之一。這種訪問量暴增的情況經常會引發數據丟失、網站崩潰，造成不可估量的損失。由此，分布式微服務架構系統應運而生。分布式微服務架構的興起是互聯網發展的趨勢，它使得軟件應用架構具有靈活多變、低耦合、高擴展的特點，能適應高并發環境[1-4]。面對海量數據，結合大數據技術，本文開展了Hadoop集群的云存儲模型設計，創造了HDFS文件系統，對HBase保存的數據使用MapReduce并行式計算模型的運行環境，打造了網站信息存儲條件。在算法上，采用基于動態優先級負載均衡調度算法的節點均衡負載算法是本次研究的一個重要創新點，以此實現了對Hadoop的優化。在大數據背景下，使用各種推薦分析算法實現了對海量數據的分析和特征化匹配，這是十分有必要的，達到了智能推薦的效果。

1 主要技術分布

1.1 Spring Cloud Alibaba框架

Spring Cloud Alibaba框架是一套微服務架構解決方案，包含開發分布式應用微服務的必要組件，方便開發者通過編程模型使用這些組件來開發分布式應用服務，只需要添加少量的注解和配置就能簡便快速地搭建起分布式的應用，主要有服務注冊與發現、服務限流降級功能、分布式配置和管理、分布式任務調度等[5-7]。對比早期各個組件更好用，比如Nacos組件集注冊中心、分布式配置、路由于一身，利用它可以解決多個功能，而且可視化界面也比較流行，功能清晰明了。基于分布式框架的各組件完整架構如圖1所示。

圖1 Spring Cloud Alibaba組件架構

1.2 Hadoop分布式集群概述

Hadoop分布式集群繼承了HDFS、MapReduce、HBase，在此架構上實現了大數據存儲，數據的存儲、計算、分析以及任務的分解（Map）與結果的匯總（Reduce）是其主要思想[8-10]。大數據技術在實際應用中更加可靠，解決了很多企業數據量大的痛點。其中，HDFS是Hadoop分布式文件系統，為分布式計算存儲提供了底層支持；MapReduce用于大規模數據集群的分布式運算；HBase是一個大數據型的應用數據庫。集群Hadoop系統的安裝、部署和配置如圖2所示。

圖2 Hadoop生態技術

2 系統設計

網站系統主要采用前后端分離的技術，在前端中Nginx負責請求的負載均衡和反向代理，能夠提高系統的訪問性能，使得在對系統進行訪問時只需要加載Web的動態資源。前端服務主要功能是設計界面和提供API；后端只需要調用API接口就可以實現相關業務邏輯操作、對數據進行增刪改查，進而更新到數據庫。后端的數據緩存在Redis中或者保存在HBase中。數據的計算處理由數據計算集群負責。使用分布式框架將系統垂直切分為10個獨立的業務服務：注冊微服務、網關微服務、第三方微服務、商品微服務、會員微服務、檢索微服務、庫存微服務、購物車微服務、訂單微服務和秒殺微服務。

訪問網站時所有的微服務通過Nacos進行注冊，在客戶端對網站進行訪問時先由Gateway網關進行攔截，再由Nginx負載均衡到指定的微服務，在Nginx上進行動靜分離，減少性能的開銷，各個服務之間的遠程調用通過Feign進行連接，使用Sentinel對每個服務進行熔斷降級，保證網站的可用性；再通過Sleuth集成Zipkin進行全局服務鏈路追蹤，方便定位和解決問題。使用Redis進行緩存，減少關系型數據庫的壓力；采用RabbitMq消息隊列解決遠程服務調用的網絡問題，保證數據的最終一致性。使用Canal訂閱訪問記錄表和商品服務表的binlog后，通過基于協同過濾的推薦算法計算出異構系統用戶推薦表并展示給用戶。

為了解決系統的網站商品和用戶匹配稀疏性問題，使用了一種基于聚類的協同過濾推薦算法。該算法依據兼職項目的特征和用戶對系統的訪問程度，生成基于用戶項目-特征興趣矩陣；使用生成的用戶項目-特征興趣矩陣對用戶進行聚類，將同類用戶對項目的平均感興趣崗位作為同類項目的估計填充用戶-項目評分矩陣，再計算項目相似度并產生推薦結果。通過實驗證明，在選取不同最近鄰數量的條件下，提出的基于聚類的協同過濾推薦算法相比傳統算法，其推薦精度和準確度有一定程度的提高。

在復雜場景下采用多特征融合的特征匹配算法時，特征匹配是目標識別的基礎。針對特征描述子在多變復雜場景中的自適應問題，從特征向量的低維度、高穩健、易計算三個方面，結合核主成分降維、匹配核的空間映射以及Power-Law歸一化等特征處理方法，提出一種面向復雜變換環境的集成低維度的特征匹配算法。首先，采用線性內積核將特征向量映射至高維空間提取特征主成分，然后通過Hellinger匹配核完成主成分空間到RootSIFT的映射轉換，最后對特征向量進行中心化和Power-Law歸一化，形成新的穩健特征向量。實驗證明，該算法簡單易行，特征維度得到了大幅度降低，且在復雜變換的場景中匹配精度優于同類其他算法。在實際的應用中將發揮很大作用。

3 系統實現

本文在基于分布式微服務和Hadoop集群系統的研究中，選擇分布式電商項目作為載體，主要因為淘寶、京東等電商平臺為大家所熟知并且在日常生活中經常使用，用戶對電商產品和業務較熟悉。其次，該電商項目由多個微服務模塊組成并聯通，具有一定的綜合性和復雜度，適合作為分布式微服務和高并發場景下的項目進行落地實現。在“雙11”等大型活動中用戶訪問量巨大，涉及到秒殺服務等大量數據同時訪問同一個請求，非?？简烅椖康男阅埽枰槍π缘貙椖窟M行優化，各個子系統都需要采用分布式框架來進行構建。

在進行開發之前，首先進行需求分析，了解整個項目的需求、整體架構的部署、團隊成員之間的分工，以此確定系統需要實現的功能。對于實現一個功能通常有多種方案，要通過多次測試和對比進行性能檢測并不斷優化，以便選擇最優的方案。使用git進行團隊開發部署，規范流程，協作開發。由于電商后臺是邏輯和業務很繁重的系統，十分考驗數據庫設計的能力，所以在數據庫設計這方面需要花費很大的精力。在開發過程中，各個微服務之間的開發雖然是獨立的，但是各個服務之間的開發進度往往是并行的，因此需要自己根據接口情況來完成開發中的自測。在各個子系統開發完成之后，團隊成員之間進行系統聯調，通過相互協作解決這些問題。在系統開發后，要對系統進行性能評估，部署到服務器，做好后期的運維質保。

4 結 語

本文運用分布式微服務架構思想，將電商系統切分為10個獨立的微服務模塊，各微服務之間通過Nacos實現服務注冊與發現、服務配置，通過輕量級Feign實現各服務之間的遠程通信和服務調用。系統使用Nginx做動靜分離、負載均衡，采用Gateway做API網關轉發請求，使用Sentinel對每個服務進行熔斷降級，保證網站的可用性；再通過Sleuth集成Zipkin進行全局服務鏈路追蹤。在計算數據集群中部署安裝了Hadoop平臺以及Kafka、Flink、Zookeeper等組件對資源進行計算和管理。使用基于聚類的協同過濾推薦算法和多特征融合的特征匹配算法實現了智能推薦和匹配。