基于積分管理系統高并發低時延問題的應用研究

摘要：基于積分管理系統云化，文章對其接口并發性能和響應時延進行了研究。文章以積分管理系統單個服務節點、服務集群和在NGINX層部署了緩存后的服務集群為研究對象，測試的并發請求量分為每秒300、600和900三個檔次。通過JMeter壓測，結果表明，在NGINX層部署緩存后的服務集群可以提供很高的系統并發性能和很低的響應時延，很好地滿足了生產需求。

關鍵詞：接口;集群;緩存

中圖法分類號：TP315

文獻標識碼：A

Application research on high concurrency and low delay problem based onintegral management system

LI Gang

（ China Telecomunication Corporation Limited Anhui sub-Corporation .

Hefei 23003 I ， China）

Abstract： After the integration management system is clouded， the interface concurrency performance andresponse delay of the system are studied in this paper. This paper takes the single service node， servicecluster and service cluster after deploying cache in nginx layer of integral management system as the researchobject. The number of concurrent requests tested is 300， 600 and 900 per second. Through JMeter pressuretest， the results show that the service cluster after deploying cache in nginx layer can provide high systemconcurrency performance and low response delay， well meeting the production demand.

Key words： interface， cluster， cache

運營商的在網客戶數量在持續增加，目前達到三千萬以上級別。和在網客戶數量緊密相關，積分管理系統接口的并發請求量也在不斷提高，峰值并發請求達到2000 TPS，單日請求量在一千五百萬次以上。這對接口的并發處理能力提出了新的要求[1]。

如何使接口的并發能力達到2000 TPS，響應時延在lOOOms以內，是本文要解決的問題。為了便于研究，搭建一個具有單節點服務能力的架構。（1）開發框架為：SpringBoot+IBATIS+MYSQL+TOMCAT。（2）機器環境為：CentOS-7-x86—64操作系統+8核CPU+32GB內存+300GB硬盤。單個服務節點的系統架構如圖1所示。

1 單個節點的并發服務能力

1.1積分管理系統云化后對數據庫查詢的響應性能分析

對TOMCAT的server.xml的設置如下：

protocol=HTTP/1.I

connection Timeout=”20000”

redirectPort=”8443”

maxThreacis=”800”

acceptCount=”1000”/>

maxThreads：TOMCArr起動的最大線程數，即同時處理的任務個數，默認值為200;為解決高并發的問題，將其設置為800。

acceptCount：當TOMCAT起動的線程數達到最大時接受排隊的請求個數，默認值為100;為解決高并發的問題，將其設置為1000。

1.2 壓力測試工具

JMeter是Apache組織開發的基于Java的壓力測試工具，用于對軟件做壓力測試，其最初被設計用于Web應用測試，但后來擴展到其他測試領域。JMeter可以用于對服務器、網絡或對象模擬巨大的負載，來自不同壓力類別下測試它們的強度和分析整體性能[2]。

本文采用JMeter作為壓力測試工具，以測試接口的并發處理能力。

1.3 單個節點的性能壓力測試

對單個節點的并發能力進行壓力測試，以了解單個節點的并發處理能力，測試數據如表1所列。

通過對單個節點的壓力測試進行分析可發現，并發能力在200左右，響應時延都超過lOOOms.不能滿足業務的生產需求。

2 24個服務節點構建的服務集群的并發能力

單個服務節點序難以承載持續增長的業務量帶來的高并發，建議通過集群的方式來解決相關問題。

2.1集群思想

2.1.1 NGINX轉發層

在負載均衡的轉發層，采用lvs+NGINX負載均衡來實現。

NCINX的負載均衡策略較多，如輪詢、指定權重、ip_hash等[3]。由于各個服務節點的權重相同，不需要會話保持，我們選用輪詢的方式來實現。

2.1.2 服務集群層

考慮到TOMCAT的開源性，對整體的服務部署24個服務節點，如圖l所示。

2.1.3 數據庫緩存層

對于高性能的開源的Reciis，在內存中保存數據。按照kev-value的形式存儲數據，是一種數據結構化存儲方法的集合[4]。

經測試發現，讀取Redis的緩存數據經常出現超時現象，綜合考慮業務的需求，把該數據庫的緩存層下線，直接和數據庫進行交瓦。

2.2 集群壓測的接口能力分析

經過集群優化，重新進行接口并發能力壓力測試.結果如表2所列。

通過對集群的壓力測試進行分析可以發現，并發能力在1500左右，響應時延都超過lOOOms，不能滿足業務的生產需求。

3 在NGINX層部署緩存后的集群并發能力

3.1 業務分類分析

通過對業務進行歸類分析，發現接口主要是幾類請求，并且每類請求都有自己的變化周期，如qryStarlnfo請求，每月變化一次。如果在NGINX轉發層配置緩存，可以節約CPU、磁盤10和網絡傳輸的時間消耗，直接由NGINX的緩存返回，可以把平均響應時問縮短30%以上，并發能力提高30%以上。

接口需要處理的主要業務分類如表3所示。

3.2 轉發層緩存

對于NGINX的server配置部分，配置如表4所示。

應用層的程序也要配套改造，對實時變化的業務，不加載緩存;對每月變化一次的緩存，加載緩存，通過NGINX的緩存來直接返回查詢結果，縮短響應時間，提高接口的并發處理能力[5]。

3.3 通過集群和NGINX緩存優化后壓力測試的接口能力分析

經過集群構建，再加上NGINX的緩存優化，重新進行接口并發能力壓力測試如表5所示。

通過對NGINX層加載緩存后，對服務集群的壓力測試進行分析可知，當請求量足夠大的情況下，并發能力都在2000 TPS以上，響應時延都在lOOOms以內，滿足業務的生產需求。

4 結論

積分管理系統解決接口高并發低時延能力的優化思路，就是從單個服務節點、服務集群、NGINX加載緩存的服務集群三個層次來優化。

NGINX加載緩存的服務集群，可以節約CPU、磁盤10和網絡傳輸的時間消耗，有效縮短了響應時間，提高了接口的并發處理能力，很好地滿足了業務的生產需求。

參考文獻：

[1]尚陽陽.氣象微信公眾平臺服務發展方向的思考[J].農家參謀，2020（11）：127.

[2]王麗娜.從微平臺界面設計看高校品牌構建[J].設計，2020，33（9）：82-84.

[3]李洋，李娜，基于互聯網環境下移動學習微平臺的實現與研究[J].中外企業家，2020（14）：170.

[4]葉陽.移動互聯網時代出版企業微平臺編輯運營策略[J].傳媒論壇，2020，3（9）：45-47.

[5]胡丹瑩.基于學校公眾號的高校心理咨詢微平臺的開發探索[J].信息與電腦（理論版），2020，32（8）：252-254.

作者簡介：

黎剛（1976-），碩士，工程師，研究方向：計算機軟件、計算機網絡和大數據在工程中的應用。