面向業務對象的計算資源動態分配方法

尚 海 鷹

(上海久譽軟件系統有限公司 上海 200233)

面向業務對象的計算資源動態分配方法

尚 海 鷹

(上海久譽軟件系統有限公司 上海 200233)

概述計算機系統基礎架構的發展趨勢。針對當前互聯網+時代事務處理系統的業務場景，分析研究了計算資源分配與負載均衡的基本方法。為滿足事務處理系統對業務對象的差異化服務需求，并充分發揮事務處理系統的整體處理能力，提出面向業務對象的計算資源動態分配方法。方法根據實際應用系統平臺的處理性能基準值，確定各業務對象的計算資源分配計劃及動態調整策略。通過城市一卡通實際清算業務大數據量的測試達到預期效果。

事務處理 中間件 計算資源 服務進程 服務等級協議 負載均衡

0 引 言

隨著信息技術的飛速發展，互聯網+時代的業務不斷創新，計算機系統需要處理的事務量大幅度增長。在摩爾定律巔峰時期，一切相對簡單，計算機系統可以期待處理器指數級的性能提升。隨著摩爾定律的終結，計算機性能提升很難直接通過升級硬件獲得，信息系統已變得越來越復雜[1]。網格化、云計算、大數據處理等技術應勢而生，網絡虛擬化、服務器分區、平臺虛擬化、Java虛擬機、應用程序框架一層復一層，末端應用程序已完全感知不到系統硬件的存在。

為滿足大事務量、大數據量處理，計算機系統日益龐大，曾經的機架式服務器整合為刀片服務器，空間計算密度達到新的高度，數據中心機房的機柜一排排擴展，計算機系統日益成為能耗大戶。

但事實上，合理的應用框架下，傳統的計算機系統仍然可以滿足大事務量的處理，眾多UNIX服務器依托高效率的C/C++環境下的應用軟件中間件，繼續承擔著關鍵事務處理系統的核心后臺。在服務器處理單元多核化的趨勢下，應用系統如何利用與發揮計算機系統的綜合處理能力，依然值得研究。

1 計算資源的載體

計算機系統底層是個二進制的世界，事務處理系統中的應用程序無法也沒有必要直接調用或支配系統中的各個硬件處理單元(如CPU、內存、存儲等)。長期以來，主流操作系統承擔著計算機基本資源的調度和管理，無論是UNIX、Linux亦或是云計算系統[7]，對于計算資源管理的核心方法幾無變化。

進程通過操作系統接口對CPU、內存、存儲等計算機處理資源的綜合利用而成為系統計算資源的載體。更多活動的進程則代表對系統計算資源更多的利用。活動的服務進程并非單一地使用本機的計算資源，通過網絡的連接與訪問，應用層的服務進程直接調動了后臺數據庫系統的服務進程，間接覆蓋了數據庫系統各類資源的利用。在給定的系統平臺下，服務程序及相應的數據資源(表、索引等)的具體設計決定了服務進程對系統整體資源的利用率。

由此，事務處理系統中一個活動的服務進程可以定義為系統計算資源的綜合分配單位。本文論述的計算資源動態分配即指對服務進程的數量配置、服務進程組的配置管理、服務優先級的配置等內容。

在Windows平臺，最小調度單位是線程，進程切換會比線程切換帶上更多的上下文。而在服務器主流操作系統Linux或Unix平臺下，進程和線程處同一等級，切換操作區別不大。鑒于目前各型服務器配置的內存數量足夠高，切換進程而導致大量的換頁操作情形已不用費心糾結。本文中描述的服務程序不再區分線程或進程，簡稱服務進程。

2 事務處理的層次與負載分配

一個較大規模的事務處理系統由若干處理層次組成，通常在網絡計算層及事務處理中間層實施負載均衡及資源分配，如表1所示。

表1 事務處理系統的層次

網絡計算層以各大廠商的負載均衡設備為主流解決方案。來自網絡的應用請求或頁面訪問通過負載均衡設備分發到后臺服務資源，各服務資源通常對應物理層面的服務器。為了充分利用現代高性能服務器的處理能力，一方面可以在同一臺服務器上啟用多個服務偵聽進程，每個服務偵聽進程對應一組服務端口及相應的服務進程；另一方面，物理服務器也可以通過虛擬化技術將計算資源劃分到各邏輯服務器。各服務器亦可跨網絡、跨區域部署。如此，負載均衡設備只需要通過網絡協議層的服務轉發即可實現系統整體資源的分配利用。

事務處理中間層以Oracle、IBM等軟件大廠相關應用軟件中間件產品為主流解決方案。來自網絡的應用請求或頁面訪問通過其軟件中間件平臺，分發到平臺中的服務進程隊列中，并由相應的服務進程組完成后臺事務處理任務。配置足夠多的服務進程，事務處理系統中的計算資源得以充分利用。通常軟件中間件系統也可跨服務器平臺進行消息傳遞，進一步實現跨網絡的負載均衡[4]。

數據庫層實質上與應用系統服務組密切掛鉤，是前后臺的調用關系，而操作系統更是對進程調度、資源訪問的基本管理。應用程序的調用覆蓋了數據庫層及操作系統層對資源的利用。因此，系統計算資源的分配主要控制在網絡計算層及事務處理中間層。

3 面向業務對象的服務需求

網絡計算層對應用程序開發幾乎透明。負載均衡設備或者通用的軟件中間件平臺，并不關心事務處理交易的具體內容，簡單地，例如客戶交易額、客戶權屬等，在處理繁忙時段，所有交易只能在服務器系統的交易隊列中統一排隊。除非像銀行柜面(線下服務)一樣，在排隊機上領取VIP號，或者在頁面(線上服務)上開辟專門的VIP客戶登錄入口使其對應特定的服務進程，即便如此，各個業務對象的交易數據也只是在隊列中統一等待處理。在實際事務處理系統中，如各類票務系統、電子商務系統常會碰到這樣的問題。比如，在商品熱銷競購中，在一段時間內大量交易先來后到在系統后臺服務隊列里等待處理，后臺事務處理的隊列可能在數分鐘或更長時間內才能處理完全部訂單，一般應用系統并不區分客戶的特殊性而實施差異化的事務處理。

事務處理系統不僅僅在個體業務對象上面臨優先級服務的需求，進一步的，在大數據量業務處理上也存在各種優先級服務(如簽訂服務級別協議SLA)的場景[2]，如海量可變數據印刷(VDP)業務或賬單清算業務中，對不同的客戶或行業，承諾不同的處理時間是基本的要求。在整體處理資源統一調配下，部分業務作業需要在指定時間完成[8]。這種情形下，簡單利用軟件中間件平臺或硬件負載均衡設備均難以實現業務屬性敏感的SLA服務。

應用系統通過對交易數據業務層面的解讀，建立面向特定業務對象的交易隊列，確定計算資源的配置計劃，并實施計算資源的動態分配是本文研究的方法。

4 計算資源動態分配的實現

4.1 事務處理的隊列

面向業務對象的計算資源動態分配方法，分為二個層面實現：第一層，細分服務隊列。針對業務對象，根據其業務屬性分別添加到不同的服務隊列或隊列組；第二層，針對服務隊列，根據其業務對象的SLA指標分配相對應的計算資源，并動態調整其他服務隊列的計算資源，在滿足業務對象SLA服務目標的前提下，確保系統整體計算資源的充分利用。

第一層，通常情況下，業務對象以交易報文或服務請求的形式，被事務處理系統的前端進程(或稱前置系統)捕獲，前置系統解讀業務對象的業務屬性，根據業務屬性的類別，將業務對象的服務請求添加到相應的服務隊列[3，5]。

對于聯機事務處理，為了優先滿足特定業務對象的響應時間，維持一個動態可插入的隊列是可選的技術手段，為了提高前置系統的處理速度，針對SLA服務對象的業務屬性，其相應的權重值可以預先計算。綜合評估業務對象的價值系數，為每個業務對象確立一個合理的權重數值，在實時處理中可快速利用該數值調整服務隊列中的位置。

第二層，不同的服務隊列由不同的服務進程組處理。根據SLA指標，對應的服務組分配恰好達成目標的服務進程數量[6]。多業務高負載事務處理系統中，服務進程資源的配置與計算機資源(如CPU核心、內存、存儲IO)的均衡利用密切相關，單純的增加某種業務處理的服務進程數量，將使其他業務獲得的計算資源明顯減少，從而造成全局計算資源等得不到充分利用，服務器總體處理效率必定下降。當某類業務處理在SLA目標完成后，服務管理進程自動將該業務的服務進程組關閉，將釋放的進程數配額賦予其他業務的服務進程組。

4.2 計算資源分配計劃與動態調整

計算資源分配方案通過事先計劃與事中調整相結合的方式實現，具體可分為四個步驟。

第一步，根據給定的系統平臺及應用系統，通過壓力測試評估服務進程的總有效數值。總體上，配置低于該值的服務進程數，則系統資源的并發利用度不足，無法發揮系統最高處理能力；配置高于該值的服務進程數，則系統的主要處理單元(如CPU或IO等)已處于瓶頸，實際業務處理量并不會隨著服務進程配置數量的增加而提高，甚至因系統中進程切換開銷增大，有效處理能力反而下降。

第二步，根據最優化的服務進程數及系統總體業務處理能力，推導出單位時間單個服務進程業務處理量等關鍵技術指標，為系統長期高效運行獲得基準性能參數。

第三步，根據服務對象的SLA指標，服務對象的預期業務量，及系統的基準性能參數，計算并分配相應業務對象的服務進程數，并確定整體處理周期內的資源分配計劃。

第四步，根據整體處理周期內的資源分配計劃，監控相關服務對象的實際完成狀態并適時調整計算資源的分配。

4.3 計算方法

計算資源動態分配的算法表述如下：

定義:

m為承諾SLA業務對象的總數。

Qi(i=1,2,…,m)，為各SLA業務對象承諾用時，用時短則表明處理優先級高。

Pmax為系統服務進程總有效數。

e為單個服務進程單位時間內處理的業務量。

針對實際事務處理應用系統，Pmax及相應的e值通常由系統壓力測試(或稱基準測試)評估所得。

Mi(i=1,2,…,m)，為各SLA業務對象預期交易量。

Pi(i=1,2,…,m)，為各SLA業務對象預期分配的服務進程數量。

則SLA業務對象計算資源的分配計劃：

(1)

設：Tk為SLA業務對象實際處理用時，其中Tk≤Tk+1，k=1,2,…,m。

那么，Tk至Tk-1周期內，其余服務進程的動態調整數等于：

(2)

5 實驗與分析

針對一個日均交易量在千萬級的城市一卡通清算系統，利用上述方法進行測試。業務場景概括為：IC芯片支付卡業務，支持脫機消費(線下)業務，也支持聯機充值業務(線上)，消費業務涵蓋公交、出租、輪渡、停車場、高速公路、軌道交通、便利店、加油站等各行業。實際系統中，交易數據通過廣域網上傳到中央清算系統。SLA目標為：部分行業對象的交易數據需要在己方系統日切后優先提交結算文件，對方獲得該文件后再繼續其日終批處理任務，這些行業對象對結算時間有特定要求。

測試環境由二臺數據庫服務器、二臺應用服務器、一套高性能SAN磁盤陣列、二臺金融數據加密機等組成，服務器均為UNIX系統，處理器與內存高配。測試數據取自生產庫實際交易數據。交易數據分布在11個行業。為了節省文章的篇幅，我們對交易量統計低于萬筆的行業數據進行了歸并(行業代碼虛設為99)，全局交易量統計見表2。

表2 交易量的行業分布

通過幾輪均布負載壓力測試(各行業交易報文均布整個測試周期)，觀察并統計相關數據，確認服務進程配置最有效個數為25(Pmax)，該配置情形下，系統單位時間(秒)交易處理能力達800筆左右，單服務進程單位時間(秒)內處理量推算為32筆(e)。

設處理起始時間為T0，行業對象(代碼2、5、6)分別期望在T0+20分鐘、T0+60分鐘、T0+40分鐘時限內完成業務處理。

前端通信進程讀取測試文件中的交易報文，并根據不同行業對象數據加入相應的服務隊列，后端服務進程組則讀取相對應的服務隊列完成交易數據的入賬及結算任務。整個應用系統基于事務處理中間件機制部署，對各SLA行業對象交易隊列分配相對應的服務進程組，其余交易調用統一的服務進程組。服務進程組的管理與進程數的動態調整按照本文所述方法實現。測試運行結果如表3所示。

表3 各行業對象數據處理用時

表3中可以觀察到優先級較高的行業對象數據能夠在SLA指定時間內處理完成，而系統整體亦能夠持續發揮總體計算能力，在預計的6小時內完成全部業務量的處理。

服務進程動態分配情況如表4所示。

表4 各行業服務進程數動態分配

6 結 語

本文面向業務對象的計算資源動態分配方法，在特定行業或業務對象的事務處理系統中具有較強的可操作性和一定的實用價值。文中方法也可作為一種需求促進應用軟件中間件在業務感知方法與策略上的改進，推動行業細分技術的發展。

[1] Esmaeilzadeh H,Blem E,Amant R St,et al.Dark Silicon and the End of Multicore Scaling[C]//International Symposium on Computer Architecture.IEEE,2012:122-134.

[2] 于陽,趙欣,彭鑫,等.云計算背景下面向服務組合的SLA動態管理機制研究[J].計算機應用與軟件,2014,31(9):22-27.

[3] 張政,侍守創.基于消息中間件的制造執行系統的設計與實現[J].計算機應用與軟件,2016,33(10):118-121.

[4] 邊耐政,劉玄.基于非阻塞的分布式事務提交協議的實現[J].計算機應用與軟件,2014,31(7):89-92,104.

[5] 胡靜,宋雪雁,孫濟洲.航行通告分發服務中間件的研究與設計[J].計算機應用與軟件,2016,33(2):7-11,41.

[6] 張愛科,謝翠蘭.基于公平性和負載均衡的云計算任務調度算法[J].計算機應用與軟件,2015,32(2):268-271.

[7] 方義秋,鄭劍,葛君偉.一種云環境下基于QoS約束的資源分配策略[J].計算機應用與軟件,2015,32(1):34-38.

[8] 李榮勝,趙文峰,徐惠民.基于價值密度和截止期的網格作業調度算法[J].計算機工程,2011,37(12):16-18.

DYNAMICALLOCATIONOFCOMPUTINGRESOURCESFORBUSINESS-ORIENTEDOBJECT

Shang Haiying

(ShanghaiJiuyuSoftwareSystemCo.,Ltd.,Shanghai200233,China)

This paper aims to summarize the development trend of computer system infrastructure. In view of the current era Internet plus information system business scenarios, we analyze the mainstream method of computing resources allocation and load balancing. Meanwhile, to further improve transaction processing efficiency and meet the demand of service level agreement flexibility, we introduce a dynamic allocation method of computing resources for business objects. According to the reference value of the processing performance of the actual application system, the computing resources allocation plan and dynamic adjustment strategy of each business object were obtained. The experiment achieved the desired effect through large amount of data in the actual clearing business of the city card.

Transaction processing Middleware Computing resources Service process SLA Load balance

TP3

A

10.3969/j.issn.1000-386x.2017.09.024

2017-05-09。尚海鷹，工程師，主研領域：計算機事務處理系統平臺，計算機網絡，系統集成。