孔祥宗 李明揚 鞏凡
摘要 銀行業在實現數據與業務集中處理的架構后,伴隨業務的不斷擴展,規模的日漸擴大,怎樣靈活配置資源以及提升計算資源的使用效率,乃是當今銀行信息中心所需迫切解決的重點問題。本文提出了一種能分解優化業務流程,以及開展獨立并行處理任務的方法。
【關鍵詞】云計算 商業銀行 批處理流程
現階段,以服務虛擬化與計算資源為運作核心的云計算技術,呈現出廣闊的發展前景,尤其是在銀行業中中,得到了越來越寬泛的應用,現階段,其已經成為銀行業信息化發展的重要趨向。本文基于云計算架構,探討了一種優化批量業務流程處理的方法。
1 批處理業務流程的相關優化
從根本層面來考量,批處理過程中所囊括或涉及到的業務流程,實為一組相互關聯的活動方式,能夠把輸入以一種合理方式,持續不斷的向輸出轉化;此外,在各各活動間內,除了在先后順序方面有著比較嚴格的規定外,在活動的基本內容、采取的具體方式以及所應承擔的責任上,均需要進行明確、系統化界定,以此來最大程度達成或實現各種活動在各角色間的交換,并能夠根據實際需要,以此達到對相關對業務實施批量處理的目的。為了最大化提升資源使用效率,提高處理能力,在設計流程活動時,需始終秉持如下原則:
(1)與其它活動與流程保持獨立狀態,可重復操作;
(2)使用比較少的計算資源、儲存、CPU等;
(3)可以開展并行處理。
針對銀行信息中心而言,其能依據資源配置實況,對規劃中的資源配置進行安排批處理,實現并行處理,以此來最大程度滿足處理時限方面的要求,各批處理能夠對存儲、CPU、服務器等虛擬化資源進行分配,還能分配固定的資源,從根本上來講,如果當前的資源情況與批處理方面的要求存在不相符,或者是無法滿足的情況,那么便需要根據實際情況及當前需要,合理的增加資源。針對此種模式來講,其在實際應用與操作中,并不能真正意義上為資源的高效利用提供保障,而且還需要在實際操作中,額外增加CPU計算,一些方面還需要更新資源,采用更高I/O性能的資源,如此一來,便會造成比較嚴重的資源浪費。因此,在實際操作中,可以對批處理相關業務流程進行適當優化,還需要對其操作給予優化,來實施改進,以此來從根本上實現資源使用效率的提升。
2 以MapReduce為基礎的批處理優化
2.1 Hadoop/MapReduce并行計算實驗環境分析
針對Hadoop云計算平臺來講,其主要由MapReduce并行計算架構與HDFS分布存儲、映射機制構成,可擴展性好,另外,在具體的穩定性上,或者是在開放性方面,其均有比較明顯的應用優勢。而對于MapReduce而言,其在實際運作中,主要借助兩個函數,其一為Reduce,其二是Map,其在實際應用中,能夠為整個系統運行,提供可以進行并行計算的框架,并且還能對任務進行分解與計算任務,能并行或獨立計算操作集合( Tasks),并向Map函數提交與處理,而對于Reduce函數而言,其主要負責Map函數各項計算結果的排序、整理、收集等。其功能時依據相關映射規則,把輸入的(kl,vl)鍵值對,以一種合理方式向另一個或一批list (k2,v2)對輸出轉換,而對于Reduce來講,其把一個或多個Map輸出的list (k2,v2),向新的鍵值對list (k3,v3)轉換,且將其當作任務計算的輸出。針對Hadoop MapReduce而言,與其所提供的并行計算框架,通常情況下,是以JAVA為基礎的;而且其還能根據實際需要,提供更加實現今后發展需要的pipe機制,因而能夠為其它編程語言,提供更加實用、更為全面的服務。本文結合當前社會發展需要,探討了以FNU C++為基礎,對流程節點進行處理的Map函數與Reduce函數。
從根本上來講,如果根據實際需要,把流程任務以一種高效方式,輸入至Map函數,或者是輸出輸出,那么針對此時的鍵值而言,與之相對應的任務編號為;針對Map函數來講,其C++能夠高效化完成執行流程任務,并且還能根據實際情況,滿足其在I/O與數據讀寫操作方面的需要。對于流程優化模擬操作來講,從基礎層面來分期,其實際是以4個業務流程類型作為其運行基礎的,在各個業務流程當中,均或多或少的加入有任務節點,任務類型4個(網絡、存儲、計算與檢查),各任務類型均對應一個有限計算節點DataNode。
2.2 流程事務與流程優化的比較
針對此平臺而言,其在實際運作中,通常將業務流程當作整個系統運轉的主要處理單元,其能夠根據實際需要,對2種計算架構展開模擬操作,運用相同的數據與模擬流程,此外,還對一個DateNote服務器宕機時的性能與任務容積機制進行了檢測。針對流程最短處理時間而言,實際就是流程任務在實際執行中,依據事先制定好的關鍵邏輯路徑,將某個任務高效化完成,然后才能根據實際情況,激活后續節點任務。從基礎層面來分析,在4個DaraNode中實現流程的平均分配,各DataNode處理的流程數據,基本上是處于對等狀態,另外,還有著相同的資源使用率。針對任務優化分解方法來講,可以根據實際需要,將其劃分為7個任務隊列,針對DataNode資源來講,其在具體的分配上,主要是依據優先資源原則來開展。
在實際運作中,根據實驗平臺經計算所獲得的運行數據,在批處理流程相同的情況下,或者是在相同的硬件架構下,借助于業務流程,進行有針對性、系統化分解,且對并行計算進行深層優化,可以對更多的事物進行處理,而且還能顯著提高資源的使用效率,即便將流程分解,在最終的運行結果方面,仍能證明此方法的主要優勢,因而能夠為后續研究奠定堅實基礎。
3 結語
綜上,現如今,對云計算技術進行深入研究,已成為IT產業的新趨勢、新走向,采用云計算架構,不管是在具體的服務效率上,還是在在運行成本上,再或者是在資源利用上,均有著比較明顯的內在優勢。本文所提出的以銀行批處理業務為研究對象的優化流程分解方法,可行且有效。
參考文獻
[1]趙曦,李廣明,基于IT資源虛擬化的銀行批處理流程優化框架研究[J].軟件導刊,2014 (04):16-19.
[2]李臣星,孫成強,商業銀行開發中心云計算平臺基礎架構設計[J].電子技術與軟件工程,2018 (04):190-190.
[3]邱慧麗.虛擬化技術在商業銀行分行同城網中的應用研究[J].貴陽學院學報(自然科學版),2017,2(02):13-16.