BPO數據生產平臺的設計與優化

陳華鵬，林 杰

（1.同濟大學 經濟與管理學院，上海201804；2.浙江經濟職業技術學院 數字信息技術學院，浙江 杭州310018）

0 引 言

現代金融業務以品種、深度、結構為特征，專業化、個性化要求越來越高，這就意味著金融活動的成本也會不斷提高。于是，金融企業為了減低成本，就把內部非核心的業務職能和相關流程外包給專業的第三方公司［1］，這就形成了目前日益發展壯大的數據服務外包 （數據BPO）市場。目前，服務外包產業已成為我國轉變經濟增長的一種方式，尤其數據服務外包更是適合我國的國情。中國憑借成本低廉、人力資源豐富、經濟穩定、政府支持等眾多優勢成為最具潛力的離岸外包目的地之一。

面對不同行業、不同專業、不同業務、不同質量，不同實時響應速度等需求，國內許多數據外包服務商都熱心于組織構建各自大規模的數據外包處理中心。準備以數據中心的規模大，人力多，接單能力強，即海量BPO數據吞吐能力，來贏得市場。但是BPO數據吞吐能力，并不是完全與人力資源成正比。它必須建立在系統地設計規劃外包數據生產系統之上。

本文旨在通過對BPO數據處理流程及技術的分析，提出克服系統處理瓶頸的方案，為數據中心建立外包數據生產系統通用模型，使之能柔性地滿足不同用戶數據加工的要求，增強其數據吞吐能力。

1 系統分析

雖然BPO數據業務多種多樣，但其處理環節有一定的共性，其處理流程如圖1所示。

圖1 BPO數據處理流程

國內大部分BPO數據處理中心擁有圖1所示流程，但隨著業務的擴大，都相繼遭遇了發展瓶頸：主觀上想接更大的BPO業務，但自身處理能力跟不上。主要表現為：單子接進后，由于處理質量下降和來不及響應，最終還是失去了客戶；或是投入了大量人力財力擴建數據中心，確實增加了業務收入，但同時成本也在增加——投入產出比并沒有得到提高。對以上情況作進一步分析，我們發現：以上事例不是偶然現象。其中具有代表性的特點如圖1所示，流程中可能引發三處制約系統處理性能的系統瓶頸，分別是：錄入瓶頸；服務器瓶頸 （又分為數據庫瓶頸以及應用程序服務器瓶頸）和網絡帶寬瓶頸。這三處瓶頸，其成因逐個分析如下：

（1）錄入瓶頸。大多在會計憑證錄入時發生。其造成業務損失和制約業務發展的根本問題表現在：數據中心的實際吞吐量不能勝任日益龐大和復雜的業務流。如：會計（業務）憑證業務高峰期時，初次提交要求最高，單筆憑證錄入6分鐘為超時，同時上線員工數與任務數會在1：10，網絡流量下行滿負荷，服務器時延明顯 （屏蔽反應3秒鐘以上，累計20筆就耗時一分鐘，120筆之后就會影響同批次任務）。營業部門統計的未完成憑證數以及錄入出錯數成比例增加。原因是該業務有突發性，業務量突然增加導致人工臨時組織人力不足，來不及輸入，最終造成單證積壓，超過服務時限。單筆憑證錄入超時，單證就拒收，因此變成廢單，造成輸單成本費用收不回，同時，趕時間造成未成功單率居高不下，也造成廢單。目前上述問題解決的不夠徹底，數據生產平臺僅有半自動預處理，全手工錄入，即按照行方要求，手工建立模板，再對某些字段手工分割，最多給其一些首選項 （默認值），最后分配給員工，手工錄入，所以速度不能有大的提高。

（2）服務器瓶頸。包括前置服務器處理、數據庫服務器處理瓶頸。因為，前置服務器接收/發送眾多來自項目中心的數據。數據庫則要讀寫大量的XML，承擔著數據庫大量的增、刪、改、查等操作以及錄入分配，生產調度等任務，還需要準備XML的回拼。其中，前置服務器處理子系統有以下5個功能：①事務處理；②比對服務；③事務處理客戶端；④數據庫讀寫；⑤前置機處理。

前置機作為與客戶企業系統通訊的前端，負責以下功能：任務消息接收、數據消息返回、返回數據拼裝、數據加解密、圖像加解密等任務。所以，該子系統事務過于集中。在會計憑證短時間大流量錄入時，產生服務器處理時延。目前系統使用了單臺服務器，雖然應用程序設計成本低，改為高性能多核服務器后，對數據處理速度有所提高，但沒有使用分布式架構設計系統處理模塊，設計也沒有充分考慮業務量再提升后，系統的擴展性，較難在多臺服務器之間實現處理突發性大數據量時的服務器負載動態均衡，而從數據處理流程看，一臺高性能服務器上存在多個功能獨立的計算模塊才能充分利用計算資源；中間層未設計多臺服務器通信、協作接口，即對以后多臺服務器并行操作造成限制。

（3）網絡帶寬瓶頸。因為數據中心與外界的交互依賴數據專線，目前帶寬每條2M，一旦大量憑證業務發生，從行方傳輸來的主要為圖像文件。大量的圖像文件會使得網絡擁塞，導致網絡響應變慢。

2 系統設計方案

面對以上瓶頸，本文提出相應的解決方案如下：

（1）錄入瓶頸的解決方案也就是如何提高數據錄入吞吐量。提高數據錄入吞吐量實際就是增加錄入人力和提高錄入速度。錄入瓶頸主要來自人力分配不均和人力資源不足。

1）人力分配不均主要因為人工坐席對憑證錄入的熟練程度不同，而造成不均衡。即在錄入過程中，有的坐席錄入速度快而空閑，有的速度慢而造成擁塞。并且，空閑和擁塞的坐席也不固定，有時會因為錄入憑證的內容難易或熟悉程度變化而發生變化。圖2為錄入憑證的完整樣本。

實際工作中，完整憑證樣本將被切分成若干部分，進而形成工作任務分發給各坐席 （錄入工作站）。圖3是對圖2部分數據的切分后形成的任務?？梢园l現，憑證樣本包含能供自動識別較多的可控要素。憑證包含要素如圖3中所示，可分為：文字、符號、數字等。文字又有中文、英文字母之分［2］。如果，錄入坐席甲錄入字母速度較錄入坐席乙快，而錄入坐席乙錄入數字較錄入坐席甲快，則甲接受字母錄入任務，乙接受d錄入任務為較好方案。不然，就造成一張憑證分為若干部分后，錄入速度變慢或不均衡，進而又延長了回拼等待時間。

在BPO數據處理中，將人工坐席按照錄入內容的熟練程度分組群，承接各自熟練的錄入，對應對坐席錄入均衡有積極的意義，即將文字分割圖像分發給文字組，將符號分割圖像分發給符號組等等。這樣做可以更合理更專業地使用人力。

2）人力資源不足是指有限的人力資源無法匹配數據成幾何級增長，只有尋求技術上的突破——采用自動識別技術，變人力密集型生產為半自動化計算機輔助處理，甚至全自動化處理，才能從根本上解決人力資源不足的瓶頸。

以上兩種優化方案，都基于對圖像的二次切分，即圖3中 （d）任務再切分，變成單個數字或漢字 （字母）分發給各錄入坐席，本工序設計由二次切分層工作站完成，具體由工作站安裝的二次切分agent完成，此類agent的運行規則如下：

if（不是原子要素）就切分。

if（是原子要素）就停止切分。

至此，解決錄入瓶頸的技術線路設計為：在圖1的錄入處理部分，動態加入一層計算機自動二次切分處理層，如圖4所示，將錄入任務原子化，再分類分發給人工坐席。

圖4 設計中動態加入計算機二次切分層作優化

該處理層負責識別劃分、初步切分單純印刷體元素和手工元素；自動模式識別、定位憑證手工書寫元素，再次作細粒度切分單據，原子化業務字段。為人工坐席提供原子化圖像。其內涵為：改變目前單據上線前，由技術支持部門制作切分基準，排除業務部門以及技術支持部門的主觀因素。因為這些因素與圖像分割的準確性以及效率無關。首先劃分圖3中的 （a）、（b）、（c）作為工作站自動識別對象，這些對象將形成自動錄入任務分配給自動錄入工作站完成錄入；對手工書寫d對象，只從并發處理的效率出發，原子化單據憑證，加細粒度，這樣做的結果可以讓更多的人力介入BPO數據的錄入工作中，因為孤立的字母 （符）將不會泄露任何客戶信息，所以，可將這些信息錄入工作任務發往城域網或更廣的互聯網進行再外包——在短時間內組織更多的勞動力，完成數據錄入，這里假設城域網或互聯網上的勞動力資源是事先有協議、技能合格、穩定的人員。

在自動錄入工作站中，所采用的技術如：圖3中 （a）是條碼識別，（c）是勾選識別 （符號識別）。可通過圖像處理、模式識別的方法識別 （a）、（b）、（c）中的元素，其處理的基本思路是：進行灰度處理，用最大值法會形成亮度很高的灰度圖像［3］，平均值法會形成比較柔和的灰度圖像，加權平均值法得到的圖像最合理。對復雜一些的圖像，選擇采用中值濾波，可有效地去除小的脈沖噪聲，可將振蕩平滑掉，使圖像的邊緣得到較好的保護，使一些潦草字跡信息得以保留。其次，鄰域平均法對噪聲的抑制也很有效，對邊界的損傷小，可較好地去除麻點噪聲。錄入時還可以半自動地對一些現代縮略語自動補齊［4］。（d）是阿拉伯數字識別。當他們的元素少，書寫變形不大時，也可以自動識別錄入，加快錄入速度。

錄入書寫變形較大的憑證元素 （包括文字、字母、數字）時，可通過邊框基準線實現字線分離［5］，先將這些元素進一步原子化，如圖3（d）至圖3（e）所示，圖像數據原子化分割可以加快批量錄入速度，并且更好地降低了外包信息泄露的風險［6］。在系統將手工書寫圖像數據原子化后，產生了更多的單一元素 （單個漢字、單個字母、單個選項等等），這些元素將作為單一錄入任務分發給錄入工作站 （錄入坐席），即漢字給漢字組錄入，字母給字母組錄入，從而提高效率及準確率，減少超時廢單。

（2）服務器瓶頸解決方案。由于單服務器在批量業務處理時，顯現處理能力不夠，形成網絡服務器處理瓶頸。現多臺服務器組合成群集，實現負載均衡，已成為解決服務器端瓶頸的主流技術之一［7］。負載均衡調度器處于數據入口和出口，可以使整個系統具有較高吞吐率，通過高速局域網聯結多個服務器，使之成為一個有機的集群，任何網絡請求都會被調度器靈活地調度到一個真實的服務器上不會受到任何影響，使客戶訪問集群就像訪問一個單個服務器一樣的方便［8］。目前，有較多的負載均衡調度算法，如輪轉算法、加權輪轉算法、隨機法、加權隨機法、最小連接數、加權最小連接數、哈希散列算法、SWP算法等［9］。在當前BPO數據處理平臺中，首先確定一臺高性能服務器為主力服務器，以其為中心形成服務器集群，作為系統的中間層處理前置服務、數據庫讀寫、坐席調度和通信傳輸等。中間層的多臺服務器之間形成集群架構，其支撐平臺采用動態負載均衡算法，以Agent模式編寫及發布，注重Agent之間的通信和響應速度［10］，以便快速完成調度。對于生產現場的動態調度，其每次計算的用時最長不應超過2s［11］。各Agent橫向為對等工位，縱向為流水線上前后序工位，在系統軟件中間層形成微流水線，即宏觀靜態呈現分布式 Multi－agent，微觀動態下，是由Agent替代各工位形成的流水線［12］。比如應用程序主要集中在前置服務器上，所以，前置服務器上的應用由分布的Multi－agent承擔，注重并發和發揮網格計算的優勢。從系統功能和效率的綜合角度考慮，可將瓶頸分析所得的中間服務器功能分解成5個Agent，分布到各個高性能多核服務器上，在各自保持自由通信的基礎上，完成獨立單純的任務。在本系統中，根據業務復雜度，使用3臺以上的共性能多核服務器進行集群。數據庫現采用SQL Server 2000，本系統的信息流內容大部分是XML，對XML的解析性能有較高的要求，所以，建議在業務達到下一個數量級后，采用ORACLE等大型的數據庫，并配以自開發的XML讀寫模塊。針對數據流此時主要為XML形式［13］，有必要準備一套XML裝配模板 （等待回拼XML信息對號入座），如圖5所示。

圖5 XML裝配模板

配以XML片段下標，所有的XML片段信息來自錄入工作站，即第i個工作站產生一條XMLi，然后，發送到該裝配模板上進行安裝，按照需要對應入座，一旦隊列計數器計數已滿，則表示XML拼裝完成，出發回傳XML機制，將憑證的XML文檔發回行方項目部。此方法靜態開銷雖大，但安裝速度快，最大化了并行度［14－15］。其Petri－net如圖6所示。其中TOKEN為XML文本。

圖6 XML回拼機制的Petri網模型

（3）網絡帶寬瓶頸解決方案。根本解決網絡瓶頸的方法當然是增加帶寬，即專線數目，但增加帶寬意味著成本的上升。為了節約成本，提出自適應的網絡傳輸。我們分析，本網絡帶寬的需求特點：上行的帶寬要求小（XML），下行的帶寬要求大 （TIFF）。我們稱為圖像文本化，邏輯壓縮率為1K，故上下行帶寬比也為1K，為極不對稱型。所以是否可以優化，目前實際網絡是上行慢，下行快，上下行之間獨立，有利于排除干擾。一般來講，目前的非對稱用戶環線，上下行速率不對稱，也就是說下行速率 （下載速度）不管是1M，2M還是3M，上行速率（上傳）只需0.5M，所以可以使用多套非對稱的硬件網路配置。如下行圖像傳輸使用2M專線單向獨占傳輸，上行傳輸XML只采用帶寬小的專線線路，可以省下成本補貼下行專線成本。

硬件上的投入一般總受到成本的限制，所以我們還可以需求從組織架構上增加帶寬資源。目前，各大型BPO服務商會建有幾個數據中心，可以考慮采用分包突發的大量數據量到各個中心，即在行方數據項目部，前置服務器之前，設置流量分流模塊，提前分流數據去其它數據分中心，以解決突發海量數據可能引發的網絡傳輸擁塞。但此方案需要注意數據處理的同步、安全和及時性。

綜合以上的各個方案，優化了3個關鍵技術環節后，本文可得如圖7所示的系統模型。

圖7 BPO數據生產平臺優化設計模型

在優化模型中，添加了多服務器負載均衡和上下行帶寬非均衡的設計，原來的坐席層保留了人工錄入工作站，同時還提供了可以自動識別憑證元素的自動錄入工作站，并動態嵌入了自動二次切分處理層，在需要的情況下提供原子化錄入任務，使人工錄入工作站錄入內容更專業更快速。

3 結束語

本論文描述了外包數據生產平臺的框架，并提出了從錄入、服務器以及網絡瓶頸著手，對BPO數據生產平臺進行優化設計，以提高數據中心的數據吞吐量。錄入瓶頸和數據庫瓶頸是今后重點要解決的問題，圖像數據原子化分割是首先要采用的技術，并在此基礎上加入節點錄入負荷反饋機制下的二次圖像切分，配以Multi－agent實施動態均衡，最終達到數據錄入及回拼工序并行度最大化。服務器性能和帶寬瓶頸則可以通過增加硬件性能以及添加硬件投入，進一步提高數據中心整體的吞吐量；基于非均衡帶寬分配分析，在中心與外地分中心間增加專線數量，同時兼顧專線費用，以達到較好的性價比。通過以上方案的設計優化，該外包數據生產平臺的性能將上一個新的臺階。

［1］LIU Changxian，TIAN Houping，SUN Jianping.Optimal contract in supply chain outsourcing under adverse selection framework ［J］.Journal of Management Sciences in China，2009，12 （6）：55－61 （in Chinese）.［劉長賢，田厚平，孫劍平.逆向選擇下供應鏈業務外包中的最優合約配置 ［J］.管理科學學報，2009，12 （6）：55－61.］

［2］ZHANG Yan，YU Sheng－yang，ZHANG Chong－yang，et al.Automatic recognition system of tabular document and its application ［J］.Journal of System Simulation，2009，21 （10）：2916－2920（in Chinese）.［張艷，郁生陽，張重陽，等.表格型文檔自動識別系統及其應用 ［J］.系統仿真學報，2009，21 （10）：2916－2920.］

［3］ZHONG Shucheng，CHEN Xiaohong.Design of one dimension bar code recognition system and its realization ［J］.Journal of Chengdu University of Information Technology，2006，21（S1）：73－77 （in Chinese）.［鐘書成，陳曉紅.一維條碼識別系統的設計與實現 ［J］.成都信息工程學院學報，2006，21（S1）：73－77.］

［4］WU Zi－ying，ZHENG Jia－heng.Research methods about automatic identification of modern Chinese abbreviation ［J］.Computer Engineering and Design，2007，28 （16）：4052－4054（in Chinese）.［武子英，鄭家恒.現代漢語縮略語自動識別的方法研究 ［J］.計算機工程與設計，2007，28 （16）：4052－4054.］

［5］LIU Wei，PING Xi－jian，GUO Ge.Form recognition prepro－cessing algorithm based on filtering out text from form images［J］.Computer Engineering and Design，2008，29 （19）：5066－5068（in Chinese）.［劉為，平西建，郭戈.基于字線分離的表格識別預處理算法 ［J］.計算機工程與設計，2008，29 （19）：5066－5068.］

［6］KANG Feng.Dynamic moral hazard prevention mechanism BPO contract and its simulation analysis ［J］.Journal of Systems ＆ Management，2010，19 （3）：298－304 （in Chinese）.［康楓.業務流程外包的動態道德風險防范機制及其仿真分析［J］.系統管理學報，2010，19 （3）：298－304.］

［7］LIU Yu－yan，SHEN Ming－yu.Research on the LVS load balance in web services ［J］.Journal of Hefei University of Technology［Natural Science，2007，30 （12）：26－27 （in Chinese）. ［劉玉艷，沈明玉.LVS負載均衡技術在網絡服務中的應用 ［J］.合肥工業大學學報 （自然科學版），2007，30 （12）：26－27.］

［8］ZENG Qing－jiang.Design scheme of load balancing system［J］.Computer Engineering and Design，2009，30 （19）：4404－4405（in Chinese）.［曾慶江.負載均衡系統設計方案［J］.計算機工程與設計，2009，30 （19）：4404－4405.］

［9］ZHANG Pu， WANG Qing，YANG Li－guang.Research of mechanism of load balancing for network computer cluster［J］.Computer Engineering and Design，2006，27 （16）：2914－2917（in Chinese）.［張普，王青，楊立光.網絡計算機集群負載均衡機制的研究 ［J］.計算機工程與設計，2006，27 （16）：2914－2917.］

［10］Jignesh M Solanki.A multi－agent solution to distribution systems restoration ［J］.IEEE Transactions on Power Systems，2007，22 （3）：1026－1034.

［11］LIU Xiaobing，LI Zhongkai，HUANG Xuewen，et al.Dynamic scheduling model oriented to flexible production ［J］.Application Research of Computers，2009，26 （9）：3239－3241（in Chinese）.［劉曉冰，李忠凱，黃學文，等.一種面向柔性生產的動態調度模型 ［J］.計算機應用研究，2009，26 （9）：3239－3241.］

［12］WANG Rui－xia，SUI Hong－wei，LIU Hong.Design and implementation of form designer component based on XML ［J］.Application Research of Computers，2007，24 （7）：183－185（in Chinese）.［王瑞霞，隋宏偉，劉弘.基于XML的表單設計器構件的設計與實現 ［J］.計算機應用研究，2007，24（7）：183－185.］

［13］YIN Xu，LIAO Bin，WANG Xin－ping.Flexible modeling of web－based workflow form ［J］.Computer Engineering and Design，2009，30 （14）：3429－3432 （in Chinese）. ［殷旭，廖斌，王新平.基于Web的工作流表單的柔性建模 ［J］.計算機工程與設計，2009，30 （14）：3429－3432.］

［14］ WANG Xigang，QI Dabin.Workflow modeling technique analysis and application based on petri－net［J］.Computer Applications and Software，2007，24 （3）：102－104 （in Chinese）.［王錫剛，齊大彬.基于Petri網的工作流建模技術分析與 應 用 ［J］. 計 算 機 應 用 與 軟 件，2007，24 （3）：102－104.］

［15］WU Zhehui.Introduction to Petri－Net［M］.Beijing：China Machine Press，2006 （in Chinese）. ［吳哲輝.Petri網導論［M］.北京：機械工業出版社，2006.］