數據代理同步方法解決礦山舊業務系統集成問題

馮治東 李雄懷 盧留偉(.榆林學院信息工程學院,陜西 榆林 79000；.中國神華神東煤炭集團公司信息中心,陜西 榆林 79000；.洛陽欒川鉬業集團礦山公司，洛陽 欒川 47500)

礦山信息化建設往往面臨著這樣一個較為現實的問題：目標企業的信息化現狀如何？從縱向上看，是否已有穩定運行的傳感系統、控制系統、生產執行系統、經營管理系統和決策支持系統；從橫向看，是否已有一些安全管理系統、采掘控制系統、物料運輸系統、機電管理系統、通風解算系統、人員定位系統和人力資源系統等[1-3]。理想的情況是，該企業為新建企業，信息化建設人員可以從零開始規劃、設計系統集成方案，如以SOA架構思路或以《GBT 26335—2010 工業企業信息化集成系統規范》[4]等標準進行規劃，后續新進系統嚴格按照已有規范開發部署，這種信息化架構合理，思路明確，成功的可能性較大，是大多研究學者的主攻方向。然而，據不完全統計，目前為止，這類“零起點”礦山企業不足我國礦山企業總數的5%，大多礦山企業已耗費了大量的人力物力引進了一些并未遵循規范的“老系統”[5]，丟棄這些系統浪費損失嚴重，而改版這些系統又成本代價巨大。

據此，筆者長期以來思考這樣一個問題：如何以最小的代價，最高效地集成已有系統。本研究從數據角度出發，提出“數據的單流入多分發”是老業務系統間集成的基本目標和原則，并在分析傳統“流入分發”方法及新一代工業企業數據集成框架基礎上[6-9]，提出了“數據代理模型”解決礦山老業務系統間的集成問題，該方法無需改動原有系統,原理簡單，成本較低，且能夠降低系統間耦合度，可作為同行研究人員的有效參考依據。

1 多業務系統集成的基本思路

認為“數據集成”是系統集成的關鍵內容之一，重點討論多業務系統間的數據集成問題。系統間的數據集成問題的關鍵是在不新增原有系統功能的前提下，保證多業務系統的數據一致性，如同一員工的ID、姓名、崗位等信息在ERP、辦公系統和生產執行系統等平臺中需要保持高度一致。

為此提出使用“單輸入多分發”方法：

(1)只保留一個信息輸入點，屏蔽其他輸入接口。通常情況下，舊的業務系統中的同一數據需要重復錄入多次，不僅使得工作繁雜，且可能造成數據不一致。可以找出其中的一個業務系統為主輸入系統，屏蔽其他業務系統的輸入模塊，如可以將人資管理系統作為人員信息的主輸入系統，屏蔽掉請銷假系統、入井登記系統、人員定位系統等其他子系統的人員錄入接口(可以借助制度或適當的技術手段實現)。

(2)以保留下的主輸入點所在的數據庫為源點，以“屏蔽掉”的其他子系統數據庫為目標點，將數據進行分發，實現主數據庫和目標數據庫的同步共享。

歸類輸入點和分發點需要具有一定的技巧性，建議根據業務系統的主業務進行。

2 傳統數據集成方法

數據交叉訪問模型是廣泛應用的數據集成模型。該模型如圖1所示，子系統1、子系統2和子系統3為3個較為獨立業務子系統，其各自的主數據庫分別為db1、db2和db3。應用程序除了直接訪問自身數據庫外同時按照各自所需訪問著其他數據庫。

圖1 多數據源交叉訪問模型Fig.1 Multi-data source cross-access model

數據交叉訪問模型實現了數據的高度共享，保證了數據的實時性，但由于部分數據庫被頻繁查詢，使得數據訪問效率低下，同時各系統之間交叉訪問使得整個系統的耦合度增加，給擴展升級帶來較大的困難。因此，人們通常情況下在各子數據庫中新增所需數據表，并借助同步軟件工具實現數據庫表的同步，使其中數據與源數據庫數據保持一致，避免了各子系統間的直接訪問，相對地降低了系統耦合度，稱為“數據庫同步式共享模型”，如圖2所示。

圖2 數據庫同步式共享模型Fig.2 Database synchronization sharing model

該模型中的“同步”主要指源數據庫(或表)到目標數據庫(或表)的同步，前者是數據的生產者，后者是前者的拷貝，是數據的消費者。例如員工“職責”信息，其“源”通常是人力資源或ERP數據庫，而其“目標”通常是考勤系統、定位系統和安全管理系統數據庫等。

工業互聯網的關鍵是“互聯”[10]，而互聯的關鍵是數據共享和同步，解決數據同步問題重點從以下3個方面考慮。

(1)實時性：要求源數據庫的數據改變時，目標數據庫同步的越快越好。

(2)耦合度：系統之間的鏈接越少越好，數據量的傳遞越少越好，輔助性變量和載體越少越好，同時盡量不改變原來的數據庫結構，使得同步后的應用程序能夠正常運行。

(3)資源消耗程度：盡量降低數據庫中表的訪問頻率，不過多地增加表或部署額外服務器。

傳統的數據同步主要有2種[11-13]：①觸發式同步；②輪詢查詢式同步。觸發式同步是通過在源數據庫添加觸發器，當數據發生改變時，自動觸發存儲過程或程序進程將變化的信息反映到目標數據庫，這種方法及時性高，但需要改動源數據庫結構模式，導致耦合度較大，于是工程師們傾向于實時性讓步于耦合性的“比對數據同步”方法，其基本思想如圖3所示，使用獨立進程定時輪詢比對源和目標數據記錄，當兩邊記錄相異時，便將變化的源數據同步更新到目標數據庫中。由于數據庫結構不做改變，且由單獨進程實現數據的跟進，系統間的耦合度較低。

圖3 傳統數據同步模型Fig.3 Traditional data synchronization model

然而，由于每個目標數據庫都需要根據自身業務需求建立同步軟件進程實現數據集成，導致數據庫中的同一張表被多個軟件進程同時訪問，隨著目標數據庫及其業務量的增多，資源消耗線性增長，導致原有系統癱瘓甚至奔潰。為解決此問題，本研究提出基于數據代理的數據集成方案。

3 基于數據代理的數據集成方法

定義1：基于數據代理的數據共享模型。使用代理進程實時監測各源數據庫，當數據變化時，將變化了的數據信息分發到各目標數據庫。即代理進程負責數據的同步分發工作，首先將源數據庫、目標數據庫、數據表等信息注冊到代理進程，代理進程根據注冊信息輪詢源數據，并將變化信息反饋到目標數據庫中。在這種模式下，由于有限代理訪問數據資源，無論目標數據庫及其業務如何增長，對源數據庫的訪問量并無變化。

具體而言，如圖4所示，代理進程主要訪問源數據庫、日志庫和代理列表庫3類資源。其中日志庫用于存儲分發后的數據狀態信息，代理列表庫用于存儲目標數據庫的回調地址。代理進程根據日志庫，發現有數據變化時，從代理列表庫中查詢所有目標地址實現更新，同時將新的數據狀態記錄到日志庫中。

4 方法應用

本研究將數據代理同步方法應用于某大型礦山企業，嘗試了一些基本同步應用。以辦公自動化系統(業務協同系統)人員信息數據作為單輸入點，以即時通信、人員定位、安全管理、生產執行和調度監控系統為分發點。并研發了同步軟件工具，首先設計數據同步模型，如圖5(a)所示，然后將模型進行作業調度，定時分發數據，如圖5(b)所示。代理數據同步日志和統計分析如圖6所示。軟件運行1 a以來，數據的一致性和及時性都能達到預期目的，一些老業務系統得到了最大化利用，應用效果較好。

圖4 基于數據代理的數據同步模型Fig.4 Data agent based data synchronization

5 結 語

本研究針對并未遵循設計規范的老業務系統最大化利用問題，以數據為中心，提出了“數據的單流入與多分發”的數據代理方法實現系統集成，其原理簡單，無需新增原有系統功能,只需在代理列表庫中注冊目標數據庫的接口定義及其地址即可方便地增加新的目標數據庫，實現實時性、耦合度和資源消耗程度都較為理想的系統集成方案，可最大化地減輕礦山企業在信息化建設過程中的損失。

[1] Jay Lee.Industrial Big Data-the Revolutionary Transformation and Value Creation in Industry 4.0 Era[M].Bejing:China Machine Press,2015.

[2] Nguyen T H,Prinz A,Friiso T,et al.A framework for data integration of offshore wind farms[J].Renewable Energy，2013，60(4)：150-161．

[3] 馮治東.礦井突水平行應急管理方法研究[D].西安:西安建筑科技大學,2015.

Feng Zhidong.Study and Application on Parallel Emergency Management Method for Mine Water Incrush[D].Xi′an:Xi′an Univiersity of Architecture and Technology,2015.

[4] 中國國家標準委員會.GBT 26335—2010 工業企業信息化集成系統規范[S].北京:中國標準出版社,2011.

China National Standards Committee.GBT 26335—2010 Industrial Enterprise Information Integration System Specification[S].Beijing:China Standard Press,2011.

[5] 顧清華,盧才武,江 松,等.采礦系統工程研究進展及發展趨勢[J].金屬礦山，2016(7):25-33.

Gu Qinghua,Lu Caiwu,Jiang Song,et al.Technical progress and development trends of mining systems engineering[J].Metal Mine,2016(7):26-31.

圖5 數據集成的設計與調度Fig.5 Design and scheduling of data integration

圖6 數據同步日志與統計分析Fig.6 Data synchronization log and statistics

[6] 吳立新,汪云甲,丁恩杰,等.三論數字礦山——借力物聯網保障礦山安全與智能采礦[J].煤炭學報,2012，37(3):357-365.

Wu Lixin,Wang Yunia,Ding Enjie,et al.Thirdly study on digital mine：serve for mine safety and intellimine with support from IoT[J].Journal of China Coal Society,2012,37(3):357-365.

[7] 何廷潤.以數據為中心的智慧城市信息體系架構研究[J].移動通信,2013,37(21):13-17.

He Tingrun.Wisdom city information architecture research of data-centric[J].Mobile Communications,2013,37(21):13-17.

[8] 神華和利時信息公司.數字礦山藍圖匯報[R].北京：中國神華集團有限責任公司,2012.

Shenhua Helishi Informtion Company.Digital Mine Blueprint Report[R].Beijing：Shenhua Group,2012.

[9] IBM商業價值研究院.中國制造2025——構建以數據洞察為驅動的新價值網絡[R].北京：IBM商業價值研究院，2015.

IBM Institute for Business Value.China Industry 2025：Build a New Value Network Driven by Data Insight[R].Beijing:IBM Institute for Business Value in China,2015.

[10] 田世明，欒文鵬，張東霞，等．能源互聯網技術形態與關鍵技術[J]．中國電機工程學報，2015，35(14)：3482-3494．

Tian Shiming，Luan Wenpeng，Zhang Dongxia，et al.Technical forms and key technologies on energy internet[J]．Proceedings of the CSEE，2015，35(14)：3482-3494．

[11] 魏紅雨.基于4G地學空間數據集成關鍵技術研究[D].長春：吉林大學，2014.

Wei Hongyu.Research on the Key Technology Based on 4G Geological Spatial Data Integration[D].Changchun:Jilin University,2014.

[12] 馬小平，胡延軍，繆燕子．物聯網、大數據及云計算技術在煤礦安全生產中的應用研究[J].工礦自動化,2014(4):5-9．

Ma Xiaoping，Hu Yanjun，Miao Yanzi.Application research of technologies of internet of things， big data and cloud computing in coal mine safety production[J].Industry and Mine Automation，2014(4):5-9．

[13] 劉 歆.領域數據集成及服務關鍵技術研究[D].北京：北京科技大學,2016.

Liu Xin.Research on the Key Techonologyies of Domain Data Integration and Service[D].Bejing:University of Science & Technology Beijing,2016.