基于java的分庫數據專利技術在工業離散式數據庫中的應用

張捷

（凱邁〔洛陽〕機電有限公司，河南 洛陽　471000）

基于java的分庫數據專利技術在工業離散式數據庫中的應用

張捷

（凱邁〔洛陽〕機電有限公司，河南 洛陽471000）

分庫數據專利技術是將集中存放、管理的數據離散式存放，解決大數據，減輕數據庫負載，提高系統響應速度，滿足大型系統需求的技術之一。工業生產數據大多是離散式存放于各個工控機當中，目前鮮有在集中管理工業數據方面的應用。而分庫數據技術本著逆向思維，將原本離散的數據進行邏輯上的集中管理，并通過相關邏輯判斷，進行數據管理、分析與運算，實現了離散式數據的統一管理。本論文首先就此工業數據與分庫數據技術的應用現狀進行了詳細論述，并針對性研究實現工業數據統一管理的具體方式和算法，還對該技術在工業領域的應用前景作了分析。

分庫數據；工業數據；離散式；分布式；云存儲

隨著工業信息化程度的提升，對于網絡、數據庫等技術的應用也逐漸深入。越來越多的工業軟件習慣采用Oracle、SQLServer、Mysql等數據庫進行數據存儲，認為一方面促使工業數據結構化，同時也便于日后數據的管理。然而，其中也存在一定的問題。比如，多個工業數據庫中的數據如何統一管理。尤其是針對相同設備、數據格式相同、需要就數據進行管理、分析與比對等等情況，這些工業設備往往都離散放置在各處，便給數據管理造成了極大的困難。

目前，一般的解決方案是利用第三方軟件或利用數據庫同步數據功能來實現數據同步。第三方軟件將離散式的數據集中存放在統一的數據庫當中，而后再進行相關數據處理，如syncnavigator，rsync，HASH Tree……，其所基于的思想是數據的同步、備份、高可用性等，但這往往也會并存一定的問題。最棘手的是當工業終端數據庫的表在不斷增加的情況下，以上兩種方案均無法自動解決，仍需人工手動去變更配置程序。況且，同步后集中存放于同一服務器中的數據依然是分庫存放，沒有改變其原有架構，只是將離散的數據從物理形式上同一存放、管理而已。

此外，在大型系統中，數據庫中的數據量未必是可控的。在未進行分庫分表［1］的情況下，隨時間和業務的堆積，庫中的表會愈發增多，表中的數據量也會相應增大，難免會悄然增加數據操作、增刪改查的開銷。此外，由于無法進行分布式部署，而一臺服務器的資源（CPU、磁盤、內存、IO等）也是有限的，最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。因此，在大型數據庫中，分庫技術應用非常廣泛。而在工業設備相對離散的情況下，傳統的解決方案可靠性較低，可操作性也不強。

隨著企業信息化的深入，企業中相關的應用系統也基本已經上線，可以利用現有系統，增加工業數據管理模塊，管理相關工業級數據，并進行相關數據處理。

分庫數據專利技術基于數據的分布式管理與云存儲，在離散式數據庫［2］中的應用屬于一種可從本源上解決離散數據集中管理的問題，旨在從邏輯上靈活地管理離散的數據庫數據，降低用戶的軟件維護成本，切實提高用戶的體驗度。它將分布式存儲的理念逆向思維使用在工業數據管理上，一定程度上也促進了互聯網技術與工業技術的互相融合，有助于提高工業設備數據分析效率。

1　工業數據管理現狀及分庫分表的思想

1.1 工業數據管理現狀

工業數據與其他領域數據不同，有著數據量大、結構復雜、離散式分布等特點。然而，由于工業領域的計算機技術的遲后性，一部分工業數據往往仍采用記事本、excel等方式存儲，對數學的管理辦法無非是將數據集中存放在一處，很難進行統一管理，這不僅導致數據沒有結構化，更難對數據進行系統的統計、分析和處理。隨著信息化的逐步深入，工業數據逐步采用數據庫的存儲方式，漸變式將數據結構化［3］，但這些數據仍分散存放于工業的各個設備中，不便于充分利用已有數據，發揮其應有的潛在價值。正所謂沒有統一的數據管理，更談不上對數據的統計、分析和挖掘。

部分企業在信息化的過程中已經意識到這點，逐步推進采用數據庫同步、主從同步、第三方軟件等模式來解決工業數據離散式存放的問題，但使用以上解決方案均存在以下問題：

①終端設備較多，如每個終端都安裝數據同步軟件，故障點大量增加；

②根據終端設備的一致性，存儲在集中數據庫中需創建多個與之對應的數據庫表，在集中數據庫中也是分表存儲，難以實現集中存儲管理的要求；

③如果終端設備的數據庫表不斷變化，相應第三方軟件也需不斷配置，增加了管理的復雜度；

④由于終端設備數據庫較多，采購第三方軟件也是一筆不小的開支。

1.2 分庫分表的思想

分庫分表（sharding）［4］，是指把一個數據庫切分成多個部分放到不同的數據庫（server）上，從而緩解單一數據庫的性能問題。對于海量數據的數據庫，如果是因為表多而數據多，這時候適合使用垂直切分，即把關系緊密（比如同一模塊）的表切分出來放在一個server上。如果表本身并不多，而每張表的數據又非常多，這時候適合水平切分，即把表的數據按某種規則（比如按ID散列）切分到多個數據庫（server）上。

分庫分表原是為解決大數據集中存放在一處，致使硬件、網絡、數據庫負載過高等問題而產生。針對工業數據的特點，分庫分表欲將原有已分散的數據集中管理，通過逆向思維［5］解決工業數據現存的問題，利用云存儲的分布式數據管理思維，從邏輯上將離散式的數據進行統一管理。

2　基于現有系統引入分庫分表管理模塊

隨著信息化程度的提高，企業會出現大量的信息系統，在業務上、設備上、資源上……進行相關管理，而往往與工業設備、業務相關的系統又不止一個，如果能基于現有系統，將離散式的工業設備數據管理起來，進行設備、設備數據的整合，即可達成即可切實提高設備使用率，深度挖掘現有數據的隱含信息，又能實現將多條數據進行對比，從邏輯上將分布式的離散數據統一管理起來。

現有管理系統有90%以上都采用java編程語言，針對此現狀，以下將基于java語言的流行框架SpringMVC［5］提出一套工業數據集中管理解決方案。根據分庫數據庫的結構和java語言的程序特點，解決方案過程如圖1所示.

具體步驟如下：

①終端設備并入網絡

圖1 離散數據庫采用分庫技術過程

終端設備基于TCP/IP技術［6］（安裝了TCP/IP協議），網線接口需遵循RJ45，RJ45是10BASE-T網絡標準中的接口形式，已被廣泛使用，其內部有8個線槽，線槽含義遵循EIA/TIA 568國際標準［7］，在10BASE-T網絡中1、2線為發送線，3、6線為接收線。在雙機進行連接的時候，其中的1、3、2、6線需要對調。采用A類或B類雙絞線并入企業局域網或互聯網，在網卡中配置相應的網絡IP，以使現有管理系統與終端設備進行通信。

②終端設備數據庫準備

在數據庫中，往往會配置多個用戶，每個用戶不同的相應權限來對數據庫系統進行管理。現有的管理系統若需訪問終端數據庫，將離散的數據在邏輯上進行統一管理，終端設備數據庫則需要做以下準備工作：創建數據庫用戶，為其設置密碼；開放其用戶對于數據庫遠程訪問權限，以便于數據的訪問管理；設置TCP/IP端口與系統遠程訪問系統設置相對應。

③管理系統程序中數據庫接口配置

由于企業中當前使用的管理系統，大部分采用java語言的編程方式，而web系統中框架技術［8］有很多，如Struts、Spring、Hibernate、Mybatis……，下面將根據較為流行的框架技術SpringMVC，在管理系統中配置數據源，設置對應的數據庫訪問驅動、用戶名、密碼、數據庫IP地址，及數據傳遞的編碼方式，而真正的數據庫訪問的配置參數寫入相對應的ini文件中，使之能訪問工業設備中離散的數據庫。SpringMVC架構配置多數據源文件如圖2所示。

④根據邏輯判斷自動切換至相應數據庫

每個設備的數據庫存放數據時，根據業務需求，存儲數據的表名是根據設備編號而命名或沒有具體區分的標示，這樣在查詢數據的時候系統會根據邏輯判斷，自動切換相應的數據庫中查詢數據，進行數據管理。相關思路類似于騰訊、阿里企業系統中對大數據“取模”［9］的思維方式：首先需要根據輸入信息進行分類判斷，判斷其應該切換鏈接至相應的數據庫，然后再去做相應業務處理，而后需關閉數據庫鏈接，釋放資源，切換至默認數據源，以防止干擾原有系統的正常使用。切換數據源的代碼如圖3所示。

圖2　SpringMVC架構多數據源配置文件

⑤工業數據的管理

根據相關的業務需求，管理相應設備數據庫，在系統中以多種形式進行數據顯示，自動獲取數據形式，并可根據數據進行相關數據分析、挖掘、導出報表等……可以根據查詢命令進行數據的簡單查詢，例如（以SQL Server數據庫為例）

查詢數據庫所有表的表名：

查詢表名查詢表結構：

以上是查詢數據庫表名和根據表名查詢表結構的sql語句，可根據業務需求進行數據的統計分析，深度挖掘等。

圖3 切換數據源代碼

3　使用后的效果驗證

原有工業設備的數據管理為離散式數據管理，設備數據之間無法進行比較、統計分析等橫向操作，孤立存放使得數據很難進行有效的數據管理，設備數據不僅僅形成一個個數據孤島，無法發揮其潛在作用，還會導致設備額外使用，增加設備損耗，給企業帶來巨大的成本。本方法利用互聯網技術，將互聯網技術與工業設備相融合，不僅符合國家大力倡導的“中國制造2025”和“工業4.0”概念，也確實解決了工業設備中數據孤立存儲，無法進行統一管理的問題，極大程度上減少了不必要的設備使用，提高設備使用率，減少設備損耗。

使用分庫數據技術后，離散、孤立的設備數據通過網絡得到統一管理。而且，可以根據不同的數據庫，在配置文件中配置不同的數據庫驅動，以實現不同設備、不同數據庫之間的數據統一管理，不僅可以根據查詢條件查詢不同數據庫中的數據，導出查詢數據的報表等一些簡單數據操作，而且可以對離散數據進行統計分析以及對數據的深度挖掘。由于管理系統為web架構，使用人員可以在任意聯網計算機中對設備中的數據進行管理，不僅提高工作效率，結束了原始人工導出數據，移動存儲設備進行數據遷移的工作模式，也極大降低了設備感染病毒的概率。

下面為統計設備8類使用狀態分析結果，如圖4所示。

圖4　設備8類使用狀態的分析結果

4　結語

本系統基于現有管理系統，將獨立的工業設備通過客制化的方法，利用大型系統中分庫的思想，逆向地對離散的設備數據進行統一管理，以達到就多次設備數據進行統計分析、數據挖掘。將設備數據管理掛載在現有的系統中，可以利用當前系統的安全機制與管理模式，減小系統開發周期，提高系統的穩定性與可靠性。開發中利用數據源自動切換，設置默認數據源，數據源切換處理數據后，自動恢復到默認數據源，避免影響原有系統。該技術將工業技術與互聯網技術巧妙融合在一起，解決了工業設備數據離散存放，無法集中管理的問題，使離散的數據進行統一管理，這不僅提高了工作效率，也大大降低設備的重復使用及損耗。

［1］王英杰，溫沁潤，劉秀海.攝影評審系統中數據庫的分庫設計［J］.統計與管理，2013（2）：166-167.

［2］孫曉東.基于物聯網的離散制造車間制造數據管理關鍵技術的研究［D］.南京：南京航空航天大學，2012.

［3］胡珊珊.面向云存儲的非結構化數據存儲研究與應用［D］.廣州：廣東工業大學，2014.

［4］李海磊.垂直劃分分布數據的多維關聯規則挖掘研究［D］.秦皇島：燕山大學，2013.

［5］劉漢民.論逆向思維［J］.重慶工學院學報，2005（9）：96-100.

［6］王曉華.基于TCP/IP和數據庫技術的遠程監控系統的研究［D］.杭州：浙江工業大學，2007.

［7］馮馳，趙旦峰，張宇，劉昕.綜合布線標準EIA/TIA-568A ［J］.黑龍江電子技術，1996（4）：29-31.

［8］王鳳嶺.基于MVC的主流Web框架技術研究［J］.南寧職業技術學院學報，2011（3）：94-97.

［9］許鑫，李順東.大整數取模的快速運算［J］.計算機工程與應用，2014（22）：136-140.

The Application Based on the Java Sharding Technology Patent in Industrial Discrete Data

Zhang Jie
（CAMA〔LuoYang〕Electromechanic Co.LTD，Luoyang Henan 471000）

The data bank technology patent is the centralized storage management， data discrete storage， big data， alleviating database load and improve the response speed of the system， meet the system requirements. One of the large-scale industrial production data are stored in each discrete IPC， the little in the centralized management of industrial data and data bank application. Through the technology of reverse thinking， the original discrete data， central - ized management logic， and through the relevant logic， data management， analysis， operation， to achieve a unified discrete data management.Discusses the application status of the industrial data and the data bank technology， on the way to realize the unified management of the industry the data and algorithm， and the application prospect of the technology in the industrial field.

datasharding；industrial data；discretetype；DDBS；cloudstorage

TP311.13

A

1003-5168（2016）06-0081-04

2016-5-24

張捷（1988-），男，本科，工程師，研究方向：信息技術在工業領域中的應用。