一種基于大數據的動態建模技術

胡輝，劉宇芳，蔡昭權，盛杰，劉江林，雷莉

（1.惠州學院，惠州516007；2.惠州市疊維科技有限公司，惠州516001；3.廣東科學技術職業學院，珠海519090）

一種基于大數據的動態建模技術

胡輝1，劉宇芳1，蔡昭權1，盛杰2，劉江林2，雷莉3

（1.惠州學院，惠州516007；2.惠州市疊維科技有限公司，惠州516001；3.廣東科學技術職業學院，珠海519090）

在如今大數據時代，企業由單一的小系統變成復雜的多系統并存的現狀以及大規模數據的產生和應用，使得企業迫切需要解決不同數據源之間的結構性差異和數據指數增長所帶來的瓶頸。提出一種基于大數據的動態建模技術，有效地解決了不同數據源之間整合和重構的障礙和面向大數據的拓展性問題。

大數據；數據重構；動態建模

0　引言

在過去，許多企業通過開發各種業務系統來提升自身的能動性、工作效率和業務水平，然而這些業務系統缺少前瞻性的設計，未能考慮到系統功能的拓展性和大規模數據增長帶來的存儲瓶頸，使得它們急需優化升級［1］。而不同業務系統之間數據的結構性差異給數據的整合和重構帶來了極大的障礙［2］。如何解決數據整合和重構以及海量數據的增長性存儲這兩大難題成為了討論的熱點。

本文提出了一種基于大數據的動態建模技術，通過采用彈性的存儲結構，將傳統數據庫中橫向的字段轉換為縱向的彈性增長，解決了數據結構的水平擴展問題。

1　建模技術研究

一般而言，數據庫的數據建模主要可以劃分為三個步驟，從概念數據模型到邏輯數據模型再到物理數據模型，反映的是設計過程中從抽象數據到確定數據結構之間的關系再到編碼數據結構的流程［3］。

概念數據模型是指用戶對數據的看法，是一種綜合性的信息需求，反映具體項目中的數據需求，包含了實體與實體之間的關系，目標是統一業務概念，作為業務人員和技術人員之間溝通的橋梁，確立不同實體之間的層次關系。邏輯數據模型是指系統分析設計人員對數據的看法，是對概念數據模型的進一步分解和細化，是對業務與對象之間關系的規劃，包含了實體的關系和屬性，進行范式處理，詳細的描述數據，力求數據集的構建更為規范、合理和高效。物理數據模型是在邏輯數據模型的基礎上進行的數據庫結構化設計，包含了表和列的設計，根據實際情況定義實體之間的鍵位關聯，用以保存真實數據［4］。

人們在這三個步驟的基礎上，總結出了不少規范性的方法和工具，如E/R圖建模［5］、UML建模［6］等。

2　節點容器原理

在概念數據模型和邏輯數據模型設計的階段，可以通過用抽象節點容器的方式定義數據結構，即若將系統中的一個子集看做是一個節點容器，而一個數據環境擁有多個子集，那么系統中的子集庫就可以看做是一座由一個個節點容器構成的森林。

每個子集以節點容器的方式存儲在系統數據庫中，我們稱之為原始節點容器。每個節點容器在使用時，一般是部分使用，不過會使用多次，且每次的使用內容都不一樣。因此，要為原始節點容器定義對應的用途節點容器或顯示節點容器。由于不同的情況下，同一個原始節點容器有不同的使用內容，因此一個原始節點容器需要對應定義多個用途節點容器。而這些用途節點需要根據時間、進程、大小或維度進行分類，當用途節點容器已經為實際使用情景完成了所有的分類定義，即可以將這些零散的使用通過建模方式串聯起來，變成一個完整連續的使用過程，并在過程中通過對使用進程、內容的判斷，決定在當前建模節點需要使用哪個用途節點容器。至于具體指向哪個用途節點容器，是由建模中的具體多重輸入條件交叉定位決定的。

3　動態建模

多態系統中，所有的對象、組件、交互行為，都抽象為一個子節點容器，每個子節點容器都通過其根節點進行驅動。原型節點容器，是對所有實體對象、實體組件、實際交互行為的一種原型定義，主要是定義這些對象、組件、交互行為的維度、參數。所有實體對象都從原型對象節點容器繼承而來，所有實體組件都從原型組件節點容器繼承而來，所有實際交互行為都從原型交互行為節點容器繼承而來。通過對原型節點容器的驅動，進行所有對象、組件、行為的定義驅動，然后通過對節點容器節點的各類操作，實現所有系統的實現驅動。

單通道建模鏈設計，是一種將實際數據進程邏輯轉換為系統最簡易驅動的系統建模邏輯的方法。該方法中是將一個復雜的數據進程邏輯，轉換為多個單一的、固定方向的數據進程邏輯，通過節點的任意增加、刪除，以及提交與駁回的自定義，實現數據的動態建模。

我們假設一個實際的數據進程圖，這個數據進程圖有兩次判斷，每次判斷后，都會有多個分支，如下圖1所示。

圖1　數據進程圖

第一步，將所有操作框從1開始順序編號，開始框、結束框、判斷框都不能編號，如圖2所示。

圖2　數據進程序號圖

第二步，從開始框出發，按序號最小且可連接的操作框經過，直到結束框，將此路徑經過的操作框順序記錄，即成為一個建模通道。第一個通道為0-1-3-5-Z，每個通道的標記為，從0開始，從Z結束，如圖3所示。

第三步，去掉原建模圖中獨立的操作框，本步中為第2、第5框，如圖4所示：

圖3　建模分解圖一

圖4　建模分解圖二

第四步，按第二步的方法，從開始框出發，沿著序號最小，且達連接的操作框前進，直到結束框，將此路徑經過的操作框順序記錄，即為下一個建模通道，第二個建模通道標記為0-1-3-Z，如圖5所示。

圖5　建模分解圖三

第五步：依此類推，如圖6所示。

圖6　建模分解圖四

第六步：按操作框的序號順序，自上而下排列到不同行道，對于相同編號的操作框，從0.1開始順序標記子序號，如圖7所示：

圖7　建模分解圖五

單通道建模鏈的優點，是將建模中需要判斷、分支的邏輯去掉，單通鏈建模鏈中任何一個節點，要么提交前進到下一個節點，要么駁回到上一個節點，簡化了程序的判斷邏輯，也就簡化了用戶在配置建模時的邏輯。現有的工作流引擎，都為了滿足建模與判斷的靈活性，給每個節點都設置了條件參數的組合輸入，但條件參數的組合，已經比較靠近IT程序員的思考邏輯，對于普遍的建模驅動用戶來說，會難于理解且容易配置錯誤。而現有的工作流引擎在配置這種復雜的判斷邏輯時，還沒有一個真正成熟的子集與算法，導致實現自定義的同時，存在較多的程序漏洞與風險。因此，將工作流引擎邏輯簡化為單通道建模鏈，一方面可以提升系統的穩定性，另一方面也能讓普通的建模驅動員（沒有IT背景）能直接理解與配置建模。

4　結語

通過對數據庫設計原理的研究和節點容器的設計，提出了一種基于大數據的動態建模技術思路。本文提出了一種基于大數據的動態建模技術，通過采用彈性的存儲結構，將傳統數據庫中橫向的字段轉換為縱向的彈性增長，解決了數據結構的水平擴展問題以及不同數據庫數據在融合過程中出現的結構性差異帶來的障礙性問題，從而實現了不同數據集成結構的數據整合和重構。

［1］涂炎欽.海南省國土資源業務系統統一組織架構研究［J］.國土資源信息化，2015，05:15-17+9.

［2］孟浩華，匡堯.電力企業信息系統數據庫優化整合研究與實踐［J］.電力信息化，2013，04:74-77.

［3］郝進義.數據庫設計規范及設計技巧研究［J］.計算機光盤軟件與應用，2012，12:176-177.

［4］李長海，郭穎，董廣輝.淺析數據庫設計［J］.數字技術與應用，2010，08:176.

［5］劉禹鋒，朱云，曾曉勤.圖文法EGG在ER圖設計中的應用［J］.計算機工程與設計，2014，03:1071-1075.

［6］郭婧，吳軍華.面向方面的UML建模［J］.計算機工程與設計，2011，32（12）:4260-4264.

Dynamic Modeling Technology Based on Big Data

HU Hui1，LIU Yu-fang1，CAI Zhao-quan1，SHENG Jie2，LIU Jiang-lin2，LEI Li3

（1.Huizhou University，Huizhou 516007；2.Huizhou Diewei Technology Ltd.，Huizhou 516001；3.Guangdong Institute of Science and Technology，Zhuhai 519090）

Generation and application of the status quo in today era of big data，enterprise from a single small system become more complex system coexist and large-scale data so that enterprises urgently need to address the structural differences between the data source and the data carried by the exponential growth to bottlenecks.Presents a technology based on dynamic modeling of big data，effective solution integration between different data sources and reconstruction of the obstacles and problems facing the expansion of big data.

Big Data；Data Reconstruction；Dynamic Modeling

廣東省教科規劃項目（No.11JXZ012、No.14JXN065）、廣東省自然科學基金項目（No.S2013010013432、No.S201301001 5940）、廣東省教育廳項目（No.2013LYM00874）、廣東省高校優秀青年創新人才培養計劃資助項目（No.2013 LYM_0087）、惠州市科技計劃項目（No.2013B020015008、No.2014B020004026、No.2014B050013016、No.2014B02 0004023）、肇慶市科技計劃目（No.2015B010902009）

1007-1423（2016）25-0008-04DOI：10.3969/j.issn.1007-1423.2016.25.002

胡輝（1979-），女，江蘇鹽城人，碩士，講師，研究方向為計算機軟件

2016-06-21

2016-08-26