日志驅動的跨域數據融合與可視化方法

陶 冶，郭帥童，王曉東，侯瑞春，初佃輝

（1.青島科技大學 信息科學技術學院，青島 266071；2.中國海洋大學 信息科學與工程學院，青島 266000；3.哈爾濱工業大學，威海 264209）

0 引言

在大規模定制的過程中，通常需要整合跨平臺、跨企業、跨領域的異質異構數據[1,2]，為業務融合、交互共享與服務集成提供基礎支持。研究跨域異構數據與資源的融合技術，有助于發現各類實體之間的隱藏關聯關系，為業務協同、流程優化與資源調度提供客觀依據[3]。

通常，各類業務系統建設持續時間長，在初始設計階段往往對數據標準、信息開放等方面需求考慮不足，信息孤島現象普遍存在，另外，伴隨系統功能的拓展與更改，原有關聯關系也發生改變，導致全局數據空間構建的過程中，實體之間的關聯關系難以發現，無法形成有效知識圖譜。

關系型數據是大規模定制生產過程中產生主要數據類型[4]，一般采用實體-關系模型（Entity-Relationship Diagram，ERD）表達實體之間的關聯。盡管直觀易懂，但也存在一些局限：一是ERD只表達實體之間固有的、靜態的關聯關系；二是難以發現實體之間的隱藏關聯關系，在概念模式設計不完備的情況下，除通過外鍵顯式描述外，實體之間存在大量隱藏關聯無法充分體現。

挖掘關系型數據庫各實體之間的關聯關系是基于語義的數據融合的關鍵步驟，相關研究工作主要集中在以下兩個方面：一是建立輔助手段與現有的數據庫相互結合或者優化訪問方式，實現對圖結構數據的快速高效的操作，M.Paradies等[5]通過對關系數據庫增加圖框架來改善在關系型數據庫中查詢涉及到的圖操作，對內部高度關聯的數據查詢時涉及到的多表聯合查詢，J.F.Sinnott Jr在[6]中提出查詢中設置多表之間的最佳連接順序和最小成本的路徑規劃的方案，J.Chhugani等[7]展示了改善圖遍歷算法可以加快對圖結構數據的訪問；二是通過將結構化數據遷移到非結構化系統中[8]實現，例如，可將關系型數據庫的元組映射為圖數據[9]中的節點，將外鍵映射為邊，S.Bordoloi和B.Kalita[10]通過從源數據庫的模式圖或進行逆向工程得到數學模型，根據數學模型建立圖模型，R.De Virgilio等[11]通過在源關系型數據庫上定義的完整性約束來構建圖數據庫，同時將源數據庫上的查詢命令高效的轉換成圖數據庫上的查詢命令。若能在數據遷移同時發掘實體間的跨域深層關聯，并通過可視化手段呈現，則有助于建立基于異構關系型數據庫之上的邏輯數據空間。

在大多數制造業信息化系統中，日志文件包含豐富信息[12]，通常詳細記錄了用戶、動態事件、數據庫查詢操作等。除了性能優化[13]、故障檢測[14]、安全審計[15]外，隨著數據規模的增加和處理能力的提高，對日志功能擴展的研究越來越多，例如；應毅等[16]提出根據分析結果對現有業務進行改善并提供定制化服務。若能在一般意義上的系統日志的基礎上，通過對日志信息中涉及的數據庫訪問條目進行深度挖掘，可發現多維異構數據庫中數據之間的動態聯系，實現對ERD表達方式的有益補充。

本文提出一種基于日志信息挖掘的跨域數據融合與可視化方法，針對目前大規模定制業務系統中廣泛應用的關系型數據，通過分析不同系統的訪問日志，動態發現跨域實體間的關聯關系，并給出其隨時間推移的演化模型，利用圖數據庫與知識圖譜工具驗證其可行性，主要創新包括：1）相較于傳統ERD，由日志驅動的關聯挖掘方法生成的關聯模型可體現各實體間的內在隱藏關系；2）針對跨域實體聚類與關聯，給出了關聯量化特征及可視化表示方法；3）能夠體現實體關聯關系隨時間推移的動態演化過程；4）針對不同業務角色，呈現動態實體關聯熱點，輔助資源動態分配和業務協同。

1 數據融合模型

本節提出基于日志的數據融合模型，通過分析關系型數據庫的SQL查詢日志，建立關系模型到圖模型的實體與數據的關聯映射。

1.1 模型定義

假設l是日志L中的一個條目，r代表關系數據庫概念模型R中的一個關系，a表示r中的某一屬性，v和?v分別表示圖模型G中與r和a對應的實體節點與屬性節點，e代表節點之間的邊，φ與ω分別代表節點與邊的權重，建立圖模型的過程就是通過遍歷L，找到從R到G的一組映射并確定相應的參數，即：

圖1為一模型映射實例，將r1，r2，r3，r4代表的4個關系分別映射為圖模型中的v1，v2，v3，v4代表的4個節點，將各屬性aij分別映射為所代表的頂點。

圖1 關系模型-圖模型映射示意

與傳統的ERD不同，該模型通過分析一定時間內的數據庫日志，依據不同實體和屬性的訪問頻次和連接關系，計算頂點權重φ與邊權重ω，在圖模型的可視化過程中，φi體現為vi所代表的節點圓半徑，ωi體現為ei所代表的邊的線寬。

1.2 映射函數

在ERD描述的基礎上，通過分析日志中的SQL查詢語句建立映射函數，主要處理以下兩種情況。

1）顯式連接關系的映射

如果SQL查詢日志中的連接關系是顯式表達的（也包括存在表別名或列別名的情況），只需要查找對應關系的關聯方式便可生成圖模型中的相應參數，如圖2所示。

圖2 顯式連接關系映射

2）隱式連接關系的映射

如果SQL查詢日志中多層嵌套的連接關系，需要將等價關系中的信息經過多次映射才能發現實際關聯，如圖3所示。由于臨時表r3在實際模型中并不存在，因此，在映射過程中需要將其轉換為r1和r2，才能反映實際映射關系信息。

圖3 隱式連接關系映射

1.3 參數計算

可視化模型中，頂點權重φ與邊權重ω主要與日志條目中對相關實體與屬性的訪問頻次相關，且隨選取日志的時間變化而動態變化，參數確定的方法由算法1描述。

算法1：參數計算方法

首先根據關系數據庫概念模式R生成初始ERD，在此基礎上，逐條讀取日志記錄l，提取關聯實體間的連接操作及相關屬性。若該連接操作所涉及的實體已在圖模型中生成相應節點，則增加該節點與邊的權重，否則在圖模型中創建相應的節點與邊。

2 ERD增強可視化方法

本節通過對比傳統ERD與日志驅動生成的圖模型，給出實體聯系模型的增強可視化方法。ERD通常在數據庫的概念設計階段完成，是從現實中數據之間的顯式關系入手創建的數據關聯，而通過上一節提出的日志驅動的模型生成算法也可刻畫數據庫中數據之間的關系，以下對兩種生成方式的特點進行對比。

針對同一關系模型，圖4(a)是根據具體的由數據定義語言（Data Definition Language，DDL）描述的概念模型中的主外鍵關聯關系直接生成的ERD模型；圖4(b)是根據前述算法生成的圖模型；圖4(c)則是融合了ERD與日志驅動生成的圖模型，對實體與關聯關系的權重數據進行了可視化，體現的信息更為豐富。

2.1 隱式關聯關系發現

ERD通過主外鍵描述顯式表達實體間關聯，但實際應用中，這種關聯關系的表達通常都不完備。例如，根據DDL描述，圖4(a)中藍色節點①所代表的role實體中，id是主鍵，其他實體通過外碼roleid與之建立關聯。

在實際操作中，還有一些關聯是DDL中沒有定義的，例如：圖4(b)中的深藍色節點①所代表的role_capabilities實體與橙色節點②所代表的role_allow_switch實體之間則是通過roleid與allowswitch兩個屬性關聯的。但由于這個關聯并未在DDL中定義，因此，也就無法體現在傳統的ERD中，而日志驅動的模型構建方法不受DDL約束，可以挖掘類似的隱式關聯關系。

2.2 權重參數可視化

數據庫設計階段主要考慮實體和關聯的靜態屬性，但給定時間內，實體和屬性的查詢頻率、訪問次數等隨時間變化的動態因素則無法通過傳統ERD進行刻畫。圖4(a)中節點之間的大小以及節點之間的邊都是統一大小的，無法表達不同實體和屬性的訪問頻率。但是在實際應用中不同數據的訪問量經常是不同的，難以對“熱點”部分進行聚焦。

圖4 實體聯系模型的增強可視化

但在圖4(b)中，節點半徑（對應模型參數φ）、節點之間邊的線寬（對應模型參數ω）可直觀表達權重信息，例如：深綠色④對應的role_allow_view節點比深藍色①對應的role_capabilities節點半徑小，表明在給定的時間內，對關系role_capabilities的訪問比對關系role_allow_view的訪問更為頻繁。另外，連接深藍色節點①roleid與淺藍色節點③id之間的邊的線寬明顯偏大，表明關系role_capabilities與關系role之間的連接操作更為頻繁。

3 增強ERD模型的時間演化

由日志驅動生成的圖模型還可展示關聯關系隨時間的演變過程。如圖5所示，以某家電制造企業的內部培訓系統日志為例，呈現30天內日志條目數量的增長變化情況。顯然，日志條目數量與時間正相關，可采用日志條目數量代表時間推移，從而體現對時間維度敏感的數據融合操作。

圖5 日志條目數量隨時間推移而變化

圖6分別是由500條、3000條和10000條日志生成的圖模型。通過分析模型隨時間的演變過程，可以發現：

1）熱點實體的動態變化

圖6 (a)中的“熱點”實體（φ值較大）主要集中在深藍色節點①所對應的context節點。隨著時間推移，“熱點”實體由圖6(a)中的①遷移到圖6(b)中的②所示的course_modules節點。

2）隱藏關聯的動態變化

隨著時間推移，圖6(b)中淺綠色節點③所代表的user實體與紅色節點③所代表forum_discussions實體產生了關聯，而這是此前生成的圖6(a)所未能展現出的。

3）全景數據視圖的整體呈現

通過對30天日志的全面分析，圖6(c)體現了更加全面和豐富的整體信息。可見，數據訪問主要是以淺綠色節點①所對應的user實體為中心，向外延伸。此外淺藍色節點②所對應的course實體使圖6(b)中的孤立節點群①，②產生了關聯。與全景視圖相比，前兩個階段生成的圖模型僅反映了局部實體和關聯信息，而隨著時間推移，日志數量不斷增長，全景視圖才逐漸完整地呈現出來。

綜上，三幅子圖中節點群間的連接隨日志條目的增加而改變，展示了基于日志的跨域數據融合隨時間的演變的圖模型對數據分析方面的具體應用。

圖6 由日志驅動生成的圖模型隨時間演化示意圖

4 不同角色的模型可視化

通過對不同用戶的操作對應的日志記錄建立圖模型，可實現對不同角色或特定用戶的畫像分析，并通過可視化方式呈現用戶行為習慣，有針對性對跨域資源和業務流程進行優化。通過過濾選取不同時段、不同用戶、不同角色的訪問日志（L），采用算法1對各類用戶（群）的行為軌跡進行挖掘，通過關聯多個實體，提高用戶畫像的查詢性能，降低構建難度。

圖7是在一系列日志條目之上的目標用戶圖模型，圖7(a)中的目標用戶是普通用戶，而圖7(b)則是管理員用戶，可以發現：

1）實體差異

例如：普通用戶主要是以圖7(a)中節點群①、②和③所對應的實體user、course_modules和context為中心，向外擴展；而管理員用戶則是以圖7(b)中的節點群①所對應的實體role為起點，形成一個回路。

2）關聯差異

例如：圖7(a)中熱點之間的連接更加復雜，多是通過不同實體節點（如橙色節點群④所對應的實體assign_submissing）產生間接關聯；而圖7(b)中與其對應的實體之間則是直接關聯，關系更加直接密切。

圖7 由不同用戶（角色）的日志生成的圖模型

上述分析表明，基于日志的跨域數據融合能夠依據不同用戶群體的操作之間的差異性，直接建立圖模型對用戶進行具體分類，此外，通過對用戶操作深入分析，實現根據同類中已有的情況推測某用戶的演變趨勢。因此，在角色切換時，可通過圖模型預加載或緩存相應資源，提高訪問效率。

5 結語

本文提出了一種基于日志分析的跨域多源異構數據融合方法，通過分析日志中的數據庫訪問條目，豐富和拓展了傳統ERD，形成了增強的“實體-關系”圖模型，支持隱藏關聯信息的可視化和對不同用戶/角色的動態時變分析，并以大規模定制領域的業務系統日志為例，呈現了圖模型的可視化結果。

后續研究將通過對數據庫中數據之間的相似性分析與當前已實現的跨域數據分析相結合，對數據之間建立關聯，形成更為全面的關系數據知識圖譜，實現對多源異構數據更精細、更準確的融合。