多源數據集成的視覺傳達設計仿真研究

曲興衛 王自珍

摘 要： 針對ASP.NET面向對象視覺傳達網頁設計方法存在信息挖掘粗糙、視覺傳達效果差的弊端，設計了基于多源數據集成的視覺傳達網頁設計方法。其運行架構由多源數據化集成、多類型可視化集成以及可視化支持服務三部分構成。網頁主要功能包括集成管理、圖表管理、數據源管理、項目管理、系統管理，對網頁多源數據集成功能實施詳細設計和實現，如多源數據集成、多類型可視化集成以及可視化支撐服務功能的集成訪問設計以及實現。采用DeepWeb爬蟲檢索視覺傳達網站，其采用爬行方法篩選URL，對有用的頁面進行抓取。實驗結果說明，該方法設計的智能配電管理網頁運行效果佳，具有較高的可視化實現性能以及信息挖掘質量，視覺傳達效果好。

關鍵詞： 多源數據集成； 視覺傳達； 可視化； 支撐服務； 信息挖掘； 爬蟲檢索

中圖分類號： TN911?34； TP393.07 文獻標識碼： A 文章編號： 1004?373X（2018）13?0172?05

Abstract： The traditional visual communication webpage design method has the disadvantages of rough information mining and poor visual communication effect. Therefore， the visual communication webpage design method based on multi?source data integration was designed. Its operating framework is composed of multi?source data integration， multi?type visual integration and visual support service. The main functions of webpage include integration management， graph management， data source management， project management and system management. The multi?source data integration function of webpage is designed and implemented in detail， including the multi?source integration， multi?type visual integration and integration access of visual support service function. The DeepWeb crawler is used to retrieve the visual communication website， and the crawling method is used to filter the URL and capture the useful webpage. The experimental results show that the intelligent power distribution management webpage designed with the proposed method has superior running effect， high visual realization performance and information mining quality， and perfect visual communication effect.

Keywords： multi?source data integration； visual communication； visualization； support service； information mining； crawler retrieval

0 引 言

在科學技術日益發展的今天，互聯網技術和軟硬件技術都已得到迅速發展，來自互聯網的信息數量也急劇上升，在大量數據中高效率搜索所需信息便成為目前最熱的研究話題。正是由于互聯網信息發展如此迅猛，人們設計開發出大量以數據為主的軟件系統與網頁用來處理如此龐大的互聯網信息。其中，起到主導作用的一項設計就是數據可視化，它的主要特點是以用戶直接接受的方式對數據進行讀取，使用戶對數據的分析和研究變得更加便利。因此，數據可視化在信息化系統中儼然成為一項重要技術。傳統基于ASP.NET面向對象視覺傳達網頁設計方法存在信息挖掘粗糙、視覺傳達效果差的弊端。因此，本文設計基于多源數據基礎的視覺傳達網頁，提高信息挖掘質量以及網頁的視覺傳達效果。

1 多源數據集成的視覺傳達設計方法

1.1 基于多源數據集成的運行架構設計

采用JavaEE多源數據集成平臺，設計基于多源數據集成的視覺傳達網頁，利用互聯網集成方式，以多源數據集成、數據可視化技術集成、可視化支持服務，使數據可視化呈現在網頁中[1]。開發人員開發網頁可視化時按系統集成要求，將基于多源數據集成的視覺傳達網頁獲取系統數據、定制可視化效果等功能進行組合，網頁運行架構如圖1所示。

網頁運行架構包括：

1） 多源數據化集成：網頁具有集成多源數據功能，為集成提供各種數據、解決數據文件集成方式等作用，通過對數據識別、整理等操作實現數據集成。

2） 多類型可視化集成：為實現網頁呈現出多種數據化可視結果，對可視化技術進行統一集成[2]，該功能可滿足大量的數據可視化與圖表的集成。

3） 可視化支撐服務：在網頁應用系統和網頁間進行數據互換時，供給一致的數據可視化集成接口，促進數據互換的完成。

1.2 網頁功能架構設計

網頁整體功能包括應用系統集成管理、圖表管理、數據源管理、項目管理、系統管理五個方面，如圖2所示。

網頁的各項功能如下：

應用系統集成管理：用戶在線對網頁系統集成、數據加密、圖表顯示等情況進行選擇操作后[3]，網頁將用戶各項需求進行統計，利用系統參數對接接口、可視化集成訪問來實現數據可視化。

圖表管理：通過可視化定制、數據可視化、資源及可視化技術集成四個方面幫助用戶在線查詢數據集成后的網頁瀏覽狀況，在數據可視化的發展方面起到了很關鍵的作用。

數據源管理：通過管理數據庫、文件及元數據確定網頁的應用規模，其操作是依靠數據源集成和應用流程來完成的。

項目管理：項目屬于網頁中一個最基礎的管理單元，作為數據可視化的對接入口，能夠將許多數據源、圖表、應用系統基礎建立在相同的項目里[4]，并且數據交換只可以在相同的項目里實現。

系統管理：系統管理屬于網頁設計中最基本的管理單元，其功能是用戶體系、權限體系、安全管理、系統監控能夠對網頁的數據管理起到支撐作用，并保障網頁工作能夠正常進行。

1.3 網頁多源數據集成功能設計與實現

1.3.1 多源數據集成功能設計

為了適應越來越多的用戶使用數據集成的需求，本文設計的視覺傳達網頁需擁有多源數據集成的功能。多源數據集成根據數據集成特點建立了能夠擴大、統一的數據集成規則，使在線數據集成及歸納分類得以正常進行。為使不同種類數據庫集成并能夠讀取不同種類的數據文件，視覺傳達網頁還應擁有在線數據進行交換的功能[5]。多源數據集成功能設計如圖3所示。

第三方技術為數據文件的集成提供技術支持，使數據文件實現最基礎的查看及搜索。若想對數據文件進行較有難度的操作，提高數據文件使用效率，就要在設計中加入表管理這一操作，對數據庫進行表管理[6]。對數據文件進行入庫整理然后添加到數據庫表中，就可實現用戶對數據庫進行復雜的字符串拆分或拼接等操作。

1.3.2 多源數據集成功能實現

網頁實現多源數據集成可分為三項，即輸入網頁信息、底層數據集成應用、數據集成。輸入網頁信息包含數據庫類別、連接地址、用戶名等，底層數據庫應用是對數據庫進行連接，數據集成是根據網頁數據的操作反應，帶來JSON格式規范的數據對象。多源數據集成通過大批量的I/O操作實現長時間操作，能夠承擔巨大的網頁瀏覽負載壓力。利用接口編程的思路和SOA應用方式，把各類數據運行變為單獨的一個模塊，應用Dubbox把各個模塊變為ZooKeeper里的一項功能，再對每一個模塊進行安排，通過這種操作能夠使多源數據集成的利用率得到提高。

1.4 多類型可視化集成功能設計

設計多類型可視化集成是為了滿足網頁的可視化技術集成、可視化定制、數據可視化等功能。多類型可視化集成是為網頁技術用戶、網頁用戶、應用系統用戶提供服務的。多類型可視化集成包括可視化技術集成服務、可視化定制服務、數據可視化服務、資源服務、可配置集成文件[7]，其功能運行圖如圖4所示。

多類型可視化集成根據集成文件產生相同的集成規則。將文件集成與服務動態加載相結合，增大可視化操作范圍，對可視化技術信息整理、可視化效果定制及可視化顯示等功能提供支撐作用，進而使網頁可視化操作范圍增大，使操作更加便捷。

1.5 可視化支撐服務功能的集成訪問設計

視覺傳達網頁中起主要作用的是可視化支撐功能。它能夠在視覺傳達網頁中定制系統的集成信息，把該網頁的可視化結果進行展示和集成，為用戶帶來數據可視化結果。其功能包括應用系統集成管理、系統參數對接接口、可視化集成訪問。可視化集成訪問能為用戶對視覺傳達網頁進行操作后呈現出可視化效果，通過在接受用戶命令后執行系統參數對接接口，對數據進行調取、查詢并分析實現[8]。如圖5所示，其操作流程是：用戶對基于多源數據集成的視覺傳達網頁進行訪問；可視化集成訪問對緩存服務中可視化效果進行檢測；若緩存服務中未檢測到可視化效果，則繼續利用緩存服務調取授權信息；尋找相應的多類型可視化接口；保存數據可視化操作結果；將可視化結果呈現給用戶。

1.6 DeepWeb爬蟲的工作過程

DeepWeb爬蟲是為搜索視覺傳達網站設計的，它的爬行方法與其他爬蟲一致，即篩選URL，對有用的頁面進行抓取，在將鏈接減少后，進入到URL列表中。該爬蟲在爬行時[9]，并不像其他爬蟲僅對網頁內容進行抓取研究，它的工作重點是網頁中有沒有搜索表單。因此本文通過以下步驟將爬行抓取網頁內容更改為爬行抓取表單[10]，用圖6描述，其操作流程為：

1） 設立使用DeepWeb爬蟲抓取的網站地址；

2） 創建利用DeepWeb爬蟲搜索的網站搜索表單本體；

3） DeepWeb爬蟲對搜索表單中的網頁進行抓取；

4） 將DeepWeb爬蟲抓取的網頁進行下載，并分析搜索表單；

5） 將滿足需要的搜索表單預填寫；

6） 將預填寫的結果進行提交；

7） 對所需表單和顯示結果進行儲存。

2 實驗結果與分析

2.1 智能配電管理網頁設計效果檢測

智能配電管理網頁系統已廣泛應用于供電企業運行管理、設備管理、用戶服務等領域，其作用是實時監控、計算分析、交換信息等。由于該網頁的訪問量不高，因此對采用本文網頁設計方法設計的智能配電管理網頁的設計要求也不高，通過單機部署代替集群部署，在一個服務器中即可擁有所有的服務。實驗檢測本文方法設計的智能配電管理網頁的總體走勢效果，用圖7描述。從中能夠看出，網頁整體分析可應用于企業各時間段中的電量計算，根據設施的編號調配相應的數據計算范圍，并通過動態數據對電量總體趨勢結果進行展示，說明采用本文方法設計的智能配電管理網頁運行效果佳，是一種有效的配電管理網頁。

2.2 可視化實現性能檢測

采用本文方法設計的智能配電管理網頁同其他使用系統共同工作時，能夠使其他使用系統操作更加便捷，因此多源數據集成、多類型可視化集成、可視化支撐等作用極其重要。實驗對比分析了本文方法以及其他可視化方法進行智能配電管理網頁設計過程中對各項功能的支持、兼容以及難易程度，結果用表1描述。從中能夠看出，相對于其他可視化方法，本文方法支持多種數據源、在線定制以及維護功能，能夠兼容其他可視化技術框架，容易實現系統的無縫集成，具有較高的網頁可視化實現性能，網頁視覺傳達效果好。

2.3 數據挖掘性能檢測

實驗檢測采用本文方法以及傳統ASP.NET方法設計的吃玩搜索網頁的數據挖掘性能，實驗數據用表2描述，這些數據是該網頁的操作數據。可以看出相對于傳統ASP.NET方法，本文方法獲取的數據量更大，說明本文方法設計的吃玩搜索網頁爬行性能更強，能夠挖掘出更多的有效數據。

實驗統計本文方法以及傳統ASP.NET方法所得的全部網站列表，分別用表3和表4描述。能夠看出，本文方法獲取的網站列表更詳細、內容更多，說明本文方法的信息挖掘性能更強。

3 結 論

本文提出基于多源數據集成的視覺傳達網頁設計方法，提高了網頁數據挖掘質量以及網頁的視覺傳達效果，得到了令人滿意的效果。

參考文獻

[1] 王海濤，張志亮，孫煜華，等.Web信息抽取網頁自動瀏覽導航與集成規則研究[J].計算機科學與探索，2014，8（9）：1049?1066.

WANG Haitao， ZHANG Zhiliang， SUN Yuhua， et al. Web information extraction web page automatic navigation and integration rules research [J]. Computer science and exploration， 2014， 8（9）： 1049?1066.

[2] 馮興利，洪丹丹，羅軍鋒，等.自適應網頁設計中的關鍵技術[J].計算機應用，2016，36（z1）：249?251.

FENG Xingli， HONG Dandan， LUO Junfeng， et al. Key technologies in adaptive Web design [J]. Computer applications， 2016， 36（S1）： 249?251.

[3] 王瀟嫻.基于視覺傳達設計領域的互補設計方法研究[J].包裝工程，2015，36（8）：112?115.

WANG Xiaoxian. Based on the design of complementary design in the field of visual communication design [J]. Packaging engineering， 2015， 36（8）： 112?115.

[4] 韋艷麗，趙韓，楊亞榮.基于逆向反演的交互式網頁動畫設計方法研究[J].藝術百家，2016，32（2）：252?253.

WEI Yanli， ZHAO Han， YANG Yarong. Research on interactive web page animation based on reverse inversion research [J]. Art hundred， 2016， 32（2）： 252?253.

[5] 王夢喆，孔繁強.基于大數據的二次元社交網站體驗設計[J].包裝工程，2016，37（8）：36?39.

WANG Mengzhe， KONG Fanqiang. Hole big data two dimensional social networking website design experience based on [J]. Packaging engineering， 2016， 37（8）： 36?39.

[6] 王桂玲，張峰，韓燕波.一種基于數據服務超鏈進行情景數據集成的方法[J].電信科學，2014，30（2）：51?59.

WANG Guiling， ZHANG Feng， HAN Yanbo. A method of scenario data integration based on data service hyperchain [J]. Telecommunications science， 2014， 30（2）： 51?59.

[7] 盧曉勇，陳木生，吳政隆，等.基于免疫克隆特征選擇和欠采樣集成的垃圾網頁檢測[J].計算機應用，2016，36（7）：1899?1903.

LU Xiaoyong， CHEN Musheng， WU Zhenglong， et al. Feature selection and under sampling integration of garbage page detection based on immune clone [J]. Computer applications， 2016， 36（7）： 1899?1903.

[8] 張世鋒.技術推動觀念VR技術引發的視覺傳達新觀念[J].新美術，2016，37（11）：87?91.

ZHANG Shifeng. Technology driven concept VR technology caused by the new concept of visual communication [J]. New art， 2016， 37（11）： 87?91.

[9] 聶俊嵐，陳賀敏，張繼凱，等.基于數據相似度的多維海洋數據交互式集成可視化[J].海洋通報，2015，34（5）：586?591.

NIE Junlan， CHEN Hemin， ZHANG Jikai， et al. Interactive integration visualization of multidimensional ocean data based on data similarity [J]. Oceanographic bulletin， 2015， 34（5）： 586?591.

[10] 潘華，王淑營，孫林夫，等.面向產業鏈協同SaaS平臺多源信息動態集成安全技術研究[J].計算機集成制造系統，2015，21（3）：813?821.

PAN Hua， WANG Shuying， SUN Linfu， et al. For industrial chain collaboration SaaS platform， multi?source information dynamic integration security technology is studied [J]. Computer integrated manufacturing system， 2015， 21（3）： 813?821.