一種基于爬蟲技術的多源配電網運行報表自動生成及管理工具設計與實現

劉同斌 陳曉湖 何曄文

（廣東電網有限責任公司茂名供電局，廣東茂名525000）

1 軟件設計

1.1 現狀

配電網運行報表是系統運行部配網調度日常工作的一項重要內容，但目前報表種類多，提交頻繁，給配網調度造成了很大負擔。當前報表填寫工作都是通過調度員人工查看數據并統計，按照規定的文件格式逐項填寫Word文檔和Excel文檔。盡管這些數據絕大部分在配網技術支持平臺已經存在[1]，但數據龐大，報表類型多，導致調度員仍然需要人工手動去完成這些費時費力的機械性工作，在突發惡劣天氣情況下，配網調度臺需要兩位專職收集線路跳閘情況相關數據，做好統計，每小時發布，這給調度工作人員造成了很大負擔。

1.2 總體目標

1.2.1 實現報表數據的獲取

隨著數據規模的膨脹以及系統數量的增長，數據復用以及系統交互的需求會越來越多，消除信息孤島、異構系統的信息交互成為迫切需要解決但又難以解決的問題，當前主要可通過Web服務方式實現。本設計采用運行于安全四區的爬蟲技術以及中間數據導入技術，不依賴于系統廠家即可實現異構系統的數據整合，直接獲取報表數據，作為消除信息孤島、實現數據復用和共享的補充模式。

1.2.2 提供報表在線編輯功能

自動讀取的數據，可能存在信息不夠全面或顯示方式不滿足要求等情況，這就需要對讀取數據進行編輯加工。本設計提供了方便的定制工具及編輯組件，編輯組件與展示組件為一體，為用戶提供了良好的體驗和操作的便捷性。

1.3 軟件架構

利用后臺JAVA/JSoup技術以及前臺JS/Ajax技術兩個渠道來分析抓取配電網運行管理技術支持平臺的網頁數據；基于JavaEE平臺（包括JAVA容器Apache/Tomcat服務器）以及中間件Spring+IBatis+DWR構建軟件架構；采用的Spring是一個輕量級的控制反轉（IoC）和面向切面（AOP）的JavaBean容器框架；采用IBatis對象關系映射框架，進行輕量級的對象封裝，摒除了大部分的JDBC代碼、手工設置參數和結果集重獲，使得程序的持久化過程變得可以重用、可配置、易于編寫和管理，而且也易于調試；采用的DWR是RPC技術，通過反射等技術將后臺的JAVA服務類直接暴露給前臺JavaScript，使得前臺JS代碼調用后臺的JAVA方法就如同直接調用JS方法一樣，直截了當、簡單方便。

基于爬蟲技術的多源配電網運行報表自動生成及管理工具軟件架構如圖1所示。

圖1 軟件架構

2 軟件功能

2.1 數據爬取

利用后臺JAVA/JSoup技術以及前臺JS/Ajax技術兩個渠道來分析抓取配電網運行管理技術支持平臺的網頁數據；根據各種配網調度報表，確定需要統計的數據來源；利用規則庫來定位各數據的保存位置，以便準確抓取，規則庫維護工具提供編輯功能，以跟蹤配電網運行管理技術支持平臺頁面的變化。網絡爬蟲常見的技術障礙是跨越問題（網頁資源的不同源問題），采用Nginx等反向代理框架，將配電網運行管理技術支持平臺的Web資源URL配置到Nginx服務器上，從而有效規避Web瀏覽器跨域安全限制問題。數據爬蟲處理流程如圖2所示。

圖2 數據爬蟲處理流程

2.2 中間數據導入

通過提供基于POI/JACOB技術的Office導入工具，將從有關平臺渠道獲取（或人工編輯）的數據文件，導入到系統里來。

2.3 數據規則定義

通過ETL與數據導入適配器，運用ETL技術，可處理不同類型的數據源，并通過動態語言定義規則庫按統一的格式轉換處理，可用來描述中間數據文件的元數據格式。

2.4 數據庫訪問視圖

通用數據庫表設計及數據庫視圖訪問，設計合乎規范要求的配電網數據庫表，作為其他系統應用的基礎。設計數據庫訪問視圖，提供緊密層應用的數據訪問途徑。

2.5 FR報表定制工具應用

用FR等有關報表定制工具，定制與上報報表一樣的Web界面，以提供在線瀏覽及編輯功能，提供所見即所得的用戶體驗，同時提供辦公文件導出功能，以滿足有關提交文檔的需要。提供單記錄/多記錄數據輸出定義功能，將自動獲取或導入的數據輸出顯示在表格指定的位置。

2.6 Web方式的在線編輯

提供基于Web方式的在線編輯[2]，通過提供在線編輯組件，使軟件可以對通報進行在線修改編輯，包括智能輔助表單組件、單記錄/多記錄編輯組件，提供良好的可用性及用戶體驗。同時采用itextpdf等JAVA框架，提供導出Word、Excel、PDF文檔功能。

2.7 報表的數據可視化

采用Echart等圖表技術，在配網運行報表里嵌入儀表盤組件，用曲線柱圖等統計分析圖表，可視化展示報表/運行通報數據。

2.8 自定義統計功能

用戶自定義的自動統計功能，提供自動統計計算公式定制功能，通過動態語言引擎，賦予用戶自定義需要統計的表單項以及統計公式。通過自動統計功能，減少上報報表計算工作量；通過計算公式自定義功能，實現統計工作的靈活性、擴展性。

3 結語

本軟件通過網絡爬蟲抓取配電網運行管理技術支持平臺的網頁數據，利用規則庫來描述定位各數據的保存位置；利用可視化儀表盤，將配電網報表數據直觀形象地展示出來；提供基于Web方式的在線編輯，減少報表統計出錯；提供自動統計計算公式定制功能，減少報表數據計算工作量；提供便捷的查詢功能，實現歷史報表的在線瀏覽及歷史檢索功能；有效減少調度員工作量，實現一鍵查詢，自動生成報表，零出錯，在特殊天氣情況下，能有效減少配網調度搶修復電壓力。