煉鐵廠鐵量網頁數據獲取系統的設計與實現

王春芳+高永兵

【摘要】 本文介紹了基于ASP.NET的煉鐵廠鐵水鐵量網頁數據獲取系統的設計與實現，包括系統的分析、設計與實現。系統應用于企業管理的數據統計分析中，提高了工作效率，增強了數據的及時性、可靠性，效果良好。

【關鍵詞】 網絡爬蟲 數據獲取 統計分析

互聯網是一個龐大的非結構化的數據庫，將數據有效的檢索并組織呈現出來有著巨大的應用前景。檢索網頁所返回的結果并不是用戶心中理想的數據，為了解決這個問題，一個靈活的爬蟲有著無可替代的重要意義[1]。

一、系統分析

煉鐵廠生產鐵水經過計量處過重后運往其他單位，記錄員將過重情況記錄到磅單返回到煉鐵廠，相關人員錄入到管理程序中。存在的問題：及時性差，勞動量大，中間環節多增加數據不一致性的風險；通過開發煉鐵廠鐵量網頁數據獲取系統可以解決此問題。

煉鐵廠經過多年的信息化建設，已建成覆蓋全廠的局域網絡，各車間部門辦公電腦普及。煉鐵廠在用數據庫SQL Server 2005，并且搭建了數據庫群集服務器，每天晚上進行差異備份，每周進行一次完全備份，數據安全性得到保障。此系統在開發過程中幾乎無費用產生，具備開發條件，方案切實可行！

二、系統設計與實現

前臺通過Visual Studio 2008開發環境（編程語言C#），后臺數據庫SQL Server 2005，開發煉鐵廠鐵量網頁數據獲取系統，開發架構C/S模式。通過Visual Studio 2008中WebBrowser控件使用戶在窗體中導航網頁并獲取html源碼；遍歷table元素行、列得到表格數據；插入到數據庫中[2～4]。

經過研究計量處物資計量網鐵水數據查詢網頁，設計表結構如圖1。

三、系統功能

煉鐵廠鐵量網頁數據獲取系統主要完成功能：從系統界面中導航鐵水鐵量查詢網頁、將鐵量相關數據導入到煉鐵廠SQL Server數據庫中；可以從管理程序中查詢原始數據，面向局域網用戶；經過后臺處理與鐵水成份關聯為原始數據、經過統計分析然后生成報表，面向生產統計人員；經過后臺處理，運用到動力費統計、生產查詢等多個管理程序中。操作界面如圖2。

四、結束語

基于ASP.NET的煉鐵廠鐵量網頁數據獲取系統，通過計量處物資計量網鐵水數據查詢頁面，抓取煉鐵廠鐵水鐵量數據到煉鐵SQL Server數據庫中。提高了數據統計分析的靈活性；降低了相關人員的工作量、提高了工作效率；確保了數據的及時性、準確性、安全性；進而達到了節約成本的目的。

參 考 文 獻

[1]黃延煒，劉嘉勇.新浪微博數據獲取技術研究[J].信息安全與通信保密，2013，06：71-73+76.

[2]張紅云.基于頁面分析的主題網絡爬蟲的研究[D].武漢理工大學，2010.

[3]于成龍，于洪波.網絡爬蟲技術研究[J].東莞理工學院學報，2011，03：25-29.

[4]焦賽美.網絡爬蟲技術的研究[J].瓊州學院學報，2011，05：28-30.