王春芳+高永兵
【摘要】 本文介紹了基于ASP.NET的煉鐵廠鐵水鐵量網頁數據獲取系統的設計與實現,包括系統的分析、設計與實現。系統應用于企業管理的數據統計分析中,提高了工作效率,增強了數據的及時性、可靠性,效果良好。
【關鍵詞】 網絡爬蟲 數據獲取 統計分析
互聯網是一個龐大的非結構化的數據庫,將數據有效的檢索并組織呈現出來有著巨大的應用前景。檢索網頁所返回的結果并不是用戶心中理想的數據,為了解決這個問題,一個靈活的爬蟲有著無可替代的重要意義[1]。
一、系統分析
煉鐵廠生產鐵水經過計量處過重后運往其他單位,記錄員將過重情況記錄到磅單返回到煉鐵廠,相關人員錄入到管理程序中。存在的問題:及時性差,勞動量大,中間環節多增加數據不一致性的風險;通過開發煉鐵廠鐵量網頁數據獲取系統可以解決此問題。
煉鐵廠經過多年的信息化建設,已建成覆蓋全廠的局域網絡,各車間部門辦公電腦普及。煉鐵廠在用數據庫SQL Server 2005,并且搭建了數據庫群集服務器,每天晚上進行差異備份,每周進行一次完全備份,數據安全性得到保障。此系統在開發過程中幾乎無費用產生,具備開發條件,方案切實可行!
二、系統設計與實現
前臺通過Visual Studio 2008開發環境(編程語言C#),后臺數據庫SQL Server 2005,開發煉鐵廠鐵量網頁數據獲取系統,開發架構C/S模式。通過Visual Studio 2008中WebBrowser控件使用戶在窗體中導航網頁并獲取html源碼;遍歷table元素行、列得到表格數據;插入到數據庫中[2~4]。
經過研究計量處物資計量網鐵水數據查詢網頁,設計表結構如圖1。
三、系統功能
煉鐵廠鐵量網頁數據獲取系統主要完成功能:從系統界面中導航鐵水鐵量查詢網頁、將鐵量相關數據導入到煉鐵廠SQL Server數據庫中;可以從管理程序中查詢原始數據,面向局域網用戶;經過后臺處理與鐵水成份關聯為原始數據、經過統計分析然后生成報表,面向生產統計人員;經過后臺處理,運用到動力費統計、生產查詢等多個管理程序中。操作界面如圖2。
四、結束語
基于ASP.NET的煉鐵廠鐵量網頁數據獲取系統,通過計量處物資計量網鐵水數據查詢頁面,抓取煉鐵廠鐵水鐵量數據到煉鐵SQL Server數據庫中。提高了數據統計分析的靈活性;降低了相關人員的工作量、提高了工作效率;確保了數據的及時性、準確性、安全性;進而達到了節約成本的目的。
參 考 文 獻
[1]黃延煒,劉嘉勇.新浪微博數據獲取技術研究[J].信息安全與通信保密,2013,06:71-73+76.
[2]張紅云.基于頁面分析的主題網絡爬蟲的研究[D].武漢理工大學,2010.
[3]于成龍,于洪波.網絡爬蟲技術研究[J].東莞理工學院學報,2011,03:25-29.
[4]焦賽美.網絡爬蟲技術的研究[J].瓊州學院學報,2011,05:28-30.