基于 ASP.NET 網絡爬蟲技術的公路貨運價格數據采集方法研究

宋小滿，黃 鑫，王懷相

(1.中國鐵道科學研究院集團有限公司 運輸及經濟研究所，北京 100081；2.中國鐵路總公司 貨運部，北京 100844)

近年來，隨著鐵路貨運價格市場化步伐的加快，鐵路運輸企業非常重視對競爭對手——公路貨運價格數據的采集與分析，而通過人工去獲取數據需要花費大量的人力、財力、時間，容易出現數據采集成本高、應用不及時等問題，難以應對快速變化的市場環境。隨著互聯網的快速發展，以及企業網站的逐步建立和完善，網絡上大量與公路貨運價格有關的信息，可以運用科學的計算機技術去實現信息的采集，以有效地節省人力、物力，提高數據的采集效率，降低數據采集成本。同時，鐵路價格管理人員也可以將更多的精力用于分析數據、利用數據進行決策，從而提高企業管理人員的管理決策水平[1]。

1 公路貨運價格信息來源

目前，政府機構、行業協會、公路貨運企業在網絡上公布了大量的公路貨運價格信息[2]，主要的公路貨運價格信息如下。

（1）政府機構的網絡公開信息。國家發展和改革委員會和交通運輸部分別在其官網上公布了系列的公路貨運價格信息。其中，國家發展和改革委員會在“36個大中城市服務收費平均價格表”[3]中公布了“省際、定期定線、整車”和“省內、定區不定線、零擔”的公路貨運價格；交通運輸部在“全國道路貨運價格與成本監測信息”[4]中公布了公路普貨整車、集裝箱運價指數。

（2）中國采購與物流聯合會的網絡公開信息。公開信息顯示，中國采購與物流聯合會從2013年1月開始每周發布全國主要節點城市間的9.6 m整車、13.5 m整車、17.5 m整車、零擔重貨、零擔輕貨的公路貨運價格數據[5]。主要節點城市名稱如表1所示。

表1?主要節點城市名稱Tab.1 Name of main city

（3）內蒙古煤炭交易市場的公開信息。公開信息顯示，內蒙古煤炭交易市場從2014年1月每周發布煤炭短途、中途、長途“點到點”的公路貨運價格[6]。短途運輸主要是監測鄂爾多斯地區礦區到火車站之間的公路運輸價格；中途運輸主要是礦區至省內電廠、鋁廠等煤炭消耗地的運輸價格；長途運輸主要是通過公路運往其他省市的運輸價格。

（4）其他公路貨運價格信息。德邦物流在其官網上公布了快遞、零擔不同運輸產品的報價，在阿里巴巴物流服務平臺上可以查詢主要線路不同物流企業貨運(大件)、快遞(小件)、整車的公路貨運報價，也可以在其他物流企業如佳吉快運的企業網站上查詢不同起訖點不同產品的公路貨運報價。

2 公路貨運價格網絡數據采集的實現

2.1 網絡數據的采集技術

網絡數據的采集技術主要有網絡爬蟲(Web Spider)和基于API二次開發包的方式[7]。網絡爬蟲技術是一個實現自動提取網頁信息的程序，一般的實現過程為：從一個初始的URL集出發，將這些URL全部放入到一個有序的待采集隊列里。而采集器從這個隊列里按順序取出URL，通過Web上的協議，獲取URL所指向的頁面，然后從這些已獲取的頁面中提取出新的URL，并將其繼續放入到待采集隊列里，然后重復上面的過程，直到采集器根據自己的策略停止采集[8]。基于API二次開發包的方式，主要包括目前主流的網絡地圖服務商，如百度、谷歌、高德等。通過調用地圖服務商提供的二次開發API相關函數，獲取其數據，并進行保存[9]。

2.2 網絡數據采集需求及實現流程

（1）采集需求。在公開的公路貨運價格信息中，中國采購與物流聯合會公開的信息量大，公開的信息較多。為此，通過開發軟件對中國采購與物流聯合會公開公路運價信息，包括起點、訖點、運輸方式(9.6 m整車、13.5 m整車、17.5 m整車、零擔重貨、零擔輕貨)、發布日期、運輸價格進行采集，存儲到本地文件中，并對采集的數據進行格式轉換和圖表展示。

（2）實現流程。需要實現的功能包括：數據采集、格式轉換和圖表展示。通過開發軟件實現上述功能，網絡數據采集的基本流程如圖1所示。首先，通過開發的程序對頁面中的指定數據進行采集；其次，將采集的數據存到數據中心；最后，利用相關控件對采集的數據進行格式轉換和圖表展示。

為實現上述采集需求，采用ASP.NET Framework 4.0作為開發環境，使用visual C#作為程序語言進行軟件開發。同時，為了實現數據轉換、圖表展示的功能，還需要利用相關控件，包括運用第三方控件NPOI組件進行格式轉換，分別運用DataGridView控件、Chart控件進行表格展示和圖形展示。

2.3 主要模塊和關鍵技術

軟件采用模塊化的設計結構，根據各模塊完成的任務將其劃分為參數設置模塊、參數過濾模塊、數據采集模塊、數據分析模塊、數據存儲模塊、數據導出模塊和數據展示模塊，其中，前5個模塊主要實現數據采集、存儲的功能。網絡數據采集主要功能模塊及關鍵技術如圖2所示。

圖1?網絡數據采集的基本流程Fig.1 Basic process of network data acquisition

圖2?網絡數據采集主要功能模塊及關鍵技術Fig.2 Main function modules and key technologies of network data acquisition

2.4 主要功能模塊的任務和實現

（1）參數設置模塊。參數設置模塊主要是收集中國采購與物流聯合會發布的公路運價有關信息，包括城市名稱、運輸方式信息，運用程序算法生成運輸路線中的起點和訖點，將收集的運輸方式信息和生成的運輸路線信息存儲到指定的數據表中。

（2）參數過濾模塊。參數過濾模塊是將待抓取的運輸路線參數存放在隊列中，根據條件讀取數據庫中未采集的運輸路線信息，并存放到運輸路線參數隊列，再根據需要讀取參數隊列中的運輸路線信息，數據采集對運輸路線信息使用完成后會及時彈出該條運輸路線信息出列并同時更新數據庫中的該條運輸路線信息；然后會從數據庫中獲取新的運輸路線參數，繼續放入運輸路線隊列；運輸路線參數隊列中初始存放指定的運輸路線參數。參數過濾模塊在讀取運輸路線信息的同時也讀取了運輸方式并存放到其他隊列中。參數過濾模塊是軟件運行中一項關鍵的步驟，由于進行網頁抓取主要消耗時間的地方在于網絡交互中，因而需要采取一定的手段避免重復的網絡交互。

（3）數據采集模塊。數據采集采用多線程定時器的方式實現頁面數據的自動采集工作。具體實現為：當啟動數據采集模塊的同時啟動多線程定時器，軟件根據需求啟動WebBrowser控件進行指定的頁面瀏覽，多線程定時器根據用戶設置的參數向頁面提交參數過濾模塊隊列中的運輸路線和運輸方式，用于啟動系統，當系統正常運行后讀取存放在城市運輸路線參數隊列中的參數和運輸方式隊列中的參數，直到所有的運輸路線隊列和運輸方式隊列為空時程序終止。軟件對同一條運輸路線的不同運輸方式分別采集。軟件開發過程中，為提高頁面采集效率，根據運輸路線參數的相關度、權重等特點采取排序算法，對待采集頁面中的運輸路線參數進行最優處理。

（4）數據分析模塊。數據分析模塊是對數據采集模塊采集到的大量數據進行分析，提取有用信息后，對數據加以分析的過程。該模塊采用ASP.NET框架中正則表達式分析類庫進行數據分析和挖掘，再利用C#正則表達式類庫中的Match類和MatchCollection類進行匹配。

（5）數據存儲模塊。數據存儲模塊是將數據采集和分析完成的數據儲存到本地JSON文件格式的過程，在文件存儲的過程中使用了File類方法。

（6）數據導出模塊。數據導出模塊將存儲在本地的數據通過相關算法把數據導出成Excel文件，存儲到本地Excel文件中。其中需要將本地的JSON格式文件讀取到服務器內存中并進行數據處理，將JSON數據轉換成DataTable數據格式，然后使用NOPI類庫將數據導出。

（7）數據展示模塊。數據展示模塊是通過表格、圖表的方式進行數據展示。表格展示使用了DataGridView 控件，通過程序算法將DataTable數據源進行數據處理，達到指定的表現形式。圖表展示方式使用Chart控件。

通過開發軟件實現了對指定數據的采集、格式轉換、圖表展示的功能，最終形成的數據表格展示界面和數據圖形展示界面分別如圖3、圖4所示。

3 結束語

隨著互聯網的逐步發展以及公路貨運規模的不斷擴大，網絡中的公路貨運價格信息在逐步增加，運用傳統的數據采集方法難以滿足日常管理中快速響應的需要，而網絡采集技術可以很好地克服傳統采集方法的缺點，快速獲取批量數據，提高效率。通過運用ASP.NET技術可以實現對指定網頁的指定數據進行抓取，并根據網站新發布的數據進行更新。軟件擁有很好的實用性、較好的穩定性和較優的性能，可以為后續的分析研究提供基礎數據。在使用過程中，收集了160萬余條的公路貨運價格信息數據，表明該技術能很好地滿足數據采集工作。運用的采集方法也可運用于其他網站數據的采集，為其他數據的批量獲取提供參考。

圖3?數據表格展示界面Fig.3 Data form display interface

圖4?數據圖形展示界面Fig.4 Data graphic display interface