基于開源系統的綜合業務數據采集系統的開發研究

周學明+顧嵐嵐

【摘要】 在光網綜合業務環境下進行故障定位需要采用成本低廉、應用方便、效率高的數據采集終端進行數據采集。OpenWrt是一個高度模塊化、高度自動化的嵌入式Linux系統，擁有強大的網絡組件。基于OpenWrt的終端設備由于系統開放、硬件適配性好可以方便滿足各種網絡業務需求。本文介紹了利用OpenWrt進行定制開發一種數據采集系統的實例。詳細說明了開發方案、開發工具、開發步驟以及調試過程。

【關鍵詞】 OpenWrt 數據采集 系統開發 開源系統 硬件終端

一、引言

隨著光網業務的發展，在承載網以及接入網上有多種業務同時承載，包括上網業務、IPTV業務、光網語音業務等。在綜合承載狀態下的故障處理對維護人員是一個很大的挑戰。以IPTV業務而言，它的承載方式一般為IPTV終端接入在家庭網關后。真個二層接入到承載網都有可能出現故障。

常見的故障現象，包括終端無法獲取IP地址、認證失敗、直播信號卡頓、視頻馬賽克、點播黑屏等等。從已有故障處理經驗看，IPTV-SR的處理板卡、交換機接口、交換機板卡、OLT的上聯板卡、OLT的轉發處理引擎、家庭網關設備等都可能引起各種故障現象。故障原因復雜多樣、故障點位多，并且很多時候故障現象并非持續不斷，而是在某些時間段隨機出現。這使得處理人員比較難以快速準確的確定故障點進而有效處置故障。

當面對復雜故障現象進行疑難故障處理時，往往需要使用專用的測試儀表在不同的監測點進行長時間監測來進行故障分析。而相應的這種處理方式的成本非常昂貴。為此我們設想使用創新的處理模式進行故障處理。

利用開源系統以及免費資源進行自主開發，既能深度定制滿足業務需求，又能大大降低整個系統的成本。本文詳細介紹了利用OpenWrt [1]定制開發數據采集終端的技術原理、實現方法與測試過程。

二、 開發目標

為了在復雜的網絡環境中定位故障點位，我們需要在不同測試點采集全部數據進行比對，從而確認問題發生的位置。對于整個故障處理系統而言首要解決的問題是業務數據的采集問題。

當發生故障時，通過初步的處理判斷后，在需要進行檢測的測試點，用定制的測試終端串接或者旁路方式接入進去。采集終端將采集到的數據完整的回傳到云存儲平臺。然后通過分析服務器比對不同的數據可以確認哪個點位出現問題。

該處理模式主要的優點：

2.1成本低

采集終端選擇具有GE/FE的小型路由器進行自主開發完成，相比購買測試儀表價格低廉很多。由于IPTV的故障現象很多是時間上偶發的，為了處理故障需要做24小時的抓包分析。IPTV現在的高清頻道碼流為8Mbps，標清為2.5Mbps和1.6Mbps，一共三種碼流。假設采集一路高清頻道共24小時，則需要的存儲空間為1M*60*60*24=84G字節。這種24小時的抓包，需要高性能的儀表，普通的PC機容易出現存儲文件錯誤等導致無法后續分析。如果采用IPTV儀表在多個測試點進行實時分析，則相應的儀表費用更貴。該創新測試方案利用云端的存儲能力，保證數據可以長時間持續抓取。

2.2可擴展性高

當遠端的分析服務器以及云存儲服務器具備能力后，只需采購一定的測試終端即能方便的全網部署進行測試。同時測試終端能抓取全業務數據，可以針對光網的全業務故障進行分析診斷。方便維護人員對于上網、IPTV、VOIP等各類型業務的疑難問題進行深入分析。

2.3部署方便

只需要外線人員聯系用戶后將測試終端串接到用戶網絡內即可。無線現場人員進行復雜的配置部署，也不用修改用戶終端或者網絡設備。對于用戶的業務應用完全透明，可以在比較好的用戶感知狀態下進行故障診斷分析。

針對測試采集終端，需要完成的功能包括：

1.串接在用戶網絡內，不影響用戶業務使用；

2.準確采集用戶業務數據；

3.將數據回傳到遠端云存儲平臺。

三、開發方案說明

3.1總體方案說明

采集終端由于要求串接在業務環境中不能影響用戶業務，因此兩個串接的接口必須工作在第二層以下，盡量不修改以太幀頭信息保持信息傳送的透明可靠。數據采集通過端口鏡像方式進行并將數據文件保存為pcap格式存放在本地存儲卡中。采集終端主要功能是數據采集，采集的數據是為了故障判斷與處理，因此要求完整的將用戶業務的所有交互數據能夠保存下來。采用端口鏡像可以完整的保存所有業務數據內容，方便后續的進一步處理分析。

采集到的數據可以通過實時的帶內或者帶外方式回傳到遠端的云存儲系統中。考慮到實時采集到的數據量存在較大的帶寬差異性，VOIP在64Kbps以下而高清IPTV則要達到8Mbps左右，高速上網業務可能達到50Mbps。如果直接采用實時回傳，帶內方式會影響到用戶正常的業務。因此采用本地存儲器做緩存，在不影響用戶業務情況下根據上聯帶寬做準實時的回傳。當不具備回傳條件的情形下可以全部存儲后進行離線回傳。遠端云存儲服務器前置一臺FTP服務器用來專門接受數據，并在內部網絡中部署防火墻保障用戶業務、數據系統的安全性。

3.2采集終端硬件平臺

要求具有兩個以上的GE/FA自適應以太電口的路由器，同時具有一個USB接口。通過對比分析最后選定了如下硬件平臺，Atheros AR7161[2]進行開發。

該硬件參數信息為： CPU Atheros AR7161@680MHz；Ram 128MiB；Flash 32MiB；Network 4 x GE；USB 支持；Serial 支持；JTag 支持。

該硬件板卡具備很好的功能擴展性，滿足一般路由器的功能要求。同時其所具備的芯片處理能力可以完成特定的任務。

該硬件板卡的主要功能模塊說明如下

？ 集成無線模塊

？ 處理器內核是32位的 MIPS 24K，現在主流的路由器是采用MIPS構架的處理器。

？ 兩個10/100/1000自適應以太網口滿足串接方式的接入環境

？ 高速的通用異步收發傳輸器和總線控制器

？ DDR和串行ROM接口

？ 32位的頻率為33/66 MHz的 PCI 2.3接口

？ 兩個集成的USB 2.0，方便后續進行擴展做本地存儲

？ PCM 接口可以支持VOIP的接入

？ I2S 接口可以支持音頻信號解碼傳遞

3.3 開發環境

PC機一臺，CPU：i5，硬盤：256G，操作系統：win7

Vmware：虛擬機軟件，允許一臺真實的計算機同時運行數個操作系統。

Suse linux：用于開發測試的linux版本，能方便進行調試編譯操作。

OpenWrt：OpenWrt是一個高度模塊化、高度自動化的嵌入式Linux系統，擁有強大的網絡組件和擴展性，常常被用于工控設備、電話、小型機器人、智能家居、路由器以及VOIP設備中。 同時，它還提供了100多個已編譯好的軟件，而且數量還在不斷增加，而 OpenWrt SDK 更簡化了開發軟件的工序。

登錄工具：SecureCRT，支持telnet、SSH等登錄方式從而可以方便的連接調試終端。

編輯工具：vi linux的一種標準編輯工具，用來編寫代碼和編輯配置文件。

首先選擇合適的OpenWrt版本進行編譯，然后將image文件燒入硬件系統中。并在硬件系統上采用linux的shell編程完成相應的定制功能。

3.4 開發實現

3.4.1 實現二層透傳

修改openwrt網絡配置，在網絡配置文件里，找到對應的接口eth0 eth1，將網絡配置為橋接模式，從而實現eth0 和eth1的二層透傳。二層透傳方式下路由器的兩個接口實現的是兩層轉發功能，也就是IPTV機頂盒所需要的上下行報文不會修改兩層以太幀頭，而是通過目的MAC地址進行轉發操作。OpenWrt的網絡配置文件是/etc/config/network，它負責交換芯片VLAN、網絡接口和路由的配置。interface類型的節聲明了邏輯網絡接口，可以為這些接口指定IP地址、別名、物理網絡接口名稱、路由規則及防火墻規則。

配置案例如下：

config ‘interface ‘wan

option ‘proto ‘dhcp

option ‘ifname ‘eth0.1

本實例中的橋接配置：

config interface ‘lan

option ifname ‘eth0 eth1

option type ‘bridge

option proto ‘dhcp

3.4.2 實現接口抓包

建立抓包進程，用于對透傳數據包的抓取。進程通過Tcpdump對橋接口進行抓包，將數據包保存在掛載的外接儲存中，避免在傳輸速率造成的數據包溢出。固定設置eth0為下聯到IPTV機頂盒的接口，eht1為上聯到家庭網關的接口。抓包點位設置為eth0，這樣不會造成沖突和干擾。抓取的數據報文格式為pacp格式，可以用wireshark等軟件打開分析處理。考慮到后續數據傳送的可靠性以及故障分析的效率，對于抓取的報文按照指定大小進行本地緩存。該大小參數可調整，在進行數據分析的時候也可以利用軟件將多個文件進行合并分析。

3.4.3 實現FTP上傳服務器

建立上傳進程，用于將抓取的數據包上傳至遠端服務器。進程與遠端服務器建立連接，并通過cmdftp 周期性的將數據包上傳至遠端FTP服務器中。需要利用進程做周期性的檢測，周期參數也是可調整的。

3.4.4 實現按鍵以及LED提示

修改硬件與按鈕以及LED燈的對應配置文件，重新定義每個按鈕盒LED燈的調用接口。在抓包與上傳進程中，調用按鈕接口，實現運行和停止功能。以及提供LED燈的顏色提示用戶，運行是否正常。

3.5 代碼說明

代碼主要由四部分組成：

？ 初始化程序（init）

？ 主程序（proc）

？ 上傳程序（ftp）

？ 開關程序（switch）

3.5.1初始化程序init

此程序將系統環境變量初始化，以配合主程序proc和ftp自動建立連接。

初始化步驟：

USB自動掛載

FTP自動連接

LED初始化

BUTTON初始化

3.5.2主程序 proc

程序流程：

檢測當前環境是否正常

啟動tcpdump進程，抓取數據包保存于掛載文件夾

啟動tcp進程，將數據包上傳至遠端服務器

3.5.3上傳程序ftp

程序流程：

獲取當前數據包序號

如果該文件存在，上傳該文件

判斷上傳是否成功

如果不成功，則定時重傳。

如果成功，則刪除改文件。獲取下一個數據包

循環此過程

3.5.4開關程序swith

建立按鈕和主程序proc開關的映射關系，通過判斷進程是否存在，實現運行和停止設備。

四、測試與分析

將采集探頭部署在實際的現網環境下進行測試，驗證了采集的數據是否準確并完整的傳送到遠端的云存儲服務器端。在實際的故障案例中也做了初步的使用與驗證，確認其效用以及后續的進一步改進方向。

4.1測試方式

現在的測試主要是串在IPTV機頂盒與家庭網關之間。利用家庭網關本身的上網通道完成回傳報文。

4.2功能測試

主要分為基本功能測試以及業務測試。包括按鈕功能測試，確保通過按鍵可以啟動進程使能系統；穩定性測試，24小時串接保證回傳穩定可靠；采集能力測試，確認20Mbps的流量可以準確采集到。業務測試確認了采集過程中業務正常運行。整個測試過程中對于不同的業務做了數據采集，確認不影響用戶業務，并能準確采集到數據。并在實際故障處理中做了可行性的驗證，確認有助于故障處理與定位，能有效降低區局外線上門的工作量與難度。

五、總結

本文通過提出了一種新型的故障診斷系統，并基于開源系統OpenWrt開發了相應的智能采集終端。結合云計算系統提出了更加低成本、高可擴展性的綜合業務故障診斷系統。后續的研究重點集中在分析處理系統，也將充分利用開源平臺進行相關研究，并將研究成果推廣到區局等后端運維部門中。該系統的廣泛使用必然能提高整個維護水平以及效率，還能降低儀表采購成本。

參 考 文 獻

[1] OpenWrt 開發教程 https：//dev.openwrt.org.cn/#

[2] AR7161 datasheet http：//www.qca.qualcomm.com/media/product/product_68_file1.pdf