自動構建網絡基礎資料文檔

背景及步驟

在網管員日常工作中，修改網絡設備配置是一件很常見的工作，一般工作流程是網管員首先給出網絡配置修改方案，并通過測試環境驗證。

然后提交網絡維護修改申請，將經過測試環境驗證的配置腳本化，使用該腳本進行自動升級，或者雙人上機操作變更。修改完成后，業務相關人員進行業務驗證。

最后由安全監督崗位同事對網絡配置修改的相關方案、申請流程、業務驗證進行事后監督。

雖然以上流程涉及到眾多的手工操作，但是如果能在這一流程中適當使用一些自動化工具或者腳本，能極大地提高工作效率，減少操作失誤的風險。

圖1 使用SHOW MASTER STATUS命令

下面筆者將會使用的一些網絡管理自動化腳本，希望能起到拋磚引玉作用。

本文主要解決從配置文件收集網絡基礎資料的問題。

從以上工作流程可以看到，修改了網絡設備的配置后是需要修改網絡基礎資料的。

比如，已經把某一個端口從vlan 10更改為vlan 20,那么基礎資料中也應該修改為20。

在沒有自動化腳本前，每次都是網管員手工對資料進行修改，這是一件重復而繁雜的工作。

如果能從網絡配置文件和網絡命令結果中自動抽取相關數據構建網絡基礎資料文檔，這會極大地提高資料的準確性，提升網管員的工作效率。

筆者單位有4個下屬單位，每級單位都有若干交換機和路由器，為自動化構建這些設備的基礎資料文檔。

現建立5個文件夾，把本單位和管轄4個單位的設備配置文件保存在對應文件夾中，同時建立一個文件夾來保存若干命令執行的結果。

完成這些基礎性工作后，將設計一個小程序來自動分析這些文件，從而產生基礎資料文檔。

這個自動化分析程序的難點在于分析配置文件和命令執行結果，而這些文件是半結構化文檔，分析半結構化文檔可以使用正則表達式。

但是，完全使用正則表達式要求極高的編程能力，并且分析這些文檔還涉及到狀態機原理。

能很好地把正則表達式和狀態機原理結合起來的工具有TextFSM庫。

這是一個由Google公司提供的開源Python庫，其依賴性小，易于安裝和部署，只需要提供獲取數據的模板文件和設備配置文件內容就可以返回數據。

一般地，輸入的模板文件由正則表達式和狀態機組成，輸出的結果可以轉化為csv格式或者Excel格式。

通過上述分析，自動化程序的工作原理圖如圖1。整個流程分為4部分。

第一部分：

從配置YAML文件中讀取基本目錄、設備配置文件存放目錄、命令執行結果文件存放目錄、模板文件存放目錄。

第二部分：

把設備配置文件讀取到IOSDevice類中，并按單位保存。

第三部分：

調用模板文件，根據提取數據的需要，按單位或者網絡設備來分析設備配置文件，提取相關數據。

第四部分：

根據需要，把提取出來的數據保存到CSV或者Excel文件。

核心程序代碼

初始化函數，初始化時從setting_file中讀取配置文件，配置文件是yaml格式。

然后通過_getAllDevices函 數 把所有的配置文件讀取到IOSDevices對象中，以便供后面提取資料時使用。

Get Result From Temp late File主要功能是獲取單臺設備的數據。

Get All Result From Temp late File主要功能獲取多臺設備的數據。

它們都返回數據的名稱和相關數據，然后通過Write To CSV函數保存數據。

如果需要保存為Excel格式，除了保存為CSV文件，然后在Excel中打開外，還可以使用Xlxs Writer這個庫直接把結果輸出到Excel文件中，其保存腳本參考如下：

編寫模板文件

接下來的重點就是模板文件了，以下的模板是獲取網絡設備端口的相關信息：

編寫模板主要由三部分組成：數據定義、狀態機/規則定義和匹配后的動作。

模板第一部分定義需要提取的數據，以Value關鍵字開頭，后接數據的名稱。最后一部分為“數據類型”，定義格式為：Value[option[,option...]] name regex

模板第二部分以Start開頭，后接各項正則表達式，需要提取的數據需要使用${}修飾，這部分是結合正則表達式和狀態機的關鍵，其定義格式如下：stateName**^**rule **^**rule...。

第三部分是當狀態機匹配后的動作，其定義格式如下 ：^regex [-> action]，多個action可以用'A.B C'，如果沒有action，默認是Next.NoRecord。

結合數據源的文本內容，就可靈活編寫適當的模板來提取相關數據，最后組合以上技術，調用以上類和函數

查看該目錄下，可以查看GM.csv文件，里面保存的就是自動提取出來的數據。