終端智能測試方法論

［劉光］

1 中國寬帶互聯網業務發展現狀

近年來，我國信息通信行業主管部門堅決貫徹黨中央、國務院關于網絡“提速降費”的決策部署，會同相關企業，全力推進寬帶網絡基礎設施建設，推動我國寬帶發展水平取得了“跨越式”發展。

我國寬帶發展聯盟發布的《中國寬帶普及狀況報告》顯示，全國所有地級及以上城市均建成了光纖網絡全覆蓋的“光網城市”，部分城市加速推進千兆接入網絡的建設。隨著電信普遍服務試點工作的不斷推進，全國98%行政村通光纖的目標也將很快實現。截至2020 年第四季度末，我國光纖寬帶用戶在固定寬帶用戶中占比達到98%以上，已超越多年來寬帶發展世界領先的日韓等國，穩居全球第一，平均用戶接入帶寬早突破100 M，并且呈現逐年快速提升之勢，1 000 M 光寬進入家庭已成趨勢，光貓、路由器等終端設備的性能和質量日漸成為制約高帶寬高質量光寬業務發展的瓶頸。

2 光貓終端測試現狀及需求分析

中國電信是中國寬帶業務發展最早的運營商，擁有最多種類、最多廠商、最多型號、最多版本的OLT 設備及光貓終端設備，以中國電信廣東分公司為例，OLT 就包括華為、中興、烽火、貝爾等4 個設備廠商的7 種EPONGPON 設備；光貓終端設備種類則更多，僅廠家就包括華為、中興、烽火、四川天邑等12 個，型號數量200 個以上，版本數量在800 個以上。

每年都會有新的設備和版本入網，用以滿足用戶更高帶寬、更加多樣的需求，而在中國電信業務如此高速發展的今天，對新的終端和版本的測試目前還是采取傳統的人工測試方式，在有限的人力資源情況下，為終端質量把控帶來了巨大的問題和挑戰：

2.1 新終端設備入網，無法進行長時間的性能及穩定性測試

問題舉例：

（1）某型號光貓，在入網測試時，偶爾出現Ipv6 業務不可用，設備重啟后便可恢復。由于是概率性發生，且發生時間不固定，人工測試很難發現。

（2）某型號光貓，在入網測試幾天后，發生流氓貓現象。該問題發生在對光貓進行長時間、壓力測試情況下，引起光貓配置丟失導致。人工測試很難發現。

2.2 新終端設備入網，無法遍歷上聯所有的OLT 設備進行兼容性測試，需要投入太多的人力資源，帶來潛在的問題

問題舉例：

（1）某型號光貓在華為OLT 下能正常注冊，在烽火OLT 下注冊失敗；

（2）某型號光貓，相同終端在不同的OLT 下測速不同，其中在某廠家OLT 下測速不達標。

2.3 新版本入網測試時，無法進行多次升降級版本驗證

問題舉例：

（1）某型號光貓新版本入網測試時，測試一次后沒有發現異常。再測試一次，則會出現吊死的情況。

（2）某型號光貓新版本入網測試時，升降級測試幾次之后，出現與平臺無法通訊的情況。

2.4 OLT 版本升級后，無法進行所有光貓的兼容驗證

問題舉例：

（1）某OLT 版本升級后，導致下聯的某廠家型號的光貓注冊失敗。

2.5 現網發生的概率性的問題，無法進行復現驗證

問題舉例：

（1）某特定型號OLT+某特定型號光貓+某特定型號機頂盒在長時間運行過程中，機頂盒出現卡頓花屏現象。

（2）某型號光貓，在長時間使用過程中，會發生寬帶穩定性波動較大情況。

我們暫且不再一一列舉潛在的問題和挑戰，總的來說，通過傳統的人工測試，無論在新終端/新版本入網選型、到貨檢測、現網問題復現等環節，都會帶來測試效率低、占用大量人力與時間，有些概率性或穩定性問題無法測試復現、定位等問題。急需尋找一種測試方法，來規避這些可能的問題。

3 光貓終端自動化測試實施方案

3.1 總體方案

基于上述終端測試現狀的分析，考慮調整現有的測試策略，優化現有的測試流程，結合運營商現有的測試能力，引入更高效的測試手段和工具。

（1）測試策略調整：采取人工測試+自動化測試結合的方式，來更好的把控終端質量，提升測試的效率。其中：人工測試主要關注配件、外觀、常規的配合和功能測試等，自動化測試主要關注性能、長時間穩定性、并發穩定性等。

（2）測試流程優化：在新終端/新版本入網測試前，廠商需要按照運營商的標準，提供完整的自測報告，以保證終端自身的功能、性能、穩定性，而運營商則把測試重點放在終端和本省網絡結合之后的性能、穩定性上。

（3）引入高效的測試工具和手段：如上述（1）中所述，需要引入自動化手段和工具，基于現網100%網絡接入環境，開發覆蓋各類實際業務場景的自動化測試任務流，100%模擬以往需大量人手操作執行的各類測試驗證工作，提升測試效率，釋放人力投入更具價值的生產創新工作，下面重點介紹該自動化測試方案。

3.2 技術原理

通過自動化的手段模擬人工進行光貓的功能、性能、穩定性以及光貓和OLT 的兼容性測試。

系統使用python 3 作為腳本程序主體語言，利用Selenium 和Webdriver 技術驅動網頁程序，實現對光貓注冊管理、寬帶測速、QoE 探針、ITMS 網管系統、天翼高清播放、語音電話撥測的自動化操作，并通過自動化接口對接ITMS、終端探針、天翼高清SQM 等業務質量管理系統，實現測試結果的全自動獲取，自動生成報告，解決以往人工測試需手工記錄、易錯漏與耗時長等問題。

3.3 實施方案

3.3.1 終端自動化測試系統架構

如圖1，系統按照以下方案進行構建：

圖1 終端自動化測試系統架構

該方案中包括四大部分：

（1）測試設備：指的是3.3.1 章節中提到的被測設備，通過網線、電話線和測試系統相連接。

（2）測試網絡：測試用的OLT 及其上聯網絡設備。其中OLT 覆蓋了廣東省所有的OLT 型號，包括華為、中興、烽火、貝爾的GPON 和EPON。

（3）測試系統：這是該測試方法論用到的核心測試工具平臺，包括測試管理平臺（WEB 服務器）、測試執行服務器、腳本編寫環境、語音模擬服務器、交換機等。

（4）網管系統：指廣東省的ITMS 系統、SQM 系統、QoE 系統等。該測試方法論在設計之初就考慮到，能更好的結合現有的系統能力。

3.3.2 終端自動化測試系統模塊

測試系統主要包括以下幾部分：

管理服務器：提供WEB 管理入口，實現光貓管理、測試策略管理、測試任務管理、測試報告管理、系統管理等，管理服務器為該系統的核心管理模塊，測試工程師的絕大部分工作都是在該WEB 界面完成。

執行服務器：通過交換機，上聯管理服務器，下聯光貓設備，接收管理服務器下發的各類測試任務，執行測試腳本。

腳本編寫環境：該系統封裝了常用的測試接口，采用Python 腳本實現了所有業務測試的腳本，簡單易學。

語音測試服務器：該設備為輔助測試設備，配合光貓的語音業務測試。

3.3.3 終端部署

由于終端種類繁多，采取以下方案（如圖2 所示）進行部署：

圖2 終端部署方案

按照這種方案部署有以下優勢：

（1）集中管理：通過對光貓（或機頂盒）、貓架位置進行一對一編號，可以保證在有限的空間里，集中放置更多的終端設備；

（2）易于散熱：將每臺光貓分層、隔位放置，保證設備在長時間運行過程中可以充分的散熱，不會相互影響；

（3）方便測試：整個測試方案中實現了不同OLT 和光貓的自動化切換，通過分區域、分層部署，更加方便管理和測試。

3.3.4 應用場景

（1）功能自動化測試

重點實現以下主要測試用例功能自動化測試：

①光貓自動化注冊

② 光貓和網管平臺交互測試

③三大主要業務IPTV、寬帶、語音測試

④ IPV6 業務測試

⑤ 光貓版本升降級

⑥ 光貓恢復出廠測試

（2）性能專項測試

按照光貓的測試規范標準，進行光寬帶吞吐量性能測試。（多次數據采集）

（3）長時間穩定性測試

對光貓基本功能進行7＊24 小時的MTBF 測試，保障光貓長時間運行過程中基本功能穩定，使用質量高，用戶體驗好。

（4）其它使用場景

將光貓自動化測試系統與現有的測試業務流程結合，可以支持：

①新光貓入網、入庫測試

② 光貓版本升降級驗證測試

③用戶現場偶現問題的復現定位測試

④ 固定光貓，可測試上聯網絡設備

3.4 效果分析

（1）自動化測試報告

測試報告樣例如表1 所示：

表1 終端自動化測試報表樣例

（2）性能專項測試報告

對多光貓、多OLT 進行吞吐量性能專項測試，測試報告樣例如圖3、圖4、圖5 所示：

圖3 華為終端測試結果實例

圖4 烽火終端測試結果實例

圖5 中興終端測試結果實例

（3）測試問題定位分析測試過程中，會有測試日志和錯誤截圖，方便定位和分析問題。以注冊測試為例：

圖6、圖7 展示了注冊過程中的每一步日志和截圖。

圖6 終端自動測試過程截圖

圖7 終端自動測試系統進程日志圖例

3.5 實施前后對比

表2 所示為該方法論中提到的自動化測試方案和傳統的手工測試方案的對比。

表2 多種測試方案的對比

3.6 方法落地資源需求

（1）測試場地：要求具備5 米（長）＊5 米（寬）的場地來放置被測光貓，為了方便管理和散熱，該方案中使用了定制版貓架。

（2）測試網絡環境：覆蓋廣東省電信所有主流OLT類型的網絡環境，同時，準備對應數量的測試賬號，落地過程中需要考慮不同賬號類型的分布。

（3）測試終端：申請對應數量的公免測試賬號，會自帶光貓和機頂盒，可用于調試測試環境，未來可用新終端或現網終端來替換初始光貓。

（4）供電設備：為光貓和機頂盒提供充足的供電端口。

（5）電視：展示測試過程中的機頂盒HDMI 輸出。

（6）測試服務器：1 臺測試管理服務器+2 臺測試執行服務器+1 臺語音測試服務器+配套交換機等輔助設備。

4 總結

方法實施使用后，可覆蓋當前入網選型測試、到貨檢測等多種場景下的終端業務質量、長時間性能穩定性測試，通過7＊24 小時不間斷測試采集的海量數據，智能分析不同OLT、不同光貓、不同版本匹配組合下的功能、性能及穩定性問題，全程無需人工干預，全部通過自動化方式實現。同時在實際使用過程中，可不斷把用戶反饋的問題、更豐富的測試場景和終端、更多的版本進行整合，通過AI持續優化測試用例、流程，保證測試結果更客觀合理，切實保證全網的網絡及終端質量，給用戶提供更高速、穩定、可靠的服務、更優質的用戶體驗，提升用戶滿意度，降低用戶投訴率，同時每年可節省百萬級的傳統人工測試成本費用。