馮思桐 張楠 鄺安玄
摘要:基準測試集Benchmark對于計算機領域來說是一個至關重要的組成部分,一般作為用于評價計算機性能的標準,隨著機載FC網絡交換技術的不斷發展和革新,目前市面上沒有一個通用的針對機載應用特性而進行研究的FC網絡交換技術基準測試方法和數據集。該文首先通過對現今具有代表性的基準測試集進行分析和研究,主要包括嵌入式領域的嵌入式微處理器基準測試集EEMBC以及以太網的RFC基準測試集,其次以FC網絡交換機為例,對FC網絡交換技術基準測試集合的構建方法進行研究,最后對未來所面臨的挑戰和Benchmark的發展趨勢進行探討。
關鍵詞:基準測試集;FC網絡交換
中圖分類號:TP393? ? ? ? 文獻標識碼:A
文章編號:1009-3044(2022)04-0051-02
1 前言
隨著計算機以及網絡技術的不斷發展[5],市場上逐漸涌入越來越多的嵌入式計算機、微處理器、網絡交換機等相關的各種計算機產品。Benchmark——基準測試作為用于通用評價計算機性能的標準,在市場對計算機產品進行篩選的時候,通常選擇使用權威性機構定義的基準測試程序或者基準測試數據集來進行產品選擇。而Benchmark作為統一基準,使得種類繁多的產品能夠進行公平而有效的度量,使測試結果具有可比性。目前嵌入式計算技術相關的國際上很有權威性的Benchmark測試集包括:嵌入式計算機基準測試集EEMBC(Embedded Microprocessor Benchmark Consortium)[1]以及以太網RFC基準測試集[2]。現今隨著機載嵌入式計算網絡以及計算機技術的不斷發展,急需一個具有普適性、通用權威性的機載嵌入式基準測試集,本文主要針對機載嵌入式計算網絡基準測試集的構建方法進行研究,具體涉及有關數據集、基準測試模型構建以及度量標準等等系列定義。
一個標準的Benchmark集合進行定義時,首先需要根據測試目的不同將Benchmark集合進行分類[3],一般可分為測試數據集裝載程序,負責為被測試的計算機系統提供測試數據集,比如大數據基準測試集TPC;測試的執行程序,負責為被測試的計算機系統提供工作負載,比如EEMBC基準測試和以太網RFC基準測試。在基準測試集的設計中,一旦明確了基準測試的設計目標后,根據數據集、工作負載以及度量指標對要設計的基準測試集進行建模,從實際應用中抽象出一個通用的并且可再現的基準測試集合。一個通用的基準測試集構建方法如圖1所示。
2 FC網絡交換機基準測試集構建方法
機載FC網絡交換機基準測試集的構建比較復雜,由于機載嵌入式應用領域,機載網絡總線的技術特征和應用模式比較廣泛,需要構建一個能夠適應大部分軍用嵌入式應用領域的基準測試集或者基準測試平臺。機載FC網絡交換機基準測試集的構建思想如圖2所示。首先,分析工作場景,根據機載實際應用分析不同網絡總線的工作場景,從復雜場景中提煉出有指導性的可作為基準測試的工作模型,同時保證工作場景具備可復現性以及穩定性。其次,分析網絡負載,按照不同網絡總線的協議,根據機載應用的特性從工作場景中分析哪些可作為基準測試的流量負載,比如測試FC網絡時用到的FC-ASM幀[4]、ELS幀等;有關基準測試需求分析,可根據提煉出的工作場景和網絡負載,開始詳細對建立基準測試平臺的需求進行分析,結合現有的產品測試技術,抽象出一套符合基準測試規范要求,并且具有指導性的需求功能項;按照不同網絡協議的需求特點,根據現有的技術基礎,可以開展對基準測試模型進行構建;根據前期的基準測試需求分析以及構建的測試模型,去定義一套符合基準測試規范要求并且具有指導性意義的機載網絡基準測試集;在構建基準測試集的過程中,需要綜合衡量定義的基準測試評價指標,比如FC交換設備測試時會采用的吞吐量、轉發延遲、丟包率等這些指標進行評價,這些都可以作為后續FC交換設備基準測試集的評價指標。最后,開展基準測試平臺的研制工作,基準測試平臺方面可以考慮研制自動化的基準測試設備或者測試軟件,甚至可以遠程控制和操縱的一種測試平臺。
結合現有的FC機載網絡交換測試技術,構建以FC網絡交換機為測試主體的基準測試建模方法,描述如下:
(1)工作場景。構建如圖3所示的一個典型的多端口FC網絡交換機基準測試拓撲,圖3是單交換機的驗證場景,也可以構造出二級或三級級聯交換機的工作場景。
(2)網絡負載。由FC網絡交換基準測試設備(test center)輸入網絡負載,采用FC交換幀,具體包括FC-ASM幀、ELS幀等,作為大量的流量負載進行輸入;負載流量模型主要有四種:點對點(Point to point):測試入端口和一個出端口有流量;全網狀(Fully Meshed):測試的入端口和其他端口都有雙向流量;多播(Multicast):測試入端口和組播組內端口都有流量;廣播(Broadcast):測試入端口和其他出端口都有流量。
(3)基準測試需求分析。關于FC網絡交換機基準測試構建的測試包括功能和性能的測試,可以定義的功能性測試如數據交換、協議符合性、級聯交換、時鐘同步測試、監控等;有關的性能測試有交換延遲、啟動時間等。
(4)基準測試集和評價模型的構建。基準測試集的背景流量可以采用常用的ELS幀和ASM幀,進行背景流量注入或者流量負載。一般可以用來作為FC網絡交換機的度量指標為FC網絡交換機的評價指標一般包括吞吐率(Throughout)、轉發延時(latency)、幀丟失測試(frame-loss)、錯誤率測試(error)、協議符合性等,評價模型的建立可以將不同測試產品進行這些度量指標的測試后的測試結果,輸出成為一系列FC網絡交換機的基準測試報告,如圖3所示。
3 結束語
本文描述了有關機載FC網絡交換機基準測試方法研究,隨著機載嵌入式技術的發展和研究越來越多,現在對有關機載或通用的FC網絡研究也越來越復雜,如何度量和篩選這些不同種類的產品和技術成為至關重要的問題。我們根據現有的測試技術,從實際航空電子系統應用的需求出發,分析了現有的一些成熟的基準測試技術,同時對機載網絡基準測試技術的建模方法進行了研究和分析,定義了有關FC網絡交換機的工作場景、網絡負載、FC網絡交換機的基準測試需求、度量指標以及基準測試平臺的定義方法等。有關基準測試平臺的定義方法值得作為未來研究的發展方向,除了考慮平臺的可再現性、實時性、穩定性和通用性以外,能夠進行遠程人機控制和操縱的自動化、可視化測試平臺是未來的研究重點。有關機載網絡的基準測試集合可以充分借鑒有關以太網RFC測試集的設計思路,設計和建立一套體系化的測試模型,使得市場上的相關產品也具有一定的比較性。
參考文獻:
[1] Embedded Microprocessor Benchmark Consortium[EB/OL].http://www.eembc.org/.(1997-2020)
[2] The Internet Engineering Task Force(IETF)[EB/OL].http://www.ietf.org/.(1990-2020)
[3] 閆義博,朱文強,楊仝,等.大數據系統Benchmark測試綜述[J].網絡新媒體技術,2018,7(3):6-13.
[4] INCITS TR 31-20020, Information Technology-Fibre Channel Avionics Environment-Anonymous Subscriber Messaging (FC-AE-ASM)[S].2008.
[5] 林強,熊華鋼,張其善.光纖通道綜述[J].計算機應用研究,2006,23(2):9-13.
收稿日期:2021-06-02
作者簡介:馮思桐(1989—),女,工程師,碩士,主要研究方向為嵌入式計算機網絡測試和設計。