專項測試工具在鐵路信號軟件測試中的試用與結果分析

高 強（北京全路通信信號研究設計院有限公司，北京 100073）

1 鐵路信號軟件測試的背景

鐵路信號軟件與普通的應用軟件不同，最大的特點是在復雜的條件下要求具備高安全性，所以鐵路信號軟件開發過程中很大一部分精力要用于對產品測試。傳統的鐵路信號軟件主要采用手工測試的方式，但由于測試仿真器和測試案例的數目比較多、測試的可操作性比較低，所以測試過程需要花費很大的人力與時間，而且測試結果的可靠性、規范性都不足。

信號系統設計開發平臺（SDP）提供了用于鐵路信號軟件自動化測試的專項測試工具，能夠支持執行完整的子系統功能測試，包括測試數據的準備、測試環境的準備、測試的自動執行和測試結果的統計等功能。專項測試工具使用腳本描述測試的過程，使用測試機進行自動測試執行，提高了軟件測試的規范性和可靠性，降低了多輪次回歸測試中人力的消耗，能夠有效提高鐵路信號軟件的質量。SDP專項測試工具原理示意如圖1所示。

高強，男，碩士畢業于清華大學，助理工程師，軟件開發工程師。主要研究方向包括信號系統設計開發輔助工具，曾參與信號系統設計開發平臺項目。

2 區域控制器（ZC）

本文以SDP專項測試工具在ZC子系統測試中的應用為例，進行試用與結果分析。ZC具備鐵路信號產品的典型特點，是基于通信的列車自動控制系統（CBTC）的地面核心設備，根據所控列車的狀態、其控制范圍內的走行位置、聯鎖進路信息、臨時限速命令等信息，實時生成列車行車許可，并通過無線通信系統傳輸給列車自動防護子系統（A TP），保證其管轄內的所有列車的運行安全，并實現移動閉塞。

ZC子系統功能復雜，所以測試的規模很大，體現在測試分引擎、測試案例、測試腳本的數目都比較大。在實際的測試中，分引擎的數目在9個左右，測試案例和測試腳本的數目都在數百的量級，如果采用手工測試則耗時耗力，而且測試的效果也不能得到保證，所以在ZC子系統測試中使用SDP專項測試工具。

3 專項測試工具和手工測試的結果統計

ZC子系統測試中使用SDP專項測試工具，進行了多輪次自動測試，測試的時間、人力以及測試效果的統計如表1所示。在每輪回歸測試之外，ZC測試人員還使用SDP專項測試工具進行日常開發過程中的功能測試，效果如表2所示。

ZC子系統測試中同樣使用手工方式進行了測試，用于日常開發過程中的調試與驗證。ZC手工測試的情況如表3所示。

表1 ZC子系統測試使用SDP平臺專項測試工具的情況統計

表2 測試輪次之外使用SDP專項測試工具的情況統計

4 試用結果的對比與分析

4.1 測試案例覆蓋率的分析

測試方法對測試案例的覆蓋率是十分重要指標之一，只有測試案例覆蓋率較高的測試方法才是安全和可靠的。除了部分不具備測試環境的案例（例如ZC能控制30個車的測試案例），專項測試工具能夠覆蓋絕大部分案例。與此對比，手工測試對案例的覆蓋率很低，存在大量的測試案例只能使用專項測試工具進行測試。手工測試未能覆蓋的案例主要有以下3種原因。

1）耗時很長的案例：這類案例需要測試人員長時間操作和觀察測試進程，對人力資源的需求量很大。

2）不能人工測試的案例：這類測試案例是人工測試難以復現或者不可實現的。例如各種邊界條件下的案例就是難以復現的，需要測試人員多次重復。反案例用人工測試也比較困難，因為人工測試使用的仿真器全是按照正常邏輯來實現的；又如很多正面案例手工測試也無法完成，比如說車地通信時間戳的校準，10周期校準一次，人工測試不可能實現。如果要將這些案例變為人工可測的，需要對仿真器本身進行修改以增加功能，需要的人力遠遠大于編寫腳本通過專項工具進行測試。人工不可測的原因統計如表4所示。

3）容易出錯的測試案例：這類測試案例在人為因素的影響下容易出錯，導致需要重復測試，浪費測試人員的時間。

表4 人工不可測的原因統計

正是因為人工測試不可能做到覆蓋測試案例，在ZC子系統測試中人工測試更多用于調試錯誤和進行結果驗證。

根據測試案例覆蓋率的結果，可以對專項測試工具和手工測試兩種方式對測試案例的覆蓋率進行對比，分別為圖2和圖3所示。

從圖2和圖3中可以看出，SDP專項測試工具對案例的覆蓋率很高。除了部分案例，其余絕大部分案例都能使用專項測試工具進行測試。手工測試隨著案例難度和數目的增加，覆蓋率逐漸下降，而且沒有覆蓋的案例很大部分都是手工測試根本無法進行的。在實際的測試過程中，幾乎沒有手工測試可以進行而專項測試工具無法測試的案例。因此如果要求盡可能多地覆蓋測試案例，達到良好而完全的測試效果，則必須選用專項測試工具。

4.2 發現bug的情況

因為覆蓋率與人力消耗的問題，ZC測試中已經不采用手工測試，只是在調試中使用人工測試，所以人工測試發現bug數為0。使用專項測試工具，能夠在每輪測試中發現ZC軟件中存在的b u g，如表1中所示。

更為重要的是，專項測試工具執行所需要的時間遠遠低于手工測試，而且不占用人力資源，所以專項測試工具可以用于開發過程中的快速迭代，以提高軟件質量。快速迭代的流程如圖4所示。

圖4中可以看出，在修改b u g之后，使用專項測試工具可以進行快速迭代，驗證b ug是否修改正確和是否引入新的bug。因為專項測試工具可以利用空閑的測試機或者閑暇時間，不消耗人力；而且根據表1，修改bug之后進行一輪完整覆蓋測試案例的自動測試只需要2.5 h，完全滿足快速迭代開發的時間需求，而這兩個優點是人工測試無法做到的。表2中給出了開發過程中使用專項測試工具進行自動測試的情況。可以看出完全有充足的時間與人力進行多次測試，也發現了很多潛在的bug，在固定的測試輪次之前進行了修改。由此可知利用專項測試工具進行快速迭代，可以提高修改b u g的質量，避免引入新的b u g，盡早發現未知b u g，可以顯著提高軟件的質量。

4.3 測試準備階段人力花費的對比

不論專項測試工具還是手工測試，每輪測試開始之前都需要進行測試環境的準備工作。SDP專項測試工具需要開發仿真器、編寫和評審腳本。手工測試同樣需要開發仿真器，以及為覆蓋更多的案例而修改仿真器。將表1、表3和表4中的用于測試環境準備階段的人力進行匯總，如圖5所示。

從圖5中可以看出，SDP專項測試工具和手工測試都需要花費很大的人力在第一輪測試之前開發仿真器。隨著測試案例的增加和測試范圍的擴大，SDP專項測試工具和手工測試都需要對測試環境進行修改。但專項測試工具與手工測試所用仿真器有較大的區別：SDP專項測試工具中與被測對象進行交互的邏輯是在測試腳本中實現的，只需要花費人力編寫和評審腳本；手工測試中與被測對象進行交互的邏輯是在仿真器中實現的，所以需要花費人力對仿真器進行修改和調試。因為專項測試工具覆蓋的案例比較完全，所以腳本的數目很多，前幾輪測試中編寫和評審腳本的人力花費比較大，而手工測試覆蓋的案例較少，所以修改仿真器的工作量不大，花費的人力不多。

值得注意的是，開發腳本比修改仿真器容易。測試人員經驗的增加，以及已有腳本也可以在新案例對應的腳本中復用，導致開發腳本的時間逐漸降低。另一方面，頻繁修改仿真器很可能帶來新的b ug，導致仿真器本身不穩定，在測試過程中如果發現了問題，還需要花人力確認是被測系統的b ug還是修改仿真器帶來的問題，因此修改仿真器的時間并不會減少。根據實際測試中的統計，每輪測試中用于修改仿真器的人力消耗一直都沒有減少，而開發腳本的人力則迅速下降，到第四輪測試時，SDP專項測試工具和人工測試用于測試環境準備的人力消耗已相差無幾。

4.4 測試執行階段人力花費的對比

將表1、3和表4中用于測試執行的人力進行匯總，得到圖6。因為手工測試對測試案例的覆蓋率很低，為便于比較，對手工測試的人力花費進行了修正，簡單地用實際測試花費的人力資源除以測試案例的覆蓋率，以表示手工測試完全覆蓋測試案例所需要的人力資源，得到圖7。

測試執行的人力消耗則是SDP專項測試工具的優勢所在。從圖6中已經看出手工測試所需要的人力要遠遠大于SDP專項測試工具。圖7中按照完全覆蓋測試案例進行修正后，手工測試所需要的人力是專項測試工具十倍乃至上百倍。此外，專項測試工具可以在空閑的測試機或測試人員的閑暇時間進行自動測試，只占用測試機的資源，人力消耗幾乎為0，這是手工測試根本不可能實現的。

4.5 不同輪次耗時與人力的對比

為了清晰地反映出SDP平臺專項測試工具和手工測試在測試執行中的情況，分析了每輪測試花費的時間圖（如圖8所示）和需要的人力圖（如圖10所示）。同樣，根據對測試案例的覆蓋情況，簡單對時間和人力進行了修正，得到了圖9和圖11。

從圖8和圖9測試案例的覆蓋情況可以看出，盡管手工測試沒有編寫和評審腳本的時間，但隨著每輪測試規模的逐漸增大，需要的總時間也逐漸上升。相比較之下，在測試腳本和分引擎逐漸穩定之后，專項測試工具花費的時間大幅度下降，甚至僅僅包含測試機自動執行測試的時間。

圖10和圖11從人力使用的角度反映了類似的效果。手工測試花費的人力比較穩定，而且隨著測試案例的增加，為完全覆蓋測試案例需要的人力會逐漸增加。專項測試工具則在前若干輪需要花費人力進行測試環境的準備工作，測試環境穩定之后花費的人力逐漸下降，最后幾乎只占用測試機的資源。

同之前分析的類似，手工測試中未測試的測試案例包括很多耗時長或者無法人工測試的案例，因此手工測試完全覆蓋測試案例時所需的時間和人力遠遠大于圖9和圖11中的結果。

4.6 多輪次回歸測試人力需求分析

SDP專項測試工具的優勢在于多輪次的回歸測試中耗時短并且節省人力。為說明這一優勢，可以依據已有的數據，預測進行多輪測試時人力的消耗情況。

根據目前已有的四輪測試數據，假設第5輪測試有約600個測試案例，到第10輪測試時線性增長到約800個測試案例，之后趨于穩定。這樣從第10輪至第20輪就沒有測試準備的人力，只有測試執行的人力。預測時按照實際第3、4輪測試的增量數據進行計算，并認為手工測試按照比例完全覆蓋測試案例。因為SDP專項測試工具只占用測試機資源，人力消耗幾乎為0。經過分析與計算，可以得到表5。

表5 多輪次測試使用人力資源的分析與預測

從圖12中可以看出，在前幾輪測試中，因為測試案例在逐漸豐富，所以SDP專項測試工具和手工測試的多輪次累計人力需求都在快速增長。在測試案例穩定之后，測試準備環節不再消耗人力，人力需求的增長來源于測試執行環節。手工測試每輪次都要花費相當的人力，而專項測試工具只占用測試機資源，幾乎沒有人力資源需求。所以從圖12可以看出，測試案例穩定后，人工測試的累計人力需求仍然持續增長，而SDP專項測試工具的累計人力需求保持恒定。到第20輪測試之后，人工測試的累計人力消耗遠遠大于SDP專項測試工具。

圖13從多輪次測試中每輪平均人力需求的角度同樣得到了類似的結論。在測試案例穩定之后，SDP專項測試工具的平均人力需求逐漸下降而趨于0，但手工測試的平均人力需求則保持恒定，甚至略有增長。

根據多輪次測試的人力資源需求情況的預測，很明顯可以得到結論：SDP專項測試工具有利于多輪次的回歸測試，特別是測試案例穩定之后，使用SDP專項測試工具可以顯著降低人力資源的消耗，節省測試執行的時間。

4.7 SDP專項測試工具腳本開發學習效率分析

使用專項測試工具時，需要花費時間學習熟悉兩個方面的知識：一是被測對象的需求和功能，知道測試的范圍；二是腳本開發技術及測試方法，知道該如何測試被測系統，第一方面知識在手工測試中也必須學習。在ZC第一輪測試之前很大一部分時間用于學習這兩個方面的知識。在熟悉一段時間之后，開發腳本的效率迅速提高，花費的時間與人力有了明顯的下降，如表6和圖14所示。

表6 各個輪次開發測試腳本效率統計

由表6和圖14可以看出，隨著測試輪次的增加，開發腳本的效率有大幅度提高，能夠大大降低整個測試需要的人力。與之對比的是，手工測試并不能隨著測試輪次的增加而顯著增加效率，因而每輪測試需要的人力比較恒定，并且隨著案例數目的增長而增多。

另外，由于SDP專項測試是通用測試平臺，開發腳本積累的經驗可以應用于之后其他鐵路通信信號產品的專項測試中，顯著降低開發腳本開發所需的時間；而人工測試大多使用專門開發的測試環境，經驗無法有效地積累。

5 小結

區域控制器（ZC）軟件是典型的鐵路通信信號軟件，對ZC子系統的測試存在測試案例多、測試工作量大的特點。在ZC子系統測試中試用SDP專項測試工具進行多輪次測試之后，與ZC手工測試和城鐵A TP手工測試對比，可以得出SDP專項測試工具具備以下的優點。

1）非常高的測試案例覆蓋率

2）應用于快速迭代的開發過程，盡早發現軟件的缺陷，提高軟件質量

3）多輪次回歸測試中顯著降低人力資源消耗和測試執行時間

4）提供了一種精確、可控的測試方法，測試可信度較高

在鐵路信號軟件的測試中，自動測試工具還是比較嶄新的課題，也具有很大的挑戰性。盡管SDP專項測試工具還具有易用性等方面的不足，但在區域控制器測試中試用的結果表明，SDP專項測試工具可以應用于鐵路信號軟件的自動化測試，對提高軟件的質量、降低測試的人力消耗有明顯的作用，值得在一定程度內推廣使用。