基于時效質量鑒定成本的列車運行控制系統測試評估*

楊海東 周庭梁 周宇恒 涂 超

(卡斯柯信號有限公司,200071,上海∥第一作者,工程師)

?

基于時效質量鑒定成本的列車運行控制系統測試評估*

楊海東 周庭梁 周宇恒 涂 超

(卡斯柯信號有限公司,200071,上海∥第一作者,工程師)

針對列車運行控制系統的質量安全測評工作，一般采用基于質量成本的評估方法。目前，已有的質量成本評估方法主要關注點在于追求降低測試質量成本,卻忽略了項目對時效性的需求。引入時效維度,建立基于時效因子的測試質量成本評估模型,并應用于城市軌道交通列車運行控制系統的測試過程評估。利用自適應遺傳算法尋找到的最優解表明,在滿足時效性的條件下,可有效地改善現有的測試質量成本,為測試過程的評估提供了更好的參考。

列車運行控制系統; 測試評估; 時效因子; 質量成本

Author′s address CASCO Signal Ltd.,200071,Shanghai,China

1 研究背景

城市軌道交通列車運行控制系統(簡為“運控系統”)是一個安全苛求系統,直接關系到乘客的生命財產安全。由于存在所謂的“安全側”,運控系統無需追求沒有止境的極高可靠性,應在滿足一定可靠性、可用性需求的基礎上,實現系統“故障導向安全”的最終運營安全目標[1]。

對于運控系統而言,測試工作是系統構建過程中,驗證系統是否滿足需求的必要一環[2]。國內軌道交通的發展對運控系統的測試提出了更高的要求。例如，要求運控系統能作出多條地鐵線路的并發測試及快速切換。同時，運控系統的測試分工日趨細化,相應的質量成本也越來越高。因此，需要對測試質量成本進行有效地度量和分析，并通過合理的系統評估,最終實現系統、人、環境、運營、維保質量、安全、成本的統一。

約瑟夫·M·朱蘭在其《質量控制手冊》中提出,質量成本是指“為保持和提高產品質量而支出的一切費用,包括因為未達到既定的質量水平而造成的一切損失之和[3]。”一般將質量成本分為預防成本、鑒定成本和損失成本三大類[4]。其中，鑒定成本是針對產品或服務的測評所支付的費用,也正是本文所研究的對象,其它兩類成本在本文中不作考慮。

對于運控系統而言,其鑒定成本主要涉及到仿真測試環境的準備和搭建、場景案例設計、測試執行、結果分析、報告生成、過程驗證等環節。其中,測試所需的仿真測試環境應符合信號系統的接口和使用環境,屬于必然發生的成本，且相對明確;而測試執行的完成時間則因采用不同的測試策略、計劃而不完全相同,從而使所需花費的成本發生變化。

國內外不少專家學者對測試質量成本進行建模分析。文獻[5]提出的三維質量控制模型關注控制成本與故障成本的平衡。文獻[6]提出的模糊控制模型引入了模糊控制理論。文獻[7]提出基于非齊次泊松分布的軟件可靠性增長模型以降低在軟件開發測試階段的成本。文獻[8]基于事故發生率提出測試成本模型[8]。文獻[9]針對單元測試提出ATCUT模型[9]。這些模型在一定程度上有效地優化了測試質量成本,但忽視了一個在項目實施過程中的關鍵因素,即時效性。

與大多數項目一樣,時效性是軌道交通運控系統測試工作的一個重要考量因素[10]。首先,工程測評驗收的前提條件是測試工作已完成;其次,由于測試樣本空間巨大,不可能無休止地進行測試以追求測試的完整性,確保產品的極高可靠性和安全性,即使能通過功能驗收以及獨立第三方的系統安全認證,但這有可能導致產品還未上市即已遭淘汰的命運。

為此,在滿足測試覆蓋率要求[11]的前提下,本文提出一種基于時效因子的測試質量成本評估模型,針對測試過程的測試質量成本進行評估,可發現測試過程的可改進環節,控制測試質量成本,實現測試成本與時效的統一。

2 安全苛求系統測試的現狀

根據EN 50126,EN 50128,IEC 61508等標準中關于安全苛求系統開發的相關要求,系統的功能、性能、RAMS(可靠性、可用性、可維護性和安全性)等系統需求應分配到軟件或硬件中實現。這是一個自上而下的過程。也應地,測試過程分成軟硬件級、系統級的確認和驗證,也是一個自下而上的過程。系統級測試過程如圖1所示。

圖1 系統級測試過程

在設計環節,必須驗證系統架構和系統需求的追蹤關系,以確保所有的系統需求都在系統架構設計中被繼承并正確分解,同樣軟硬件開發文檔也要滿足對系統架構設計的正確追蹤關系。

在測試環節,為確保最終產品正確實現了系統需求,首先，應執行系統集成測試對系統的架構進行確認,驗證所有系統模塊之間的接口是否被正確實現,要求測試對于接口的覆蓋率必須達到100%；其次,應對系統的行為進行確認,驗證每一條系統需求是否被正確設計實現。在實際操作中,需設計一個環境仿真器來模擬所有外部條件,并在最終設計產品上逐條對系統需求進行測試；同時，還必須進行EMC/EMI(電磁兼容性/電磁干擾)及振動、溫濕度等環境測試。軟件級測試過程如圖2所示。

圖2 軟件級測試過程

針對軟件需求、軟件架構設計、軟件模塊設計,要有對應的軟件確認測試、集成測試和單元測試來確保軟件需求、軟件模塊及接口被正確實現。在軟件編碼階段,應進行靜態分析來驗證編碼對于編碼規則的符合性。

3 基于時效質量成本的全生命周期測評模型

系統需求會在系統、軟件、硬件層面逐步實現,并在軟件、硬件、子系統、系統層面分步進行測試。測試的過程如圖3所示。

需要注意的是，不同層面的測試需要層次遞進,依次進行。例如在進行子系統集成之前,要先完成軟件及硬件相關測試,然后才能進行子系統集成測試。在同一測試階段,測試案例之間具有銜接性,需要按照一定序列依次進行。例如某測試案例的輸出可能正是另一測試案例的輸入。

不同的測試策略(包括測試案例集的組成及順序、測試平臺的數量等)決定了測試階段的持續時間及測試質量成本。為判斷該測試策略能否滿足時效性要求,測試質量成本是否達到最優化配置,需要對既有的測試策略進行評估并優化。為此,提出一種基于時效因子的測試質量成本評估模型。

圖3 測評模型的測試過程

(1) 作為安全苛求系統,需要保持系統的測試覆蓋率。為此,通過劃分測試用例的輸入變量等價類的方式[12],來避免測試用例的共模失效。

(2) 根據不同的測試階段,進一步劃分測試案例集。

(3) 每個測試案例,都有一個耗費人工的經驗值,以人日為單位。

測試用例劃分如圖4所示。

圖4 測試用例劃分

3.1 測試質量成本的計算

假設m個用例在n臺測試設備上的分布為F,如果忽略同一個測試員在不同測試設備間的切換時間,則可以證明，這m個用例的測試時間與測試員的數量無關。因此，如果測試設備的折合成本為K,測試時間的折合成本系數為C,所有用例的測試時間為t,則所有用例的測試成本因數W可表示為

W=K+C×t

(1)

3.2 基于時效因子的測試質量成本評估模型

由于項目一般都對時效性有要求[1],故提出一種基于時效因子的測試質量成本評估模型,并稱該成本為時效質量成本。

設測試階段數為np,測試用例總數為nc。在階段i的測試用例有Li類,則第j類測試用例涉及需測試的用例數為nc，j，可提供的測試設備總數Mj,每臺設備的折合測試成本Kj。則全階段的測試用例總數nc為

(2)

每類用例隨機分配到該類用例的測試設備上,以ci,j,m表示階段i第j類的第m個用例,以pi,j,m,n表示用例ci,j,m分配到第n臺設備,可知ci,j,m∈[1,nc,j],pi,j,m,n∈[1,Mj]。

(3)

由于測試按從底向上的順序進行,故全階段的測試時間t為

(4)

設階段i第j類測試項目實際投入測試設備數為qi,j∈[1,Mj],則全階段的時效質量成本因數W為

(5)

由式(5)可知,通過設置不同的成本系數C,可實現不同的優化策略。例如,如果考慮采用時效優先策略,則可將C設置得較大,加大t的比重;如果采用成本優先策略,則可將C設置得較小,加大K的比重。

設給定的測試工期為tg,則定義時效因子Δt為

(6)

可知,Δt>0。如Δt>1,則說明測試超時；如Δt≤1，則表明測試滿足工期要求。因此,優化目標即在Δt≤1的情況下,對各階段的測試用例及測試設備進行合理分配,找出全階段最優時效質量成本因數

(7)

4 應用案例分析

根據深圳地鐵2號線城市軌道交通運控系統的實際項目案例,對測試數據樣本進行取樣及分析,基于本文提出的評估模型,對項目的測試策略進行評估,并給出合理化建議。

以深圳地鐵2號線一期工程(線路全長約20.65 km,正線設置12座車站)為例,項目原測試計劃需要實施工期為53 d。根據深圳項目的測試數據,測試用例的執行時間分布情況及計劃配套的測試設備數量如表1所示。

表1 項目測試數據(深圳地鐵2號線一期工程)

由表1可知,項目測試主要分為2個階段。第1階段是子系統級測試,子系統包括計算機聯鎖(CI)子系統、列車自動控制(ATC)子系統、列車自動監控(ATS)子系統、數據傳輸(DCS)子系統,維護支持(MSS)子系統。第2階段是系統級測試,即基于通信的列車控制(CBTC)系統測試。用例數為對應子系統/系統的測試用例數量。測試設備即用于執行測試用例所對應的子系統/系統實物。

根據基于時效因子的測試質量成本評估模型,分別采用成本優先策略和時效優先策略對深圳地鐵2號線一期工程測試的時效質量成本進行評估。

采用自適應遺傳算法進行最優解的搜索,其中,初始種群規模為100,選擇規模為120,進化代數為200。采用單點交叉、精英保留策略。交叉概率和變異概率采用自適應的策略,隨進化代數而改變[14]。交叉概率和變異概率的變化曲線如圖5所示。

按成本優先策略,參數C與項目計劃中的取值相同,即取為10。經200代的進化后,搜索到的最優解顯示:Wopt為9 784.2,所需測試時間為41 d。此時,時效因子Δt為41/53=0.773 6。W的進化曲線如圖6所示。

按時效優先策略,參數C取值為50。經200代的進化后,搜索到的最優解顯示:Wopt=12 766,t=26.12 d。此時,Δt為26.12/53=0.492 8。W的進化曲線如圖7所示。

各測試階段的配置情況見表2。其中,發布測試版本數是指發布到測試平臺的測試版本個數。

根據以上結果,在確保質量安全的前提下,這兩種策略都可以滿足工期要求。經對比可知,后者的時效因子為前者的63.7%,但前者的時效質量成本是后者的76.64%。因此,在滿足測試時間的前提下,如果能有效縮減測試設備,尤其是較昂貴的系統功能測試設備,將測試人力盡可能投入到其它階段的測試,將有利于降低整個系統的測試成本。而表2的尋優結果也表明,利用自適應遺傳算法,可找到最優路徑。

圖5 概率變化曲線

圖6 基于成本優先策略的W進化曲線

圖7 基于時效優先策略的W進化曲線

測試階段子系統/系統發布測試版本數/個用例數/個測試設備/套用例分布成本優先時效優先成本優先時效優先子系統級CI21621316254,55,53ATC31351213568,67ATS1047024237,233122,119,119,110DCS252125226,26MSS51402369,7142,48,50系統級CBTC428011280280

5 結語

對于運控系統這樣的安全苛求系統,隨著測試分工的細化,其在項目中所占的質量成本越來越高,需要進行有效的度量及分析。為實現測試質量成本與時效的統一,需針對系統測試進行基于時效質量成本的評估,并采用合理的測試策略。在確保質量安全及滿足工期要求的前提下,獲得更優的時效質量成本。

目前的研究成果已應用到軌道交通領域單個項目的測試評估上,未來需進一步研究面向項目群的測試策略評估及優化問題。

[1] YAN F,TANG T.Research and development of safety technology in signalling system of rail transit[J].China Safety Science Journal,2005,15(6):94.

[2] BSI.Railway applications-Communication,signalling and processing systems-Safety related electronic systems for signaling:EN 50129[S].London:BSI,2003.

[3] JUNAR J.M,GRYNA F M.Juran’s quality control handbook[M].3rd ed.Columbus:Mcgraw-Hill,1988.

[4] CAMPANELLA J.Principles of quality costs:principles,implementation and use[M].3rd ed.Milwaukee:ASQ Quality Press,1999.

[5] YUAN Y Y,GU S.Research and establishment of quality cost oriented software testing model[C]∥IEEE Canadian Conference on Electrical and Computer Engineering.Ottawa：IEEE,2006.

[6] SHANG S S,YOU J X.Quality cost control model based on fuzzy neural network[C]∥16th International Conference on Industrial Engineering and Engineering Management.Beijing：IEEE,2009.

[7] HTOON C Y,NI L T.Model-based testing considering cost,reliability and software quality[C]∥6th Asia-Pacific Symposium on Information and Telecommunication Technologies.Yangon:IEEE,2005.

[8] FARREN D,AMBLER A P.System test cost modelling based on event rate analysis[C]∥Third International Conference on the Economics of Design,Test and Manufacturing.Washington D C:IEEE,1994.

[9] SHRIVASTAVA D P,JAIN R C.Unit test case design metrics in test driven development[J].International Conference on Communications,Computing and Control Applications.Hammamet:IEEE,2011.

[10] LIBERATORE M J,POLLACK-JOHNSON B.Improving project management decision making by modeling quality,time,and cost continuously[J].IEEE Transactions on Engineering Management,2013,60(3):518.

[11] BSI.Railway applications-communication,signalling and processing systems-software for railway control and protection systems:EN 50128[S].London:BSI,2011.

[12] NICLOA G D,TOMMASO PD,ESPOSITO R,et al.A hybrid testing methodology for railway control systems[M].Heidelberg:Springer,2004.

[13] TEEE.IEEE dtandard for communications-based train control (CBTC) performance and functional requirements:EN 1474.1—2004[S].New York:IEEE,2004.

[14] CHEN C Z,WAN N.Adaptive selection of crossover and mutation probability of genetic algorithm and its mechanism[J].Control Theory and Application,2002,19(2):41.

Testing Assessment Based on Timeliness Quality Cost for Train Control System

YANG Haidong, ZHOU Tingliang, ZHOU Yuheng, TU Chao

Quality cost assessment is commonly adopted in the testing and assessment of quality and safety of urban rail transit train control system.The existing method is mainly focused on the reduction of testing quality cost, while the timeliness requirement from a project is often neglected. The timeliness dimension is introduced in this paper to establish an assessment model based on timeliness factor for the evaluation of the testing process for urban transit train control system. An optimum solution found by the adaptive genetic algorithm shows that the testing quality cost is improved when the timeliness requirement is satisfied. The proposed model can provide a better reference for the assessment.

train control system; testing assessment; timeliness factor; quality cost

*上海張江國家自主創新示范區專項發展資金重大項目(ZJ2012-ZD-011)

U 231.6

10.16037/j.1007-869x.2016.09.005

2015-09-15)