軟件測(cè)試能力評(píng)定模型研究

王 強(qiáng)，田 濤，劉昕昀

(1.工業(yè)和信息化部電子第五研究所 賽寶軟件評(píng)測(cè)中心，廣東 廣州 510610；2.空軍裝備研究院 裝備總體論證研究所，北京 100094)

0 引 言

目前信息化、自動(dòng)化、智能化的發(fā)展要求，使得大部分的實(shí)現(xiàn)邏輯都是依靠軟件完成，軟件成為了產(chǎn)業(yè)化升級(jí)的關(guān)鍵[1]。與此同時(shí)，隨之而來的軟件質(zhì)量問題也越來越突出，由于軟件問題導(dǎo)致的重大事故或?yàn)?zāi)難不勝枚舉，直接或間接上給社會(huì)帶來了不良影響。

軟件測(cè)試作為質(zhì)量保證的核心手段，在軟件研發(fā)過程中發(fā)揮著舉足輕重的作用，而該項(xiàng)工作通常被認(rèn)為是昂貴(最高可占開發(fā)項(xiàng)目總費(fèi)用的50%)和不可控的過程。盡管測(cè)試花費(fèi)了大量的時(shí)間和經(jīng)費(fèi)，但無法提供關(guān)于軟件測(cè)試過程質(zhì)量充分性的證明[2]。許多組織已經(jīng)意識(shí)到通過改進(jìn)軟件測(cè)試過程可以在一定程度上解決這些問題，然而，具體如何定義改進(jìn)和控制的步驟及順序依然是很大的難題。能力成熟度模型通過一系列的指導(dǎo)條目，能有效解決該問題，幫助組織改善其軟件過程，達(dá)到組織能力評(píng)估和持續(xù)改進(jìn)的目的[3]。

1 主要模型分析

20世紀(jì)90年代，隨著軟件能力成熟度模型CMM的推廣和應(yīng)用，國際軟件工程研究機(jī)構(gòu)開始關(guān)注軟件測(cè)試過程的評(píng)估和改進(jìn)問題，其中有三類模型已被業(yè)界接受和應(yīng)用。一是愛爾蘭TMMi基金會(huì)發(fā)布的測(cè)試能力集成度模型，提供測(cè)試過程改進(jìn)的指南和參考框架，其定位是作為CMMi1.2版本的互補(bǔ)模型，并且提供了基于ISO/IEC 15504標(biāo)準(zhǔn)的評(píng)估框架[4]；二是基于SPICE模型的軟件測(cè)試過程能力評(píng)估和改進(jìn)方法，在大力推行SPICE試驗(yàn)的基礎(chǔ)上，2003年軟件和系統(tǒng)工程分技術(shù)委員會(huì)(ISO/IEC JTC1/SC7)將SPICE方法升級(jí)為國際標(biāo)準(zhǔn)，陸續(xù)發(fā)布了ISO/IEC 15504系列標(biāo)準(zhǔn)。2015年，標(biāo)準(zhǔn)組發(fā)布了ISO/IEC 33063:Process Assessment Model for Software Testing[5]，由于剛發(fā)布，還未引起廣泛關(guān)注；三是荷蘭Sogeti提出的TMAP、TPI和TPI-Next模型(TPI源于TMAP，最早發(fā)布于1998年，并于2009年發(fā)布了升級(jí)版本TPI-Next)，并提供了對(duì)于組織內(nèi)部測(cè)試過程成熟度的觀點(diǎn)，基于這種認(rèn)識(shí)該模型有助于定義漸進(jìn)和可控的測(cè)試過程改進(jìn)的步驟。除此之外，其他一些組織也在開展關(guān)于軟件測(cè)試過程評(píng)估和改進(jìn)的研究，如2005年在德國成立的TestSPICE SIG (Special Interest Group)正在開展基于SPICE模型的軟件測(cè)試過程評(píng)估和改進(jìn)的研究，目前已推出了3.3版本[6]。另外，一些組織將軟件測(cè)試納入軟件開發(fā)過程的一部分，采用美國的CMMi模型、加拿大的Trillum模型、歐洲的Bootstrap方法進(jìn)行相關(guān)領(lǐng)域的研究。國內(nèi)對(duì)于該問題的研究尚處于初步階段，相關(guān)的研究成果較少，并且大多僅局限于基于某一特定方法的軟件測(cè)試過程改進(jìn)模型，如基于比對(duì)的測(cè)試過程改進(jìn)模型研究、基于缺陷的軟件測(cè)試過程效能評(píng)價(jià)及改進(jìn)研究等。

1.1 TMMi模型分析

TMMi設(shè)計(jì)之初便定位于CMMi的互補(bǔ)模型，被開發(fā)為一個(gè)階段型模型，分為初始、已管理、已定義、已測(cè)量和優(yōu)化五個(gè)成熟度級(jí)別。每個(gè)級(jí)別都有一組過程域，分為四個(gè)類別：項(xiàng)目管理類、工程類、過程類和支持類，共16組過程域[7-8]。雖然TMMi可單獨(dú)使用，但在大部分情況下，一個(gè)確定的TMMi級(jí)別需要得到與它對(duì)應(yīng)的CMMi級(jí)別或者更高的CMMi級(jí)別的過程域的支持。嚴(yán)格來說，TMMi不只是局限于定義的16組過程域，還同時(shí)要滿足CMMi支持的過程域，這種支持關(guān)系并非同等級(jí)間的映射，即低級(jí)別的CMMi可能由同等級(jí)或更高等級(jí)的TMMi定義的過程組支持，CMMi對(duì)TMMi的支持如圖1所示。

圖1 CMMi對(duì)TMMi的支持關(guān)系圖

在改進(jìn)途徑方面，TMMi提供了一個(gè)在測(cè)試過程改進(jìn)中使用的參考模型完整框架。其特點(diǎn)如下所述：

(1)TMMi是基于過程的能力評(píng)估模型，模型覆蓋范圍較廣，涉及結(jié)構(gòu)化測(cè)試的生命周期、技術(shù)、基礎(chǔ)架構(gòu)和組織等四個(gè)基礎(chǔ)，同時(shí)涉及所有的測(cè)試級(jí)別(包括靜態(tài)測(cè)試)和結(jié)構(gòu)化測(cè)試的所有方面。

(2)在級(jí)別劃分、過程域定義、術(shù)語使用等方面與CMMi具有高度一致性，部分過程域直接引用CMMi的過程域定義，并且其測(cè)試術(shù)語采用國際軟件測(cè)試資質(zhì)認(rèn)證委員會(huì)(ISTQB)的標(biāo)準(zhǔn)術(shù)語表。

(3)高級(jí)別的能力包含了低級(jí)別能力的所有過程域，因此是一個(gè)增量提升能力的過程。

(4)與其他國際標(biāo)準(zhǔn)兼容。其過程評(píng)估文件TAMAR(TMMi assessment method application requirements)需求來源于ISO 15504《信息技術(shù)-軟件過程評(píng)估》。

(5)TMMi主要用于能力評(píng)定，SEI推薦IDEAL作為過程改進(jìn)的過程模型[9]。

1.2 SPICE模型分析

SPICE在經(jīng)過了三個(gè)階段大量實(shí)踐和經(jīng)驗(yàn)的基礎(chǔ)上，最終形成了國際標(biāo)準(zhǔn)ISO/IEC 15504，可以幫助組織快速提高軟件工程化水平，從而改進(jìn)軟件開發(fā)過程[10]。模型設(shè)計(jì)為能力維和過程維的二維模型。模型一共有29個(gè)過程域，這些過程域共劃分為5組，即用戶供應(yīng)者過程(CUS)、工程過程(ENG)、支持過程(SUP)、管理過程(MAN)、組織過程(ORG)。對(duì)于每個(gè)過程域，根據(jù)對(duì)應(yīng)能力的測(cè)定分化為6個(gè)級(jí)別，即不完全級(jí)(0級(jí))、已執(zhí)行級(jí)(1級(jí))、已管理級(jí)(2級(jí))、已定義級(jí)(3級(jí))、可預(yù)測(cè)級(jí)(4級(jí))、持續(xù)優(yōu)化級(jí)(5級(jí))[11-12]。其特點(diǎn)是：

(1)對(duì)大部分的改進(jìn)模型有很好的兼容性，同時(shí)由于已經(jīng)進(jìn)行了大量試驗(yàn)，因此具有較強(qiáng)的實(shí)用性。

(2)具有較好的開放性。能夠使用外部過程評(píng)估模型(PAM)與過程參考模型(PRM)進(jìn)行評(píng)估和改進(jìn)，因此更加靈活。

(3)除了可以在軟件過程改進(jìn)領(lǐng)域應(yīng)用SPICE標(biāo)準(zhǔn)外，同時(shí)也可以擴(kuò)展到其他相關(guān)領(lǐng)域，例如信息技術(shù)與智能制造等。

ISO 15504是針對(duì)軟件開發(fā)過程的能力評(píng)定和過程改進(jìn)標(biāo)準(zhǔn)[13]，基于SPICE模型的軟件測(cè)試過程評(píng)估模型框架以及相關(guān)標(biāo)準(zhǔn)之間的關(guān)系如圖2、圖3所示。

圖2 基于SPICE模型軟件測(cè)試過程評(píng)估框架

圖3 參考標(biāo)準(zhǔn)關(guān)系

PRMs需重點(diǎn)參考關(guān)于軟件測(cè)試的新標(biāo)準(zhǔn)ISO/IEC 29119，對(duì)于軍用軟件的測(cè)試還需參考GJB 2786A的相關(guān)要求，補(bǔ)充或完善工程類過程域，同時(shí)應(yīng)參考GJB 2725A和ISO 17025補(bǔ)充或完善其他類別過程域。PAMs同樣需要關(guān)注關(guān)于軟件測(cè)試評(píng)估的最新標(biāo)準(zhǔn)ISO/IEC 33063，制定與標(biāo)準(zhǔn)相適應(yīng)的評(píng)估模型。

1.3 TPI模型分析

TPI-Next模型如圖4所示，由關(guān)鍵域和對(duì)應(yīng)的等級(jí)構(gòu)成。TPI-Next模型總計(jì)有16個(gè)關(guān)鍵域[14]。過程成熟度是依據(jù)測(cè)試過程中關(guān)鍵域的應(yīng)用情況來判斷的，因?yàn)槊總€(gè)測(cè)試過程都有它自身的優(yōu)勢(shì)和弱勢(shì)，因此每一個(gè)關(guān)鍵域在使用過程中地位并不是均等的。模型中每個(gè)關(guān)鍵域有3或4級(jí)，由不同的需求構(gòu)成每個(gè)關(guān)鍵域的不同層級(jí)，并且在每個(gè)關(guān)鍵域的不同級(jí)別都定義了里程碑事件。測(cè)試成熟度上共分為四個(gè)類別一共有13個(gè)等級(jí)：初始的、受控的(1～5級(jí)，做正確的事)、有效的(6～10級(jí)，正確的做事)、優(yōu)化的(11～13級(jí)，持續(xù)改進(jìn))。其特點(diǎn)是：

(1)TPI-Next是綜合因素分析的能力評(píng)定模型，其關(guān)鍵域不僅考慮了過程要素，同時(shí)也考慮了測(cè)試工具、測(cè)試技術(shù)等其他要素。

(2)基于工程實(shí)踐，具有較強(qiáng)的實(shí)用性。

(3)采用矩陣方式計(jì)算測(cè)試成熟度，并配套成熟度系列工具the Test Maturity Matrix Tool，具有較好的操作性。

(4)TPI-Next的每個(gè)級(jí)別都包含所有16個(gè)關(guān)鍵域，因此關(guān)鍵域與級(jí)別是全對(duì)應(yīng)關(guān)系。

(5)針對(duì)每項(xiàng)關(guān)鍵域，不僅給出了2-4個(gè)檢查點(diǎn)，同時(shí)也列出達(dá)到目標(biāo)的途徑，并展示了可以從其他IT和SDLC學(xué)科分享的最佳實(shí)踐。

(6)關(guān)鍵域之間非完全獨(dú)立，具有一定的關(guān)聯(lián)性。

圖4 TPI-Next模型框架示意圖

2 應(yīng)用狀況

由于TMMi與CMMi高度協(xié)調(diào)且可以免費(fèi)獲取，TMMi在世界各地的多個(gè)領(lǐng)域和行業(yè)得到應(yīng)用。截至2017年，官網(wǎng)顯示的認(rèn)證情況如下：通過TMMi二級(jí)的企業(yè)有5家；通過TMMi三級(jí)的企業(yè)有21家；通過TMMi四級(jí)的企業(yè)有4家；通過TMMi五級(jí)的企業(yè)有11家。值得注意的是，近年來中國大陸企業(yè)也積極地進(jìn)行TMMi認(rèn)證，從最早僅有1家上海浦發(fā)銀行通過三級(jí)認(rèn)證到現(xiàn)在已有4家企業(yè)通過TMMi三級(jí)認(rèn)證，1家企業(yè)通過TMMi五級(jí)認(rèn)證。SPICE模型已服務(wù)4 000多家企業(yè)，并在汽車、航天、醫(yī)療等相關(guān)領(lǐng)域處于領(lǐng)先地位，軟件測(cè)試能力評(píng)定和過程改進(jìn)作為開發(fā)測(cè)試能力評(píng)定和過程改進(jìn)的一部分同步開展，并未像TMMi一樣獨(dú)立開展，其他模型的應(yīng)用存在同樣的情形，在軟件測(cè)試獨(dú)立認(rèn)定方面尚無相關(guān)應(yīng)用數(shù)據(jù)。SPICE模型對(duì)于專業(yè)測(cè)評(píng)機(jī)構(gòu)的能力評(píng)定和過程改進(jìn)具有良好的應(yīng)用前景，盡管在SPICE能力認(rèn)定方面尚未形成標(biāo)準(zhǔn)化模式，但由于有大量的企業(yè)積極應(yīng)用，并且作為一個(gè)國際標(biāo)準(zhǔn)，因此其影響力將會(huì)越來越大。

在國內(nèi)，軟件測(cè)試組織通常分為開發(fā)單位內(nèi)部測(cè)試組織和獨(dú)立軟件測(cè)試機(jī)構(gòu)兩種形式，內(nèi)部測(cè)試組織一般隨同軟件開發(fā)能力的質(zhì)量保證相關(guān)活動(dòng)一同進(jìn)行評(píng)定，而后者及少數(shù)開發(fā)單位內(nèi)部測(cè)試組織采用實(shí)驗(yàn)室認(rèn)可方式進(jìn)行評(píng)定。在國內(nèi)，資質(zhì)授權(quán)在軍用和民用領(lǐng)域采用不同標(biāo)準(zhǔn)獨(dú)立授權(quán)。軍用領(lǐng)域主要依據(jù)GJB 2725A-2001《測(cè)試實(shí)驗(yàn)室和校準(zhǔn)實(shí)驗(yàn)室通用要求》，技術(shù)部分配套采用原總裝下發(fā)文件進(jìn)行能力認(rèn)定；民用領(lǐng)域主要依據(jù)ISO/IEC 17025-2005《檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室認(rèn)可準(zhǔn)則》進(jìn)行能力評(píng)定。兩種方式主體思路相近，都是建立一個(gè)能力基準(zhǔn)，為滿足該基準(zhǔn)的組織獲得相關(guān)資質(zhì)授權(quán)，并不涉及過程持續(xù)改進(jìn)的要素。

綜上所述，不同的模型都有其對(duì)應(yīng)的特點(diǎn)。TMMi作為CMMi的補(bǔ)充模型，豐富和完善了CMMi中有關(guān)軟件測(cè)試的過程域，覆蓋了軟件生命周期的所有測(cè)試過程，因此最適用于已經(jīng)進(jìn)行了CMMi能力認(rèn)證的組織內(nèi)部的測(cè)試機(jī)構(gòu)，并且相對(duì)于CMMi其更強(qiáng)調(diào)軟件測(cè)試能力，同時(shí)由于是通過授權(quán)的第三方認(rèn)證機(jī)構(gòu)進(jìn)行認(rèn)證，因此認(rèn)證的結(jié)果公信力和國際影響力都比較大。而TPI旨在改進(jìn)軟件測(cè)試過程，其能力認(rèn)證部分更多在于為過程改進(jìn)提供基礎(chǔ)，且無需授權(quán)的第三方認(rèn)證機(jī)構(gòu)介入就可以進(jìn)行認(rèn)證，能夠以較低的成本讓企業(yè)軟件測(cè)試能力得到提高，有助于軟件產(chǎn)品以更高的質(zhì)量推向市場(chǎng)、提高軟件的客戶滿意程度。SPICE最大的優(yōu)勢(shì)在于其開放性，能根據(jù)行業(yè)的特定需求與相關(guān)標(biāo)準(zhǔn)進(jìn)行集成，從而可以用來規(guī)定和評(píng)審安全需求、評(píng)價(jià)過程的符合性、用于定義SIL(safety integrity level)等級(jí)等。SPICE標(biāo)準(zhǔn)是由專門的SPICE國際組織進(jìn)行認(rèn)證，因此也有較強(qiáng)的公信力，并且為了方便企業(yè)進(jìn)行能力成熟度的劃分，SPICE也將建立對(duì)應(yīng)的等級(jí)模型，它將構(gòu)成ISO 15504的第七部分。

3 軟件測(cè)試能力評(píng)估模型架構(gòu)設(shè)計(jì)

以上模型對(duì)于企業(yè)內(nèi)部的測(cè)試能力評(píng)價(jià)和過程改進(jìn)都有積極的借鑒意義。但對(duì)于第三方軟件測(cè)試機(jī)構(gòu)而言，其適用性都存在一定程度的限制，因?yàn)閮烧邷y(cè)試目的和測(cè)試項(xiàng)目實(shí)施過程都不盡相同[15]。作為專業(yè)檢測(cè)機(jī)構(gòu)，既有能力成熟度認(rèn)定需求，也有過程改進(jìn)的強(qiáng)烈愿望；既有提升軟件質(zhì)量的責(zé)任，也有客觀考核、度量軟件質(zhì)量的使命。同時(shí)第三方軟件測(cè)試機(jī)構(gòu)面向的行業(yè)較為廣泛、業(yè)務(wù)模式多樣，對(duì)其測(cè)評(píng)能力的評(píng)價(jià)要素眾多，要素關(guān)系復(fù)雜。文中從國內(nèi)軟件測(cè)試能力認(rèn)證的現(xiàn)狀出發(fā)，綜合以上幾種模型的設(shè)計(jì)思想，提出了針對(duì)第三方檢測(cè)機(jī)構(gòu)的軟件測(cè)試能力評(píng)價(jià)模型架構(gòu)。與傳統(tǒng)軟件測(cè)試能力評(píng)估模型相比較，該模型從多個(gè)視角觀測(cè)測(cè)試過程，突出體現(xiàn)了“從組織到項(xiàng)目、從體系到過程、從技術(shù)到管理、從工程到科研、從軟實(shí)力到硬實(shí)力”的全要素、綜合化的特點(diǎn)。

3.1 模型架構(gòu)

模型架構(gòu)建立了測(cè)試過程能力、技術(shù)能力、組織管理、核心資產(chǎn)、科研能力和發(fā)展能力六大領(lǐng)域評(píng)估點(diǎn)，對(duì)軟件測(cè)試能力進(jìn)行全方位的評(píng)估如表1所示。

表1 改進(jìn)模型框架

通過該模型的使用，能夠?qū)Ξ?dāng)前軟件測(cè)試能力的相關(guān)要素和整體水平進(jìn)行評(píng)估，最終達(dá)到軟件測(cè)試能力持續(xù)提升的目的。

模型采用評(píng)估項(xiàng)和能力級(jí)兩個(gè)維度進(jìn)行設(shè)計(jì)，每個(gè)能力級(jí)包含通過對(duì)每個(gè)評(píng)估點(diǎn)的量化考核，綜合權(quán)重計(jì)算獲得最終的能力級(jí)別。

3.2 評(píng)估過程

基于該模型架構(gòu)，使用模糊綜合評(píng)價(jià)方法或參考TPI模型評(píng)估過程方法進(jìn)行。以TPI模型評(píng)估過程為例，將測(cè)試成熟度數(shù)值域分為3類：受控的(1～5)、有效的(6～10)和優(yōu)化的(11～13)，表2演示了不同級(jí)別測(cè)試能力評(píng)估的可能結(jié)果。對(duì)于評(píng)價(jià)結(jié)果的分析，必須考慮評(píng)價(jià)要素的相關(guān)性因素，來判斷評(píng)價(jià)結(jié)果是否合理、客觀。為此，評(píng)價(jià)之前必須開展要素間的相關(guān)性分析，衡量兩個(gè)變量因素的相關(guān)密切程度，確定要素間的相關(guān)性矩陣與評(píng)價(jià)結(jié)果進(jìn)行比對(duì)。

表2 能力評(píng)估示例

4 結(jié)束語

國內(nèi)軟件檢測(cè)機(jī)構(gòu)面臨著技術(shù)、管理和市場(chǎng)的多重壓力。一方面，信息化技術(shù)得到飛躍式發(fā)展，要求軟件測(cè)試面向新體系、新架構(gòu)需要不斷創(chuàng)新，持續(xù)提升技術(shù)和管理水平，以適應(yīng)新技術(shù)的應(yīng)用和發(fā)展需求，如軍委科技委某領(lǐng)導(dǎo)在視察時(shí)強(qiáng)調(diào)“檢測(cè)機(jī)構(gòu)不僅是醫(yī)院，更應(yīng)該是醫(yī)學(xué)研究所?！绷硪环矫?，2014年國務(wù)院辦公廳轉(zhuǎn)發(fā)了中央編辦、質(zhì)檢總局《關(guān)于整合檢驗(yàn)檢測(cè)認(rèn)證機(jī)構(gòu)的實(shí)施意見》，未來國家要培育一批技術(shù)能力強(qiáng)、服務(wù)水平高、規(guī)模效益好、具有一定國際影響力的檢驗(yàn)檢測(cè)認(rèn)證集團(tuán)。軟件測(cè)試機(jī)構(gòu)必須立足國家戰(zhàn)略，做好與國際接軌準(zhǔn)備。解決這些問題，必須開展軟件測(cè)試能力評(píng)定和過程改進(jìn)的研究。而國內(nèi)目前對(duì)此方面的研究較少，缺乏可借鑒的成功案例?；诖吮尘埃容^了多種國際通用模型的特點(diǎn)，綜合各方面優(yōu)劣，提出了適應(yīng)國內(nèi)專業(yè)軟件測(cè)試機(jī)構(gòu)的評(píng)估和改進(jìn)模型。各機(jī)構(gòu)可根據(jù)該模型架構(gòu)，設(shè)計(jì)符合自身需求的指標(biāo)和度量元，開展相關(guān)的評(píng)估和改進(jìn)工作。未來在大量實(shí)踐的基礎(chǔ)上，逐步可形成標(biāo)準(zhǔn)化方法，規(guī)范國內(nèi)專業(yè)軟件測(cè)試行業(yè)管理，以提升國家整體檢測(cè)能力和水平。