基于TMMi的軟件測(cè)試過程改進(jìn)

濰柴動(dòng)力股份有限公司 劉建飛 秦玉軍

本文介紹了引入TMMi 模型的原因及TMMi 成熟度級(jí)別，通過實(shí)施基于TMMi 的測(cè)試過程改進(jìn)，構(gòu)建了一套符合汽車行業(yè)特點(diǎn)的軟件測(cè)試流程，并在項(xiàng)目中實(shí)施應(yīng)用，獲得了TMMi 3 級(jí)認(rèn)證，實(shí)現(xiàn)了測(cè)試效率和軟件質(zhì)量的提高。

近年來，隨著智能化、網(wǎng)聯(lián)化、電動(dòng)化、共享化在汽車產(chǎn)業(yè)的不斷發(fā)展，汽車軟件的規(guī)模和復(fù)雜性急劇增加，軟件系統(tǒng)中潛在的風(fēng)險(xiǎn)越來越高，軟件缺陷引發(fā)的后果也越來越嚴(yán)重，而提高軟件質(zhì)量的成本越來越高，測(cè)試費(fèi)用約為總成本的30%～40%，為提高軟件測(cè)試效率以及軟件質(zhì)量保證能力，測(cè)試團(tuán)隊(duì)做了很多探索和嘗試。

（1）引入了CMMI，軟件質(zhì)量管理取得了一定成效，但僅能提供基礎(chǔ)性的保障。CMMI 雖然提供了一整套研發(fā)管理規(guī)范，但關(guān)注的重點(diǎn)是軟件項(xiàng)目宏觀的過程管理、是否有階段性的交付成果等，而對(duì)于軟件質(zhì)量控制的關(guān)鍵環(huán)節(jié)——軟件測(cè)試的關(guān)注嚴(yán)重不足，軟件質(zhì)量難以得到有效提升[1]。

（2）經(jīng)過調(diào)研TMMi（Test Maturity Model Integration）是當(dāng)前國(guó)際最權(quán)威的測(cè)試組織成熟度認(rèn)證體系，其根本理念就是讓軟件測(cè)試從一個(gè)無序的、缺乏資源的、缺乏工具的、過程不明確的測(cè)試組織過程，發(fā)展成為“以缺陷預(yù)防為主要目標(biāo)”的成熟可控的過程[2]。測(cè)試團(tuán)隊(duì)學(xué)習(xí)借鑒TMMi 的體系方法，與CMMI 研發(fā)管理流程充分融合，基于TMMi 的2 級(jí)、3 級(jí)過程域及目標(biāo)構(gòu)建了一套符合汽車行業(yè)特點(diǎn)的包含軟件、硬件和系統(tǒng)的測(cè)試流程。

1 TMMi 簡(jiǎn)介

TMMi，全稱Test Maturity Model Integration，即“測(cè)試成熟度模型集成”，是由TMMi 基金會(huì)開發(fā)的一個(gè)非商業(yè)化的、獨(dú)立于組織的測(cè)試成熟度模型。它是測(cè)試過程改進(jìn)的一個(gè)先進(jìn)模型，可用作組織的測(cè)試過程改進(jìn)指南和參考框架。

TMMi 以美國(guó)伊利諾伊理工學(xué)院開發(fā)的TMM 框架為主要來源，借鑒了CMM/CMMI、Gelperin 和Hetzel 的測(cè)試模型演進(jìn)以及其他一些關(guān)鍵測(cè)試標(biāo)準(zhǔn)，如IEEE829.ISTQB 等[3]。

TMMi 中的測(cè)試是一種廣義的定義，它包含所有產(chǎn)品質(zhì)量相關(guān)的活動(dòng)。TMMi 屬于階段型改進(jìn)模型，該階段型模型使用預(yù)先定義的一系列過程域來為組織定義改進(jìn)途徑。模型組件所描述的改進(jìn)途徑被稱為成熟度級(jí)別。一個(gè)成熟度級(jí)別是明確定義的為了實(shí)現(xiàn)組織過程改進(jìn)演進(jìn)的穩(wěn)定階段。在TMMi 中有5 個(gè)級(jí)別，如表1所示，規(guī)定了成熟度級(jí)別和測(cè)試過程改進(jìn)的路徑。

表1 TMMi 成熟度級(jí)別Tab.1 TMMi maturity level

除了TMMi 初始級(jí)，其他成熟度級(jí)別都包括了幾個(gè)過程域，其表明組織的測(cè)試過程改進(jìn)應(yīng)集中關(guān)注在哪里。每個(gè)過程域明確定義了組織要達(dá)到成熟度級(jí)別所必須要解決的問題，針對(duì)每個(gè)過程域定義了一系列測(cè)試活動(dòng)，通過執(zhí)行測(cè)試活動(dòng)不斷改進(jìn)改過程域的測(cè)試實(shí)踐。下面詳細(xì)介紹基于TMMi 的2 級(jí)、3 級(jí)過程域及目標(biāo)進(jìn)行的測(cè)試改進(jìn)過程。

2 測(cè)試改進(jìn)過程

TMMi 測(cè)試改進(jìn)過程主要分為五個(gè)階段，如圖1所示。

圖1 TMMi 過程改進(jìn)階段Fig.1 TMMi process improvement stage

第一個(gè)階段是啟動(dòng)階段，組建過程改進(jìn)團(tuán)隊(duì)。

第二個(gè)階段是診斷階段，制定差距分析計(jì)劃，進(jìn)行差距分析。

第三個(gè)階段是建立階段，制定過程改進(jìn)計(jì)劃，進(jìn)行過程建立和改進(jìn)。

第四個(gè)階段是行動(dòng)階段，進(jìn)行過程改進(jìn)試點(diǎn)及推廣。

第五個(gè)階段是學(xué)習(xí)階段，進(jìn)行TMMi 評(píng)估認(rèn)證及過程改進(jìn)總結(jié)。

測(cè)試過程改進(jìn)過程參考上述的五個(gè)階段進(jìn)行開展，首先組建過程改進(jìn)團(tuán)隊(duì)，主管領(lǐng)導(dǎo)牽頭，以測(cè)試經(jīng)理、測(cè)試人員為主，視情況協(xié)調(diào)其他相關(guān)部門的人員支持，如開發(fā)人員、架構(gòu)師等，組建持續(xù)改進(jìn)的團(tuán)隊(duì)。下面詳述診斷階段，如何進(jìn)行差距分析。

2.1 軟件測(cè)試過程差距分析

首先確定以TMMi 3 級(jí)為測(cè)試改進(jìn)實(shí)施的目標(biāo)，而TMMi 3 級(jí)涉及的過程域如表2所示，軟件測(cè)試改進(jìn)過程主要是針對(duì)這10 個(gè)過程域進(jìn)行開展。

表2 TMMi 3 級(jí)涉及的過程域Tab.2 Process areas involved in TMMi Level 3

其次借助文檔檢查和員工訪談等方式，結(jié)合行業(yè)相關(guān)標(biāo)準(zhǔn)及TMMi 模型要求，深入分析測(cè)試管理方面存在的問題和可優(yōu)化環(huán)節(jié)。通過量化打分的方式展現(xiàn)目前各領(lǐng)域的現(xiàn)狀，輸出差距分析表，如圖2所示，發(fā)現(xiàn)6 項(xiàng)特殊目標(biāo)、11 項(xiàng)通用目標(biāo)未達(dá)標(biāo)。

圖2 差距打分表Fig.2 Gap scoring table

最后根據(jù)差距分析結(jié)果，可以直觀了解TMMi 的滿足情況，以及離TMMi 目標(biāo)要求的差距，從而明確改進(jìn)的方向。進(jìn)入測(cè)試改進(jìn)過程的第三個(gè)階段，從測(cè)試流程、測(cè)試技術(shù)和測(cè)試人員能力提升方面制定測(cè)試改進(jìn)實(shí)施計(jì)劃。

2.2 軟件測(cè)試管理與流程改進(jìn)

首先根據(jù)業(yè)務(wù)發(fā)展需要，規(guī)劃測(cè)試團(tuán)隊(duì)，測(cè)試團(tuán)隊(duì)的組織架構(gòu)示意圖如圖3所示，結(jié)合測(cè)試團(tuán)隊(duì)規(guī)劃的崗位和勝任要求，量身制定相應(yīng)的培訓(xùn)計(jì)劃，確保各崗位人員達(dá)到崗位勝任力要求。

圖3 測(cè)試組織架構(gòu)圖Fig.3 Test organization structure

其次根據(jù)測(cè)試管理需求以及測(cè)試管理方面存在的問題，設(shè)計(jì)測(cè)試管理流程架構(gòu)，如圖4所示，構(gòu)建符合實(shí)際需要的一套測(cè)試管理流程。

圖4 測(cè)試管理流程架構(gòu)圖Fig.4 Test management process architecture

最后，在搭建測(cè)試管理流程過程中，累計(jì)完成TMMi的10 個(gè)過程域的36 個(gè)改進(jìn)點(diǎn)。建立測(cè)試方針與策略、測(cè)試管理手冊(cè)、測(cè)試生命周期模型、測(cè)試項(xiàng)目管理、測(cè)試環(huán)境管理等8 項(xiàng)測(cè)試管理文件；建立軟件合格測(cè)試、硬件測(cè)試、系統(tǒng)測(cè)試、系統(tǒng)驗(yàn)證、法規(guī)抽檢、同行評(píng)審等6 項(xiàng)具體過程規(guī)范文件；制定各類報(bào)告模板、評(píng)審依據(jù)、核查單等20 余項(xiàng)，形成公司寶貴的測(cè)試管理資產(chǎn)。

2.3 軟件測(cè)試環(huán)境與工具鏈改進(jìn)

信息在工具中的孤立存在，對(duì)測(cè)試管理是一種低效且難以有效服務(wù)管理工作的狀態(tài)。建立和部署一體化管理信息系統(tǒng)，有助于促進(jìn)組織內(nèi)部將實(shí)踐、過程、運(yùn)作進(jìn)行形式化和標(biāo)準(zhǔn)化，提高組織管理成熟度。一個(gè)有效的工具鏈應(yīng)能提高研發(fā)項(xiàng)目的成功率，幫助研發(fā)團(tuán)隊(duì)提高效率，降低項(xiàng)目成本，并提高項(xiàng)目的及時(shí)交付率。全生命周期模型的管理工具應(yīng)能夠融合方法論、TMMi 模型以及其他測(cè)試管理實(shí)踐。

引入看板作為項(xiàng)目任務(wù)管理工具，搭建WeKan 系統(tǒng)，進(jìn)行測(cè)試任務(wù)的安排，讓項(xiàng)目協(xié)作權(quán)責(zé)分明、分工清晰，實(shí)現(xiàn)測(cè)試過程實(shí)時(shí)監(jiān)控及測(cè)試過程度量數(shù)據(jù)的高效統(tǒng)計(jì)。

搭建測(cè)試環(huán)境管理平臺(tái)，HIL 預(yù)約系統(tǒng)，將部門內(nèi)的測(cè)試環(huán)境錄入系統(tǒng)，測(cè)試人員在系統(tǒng)中可查看到當(dāng)前滿足測(cè)試條件的空閑HIL 信息，先預(yù)約再使用，釋放后其他人可預(yù)約使用；平臺(tái)上可監(jiān)控每臺(tái)HIL 的實(shí)際利用情況，通過白天手工測(cè)試及晚上自動(dòng)化連跑的方式，對(duì)測(cè)試環(huán)境實(shí)現(xiàn)高效充分的利用。

建立測(cè)試資產(chǎn)管理平臺(tái)-Wiki（多人協(xié)作的寫作系統(tǒng)），將培訓(xùn)材料、測(cè)試文檔、規(guī)范模板等分類上傳到系統(tǒng)，實(shí)現(xiàn)部門內(nèi)知識(shí)共享和信息整合，提高資產(chǎn)的復(fù)用率。

3 項(xiàng)目應(yīng)用及效果

將上述的基于TMMi 的測(cè)試改進(jìn)流程應(yīng)用到實(shí)際項(xiàng)目中，在項(xiàng)目的實(shí)施過程中，記錄發(fā)現(xiàn)的不符合項(xiàng)，并評(píng)價(jià)各個(gè)過程滿足TMMi 要求的程度如圖5所示。

圖5 差距打分表Fig.5 Gap scoring table

通過對(duì)發(fā)現(xiàn)的不符合項(xiàng)進(jìn)行原因定位和解決，進(jìn)行測(cè)試流程的持續(xù)優(yōu)化和改善，逐步形成一套適合本測(cè)試團(tuán)隊(duì)業(yè)務(wù)，符合行業(yè)標(biāo)準(zhǔn)要求的測(cè)試管理流程，最終獲得TMMi 的3 級(jí)認(rèn)證。

在項(xiàng)目應(yīng)用過程中，建立14 項(xiàng)測(cè)試流程規(guī)范，確保測(cè)試過程可控，測(cè)試方法一致，確保測(cè)試質(zhì)量穩(wěn)定，使得測(cè)試過程更加規(guī)范；經(jīng)過培訓(xùn)，測(cè)試人員專業(yè)能力得到提升；根據(jù)風(fēng)險(xiǎn)分析開展不同程度的測(cè)試，測(cè)試用例覆蓋率提高30%，自動(dòng)化率提高46%，測(cè)試效率進(jìn)一步提高；數(shù)字化決策平臺(tái)實(shí)時(shí)監(jiān)控項(xiàng)目進(jìn)展情況，實(shí)時(shí)度量缺陷嚴(yán)重度、缺陷狀態(tài)分布，質(zhì)量監(jiān)控可視化程度提高；細(xì)化測(cè)試過程流程圖，完善指導(dǎo)文件、模板20 余項(xiàng)，管理成本有效降低；建立組織級(jí)過程資產(chǎn)庫(kù)，建立復(fù)用資產(chǎn)390 余項(xiàng)，資產(chǎn)復(fù)用率進(jìn)一步提高。

4 結(jié)語(yǔ)

通過項(xiàng)目的試用，基于TMMi 的測(cè)試過程改進(jìn)可以幫助測(cè)試部門提高軟件測(cè)試效率，提升軟件質(zhì)量保證能力。下一步，需要在部門內(nèi)的所有項(xiàng)目中進(jìn)行推廣落地，在實(shí)施過程中持續(xù)改進(jìn)，優(yōu)化流程，實(shí)現(xiàn)測(cè)試流程的動(dòng)態(tài)持續(xù)改進(jìn)，進(jìn)一步提高軟件測(cè)試效率。