軍用軟件測試工作量的動態估計方法研究

宋亞魁 張 剛 王 瑞（中國航天系統科學與工程研究院，北京 100048）

軍用軟件測試工作量的動態估計方法研究

宋亞魁 張 剛 王 瑞（中國航天系統科學與工程研究院，北京 100048）

軍用軟件測試通常作為一個獨立的項目進行管理。對軟件測試項目進行合理、準確的工作量估計是保證測試工作順利完成的重要前提。為解決目前軟件測試項目工作量估計準確率較低的問題，采用一種動態的估計方法，將工作量估計貫穿于軟件測試項目的整個生命周期，實現了工作量估計方法的持續改進。實驗結果表明，該動態估計方法能夠有效地提高估計精度。

軍用軟件，軟件測試，工作量估計，生命周期，動態估計

引 言

在軍用軟件的整個生命周期中，軟件測試已作為一項強制性要求被納入到其研制生產過程當中。要保證軍用軟件的測試質量，就必須確保軟件測試過程的獨立性。目前，軍用軟件測試工作通常由獨立的軟件評測中心負責完成，軍用軟件測試通常作為一個獨立的項目進行管理。對軍用軟件測試項目進行合理、準確的工作量估計，是保證軍用軟件測試工作順利完成的重要前提之一。目前，研究人員已提出了一些估計軟件測試工作量的方法，但這些方法大都從軟件工作量估算模型轉化而來，估算結果的準確率都非常低。

考慮到獨立的軟件測試項目與軟件開發項目一樣，具有本身的生命周期，所以，軍用軟件測試工作量估計應該是一個隨著測試項目進行而不斷改進的過程，而且，該過程應貫穿于軍用軟件測試項目的整個生命周期，這就要求對軍用軟件測試項目的工作量進行動態估計。

1 估計方法概述

考慮到項目信息是隨著項目的推進而不斷豐富和細化的，所以，在具體的軍用軟件測試項目管理當中，工作量估計應該是一個持續改進、優化的過程。如圖1所示，可以將工作量估計分為3個階段：

一是初始階段，確定當前項目的測試類型和測試范圍，在歷史數據庫中選擇同類項目數據進行估計模型的定制，并使用定制的模型，估算當前軟件測試項目的工作量。

二是在軟件測試項目執行過程中，跟蹤項目進度，當實際進度與計劃進度偏差較大時，及時調整項目過程或重新估計工作量。

圖1 軟件工作量估算過程框架

三是項目結束后，對工作量估算方法與估計結果進行評價，并將測試項目的過程數據匯總到歷史數據庫中，以提高未來工作量估算工作的準確性。

2 初始工作量估計

目前，研究人員已經開發出了一些軟件測試工作量估算模型，但由于通用模型參數的設置與各軟件測試項目的實際情況不符等原因，這些模型的估算準確率通常都不高。所以，本文采用基于經驗的回歸分析法來估算軍用軟件測試工作量。工作量影響因子相關會使回歸分析算法的結果不穩定，為解決這一問題，本文引入主成分分析方法來提取特征值，提出了一種基于主成分分析的回歸分析法，并采用該方法進行軍用軟件測試工作量的估計。

2.1 基于主成分分析的回歸估算模型的建立

大量實踐經驗表明，傳統的主成分分析法僅在處理樣本矩陣呈現線性結構的問題時才具有良好的效果，而對于軍用軟件測試工作量估計問題，工作量影響因子通常都是非線性結構的，這一點在COCOMO模型的表達式中得到了明顯的體現。所以，要將主成分分析方法引用到軍用軟件測試工作量估計當中，就必須對主成分分析方法的過程進行擴展改進，使其適用于非線性結構的樣本數據。本文在應用主成分分析方法之前，先將原樣本數據取對數，這樣原樣本空間數據的數乘關系就轉化成了線性關系。

改進后的主成分分析方法的一般步驟為：（1）確定原始數據集

其中，第j個因子Xj=（x1jx2jx3j… xnj）T。

（2）求樣本相關矩陣

對X進行對數化處理，將對數化數據陣記為Y=（yij）n×p，其中yij=lg（xij）。

再將對數化后的樣本數據采用相關系數法來構建樣本相關矩陣。

記相關矩陣為R=（rij）n×p，則：

顯然，R為對稱矩陣，且對角線上元素全為1。

（3）求相關矩陣的特征值和特征向量

然后，求解齊次線性方程組（R-λI）L=0，可以得到λ1、λ2、…、λp對應的特征向量L1、L2、…、Lp，其中，Lj=（l1jl2j… lpj）T。

（4）計算各主成分的貢獻率。記第j個主成分的貢獻率為bj，則：

（5）計算累計貢獻率，前k個主成分的累計貢獻率為：

（6）建立主成分

首先提取主成分，按照累計貢獻率wk＞95%的準則，確定提取前k個主成分。然后，計算主成分，第j個主成分為：Zj=YLj=l1jY1+l2jY2+…+lpjYp，其中，Y1、Y2、…、Yp為對數化指標變量，Yj=（y1jy2j… ypj）T。

所以有：

可以用新的主成分因子樣本值Z=（zij）n×k來代替原樣本值X進行統計分析。而Z中因子是不相關的。

考慮到主成分分析方法中的貢獻率實際上實現了對各個主成分權重的客觀賦值表現，所以，在經過拓展的主成分分析完成后，可以對各主成分進行加權平均，得到綜合了各個影響因子的綜合評價指標：

然后，分析綜合評價指標與工作量之間的相關性，建立綜合評價指標與工作量之間的非線性或線性回歸模型。本文采用的回歸模型為：

然后根據歷史數據進行回歸分析，確定系數a0、a1、a2、a3的值。

2.2 初始階段工作量估算

完成主成分分析和回歸分析后，就可以利用分析的結果來估算軍用軟件測試新項目的工作量了。

估算軍用軟件測試新項目的工作量的一般過程如下：

（1）提取項目的影響因子為：α=（α1α2… αp）；

（2）將影響因子對數化：β=（lgα1lgα2… lgαp）；

（3）提取主成分：ω=βL=[ω1ω2…ωk]，其中ωj=βLi；

（4）綜合評價指標為：（5）計算工作量的對數估算值：

（6）計算工作量的估算值：E=10m。

2.3 初始工作量估計實例驗證

表1給出了16個已完成的同類功能軟件測試項目在初始階段的工作量影響因子信息及最后實際的首輪軟件測試工作量信息。

對于以上樣本前15組數據中的因子矩陣，采用拓展的主成分分析方法提取主成分，并計算綜合評價值，然后將其與實際工作量擬合，工作量對數與綜合評估值擬合曲線如圖2所示，結果如表2所示。

表2 模型匯總和參數估計值

由R2=0.999可以看出，擬合結果非常好，工作量與綜合評估指標滿足：lg（E）=15.305Q-48.327Q2+54.778Q3。

計算第16組數據的綜合評估值為0.2891，代入上式中可得到估計的工作量為51.19人日，而實際工作量為48人日。計算相對誤差為6.64%，這個結果對于初始階段來說估計效果較好。

表1 軟件測試項目初始影響因子和工作量信息

圖2 工作量對數與綜合評估值擬合曲線

3 執行中的工作量估計

考慮到項目計劃的制定都是以事先估計的工作量為依據，所以，對軟件測試工作量的估計不僅僅是對未來工作量的簡單預測，更是以此獲得項目管理的目標。制定目標后，項目組就應該嚴格按照項目計劃執行項目過程，盡量使整個軟件測試項目最終按照計劃完成。這就需要對項目執行過程中的工作量完成情況進行監控。

3.1 項目中的進度監控

在項目執行過程中，要定期對軍用軟件測試項目的實際進度信息進行采集，并與計劃情況進行對比。當兩者偏差不是特別大，并處于可控范圍內時，可以針對誤差產生原因進行分析，并及時對項目實施過程進行調整，以使實際進度與計劃相符；而當偏差值太大，超過了軟件測試項目的重大偏差標準時，微調手段已經無效，說明實際的軟件測試執行進度與計劃安排不符，測試任務不可能在計劃安排的時間附近完成，也就是說初始制定的計劃不合理，這時候就需要對軟件測試項目的工作量進行重新估計，制定新的項目計劃，以適應實際的項目進度。

本文將工作量估計作為貫穿于軟件測試項目整個生命周期的動態過程進行管理。完成整體項目的工作量估計并制定項目計劃后，在項目實施過程中通過實時監控和人為干預等手段，使軟件測試工作進度盡量按照制定的項目計劃來完成（只有在發生重大偏差時，才需要重新估計工作量和制定新計劃）。這樣，可以達到盡可能降低軟件測試項目延誤率的目標，從某種意義上來說，也提高了軟件測試項目工作量估計的準確度。

3.2 動態工作量估算方法應用實例

如圖3所示，是采用動態工作量估計方法跟蹤一個軟件測試新項目的進程所得到的結果。

從圖中可以看出，項目前2周為需求分析階段，實際進度比計劃進度稍快；第3周后，工作進展變慢，使得計劃值與實際值達到一致，這主要是因為用例設計和執行的第1周測試人員對實際系統還不夠熟悉；之后雖然隨著測試的進行，工作效率有所提高，但是實際進度還是逐漸落后于計劃值；尤其到第10周左右，項目進展開始變緩，到第11周時實際進度與計劃進度的偏差達到最大值，這主要是因為項目進行到后期，已經完成的測試中發現的問題需要與軟件開發方進行確認，并且需要集中解決項目中的復雜用例和前期由于缺少數據等原因暫時無法執行的用例。據項目組中經驗豐富的軟件測試項目負責人估計，如果按部就班地按照測試流程走下來，該項目會超期將近3周才能完成，如圖中虛線所示。這時候就需要項目組采取一定的措施，使得這個偏差值逐步減少。

圖3 某軟件測試新項目工作量監控圖

所以，從第12周開始，留下經驗豐富的項目組成員負責與開發方溝通并完成剩下的復雜用例測試，分出一部分項目組成員開始編寫測試總結和報告，這樣就大大加快了項目進度，使實際進度與計劃值偏差持續縮小，最終測試項目實際進度比計劃值僅落后1周，如圖3中實線所示，相應的工作量估計相對誤差僅為6%左右。

4 結項后的工作量分析

項目計劃是項目監控的比較基準，為了避免項目計劃的頻繁變更，在項目初始階段就要盡量準確地估計工作量，而初始階段對工作量的估計準確性，取決于歷史項目經驗和估計方法選擇的合理性。而這些經驗的積累依賴于每次項目結束后對估計方法的評價總結。

項目結束后，該項目的實際工作量數據成為已知，因此，可以將實際工作量數據與計劃工作量數據進行比較，對工作量估計方法與估計結果進行評價，找出工作量估計中偏差出現的原因，并制定相應的改進方法，將本次項目的相關數據反饋給企業建立數據庫，以持續改進工作量估計方法，最終達到提高工作量估計精度的目的。這是對項目工作量進行動態管理的必要措施。

例如，在驗證實例中，到項目后期，工作人員發現，開發方的研發水平及測試數據準備的充分性等因素也會影響軟件測試項目的工作量，而且，這些因素在項目初期也是可以進行初步評估量化的。因此，可以在歷史數據庫中補充歷史項目的這些因素信息，以在之后估算同類項目的工作量時考慮這些附加因素的影響。

另外，在項目實施過程中還發現，項目復雜程度對工作量的影響相對于其它因子更為顯著，所以，在對該因子量化處理時可以對權重值進行適當調整。具體如何調整還有待進一步研究。

5 結束語

軍用軟件測試通常作為一個獨立的項目來進行管理，具有完整的生命周期，因此，對軍用軟件測試項目工作量的估計應該是一個動態過程，只有通過持續的改進才能提高工作量估計的準確性，才能保證項目按計劃完成。

本文針對軍用軟件測試項目執行前、執行中和執行后3個階段來闡述工作量的動態估計方法，將工作量估計貫穿于項目的始終，可以減少軍用軟件測試項目的延誤率，進而提高軍用軟件測試項目的工作量估計精度。

研究發現，實現工作量估計的動態管理，不僅需要在初始估計時使用正確的、符合項目實際情況的估計方法，在項目實施過程中也要以偏差為依據，對工作量進行實時監控。在項目實施完成后，還要對工作量估計方法與估計結果進行評價，并將本次項目的相關數據納入歷史項目數據庫中，以持續改進工作量估計方法。

另外，隨著軟件行業的蓬勃發展，為了提高競爭力，民用軟件行業對軟件質量的要求也越來越高，軟件測試也逐漸從軟件開發項目中獨立出來。所以，本文提出的軍用軟件測試項目的工作量估計方法，在民用軟件行業也具有廣闊的應用前景。

1 江震. 軟件項目工作量估算的規模不經濟[J]. 中國科技信息, 2008, (19): 109～111

2 William E. Lewis Gunasekaran Veerapillai. 軟件測試與持續質量改進（第2版）[M]. 陳紹英, 張河濤, 劉建華, 等譯. 北京: 人民郵電出版社, 2008

3 李希燦, 邢文潔. 多目標系統多維模糊決策理論模型[J]. 山東農業人學學報, 2001, (3): 336～340

4 CAPES J. Applied software measurement: global analysis of productivity and quality[J]. McGraw Hill, 2008, (3): 120～125

5 劉杰生. 軟件成本估算方法與技術現狀探討[J]. 艦船電子工程, 2000, 20(4): 13～16

6 SINHAL A, VERMA B. A novel fuzzy based approach for effort estimation in software development[J]. ACM SIGSOFT Software Engineering Notes, 2013, 38(5): 1～6

7 CAIVANO D, LANCBILE F, VISAGGIO G. Software renewal process comprehension using dynamic effort estimation [C]. //Pros of IEEE International Conference on Software Maintenance. [S. 1.]: IEEE Press, 2001: 209～218

8 楊光宇, 曾東方, 羅平. 考慮短板效應的一種度量模型及其在軟件可信性中的應用[J]. 計算機應用研究, 2012, 29(1): 165～167

Study on Dynamic Estimation Method of Military Software Testing Work

Song Yakui Zhang Gang Wang Rui
(China Academy of Aerospace Systems Science and Engineering, Beijing 100048)

Military software testing has often been managed as a separate project. The reasonable and accurate estimation of effort for software testing project is an important premise for the completion of software testing work. To solve the problem of low accuracy in the current effort estimation methods, the dynamic estimation method has been proposed. The dynamic estimation method will be carried out throughout the entire life cycle of the software testing project and can improve the estimation method continuously. The results of experiments show that the estimation method can improve the estimation precision effectively.

Military Software, Software testing, Effort estimation, Life cycle, Dynamic estimation

1009-8119（2015）10（1）-0054-04