移動應用眾包測試質量影響因素分析

成 靜，葛璐琦，張 濤，劉 瑩，張逸飛

(1.西安工業大學 計算機科學與工程學院，西安 710021； 2.西北工業大學 軟件與微電子學院，西安 710072;3.西北工業大學 計算機學院，西安 710068)

移動應用眾包測試是一種將傳統內部執行的測試任務以自由自愿方式外包給網絡匿名大眾用戶的測試行為[1]。眾包測試因其可在線招募測試專家、無需準備測試環境與設備等低成本的測試方式而被移動應用開發商及個人所使用[2]。然而，因移動應用復雜的測試環境、多樣化的測試需求、能力水平不一的測試參與人員，令移動應用眾包測試的開展面臨復雜的質量因素影響，測試質量難以得到有效保障。

目前，眾包測試質量保證研究主要集中在以下方面：

1)眾包工作者的信譽問題。通過評估工作者的信譽值，將其作為眾包平臺識別惡意工作者或選擇接包方工作者的重要指標[3]。阮閃閃等[4]通過證據理論計算出眾包測試者的直接信譽和間接信譽，評定綜合信譽，檢測出惡意工作者。肖江輝[5]通過對眾包測試人員的可信度進行建模，根據測試人員的測試表現，提交的Bug數量以及Bug等級，給出一個可信度值，從而對眾包測試人員的可信度進行評估。

2)眾包平臺的獎勵機制。眾包平臺通過設置合理的激勵機制，讓接包工作者具有較高的工作動力[6]。一般情況下，眾包平臺都是通過提供金錢報酬的方法來促進工作者的動力。當眾包工作者提交任務后，發包方將以現金的形式支付給工作者一定的工作報酬[7]。 Wen等[8]基于質量驅動的拍賣理論，提出了針對移動群智感知環境的眾包激勵機制。

3)眾包結果的質量控制。通過對眾包工作者提交的結果質量進行評估，來識別一些惡意的工作者，保證眾包任務的質量[9]。目前最流行的方法是通過建立概率模型，并使用期望最大化(Expectation Maximization, EM)算法和其他推理工具計算誤差率，進而對眾包人員的工作進行評價[10]。

然而，上述研究僅對眾包測試質量的保證措施開展，而未針對影響眾包測試質量的基本關鍵因素進行深入分析。本文從眾包測試人員、眾包測試平臺、眾包測試任務這3個方面出發，結合斯皮爾曼相關分析、多元逐步回歸技術對移動應用眾包測試進行全面的質量影響因素分析，進而篩選出移動應用眾包測試質量關鍵影響因素。

1 移動應用眾包測試質量影響因素分析過程

移動應用眾包測試質量影響因素的分析過程主要包括數據收集、斯皮爾曼相關系數分析、逐步回歸法建立模型、模型評估這幾個步驟，其具體過程如圖1所示。

圖1 移動應用眾包測試質量影響因素分析過程

首先，通過抓包程序抓取眾測平臺上近幾年的相關移動應用測試的數據，并從眾包測試人員、眾包測試平臺、眾包測試任務三個維度來分析對測試質量產生影響的因素。其次，通過斯皮爾曼相關系數計算各潛在因素與測試質量之間的相關性，識別出與測試質量顯著相關的因素，剔除掉與測試質量相關性弱或無關的數據。最后，通過多元回歸分析方法建立各影響因素與測試質量之間的分析模型，并使用相對平均誤差對模型評估，當具備較好評估效果時，則結束關鍵質量影響因素的篩選過程。

表1 眾包測試人員、平臺及任務質量影響因素

2 潛在影響因素分析

針對目前已有的移動應用眾包測試質量研究成果[11]以及移動應用眾包測試相關特性，本文從眾包測試人員、眾包測試平臺、眾包測試任務3個方面對測試質量影響因素進行分析，并給出了相應的度量方式。移動應用眾包測試質量影響因素如圖2所示。

1)眾包測試人員因素。

眾包測試人員是眾包測試任務的執行方，眾包測試人員的專業能力以及信用問題等都會對眾測結果產生極大影響，因此在眾包測試任務執行過程中，邀請高水平、高信用的眾包測試人員十分關鍵。

2)眾包測試平臺因素。

眾包測試平臺是眾包測試工作的開展平臺，為測試人員提供測試任務選擇與接收以及測試相關工具。在測試平臺方面，任務發布天數是衡量一個平臺的重要因素，該因素說明平臺用戶的活躍程度。當存在較多活躍用戶及任務數，任務質量也相對較高。

圖2 移動應用眾包測試質量影響因素

3)眾包測試任務基本信息因素。

眾包測試任務基本信息是眾包測試任務發布的基本信息，如測試需求、薪酬、測試周期等。眾包測試任務基本信息是對參與測試人員的篩選，也是測試人員衡量任務是否合適自己的標準，故眾包測試任務的基本信息也對測試質量有潛在影響[12]。

綜上所述，移動應用眾包測試人員、平臺及任務三個方面的影響因素及度量方式如表1所示。

3 影響因素評估模型

3.1 斯皮爾曼相關分析

為研究各潛在因素與測試質量之間的相關密切程度，分析出移動應用眾包測試質量顯著相關的因素，需要進行相關性分析。在正式進行研究之前，本文從模擬搭建的小型眾包平臺中提取了200個相關數據作為訓練樣本，經過研究對比，發現這些數據中影響因素與測試質量之間的聯合分布不一定滿足正態分布，因此在本文中采用斯皮爾曼相關系數來研究各潛在因素與測試質量之間的相關性。經過對訓練樣本的實驗，發現采用斯皮爾曼相關系數可以快速且準確地篩選出移動應用眾包測試關鍵影響因素，故證明本方法是有效的。

斯皮爾曼相關系數也稱秩相關系數，是利用兩個變量的秩次大小來作線性相關分析，對于原始變量的分布不作要求，屬于非參數型統計方法。

斯皮爾曼相關系數計算時，需要對樣本數據進行排秩，其計算公式如下：

(1)

其中：di2=(R1i-R2i)2,表示兩變量之間秩差的平方，n為樣本容量，表示該潛在影響因素與測試質量有n對樣本值。rs的取值范圍在-1～+1，即-1≤rs≤1,rs>0為正相關，rs<0為負相關，如果rs=0，表示兩個變量之間完全不相關。

3.2 多元線性回歸模型

利用相關系數分析，僅是獲取因變量和自變量相關關系的方向和密切程度，需要通過回歸分析建立分析模型進一步分析與測試質量顯著相關的因素與測試質量之間的相互依賴關系。為了消除多重共線性對最終分析結果造成的干擾，本文采用逐步回歸法建立分析模型。

使用逐步回歸方法建立眾包測試質量分析模型的過程中將逐個引入自變量，并在引入同時檢查是否可以剔除某個變量，具體的實現步驟如下：

通過前一階段斯皮爾曼相關系數分析,篩選出p個與眾包測試質量顯著相關的因素為自變量，測試質量為因變量，就可以建立多元回歸模型。

多元回歸模型建立步驟：

首先對p個質量影響因素xi(1≤i≤p)分別擬合線性回歸模型

y=β0+βixi+ε

(2)

其中：β0,β1,…,βp是p+1個未知參數，ε是不可預測的隨機誤差，且通常假定ε～N(0,δ2)。y為因變量，即測試質量，影響因素xi為自變量，即上一階段得出的與測試質量顯著相關的影響因素。

然后計算F統計量：

(3)

其中：SSR(xi)表示通過該影響因素預測的測試質量與實際測試質量的均值的差的平方和，也稱之為回歸平方和；MSE(xi)表示通過該影響因素預測的測試質量與實際測試質量的差的平方和的均值。

選出F統計量中的最大值Fmax與測試質量影響因素的F臨界值FE進行比較：若Fmax≤FE，即除該影響因素xi1外的其他影響因素中沒有一個是統計上顯著的，則選取過程結束，上一步選擇的模型為最優模型；若Fmax>FE，則表示影響因素xi2質量的影響是顯著的，則將自變量xi2選入模型中。

此外，需計算當xi2進入模型后，xi2對y的影響是否仍然顯著。計算公式如下：

(4)

重復以上步驟，直到沒有新的影響因素能進入模型，同時在模型之中的已有影響因素都無法剔除，則結束選擇過程。最后一個模型即為所求的最優回歸模型，其得出的結果即可反映各影響因素與測試質量間的依賴關系。其中該模型中的自變量便為與測試質量顯著相關的影響因素，相關系數即為該影響因素與測試質量之間的密切程度。

4 仿真與分析

通過獲取某移動應用眾包測試平臺相關數據，根據斯皮爾曼相關系數計算出各因素與測試質量之間的關聯關系，進而篩選出關聯性較強的關鍵影響因素，利用多元逐步回歸法建立各影響因素與測試質量之間的線性關系。最后計算出模型預測結果與樣本實際結果之間的平均相對誤差完成對模型的評估分析。

4.1 數據獲取

本文通過爬蟲程序，獲取了某移動應用眾包測試平臺上發布的各類測試信息，包括任務類型、任務薪酬、測試周期等，測試人員的測試經驗、專業能力、信譽等級以及平臺成熟度等相關數據。在獲取到的2 048個測試任務數據中，分別統計眾包測試人員、平臺及任務樣本數據如表2所示。

表2 眾包測試人員、平臺、任務樣本數據

4.2 數據分析

根據獲取到的數據以及各因素數據的分布特征進行相關性分析。利用3.1節中的斯皮爾曼相關分析法，計算各影響因素與測試質量之間的斯皮爾曼的相關系數，以及在0.05的顯著性水平下，各影響因素與測試質量之間的斯皮爾曼顯著性，計算結果如表3所示。

表3 斯皮爾曼相關系數結果

由表7可知，在顯著性水平為0.05時，對測試質量有顯著影響的因素有測試人員測試經驗、測試人員專業能力、測試人員信譽度、參與任務數量、按時交稿任務數量、設計測試用例數量、測試用例執行數量、發現Bug數量、有效Bug數量、近期活躍用戶數量、近期平均任務質量、任務類型、任務要求數目、需求文檔長度這14個因素。其中任務要求數目和需求文檔長度的相關系數為負數，表明其值越高，則測試質量越低，其余因素皆與測試質量呈正相關；收益、測試周期、測試環境等由于樣本值分布比較集中，對測試任務區分性小，因此與測試質量沒有顯著相關性；測試人員專業能力和測試人員經驗這兩個因素之間具有重復性。因此可以篩選出測試人員專業能力、按時交稿任務數量、有效Bug數量、平均任務質量、任務類型、任務要求數目這6項為關鍵質量影響因素。

4.3 多元逐步回歸模型有效性評估

4.3.1 多元逐步回歸模型建立

將斯皮爾曼相關分析識別出的6個顯著影響因素作為模型的輸入，測試人員測試質量的分值作為輸出，建立多元逐步回歸模型。各影響因素的系數β、t檢驗值、P值以及方差膨脹因子(Variance Inflation Factor, VIF)的回歸結果如表4所示。

根據表4可知，該回歸模型中所有影響因素的P值是小于0.05的，表明其對測試質量有顯著影響，并且各影響因素的方差膨脹因子VIF均小于1.5，表明多元線性回歸模型中不存在多重共線性。

表4 回歸系數表

依據多元回歸結果，對測試質量有顯著影響的6個關鍵質量影響因素，可以用式(5)的多元線性回歸方程表示，其中TQ表示任務質量。

TQ=20.343+0.012×professionalAbility+0.291×SubmitTNum+0.087×ValidBugNum+0.577×TaskQuality+0.042×TaskType-0.153×TaskItemNum

(5)

從式(5)可以看到，在6項關鍵質量影響因素中，對移動應用眾包測試質量影響程度最大的為近期平均任務質量，其次為按時交稿任務數量。所以發包方為了提高移動應用眾包測試質量，可以考慮以上6個因素，尤其是可以選擇近期平均任務質量高及按時交稿任務數量高的測試人員來完成任務。

4.3.2 模型評估

為驗證多元線性回歸模型結果的準確性，本文使用平均相對誤差(Mean Relative Error, MRE)作為衡量指標，具體的計算公式如下：

(6)

其中:n為樣本數量，Qi為樣本值，Qi′為預測值，MRE的值越小表明模型的準確率越高，效果越好。本文隨機抽取樣本數據集中的近15天的數據為測試樣本，進行模型效果的計算，計算結果MRE值為3.08%。根據式(5)對模型結果進行預測，并以模型的預測值與網站樣本值作比較，在SPSS中建立如圖3所示的散點圖。

圖3 預測值與樣本值散點圖

MRE的結果值為3.08%表明模型的平均相對誤差很小，同時在圖3可以看到，檢驗數據中樣本值和預測值的結果非常接近，表明多元線性回歸模型和樣本數據集具備較好的擬合程度。因此，對于移動應用眾包測試質量影響因素分析，本文構建的基于斯皮爾曼相關分析及多元逐步回歸模型分析方法具有較好的適用性。

傳統眾包任務的評分機制往往是由眾包任務的發布者及專業的評審人員根據提交的軟件與需求的符合程度來對軟件的質量打分，因此，眾測平臺采用的質量評價機制所提供的測試質量得分也可以比較客觀地反映眾包測試人員完成測試任務的程度，和發現bug的數量以及等級。然而這種評分機制仍可能存在發布者惡意差評、專家在大量任務評估時出現差錯、消耗大量人力、評價效率低下等問題。為了進一步說明，本文在剔除任務發布者惡意差評的情況下，從測試樣本中隨機選取50,100,…,500組評分，以任務發布者評分為基準，分別計算本模型的評分及專家評分與任務發布者評分之間的平均相對誤差。計算結果如圖4所示。

由圖4可知，隨著樣本數量的增加，專家評分的平均相對誤差逐漸變大，而本模型評價的平均相對誤差卻穩定在一個相對較小的水平，說明本模型結果的可靠性。雖然大部分情況下，任務發布者的評分是客觀的，但仍存在少數惡意差評的情況。通過本模型，可以高效且準確地對任務質量進行評價，也進一步說明本文篩選出的6個關鍵影響因素是準確的，可通過對這6個關鍵影響因素對測試質量進行控制與提升。

5 結語

由于影響移動應用眾包測試質量的因素眾多，難以從中識別關鍵影響因素。本文通過斯皮爾曼相關系數分析及逐步回歸法建立分析模型對移動應用眾包測試質量影響因素進行分析篩選，識別出移動應用眾包測試關鍵質量影響因素。下一步將深入研究如何利用質量影響因素有效提高移動應用眾包測試質量。