一種基于累積分布函數(shù)的需求開發(fā)平臺滿意度模型的系統(tǒng)實(shí)現(xiàn)

黃晶晶，陳霞，王娟，劉曉富

(1.中國移動通信集團(tuán)信息技術(shù)有限公司，北京 100044；2.中國移動通信集團(tuán)江蘇有限公司，江蘇 南京 210029)

0 引言

對軟件平臺的滿意度[1]評估是軟件改進(jìn)的重要手段，傳統(tǒng)的問卷調(diào)查式滿意度評估方法對于大型軟件的復(fù)雜流程環(huán)節(jié)適用度不高。為了有效評估軟件平臺各個環(huán)節(jié)的滿意度，提升用戶使用體驗(yàn)，提出了一種基于累積分布函數(shù)[2-3]的滿意度模型對客戶滿意度進(jìn)行評估，幫助軟件開發(fā)組織，提高開發(fā)與管理工作的效率與能力。本文以需求開發(fā)平臺[4]為例，需求開發(fā)平臺功能隨著組織流程不斷增加變得更加復(fù)雜，其滿意度也更難評估。本文基于累積分布函數(shù)構(gòu)建滿意度評價模型，通過需求開發(fā)平臺各環(huán)節(jié)采集的基礎(chǔ)數(shù)據(jù)，分析挖掘評價滿意度所需各項指標(biāo)及其中的關(guān)鍵指標(biāo)，對數(shù)據(jù)分析清洗，最終成功分析內(nèi)部客戶在需求開發(fā)處理中的不滿意環(huán)節(jié)及原因。同時采用回歸[5]、異常點(diǎn)檢測[6-7]等多種算法，與本文模型所得結(jié)果進(jìn)行對比。

1 總體方案

傳統(tǒng)滿意度調(diào)查還是主要通過問卷調(diào)查方式開展，通過被測評對象對需求管理平臺進(jìn)行打分，但隨著系統(tǒng)日益復(fù)雜，籠統(tǒng)的打分無法獲知影響客戶滿意度的主要環(huán)節(jié)從而進(jìn)行系統(tǒng)改進(jìn)。

為了更好地量化滿意度指標(biāo)，并準(zhǔn)確找到不滿意的環(huán)節(jié)，于是構(gòu)建滿意度評估模型，并設(shè)計出情緒感知值，將業(yè)務(wù)流轉(zhuǎn)的環(huán)節(jié)與整個系統(tǒng)的滿意度進(jìn)行關(guān)聯(lián)，從而達(dá)到準(zhǔn)確定位影響感知的環(huán)節(jié)。

1.1 模型提出和設(shè)計

首先根據(jù)平臺業(yè)務(wù)特性進(jìn)行環(huán)節(jié)劃分，針對本項目涉及的需求開發(fā)可劃分為需求提出、需求評審、工作量評估、業(yè)務(wù)部門工作量復(fù)核、開發(fā)時長和驗(yàn)收6個環(huán)節(jié)，每個環(huán)節(jié)都有若干指標(biāo)項。根據(jù)每個指標(biāo)的分布函數(shù)，計算各指標(biāo)下不同值所對應(yīng)的情緒感知得分。且基于業(yè)務(wù)理解，可以給不同指標(biāo)設(shè)定不同的權(quán)重，不同的環(huán)節(jié)也可以設(shè)置不同的權(quán)重，權(quán)重之和為1。因此最終每個用戶的總情緒感知值EPS(Emotional Perception Score) 則為：

由于需求開發(fā)平臺涉及6個環(huán)節(jié)，因此當(dāng)前userA的總情緒感知值EPSuserA為6 個環(huán)節(jié)情緒感知值的加權(quán)總和。其中Wlinki為環(huán)節(jié)i的權(quán)重，EPSlinkiuserA為環(huán)節(jié)i中userA的情緒感知值，具體計算如下：

其中，feajlinki表示環(huán)節(jié)i下面所對應(yīng)的第j個指標(biāo)，Wfeajlinki為該指標(biāo)的權(quán)重，EPSfeajlinkiuserA為userA 在該指標(biāo)下的情緒感知值。具體地，EPSfeajlinkiuserA基于分布函數(shù)計算得到，公式如下：

圖1 feaj的CDF示意圖

特別的，對于某些指標(biāo)其類別較為離散（類別數(shù)≤3) ，這類指標(biāo)不建議使用上述方法進(jìn)行情緒感知值計算，而是基于業(yè)務(wù)邏輯進(jìn)行情緒感知值轉(zhuǎn)換。目前針對這類指標(biāo)，都采用以下方式進(jìn)行情緒感知值評估：

其中，α為調(diào)節(jié)系數(shù)(0＜α＜1) ，α越大，不同指標(biāo)值之間的情緒感知值差距越小，目前可設(shè)置為1/2。

為了使最終EPS值的分布更符合實(shí)際，需對每個指標(biāo)的基礎(chǔ)EPS值進(jìn)行轉(zhuǎn)換映射，使最終的EPS均值得到提升。具體的，對每個指標(biāo)的基礎(chǔ)EPS值進(jìn)行線性+非線性的組合映射，若基礎(chǔ)EPS值在(0,1) 之間的，則按以下方式映射，否則，值不變。映射公式如下：

在滿意度評價模型中，會存在某個重點(diǎn)指標(biāo)對評價結(jié)果有較大影響，例如在需求開發(fā)平臺中需求是否為重點(diǎn)需求則對用戶有較大影響，因此對最終的總情緒感知值EPS進(jìn)行如下調(diào)整：

2 算法驗(yàn)證和模型解釋

為了驗(yàn)證滿意度評價模型的準(zhǔn)確性，采用對需求管理平臺的按照需求提出、需求評審、工作量評估、業(yè)務(wù)部門工作量復(fù)核、開發(fā)時長和驗(yàn)收這6個環(huán)節(jié)進(jìn)行劃分，并分析了各環(huán)節(jié)下的指標(biāo)項，各環(huán)節(jié)對應(yīng)的指標(biāo)見表1。

表1 需求環(huán)節(jié)及各環(huán)節(jié)對應(yīng)的指標(biāo)

分析每個環(huán)節(jié)分別有不同的指標(biāo)數(shù)據(jù)，表1 中業(yè)務(wù)部門指需求提出部門，IT指信息技術(shù)部門及需求開發(fā)部門。經(jīng)分析是否緊急需求、IT 需求響應(yīng)時長、是否延期、是否提前、是否延遲、需求bug數(shù)、需求負(fù)責(zé)人需求驗(yàn)收時長這7個指標(biāo)數(shù)據(jù)無法直接獲取，實(shí)際獲取指標(biāo)數(shù)據(jù)時應(yīng)剔除。

2.1 特征衍生

根據(jù)日常業(yè)務(wù)判斷，工作量、需求開發(fā)時長、需求完成周期這三個指標(biāo)耦合性強(qiáng)，而其單個指標(biāo)的值不足以直接影響滿意度，因此對其進(jìn)行特征衍生，生成與滿意度強(qiáng)相關(guān)的指標(biāo)，分別衍生出需求完成飽和度和需求開發(fā)飽和度，其中需求完成飽和度對應(yīng)在驗(yàn)收環(huán)節(jié)，需求開發(fā)飽和度對應(yīng)在流轉(zhuǎn)開發(fā)工單環(huán)節(jié)。

需求完成飽和度 = 需求完成周期/工作量

需求開發(fā)飽和度 = 需求開發(fā)時長/工作量

2.2 特征篩選

將工作量、需求開發(fā)時長、需求完成周期這三個指標(biāo)絕對值對滿意度無影響的特征刪除。且是否重點(diǎn)需求單指標(biāo)評估滿意度意義不大，因此僅將其作為權(quán)重指標(biāo)調(diào)節(jié)最終的情緒感知值，而不單獨(dú)計算該指標(biāo)的情緒感知值。

2.3 指標(biāo)采集

針對以上指標(biāo)，共采集2021 年10 月—2022 年4月共3 440條評估數(shù)據(jù)，排除掉無法獲取數(shù)據(jù)的7個指標(biāo)，包括需求編號、需求名稱以及滿意度打分等共包含字段27 個。針對以上數(shù)據(jù)進(jìn)行預(yù)處理，采取措施如下：

1) “是否重點(diǎn)需求”字段重編碼，1 代表是重點(diǎn)需求，0代表不是。

2) 將字段中小于0的值作為異常值，并用缺失值替換，各字段最終缺失情況如表2所示。

表2 獲取字段及缺失情況

3) 刪除有缺失值的行，剩余數(shù)據(jù)2 910條。

4) 刪除工作量為0 的異常數(shù)據(jù)，最終剩余數(shù)據(jù)2 908條。

2.4 模型實(shí)施

基于業(yè)務(wù)層面的分析，目前各環(huán)節(jié)權(quán)重設(shè)置如表3所示，各指標(biāo)權(quán)重不做調(diào)整、均相同。

表3 各環(huán)節(jié)權(quán)重設(shè)置

計算得到各指標(biāo)CDF圖如圖2。

圖2 各指標(biāo)的CDF圖

圖 3 各指標(biāo)情緒感知值分布圖

圖4 各環(huán)節(jié)情緒感知值分布圖

圖5 總情緒感知值分布

最終每個指標(biāo)、每個環(huán)節(jié)以及總情緒感知值分布如圖3所示。

為了進(jìn)一步增加模型可解釋性，對總EPS值較低的用戶，需對其不滿意原因進(jìn)行溯源分析。首先找到用戶最不滿意的環(huán)節(jié)，其次在該環(huán)節(jié)中找到用戶最不滿意的指標(biāo)。由于各環(huán)節(jié)的權(quán)重不同，因此不能根據(jù)各環(huán)節(jié)絕對EPS 值最低的環(huán)節(jié)作為用戶最不滿意的環(huán)節(jié)。而是根據(jù)用戶在各環(huán)節(jié)上的EPS值得分，用各環(huán)節(jié)滿分-各環(huán)節(jié)實(shí)際得分，得到用戶各環(huán)節(jié)滿意度扣分值。其中，扣分值最高的環(huán)節(jié)則為用戶最不滿意的環(huán)節(jié)。進(jìn)一步地，通過比對該環(huán)節(jié)中用戶的各指標(biāo)EPS 值，其中值最低的則為影響用戶滿意度的關(guān)鍵因子。

根據(jù)以上2 908 個數(shù)據(jù)，發(fā)現(xiàn)情緒感知值幾乎均大于0.7，最終EPS值小于0.7的數(shù)據(jù)有12條。因此可以認(rèn)為小于0.7 為感知不滿意，分析其中的不滿意環(huán)節(jié)如表4所示。

表4 不滿意環(huán)節(jié)分布

2.5 算法對比

為驗(yàn)證上文所列算法的有效性，分別采用回歸模型和異常點(diǎn)檢測模型進(jìn)行效果對比。

在回歸模型中，基于各用戶最終滿意度打分，構(gòu)建回歸模型，來獲知各指標(biāo)對用戶滿意度的重要性權(quán)重。運(yùn)算結(jié)果見圖6，分析發(fā)現(xiàn)，各指標(biāo)與最終滿意度打分之間相關(guān)性較弱，無論是構(gòu)建回歸模型或是分類模型效果均很差，因此說明用戶的最終滿意度較為主觀，目前所羅列的指標(biāo)對其影響較小，不能通過此種方式來確定各指標(biāo)的重要性權(quán)重。

圖6 回歸模型各指標(biāo)與滿意度的相關(guān)性圖

對于異常點(diǎn)檢測模型，理論認(rèn)為異常點(diǎn)為偏離于絕大多數(shù)數(shù)據(jù)的點(diǎn)，因此可將其認(rèn)為是情緒較差的點(diǎn)，正常點(diǎn)認(rèn)為是情緒較好的點(diǎn)。分別采用孤立森林和LOF算法進(jìn)行分析，如圖7所示，分析中發(fā)現(xiàn)，模型識別出的部分異常點(diǎn)和業(yè)務(wù)角度認(rèn)為的異常點(diǎn)相悖。下圖為需求提出環(huán)節(jié)和市場部增評環(huán)節(jié)基于孤立森林算法識別出的異常點(diǎn)，但結(jié)果中部分點(diǎn)與實(shí)際業(yè)務(wù)理解的異常點(diǎn)不太一致，且此種方式只能將情緒劃分為滿意和不滿意兩類，無法進(jìn)行更細(xì)粒度的劃分。LOF效果與孤立森林方法類似，如圖8 所示。

圖7 孤立森林算法效果

圖8 LOF算法效果

3 總結(jié)

本文提出了一種基于累積分布函數(shù)的滿意度測算模型，針對需求開發(fā)平臺的流程特性，將全流程進(jìn)行環(huán)節(jié)劃分，在每個環(huán)節(jié)下獲取若干指標(biāo)項，根據(jù)每個指標(biāo)的分布函數(shù)，計算各指標(biāo)下不同值所對應(yīng)的情緒感知得分。對其中一些類別較為離散的指標(biāo)，基于業(yè)務(wù)邏輯通過設(shè)置調(diào)節(jié)系數(shù)進(jìn)行情緒感知值轉(zhuǎn)換。最后通過實(shí)驗(yàn)證明了算法的有效性，成功地找到了系統(tǒng)中的不滿意環(huán)節(jié)，并與其他模型進(jìn)行了對比，成功驗(yàn)證了本文所提出模型的合理性和有效性。由此可推廣至其他系統(tǒng)，通過結(jié)合業(yè)務(wù)的環(huán)節(jié)劃分和相應(yīng)的指標(biāo)采集以及特征處理，可以用于尋找其系統(tǒng)和流程上不滿意的環(huán)節(jié)，并為系統(tǒng)改進(jìn)找到方向。