基于日志數據的研發工程師能力評價研究

魏 忠 魯 源 黃阿娜

(上海海事大學經濟管理學院 上海 201306)

0 引 言

人事經濟學中的一個核心問題是，當企業對員工行為和工作特征的了解有限時，該如何評估和篩選員工[1]。績效評價指標往往被用于緩解由信息有限而引起的問題[2]，因此員工評價問題通常從挖掘員工信息和確立評價指標兩方面著手。

一方面，大數據的發展引發行為大數據的爆發，促使更多人展開對行為的分析研究[3]。行為大數據是指人們在生產活動中產生的行為數據集，而員工的行為數據則是在企業工作中形成的行為記錄，比如考勤記錄、工作日志、研發腳本等。其中，工作日志主要用于記錄日常工作內容包括工作進度、問題分析、應對方法等。雖然是自由文本形式，但已被證明能夠反映員工行為的隱性素質，成為深入了解員工行為特征的有效途徑[4]。如Zacher等[5]基于日志數據驗證雙元領導對員工創新行為的影響；Hooff等[6]通過對工作日志的分析，討論研究員工工作需要的滿足感與工作狀態恢復之間的關系[6]；程鵬等使用統計法對員工日志進行統計分類，通過分類對員工進行歸納分析，總結員工的行為特征等。

另一方面，前人研究往往選擇建立一套評價指標體系，從而減少直接評分的主觀性、量化評價結果。如陳沛然[3]構建了包含6個指標的績效考評標準指標體系，通過層次分析法賦予權重；樊文有[7]基于平衡計分卡建立了一套考評指標體系，通過4個維度對工作進行評價[7]；吳紅霞等[8]從三個角度創建了能力績效的評價體系，并運用三階段DEA分析方法進行測度等。

上述的方法雖然確立了評價指標體系，但直接定義的指標內容并非來源于管理者的統一意志，無法代表企業對員工的能力要求。因此，本文在前人研究的基礎上，順應大數據時代的要求，以某公司軟件研發部門為例，對研發工程師的工作日志數據進行文本處理和特征研究；同時，采用德爾菲法確定企業管理者的能力評價標準體系，結合前景隨機占優準則對員工能力進行量化分析，最終得出一個更加客觀全面的研發工程師能力的評價結果。

1 日志數據預處理

1.1 數據準備

某公司日志系統用于記錄員工日常工作內容，包括工作進度、問題分析、應對方法等。在日志記述中要求員工實事求是，并規定填寫時限，極大保證行為數據的客觀性和有效性[9]。本文的研究數據來源于該公司服務器上全部75位研發工程師入職至今的所有日志數據，保證了原始數據的完備性，降低丟失重要判別信息的可能性[10]。

與此同時，為了提高日志數據的準確性、確保數據分析的最終結果，采用Python對日志數據進行預處理[11]。首先對研發工程師的工作日志按照時間跨度進行排序整理，剔除重復數據和噪聲數據，同時去除不滿足條件的樣本：

(1) 日志記錄條數過少或每條日志內容過少；

(2) 日志文本時間跨度不夠，即從事研發工作時間不長；

(3) 工作內容與研發無關。

經整理，研究的樣本量減少為59。其次，通過數據清理過程為文本挖掘準備合格的數據，剔除高頻非特征的詞語、非中文詞語(數字、符號、其他語言等)，至此得到的所有日志數據均為干凈可直接使用的文本。

同時，為了驗證本文分析方法的準確性，預先邀請該公司管理層對研發工程師進行能力評分(0～10分)，將其作為實際結果與本文的預測結果進行對比分析，如圖1所示。

圖1 軟件開發人員能力初始評價圖

1.2 特征分析

基于前文的可用數據，采用中科院漢語分詞系統(NLPIR)對所有文本進行分詞，并標注詞性(包括動詞、名詞、形容詞、副詞等)，統計詞性比例。同時依據詞頻提取研發工程師的特征詞，通過Python制作日志詞云進行可視化展示。

本文選取開發型、操作型、管理型三類具有代表性的研發工程師詞云進行示例，如圖2所示。詞語字號越大表示其使用頻次越高，一定程度上反映該工程師某方面能力突出。比如“開始”、“進行”、“完成”等詞體現工程師條理清晰，執行力強；“討論”、“溝通”等詞體現工程師協作配合能力強；專業詞匯則可體現工程師的專業化程度等。

根據詞云圖片不難看出，研發工程師的工作方式特點各異、工作能力大相徑庭。因此，基于日志文本對研發工程師進行能力評價具有很大的參考價值。

(a) 開發型

(b) 操作型

(c) 管理型圖2 研發工程師日志詞云示例

1.3 特征詞選取

本文采用向量空間模型VSM，將每個員工的日志抽象為一個向量。假設每個向量由n個詞組成，每個詞的權重為wi(i=1,2,…,n)，此時員工能力評分可表達為多維向量d=(w1,w2,…，wn)。采用詞頻TF(Term frequency)計算權重，公式如下：

(1)

式中：M表示文本的總詞數，N表示特征詞在文本數據中的出現的次數。

由于日志文本維數過多，需要降維處理，本文綜合計算所有研發工程師日志中詞頻排名前100的詞語，最終，確定具有代表性的特征詞(即關鍵詞)100維。

2 基于德爾菲法的能力調查

德爾菲法又稱專家集體評價法，即專家以匿名的方式對調查者提出的問題發表意見和建議。通過多輪調查、反復總結和修訂，使專家組的預測意見趨于集中，最終得出具有整合意義的結果。

2.1 指標量化

德爾菲法最關鍵的一點是挑選合格的專家[10]。為了保證價值判斷的正確性和加權結果的客觀性，本文在考慮專家的權威程度、實踐經驗、理論水平的基礎上[11]，邀請該公司7位高級研發部工程師組成咨詢小組。

經過研究溝通，最終確定用于表達工程師能力的7項指標，即特征詞、專業詞、日志長度、名詞、動詞、修飾詞、數詞量詞。專家問卷內容包括最佳比例、重要程度、熟悉程度、判斷依據等。采用Likert測度法從弱到強將指標比例、指標重要程度等劃分為5度，將特征詞重要性分為7度，專家據實打分，進行指標量化，如表1所示。

表1 專家問卷指標量化與評分標準

2.2 統計分析

德爾菲法的統計分析過程是其量化過程中的關鍵部分，這一過程關系到是否保留預設指標。本次調查共向7位專家展開兩輪咨詢，經統計分析：

(1) 積極系數：即問卷的回收率，本文共咨詢2輪，每一輪專家積極系數均為100%。

(2) 集中程度：即調查選用的專家對研究選定的各指標相對重要性的意見的集中程度。經兩輪咨詢，確定指標重要程度排名為數量、形副、動詞、專業詞、日志長度、特征詞、名詞。如表2所示。

表2 專家意見的集中程度

(3) 協調程度：專家協調系數的P值經過兩輪咨詢后數值小于0.05，表明專家對各指標的評價意見經過兩輪咨詢達到一致，如表3所示。

表3 第一、二輪咨詢的專家協調系數

(4) 權威程度：指在這一領域接受采訪的專家的理論和實踐水平，反映調查的可信性。本研究的專家權威程度(Cr)為0.735～0.788，一般Cr≥0.70 即可。

綜上，各項統計結果均在可接受范圍內，專家評估意見的協調性好、可信度高，指標體系客觀、合理。在此基礎上，采用百分權重法，將專家對指標重要性評分的算術平均值除以所有指標總均數值。最終，通過德爾菲法確定的各指標相對重要性，即特征詞、日志長度、專業詞、名詞、動詞、形副、數量7項指標的權重分別為0.3、0.15、0.05、0.10、0.2、0.05、0.15。

3 基于前景隨機占優的能力評價

3.1 問題描述

3.2 決策方法

針對研發工程師能力評價問題，員工屬性的評價結果會呈現離散概率分布的形式，顯然，評價結果可被視為一個離散型隨機變量。本文給出一種基于員工日志文本和管理層期望的研發工程師能力評價方法。該方法包括3個部分：計算評價損失結果及其概率分布、構建兩兩員工比較的能力隨機占優關系矩陣、選擇優秀的員工。

i=1,2,…,m，j=1,2,…,n，l=1,2,…,k，ε∈[0,1]

(2)

(3)

式中：wj表示屬性Cj的權重，yij表示針對工程師Ai關于屬性Cj的評價的損失結果。

另外，為了判斷該方法對研發工程師能力評價的準確性，引入下式計算研發工程師能力評價平均準確率：

(4)

式中：RC表示員工訓練后排名，RI表示員工初始調查排名，M表示參與排名的員工總數。

同時，使用歐式距離度量所有研發工程師預測排名與初始排名的相似度，如下所示。歐式距離越小說明前后排名差異越小，即分析結果越準確。

(5)

式中：xi表示調查樣本中每個研發工程師的初始排名，yi表示運用本方法計算而得的排名。

3.3 評價結果

根據上述的評價方法，計算易得每個研發工程師的能力評分結果，具體得分排名整理部分如圖3所示。評分越高的研發工程師，說明其工作日志中各項指標更符合管理層的期望，即該工程師更符合管理層專家對于研發工程師的要求。

同時，根據式(4)求得開發人員能力評價準確率為83.76%。根據式(5)計算而得分析排名與初始排名的歐式距離為9.70。因此可得，該方法準確率較高，在樣本數較少的情況下也具有一定的穩定性。

圖3 開發人員能力評價圖

4 結 語

針對員工能力評估的企業管理問題，本文基于研發工程師的工作日志，采用德爾菲法量化確定各日志指標的相對重要性，結合前景隨機占優準則，設置參數，對比分析研發工程師的能力水平，最終得出研發工程師的能力水平得分排名，為企業選拔優秀研發工程師提供一定的借鑒意義。但本文同時也存在一定的局限性，比如本文僅局限于軟件開發部門，所評能力較為單一。未來的研究可著眼于多個部門的多種能力，如數據部門、硬件部門等，這樣不僅可以評估員工對當前崗位的勝任能力，同時還可以預測員工對于其他崗位潛力，如此將對企業管理培養人才提供一個更好的解決方案。