基于機器學習的IT項目進度管理系統的設計與實現

劉偉煜 王磊 張虎 韓丹 陳靖 琚趙兵

關鍵詞：機器學習；IT項目；進度管理

0 引言

近年來，隨著業務量增長以及人工智能[1]、大數據[2]、區塊鏈[3]等技術不斷取得突破創新，各行業加快推進數字化轉型升級建設，在IT項目投入的預算逐年增長，而IT行業相比于傳統行業，具有技術含量高、需求更新快、人員變動頻繁等特點，所以需要實施科學規范的項目管理[4]來達到保障IT工程質量、縮短項目工期和降低項目成本的目的。項目進度管理是項目管理的重要組成部分，目前IT項目的進度管理存在如下問題，第一管理的自動化水平不高，主要采用人工手動管理方式，通過預設的規則和工具進行人為評判打分，這種方式受主觀影響大且人力成本高，嚴重依賴管理人員的經驗水平。第二管理過程中缺少預測性的量化指標，量化指標是利用管理過程中產生的數據加工得來的，通過量化指標可以直觀地觀察項目目標是否符合預期。而目前進度管理中所形成的量化指標大多只能對項目的現有階段進行分析評判，較少存在可用于預測項目下一階段運行情況的前瞻性指標。然而項目的實施過程通常存在慣性，歷史的項目指標數據與后續的產生的指標數據之間存在聯系，簡單地將歷史數據用于統計分析，利用率不高。

本系統旨在設計一種基于機器學習的IT項目進度管理系統，通過機器學習等人工智能技術，基于項目管理過程中產生的歷史數據構建模型，用于預測項目在后續進度方面的量化指標，進而達到提前研判項目的運行方向，合理安排資源供應的目的。本系統的使用能夠減少項目管理中人為干預的風險，降低項目管理的成本，并可以生成量化指標，持久監控項目進度情況。

1 機器學習算法應用

機器學習[5]是人工智能的核心，機器學習算法常用于解決回歸、分類、聚類等幾大類問題，決策樹、線性回歸等傳統統計學方法和深度學習、強化學習等新型方法都可以歸類于機器學習范疇。本系統使用了邏輯回歸算法來構建模型。

1.1 邏輯回歸算法介紹

邏輯回歸[6]是常用于解決分類問題的經典算法，具有原理簡單、調參方便和模型結果的可解釋性強等特點。邏輯回歸屬于廣義的線性模型，通過sigmoid函數的轉化，邏輯回歸算法的輸出取值被映射[0，1]區間內，當取值大于臨界值時為一類，取值小于臨界值時為另一類，從而達到0-1二分類的目的。邏輯回歸的損失函數是對數似然損失函數，可以通過梯度下降法和牛頓法求解損失函數中的系數，求解系數的過程就是基于樣本數據訓練模型的過程。

邏輯回歸算法的使用步驟如下：第一步收集數據，本系統從關系型數據庫中獲取歷史項目數據；第二步準備數據，將第一步獲取的項目數據進行清洗和轉換，準備可用于模型訓練的特征數據；第三步選取特征，提取適用于模型輸入的最優特征，在減少模型訓練耗時的同時能最大程度提高模型的精確度；第四步訓練模型，找到回歸系數；第五步測試模型，主要從擬合度、精確度和準確度等方面來評價模型的效果；第六步適用模型，給定輸入數據，模型可以預測出一個概率數值。

根據邏輯回歸模型，可以預測在不同的自變量情況下，因變量發生某種情況的概率，并且邏輯回歸預測的概率結果可以較好地轉換成對應的量化數值。所以本系統選擇邏輯回歸算法用于構建項目進度評分卡模型。

1.2 項目進度評分卡模型的介紹

進度評分卡可以量化項目的進度情況。在項目管理中，影響項目進度的變量有很多，例如項目需求人員到崗情況、項目資金實際投入情況和項目在之前的節點是否發生過逾期、IT項目周期內的功能點完成情況。這些影響變量的權重不一樣。如表1所示，在評分卡中，這些權重不一的影響變量根據權重大小和條件情況被賦予不同的分值。

例如項目進行到某一階段，采樣得到的指標為A=70%，B=98%，C=‘從未出現，D=80%，根據表1的評分標準計算得到項目的總得分為300+49+60+68+47=524。項目的得分越高則說明項目當前進度情況越健康，出現延期的概率越小。項目的得分越低則說明項目存在延期的風險越高，需要重點關注并進行相應干預。傳統評分卡中的各變量分配的分值是根據專家經驗由一定人工預設規則估算得來的，受人為干擾影響大。本系統通過機器學習模型計算出評分卡中各個變量指標的分值，得到分值更加客觀準確。

1.3 項目進度評分卡模型的構建

與一般的機器學習模型訓練流程類似，評分卡模型的構建包含數據準備、特征選擇、模型開發等通用步驟，在完成模型開發和評價之后，需要增加評分卡分數校準步驟，將模型計算的概率值轉化為分數，具體流程如圖1所示。

在項目實施過程中通過系統設計的Web平臺進行數據埋點，以及手動輸入數據的方式來采集適用于建模的基礎數據，例如項目資金、項目人員、項目工作量等對項目進度有影響或者產生關聯的各項數據。數據準備是整個評分卡模型開發流程中最耗時的前置工作，它的目的是創建包含開發評分卡模型所需要的所有要素的唯一數據集，需要進行大量的數據清洗及轉換工作。數據準備完成后進行特征選擇，從建模變量中選擇預測能力較強的少數特征變量。所采用的技術手段包括單變量特征選擇和方差特征選擇。

模型開發是將分析篩選得到的特征變量的訓練樣本輸入到邏輯回歸算法，通過變化算法函數系數求得最小的邏輯回歸損失函數值，此時得到的函數系數即為基于此訓練樣本的最佳分類模型。由于模型是基于有限樣本訓練的，采用KS[7]、AUC[8]值等指標綜合評價模型的分類準確性和泛化能力，以KS值為例，如果KS值太低，說明模型的區分度太低，分類不準確，如果KS值太高，則模型可能存在過擬合，對新樣本的預測能力不一定會好。此時需要重新采樣源頭數據或者對模型訓練參數進行調整。當模型建立并通過檢驗后，模型計算的結果是概率值，即項目進度發生逾期的概率，取值范圍是0～1。

通過計算概率的方式將邏輯回歸模型輸出的概率值進行放大轉化成標準評分卡的分數值。這一過程稱為建模流程中的評分卡分數校準。通過以上步驟可以建立用于量化項目進度完成情況的評分卡，項目評分卡上線后還需要進行監測與反饋，將項目評分卡的預測表現與項目實際的進度運行情況相比較，并根據項目的運行情況對評分卡模型進行調整甚至重新訓練。

2 系統的設計與實現

2.1 架構設計

如圖2所示，本系統架構設計分為四個層次：用戶進行操作和交互的前端層、處理請求轉發和邏輯處理的后端層、持久化和管理數據的數據層、進行模型訓練的模型層。各層之間獨立分離，前端層負責頁面樣式和內容渲染，展示模型預測效果，提供表單接收用戶交互輸入的請求數據。后端層對前端請求進行路由，提供相應的業務邏輯處理方法，并調用數據層的數據供給接口。前后端可以獨立開發和部署，提高了系統開發效率并且數據傳輸和渲染的流程更加清晰。數據層將對不同類型數據庫的增刪改查等交互操作封裝成接口，提供給后端層調用。模型層實現了模型訓練和評分卡校準等評分卡構建過程，向后端層提供接口。由于模型的開發使用Python語言，而Web平臺的開發使用Java語言，本系統采用兩種方式實現兩者之間的交互和調用。第一種方式是以數據庫為中間過渡手段，將中間結果暫存到數據庫中，例如將模型預測的結果存儲在數據庫中，由Web平臺采用jdbc的方式讀取。第二種是通過exec函數在進程層面操作服務器執行指定的Python腳本，此時Python腳本的計算結果可以通過Java的字節流或者字符流回傳到后端層，再由后端層處理后反饋給前端層，由前端層渲染展示到用戶頁面。以上為基于機器學習的IT項目進度管理系統的架構設計，實現了系統的業務邏輯和模型數據處理邏輯。

2.2 前端設計

本系統采用Vue+Html+CSS技術進行前端頁面展示，通過Nginx提供高性能頁面資源訪問。系統設計的項目進度影響變量數據上傳頁面如圖3所示，項目進度數據可以以文件的方式上傳，用戶上傳的文件會在前端進行后綴名的校驗，只允許上傳以xlsx、xls和csv結尾的文件，上傳成功后頁面彈出成功上傳提示框。項目進度影響變量數據查詢結果頁面如圖4所示，該頁面詳細展示了之前錄入成功的各個項目進度影響變量在項目不同節點的明細數據。項目進度評分結果頁面如圖5所示，用戶在前端輸入項目名稱或者項目編號，系統前端層接收到查詢請求后進行身份驗證和安全校驗，核驗通過后將請求轉發給后端層，后端層控制器將請求分發到對應的業務處理方法，業務處理方法調用模型層提供的評分卡接口，評分卡接口提供類似表1所示項目評分卡分值，業務處理方法實現的業務邏輯是根據評分卡計算匯總各個影響變量的分值得到項目進度評分。本系統啟動定時任務每間隔固定時間訓練模型，所以評分卡接口提供的各個項目進度影響變量對應的分值也會定時更新。

2.3 后端設計

本系統利用Springboot搭建后端層服務，有以下幾個優點，第一Springboot遵循約定大于配置的思想，本系統的開發過程沒有編寫煩瑣的XML配置文件，省去了大量冗余代碼。第二Springboot以應用場景為單元集成了大量常用的第三方庫，每一種場景對應一個啟動器starter，啟動器包含了大量默認配置和所需要依賴的jar包，本系統數據層使用了Postgresql、Redis和Elasticsearch等技術組件在Springboot中都提供了對應的場景啟動器，可以提供幾乎零配置的開箱即用的服務。例如Postgresql對應的持久層框架是Myba?tis，在傳統的SSM框架中使用Mybatis需要整合大量的XML 配置，使用Springboot 開發只需要添加mybatis-spring-boot-starter 啟動器，配置相關的數據庫驅動和連接池依賴即可。

后端層架構采用的是分層設計模式，主要分成控制器層、業務邏輯層和數據訪問層。前端層的請求由控制器層路由轉發到業務邏輯層進行處理，處理后返回的結果也由控制器層按照查詢鏈路反饋到前端層。業務邏輯層實現了項目進度影響變量數據錄入和維護、評分卡查詢、項目進度評分分值計算、模型管理、歷史數據維護等模塊，并調用數據訪問層的接口實現數據持久化。數據訪問層主要調用數據層的數據供給接口，將查詢結果返回給業務邏輯層。

2.4 模型層設計

模型訓練使用了開源的Sklearn（Scikit-learn） [9]機器學習庫實現，Sklearn（Scikit-learn） 是使用Python語言編寫的機器學習庫，它具有分類、回歸、聚類等機器學習方法，實現了支持向量機、梯度提升和決策樹等經典算法，在數據預處理階段使用了Python自帶的numpy 和pandas 包，訓練后的模型使用Pickle 方式保存。

2.5 數據層設計

本系統運行過程中處理的數據主要來源于以下三方面，第一是系統的輸入數據，例如用于構建評分卡的項目進度相關數據，這些數據可以采用手工導入方式，如手動輸入和利用Excel表格錄入相關信息，也可以通過程序預先埋點的方式收集數據。第二是系統加工生成的中間數據，例如訓練好的評分卡模型需要暫存，方便后續使用。第三是系統用于展示的結果數據，系統的前端程序需要基于這部分數據進行頁面的渲染和圖表的繪制。本系統根據數據的類型和應用場景依次使用了關系型數據庫Postgresql和緩存數據庫Redis和文檔數據庫Elasticsearch，其中系統錄入的非結構化數據存儲在Elasticsearch，利用DSL[10]語法實現比傳統Sql更復雜和定制化的查詢邏輯。項目進度評分等需要頻繁查詢的數據和評分排名結果存儲在Redis中，有效提高查詢效率。

3 結論

目前IT項目進度管理主要采用人工手動管理方式，受主觀影響大且人力成本高，嚴重依賴管理人員的經驗水平。IT項目進度管理過程中缺少預測性的量化指標，項目管理中產生的數據往往用于簡單的統計分析，利用率不高。本系統采用Sklearn框架來訓練評分卡模型，配合前后端分離的方式實現Web平臺，有效提升了開發效率。本系統的評分卡模型實現了一套適用于項目進度管理的打分規則，規則的分值不是由人為經驗主觀預估的，而是通過模型計算得到，更加科學客觀，可用于輔助指導項目進度計劃管理。使用本系統的模型可以有效提高項目進度管理的智能化水平，減少人力成本，合理分配資源，提高管理的效率。