深度置信網絡優化模型在人才評價中的應用

李娜娜,胡堅劍,顧軍華,張亞娟

(1.河北工業大學 人工智能與數據科學學院,天津 300401; 2.河北省大數據計算重點實驗室,天津 300401)

0 概述

人才評價是高校人才管理的基礎,也是高校選拔人才和崗位調整的重要依據,對高校資源整合和人才隊伍建設具有重要意義。目前用于人才評價的方法主要有專家經驗法和人工智能法兩大類。專家經驗法包括模糊綜合評價法[1]、層次分析法[2]等,該類方法構建的評價模型簡單,評價結果具有較大的主觀性和不確定性。人工智能法以BP神經網絡[3]和支持向量機(Support Vector Machine,SVM)[4]為主。BP神經網絡有很強的自主學習能力和復雜非線性函數擬合能力,但由于網絡權值隨機初始化,使得網絡在訓練過程中容易陷入局部最優,降低了網絡準確率。SVM方法能夠較好解決傳統算法中存在的非線性、局部最小值等問題,但在處理多分類問題上存在收斂慢和預測精度低等缺點。隨著人才評價數據的不斷增長,影響評價的因素越來越多,而現階段基于人工智能的評價方法多為3層淺層網絡,難以有效處理復雜輸入和輸出的關系。近年來,深度學習的快速發展為人才評價提供一種新的思路。

深度置信網絡(Deep Belief Network,DBN)是一種經典的深度學習方法,由多個受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)組合而成,因其優秀的特征學習能力被廣泛應用于解決分類[5-7]、預測[8-9]等問題,并且取得了較好的效果。文獻[10]將自適應學習率引入到傳統DBN無監督訓練中,解決了固定學習率難以尋找全局最優及訓練時間長等問題,并將其應用于圖像分類。文獻[11]在RBM中加入交叉熵稀疏懲罰因子,使隱層單元具有整體稀疏性,解決了RBM在訓練過程中出現的特征同質化現象。文獻[12]在RBM模型線性單元中加入獨立高斯分布的連續值,解決了傳統RBM可視層只接受二進制數的限制,并在時間序列預測問題上取得較好的效果。文獻[13]從人腦結構中的膠質神經細胞得到啟發,將膠質細胞的運作原理運用到DBN中,提出的改進DBN模型可以更好地提取抽象圖形特征。上述DBN改進方法雖然在一定程度上提高了網絡性能,但仍存在因隨機初始化權值導致網絡訓練過程中容易陷入局部最優的問題。

本文在傳統DBN模型中引入一種改進的和聲搜索(Improved Harmony Search,IHS)算法形成IHS-DBN模型,利用IHS算法的全局尋優能力對DBN的初始權值進行賦值,以加快網絡收斂速度并提高預測準確率。

1 基礎理論

1.1 深度置信網絡

DBN是一種概率生成模型,通過訓練神經元之間的權重,可以使整個神經網絡按照最大概率來生成訓練數據[14]。同時,DBN是一種深層神經網絡,采用自底向上的傳遞,底層的神經元接收原始輸入數據向量,通過增加網絡的層數不斷提取原始數據的深層特征,頂層神經網絡將提取的特征用作網絡輸出。DBN結構如圖1所示。DBN是由多個RBM和一層反向傳播(Back Propagation,BP)網絡構成[15],其中,w為RBM顯層與隱層之間的權值,hn為第n層隱層各神經元的狀態,vn為第n層顯層各神經元的狀態。

圖1 DBN結構

1.1.1 受限玻爾茲曼機

RBM是隨機神經網絡模型,單個的RBM由顯層(v)和隱層(h)構成,每層有若干個節點,不同層節點之間完全連接,同一層中的節點無連接[16],RBM采用無監督的方式訓練,其能量公式如式(1)所示。

(1)

其中,θ={w,a,b}是模型參數,vi和hj分別表示顯層第i個節點的狀態和隱層第j個節點的狀態,w是顯層與隱層之間的權重矩陣,ai和bj分別是顯層和隱層的偏置,m和n分別為隱層和顯層神經元個數。

該模型顯層節點和隱層節點的聯合概率分布公式如式(2)所示。

(2)

根據貝葉斯公式,可推導出可見單元和隱含單元的激活概率分別如式(3)、式(4)所示。

(3)

(4)

其中,f為Sigmoid激活函數。RBM模型學習的標準算法是對比散度(Contrastive Divergence,CD)算法,學習目標是降低模型整體能量。算法參數更新公式如式(5)～式(7)所示。

(wij)n=(wij)n-1+ε(〈vihj〉data-〈vihj〉model)

(5)

(ai)n=(ai)n-1+ε(〈vi〉data-〈vi〉model)

(6)

(bj)n=(bj)n-1+ε(〈hj〉data-〈hj〉model)

(7)

其中,ε為學習率,〈·〉data表示原輸入值,〈·〉model表示輸入的重構值。

1.1.2 BP神經網絡

BP神經網絡主要對RBM預訓練過程中提取的特征向量進行分類,并計算分類結果與期望結果之間的誤差,通過反向傳播將誤差逐層回傳并調整DBN的參數。在傳播過程中通過每層δ的值向下傳遞修改網絡權值。

在輸出層中,第i個節點的輸出為oi,期望輸出為di,δ計算公式如式(8)所示。

δi=oi(1-oi)(di-oi)

(8)

(9)

DBN各層權值更新公式如式(10)所示。

(10)

1.2 和聲搜索算法

和聲搜索(Harmony Search,HS)算法是一種元啟發式算法[17],該算法模擬音樂創作原理,在音樂創作中,樂師通過不斷調整樂隊中各樂器的音調,最終達到和聲狀態。HS算法具有概念簡單、參數少、尋優能力強等優點[18],可應用于神經網絡參數優化[19-20]等領域。HS算法的主要步驟如下:

1)初始化算法參數。參數包括和聲記憶庫大小(HMS)、和聲記憶庫選擇概率(HMCR)、音調調整步長(BW)、音調調整概率(PAR)和迭代次數(N)。

2)確定優化目標函數。

3)初始化和聲記憶矩陣。從X的解空間中隨機生成HMS個和聲X1,X2,…,XHMS放入和聲記憶庫,并計算每個和聲的f(X)值,和聲記憶庫的形式如式(11)所示。

(11)

(12)

(13)

5)更新和聲記憶庫。計算f(Xnew),若f(Xnew)

6)檢查算法是否終止。重復步驟4、步驟5,直至迭代次數達到N。

2 基于IHS算法的深度置信網絡模型

2.1 改進的和聲搜索算法

在原始的和聲搜索算法中,主要通過兩種方式產生新和聲:1)在解空間隨機生成;2)從和聲記憶庫中選取。這兩種方式都通過BW對音調進行調整優化[21],因此音調調整在HS算法搜索機制中起著至關重要的作用。

在原始HS算法搜索過程中,如果采用較小的BW值,則新和聲的產生集中在一個較小的區域,使算法容易陷入局部最優,并且在搜索初期,和聲記憶庫的解向量多樣性不足,而如果采用較大的BW值,則有利于算法跳出局部最優,但后期的局部搜索能力不足,不利于算法在局部區域精細搜索,因此固定的BW值將會導致算法的整體性能下降。針對該問題,為有效提高HS算法的搜索能力,在粒子群智能優化概念的啟發下,本文提出一種全局自適應調整算法。該算法利用粒子群優化算法的學習策略,其中和聲記憶庫中的最優和聲相當于全局最優和聲,和聲記憶庫中的最差和聲相當于目前搜索到的最優和聲,充分利用最優和最差和聲信息,提高算法學習效率。同時,該算法提出一種新的和聲微調規則,以某種概率選擇在同一維度上最優和聲和最差和聲與被選擇的和聲之差作為音調帶寬。該規則使得音調帶寬在算法搜索過程中自適應變化,既滿足算法早期需要增加解向量多樣性的要求,又能提高算法后期的局部搜索能力,使算法收斂到更接近最優解。實現方式如式(14)所示。

(14)

在迭代初期,所有和聲向量在解空間中廣泛分布,種群多樣性良好,β值較大,和聲進行微調時更趨向于全局最優和聲進行調整,有利于快速搜索更好的和聲向量。在迭代中期,β固定為0.5,利用最優自適應調整可以在全局最優和聲附近搜索更好的和聲音調,并且最差自適應調整可以作為防止算法陷入局部最優的一個補充。在迭代后期,和聲比較接近于最優和聲,β設置較小,和聲趨向于最差和聲調整,擴大搜索范圍,尋找更接近于全局最優的和聲。

基于上述考慮,將β值設置為隨迭代次數動態變化,表達式如式(15)所示。

(15)

其中,k為當前迭代次數,N為最大迭代次數。β值隨迭代次數的變化情況如圖2所示。

圖2 β值隨迭代次數的變化

算法1IHS算法

輸入記憶庫X={X1,X2,…,XHMS},解向量維數D,最大迭代次數N,音調選取概率HMCR

輸出最優和聲Xbest

1.for i=1 to HMS do

2.for j=1 to D do //循環生成新的和聲

4.Calculate f(xi)

5.end for

6.n=0,while n

7.for j=1 to D do

8.if rand()≤HMCR then

10.Calculate β;//通過式(15)計算β值

11.if and()≤β then

13.else

15.end if

16.else

18.end if

19.end for

20.if f(Xbest)

21.Xworst=Xbest;

22.end if

23.g=g+1;

24.end while

25.return Xbest

2.2 IHS-DBN模型原理

DBN是由多個RBM組成的模型,每個RBM包含一組輸入單元,通過貪婪逐層訓練的方法學習更深層次的特征。基于該模型結構,本文將IHS算法引入到DBN中提出一種基于IHS算法的DBN(IHS-DBN),通過IHS搜索得到RBM的初始權值,然后利用CD算法對輸入數據進行訓練得到隱層并重構顯層,將隱層的輸出作為下一個RBM的輸入,層層訓練網絡,最終得到一個深層次的DBN模型。IHS-DBN算法步驟如下:

1)初始化算法1參數。

2)確定優化目標函數及解的搜索范圍。采用RBM的平均重構誤差函數構造目標函數,定義如式(16)所示。

(16)

3)初始化HHM并記錄每個和聲對應的目標函數值。

4)通過算法1迭代搜索直到滿足停止條件,選擇一組全局最優解初始化第一個RBM的權值。

5)使用CD算法對第一個RBM進行特征學習訓練,并將學習到的特征作為下一個RBM的輸入特征,重復步驟1～步驟4直到所有RBM訓練完成。

6)使用所有RBM的權值和偏置作為整個網絡的初始參數,利用梯度下降法微調整個IHS-DBN模型。

為更加直觀地描述IHS-DBN的訓練過程,給出具體的優化流程,如圖3所示。

圖3 基于IHS算法的DBN模型優化流程

2.3 模型性能驗證

為驗證IHS-DBN模型的性能,本文在Window 10(64位)操作系統、Intel Core i5-5200U CPU @3.6 GHz、8 GB RBM、Python3.5環境下,采用MNIST標準手寫體庫數據集進行實驗,樣本數據中包含0～9共10個阿拉伯數字的手寫圖像。實驗中將樣本數據歸一化處理后,圖像大小為28像素×28像素,并以標準灰度圖進行存儲,共包含60 000個訓練樣本和10 000個測試樣本。為保證實驗的高效性和準確性,實驗過程中采用小批量數據模式,批處理大小為100。

2.3.1 實驗參數設置

本文實驗主要為驗證HS算法與IHS算法對DBN的優化效果,因此,將兩種算法都在相同的DBN網絡中進行優化。DBN的輸入層節點數為784,網絡包含兩個隱層,其節點數為100～500,輸出層為Logistic分類層。兩種算法的和聲記憶庫大小為50,其中,IHS算法和HS算法的和聲記憶庫選擇概率均為0.90,音調調整概率為0.25,音調調整步長為0.06,迭代次數為100,權值W的搜索范圍為[0,1]。

2.3.2 實驗結果

在固定DBN網絡結構的前提下,分別用HS算法和IHS算法對網絡初始權值進行優化選擇,然后在相同環境下對不同模型進行訓練,其中無監督的預訓練迭代次數設為50次,有監督的微調訓練迭代次數設為100次,3種模型在MNIST數據集上的分類誤差率隨迭代次數的變化情況如圖4所示。為保證實驗數據的準確性,結果均為10次實驗的平均值。

圖4 MNIST數據集分類誤差率

由圖4可以看出,隨著迭代次數的增加,3種模型的分類誤差均表現為下降趨勢,IHS-DBN反向傳播迭代次數在20次后,網絡開始趨于穩定,而HS-DBN和DBN模型在迭代次數達到50次后才趨于穩定,因此在相同網絡結構下,本文提出的模型收斂速度最快,并且最終模型的誤差率最小。3種模型在MNIST數據集上的訓練結果如表1所示。

表1 MNIST數據集訓練結果

由表1實驗結果可知,本文IHS-DBN模型的誤差率為2.87%,相比傳統DBN模型誤差率降低了17.5%,訓練時間縮短14.8%;相比HS-DBN模型誤差率降低了15.3%,訓練時間縮短10.27%,并且本文模型的準確率和召回率也高于其他兩種模型。

由上述實驗數據可以看出,IHS-DBN模型在誤差率、召回率、準確率和訓練時間上均優于DBN模型和HS-DBN模型。相比于DBN模型,IHS-DBN模型通過IHS算法優化網絡的初始權值,使網絡在訓練初期就得到一個較優的參數,從而加快網絡收斂速度,同時防止模型陷入局部最優。相比HS-DBN模型,IHS-DBN模型通過改進HS算法,使用全局自適應和聲調整方式,提高算法局部搜索能力,使結果更接近于真實最優解,提升了模型整體性能。

3 IHS-DBN在高校人才評價中的應用

人才評價模型主要分為數據預處理、模型訓練和評價三部分:1)對訓練數據進行預處理,選取出與評價相關的指標,并對指標進行合理量化;2)建立由若干個RBM和一個BP網絡組成的IHS-DBN模型對訓練樣本數據進行訓練;3)利用訓練后的模型對測試數據進行評價得出評價結果,驗證模型性能。

3.1 指標體系構建

評價指標體系中的各項指標是評價高校人才的重要依據,是建立評價模型的基礎。本文建立的指標體系主要以評價對象的主要活動作為切入點,分析影響評價的各項因素。此外,還參考了現有的高層次人才評價方法,結合從事高校教師評估的專業人士的意見,在基本情況、教學情況、科研情況中利用德爾菲法構建高校人才評價的指標體系,該指標體系包含3個一級指標、25個二級指標,如表2所示。

表2 評價指標體系

3.2 數據獲取與處理

本文研究采用的人才數據來源于國內一所雙一流重點建設高校,數據包括教師的基本信息、教學信息和科研信息,經過數據清洗,清除不完整數據及隱私數據,只保留與本文評價指標體系相關的數據。清理后共得到1 260條完整教師數據并通過評估專家對其進行標注評價等級。在訓練和測試網絡時,從1 260個樣本數據中隨機抽取1 000個樣本作為訓練樣本,并采用十折交叉檢驗方式驗證模型的穩定性,其余260個樣本作為測試數據對模型有效性進行驗證。網絡輸入只能是實值數據,因此需要對指標體系中的性別、職稱、學歷等定性指標進行量化處理。本文采用編碼的方式對其進行量化,各指標的不同指標值對應的編碼如表3所示。

表3 定性指標編碼

DBN網絡在訓練過程中采用Sigmoid函數作為傳遞函數,該函數的值域為[0,1],因此樣本數據輸入到網絡前需要將所有的樣本數據歸一化到[0,1]區間,計算方式如式(17)所示。

(17)

其中,Yi為歸一化后的數據,xi為輸入向量的實際值,xmax和xmin分別是輸入向量中的最大值和最小值。

為更直觀地反映人才評價結果,本文將結果分為優良中差4個等級,并將結果使用4位One-Hot編碼表示,優表示為1000,良表示為0100,中表示為0010,差表示為0001。

3.3 實驗結果與分析

3.3.1 性能指標

為更好地對預測效果進行分析,本文實驗采用均方誤差(Mean Square Error,MSE)評價模型性能,MSE定義如式(18)所示。

(18)

其中,n為樣本數,m為輸出節點個數,Yij為樣本的網絡輸出值,Y′ij為樣本的期望輸出值。

3.3.2 網絡結構設置與分析

網絡結構設置具體如下:

1)網絡輸入層和輸出層。將統計好的性別、年齡、學歷等25個指標作為輸入,將評價結果優良中差4個等級作為輸出,因此網絡輸入層的節點數設置為25,輸出節點數設置為4,模型訓練后輸出的最大值對應的評級等級即為評價結果。

2)網絡隱層層數和隱層節點個數。DBN是一個多層深度網絡,隱層層數直接影響輸入特征的提取能力,理論上認為隱層層數越多,網絡結構越復雜,網絡提取特征能力越強,精確度越高。但隨著隱層層數的增加,訓練難度將逐漸增大,收斂速度變慢,因此確定網絡層數時應充分考慮多方面的因素。本文通過實驗對隱層層數不同的網絡結構性能進行分析,實驗中為不受隱層節點數的影響,將各隱層節點數都設為10,以輸出預測數據的MSE作為評價標準,實驗結果如圖5所示,其中結果為10次實驗的平均值。

圖5 不同隱層層數的均方誤差對比

實驗結果表明,當隱層層數為2時,測試結果的均方誤差最小,因此本文將網絡設置為2個隱層。然后通過遍歷法來確定各隱層的節點個數,將第一層和第二層節點數分別設為[14,15,16,17,18,19,20]和[8,10,12,14],組合成28種網絡結構,每種網絡結構單獨訓練,其每種組合的網絡模型準確率對比如圖6所示。其中,橫軸代表第一隱層的神經元個數,縱軸代表每種網絡結構進行10次實驗的平均評價準確率,不同曲線代表第二隱層中不同神經元數的準確率變化,通過對比不同組合發現,當DBN的兩層隱層節點數分別為16和10時,準確率最高,模型性能達到最優,因此本文最終網絡結構的輸入層、兩層隱層和輸出層的神經元個數分別為25、16、10和4。

圖6 不同組合的隱層神經元準確率對比

3.3.3 結果分析

為驗證本文評價模型的有效性,將其與傳統DBN、BP人工神經網絡和SVM模型進行比較,每種模型都使用相同的數據集進行訓練。DBN網絡結構參數與IHS-DBN結構參數相同,無監督訓練的學習率為0.5,有監督訓練的學習率為0.1,BP人工神經網絡設置為單隱層結構,隱層節點的個數先通過經驗公式初步確定,再通過枚舉法最終確定為10個,即網絡結構為25-10-4,學習率設置為0.5,SVM采用一對多的方法來處理多分類問題,核函數為徑向基核函數,并利用粒子群優化算法尋找最優的懲罰因子C為100,參數σ為5.8。4種人才評價模型的實驗結果對比如表4所示。為減少偶然性,實驗結果均為執行10次實驗的平均值。

表4 不同人才評價模型實驗結果對比

由表4數據可知,本文IHS-DBN模型的準確率比BPANN、SVM、DBN模型分別提升了16.4%、7.3%、3.6%。相比于BPANN和SVM模型,IHS-DBN模型充分挖掘評價指標數據的深層特征,將輸入的25個指標抽象成10個指標進行評估,使得網絡擬合能力優于淺層結構。相比于傳統DBN模型,雖然網絡結構相同,但IHS-DBN模型的擬合精度高于DBN模型,這是因為IHS-DBN模型利用IHS算法對網絡的初始權值進行優化,加快了預訓練的收斂速度,并防止訓練陷入局部最優,從而提升模型性能,而DBN模型通過隨機方法對權值進行初始化,未經過有效優化進行訓練,導致樣本數據的擬合精度較差。此外,IHS-DBN和DBN的網絡結構比BPANN和SVM復雜,需要通過無監督訓練和微調訓練來完成模型的整個訓練過程,因此訓練時間較長,但由于人才評價并不需要實時的評價,因此通過增加訓練時間來獲得更高的評價精度是可以被接受的。

為驗證IHS-DBN模型在訓練過程中的優勢,對BPANN、DBN、IHS-DBN模型在相同迭代次數下的準確率進行對比,結果如圖7所示。為保證3種模型均收斂,迭代次數設為200。由圖7可知,隨著迭代次數的增加,3種模型的評價性能均表現為上升趨向,這表明隨著訓練次數增多,模型參數不斷優化。然而,3種模型的性能雖然都表現為上升趨勢,但變化趨勢各不相同,在迭代30次之前,準確率相差不大,但隨著迭代次數的增加,3種模型準確率之間的差距被逐漸拉大,IHS-DBN模型在迭代到100次時,變化趨勢趨于穩定,DBN模型在迭代到140次時,變化趨勢趨于穩定,而BPANN模型的變化趨勢在迭代達到190次才開始趨于穩定。這表明在相同的迭代次數下,本文IHS-DBN模型評價性能的提升速度明顯要優于其他模型。

圖7 3種模型人才評價準確率對比

4 結束語

本文提出一種優化的深度置信網絡模型IHS-DBN,并將其應用于高校人才評價問題中,與BPANN和SVM評價模型相比,IHS-DBN模型通過無監督訓練的方式充分提取評價指標的特征,并結合有監督訓練微調整個模型,較好地處理復雜評價指標與評價結果的映射關系,從而提高模型性能。與DBN評價模型相比,IHS-DBN模型利用IHS算法初始化DBN的權值,既解決了DBN模型因隨機初始化權值易陷入局部最優的問題,又加快了模型收斂速度,進一步提高模型性能。實驗結果表明,IHS-DBN模型得到的評價結果更接近于真實情況,對高校人才評價具有參考價值。下一步將從提高網絡訓練速率的角度出發對IHS-DBN模型進行優化,以期在保證模型準確率的同時進一步提高學習效率。