基于組合賦權與模型自優化的能力評價

2022-08-16 03:11:28白曉露潘理虎陳立潮

計算機工程與設計 2022年8期

張睿，白曉露，趙娜，李吉，潘理虎，陳立潮

(太原科技大學計算機科學與技術學院，山西太原 030024)

0 引言

綜合能力評價是研究生研究能力的衡量依據，建立一套科學的研究生綜合能力評價體制，對革新教學評價方式、改善研究生考核全面性和準確性、助力高等學校科學研究范式的轉型升級以及增強研究生的專業綜合素養具有重要意義。

現階段關于研究生能力評價工作的研究已經取得一些成效：Ince等[1]將模糊層次分析法與遺傳算法相結合，開發了一種智能問題評價與選擇軟件，為教育評估提供高質量的測試表；Fei等[2]以模糊綜合評價法為基礎，建立學生社會意識評價模型，為責任意識教育和培養提供決策依據；陳瑩[3]采用層次分析法構建了創業意識、創業品質和創業技能等大學生創新能力評價指標，為創新創業能力的績效評價提供借鑒；劉佳[4]采用基于LM算法以及BP神經網絡評價模型對40組大學生科研能力樣本進行分類評估，準確率達到了92.5%；張永梅等[5]采用模糊神經網絡設計實現了程序設計能力、實踐與創新能力評價方法；Feng Xiang等[6]提出一種基于長短時記憶注意機制和注意機制的學業情緒分類算法，在測試集上準確率達71%；張毅等[7]利用神經網絡調節學生綜合能力評價隸屬函數，極大提高了運算效率。

綜上所述，能力評價的研究多聚焦在層次分析法、專家打分法、模糊評價法等賦權方法的優化[8,9]，評價因素特征信息相對獨立且評價模型缺乏自適應性。由此本文開展基于組合賦權與模型自優化的能力評價的研究。構建出能夠反映研究生主、客觀綜合能力的評價體系，并提出P-TMVGG自適應網絡模型實現合理有效的能力評價，在保證綜合評價體系主客觀評價指標科學配比的同時，也有效提高研究生各類綜合能力評價性能。

1 綜合能力評價體系構建

科學、可靠的評價體系是實現智能評價的前提。為進一步提高現階段研究生研究能力評價的主客觀綜合性、可靠性，本文提出以最小相對信息熵原理進行評價體系主、客觀組合賦權，同時在模糊系統基礎上,結合了定性描述與定量評價改進隸屬度矩陣，以期進一步優化評價過程中的主、客觀評價指標的科學配比和評定。構建綜合能力評價體系流程如圖1所示。

圖1 綜合能力評價體系流程

1.1 評價指標建立與組合賦權

指標體系的建立為能力評價收集對象可表現信息，給權重的確定以及結果的量化一個可用的初始數據。構建如U={u1,u2,…,un} 此類指標集合，u1,u2,…,un代表一級指標，且u1,u2,…,un可細化為 {u11,u12,…u1k,u21,u22,…u2k,…,un1,un2,…unk} 此類二級指標。

主客觀組合賦權將各指標重要程度量化，保證評價流程的可靠性。本文主觀權重的計算先運用層次分析法[5]分別求得多位領域專家的權重判斷值，再結合整合灰色關聯度方法對所得多個權重判斷值進行匯總。客觀權重的計算則利用變異系數法[10]進行計算，最后利用最小相對信息熵原理[7,11]求出組合權重。

其中，整合灰色關聯度分析方法計算方法與步驟如下：

(1)構造多位領域專家權重綜合矩陣

領域專家權重的綜合矩陣形式如式(1)，式中，anm指第m個專家對第n個指標的權重判斷數據，也即該專家經過層次分析法得到的全體單個判斷矩陣的合成權重

(1)

(2)確定對照數據序列A0及相對距離Di0

A0=(a10,a20,…，an0)T

(2)

式中：a10=a20=…=an0=max{a11,…,a1m;a21,…,a2m;…;an1,…,anm}。

(3)求取綜合能力評價指標賦權體系中主觀權重

求解出綜合能力評價指標體系主觀權重系數ωai(i=1,2,…n) 后，根據構建評價指標體系所制定的評分細則收集研究生關于各類指標原始數據應用變異系數法進行指標權重體系中客觀權重的計算，求得綜合能力評價指標體系客觀權重系數ωbi,(i=1,2,…,n)。

結合綜合能力評價指標體系中各指標因子的主觀權重ωai和客觀權重ωbi可利用最小信息熵原理得到對應的綜合權重ωi,(i=1,2,…n)，即綜合能力評價指標體系的最終權重系數。

1.2 模糊評價結果量化

綜合評分將取得的綜合能力評價結果直觀體現，為之后智能評價工作提供合理的數據集。具體步驟如下：

(1)確定評語集以及模糊權重向量P

以能力評價對象和指標因素為基礎，確定出評語集V={v1,v2,…,vn}，本文中評價語句設定為V={優，良，中，差}。模糊權重向量P即為綜合能力評價指標權重體系最終得到的綜合權重ωi。

(2)確定模糊變換矩陣R

由于本文構建的指標包含定性指標和定量指標，針對不同的指標類型，本文給出了不同的隸屬函數確定方法。對于定性指標的處理：采用模糊統計法確定隸屬度函數，邀請m位領域專家對評價對象關于體系中定性指標根據n個評語等級分別進行評價，評價后對結果進行綜合統計，據式rij=mij/m計算評價對象對應于指標Ui的隸屬度rij，式中m為專家個數，mij表示指標Ui隸屬于該評價等級的專家人數。可得定性指標模糊映射矩陣R1ij=(ri1,ri2,……rin)。對于定量指標的處理：由于體系中定量指標全部屬極大型指標，隸屬度采用指派法確定。對該類指標隸屬度函數定義如式(3)。收集研究生各項指標得分數據歸一化處理后確定評價標準參數為：a1=0.1，a2=0.4，a3=0.6，a4=0.8。將標準參數帶入隸屬度函數后將實際值代入函數即求得指標隸屬度ui，進而得到定量指標模糊映射矩陣R2ij=(ri1,ri2,……rin)。將定性與定量指標的模糊映射矩陣聯立構造綜合能力的模糊變化矩陣，即指標隸屬度矩陣如式(4)所示

(3)

(4)

(3)模糊評價結果獲取以及分析

在權重矩陣P和指標隸屬度R基礎上，進行復合運算求得各評價對象的最終評價結果。本文采用的是加權平均算子，如式(5)所示，b′j表示評價對象隸屬于評語Vj的程度。模糊評價結果獲取后，采用量化處理的方式對結果進一步描述和分析。量化時，先將評語集V上的各個評價語句賦予相應的分值，本文中對應評價語句賦予分值為 {優=95,良=80,中=65,差=50}，將分值集合和模糊評價結果B′采用加權平均算子進行計算，可依式(6)求得評價對象綜合得分G，式中，gj是對V上第j個評價語句賦予的分值

(5)

(6)

2 綜合能力評價方法實現

高效、精準的智能評價算法是實現綜合能力評價的關鍵。為了有效改善小樣本條件下，一維離散序列樣本信息豐富度低，數據間關聯性弱，以及傳統機器學習評價方法特征提取不充分，評價模型人工優化耗時費力等問題，本文提出一種基于GASF的自適應綜合能力評價方法的研究。該評價方法技術路線如圖2所示，可分為數據預處理、評價網絡構建及網絡訓練測試。通過數據預處理將評價體系工作的離散指標依次處理為一維序列、二維圖像樣本，并進行數據增強；將增強后的數據集投喂入智能優化算法搜索得到的最優深度網絡結構中進行訓練；最后，通過已訓練模型實現對每類樣本精確識別。

圖2 綜合能力評價方法技術路線

2.1 數據預處理

經量化后的原始評價樣本還是離散樣本，雖可以轉換成一維連續序列，增加數據相關性，但所包含的評價特征信息依然較少，特征之間相關性表達不充分，同時深度學習網絡對二維數據樣本較友好，由此本文利用格拉姆角和場(gramian angular summation field，GASF)算法[12]對評價樣本進行空間域變換，將本文評價特征提取聚類問題轉化為適用于深度學習網絡的二維圖像處理問題。

(7)

為了進一步避免樣本量少、樣本不均衡引起的過擬合現象，以及對深度網絡泛化能力的影響，本文對二維圖像樣本進行數據增強處理，即利用各種能夠生成可用圖像的隨機變換來獲得更多樣本，包含隨機裁剪、翻轉變化、增加噪聲等多種方式，以期提高樣本的多樣性以及模型的泛化性。

2.2 P-TMVGG網絡模型構建

針對能力評價樣本少、淺層CNN網絡特征提取不充分、網絡模型調參數人為經驗性強、調參過程耗時耗力等問題，本文結合遷移學習利用大樣本量所獲得的知識解決數據稀缺、知識稀缺問題的優勢[13,14]，以及粒子群優化算法(particle swarm optimization，PSO)[15,16]全局尋優調參少、魯棒性好、收斂速度快等特點，構建了P-TMVGG網絡模型。

(1)TMVGG網絡模型構建。本文以VGG-16模型[17,18]為基礎，首先在ImageNet上訓練好VGG16模型conv1-conv4的結構和參數凍結，再將原模型conv5卷積塊中3個步長均為1的3*3卷積核替換為1*1卷積、3*3卷積與5*5卷積的第三維并聯結構，使得網絡中每一層都能學習到“稀疏”(3*3、5*5)或“不稀疏”(1*1)的特征。同時采用橫向空間上的疊加來組合各卷積核輸出不同尺度特征，這種并聯結構采用不同大小的卷積核以獲得不同大小的感受野，較原始模型拓寬了網絡寬度，豐富了特征提取。

(2)PSO自適應卷積神經網絡模型優化。基于PSO的卷積神經網絡模型自適應優化流程如Algorithm1偽代碼所示。先初始化TMVGG網絡改進多尺模塊中權值矩陣和偏置矩陣，根據PSO算法中各維度搜索范圍更新粒子位置重構TMVGG網絡，訓練重構好的TMVGG網絡并利用式(8)計算它在驗證集上的驗證誤差，式中batch為訓練批中的樣本量，t(i) 為真實值，y(i) 為預測值。將f定義為粒子群優化算法中的適應度函數，最終結合迭代參數結果，設計出最優P-TMVGG網絡模型，可有效提高模型優化的自適應性和評價性能

(8)

Algorithm1: Selection of key parameters in CNN.

Input:

T:the maximum iterations,N:the number of particle

D:the dimensions of each particle (Number of parameters to be optimized in CNN)

c1,c2:the variation factor of the particle swarm

w:the adaptive weight of particle swarm

Initialize a population ofNparticles and define their positions and velocities.

Output:

Xbest:the optimum position of the particle swarm

Fg:optimal fitness of particle swarm

(1)WHILE(k

(2)FOReach particleninN

(3) calculate fitness value,updateXbest

(4)ENDFOR

(5) Select the particle with the best fitness value asFg

(6)FOReach particleninN

(7)FOReach dimensiondinD

(8) calculate velocity according to the equation

(9)vid(k+1)=w*vid(k)+c1*rand1(pid-xid)+c2*rand2(pgd-xid)

(10) update particle position according to the equation

(11)xid(k+1)=xid(k)+vid(k+1)

(12)ENDFOR

(13)ENDFOR

(14)k=k+1

(15)ENDWHILE

(16)RETURNXbest,Fg

3 實驗分析-以太原科技大學計算機學院2017-2019級研究生為例

3.1 數據集構建

為了驗證本文綜合能力評價方法的適可靠性，項目組以太原科技大學計算機學院2017-2019級研究生為評價對象，依據相關領域專家意見及已有相關文獻[1-7]，結合主、客觀因素，建立了表1所示的研究生綜合能力評價指標體系，其中包含3項一級指標，23項二級指標。指標體系構建完成后制定評分細則用以進行客觀權重ωbi的確定，對定量類指標采用終結性評分，如：英語水平項指標評分細則中，未獲得證書記1分、四級記4分、六級記8分、八級及以上記10分；對定性類指標采用形成性評分，如：知識分析能力指標評分細則中，采用李克特量表問卷測試評分。之后基于前文所述以及式(1)、式(2)求得所列指標體系中主觀權重ωai，并將ωai與ωbi綜合為評價體系最終權重系數ωi。最終所得各層指標的權重向量見表2。

將評價體系最終權重系數ωi作為模糊權重向量，在學生各指標得分基礎上，按照式(3)～式(6)進行隸屬度矩陣計算，并得出模糊評價結果B’以及最終綜合素質得分G。最后按照所得綜合評分由所屬區間進行分類處理，取得最終能力評價體系評價結果。本文中將綜合得分處于評語集

表1 研究生綜合能力評價指標

里良(80)-優(95)區間的學生數據給定為A類、處于中-良區間的數據給定為B類、處于差-中區間的數據給定為C類。其中一名學生的綜合能力評價結果計算過程如下所列

模糊評價結果B′1表示該生評價結果隸屬于評語“優”的程度為0.2155。綜合素質得分G1表示該學生屬B類能力評價結果。最終，匯總得出3屆學生中含A類數據31條，B類數據171條，C類數據22條，共計224條數據。

表2 評價指標體系權重向量

3.2 數據集預處理

圖3 KNN、BP、SVM這3類模型分類效果

經轉換后，收集到了224張樣本圖片。為避免樣本不平衡引起過擬合現象，利用Keras深度學習庫中批量生成器方法對樣本進行數據增強。其中，隨機旋轉角度參數設置為40，其它參數設置為0.2。處理邊緣值時，fill_mode

表3 3種評價類型一維序列圖及對應GASF圖像

參數設置為nearest，當進行變換時超出邊界的點將根據本參數給定的方法進行處理。經處理，將原先樣本集中A類數據大致擴充14倍、B類數據大致擴充3倍、C類數據大致擴充20倍，每類數據都達到450數量的樣本集。以本文中A類中某一數據樣本為例，經多種方式數據增強后評價結果GASF圖像如圖4所示。

3.3 評價分析

圖4 數據增強圖像

表4 不同網絡的評價準確度對比/%

基于表4分析，對“遷移學習+VGG”模型進行2.2章節所述多尺度卷積核改進以及自適應模型優化。PSO參數尋優中，每個粒子的10個維度分別對應著模型的10個關鍵參數：學習率(L_rate)、梯度下降函數(Op)、改進多尺卷積層的3個激活函數(Act_1、Act_2、Act_3)、訓練批次大小(Batch)、改進多尺卷積層中4類卷積核通道數大小(Ke_1、Ke_2、Ke_3、Ke_4)。PSO的主要參數初始設置見表5。經迭代尋優后，最優粒子所含10個參量見表6，進行3次實驗后，為直觀體現粒子迭代過程，以Ke_1、Ke_2為橫、縱坐標，繪制第二次實驗粒子3D迭代圖如圖5所示，粒子適應度曲線如圖6所示，各粒子均可按自身位置移動公式迭代尋找到最優適應度。實驗結果表明本文采用PSO自適應選取CNN參數防止了網絡過早陷入局部最優，具有較好的自學習能力。

表5 PSO的主要參數初始設置

表6 PSO優化后獲得的最優參數

圖5 粒子迭代3D圖(深色板塊為最優適應度100)

圖6 粒子適應度曲線

經優化后的P-TMVGG網絡結構如圖7所示，改進后的結構有效緩解原型conv5層訓練過程中需要學習到的參數將會不斷增加從而導致計算量過大以及出現過擬合的問題。將之前預訓練網絡模型中卷積層最后一層2,359,296的參數量減少到了591,872，大約減少了4倍。

圖8是P-TMVGG網絡評價分類準確度曲線，可以看出P-TMVGG網絡對評價結果樣本的分類效果較好，網絡模型收斂快且穩定，準確率98.52%。圖9為P-TMVGG評價分類混淆矩陣，表7為P-TMVGG與VGG-16(遷移)在識別精度和單幅圖像測試時間上的對比，可以看出該模型對每類樣本的準確評價均達到97%以上，均高于前期實驗結果，且在單幅圖像測試時間上相對VGG-16網絡可提高近70%的時間效能，驗證了本文評價方法的高效性。

4 結束語

本文開展了基于組合賦權與模型自優化的能力評價的研究。通過組合賦權及模糊系統中隸屬度函數改進實現研究生能力評價的主客觀評價體系的綜合性、可靠性優化。同時針對能力評價樣本少、傳統機器學習特征提取不充分、網絡計算模型優化自學習能力弱等問題，結合GASF、遷移學習、群智能PSO優化算法，給出了具體P-TMVGG網絡模型及其構建方法。最終實現對研究生綜合能力數據收集、處理、評價流程化，且對270組3類測試樣本可達98.52%的準確率。實例驗證表明本文方法具有可行性和有效性，可為基于離散序列樣本的評價、預測、診斷等相關領域提供科學的理論框架與行為指導。本文方法僅以評價準確率為計算模型全局尋優目標，下一步將兼顧計算模型訓練效率、精度等其它指標開展多目標模型自適應優化方法研究，以期更好地提升評價性能。