云計算Hadoop平臺中基于遺傳算法的高校師資培訓資源管理

摘" 要： 為了提高高校教學質量和教學品牌影響力，必須打破單一的培訓模式，以多樣化資源共享的形式完成高校師資培訓。而進行多樣化培訓資源共享時，高精度的培訓資源管理成為目前急需解決的問題。文中深入探討高校師資培訓資源管理問題，建立基于云計算Hadoop平臺的高校教育資源網架構，整合各大高校優秀教師培訓資源，并采用基于遺傳算法的高校師資培訓資源調度方法實現高校師資培訓資源管理。實驗結果表明，所提方法在資源調度精度、資源利用率以及資源管理靈活性方面性能顯著，應用價值可觀。

關鍵詞： 云計算; Hadoop平臺; 遺傳算法; 高校師資培訓; 資源管理; 資源共享

中圖分類號： TN711?34; G64" " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2019）21?0120?05

Abstract： In order to improve the teaching quality and teaching brand influence in colleges， it is necessary to break the single training mode and complete the college teacher training in the form of diversified resource sharing. When the training mode of diversified training resource sharing is applied， the high?precision training resource management becomes an urgent problem to be solved. The management of college teacher training resources is discussed deeply， and the college education resources network architecture based on cloud computing Hadoop platform is established. The outstanding teacher training resources in major colleges are integrated， and the genetic algorithm based scheduling method of college teacher training resources is used to realize the management of college teacher training resources. The experimental results show that the proposed method has significant performance in resource scheduling accuracy， resource utilization rate and resource management flexibility， and has considerable application value.

Keywords： cloud computing; Hadoop platform; genetic algorithm; college teacher training; resource management; resource sharing

0" 引" 言

伴隨我國高等教育迅速發展，高等教育目前已步入大眾化時期。隨著科學技術的快速發展與高校規模的逐漸增大，人們對教育資源的需求也逐漸增多[1]。高等教育中的表率即為高校，而高校本身資源利用率不大，硬件配置具有重復性，軟件更新效率不高。同時伴隨時間延長，此類問題越來越嚴重。只有從根本上處理高校教育資源問題，我國的教育事業方可出現質的飛躍。目前高校師資培訓體制大多以政府主導形式為主，本質上屬于計劃經濟體制的產物，屬于一種政府掌控與管理的體制[2]。伴隨市場經濟體制的設定與高等教育改革的推動，我國高等教育體制也逐漸變成以市場機制為核心，將政府管理作為主導的形式，運行體制也慢慢出現變動。已有高校師資培訓不存在科學性、合理性培訓理論，且培訓內容過于單一化，不能達到理想效果。隨著云計算的出現，構建一個統一化、開放化以及靈活性的教育師資培訓資源管理平臺可實現教育師資共享，減少教育信息化差距[3]。本文提出云計算Hadoop平臺中基于遺傳算法的高校師資培訓資源管理方法，用于高校師資培訓資源管理。

1" 高校師資培訓資源管理

1.1" 云計算Hadoop平臺的高校教育資源網架構

建立基于云計算Hadoop平臺的高校教育資源網架構能夠有效整合各大高校優秀師資培訓資源。高校教師想在高校教育培訓資源網中獲取自己所需培訓資源，第一步需要向云計算服務提供商上傳資源獲取申請，在云存儲培訓資源名稱節點中獲取對應的網址ID，并在網址的ID得到自己所需的培訓資源，詳細架構如圖1所示。

其中各大高校師資可看作培訓數據節點，通過高校管理員往云存儲服務系統中傳輸數據，為了減少高校服務器存儲容積，管理人員可判斷是否刪掉已上傳培訓資源。

培訓資源名稱節點將培訓數據傳輸至云服務提供商的數據節點中，并將培訓資源名稱節點實行記錄后存儲在培訓文件里，通過培訓資源輔助名稱節點將培訓資源名稱節點里的原數據實行備份，然后將數據備份文件在培訓資源名稱節點中實時刷新，儲存最新培訓資源。如果有高校師資需要該資源時，可往云服務提供商傳輸請求，培訓資源名稱節點能夠通過基于遺傳算法的高校師資培訓資源調度方法獲取資源編號，傳輸給客戶端[4]。

1.2" 基于遺傳算法的高校師資培訓資源調度

遺傳算法是在1975年生物進化理論的影響下提出的，在云計算Hadoop平臺里，本文使用基于遺傳算法的高校師資培訓資源調度方法合理管理高校師資培訓資源。

1.2.1" 編碼設計

在云計算Hadoop平臺中，高校師資培訓資源染色體編碼使用自然數直接編碼方法進行處理，高校師資培訓資源染色體的長度與需要分配的培訓任務數目相同[5]。假定一個高校師資培訓資源染色體是[Y=a1，a2，…，ai，…，an]，那么[ai]表示第[i]個高校師資培訓資源分配任務的資源，高校師資培訓資源分配任務編號[i]具有唯一性。對各個高校師資培訓任務分配一個資源，不一樣的任務被分配的培訓資源存在一致性。使用此方法實行編碼，有利于促進高校師資培訓資源染色體交叉變異，編碼與解碼步驟也易于操作[6]。

1.2.2" 高校師資培訓資源任務量

將第[j]個資源所具有的計算性能設成[Aj]，第[i]個培訓任務大小設成[Bi]。假定第[j]個培訓資源空閑時間是[Cj]，高校師資培訓資源數目總值是[n]，高校師資培訓任務總數目是[m]。則高校師資培訓任務量總值[B]為：

若高校師資培訓任務[i]在高校師資培訓資源[j]中的管理用時是[ABij]，那么[ABij=Dij+Fij]。其中[Fij]表示第[i]個培訓任務在第[j]個資源中的應用耗時，同時[Fij=BiAj]。[Dij]表示高校師資培訓任務[i]在高校師資培訓任務[j]中開始應用時間，如果[Dij=Cj]，則表示高校師資培訓資源沒有被分配;如果高校師資培訓資源已分配，則此資源已分配的培訓任務用時設成[Gij]，[Dij=Cj+Gij]。

算法一：理論實現時間最小值運算

1） 初始化目前已分配高校師資培訓任務量[BD=0]，將[n]個高校師資培訓資源空閑時間[Cj]按照自小至大的形式排列，獲取[n]個根據順序排序的時間段信息。

2） 自第2個時間段至最后一個時間段，實現步驟1）與步驟2）。

① 判斷此時間段（不包含此時間自身）和上個時間段中可用培訓資源數量，運算高校師資培訓可用資源運算能力總值[ATotal]，運算此時間中能實現的培訓任務量[BD=ATotal]。

② 如果[BD+Bp≥B]，那么記錄上個時間段的培訓資源分配情況，跳轉至步驟3），反之設[BD=BD+Bp]，返回操作步驟2）。其中，[BD]表示目前培訓任務量，[Bp]表示過去時間段中的培訓任務量。

3） 如果沒有時間段被分配標記，那么標記最后一個時間段。

4） 運算高校師資培訓資源分配時間的最小值：[r]=被分配標記的時間+（[B-BD]）/被分配標記的時間中全部可用資源具有的運算能力。

通過算法一運算在理想的前提下，高校師資培訓任務的分配時間最小值[r]，現實中因為培訓任務大小和每個資源運算能力不同，最短分配時間一般不小于[r]。第[j]個培訓資源理想的狀態下，需要分配的培訓任務量的大小[Rj]為：

1.2.3" 高校師資培訓資源初始種群的構建

在云計算Hadoop平臺里，對資源調度的及時性存在較大的要求，為了增大算法收斂效率，優化算法管理效果，高校師資培訓資源初始種群中不僅存在隨機性的培訓資源個體，也存在較為優秀的培訓資源個體[7]。則主成初始種群的方法是：

算法二：高校師資培訓資源初始種群生成

破壞高校師資培訓任務的順序，針對各個培訓任務，根據下述四類方法分配至每個培訓資源：

1） 選取一個高校師資培訓資源，獲取培訓任務放入此資源后的用時和[r]之差的絕對值的最小值。

2） 選取一個目前培訓任務量低于[Rj]的高校師資培訓資源[j]，獲取培訓任務放入此資源后的用時和[r]之差的絕對值的最小值。

3） 隨機選取一個目前培訓任務量低于[Rj]的高校師資培訓資源[j]。

4） 隨機選取一個高校師資培訓資源。

通過算法二生成培訓資源個體比直接通過隨機方法生成培訓資源個體的優勢在于，前者生成較為優秀的培訓資源個體的機率更大[8]。

1.2.4" 交叉與變異

算法三：交叉算法

1） 選取兩個高校師資培訓資源個體，標記全部的培訓資源沒有被選擇。

2） 如果全部培訓資源均被選擇，跳至步驟4），反之選取一個之前未被選取的培訓資源，標記此資源屬于已選擇，對比兩個培訓資源個體在此資源中的培訓任務，若全部培訓任務均一致，則反復執行步驟2），反之跳至步驟3）。

3） 基于步驟2）里最終選取的培訓資源[j]，對比兩個培訓資源個體在此培訓資源中已有培訓任務量和[Rj]差的絕對值，針對絕對值很大的高校師資培訓資源個體，將資源[j]中分配的培訓任務設成沒有被分配狀況，將其他培訓資源個體資源[j]中所分配的培訓任務分配至此個體資源[j]中，再將之前設定沒有被分配的培訓任務按照算法二中第一個方法進行分配，從而產生新培訓資源個體[9]。

4） 完成。根據算法三的方法實行交叉，能夠留下優秀培訓資源個體某個培訓資源中的所有任務分配情況。針對一個培訓資源[j]而言，分配在它上面的培訓任務數目總值和[Rj]的差較小，則此資源的分配方法即為高校師資培訓任務用時最短的資源個體中培訓資源[j]的任務分配形式，所以該方法可促進較為優秀的個體生成。

1.2.5" 個體的選取

在實行高校師資培訓資源個體交叉前，需要選取合適的培訓資源個體，培訓資源個體的選取方式不在少數，本文使用兩種方法來運算培訓資源個體適應度，第一種方法基于培訓任務用時運算培訓資源個體適應度，一個培訓資源個體里培訓任務用時越短，此培訓資源個體的適應度便較大。第二種方法基于培訓資源個體里資源分配的優秀水平運算適應度，詳細方法是：

假定一個培訓資源個體里培訓資源分配的優秀水平是此培訓資源中分配任務用時和[r]間之差的絕對值，此差的絕對值較小，則此培訓資源的任務分配數目合理，此培訓資源分配情況較為優秀。針對各個培訓資源個體里的全部培訓資源，根據培訓資源的優秀水平進行排列，刪除[p?m]個優秀水平較差的培訓資源，將剩下的培訓資源放至集合[O]里，[p]表示培訓資源[j]中實行分配任務的用時情況，針對[O]集合里的培訓資源，運算用時和[r]間的均方差[K]為：

式中[M]表示集合[O]中培訓資源數目。

本文通過[K]值判斷適應度的情況，[K]值越小，則適應度越大;[K]值越大，則適應度越小。為了使用更為優秀的培訓資源，上述方法中刪除了優秀水平較小的培訓資源數，但其中一部分優秀水平不高的培訓資源個體適應度較大，也會被留下。

針對培訓資源個體的選取，先通過第一種適應度方法獲取一部分培訓資源個體，再通過第二種適應度方法在剩下的培訓資源個體里挑選剩余培訓資源個體。第一種方法選取能夠留下整體較好的培訓資源個體，第二種方法選取能夠留下一部分較為優秀的高校師資培訓資源個體，此類培訓資源個體在和別的培訓資源個體實行交叉時，能夠為剩余個體給予更好的交叉點，促進了高校師資全局最優培訓資源個體的生成[10]。全局最優培訓資源個體即為最符合用戶所需的培訓資源。

2" 實驗結果與分析

為驗證本文方法對高校師資培訓資源管理的性能，選取本文方法、基于資源簽名的自動尋優方法以及基于神經網絡的資源管理方法進行對比實驗。將2010—2015年隨機抽取的實驗高校師資依次分成985工程院校師資、211工程院校師資以及普通高等院校師資。

2.1" 高校師資培訓資源調度精度對比分析

采用三種方法對三種不同類型的高校師資進行培訓，培訓次數設成6次，分析三種方法管理下培訓資源提取結果，判斷其調度精度并進行對比，對比結果如圖2所示。

分析圖2可知，在985工程院校師資、211工程院校師資以及普通高等院校師資的培訓管理中，本文方法的培訓資源調度精度始終位于基于資源簽名的自動尋優方法和基于神經網絡的資源管理方法的上方，本文方法的培訓資源調度精度均大于0.95，由此可知，本文方法的培訓資源調度精度最大，高校師資培訓資源管理效果最好。

2.2" 資源利用率

分析上述實驗中三種方法在管理高校師資培訓資源時的資源利用率并進行對比，對比結果如表1所示。分析表1可知，本文方法在管理高校師資培訓資源時，整體資源平均利用率是[（0.98+0.99+0.98）3]=0.98;基于資源簽名的自動尋優方法和基于神經網絡的資源管理方法的資源平均利用率分別是0.88，0.86。經對比，本文方法的資源利用率最高。

2.3" 資源管理靈活性

分析三種方法在管理高校師資培訓資源時的靈活性，該靈活性側面體現了三種方法應用在云計算Hadoop平臺中的負載均衡性。三種方法的資源管理靈活性對比結果如圖3所示。分析圖3可知，本文方法對高校師資培訓資源的管理靈活性最大值為98.88%，基于資源簽名的自動尋優方法和基于神經網絡的資源管理方法的資源管理靈活性最大值依次是91.23%，87.98%。由此可知，本文方法的資源管理靈活性最高，說明在云計算Hadoop平臺中，本文方法管理下的高校師資培訓數據處理效果好。

3" 結" 論

本文提出云計算Hadoop平臺中基于遺傳算法的高校師資培訓資源管理方法，和其他資源管理方法相比，該方法不單調度精度高達0.95，而且資源利用率高達0.98，除此之外，資源管理靈活性也未低于97%，可為各大高校師資培訓資源管理提供有效幫助。

參考文獻

[1] 徐占洋，鄭克長.云計算下基于改進遺傳算法的聚類融合算法[J].計算機應用，2018，38（2）：458?463.

XU Zhanyang， ZHENG Kezhang. Clustering ensemble algorithms based on improved genetic algorithm in cloud computing [J]. Journal of computer applications， 2018， 38（2）： 458?463.

[2] 張淑芬，董巖巖，陳學斌.基于云計算平臺Hadoop的HKM聚類算法設計研究[J].應用科學學報，2018，36（3）：118?128.

ZHANG Shufen， DONG Yanyan， Chen Xuebin. HKM cluste?ring algorithm design and research based on Hadoop platform [J]. Journal of applied sciences， 2018， 36（3）： 118?128.

[3] 馬躍，余騁遠，于碧輝.基于資源簽名與遺傳算法的Hadoop參數自動調優系統[J].計算機應用研究，2017， 34（11）：24?27.

MA Yue， YU Chengyuan， YU Bihui. Hadoop parameter automatic tuning system based on resource signature and genetic algorithm [J]. Application research of computers， 2017， 34（11）： 24?27.

[4] XIONG Y H， HUANG S Z， WU M， et al. A johnson′s?rule?based genetic algorithm for two?stage?task scheduling problem in data?centers of cloud computing [J]. IEEE transactions on cloud computing， 2019， 7（3）： 597?610.

[5] 付曉明，王福林，尚家杰.基于多子代遺傳算法優化BP神經網絡[J].計算機仿真，2016，33（3）：258?263.

FU Xiaoming， WANG Fulin， SHANG Jiajie. Optimized BP neural network algorithm based on multi?child genetic algorithm [J]. Computer simulation， 2016， 33（3）： 258?263.

[6] 李佳，李海波.基于遺傳算法的資源服務鏈構建方法[J].小型微型計算機系統，2016，37（9）：1947?1952.

LI Jia， LI Haibo. Building resource service chain based on genetic algorithm [J]. Journal of Chinese computer systems， 2016， 37（9）： 1947?1952.

[7] HAMEED A， KHOSHKBARFOROUSHHA A， RANJAN R， et al. A survey and taxonomy on energy efficient resource allocation techniques for cloud computing systems [J]. Computing， 2016， 98（7）： 751?774.

[8] 宗思光，劉濤，梁善永.基于改進遺傳算法的干擾資源分配問題研究[J].電光與控制，2018，25（5）：45?49.

ZONG Siguang， LIU Tao， LIANG Shanyong. Interference resource allocation based on improved genetic algorithm [J]. Electronics optics amp; control， 2018， 25（5）： 45?49.

[9] 馬壯壯，束龍倉，季葉飛，等.基于遺傳算法的BP神經網絡計算巖溶水安全開采量[J].水文地質工程地質， 2016， 43（1）：22?27.

MA Zhuangzhuang， SHU Longcang， JI Yefei， et al. Calculation of karst water safe yield by using BP neural network based on genetic algorithm [J]. Hydrogeology and engineering geology， 2016， 43（1）： 22?27.

[10] SHAHDI?PASHAKI S， TEYMOURIAN E， TAVAKKOLI?MOGHADDAM R. New approach based on group technology for the consolidation problem in cloud computing?mathematical model and genetic algorithm [J]. Computational amp; applied mathematics， 2016， 37（1）： 693?718.