基于SSM 框架和大數據技術的校企協同育人平臺設計與實現*

洪 東

(廣西交通職業技術學院 信息工程系,廣西 南寧 530023)

0 引言

《關于深化產教融合的若干意見》中簡述了深化產教融合的原則——統籌協調,共同推進;服務需求,優化結構;校企協同,合作育人.根據《意見》,深化產教融合的主要目標是:逐步完善多元化辦學體制,提高行業企業參與辦學的程度,全面推進校企合作育人.[1]由此可見,國家層面對校企協同育人非常重視,所以,通過SSM 框架技術搭建Web服務端,結合云計算技術完成Hadoop分布式服務器構建,利用大數據技術對數據資源進行分類、篩選、分析等,為校企雙方管理都提供可視化的管理模式.

1 校企協同育人的現狀

1.1 校企深度合作未能達成共識

企業需要什么樣的人才? 學校培養出對應的人才進行服務.作為高職院校,實踐動手能力強是學生的特色.因此,在實踐教學環節中,職業院校會讓學生走進企業并在一線環境中學習新知識、新技術.但是,職業院校作為育人的主體與企業對接不緊密,而企業因本身的經濟發展也忽略對職業院校人才的培養.

1.2 校企協同育人模式單一

校企合作的深度不夠,雙方未根據學院專業特色,企業用人的特點,對人才的需求進行分類培養.在引企入校,雙導師授課,企業入駐課堂等模式,雙方只停留于淺表層面,未能深入探究.協同育人過程出現問題雙方未能及時解決,制度政策不完善,缺乏雙向管理.

1.3 校企合作平臺缺乏數據管理

目前,企業與職業院校簽訂協同育人協議后,大部分都是停留在“一紙協議”的模式,協同育人過程中,企業的積極性不高,職業院校教學質量無法與企業聯合,畢業生和企業崗位不能無縫對接.[2]針對上述的問題,缺乏信息平臺或大數據技術進行數據記錄、跟蹤、管理、分析等,導致合作雙方對人才培養的過程管理無法掌控.

2 校企協同育人的意義

2.1 提升職業院校產學研水平

職業院校的教育教學要突出“職業特色”,校企合作教育則成為職業教育適應區域經濟發展和社會資源共享的必然選擇,各職業院校根據自身的辦學特點及當地區域經濟的發展,探索和實踐企業行業特色的校企合作人才培養模式.[3]職業院校從專業設置、課程體系、教學內容、課堂活動、課程開發等方面與企業需求進行對接,在協同育人的過程中,與知名企業合作,提高育人的標準,促進教學質量的提升,教師能力水平和科研能力的提高,服務企業項目的實力增強.

2.2 提高課堂教學質量

采用“企業入駐課堂,雙導師授課”等模式,使教學經驗豐富的校內專職教師和項目經驗豐富的企業工程師共同授課,共同管理.學生在接收理論知識的同時也能接收實踐性強、實用性泛的新興技術.合作企業還承擔課程體系中的專業見習,頂崗實習和畢業實習任務,真正融入企業讓學生的專業技能得到更高的提升,形成“理論與案例相結合,實踐與應用相結合”的課堂教學特色.

2.3 增強學生就業競爭力

企業引入新興的生產流程和技術,把優秀的企業管理理念和文化引入校園,讓學生提前接觸和適應社會.通過校企協同育人,學院在創新工作室、實訓課堂、校內專業見習等引入企業文化、企業制度、經營理念、企業項目等,使學生零距離接觸企業生產、管理的真實環境,提升學生綜合素質.

3 校企協同育人平臺構建思路

(1)搭平臺記錄數據.采用SSM 框架搭建校企協同育人平臺,記錄學生成長軌跡,包含:在校期間每個學期每門課程的成績,參加各類技能大賽獲得成績,參與科研項目或企業真實項目的記錄等.除此之外,記錄并跟蹤往屆學生的成長軌跡,做好完整的育人體系鏈.

(2)大數據分析改革教學.運用大數據技術,對就業崗位、待遇、職業發展等進行分析,根據學生各維度情況,智能推薦企業及工作崗位.同時,將綜合分析出的情況反哺教學,對人才培養方案進行修訂,課程體系改革,人才培養模式完善,培育出更多優秀應用型人才.

(3)打造數字資源庫.校企共同構建數字資源庫,融合虛擬仿真平臺、操作視頻、UI界面設計素材、原理動畫等數字媒體資源.同時,可依托“數字資源平臺”形成政府、行業、企業、學校多層管理、監督、監控的網絡數據平臺,并對數據進行分析,為項目的實施提供改革方向、改進措施等.

根據上述思路,形成基于“創新工作室”的校企協同育人思維框架圖,如圖1所示.

圖1 基于“創新工作室”的校企協同育人思維框架圖Fig.1 School-enterprise collaborative education framework based on"Innovation Studio"

4 校企協同育人平臺相關技術

面向高職院校育人過程,通過數據可視化展示育人的結果、過程.開發框架采用跨平臺混合應用開發,結合大數據技術應用對數據進行抓取、清洗、分析、計算等.適應不同的用戶,提供全方位的服務及個性化的設置.

該平臺采用Seed UI客戶端交互界面,MYSQL數據存儲容器,SSM+Min UI為Web服務端研發框架.

SSM 框架:Spring+Spring MVC+MyBatis即是(業務邏輯層+表現層+數據處理層)是經典的Java-EE企業級框架.[4]原理:用戶通過控制器調用業務層(S)處理邏輯以完成邏輯事務處理,然后邏輯層向持久層(D)發送請求,持久層與數據庫(XML)交互,并將結果返回給完成數據的CRUD 之后,業務層,業務層將處理邏輯發送到控制器,控制器調用視圖(V)顯示數據.

MiniUI前端框架:是快速開發Web界面的前端框架,可以創建Ajax 無刷新、B/S 快速錄入數據、CRUD、Master-Detail、菜單工具欄、彈出面板、布局導航、數據驗證、分頁表格、樹、樹形表格等,可供.NET、java、php等主流編程語言配合使用.[5]

大數據技術:Hadoop分布式環境,Python語言和Map Reduce技術完成數據計算程序,Hive完成數據清洗和過濾,HBase實現數據存儲.

5 校企協同育人平臺設計與實現

5.1 權限配置

基于“創新工作室”的校企協同育人平臺,根據校企雙方的需求,共用一個平臺,但用戶根據職責、職務、管理等劃分為企業(領導、管理者、工程師),學院(領導、教師、在校學生、往屆學生).其中企業和學院的領導查看整個育人體系中學生的總體情況,工作室總體的事務量,工程師與教師的工作銜接率,并根據數據進行決策.企業管理者負責企業與學院的事務對接,工程師負責培養學生,與教師共育人才.學院教師負責工作室的日常事務管理,培養學生,對接企業日?；顒拥?學生(在校、往屆)負責記錄自己的成長數據,查看項目,參與考核,獲取招聘信息.

5.2 成長軌跡

工程師記錄參與項目學生的所有數據并對其進行分類,也可查看學生在校的學習情況、參與活動、競賽獲獎等情況.教師將學生在?；虍厴I后的數據進行記錄,按活動類別、比賽項目、企業任務等多維度方面,記錄學生的所有數據,通過可視化平臺進行數據分析.工程師和教師都可以根據成長軌跡圖進行分類專門培養,調整培養的方法.學生可以看自己整個大學的學習情況軌跡,參加活動或競賽等分析圖,調整自己的學習目標和方向.

5.3 項目中心

企業將真實項目發布于平臺或引入到項目實訓課程里,學生成立團隊接收項目,要教師和工程師的指導下完成項目的開題報告、需求調研、框架設計、程序編寫、項目測試、成果展示、結題歸檔,所有的步驟數據都進入平臺的項目管理中心.可以查看項目的進度,上傳文檔,成果演示,數據統計等功能.

5.4 大數據分析

基于Hadoop分布式環境下,通過Python語言和Map Reduce完成抓取數據程序,運行抓取程序將互聯網中的熱門招聘信息網的數據按規定的數據結構進行數據爬取.[6]利用Hive進行創建數據倉庫并對接抓取的數據,同時對數據進行清洗,通過HBase完成數據存儲.再運用Echear完成圖表可視化分析.

(1)抓取數據,采用爬蟲技術(招聘類網站信息).

運用Python語言編寫程序,采用Requests請求數據,使用BeautifulSoup 解析數據,運用xlsxwriter框架保存數據到Excel文件中.核心代碼如下:

網頁下載器:

#設置請求頭部參數,模擬瀏覽器訪問

header= {'User-Agent':r'系統版本,瀏覽器,瀏覽器內核','Referer':r'訪問地址',

'Connection':'keep-alive'

}

網頁解析器:

#提取數據

soup= BeautifulSoup(html_content,'html.parser')

all=primary_soup.find('h3',class_="name").a.text

sala=primary_soup.find('h3',class_="name").a.span.text

job=all.replace(sala,"")

job_require=primary_soup.find('p').text

輸出Excel:

for i in range(1,row_num+1):

if i==1:

tag_pos='A%s'%i

tmp.write_row(tag_pos,tag_names)

else:

con_pos='A%s'%i

content=results[i-1]

tmp.write_row(con_pos,content)

調度器:

#循環處理抓取數據

for i in range(1,page_count+1):

time.sleep(random.uniform(1,5))

content = self.downloader.get_ page(base URL,i,keyword)

com_results=self.parser.parse(content)

for com in com_results:

all_coms.append(com)

(2)清洗數據,采用正則表達式過濾.

根據數據結構要求,完成“地區”和“薪水”數據清洗過濾,“地區”保留城市,去掉區域;處理“薪水”的最高和高低.核心代碼如下:

清洗過濾數據:

#判斷待遇是否為空,并計算最低最高待遇

if salary:

result=handle_salary(salary)

low_salary=result[0]

high_salary=result[1]

else:

low_salary=high_salary=""

正則表達式提取數據:

# 針對1萬～2萬/月或者10萬～20萬/年的情況,包含“-”符號

low_salary=re.findall(re.compile('(d*.? d+)'),salary)[0]

low_salary=float(low_salary)/12*10

low_salary=float(low_salary)*10

(3)提取和分析,構建數據倉庫.

運用Python語言編寫程序,利用xlrd讀取execl的數據,提取和分析,并創建表;然后將生成的數據通過load到Hive表中.核心代碼如下:

構建Hive數據倉庫:

#輸入的xls文件

book=xlrd.open_workbook(execl的文件路徑)

in_file=book.sheets()[0]

title_List=in_file.row_values(0)

title_str=','.join(title_List[i]for i in range(len(title_List)))

title=''.join(lazy_pinyin(title_str))

table_sql=str('hive-e'+'"'+title+'"')

(4)將數據存入HBase數據庫.

基于Hadoop分布式環境下,運用shell命令完成操作,將Hive表的數據生成hfile,再通過bulkload導入到hbase數據庫.操作步驟如下:

第一步:啟動Hive,導入需要的jar包

add jar/lib/hive-hbase-handler-2.3.3.

jar;

add jar/lib/hbase-protocol-1.1.1.jar;

add jar/lib/hbase-common-1.1.1.jar;

add jar/lib/hbase-client-1.1.1.jar;

add jar/lib/hbase-server-1.1.1.jar;

第二步:生成hfile,并存儲在HDFS目錄

STORED AS

INPUTFORMAT'org.apache.hadoop.mapred.TextInput Format'

OUTPUTFORMAT'org.apache.hadoop.

hive.hbase.Hive HFileOutput Format'

TBLPROPERTIES('hfile.family.path'='/

user/hive-hbase/jobs');

第三步:創建對應的HBase表

create'hive_load','jobs'

第四步:執行bulkhead,將數據導入到HBase中

bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncremental HFiles hdfs://maste:port/user/hive-hbase/jobs/hive_load

(5)可視化數據顯示.

根據數據分析需求,按數據結構,采用java+ECharts+Ajax讀取數據并繪制可視化圖表.效果如圖2、3所示.

圖2 地區職位招聘數量排行Fig.2 Top Jobs by Region

圖3 全國招聘職位最低學歷要求分布情況Fig.3 Distribution of minimum education requirements for national recruitment positions

5.5 智能推薦

采用“協同過濾算法”完成企業崗位的推薦,推薦過程對學生的各類數據,企業崗位、崗位數量、崗位要求行進行訓練,在匹配計算過程中要建立學生到崗位的倒排序,在推薦數據過程中先確定學生對被推薦崗位的匹配程度值,最終推薦匹配度排位最前的崗位.[7]具體的流程如圖4所示.

根據“協同過濾算法”數學模型,求解出學生對企業崗位列表中的每個崗位匹配度的值.數學模型如下:

模型中N(u)是一個數據樣本集合,代表學生匹配的崗位,S(j,K)是數量為K 的崗位且與j匹配度較高,w ji為j與i的匹配程度值,r ui為u對i的合適值.模型計算出的值,與學生匹配崗位越接近,則該崗位越有可能最合適該學生.

運用Python語言編寫程序,實現JobsCF 推薦算法,完成數學模型的訓練.代碼如下:

#循環完成最優推薦值

for i,wji in sorted(W[user].items(),key=itemgetter(1),reverse= True)[0:K]:

#循環訓練

for u,rui in train[i].items():

if u in interacted_items:continue

rank[u]+= wji*rui

圖4 基于“協同過濾算法”工作崗位推薦流程圖Fig.4 Flow chart of job recommendation based on"collaborative filtering algorithm"

6 結語

隨著大數據、云計算融入平臺,人工智能AI的快速成長,數據的可視更加直觀,功能也更加人性化、智能化、精準化.本平臺基于“創新工作室”平臺,融合大數據和流行框架SSM,構建校企協同育人數字資源平臺,解決校企合作數據存儲,育人過程記錄,智能推薦崗位,人才選拔和錄用等問題.同時,雙方可以根據數據分析做改革和決策,共享、共建、共管理人才培養的資源.校企協同育人數字資源平臺目前還處于測試階段,功能各方面還有待進一步完善.