基于人臉檢測技術的智能化視頻學習監督系統的設計與實現

劉剛，吳浩，陳威，卜秋陽

[摘 要] 隨著“互聯網+”的興起，在線視頻教學成為一種新興的教學模式。然而目前對學習者的學習質量很難及時地掌控。基于人臉檢測技術開發了一個的智能化視頻學習監督系統。系統通過對捕獲到的學習者的學習情景圖像進行分析，并結合學習者視頻學習過程中的行為，智能化地對學習者的學習質量給出評價。

[關 鍵 詞] 監督系統； 視頻學習；人臉檢測；“互聯網+”

[中圖分類號] TP212.6 [文獻標志碼] A [文章編號] 2096-0603（2018）06-0148-02

2015年3月5日十二屆全國人大三次會議上首次提出“互聯網+”行動計劃，要推動移動互聯網、云計算、大數據、物聯網等技術與現代產業結合[1]。2016年2月，教育部下發的《2016年教育信息化工作要點》中指出，“將落實中央網絡安全和信息化領導小組和國務院有關‘互聯網+、大數據、云計算、智慧城市、信息惠民、寬帶中國、農村扶貧開發等重大戰略對人才培養等工作的部署，作為做好教育信息化統籌規劃與指導、加強教育信息化統籌部署的重要任務”[2]。進一步使“互聯網+教育”成為教育領域最熱門的話題之一。其中，名校公開課[3]、可汗學院[4]、微課[5]、慕課[6]是“互聯網+教育”的典型應用，其核心技術都離不開視頻教學。“互聯網+”不僅推動了學習理念向個性化學習、持續性學習轉變，也促進了慕課、翻轉課堂等各種基于互聯網的教學創新紛紛涌現。

目前“互聯網+教育”在線教學平臺大都注重優質資源的建設與共享，而缺乏對學習者學習情況的監督和學習質量的測評，對學習者在學習過程中的認真程度、學習效果等情況很難及時地把控。本文利用人臉檢測技術，通過對捕獲到的學習者的學習情景圖像進行分析，并結合學習者視頻學習過程中的行為，智能化給出學習者每次視頻學習的質量評價。

一、系統設計

（一）系統架構

基于人臉檢測技術的智能化視頻學習監督系統由攝像頭、PC機、流媒體服務器、人臉檢測服務器、數據庫服務器組成，如圖1所示。系統利用人臉檢測技術，在學習的過程中，將攝像頭捕獲到的學習者的圖像輸入到人臉檢測服務，同時對學習者的視頻觀看行為進行數據分析，最終在視頻播放完畢之后，智能化地給出學習者學習質量的評價，系統的框架如圖2所示。

（二）系統功能

1.視頻捕獲：該模塊負責從監控攝像頭的視頻畫面中抓取學習者的圖像，并交由人臉檢測服務進行人臉檢測。

2.人臉檢測：該模對輸入的攝像頭捕獲圖像進行分析，檢測圖像中是否存在人臉，并將檢測結果返回給服務請求方。

3.行為統計：該模塊主要對學習者的在觀看視頻時的行為進行監控統計分析。根據用戶的快進或快退行為，分析出每次視頻觀看的快進時長。

4.綜合評價：該模塊在視頻播放結束時，對人臉檢測和行為統計模塊進行綜合分析，給出學習質量評價。評價指標包括“有效人臉檢比率Rf”和“有效播放時長比率Rt”，評價計算公式如下：S=（ωf·Rf+ωt·Rt）×100，其中Rf=n/[L/s]、Rt=1-l/L各參數含義如下表所示。

（三）數據庫設計

系統涉及的數據庫表包括用戶（t_user）、視頻（t_video）、學習記錄（t_study_history）、播放記錄（t_play_history）、視頻操作（t_video_operation）、人臉檢測（t_face_recognition）六張表。圖3為數據庫關系圖模型。

二、系統實現

系統采用Java+vlcj+MySQL+Face++開發實現。vlcj用于實現視頻播放，MySQL用于數據存儲，Face++用于實現人臉檢測。各部分功能的核心代碼如下：

（一）視頻顯示

contentPane.add（mediaPlayerComponent， BorderLayout.CENTER）；

mediaPlayerComponent.getMediaPlaye（）.playMedia（ url ）；

mediaPlayerComponent.getMediaPlayer（）.addMediaPlayerEventListener

mediaPlayerComponent.getMediaPlayer（）.skip（ wantTime ）；

（二）人臉檢測

String url =“https：//api-cn.faceplusplus.com/facepp/v3/detect”；

map.put（“api_key”，“YQceEo6toJn3x7JM4vMuy06FP-a0uzQU”）；

map.put（“api_secret”，“3C5vxrr32pV59nHyIUZ3C8pLmSoyhPpe”）；

map.put（“return_attributes”，“gender，age，smiling，headpose，facequality，blur，eyestatus，emotion，ethnicity，beauty，mouthstatus，eyegaze，skinstatus”）；

byte[ ]buff=getBytesFromFile（file）；

byteMap.put（“image_file”，buff）；

byte[ ]bacd=post（url，map，byteMap）；

（三）運行結果

系統運行中可以在觀看視頻的同時實時監測人臉，最后給出學習評價分值。

總之，本論文主要針對視頻學習過程中，學習質量較難評價的問題，設計并實現了一個基于人臉檢測技術的智能化視頻學習監督系統，該系統綜合了視頻捕獲、圖形圖像處理、人臉檢測、Web Service、數據庫等多項技術，智能化地給出學習質量的評價結果，具有一定的實用價值。

參考文獻：

[1]呂超，吳永鵬.走進歐美名校公開課[J].世界文化，2011（1）：4-7.

[2]官芹芳.可汗學院翻轉課堂[J].上海教育，2012（17）：27-31.

[3]胡鐵生.“微課”：區域教育信息資源發展的新趨勢[J].電化教育研究，2011（10）：61-65.

[4]斯蒂芬·哈格德，王保華，何欣蕾.慕課正在成熟[J].教育研究，2014（5）：92-99.

[5]張韻.“互聯網+”時代的新型學習方式[J].中國電化教育，2017（1）：50-57.

[6]劉剛，李佳，梁晗.“互聯網+”時代高校教學創新的思考與對策[J].中國高教研究，2017（2）：93-98.