一種在線考試中實時圖像監考系統的設計與實現

黃志威，宋鴻陟，司國東

（華南農業大學數學與信息學院，廣州 510642）

一種在線考試中實時圖像監考系統的設計與實現

黃志威，宋鴻陟，司國東

（華南農業大學數學與信息學院，廣州 510642）

0　引言

隨著計算機網絡技術的發展，采用在線考試的情況越來越多［1］。在線考試提供了便捷的考試方式和低廉的考試成本，也帶來了一些新的問題，特別是作弊監控方面的不足。為了取得理想的成績，考生可能利用監考教師的疏忽進行作弊。

目前，在線考試中的監考方式主要有兩種：一是人工監考，監考教師驗證考生真實身份并在考試過程中監控考生考試行為。二是視頻錄像監控，在人工監考的基礎上，使用視頻監控裝置來監控整個考場。人工監考時考生作弊與否完全由監考教師主觀判斷，時間長、壓力大，容易出現疏漏。考試完畢，難以保留可供后續復審的監考記錄。而視頻錄像監控很難對不同位置的考生提供相同的監控力度，較易出現監控死角。

針對在線考試中一些常規的作弊行為以及考場視頻監控存在的問題，本文采用Web實時技術實現考場的實時圖像監控，綜合運用人臉檢測和人臉識別對考場圖像進行處理和分析實現考生作答行為判別，設計并實現一個基于圖像的在線考試作弊監控系統。該系統不僅可以有效地監控每個考生的考試情況，而且可以對他人替考、多人作答、擅自離開、中途換人等情況進行分析和判斷。該系統能對在線考試的監考工作提供輔助和補充，具有一定的應用價值。

1　關鍵技術

WebRTC是一項在瀏覽器內部進行實時視頻和音頻數據通信的技術［2］。該技術使得瀏覽器能作為實時視頻和音頻通信平臺，通過瀏覽器提供JavaScript API接口調用本地媒體設備，從而屏蔽底層硬件實現或操作系統之間的差異。本文通過瀏覽器的WebRTC模塊調用本地攝像設備。

WebSocket是一種新的瀏覽器與服務器之間的全雙工通訊方式［3］。不同于基于HTTP協議的請求/響應的信息交互模式，WebSocket最重要特性是使得瀏覽器和服務器之間能夠建立類似TCP Socket的持續、雙向、有狀態的連接。本文使用WebSocket技術實現瀏覽器和服務器之間的實時圖像數據傳輸。

人臉檢測是在給定任意圖像中確定是否存在人臉，若存在則返回人臉圖象的位置［4］。基于Adaboost算法的人臉檢測方法［5］，極大地提高了人臉檢測的速度和精度，使人臉檢測技術真正走向實用。

基于AdaBoost算法的人臉檢測首先使用Haar特征表示人臉，并通過積分圖實現特征數值的快速計算。然后使用AdaBoost算法挑選代表人臉的矩形特征 （弱分類器），按照加權投票的方式將弱分類器構造為一個強分類器。最后將訓練得到的若干強分類器串聯組成一個級聯結構層疊分類器。待檢測圖像依次通過分類器，最終檢測出人臉圖像。

為了得到水平對齊和相同裁剪尺度的人臉圖像，本文根據人臉五官分布的先驗知識［6］，首先定位雙眼的中心位置，然后通過雙眼中心的連線與水平方向的夾角來確定人臉的旋轉角度，最后通過水平和垂直方向的平移和仿射變換，得到最終的人臉圖像。

人臉識別是將待識別人臉圖像與若干已知身份的人臉圖像進行對比，找出與之匹配的身份，從而達到身份識別與鑒定的目的［7］。人臉識別的過程主要包括兩個方面：特征提取和特征分類。本文使用Fisherfaces方法［8］用作特征提取，使用基于余弦相似度的K最近鄰算法［9］用作特征分類。

Fisherfaces方法首先采用PCA（Principal Component Analysis，主成分分析）將高維空間的樣本投影到低維空間以保證類內散布矩陣是非奇異的，然后采用FLDA（Fisher Linear Discriminating Analysis，Fisher線性判別分析）得到人臉的最佳分類特征集。

基于余弦相似度的K最近鄰算法通過已知訓練集中樣本與所屬類別的對應關系，計算測試樣本與訓練集樣本的余弦相似度，然后選擇并統計訓練集中最相似的前k個樣本（最近鄰）的類別，最終認為測試樣本屬于最多數類別。

2　監考方案

本文提出的實時圖像監考方案是對在線考試的監考工作的一種輔助和補充手段。根據考試進程的發展，該方案主要分為報名階段和考試階段。其中，考試階段細分成三個環節：登錄驗證、持續監考、備份資料。各個環節隨著考試時間的發展逐步推進。監考方案如圖1所示。

圖1　監考方案

籌備考試時，系統進入報名階段。考生需要上傳近期照片。這些照片用于考試現場的身份驗證。發放認證書時，也以此照片為準。因此，照片中只能出現考生本人，并能清晰顯示考生的正臉。考試工作人員需要核對上傳照片，核實是否為考生本人。

考試開始前，系統進入登錄驗證環節，啟動攝像設備，對考生進行自動拍照和身份驗證。只有通過驗證的考生，才允許參加考試。對于未通過驗證的考生，監考老師可以現場核實，決定是否對該考生放行。

考試進行時，系統進入持續監考環節，攝像設備持續開啟，直至考試結束。系統定時對考生進行自動拍照，根據照片監考老師可以實時查看每個考生的考試情況。另外，系統對抓拍照片進行分析，如果發現作弊，則縮短抓拍照片的采集間隔，并提示監考老師對該考生加強留意，核實是否存在作弊。

考試結束后，系統進入資料備份環節，關閉攝像設備，并將抓拍照片壓縮打包上傳，為復查審核工作提供證據。

3　系統設計

結合Web實時技術和人臉圖像處理技術，本文設計一種基于B/S架構的在線考試監控系統。該系統由考試端、服務端、監考端和中心服務器構成，系統的體系結構如圖2所示。

圖2　體系結構

考試端需要自動檢測硬件接口，控制本地攝像設備的啟動和關閉，對考生進行定時抓拍，并將抓拍照片上傳到服務端。

服務端一方面將抓拍照片推送到監考端，令一方面分析抓拍照片中是否出現作弊。考生登錄考試系統時，將登錄時抓拍照片與考試報名時上傳照片對比，驗證考生身份并反饋結果，由監考教師作相應放行處理。隨后的考試過程中，對抓拍照片進行人臉檢測和人臉識別，分析和判斷是否出現多人作答、擅自離開、中途換人，并及時向監考端反饋分析結果。

監考端實時呈現每個考試端的抓拍照片以及對應的作弊分析結果，可以在考試過程中調整每個考試端的圖像采集時間間隔。

中心服務器與多個考場中的服務端相互連接，實現多考場監控。自動備份每個考生考試過程中的抓拍照片，方便考后復查。

實時圖像監控要求考試端定時采集并提交考場圖像到服務端，考試端與服務端、服務端與監考端之間需要建立實時的數據通道，從而實現圖像數據實時傳輸。考慮主流瀏覽器對WebRTC和WebSocket接口支持的規范性，本文使用Chrome［10］作為考試端和監考端瀏覽器。考慮主流Web應用服務器對實時響應性和對WebSocket的支持，本文使用Tornado［11］作為服務端應用服務器。

考試端通過WebRTC模塊的getUserMedia接口調用普通的PC攝像設備，對考生進行拍照。抓拍照片的圖像格式為JEPG，尺寸為320×240像素，這樣既能保證提供清晰考場畫面，也能減少對網絡帶寬的占用。然后，根據JavaScript腳本的setInternal接口編寫定時事件。定時事件主要實現定時拍照和上傳圖像數據。

定時拍照的時間間隔可以根據實際情況設定，對于監考要求高的考試應當設置較短的定時時間。為了避免同一個時刻多個考試端上傳數據造成的傳輸壓力，每個考試端的圖像采集起始時間應該均勻分布。假設一個考場中考試端的數量為｛m|m∈N｝，每個考試端的編號為｛n|n∈［0，m］，n∈N｝，圖像采集的間隔為x秒，則每個考試端的圖像采集起始時間為 ｛y|y∈n mod x｝秒。

考試端的抓拍照片通過WebSocket模塊的send接口實時上傳到服務端。服務端通過Tornado的Web-SocketHandler類提供on_message接口監聽來自考試端圖像數據，圖像數據經過備份后通過write_message接口實時向監考端器推送。監考端使用WebSocket模塊的onmessage事件監聽來自服務端的圖像數據，實時呈現每個考試端的考試情況。

另外，為了進一步減低多個考試端同時與單個服務端交互的壓力，本文采用基于Nginx的服務器反向代理技術［12］，將網絡負載均衡分配到多個WebSocket應用服務器實例中。

一般來說，考試時考生的頭部運動相對靜止，臉部正對屏幕而且表情較少，因此抓拍照片中能呈現完整的人臉。對于擅自離開或多人作答情況，抓拍照片中分別會有零或多個人臉。對于他人替考和中途換人的情況，抓拍照片中的人臉不同于注冊時現場拍照中的人臉。本文使用基于AdaBoost算法的人臉檢測提取抓拍照片的人臉，然后使用基于Fisherfaces方法的人臉識別得到人臉對應的考生身份。

通常，作弊是一個持續的考試行為。因此，本文首先對一段時間內的抓拍照片進行人臉檢測，統計人臉的數量與抓拍照片總數量的比率。然后對這些人臉圖像進行人臉識別，統計識別為本人的次數與和人臉識別總次數的比率。最后通過設定的閾值判斷考生是否有作弊嫌疑。作弊行為和判別條件如表1所示。

表1　作答行為判別

假設考生在1分鐘內的作答過程，稱為一次作答行為。考試端在1分鐘內對考生進行自動拍照，得到若干抓拍照片，服務端對這些抓拍照片進行處理和分析，判別考生在最近1分內的作答行為。考慮到環境因素、主觀因素以及隨機誤差的影響，實踐證明，當人臉數量比率少于50%時，可以認為是離開座位；當人臉數量比率大于50%而且小于120%時，可以認為是單人作答；當人臉數量比率大于120%時，可以認為是多人作答。在被判別為單人作答的前提下，當本人身份比率大于80%，可以認為是本人作答。

4　仿真測試

以實驗室62臺計算機作為測試工具，其中一臺作為服務端兼中心服務器，一臺作為監考端，其余60臺筆記本計算機作為考試端。考試端和監考端的軟硬件配置：內存為2GB；內置130萬像素攝像頭；操所系統為Windows 7；瀏覽器為Chrome。服務端的軟硬件配置：處理器為主頻2.5GHz的Intel i5處理器；操作系統為CentOS 6.5；內存為4GB。考試端、服務端、監考端都位于同一個局域網內，互相之間網絡通信正常。

實驗室光照均勻，有60名來自計算機科學與技術、地理信息科學、信息管理與信息系統等專業的本科生參與了實驗，全部熟悉在線考試的考試流程并擁有在線考試系統的使用經驗。考生在考試端通過瀏覽器登錄在線考試系統進行考試，監考教師在監考端通過瀏覽器監控考試情況。

考生填寫相關身份信息，使用瀏覽器進行20次自動拍照，照片自動上傳到中心服務器。系統檢測所有考生注冊照片中的人臉，構建出有60個類別，每個類別有20個人臉圖像的訓練樣本集。然后，系統提取并備份訓練樣本集中的人臉特征。

考試開始前，考生使用“賬號+密碼”登錄系統，系統啟動攝像頭，并提示考生進行身份驗證。考生點擊“身份驗證”按鈕后，系統對考生拍照，并驗證考生身份。考試端的身份驗證界面如圖3所示。

圖3　考試端的身份驗證界面

為了模擬他人替考的情況，隨機選取30名考生以本人注冊身份登錄，其余30人以他人注冊身份登錄，進行10次重復實驗，本人與他人的身份驗證統計數據如表2所示。

表2　本人與他人身份錄驗證統計數據

由表2可知，考生以本人身份登錄時驗證通過率為95.7%，而以他人身份登錄時驗證通過率只有5.1%。如果出現多次被拒絕通過的“真考生”，監考老師可對其現場確認和人工放行。由于系統將在后續的持續監控中定時判斷是否出現中途換人的情況，因此身份驗證通過的 “假考生”很可能在后續的考試過程中被發現。對于在線考試來說，在“賬號+密碼”的身份驗證方案基礎上，引入人臉識別技術，能有效阻止他人替考的情況發生。

考試過程中，攝像設備持續對考生進行拍攝，攝像畫面處于屏幕的左上方。考試端的考試界面如圖9所示。

圖4　考試端的考試界面

監考端呈現考場內所有考生的注冊信息、抓拍圖像、作弊分析結果，監考教師可以控制相應考生的放行情況，設置圖像采集間隔，結合現場信息和抓拍照片加以判斷是否發生作弊行。監考端的監控界面如圖5所示。

圖5　監考端的監控界面

為了模擬真實考試情況，安排有60名考生參加持續時間為30分鐘的考試，要求每名考生在考試過程中的特定時間內的做出以下4種作答行為：（1）第0分鐘至第5分鐘，在本人座位上作答；（2）第6分鐘至第17分鐘，與兩人或多人共同作答；（3）第18分鐘至第23分鐘，離開本人座位；（4）第24分鐘至第29分鐘，與他人交換座位。

根據默認設置，系統每隔1分鐘就對抓拍照片進行一次作答行為判別，系統正確判別的統計數據如表3所示。

表3　作答行為的正缺判別統計數據

由表3可知，考試過程中的本人作答有95.3%被系統正確判斷，多人作答有86.7%被系統正確判斷，擅自離開98.3%被系統正確判斷，擅自離開有97.8%被系統正確判斷，中途換人有94.2%被系統正確判斷。考試過程中，多人作答、擅自離開、中途換人這三種行為的動作幅度大，容易引起注意，真實情況下發生的幾率不大。如果出現這三種作弊行為出現，系統能及時發現并保存證據，監考教師可以通過監考端查證。當然，系統也有錯誤判斷，監考教師可以根據現場情況進行排除。在線考試的監測系統中使用人臉檢測和人臉識別技術，能有效發現多人作答、擅自離開、中途換人等行為，為監考工作提供輔助。

5　結語

本文通過WebRTC技術調用PC的攝像設備定時對考生拍照，由于攝像設備能與考生一一對應，可以對考場中的不同位置能提供相同的監控效果。同時使用WebSocket技術傳輸圖像數據，可以實時呈現每個考生的考試現場情況。在實時圖像監控的基礎上，綜合利用基于AdaBoost算法的人臉檢測和基于Fisherfaces的人臉識別，對他人替考、多人作答、擅自離開、中途換人等情況進行分析和判斷。不過，在在作答行為判別方面仍然可改進的空間。本文的研究對在線考試監考方式具有借鑒價值。

［1］教育部考試中心.2014年9月第40次全國計算機等級考試平穩舉行［DB/OL］.2014-09-25.http://sk.neea.edu.cn/jsjdj/infor.jsp infoid=54750&class_id=26_14_02.

［2］Nurminen J，Meyn A，Jalonen E，et al.P2P media streaming with HTML5 and WebRTC［C］.Computer Communications Workshops （INFOCOM WKSHPS），2013 IEEE Conference on.IEEE，2013:63-64.

［3］Pimetel V，Nickerson B.Communicating and displaying real-time data with Web-Socket［J］.IEEE Computer Society，2012，16（4）: 45-53.

［4］Zhang C，Zhang Z.A survey of recent advances in face detection［R］.Tech.rep.，Microsoft Research，2010.

［5］Viola P，Jones M.Robust real-time face detection［J］.International journal of computer vision，2004，57（2）:137-154.

［6］劉芳梅，楊云.網上報名照片的人臉自動檢測和裁剪系統［J］.山東科學，24（6）:96-100.

［7］Pandya J，Rathod D，Jadav J.A survey of face recognition approach［J］.International Journal of Engineering Research and Applications（IJERA），2013，3（1）:632-635.

［8］Belhumeur P，Hespanha J，Kriegman D.Eigenfaces vs.Fisherfaces:recognition using class specific linear projection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）:711-720

［9］劉應東，牛惠民.基于k-最近鄰圖的小樣本KNN分類算法［J］.計算機工程，2011，37（09）:198-200.

［10］Google.WebRTC:Official Site［DB/OL］.2014-04-18.http://www.webrtc.org/.

［11］Facebook.Tornado Web Server［DB/OL］.2014-06-14.http://www.tornadoweb.org/en/stable/.

［12］Nginx.High Performance Load Balancer，Web Server，&Reverse Proxy［DB/OL］.2014-03-04.http://www.nginx.com/.

Exam Monitoring；WebRTC；WebSocket；Face Detection；Face Recongnition

Design and Implementation of Real-time Image Monitoring System for Online Exam

HUANNG Zhi-wei，SONG Hong-zhi，SI Guo-dong
（College of Mathematics and Informatics，South China Agricultural University，Guangzhou 510642）

國家自然科學基金項目（No.60875045）

1007-1423（2015）19-0062-06

10.3969/j.issn.1007-1423.2015.19.016

黃志威（1989-），男，廣東東莞人，研究生，研究方向為人機交互、計算機視覺

宋鴻陟（1972-），男，黑龍江大慶人，博士，教授，研究方向為人機交互、信息可視化

司國東（1972-），男，吉林長春人，碩士，講師，研究方向為教育技術、人機交互

2015-05-05

2015-06-26

針對在線考試中一些常規的作弊行為以及當前視頻監控方法存在的問題，提出一種基于圖像的在線考試監考方案，設計并實現一個實時圖像監考系統。該系統通過WebRTC技術調用PC的攝像設備定時對考生拍照，使用WebSocket技術實現圖像數據實時傳輸，綜合利用基于AdaBoost算法的人臉檢測和基于Fisherfaces方法的人臉識別技術自動發現他人替考、多人作答、擅自離開、中途換人，及時保存證據并通知監考教師。通過仿真測試驗證該系統的有效性，為在線考試的監控工作提供可行的輔助手段。

考試監控；WebRTC；WebSocket；人臉檢測；人臉識別

Aiming at some conventional cheatings in online exam and the problems of current video monitoring method，presents the image based invigilation scheme.Designs and implements a real-time image based monitoring system for online exam.To realize taking photos regularly for examinees and images data real-time transmission，uses Web real-time technology such WebRTC and WebSocket.To auto discover the cheatings such as replaced by other，multiple answers，leave the seat，substitute examinee in midway，the AdaBoost based face detection and the Fisherfaces based face recognition are utilized comprehensively.Validates the feasibility of the system by simulation test.