云環境下的Java Web課程項目自動管理系統

溫彥 張峰 仇麗青 趙衛東

摘 要：Java Web是計算機專業核心實踐課程。傳統課程管理方法需要教師手動逐個部署、運行并檢查學生項目程序，效率極低且極易發生錯誤，實現Java Web課程項目自動管理和分析勢在必行。近年來飛速發展的在線教育、云計算及程序在線評判系統為該類需要復雜分布式部署和運行環境的課程項目管理提供了新思路。因此，設計并實現一個基于云環境的Java Web課程管理系統。該系統可實現學生提交課程項目的云端在線自動部署和運行，解決其中負載均衡、命名沖突等問題，并提供項目相似性檢測等分析功能。與人工評閱方法相比，該系統可節省至少57%的評閱時間，同時可提供準確性達97%的項目相似性檢測功能，大幅提高Java Web課程管理自動化程度和教師工作效率。

關鍵詞：在線教育;Java Web;云平臺;課程管理

DOI：10. 11907/rjdk. 201284 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2020）007-0103-05

Online Deployment and Analysis System of Java Web Course Projects Based on Cloud Environment

WEN Yan， ZHANG Feng， QIU Li-qing， ZHAO Wei-dong

（College of Computer Science and Engineering， Shandong University of Science and Technology， Qingdao 266590，China）

Abstract： Java Web is a core practical course for computer-related majors. Traditional course management methods require teachers to manually deploy， run， and check student programs one by one， which is extremely inefficient and prone to errors. It is imperative to implement the automatic management and analysis of Java Web course projects. In recent years， the rapid development of online education， cloud computing， and online judge systems have provided new ideas for such course project management that requires complex distributed deployment and operating environments. Hence this article designs and implements a Java Web course management system based on the cloud environment. This system implements the cloud-based automatic online deployment and operation of Java Web projects submitted by students， resolves the problems of load balancing， naming conflicts， and provides projects analysis functions such as similarity detection. Compared with the manual review method， the system can save at least 57% of the review time， and detect the similarity between projects with an accuracy of 97%. This system greatly improves the automation degree of Java Web course management and teachers work efficiency.

Key Words： online education; Java Web; cloud platform; curriculum management

0 引言

互聯網和云計算的普及與發展極大推動了教育事業的發展，使在線教育成為教育發展新動力與教育改革趨勢及發展方向。在線教育作為一種“云服務”，突破了時間和地理局限性，也突破了對教師、學生身份的限制，使優質教學資源可在全球范圍內共享，使教學滿足個性化需求，極大提高了教學效率[1]。在線教育經過十多年的發展，在教育體系中扮演著重要角色，涌現出包括超星、雨課堂、中國Mooc等優質平臺。計算機專業存在一項特殊的云服務——程序在線評判系統（Online Judge，OJ），它被廣泛應用于程序設計相關課程的作業管理中，可自動完成程序提交、編譯和執行，并通過預先設計的測試數據檢驗程序源代碼正確性[2]。OJ系統一方面切實提高了學生編程實踐能力，另一方面提高了教師工作效率和正確率。然而傳統OJ系統局限性較大，如僅能評判邏輯和結構簡單的玩具項目，無法處理涉及用戶圖形界面、文件操作、數據庫和Web交互等功能的程序;僅支持單文件評判，不支持復雜項目結構;對程序書寫格式要求較為嚴格;評判方式較為單一，僅支持通過輸出字符串比對形式進行評判等。因此OJ系統對于一些大型程序的評判能力幾乎為0。

Java Web及其相關課程如Web前端設計、Java EE框架技術是高校計算機專業中重要的實踐技術課程，以Java Web為核心的技術體系是當前企業級信息管理系統的主流技術[3]，學好這門課程對于學生了解分布式系統運行機制、提高實踐能力具有重要作用[4]。在該課程中，學生提交的作業項目需要復雜的分布式物理部署環境，包含復雜的文件結構且需應用服務器、數據庫服務器和其它Web組件支撐。傳統Java Web作業管理所需的教師人工成本過高：①教師需手動將項目和數據部署至應用服務器和數據庫服務器上，并進行必要的系統配置，啟動服務器，并逐個運行文件，檢查結果。該過程需要大量時間和精力，且配置過程的細微差錯會影響程序運行甚至導致程序無法啟動;②Java Web作業一般代碼量較大、文件結構也相對復雜，教師需逐個查看源文件，且很難判斷學生獨立完成情況。

為了解決上述問題，對Java Web課程作業進行在線管理、自動部署和自動分析十分必要。因此，本文提出針對Java Web課程項目的在線自動部署與分析系統，可實現在線作業管理、在線遠程自動部署作業項目、多文件項目相似度分析等功能，優化作業管理中重復繁瑣的工作，并依靠數據分析，為杜絕作業抄襲等不良現象提供參考。

1 相關技術與系統

1.1 OJ系統

在線判題（Online judge，OJ）系統起源于ACM國際大學生程序設計競賽（ACM International Collegiate Programming Contest）和信息學奧林匹克競賽（Olympiad In Informatics），OJ系統負責自動判題和排名。經過近 40 年發展，ACM 國際大學生程序設計競賽已發展成為全球最具影響力的大學生程序設計競賽[5-6]。當前，國內外高校部分計算機程序設計相關課程作業和實驗采用OJ系統進行考核[7]。用戶可在線編輯、提交程序，而后系統對源代碼進行編譯和執行，通過預先設計的測試數據檢驗程序正確性。其中，在線自動判題是核心功能，依賴于服務器端編譯器。此外，大多數OJ系統包含實現代碼相似度檢測，以避免抄襲現象。

國內外有諸多知名的OJ系統[8]，西班牙Valladolid大學OJ系統（UVA）是全球最大最老牌的OJ之一，題目數量堪稱之最;POJ是北京大學的在線評測系統，題目數量很多，難度不一，OJ各項功能也很完善，還提供免費的OJ系統下載，學生可以自行搭建OJ;ZOJ是浙江大學的在線評測系統，是國內起步最早的OJ之一，系統友好性不如POJ，但功能并不差;HUSTOJ是華中科技大學的在線評測系統，其中以Virtual Judge功能最為著名，它無需測試數據，可直接使用其它OJ上的題目。

目前各高校在線OJ系統僅能處理較為簡單的程序，僅支持單文件評判，對提交程序的格式要求也較為嚴格，對于Java Web這類分布式環境下包含諸多組件和復雜文件結構的大型程序的處理能力非常有限。

1.2 應用程序自動部署

對普通Web項目實現自動部署相對常見，已有較成熟的技術和方法[9-10]，如最常見的持續集成技術Jenkins[11-12]，使用Jenkins可編寫腳本關聯Git、SVN等代碼托管工具及Maven、Ant等依賴管理和項目構建的工具。一個典型方案是Jenkins集成Git和Maven，代碼通過Git發布版本，之后拉取Git中相應版本代碼，使用Maven編譯并發布到Tomcat，Jenkins再重啟Tomcat，完成自動部署。

當前主流持續集成技術大多是對已知文件結構項目進行部署或對已部署好的項目進行更新，若待部署項目的屬性（項目名、目錄結構等）未知，則不能采用該技術。

1.3 程序相似度檢測

程序相似度檢驗的目的是發現程序文本、結構、語義、功能等方面的相似性，是在GitHub、SourceForge等大型代碼庫上進行代碼檢索的核心功能，也是判斷程序是否具有抄襲現象的主要依據[13]，主要包含兩大類方法[14]。一種是屬性計數（Attribute counting）技術，它是最早的程序代碼相似性檢測技術，其主要思想是對程序的一些統計屬性進行處理，而不考慮程序內部結構[15]。另一種是結構度量技術，根據對程序建模粒度的不同，可分為3種方法：①基于Token的檢測方法[16-17]，即將代碼看作Token（詞）序列，并對其中的標識符進行統一處理，利用最長公共子序列、后綴樹匹配等算法計算相似度，能夠發現標識符重命名等代碼復制情況，實現效率較高，但因缺乏程序邏輯信息，準確率有限;②基于語法樹的相似性檢測方法[18-19]，包含程序語法邏輯，效果優于前兩種方法，但由于語法樹結構龐大，運行樹的匹配運算復雜度很高;③基于程序依賴圖的檢測方法[20-21]，根據語法結構和數據流轉關系構建程序依賴關系圖，通過子圖匹配、程序片段運行結果匹配等方法檢測程序相似性，包含程序從語法和語義層面的邏輯信息，具有較好的準確率，但復雜度非常高。結構度量是目前的主流技術，并配有MOSS、SIM等成熟工具。

綜上所述，OJ系統為程序設計類課程自動化管理提供了思路，Java Web課程項目可通過在線自動部署和運行的方式節省人力成本。當前對Web項目的自動部署以及程序相似性檢測技術已積累一定的研究，但如果待部署項目的屬性未知，則已有部署方法適用性有限;且學生數量多，提交項目量大，對系統性能要求較高，需要考慮項目部署環境和部署方式，并解決負載均衡等問題。在對Java Web項目進行相似性檢測時，需要在已有程序相似性檢測算法基礎上，針對復雜目錄結構設計多文件項目相似性檢測算法，這些是本文系統設計面臨的挑戰。

2 系統功能與架構設計

本文系統基本功能和架構如圖1所示。該Java Web類課程管理系統提供的業務功能包括用戶管理、課程管理、通知管理、項目管理等，其中項目管理是系統核心，包括動態部署學生提交項目、項目相似度檢驗等。系統包含客戶端、本地服務器、遠程服務器。由于學生提交項目需要動態裝載、運行和卸載，與本文課程管理系統彼此獨立運行，因此使用本地和遠程雙應用程序服務器，并搭載本地和遠程雙數據庫服務器。遠程服務器主要運行學生提交的應用;本地服務器主要運行課程管理系統，并作為學生提交應用的元數據引擎和動態部署引擎。由于待部署項目數量較多，測試時服務器訪問量較大，使用單個Tomcat實例部署所有學生的項目不能滿足系統性能和穩定性要求，因此使用云平臺作為遠程服務器，在其上搭建Tomcat集群和MySQL服務器以滿足應用訪問的性能需求。本地服務器則根據遠程云主機上Tomcat集群的實際運行情況，對應用程序進行動態部署，實現負載均衡。同時需要處理目錄合法性校驗、應用程序命名沖突、應用程序和數據庫關聯等問題。此外，還為教師用戶提供一些輔助功能，包括瀏覽器端查看代碼、入口web頁面檢測等功能，以協助教師高效評價學生程序。

課題組對該系統進行了一個學期兩個平行班的試用和對比分析。在原工作環境下，教師一學期布置9個小型項目和1個大型項目，對于小型項目，無異常情況下手動部署項目和數據庫的時間約為6分鐘，運行和查看項目的時間約為5分鐘，查看源文件的時間約為10分鐘;對于大型項目，運行和查看項目的時間約為10分鐘，查看源文件的時間約為20分鐘。學生提交程序出現異常的概率約為40%，調試異常需要10～30分鐘時間不等。因此，對于一個學生所有項目評閱時間約為305分鐘。此外，教師還需花大量時間進行項目相似性比對以發現抄襲現象，這段時間無法定量描述。而采用該課程項目自動管理系統后，項目和數據庫被自動部署，因此這段時間被節省;學生可以直觀查看項目運行狀態，程序在教師端出現異常的概率為0，教師調試時間被節省。教師僅需運行和查看項目，還可以直接在線查看源文件，不需要操作文件系統，因此這段時間可節省30%，則此時一個學生所有項目修改時間約為132分鐘，節約了近57%的時間。

3 基于Tomcat集群的遠程分布式自動部署過程實現

3.1 項目遠程自動部署流程

當學生提交作業時，上傳應用程序的打包文件（WAR文件）及數據庫腳本文件（SQL文件）。為了有效利用主機資源，Tomcat集群采用單主機多實例方式，即一臺機器允許多個Tomcat實例，為每個Tomcat實例配置不同的端口。應用的主機地址、端口號、webapp路徑等參數被保存在本地數據庫中，作為遠程應用的元數據。部署WAR文件時，根據各實例實際運行情況采用一定的負載均衡策略選擇目標實例。為了使項目及其數據庫能有效關聯，采用單數據庫實例方式，并要求學生在編寫代碼時使用本地數據庫及標準端口。為了防止學生上傳同名項目造成命名沖突和項目覆蓋，對應用程序進行統一命名管理。具體指采用學生標識+作業標識以重命名項目，可保障每位學生每次作業項目具有全局唯一標識。為了防止學生頻繁上傳項目導致服務器崩潰，應當及時卸載舊版本應用程序。選擇主機后，獲取目標Tomcat服務器的應用部署目錄，使用基于SSH2協議的JSch框架遠程執行部署前的校檢腳本，主要檢測部署目錄合法性，即是否已有相同項目的目錄存在，如有則清空目錄;然后上傳項目WAR包，執行自動部署腳本，解壓WAR包，部署項目并重啟Tomcat;最后，如果項目需要使用數據庫，則在數據庫服務器上為程序創建數據庫，數據庫與應用實現一一對應，而后使用MyBatis中的ScriptRunner遠程批量執行SQL腳本，將數據導入遠程數據庫中。

3.2 負載均衡策略

為有效應用分配Tomcat實例是該系統的核心需求，其關鍵在于制定合適的負載均衡策略。負載均衡主要用于處理Tomcat服務器同時部署多個項目的情況，而非解決項目在運行期間需處理大量用戶訪問的情況，其主要解決應用均衡部署的問題，因此不存在session共享和資源負載等問題。此外，部署應用時需上傳項目文件并重啟服務器，然而服務器重新啟動和應用的裝載需一定時間，數秒至數十秒不等。當多個應用同時部署時，該延時是無法接受的，甚至還會影響系統正常運行。因此需要采取一定策略避免多個應用在同一Tomcat實例上同時執行部署任務。具體策略為：①查看各個Tomcat實例的運行情況，找到其中空閑資源較多的。主要監控Tomcat實例進程的內存和CPU使用情況，若使用率大于某一閾值，則認為滿負荷運轉，新的應用則不在該實例上部署;②篩選出沒有執行部署任務的Tomcat實例集合，初始時所有實例均為非部署狀態;③基于哈希算法選擇一個實例，進行部署。部署開始后，將該主機設置為正在部署狀態。部署過程中，運行檢測腳本程序輪詢式檢查部署是否完成。完成后，設置部署狀態為非部署。檢測腳本主要進行兩方面的檢查，使用云主機監控程序檢測Tomcat進程是否啟動，使用HTTP請求訪問查看Tomcat是否已經開啟特定端口并進行服務;④如果沒有可以服務的Tomcat實例，則使用腳本程序新建一個Tomcat實例，并修改其服務端口。

4 多目錄項目相似度分析設計

在教師進行學生項目評閱時，除了查看運行頁面，代碼查閱也是主要工作，抄襲分析是其中的重要環節。抄襲分析的核心為代碼相似度分析，然而主流工具如SIM主要計算單文件相似性，無法直接用于Web項目的復雜目錄結構。本文在SIM的基礎上進行改進，使其可用于Web項目相似性計算。首先將層次目錄進行扁平化，得到項目文件集合;然后，計算文件集合相似度，是典型的最佳匹配問題，可采用Gale-Shapley算法[22]計算，然而該算法復雜度為O（n2），復雜度較高，因此本系統采用貪心思想，簡化文件集合相似度算法。首先利用SIM計算兩集合間單個文件的兩兩相似度;然后找到相似度最大的一對文件，對相似度進行累加;而后將此文件從原始集合中刪除，并繼續從剩余文件集合中尋找相似度最大的文件對，累加相似度直至某個項目文件集合為空，最后進行歸一化處理，具體如算法1所示。該算法匹配過程為第5～10行的while循環，只要對文件集合相似度進行排序則可以較快實現，因此匹配過程復雜度為NlogN。

算法1：文件集合相似度算法

輸入：文件集合S1、S2;兩個集合的大小M、N

輸出：文件集合S1和S2的相似度SIM

BEGIN

FOR EACH si in S1

FOR EACH sj in S2

compute simi，j

END FOR

END FOR

WHILE S1 or S2 is not null

= findMaxSimPair（S1， S2）

sum += simi，j

S1 -= {si}

S2 -= {sj}

END WHILE

SIM = 2 * sum / （M+N）

END

當用算法1計算出的SIM值大于規定閾值q時，認為兩個項目存在抄襲現象。將閾值q設定為0.8，對學生已有項目進行相似值計算，并通過人工比對發現上述算法準確性可達97%以上，這是由于Java Web項目中跨文件的各類數據和邏輯關聯較為復雜，學生在抄襲時如果進行部分修改，很可能會引起項目無法運行的錯誤，因此單文件相似度本身可較真實地反映抄襲情況，從而在該基礎上的多文件相似度計算也較為準確。

5 結語

為了克服傳統手動管理效率低下問題，本文設計并實現了一個在線Java Web課程項目自動管理和分析系統，該系統將學生提交的項目自動部署至位于遠程云主機Tomcat集群和MySQL服務器上，部署過程處理負載均衡、命名沖突等問題，同時提供基于多文件項目相似度分析的抄襲檢測等功能。通過一學期試用對比發現，與人工評閱方法相比，該系統能節省至少57%的評閱時間，同時可提供準確性達97%的項目相似性檢測功能。因此，該系統大幅提高了Java Web課程管理自動化程度和教師工作效率，具有較高的實用和推廣價值。

后續工作重點一方面是提高該系統對各類Web組件的擴展能力，另一方面考慮如何提供更為全面和深度的數據分析能力，包括代碼質量分析、學生行為分析、學生知識能力分析等能力。

參考文獻：

[1] 周唯，鄒東升，牛寶君. 基于移動云計算的高校教學資源整合系統[J]. 計算機應用，2016（S1）：33-36.

[2] 杜祥軍，李建波，李敏，等. 基于Online Judge的計算機類課程教學評價方法研究[J]. 計算機教育，2019，304（3）：55-57.

[3] 于海平. Java Web 課程教學改革探索[J]，軟件導刊，2014，13（5）：191-192.

[4] 馮永安，王永貴，邱云飛，等. “鏈”式教學模式下Java Web課程教學改革與實踐[J]. 計算機教育，2020（3）：145-147，152.

[5] 陳志，李夢澤，馬嫣，等. 基于ACM程序設計競賽的常規教學改革[J].? 電氣電子教學學報，2011，33（6）：18-20.

[6] WANG G P，CHEN S Y，YANG X，et al. OJPOT： online judge & practice oriented teaching idea in programming courses[J]. European Journal of Engineering Education，2016，41（3）：16.

[7] 陳燈，張彥鐸，王海暉，等. C語言程序設計基礎課程教賽融合教學方法研究[J]. 軟件導刊，2019，18（4）：206-209.

[8] 國內外有哪些好的刷題網站[EB/OL]. https：. www.nowcoder.com/discuss/20147？type=1&order=0&pos=6&page=1.

[9] 李超，花磊，宋云奎. 面向云計算的分布式應用自動部署框架[J].? 計算機技術與發展，2018（6）：12-16.

[10] 王海俠，吳愛華，曾衛明. 基于JBoss和Tomcat的自動化部署研究[J].? 現代計算機（專業版），2015（13）：38-42.

[11] 趙杰昌，張良宇. 基于Jenkins構建持續集成系統[J]. 電腦編程技巧與維護，2014（9）：9-10.

[12] 周瑩，歐中紅，李俊. 基于Jenkins的持續集成自動部署研究[J]. 計算機與數字工程，2016，44（2）：267-270.

[13] 張丹，羅平. 代碼相似性檢測方法與工具綜述[J]. 計算機科學，2020，47（3）：5-10.

[14] 程金宏， 劉東升. 程序代碼相似度自動度量技術研究綜述. 內蒙古師范大學學報（自然科學漢文版），2006， 35（4）：457-461.

[15] VERCO K L，WISE M J. Software for detecting suspected plagiarism： comparing structure and attribute-count systems[C].? Conference on Computer Science Education， 1996：86-95.

[16] DUCASSE S， RIEGER M ， DEMEYER S .? A language independent approach for detecting duplicated code[C].? IEEE International Conference on Software Maintenance， 1999：109-118.

[17] GITCHELL D， TRAN N. SIM： a utility for detecting similarity in computer programs[C]. Thirtieth Sigcse Technical Symposium on Computer Science Education， 1999：266-270.

[18] KIM Y C， CHO Y Y， MOON J B. A plagiarism detection system using a syntax-tree[C].? International Conference on Computational Intelligence， 2004：23-26.

[19] JIANG L， MISHERGHI G， SU Z， et al. DECKARD： scalable and accurate tree-based detection of code clones[C].? Minneapolis： International Conference on Software Engineering， 2007.

[20] PHAM N H， NGUYEN H A， NGUYEN T T， et al. Complete and accurate clone detection in graph-based models[C].? IEEE International Conference on Software Engineering， 2009：276-286.

[21] SHENEAMER A， ROY S， KALITA J. A detection framework for semantic code clones and obfuscated code[J]. Expert Systems with Applications，2018，97（1）：405-420.

[22] DUBINS L E，FREEDMAN D A. Machiavelli and the Gale-Shapley algorithm[J]. American Mathematical Monthly，1981（88）：485-494.

（責任編輯：江 艷）