基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)開(kāi)發(fā)與應(yīng)用

張譽(yù)耀

（舟山技師學(xué)院，浙江 舟山 316011）

在線教育成為教育領(lǐng)域的一大創(chuàng)新和突破，傳統(tǒng)的教育模式受到了新一代學(xué)習(xí)者的挑戰(zhàn)，其對(duì)更靈活、更個(gè)性化的學(xué)習(xí)方式的需求更迫切。在這一背景下，混合現(xiàn)實(shí)技術(shù)作為一種前沿的技術(shù)手段，正在逐漸應(yīng)用于在線教育平臺(tái)的開(kāi)發(fā)。混合現(xiàn)實(shí)技術(shù)（MR）是一種將真實(shí)世界與虛擬世界的數(shù)字內(nèi)容進(jìn)行交互疊加，使用戶能夠與虛擬對(duì)象進(jìn)行實(shí)時(shí)互動(dòng)，并感知虛擬對(duì)象與真實(shí)世界融合的增強(qiáng)現(xiàn)實(shí)技術(shù)。該技術(shù)可為學(xué)習(xí)者提供視覺(jué)上的沉浸感，還可以通過(guò)聲音、觸感等方式增強(qiáng)其學(xué)習(xí)體驗(yàn)。在在線教育平臺(tái)中，混合現(xiàn)實(shí)技術(shù)可以用于創(chuàng)造虛擬場(chǎng)景、交互式演示等，使學(xué)習(xí)過(guò)程更生動(dòng)有趣，滿足學(xué)生的個(gè)性化需求。該文對(duì)基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)開(kāi)發(fā)與應(yīng)用進(jìn)行了研究，以期通過(guò)研究，為教育者、學(xué)習(xí)者和技術(shù)開(kāi)發(fā)者提供有益的參考和啟示。

1 基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)總體框架

基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)系統(tǒng)設(shè)計(jì)，需要構(gòu)建相應(yīng)的系統(tǒng)總框架，系統(tǒng)框架圖如圖1 所示。用戶信息管理模塊中包括用戶信息采集和用戶信息管理功能，負(fù)責(zé)收集、存儲(chǔ)和管理平臺(tái)上的用戶信息。在線教學(xué)模塊中包括虛擬課堂設(shè)計(jì)及交互式體驗(yàn)設(shè)計(jì)，以創(chuàng)造豐富、參與性高的學(xué)習(xí)環(huán)境，促進(jìn)學(xué)生的主動(dòng)學(xué)習(xí)和深入理解[1]。在學(xué)習(xí)效果評(píng)價(jià)和反饋模塊中，教師通過(guò)自動(dòng)化評(píng)估工具，及時(shí)了解學(xué)生的學(xué)習(xí)進(jìn)展和理解程度，為學(xué)生提供針對(duì)性的指導(dǎo)和反饋。

圖1 平臺(tái)總體框架圖

2 硬件設(shè)計(jì)

基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)硬件設(shè)計(jì)主要通過(guò)64 位英特爾凌動(dòng)E3800 系列SOC 的處理器實(shí)現(xiàn)。該系列處理器配備更大的Flash 存儲(chǔ)器，同時(shí)還具備高性能的FPU，可加速?gòu)?fù)雜算法和信號(hào)處理任務(wù)。采用ADAM-6050 信息采集器，具有6 個(gè)繼電器輸出通道，支持TCP/IP 協(xié)議，以提供卓越的信息采集能力和響應(yīng)速度。采用Oculus Quest 2 獨(dú)立式虛擬現(xiàn)實(shí)（VR）頭戴式顯示器，配備LCD 面板，分辨率為1832×1920 像素，提供清晰銳利的圖像，顯著改善虛擬現(xiàn)實(shí)體驗(yàn)的視覺(jué)質(zhì)量和細(xì)節(jié)展示。附帶一對(duì)觸控手柄，可以輕松操作虛擬環(huán)境中的對(duì)象和控制器。觸控手柄具有精確的位置和動(dòng)作追蹤，可提供更真實(shí)、自然的交互體驗(yàn)。采用BME280 傳感器，能有效地實(shí)時(shí)感知教師與學(xué)生的動(dòng)作，標(biāo)準(zhǔn)的I2C 或SPI 接口與微控制器或其他設(shè)備進(jìn)行通信，便于集成到各種系統(tǒng)中。采用Magic 態(tài)勢(shì)感知攝像機(jī)，具備多種物體和人員識(shí)別能力，包括人臉識(shí)別、行為分析等，可準(zhǔn)確地檢測(cè)和跟蹤特定目標(biāo)。

3 軟件設(shè)計(jì)

3.1 用戶信息管理模塊

用戶信息管理模塊的開(kāi)發(fā)和應(yīng)用是在線教育平臺(tái)運(yùn)行的重要基礎(chǔ)，負(fù)責(zé)管理和維護(hù)與平臺(tái)用戶相關(guān)的信息，并提供必要的功能來(lái)支持用戶的注冊(cè)、登錄、個(gè)人信息管理和權(quán)限控制等。該模塊主要通過(guò)用戶信息采集和用戶信息管理2個(gè)方面來(lái)實(shí)現(xiàn)[2]。

3.1.1 用戶信息采集

平臺(tái)使用AUTO 信息采集器完成對(duì)用戶有效信息的采集，并將采集到的用戶信息儲(chǔ)存在Flash 存儲(chǔ)器中。在時(shí)間上，要求信息采集系統(tǒng)可以實(shí)時(shí)地采集和處理數(shù)據(jù)，同時(shí)能夠以極低的延遲從數(shù)據(jù)源獲取數(shù)據(jù)，并及時(shí)將其傳送到目標(biāo)系統(tǒng)進(jìn)行處理和分析。采用介數(shù)中心性指標(biāo)衡量某個(gè)時(shí)間節(jié)點(diǎn)在網(wǎng)絡(luò)中與其他時(shí)間節(jié)點(diǎn)進(jìn)行連接的重要程度，通過(guò)計(jì)算經(jīng)過(guò)該節(jié)點(diǎn)的最短路徑數(shù)目來(lái)評(píng)估該時(shí)間節(jié)點(diǎn)是否為關(guān)鍵節(jié)點(diǎn)。設(shè)節(jié)點(diǎn)結(jié)束中心性為BCi，其計(jì)算如公式（1）所示。

式中：n為節(jié)點(diǎn)總數(shù)；guv為從u到V的最短路徑數(shù)目；giuv為經(jīng)過(guò)節(jié)點(diǎn)i的最短路徑數(shù)目。

確定時(shí)間節(jié)點(diǎn)的重要程度能夠有效保證用戶信息采集的方便性與時(shí)效性。

3.1.2 用戶信息管理功能

用戶信息管理功能的主要作用是管理用戶的個(gè)人信息，為后續(xù)的教育服務(wù)提供必要的用戶基礎(chǔ)數(shù)據(jù)。該功能模塊的流程如圖2 所示。

圖2 用戶信息管理流程

用戶信息的基本屬性包括真實(shí)姓名、性別、年齡、用戶名、密碼、聯(lián)系方式以及電子郵件等，以上信息存儲(chǔ)在MySQL 數(shù)據(jù)庫(kù)中，采用MyBatis 進(jìn)行ORM 映射。用戶注冊(cè)時(shí)需要對(duì)輸入的用戶名和密碼進(jìn)行加密存儲(chǔ)，采取CSRF 攻擊和SQL 注入等手段確保用戶信息的安全性。登錄時(shí)需要驗(yàn)證用戶的用戶名和密碼，同時(shí)設(shè)置用戶身份認(rèn)證Token，用于后續(xù)身份驗(yàn)證[3]。身份驗(yàn)證結(jié)束后，需要根據(jù)用戶的權(quán)限設(shè)置限制用戶的操作和訪問(wèn)范圍。采用數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)用戶信息的更新管理需要，建立索引和管理機(jī)制記錄用戶的操作、訪問(wèn)記錄等數(shù)據(jù)。操作記錄需要記錄用戶對(duì)各個(gè)模塊和功能的操作，包括操作者、操作時(shí)間和類型等信息；訪問(wèn)記錄需要記錄用戶的訪問(wèn)來(lái)源、時(shí)間、路徑和IP 等信息，方便后續(xù)對(duì)用戶的需求進(jìn)行有效分析。

3.2 在線教學(xué)模塊

3.2.1 虛擬課堂設(shè)計(jì)

在基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)中，在線教學(xué)模塊的開(kāi)發(fā)和應(yīng)用為教師和學(xué)生提供了全新的教學(xué)體驗(yàn)，教師與學(xué)生借助頭戴式顯示器和手柄控制器感受MR技術(shù)支持下的虛擬課堂、虛擬實(shí)物的教學(xué)環(huán)境。在MR 技術(shù)支持的課堂環(huán)節(jié)中，教師可進(jìn)行講解、添加注釋和演示等操作，并通過(guò)Socket 技術(shù)將視頻和音頻流通過(guò)網(wǎng)絡(luò)傳輸給學(xué)生，幫助學(xué)生實(shí)時(shí)觀看和聽(tīng)取教師的授課內(nèi)容。MR 技術(shù)通過(guò)投影技術(shù)將不同地區(qū)學(xué)習(xí)者的虛擬形象耦合連接到同一個(gè)在線虛擬課堂環(huán)境中，并將2 個(gè)或2 個(gè)以上的虛擬形象進(jìn)行線性混合，耦合性計(jì)算如公式（2）所示。

式中：Vc為耦合后的圖像系數(shù)；Va和Vb分別為待耦合的2個(gè)虛擬形象系數(shù)；α為混合權(quán)重。

綜合考慮虛擬形象的亮度、對(duì)比度和結(jié)構(gòu)信息之間的差異，耦合后的效果計(jì)算公式可以用結(jié)構(gòu)相似性指數(shù)S表示，如公式（3）所示。

式中：ka和kb分別為待比較的2 個(gè)圖像的像素均值；fa和fb分別為二者的像素標(biāo)準(zhǔn)差；ha和hb為二者的像素協(xié)方差；c1和c2為常數(shù)。

上述設(shè)計(jì)旨在構(gòu)建一個(gè)“混合現(xiàn)實(shí)教學(xué)環(huán)境”。通過(guò)該環(huán)境，參與在線課程的教師和學(xué)生可以生成虛擬形象，并在同一個(gè)MR 學(xué)習(xí)環(huán)境中實(shí)現(xiàn)共存。

3.2.2 交互式體驗(yàn)設(shè)計(jì)

基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)中的交互式體驗(yàn)設(shè)計(jì)旨在使學(xué)生和教師之間可以實(shí)時(shí)互動(dòng)、討論問(wèn)題和解答疑惑等，以取得線上互動(dòng)的教學(xué)效果。進(jìn)行實(shí)時(shí)視頻直播課時(shí)，利用傳感器、攝像頭對(duì)教師、學(xué)生所處的環(huán)境進(jìn)行感知和跟蹤，準(zhǔn)確地將虛擬內(nèi)容疊加到真實(shí)世界中[4]。針對(duì)上述問(wèn)題，需要對(duì)感知數(shù)據(jù)進(jìn)行預(yù)處理，并借助ETL 工具對(duì)感知數(shù)據(jù)進(jìn)行清洗、消除和匹配等操作，利用重復(fù)性指標(biāo)測(cè)量數(shù)據(jù)的分散性，其計(jì)算如公式（4）所示。

式中：α為標(biāo)準(zhǔn)差。α越大，數(shù)據(jù)分散性越大，α越小，則數(shù)據(jù)分散性越小；yi為數(shù)據(jù)輸出值，i為常數(shù)；y為數(shù)據(jù)輸出平均值。

然后將經(jīng)過(guò)ETL 工具處理的數(shù)據(jù)內(nèi)容加載到所構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)中，再利用pandas 剪裁數(shù)據(jù)集，留下需要的字段或數(shù)據(jù)點(diǎn)，以便保留有用信息的和消除無(wú)用信息。借助ETL、pandas工具對(duì)感知數(shù)據(jù)進(jìn)行預(yù)處理的具體流程圖如圖3 所示。

圖3 感知數(shù)據(jù)預(yù)處理流程圖

通過(guò)FFmpeg 捕捉視頻流并對(duì)其進(jìn)行編解碼處理，將視頻內(nèi)容進(jìn)行轉(zhuǎn)換、傳輸，并使用均值濾波對(duì)傳輸信號(hào)中的某些分量進(jìn)行加權(quán)平均處理，用于消除信號(hào)中的噪聲，其計(jì)算如公式（5）所示。

式中：p為均值濾波；n為濾波器大小；t為原始圖像；x和y為坐標(biāo)軸的亮度系數(shù)；i和j為從濾波中心向左、右兩邊的偏移量。

對(duì)網(wǎng)絡(luò)狀況進(jìn)行動(dòng)態(tài)判斷，調(diào)整視頻流碼率，以保證視頻流的穩(wěn)定性和流暢性。

3.3 學(xué)習(xí)效果評(píng)價(jià)和反饋模塊

學(xué)習(xí)效果評(píng)價(jià)和反饋模塊的開(kāi)發(fā)和應(yīng)用有助于提高在線教育平臺(tái)的教學(xué)質(zhì)量和效果。學(xué)習(xí)效果評(píng)價(jià)和反饋模塊主要需要2 種技術(shù)支持：1）視頻監(jiān)控和錄制技術(shù)，用于監(jiān)督教育現(xiàn)場(chǎng)，方便后期教師對(duì)教學(xué)工作的查看及改進(jìn)。2）數(shù)據(jù)分析技術(shù)，用于對(duì)學(xué)生的學(xué)習(xí)情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)和評(píng)估，幫助教師為不同學(xué)生提供有針對(duì)性的教學(xué)指導(dǎo)[5]。學(xué)習(xí)效果評(píng)價(jià)和反饋功能的實(shí)現(xiàn)需要建立合理的評(píng)估指標(biāo)體系，用于明確評(píng)估的目的和對(duì)象，針對(duì)不同的對(duì)象確定不同的評(píng)估指標(biāo)體系。針對(duì)教師的質(zhì)量評(píng)價(jià)包括是否達(dá)到教學(xué)目標(biāo)、課堂效果等指標(biāo)；針對(duì)學(xué)生的效果評(píng)價(jià)包括學(xué)習(xí)進(jìn)度、理解程度等指標(biāo)。因此需要使用支持向量機(jī)（SVM）對(duì)指標(biāo)進(jìn)行分類，確定每個(gè)指標(biāo)在整個(gè)評(píng)估過(guò)程中的相對(duì)重要程度，其計(jì)算如公式（6）所示。

式中：y為類別標(biāo)識(shí)；w為法向量；x為樣本特征向量；b為偏差。

平臺(tái)利用傳感器和攝像頭等設(shè)備收集教師及學(xué)生的行為數(shù)據(jù)和表現(xiàn)，系統(tǒng)根據(jù)預(yù)設(shè)的評(píng)估指標(biāo)，對(duì)教師的教學(xué)質(zhì)量和學(xué)生的學(xué)習(xí)效果進(jìn)行自動(dòng)化評(píng)估。先建立多元線性回歸模型Y，具體如公式（7）所示。

式中：Y為學(xué)習(xí)效果因變量；X1，X2，...，XK為教學(xué)質(zhì)量自變量；ε為隨機(jī)誤差項(xiàng)；β0為截距；β0，β1，...，βK為回歸系數(shù)，表示因變量與自變量之間的關(guān)系。

通過(guò)對(duì)回歸模型中的變量進(jìn)行最小二乘法擬合得出回歸系數(shù)的估計(jì)值，具體計(jì)算如公式（8）所示。

式中：b為回歸系數(shù)向量；X為自變量矩陣；為X的轉(zhuǎn)置；Y為因變量向量。

擬合過(guò)程通常使用Python 中的scikit-learn 庫(kù)軟件執(zhí)行模型擬合，并輸出結(jié)果。基于學(xué)生的學(xué)習(xí)數(shù)據(jù)和特征，使用智能算法提供學(xué)習(xí)建議。經(jīng)過(guò)上述模塊的設(shè)計(jì)，基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)打破了地理和時(shí)間的限制，為學(xué)生提供了更廣闊的學(xué)習(xí)機(jī)會(huì)。

4 測(cè)試試驗(yàn)

4.1 試驗(yàn)準(zhǔn)備

該系統(tǒng)將最新的英特爾凌動(dòng)E3800 系列SOC 作為開(kāi)發(fā)平臺(tái)，并使用流行的Spring Boot 框架進(jìn)行開(kāi)發(fā)。Web 服務(wù)器選用Nginx，數(shù)據(jù)庫(kù)采用MySQL 主流數(shù)據(jù)庫(kù)系統(tǒng)。系統(tǒng)的前端利用JavaScript 等技術(shù)開(kāi)發(fā)，使用Angular 等流行的前端框架實(shí)現(xiàn)動(dòng)態(tài)頁(yè)面交互和響應(yīng)式設(shè)計(jì)。與后端進(jìn)行數(shù)據(jù)交互時(shí)，采用RESTful API，以JSON 形式進(jìn)行數(shù)據(jù)傳輸。此外，系統(tǒng)支持跨平臺(tái)運(yùn)行，可以在Linux 上運(yùn)行，并且與各種編程語(yǔ)言，如JavaScript 等兼容性良好。

4.2 試驗(yàn)結(jié)果

選取5 個(gè)不同節(jié)點(diǎn)資源值測(cè)試平臺(tái)系統(tǒng)的響應(yīng)時(shí)間與準(zhǔn)確率，測(cè)試結(jié)果見(jiàn)表1。

表1 測(cè)試試驗(yàn)結(jié)果

根據(jù)表1 可知，系統(tǒng)采集時(shí)間最高為6.7ms，表明該系統(tǒng)具有較高的響應(yīng)速度和實(shí)時(shí)性；系統(tǒng)計(jì)算時(shí)間小于1.98s，表明該系統(tǒng)具有高效的處理能力和性能；準(zhǔn)確率高達(dá)99.1%，表明該系統(tǒng)具備較高的精度和可靠性。該文通過(guò)構(gòu)建基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)，提供了沉浸式的互動(dòng)性較強(qiáng)的學(xué)習(xí)體驗(yàn)，拓展了教育邊界，可激發(fā)學(xué)生的學(xué)習(xí)興趣和動(dòng)力，同時(shí)還能突破時(shí)空限制，使教育資源更普惠，實(shí)現(xiàn)全球范圍內(nèi)的無(wú)縫連接和知識(shí)共享。

5 結(jié)語(yǔ)

綜上所述，混合現(xiàn)實(shí)技術(shù)的引入為教育事業(yè)的發(fā)展帶來(lái)了新的機(jī)遇和可能性，對(duì)提升學(xué)生的學(xué)習(xí)體驗(yàn)、拓展教學(xué)方法和促進(jìn)教育創(chuàng)新等方面都具有重要的現(xiàn)實(shí)意義。該文首先構(gòu)建了基于混合現(xiàn)實(shí)技術(shù)的在線教育平臺(tái)總體架構(gòu)，其次對(duì)用戶信息管理模塊、在線教學(xué)模塊以及學(xué)習(xí)效果評(píng)價(jià)和反饋模塊進(jìn)行設(shè)計(jì)，最終實(shí)現(xiàn)了整體平臺(tái)的運(yùn)行。未來(lái)，隨著混合現(xiàn)實(shí)技術(shù)的不斷發(fā)展與成熟，基于混合現(xiàn)實(shí)技術(shù)的在線教育將為學(xué)生提供更靈活和個(gè)性化的學(xué)習(xí)體驗(yàn)。