基于圖像識(shí)別的遠(yuǎn)程控制實(shí)驗(yàn)系統(tǒng)開發(fā)與實(shí)現(xiàn)

范光宇 曾祥緒 方草

摘要：新冠肺炎疫情的爆發(fā)對(duì)大學(xué)傳統(tǒng)課程教學(xué)帶來了很大挑戰(zhàn)，很多課程教學(xué)方式由原來的線下教學(xué)轉(zhuǎn)為在線教學(xué)方式，但很多實(shí)驗(yàn)課程特別是硬件實(shí)驗(yàn)課程的在線教學(xué)中難以完成硬件動(dòng)手實(shí)際操作，給實(shí)驗(yàn)教學(xué)帶來很大困難，在線教學(xué)和虛擬仿真實(shí)驗(yàn)教學(xué)的教學(xué)質(zhì)量難以控制。本文針對(duì)電子信息類專業(yè)課程的硬件實(shí)驗(yàn)教學(xué)，利用互聯(lián)網(wǎng)和圖像識(shí)別技術(shù)，開發(fā)了基于遠(yuǎn)程控制方式的遠(yuǎn)程控制硬件實(shí)驗(yàn)系統(tǒng)，并用于電子信息類專業(yè)硬件實(shí)驗(yàn)教學(xué)。通過實(shí)驗(yàn)驗(yàn)證，本實(shí)驗(yàn)系統(tǒng)功能齊全，操作靈活，運(yùn)行穩(wěn)定，有助于學(xué)生進(jìn)行遠(yuǎn)程操作實(shí)驗(yàn)，掌握實(shí)驗(yàn)原理和操作過程，提高了實(shí)驗(yàn)教學(xué)效果。

關(guān)鍵詞：電子信息類，遠(yuǎn)程控制實(shí)驗(yàn)教學(xué)，圖像識(shí)別，遠(yuǎn)程實(shí)驗(yàn)系統(tǒng)

1、緒論

2020年，一場(chǎng)突如其來的新冠肺炎疫情，給人們的生產(chǎn)生活帶來了很多變化，也給傳統(tǒng)課堂教學(xué)帶來了新的挑戰(zhàn)，很多課程教學(xué)不得不從線下轉(zhuǎn)為在線方式進(jìn)行[1]，而硬件實(shí)驗(yàn)課程由于有硬件動(dòng)手實(shí)操，很難采用在線實(shí)驗(yàn)進(jìn)行。為了解決這個(gè)問題，很多專家學(xué)者、教師和工程技術(shù)人員提出了各種電子信息類、計(jì)算機(jī)類實(shí)驗(yàn)課程教學(xué)系統(tǒng)、在線教學(xué)方法、線上線下混合實(shí)驗(yàn)教學(xué)方法。

文獻(xiàn)[1]針對(duì)新冠肺炎疫情“停課不停學(xué)”的教學(xué)需求，利用在線教育平臺(tái)和嵌入式系統(tǒng)的專業(yè)虛擬仿真軟件，提出了針對(duì)嵌入式系統(tǒng)線上線下混合教學(xué)模式，提高了嵌入式系統(tǒng)線上教學(xué)效果。文獻(xiàn)[2]提出了一種新的硬件類課程實(shí)驗(yàn)的教學(xué)方法，該方法通過遠(yuǎn)程硬件實(shí)驗(yàn)云平臺(tái)來完成學(xué)生實(shí)驗(yàn)操作，學(xué)生還能通過平臺(tái)提供的智能問答系統(tǒng)、教師在線輔導(dǎo)等方式獲得幫助。文獻(xiàn)[3]針對(duì)《計(jì)算機(jī)組成原理》這一課程提出了線上線下混合硬件實(shí)驗(yàn)教學(xué)的想法，學(xué)生通過虛擬平臺(tái)完成線上預(yù)習(xí)、線上測(cè)評(píng)以及復(fù)習(xí)，用實(shí)驗(yàn)箱完成線下操作。這些方法雖然在線上線下混合教學(xué)上取得了一定的效果，但是在硬件實(shí)驗(yàn)方面上存在一下兩個(gè)問題。一個(gè)問題是，雖然提出了線上硬件實(shí)驗(yàn)這個(gè)想法但是并沒有具體的實(shí)現(xiàn)方案;另一個(gè)問題是，我只是通過軟件仿真來達(dá)到遠(yuǎn)程控制硬件實(shí)驗(yàn)的目的，試驗(yàn)箱的使用我們?nèi)匀皇窃趯?shí)驗(yàn)室完成。

為了解決以上問題，特別是保證在線實(shí)驗(yàn)教學(xué)也能使用實(shí)驗(yàn)箱完成硬件實(shí)驗(yàn)的問題，我們?cè)O(shè)計(jì)開發(fā)了遠(yuǎn)程控制硬件實(shí)驗(yàn)系統(tǒng)。

2、實(shí)驗(yàn)教學(xué)系統(tǒng)

本遠(yuǎn)程控制實(shí)驗(yàn)系統(tǒng)主要包括以下功能：遠(yuǎn)程操作與學(xué)校實(shí)驗(yàn)室統(tǒng)一配備的現(xiàn)有實(shí)驗(yàn)箱相連的電腦進(jìn)行編程、仿真操作;遠(yuǎn)程操作實(shí)驗(yàn)箱進(jìn)行按鍵、撥碼等實(shí)操動(dòng)作;遠(yuǎn)程視頻觀察硬件試驗(yàn)箱LED指示、顯示屏等外設(shè)表現(xiàn);同學(xué)老師遠(yuǎn)程控制視頻觀摩實(shí)驗(yàn)。

本實(shí)驗(yàn)教學(xué)系統(tǒng)主要以Python為源代碼并結(jié)合開源模塊庫開發(fā)，系統(tǒng)界面可分為學(xué)生端和教師端兩個(gè)客戶端。本項(xiàng)目自主編程來實(shí)現(xiàn)實(shí)時(shí)遠(yuǎn)程控制師生教學(xué)、可視化音像交互實(shí)驗(yàn)，完成了機(jī)械動(dòng)態(tài)定位功能、實(shí)時(shí)錄像錄音功能、個(gè)性化定制實(shí)驗(yàn)功能等。

本遠(yuǎn)程控制實(shí)驗(yàn)系統(tǒng)總體上包括硬件子系統(tǒng)和軟件子系統(tǒng)兩個(gè)子系統(tǒng)，下面分別介紹具體兩個(gè)子系統(tǒng)的結(jié)構(gòu)和功能。

2.1系統(tǒng)硬件結(jié)構(gòu)

本遠(yuǎn)程控制實(shí)驗(yàn)系統(tǒng)硬件結(jié)構(gòu)包括硬件控制、圖像采集和圖像傳輸?shù)戎饕糠?，硬件控制部分使用一個(gè)xyz滑臺(tái)，在滑臺(tái)下方放置實(shí)驗(yàn)箱，利用固定在z軸的頂針完成按鍵操作，在滑臺(tái)的側(cè)方放置一個(gè)攝像頭。該攝像頭可以獲取實(shí)驗(yàn)箱實(shí)時(shí)影像，保證實(shí)驗(yàn)者、同組成員可對(duì)實(shí)驗(yàn)進(jìn)行實(shí)時(shí)觀察、觀摩，也可保證教師對(duì)學(xué)生的實(shí)驗(yàn)操作進(jìn)行實(shí)時(shí)觀察，有利于教師了解學(xué)生實(shí)驗(yàn)操作情況并進(jìn)行考核。

2.2系統(tǒng)軟件結(jié)構(gòu)

本遠(yuǎn)程控制實(shí)驗(yàn)系統(tǒng)的軟件子系統(tǒng)采用客戶端和服務(wù)端兩個(gè)部分，其中客戶端包括學(xué)生端與教師端兩個(gè)版本。教師端的權(quán)限大于學(xué)生端，在教師端可以實(shí)現(xiàn)滑臺(tái)在限位許可條件下x、y、z三個(gè)方向的任意移動(dòng)，能夠設(shè)置固定按鍵，設(shè)置限位保護(hù)，機(jī)械臂的使用權(quán)限;學(xué)生端的權(quán)限就小于教師端，只能通過教師設(shè)置的按鍵來實(shí)現(xiàn)機(jī)械臂的移動(dòng)。學(xué)生端還可以進(jìn)行截圖以及錄像的操作來完成實(shí)驗(yàn)內(nèi)容的證明。

2.3系統(tǒng)功能模塊

模塊1：xyz移動(dòng)模塊

教師在界面更改目標(biāo)位置信息，確定目標(biāo)位置后，系統(tǒng)會(huì)檢查機(jī)械臂是否連接正常，如果連接正常判斷機(jī)械臂的當(dāng)前位置與目標(biāo)位置是否相同，若不相同，則使用G代碼使得機(jī)械臂通過絕對(duì)路徑方式移動(dòng)至目標(biāo)位置。

模塊2：按鍵模塊

按鍵模塊包括添加添加按鍵、刪除按鍵、按鍵測(cè)試以及按鍵點(diǎn)擊。添加按鍵則是將此時(shí)的位置信息添加至按鍵列表信息中，刪除按鍵同理;按鍵測(cè)試則是測(cè)試機(jī)械臂z軸移動(dòng)能否實(shí)現(xiàn)按鍵的點(diǎn)擊;按鍵點(diǎn)擊則是點(diǎn)擊按鍵使得機(jī)械臂在任意位置能到達(dá)按鍵所在位置并完成點(diǎn)擊。

3、遠(yuǎn)程在線實(shí)驗(yàn)方法

遠(yuǎn)程在線實(shí)驗(yàn)教學(xué)通過軟件遠(yuǎn)程操控置于實(shí)驗(yàn)室與實(shí)驗(yàn)箱相連的電腦，教師先在教學(xué)平臺(tái)上傳實(shí)驗(yàn)操作視頻，使學(xué)生對(duì)軟件以及實(shí)驗(yàn)有一定的了解。小組成員在課前交流實(shí)驗(yàn)操作，實(shí)驗(yàn)過程中只能根據(jù)教師發(fā)放的實(shí)驗(yàn)指導(dǎo)書操作，不得播放實(shí)驗(yàn)視頻，教師在學(xué)生進(jìn)行實(shí)驗(yàn)過程中觀察不同小組學(xué)生的實(shí)驗(yàn)操作。教師還在實(shí)驗(yàn)報(bào)告中添加關(guān)于實(shí)驗(yàn)的思考題，學(xué)生將答案置于實(shí)驗(yàn)報(bào)告中上傳教學(xué)系統(tǒng)。

4、總結(jié)

本文針對(duì)電子信息類專業(yè)實(shí)驗(yàn)教學(xué)特點(diǎn)，充分利用互聯(lián)網(wǎng)、圖像識(shí)別等信息技術(shù)，設(shè)計(jì)開發(fā)了遠(yuǎn)程控制實(shí)驗(yàn)教學(xué)系統(tǒng)。該系統(tǒng)將線下傳統(tǒng)實(shí)驗(yàn)教學(xué)移植到遠(yuǎn)程控制實(shí)驗(yàn)教學(xué)，系統(tǒng)將硬件實(shí)驗(yàn)課程只能通過教師錄制的視頻講解的教學(xué)方式轉(zhuǎn)化成學(xué)生和教師均能在遠(yuǎn)程控制完成硬件實(shí)驗(yàn)，不受場(chǎng)地與時(shí)間的限制。教師端與學(xué)生端的不同使得本系統(tǒng)更加貼合實(shí)際使用，也使儀器損壞的可能性降低。本實(shí)驗(yàn)系統(tǒng)能為教師教學(xué)和學(xué)生學(xué)習(xí)帶來更大的便利，提高遠(yuǎn)程控制實(shí)驗(yàn)教學(xué)效果。

參考文獻(xiàn)：

[1]張宏偉，王海星，郭建鋒，王新環(huán).基于騰訊課堂和虛擬仿真技術(shù)的嵌入式系統(tǒng)遠(yuǎn)程控制教學(xué)[J].實(shí)驗(yàn)技術(shù)與管理，2020，37（12）：170-174.

[2]章復(fù)嘉，孫丹鳳，趙建勇，林菲，李二濤.一種計(jì)算機(jī)硬件類課程實(shí)驗(yàn)教學(xué)方法[J].實(shí)驗(yàn)室研究與探索，2019，38（05）：151-154.

[3]張海英.《計(jì)算機(jī)組成原理》硬件實(shí)驗(yàn)線上線下混合教學(xué)模式探討[J].電腦知識(shí)與技術(shù)，2020，16（23）：103-104.