智慧微課：基于人工智能的微課自動生成系統*

樂會進 賀勝 王麗紅 劉俊生[通信作者]

?

智慧微課：基于人工智能的微課自動生成系統*

樂會進1,2賀勝3王麗紅4劉俊生3[通信作者]

（1．中國科學技術大學 現代教育技術中心，安徽合肥 230026； 2．南昌大學 教育系，江西南昌 330031；3．訊飛教育技術研究院，安徽合肥 230088； 4．科大訊飛股份有限公司，安徽合肥 230088）

文章首先通過分析人工智能支持的微課自動生成過程及相關技術，特別是綜合考慮相關因素，設計了一款基于人工智能的微課自動生成系統——智慧微課。隨后，文章基于智慧微課的設計目標，構建了智慧微課的架構，分析了智慧微課采用的關鍵技術，并闡述了智慧微課的錄制流程。最后，文章通過案例分析介紹了智慧微課的三種應用場景，并分析了智慧微課的應用效果。文章的研究表明：智慧微課能實現一鍵錄制，生成結構化的微課視頻及其圖文混合文檔，既能大幅減輕教師微課制作的工作量，也給了學生更大的自主調節空間，是人工智能應用于微課制作的一次有益嘗試。

人工智能；微課；智慧微課；自動生成系統

微課是一種以微視頻為核心的教育資源，它具有靈活簡便、容量小、針對性強等特點，基本滿足了“互聯網+”時代的學習需求。傳統的微課制作方式以人工為主，主要依靠制作人員的個人經驗，雖然其制作質量有所保障，但是制作過程復雜，甚至需要建立專門的制作場所（如錄播教室），故費時費力，且成本偏高，影響了微課資源開發的效率。2018年，教育部印發的《教育信息化2.0行動計劃》提出了“教育大資源開發利用機制全面形成”[1]的新要求，傳統的人工制作微課的方式顯然已經不能適應新時代“教育大資源”建設的趨勢，因此有必要尋求微課制作方式的新突破——人工智能和微課制作的結合，便是一種可能的發展方向。

一 人工智能支持的微課自動生成過程及技術分析

1 人工智能支持的微課自動生成過程

人工智能支持的微課自動生成過程包括五個環節：①視頻錄制環節，是指通過攝像頭或屏幕錄制軟件采集視頻畫面。目前，通過自動錄播技術（主要包括自動跟蹤攝制技術、錄屏技術和自動導播技術三種）[2]，已基本能夠有效實現視頻錄制環節的自動化。②視頻分割環節，是指根據一定的規則和方法，對錄制的視頻資源進行分割，從而將一個長時間的完整視頻分為若干微視頻片段。視頻分割技術主要包括視頻關鍵幀打點技術、視頻鏡頭聚類技術和視頻畫面智能分析技術三種。其中，視頻關鍵幀打點技術是利用相對成熟的錄屏技術和基于PPT翻頁的關鍵幀打點技術來實現；視頻鏡頭聚類技術是通過語義技術進行視頻鏡頭聚類[3]，雖然理論上比較先進，但其具體效果還有待進一步檢驗；而視頻畫面智能分析技術以圖像識別技術為基礎，其精確度不夠高，目前還難以達到應用級的水平。③視頻標注環節，是指在理解視頻內容的基礎上，對分割后的視頻的基本屬性進行語義說明。人工智能支持下的視頻自動標注過程，通常以語義本體技術[4]為基礎。已有的語義本體技術有兩種做法：一是自動提取PPT頁面中的標題，以該標題作為視頻標注的語義。實踐表明，該方法通常對PPT的制作格式要求較高，如果制作格式不規范，后期就需要人工輔助。二是利用智能語音技術將視頻中的教師講解內容進行文本化處理，并依據事先制定好的規則提取語義[5]。④視頻重組環節，是指根據視頻標注環節中的語義本體，對分割后的視頻片段進行關聯。目前，利用成熟的語義關聯技術[6]，在語義本體庫健全的情況下，已經基本可以實現視頻重組環節的自動化。⑤資源結構化環節，是指基于前面四個環節，將視頻片段和利用人工智能自動生成的文本、圖片等資源進行結構化處理。與視頻重組環節針對不同知識點的視頻片段進行關聯所不同的是，資源結構化環節是針對同一知識點的視頻片段與其對應的文本、圖片進行關聯。資源結構化改變了視頻作為單一媒體形式的不足，有助于學生快速定位學習重點。張一川等[7]通過研究發現，單一視頻形式的微課不利于學習者的使用，學習者在日常自主學習中的應用也較少。因此，有必要在動態媒體形式（主要是指音頻、視頻）之外，提供一些便于瀏覽和交互的靜態媒體形式（如文本、圖片），從而形成動態媒體和靜態媒體相結合的結構化微課資源。

2 微課自動生成系統的技術要點

從微課應用的角度出發，宜對上述五個環節中的微課生成技術進行取舍，即從中選取比較成熟的、適用的技術來設計基于人工智能的微課自動生成系統。而在上述五個環節中的微課生成技術中，視頻錄制環節和視頻重組環節分別通過智能錄播技術、語義關聯技術，已基本能夠進行自動化處理；視頻分割環節的自動化技術還不夠成熟，其中視頻關鍵幀打點技術的智能化程度不夠，但在微課開發領域卻是一項實用的視頻自動分割技術；視頻標注環節受PPT制作格式和語義本體技術的影響較為明顯；而資源結構化環節中的自動化技術尚有待做進一步研究。

通常意義上，視頻屬于控制性強的動態媒體[8]，學生難以通過視頻畫面精準定位學習重點；并且，學生在學習視頻時基本處于被動接受的學習狀態，認知負荷也較大。而利用快速發展的智能語音轉寫技術，可以生成與視頻內容相匹配的語音文字稿，再配上視頻關鍵幀截圖，就能形成結構化的微課資源。此外，利用智能語音轉寫技術，不僅能將微課的動態語音轉寫為靜態文本，還能自動生成語義文本，促進語義本體庫建設。

值得一提的是，考慮師生應用的簡便性，可以在視頻錄制環節采用舍棄錄播教室和攝像頭的輕量化硬件配置模式，只保留錄屏的PPT畫面。事實上，學生的主要信息來源是PPT畫面，而不是師生影像畫面。因此，舍棄師生畫面，既不會對學生的學習效果產生明顯影響，也能利用成熟適用的視頻關鍵幀打點技術解決視頻自動分割難題，還能大幅減少微課錄制環境搭建的投入成本，有助于推動教育信息化資源建設的快速發展。

基于上述對人工智能支持的微課自動生成技術的分析，特別是綜合考慮五個環節中自動生成技術的成熟度、微課資源的結構化和師生應用的簡便性等因素，本研究設計了一款基于人工智能的微課自動生成系統——智慧微課。

二 智慧微課的設計

1 設計目標

①面向結構化形態的微課應用。利用智能語音轉寫技術，生成包括文字稿、關鍵幀截圖和音視頻等媒體形式的結構化微課，促進微課資源的學習和使用。

②基于知識點自動提取的學習內容快速定位。基于智能語音轉寫和語義關聯等技術，能自動提取學習內容中的知識點，便于學生快速定位所學內容并有針對性地進行學習。

③一鍵錄制式的微課自動生成過程。教師操作簡單，一鍵錄制上課內容；無需人為干預，能自動根據教學內容對視頻進行分割、標注和重組；自動上傳到云端，方便學生課后隨時學習。

④簡單易用。微課錄制環境的軟硬件設備操作簡單，不必依賴專門的錄播教室，在普通多媒體教室就能完成微課的錄制；錄好的微課可自動生成二維碼，方便掃碼分享和轉發，便于師生隨時使用。

2 架構與關鍵技術

（1）架構

基于智慧微課的設計目標，本研究構建了智慧微課的架構，如圖1所示。

圖1 智慧微課的架構

智慧微課的架構具有高內聚、低耦合的特點，尤其是智慧微課業務接口統一了核心引擎的調用方式，使得后期業務易于擴展。智慧微課的架構具體可分為五部分：①智能硬件，由智能麥克風、麥克風接收器和微云服務器組成，是智慧微課的主要外部設備。其中，智能麥克風支持定向采集教師的聲音，避免環境噪音對錄制效果造成干擾；麥克風接收器是智能麥克風與客戶端的通信樞紐；微云服務器構建課堂內的局域網，通過連接智能麥克風、麥克風接收器和客戶端，確保錄制過程在無外網的情況下也能穩定運行。②客戶端，是智慧微課的核心軟件，能接收智能麥克風發送的操作指令。它能實現賬號登陸、開始和結束錄制、錄屏、PPT截圖、視頻關鍵幀打點等功能，通過調用核心引擎，還能實現在屏幕上實時轉寫字幕的功能。③微課中心，是微課資源的管理平臺，主要對微課資源進行收集、存儲、管理和應用。它支持教師對微課內容進行編輯修改、結構重組，支持學校對微課資源庫進行管理。此外，它還向師生提供預習、復習和教研等微課資源應用服務。④核心引擎，通過采用微服務架構模式，提供智慧微課業務接口，并統一了不同引擎（包括語音轉寫引擎、知識點提取引擎、文件存儲引擎和圖片處理引擎）接口的調用方式。當用戶量突然增加時，系統能通過添加服務器的方式快速解決問題。⑤基礎設施，包括數據庫、服務器、智能芯片等，采用分布式架構，通過在兩個中心節點搭建數據存儲和數據備份集群，來提高計算性能和異地機房的容災能力。

（2）關鍵技術

為確保用戶獲得良好的使用體驗，在充分考慮學校實際網絡情況、師生日常操作習慣、后期業務發展規劃的基礎上，智慧微課采用了以下關鍵技術：

①基于局域網的音視頻數據采集技術。該技術通過微云服務器構建局域網環境，實現課堂內軟硬件的互聯互通，以確保上課期間網絡穩定。當互聯網斷網或網絡狀況較差時，系統會把數據先緩存到局域網計算機中，待網絡環境恢復到正常狀態，再重新上傳這些數據，并調用核心引擎完成語音轉寫。

②基于PPT翻頁的視頻關鍵幀打點技術。當教師通過智能麥克風或采取其它方式進行PPT翻頁時，系統可應用該技術來自動記錄當前翻頁的時間點。因為語音轉寫后的輸出結果為結構化文本，其記錄了詞、句子的開始時間和結束時間，而錄制的音視頻均含時間戳，所以系統可以通過記錄的時間點對音視頻和文本進行拆分，最終實現視頻關鍵幀打點。

③基于自然語言處理的知識點提取技術。利用智能語音轉寫技術得到微課的文本數據后，知識點提取引擎會進一步對文本數據進行分詞和停用詞過濾、詞義消歧等預處理操作，并將文本數據轉換為數值數據的形式。通過相關算法，系統應用該技術可提取文本特征，并基于教研經驗預設的學科語義本體庫，通過深度學習得到學科知識點和文本特征的關聯關系，據此計算出微課對應的知識點。

④基于二維碼的結構化微課分享技術。微課上傳后，客戶端將接口返回的微課鏈接轉換成二維碼，教師通過該技術分享二維碼，用戶可通過手機等設備掃碼觀看。由于移動端對網絡要求較高，故微課中心呈現的圖片需經過圖片處理引擎進行壓縮處理。

總之，基于局域網的音視頻數據采集技術能確保數據在網絡異常的情況下不丟失、無損壞，基于PPT翻頁的視頻關鍵幀打點技術能通過簡單易行的操作實現對視頻等內容的快速分割，基于自然語言處理的知識點提取技術為構建微課重組所需的知識圖譜奠定了基礎，而基于二維碼的結構化微課分享技術實現了隨時隨地分享與觀看。

圖2 智慧微課的錄制流程

3 錄制流程

智慧微課的錄制流程如圖2所示，具體如下：①工作人員安裝好微云服務器，確保微云服務器正常聯網，聯網成功即生成特定名稱的WIFI信號，教師機通過該WIFI成功連接微云服務器，并打開安裝好的客戶端。②教師把麥克風接收器插到計算機USB口，并將智能麥克風靠近麥克風接收器，兩者進行自動適配后，麥克風接收器即可接收智能麥克風發送的信號。③教師通過智能麥克風一鍵開啟或停止錄制微課；在錄制過程中，教師可通過智能麥克風的翻頁按鈕對PPT翻頁，計算機屏幕實時顯示語音轉寫后的文字。④錄制完成后，生成的音視頻截圖和轉寫后的文字組成結構化的微課，通過微云服務器自動上傳到微課中心；同時，教師通過微課中心對微課文字稿和PPT截圖進行修改微調，并基于提取的知識點精準推送資源，供學生學習。

三 智慧微課的應用與效果分析

1 智慧微課的應用場景

目前，智慧微課已在北京、安徽、浙江等地的多所學校試用，這些試用學校的教師總結出智慧微課的應用場景主要有三種：

①常規課堂教學。在常規課堂教學中，教師利用智慧微課同步錄制教學現場，邊講課邊錄制，自動生成微課資源。教師在錄制過程中依托智慧微課的語音轉寫引擎，既可在屏幕上實時顯示轉寫后的文字，也可自由調節字幕的高度、字體、樣式和位置。若有需要，教師還可隱藏字幕，以減少其在授課過程中對學生的干擾。如教師講解初中一年級語文課“從百草園到三味書屋”時，通過智慧微課把該課的教學重點錄制下來，生成微課視頻（其微課界面如圖3所示），實時轉寫的文字記錄如同教師課堂再現，教師可于下課后分發給班上學生供復習時用。

圖3 “從百草園到三味書屋”微課界面

②公開課等教研活動。教研活動通常涉及多位教研人員的參與，故及時記錄教研人員的點評內容尤為重要。在公開課等教研活動中，智慧微課可以自動記錄課堂教學和課后教研環節的全過程。待教研活動結束后，與會人員便可通過現場掃描智慧微課自動生成的二維碼，直接帶走該教研活動的課堂教學講稿和課后點評內容。如教師在開展高中一年級地理課“大規模的海水運動”教研活動時，通過智慧微課將視頻、文本、點評等相關內容進行了結構化處理，動態同步了視頻與文本實錄，并著重標記了重點語句。

③課前導學材料制作。隨著翻轉課堂的盛行，課前導學材料成為了學生課前預習的重要內容，一些具有基礎性、背景性的知識內容可以通過導學材料呈現給學生。教師可以通過智慧微課制作課前導學材料，生成的微課視頻可以實現自動分段、重點標注、智能檢索。當學生點擊轉寫的文字或截取的關鍵幀圖片時，系統會自動定位到與文字或圖片對應的視頻位置進行播放。

2 智慧微課的應用效果分析

由于智慧微課使用簡便，故自推出以來就受到了廣大教師的歡迎，許多教師紛紛在自己的課堂上進行了試用。筆者通過電話訪談和實地調研，采訪了10位試用過智慧微課的教師，發現智慧微課在功能設計上基本達到了預期的設計目標，且極大地減輕了教師的微課制作工作量，但同時也發現了一些新問題，可為后續產品迭代和改進提供寶貴的實踐經驗，具體情況如下：

①實現了一鍵錄制式的結構化微課資源自動生成功能。作為一款基于人工智能的微課自動生成系統，智慧微課的設計初衷是做到不依靠人工、全自動地分割視頻并生成微課錄像及其圖文混合文檔。使用智慧微課的一鍵錄制功能，可以通過語義理解與分析，進行文本的結構化處理，實現知識點的自動歸類與關聯；并且，通過與演示課件動態同步，學生可以精準定位課堂內容，實現對課件、文本、聲音、重點知識點等課程內容的結構化處理。鑒于大多數學校現有教室環境的信息化建設水平普遍不高，為了順利進行智慧微課的“一鍵式”操作并搭建“輕量化”環境，系統沒有進行教師畫面采集和集成分析。但在訪談過程中，有些受訪教師表示還是希望能夠在微課視頻中集成教師真人畫面。誠然，教師真人畫面是影響師生教學效果的重要因素，但要實現集成真人畫面的功能，就需搭建更先進的智慧微課軟硬件環境——究竟哪一種方式更適合推廣應用，還有待進一步的實踐檢驗。

②語音轉寫準確率和知識點預測準確率較高。系統后臺的統計數據顯示，智慧微課的語音轉寫引擎能夠實現中文轉寫的準確率高達95%，而英文轉寫的準確率也達到了80%，實時轉寫延時不超過500毫秒。此外，智慧微課還能夠實現主要學科知識點的預測功能，且準確率超過75%、召回率超過70%，其預測效果評估如圖4所示。但在調研過程中，也有部分受訪教師反映智慧微課的語音轉寫引擎有點“僵化”，主要表現為教師口語化的“嗯”、“啊”、“是吧”等語氣詞尚不能有效過濾掉，這就需要后續產品進一步提高語音轉寫引擎的語氣詞過濾能力。

圖4 主要學科知識點的預測效果評估

③智慧微課在講授型課程中的應用效果相對較好。微課是以教師講授為主的課程視頻資源，而智慧微課的應用場景集中于講授型課程，這與微課的定位相契合。在講授型課程中，教師聲音占主導且通常比較清晰，生成的智慧微課效果相對理想。但在互動型課程中應用智慧微課時，由于師生聲源變換頻繁，存在收音困難、背景音嘈雜等問題，因此還需要進一步完善智能收音、智能語音技術的研發。

四 結束語

智慧微課是人工智能應用于微課制作的一次有益嘗試。《教育信息化2.0行動計劃》提出要全面形成教育大資源開發利用機制，強調利用人工智能、大數據采集等技術匯聚各類優質教育資源，來實現從“專用資源服務”向“大資源服務”的轉變[9]。利用人工智能技術幫助教師快速生成微課資源，有利于學校乃至區域內“教育大資源”建設目標的實現，從而推動教師的自我發展和學生的個性化學習。雖然目前的智慧微課還存在諸如語氣詞過濾不夠、學科術語轉寫精度有待提升等問題，但它所展現出來的環境搭建輕便、錄制過程簡便、分發使用便捷等優勢，順應了未來“教育大資源”建設的發展趨勢，值得研究者給予更多關注并開展深入研究和實踐。

[1][9]教育部.教育信息化2.0行動計劃[OL].

[2]黃了非,韋軍,郭淑華,等.精品視頻公開課錄播模式分析與比較研究[J].實驗技術與管理,2014,(8):185-187、199.

[3][5]李鑫星,劉春迪,溫皓杰,等.基于語音識別的蔬菜病害視頻語義標注與分割方法[J].農業機械學報,2015,(9):308-313.

[4][6]岳俊芳,陳逸.基于語義技術的微課資源建設初探——以“西方經濟學”課程為例[J].中國遠程教育,2017,(8):51-56、78.

[7]張一川,錢楊義.國內外“微課”資源建設與應用進展[J].遠程教育雜志,2013,(6):26-33.

[8]王以寧.教學媒體理論與實踐[M].北京:高等教育出版社,2007:206-213.

Intelligent Micro-lecture: The Automatic Generation System of Micro-lecture based on Artificial Intelligence

LE Hui-jin1,2HE Sheng3WANG Li-Hong4LIU Jun-Sheng3[Corresponding Author]

Firstly, through the analyses on automatic generation process of micro-lecture supported by artificial intelligent and related technologies, especially considering relevant factors, this paper designed the automatic generation system of micro-lecture based on artificial intelligence, namely intelligent micro-lecture. Subsequently, based on its design goals, the framework of intelligent micro-lecture was constructed, the key technologies adopted by intelligent micro-lecture were analyzed, and further its implementation process was expounded. Finally, three application scenarios of intelligent micro-lecture were introduced through case analysis, and the application effect of intelligent micro-lecture was analyzed. The studies showed that the intelligent micro-lecture could achieve one-click recording, generate structured micro-lecture video and text-graphic combination document. This could not only greatly reduce teachers’ workload of micro-lecture making, but also give students more space for self-regulation. Therefore, the intelligent micro-lecture was a useful attempt to apply artificial intelligence into micro-lecture production.

artificial intelligence; micro-lecture; intelligent micro-lecture; automatic generation system

G40-057

A

1009—8097（2018）11—0005—07

10.3969/j.issn.1009-8097.2018.11.001

本文為國家語委“十三五”重大課題“智能語音及人工智能技術在語言學習中的應用研究”（項目編號：ZDA135-4）、2015年度江西省高校人文社會科學研究項目“社區學習共同體的自組織實現路徑及引導機制研究”（項目編號：SH1512）的階段性研究成果。

樂會進，講師，碩士，研究方向為混合教學、智能教育，郵箱為364021545@qq.com。

2018年8月10日

編輯：小米