基于AR的實驗教學系統

劉藝璇

（唐山市第二中學，河北唐山，130200）

0 引言

隨著我國社會主義現代化的不斷推進，大部分中小學教學設施配備基本完善。但由于人們對教育的要求不再只是單純學習書本知識，更多的是追求不斷提高實踐與掌握的能力。現階段我國正處于并將長期處于社會主義初級階段，人口基數大，即使在普及了九年義務教育的情況下，大多數地區只能滿足學生上理論課的需求。教育資源和教學場地并不能滿足大部分學生的實驗需要，且實驗的安全性和可操作性也值得考慮。此外五大創新理念以及可持續發展戰略要求我們不能為了教學而忽視過多實驗造成的資源浪費。這就造成了一定的矛盾和分歧。而隨著高端技術的集成，VR以及AR技術在游戲中的應用已經十分廣泛且比較成熟，更重要的是在文物保護領域已經做出了突出貢獻[1]。例如坐落在河西走廊西端，以精美的壁畫和塑像聞名于世的莫高窟。盡管一代又一代工匠們縱畢生之力，保護敦煌文化能夠綿延傳承，但游客們在觀賞壁畫時[2]，僅僅呼吸就會對壁畫造成影響，其他種種因素更是會對壁畫造成不可逆的損害。對外開放的洞窟屈指可數。而運用AR、VR等技術再現敦煌文化，經數字化復原，鮮艷的敦煌壁畫重新呈現在世人面前，不僅打破了時間和空間限制，拉近了觀眾和文化遺產的距離。更使這些珍貴的國寶得以完好的保留。無獨有偶，北京故宮博物院一直緊隨科技潮流，不久之前正式在互聯網上推出了北京故宮博物院VR全景[3-5]。此舉不僅僅是為符合“互聯網+”的大趨勢，同時也是希望借助北京故宮博物院VR全景讓更多無法親臨的人，可以在互聯網上身臨其境般的欣賞故宮博物院的壯觀景象和深厚的歷史底蘊。由此觀之，將虛擬現實技術應用于實驗教學領域具有較大的可行性[6]。

視覺同時定位與建圖（Simultaneous localization and mapping， SLAM）是一套從機器人領域發展出來的算法，后來被廣泛應用于自動駕駛、機器人、增強現實和虛擬現實等各個領域。常見的視覺SLAM所使用的傳感器有單目相機，雙目相機和深度相機[7,8]。對于單目相機而言，由于單個坐標所對應的是一條射線，單目很難去確定物體的確切位置[9]。相比較而言，雙目相機可以通過兩個固定的相機可以恢復出比較準確的深度信息，但是會存在計算量比較大的問題。而深度相機可以通過物理的方式測出比較準確的深度信息，所以整體算法的速度比較快，得到的深度信息也準確，但是在面臨比較空曠的場景時會出現大量的“空洞”。目前，三種方案都有著廣泛的應用[10]。此外，還有結合多種傳感器的SLAM算法，可以顯著提高SLAM算法的穩定性[11]。

本文在深入分析目前實踐教學和SLAM技術的基礎上，設計了一款可以用于虛擬實驗教學的AR系統。該系統可以在節約教師資源等各種教學資源的基礎上，使學生能夠身臨其境地感受到實驗的魅力。

1 SLAM技術

圖1 視覺SLAM技術示意圖

如圖1所示，是視覺SLAM整體技術的示意圖。SLAM作為一項可以同時圖片恢復相機運動軌跡和周圍環境三維結構的技術可以看做是相機拍照的一個逆過程。不同于人可以識別出兩幅圖片中相同的內容，計算機中以矩陣的形式存放圖片，所以計算機無法直接識別出圖片。在SLAM算法中。需要有相機不停地采集周圍環境中的信息，如圖片等。為了計算相鄰兩幀圖片之間的相對運動關系，需要識別出兩幀圖片中共同出現過的位置。首先對單幅圖像進行局部特征點的提取，目的是提取到圖片中有代表性且穩定的局部特征點，所謂“特征點”，通俗來說就是在同一場景中采集的多幅圖片重復出現的具有突出特征的部分。即在不同的圖片中，檢測圖像的局部特征，找到同一物體獨一無二的、比較明顯的、區分度較高的一個點，例如邊緣、角點等。這一類算法有FAST角點提取算法等。特征點檢測完成之后，得到的特征點只有在圖片中的位置信息，無法對不同的特征點進行對比。此時需要利用以特征點為中心的區域信息，并充分利用該區域的信息，如灰度值直方圖等，并生成一個高緯度的描述符。另外，通過描述符可以消除視角的變化帶來圖像的尺度和方向的變化，能夠更好的在圖像間匹配。描述符需要對特征點及其周圍的像素點進行計算。在得到兩幅相鄰圖像所有的局部描述符之后，需要對兩幅圖片的描述符進行匹配。然后對幾幅圖片的像素點進行匹配。最簡單的方法是計算某一個描述符與其他所有描述符之間的距離，然后將得到的距離進行排序，取距離最近的一個作為匹配點。因為這種辦法較簡單，其結果也是準確度相對較低，這時需要一些機制來將錯誤的匹配減小到最低。通常兩幅照片匹配之后距離應該較小，剩余像素點之間距離較大。當計算機沒有匹配到相應的點時，所計算出的對應點距離應該都超出誤差范圍。若取另一個相似像素點，計算后發現與最近距離像素點的值相近，則可認為匹配正確；若計算結果相差較大，則是一個錯誤的匹配。此外，還可通過交叉匹配來提高準確率。把第一張圖對應第二張圖片的像素點記錄，再用第二張圖片的像素點對應第一張圖片。若兩張圖片對應的像素點是相同的，則可認為對應正確。這樣就可大大提高匹配的準確性。

在得到匹配的結果之后，可以通過匹配的結果計算兩幅圖像相對的運動關系。由于匹配的結果難免存在誤差，一般都會在隨機抽樣一致性（Random Sample Consensus，RANSAC）框架下進行相對運動關系的計算。完成上述的步驟已經得到一個比較粗糙的相對運動關系。通過不斷計算相鄰圖像之間的運動關系就可以得到相機的運動軌跡。由于計算的結果不可能完全準確，因此在計算到當前圖像的運動狀態之后，可以取當前圖像周圍的圖像進行運動關系進行一次局部的優化。在系統運行一段時間之后，可以進行一次全局的優化過程。

除此之外，一套完整的SLAM算法還需要對系統的累計誤差進行修正，通常都采用回環檢測算法，這一部分在本文中將不再贅述。

2 設計方案

本文將以SLAM技術為核心進行虛擬實驗教學系統理論上的設計。基于AR的實驗課教學系統技術路線示意圖如圖2所示。首先需要建立實驗過程中需要用到的實驗器材的三維模型。比如化學實驗中的：試管，燒杯以及各種化學藥品等；物理實驗中的電阻，開關，燈泡等；以及實驗過程中可能出現的實驗現象，比如“氣泡”，“明亮的火焰”等各種三維模型。在實際使用的過程中需要對穿戴式設備的運動路徑進行跟蹤，由于單純的視覺SLAM存在計算量大，運行過程不穩定的問題。因此可以采用可穿戴式設備中的慣性測量單元（Inertial measurement unit， IMU）和單目相機結合的SLAM算法。在設備在運動的過程中，相鄰幀之間的相對運動關系可以通過IMU進行計算，并結合視覺數據進行優化。而在設備重定位或者在累積誤差過大需要修正累計誤差進行回環檢測時，可以使用純視覺的方案進行修正。在得到設備的運動軌跡之后，將運動軌跡輸入到顯示設備中，并將實際的運動軌跡作用到虛擬的模型中從而使虛擬的物體顯示出相應的運動。此外，使用者可以通過AR設備向真實的環境中添加需要使用到的實驗器材，物品等，整套系統可以內置一個實驗的仿真系統，可以通過仿真的方式將實驗的結果真實地呈現在AR設備中。

圖2 基于AR的虛擬實驗教學系統設計

3 總結與展望

本文中針對目前我國的基礎教育中由于場地資源，教師資源以及經濟等各方面限制而無法滿足學生實驗教育的情況，提出了利用目前非常火熱的AR技術進行虛擬實驗教學系統。本文中首先對同時定位與建圖技術進行了詳細和深入地分析，分析了目前主流的各種視覺SLAM的優缺點。此外，對基于增強現實的虛擬實驗教學系統進行了設計，考慮到純視覺的SLAM在使用過程中無法滿足穩定性、實時性以及功耗等各個方面的需求，所以采用了慣性測量單元和視覺傳感器結合的算法。新提出的系統在理論上可以解決現在實驗環境受限的問題，并且可以克服傳統實驗過程中存在的安全隱患，可以極大地提高資源利用效率。

但是目前該系統還存在一下的問題：

（1）由于采用了局部描述符，所以在光照變化太大的環境中，工作可能會不夠穩定。

（2）目前的系統無法捕捉到環境中的語義信息。

上述的問題可以通過目前比較主流的深度學習進行解決，這將是后續的工作方向。此外，由于條件的限制，文本中只針對基于AR的實驗教學系統進行了理論上的設計，沒有完成實物的制作，這也是后續工作的重點，在做出實物的基礎上進行調整和系統設計的改進，優化。