基于MAR的工程制圖助學系統研究

侯守明，連盼盼，徐文鵬，陳柯瑤

?

基于MAR的工程制圖助學系統研究

侯守明1,2，連盼盼1，徐文鵬1，陳柯瑤1

(1. 河南理工大學計算機科學與技術學院，河南 焦作 454100；2. 鶴壁汽車工程職業學院，河南 鶴壁 458030)

在工程制圖課程中根據二維圖紙來構思三維形狀，對于初學者來說有相當大的難度。針對傳統基于PC端工程制圖的多媒體輔助教學方式在交互性和易用性上的不足，研究基于移動增強現實的工程制圖助學系統。采用無標記識別技術實現工程圖樣與三維數字化模型的自然交互，并在此基礎上開發了一個功能齊全的助學APP，使用者可以通過手機攝像頭掃描識別二維工程圖，在屏幕上疊加顯示三維模型以及其他相關教學資源，用戶可實時完成模型縮放、旋轉等操作，并且可對復雜的工程裝配體模型進行拆卸和組裝。實驗結果表明，該系統不僅便于學生自主學習，而且在一定程度上改善了工程制圖課程的教學環境。

增強現實；工程制圖；無標記識別；助學系統

工程制圖是工科學生必修的一門專業基礎課，旨在培養學生繪制和閱讀工程圖樣的能力。在學習過程中，學生需要根據投影原理構思二維圖表示零部件的三維形狀，完整繪制出零部件的三維模型圖和三視圖，這對學生的自主學習能力提出了很高的要求。盡管現有的教學模式采用多媒體、虛擬實驗室和三維CAD軟件等作為教學手段極大地提高了教學效果，但主要的展示環境依賴PC終端，在易用性和交互方式上仍有很大的改善空間。近幾年隨著軟硬件制造水平的不斷提高，尤其是智能手機的爆發式增長，增強現實(augmented reality，AR)再次成為人們的研究熱點。移動增強現實(mobile augmented reality，MAR)便是將AR技術應用到智能手機和IPAD上的新階段產物，近年來也可以看到MAR在教育、維修、工程、軍事、娛樂、旅游、機械等領域上的諸多應用[1-3]。

MAR技術的出現也為工程制圖課程的教學提供了一種全新的教學手段和方法。CAMBA等[4]研究了AR的應用平臺，通過對桌面應用、可移動設備應用和3D瀏覽器的調查分析，認為通過AR技術結合工程制圖有利于提高學生的學習興趣，并結合實際研究實現了一種基于標記的AR應用，分別在桌面式和移動平板上進行可行性實驗，得到了廣大師生的認可，確立了工程制圖與AR結合的一種研究趨勢。FIGUEIREDO等[5]提出基于AR的全息投影繪圖方式，幫助學生觀察和學習2D視圖和3D模型，實現一個可視化與交互式的全息原型，降低機械工程師學習過程的感知三維的難度。原型以QR碼來觸發模型的顯示，接著使用Leap Motion硬件設施來感知手勢動作，從而進行對模型的簡單操作。該原型系統需要特定的一組硬件設備，采用的是有標記識別的方法，并不是很方便學生的自主學習。OH等[6]提出基于AR技術的船舶設計圖紙可視化系統，通過對船舶圖紙的識別展現三維數字化船舶的模型，幫助經理人與工程師們進行溝通。對于不懂行的經理人和懂行的工程師很難單從一組抽象的二維圖紙來弄清需求和實際理念，也不可能等船舶構造好了再進行更改，所以這種船舶圖紙的可視化可以有效地降低成本、節約時間。但是由于船舶等大型模型內部結構的復雜性，其并不能清晰、精確的展現出模型的細節部分。邱龍輝[7]提出基于Android平臺的工程圖學助教助學系統，結合一種3D瀏覽器的核心功能模塊，實現三維模型在手機端的應用，方便學生對工程制圖的學習，局限在于人與手機的簡單交互。現有相關研究主要是基于有標記識別[8-9]的AR技術，對于出現在不同教材或者習題集中的同一張圖片，需要重復進行標記編入操作，這樣不僅加大了數據管理的工作量，也對工程制圖三維可視化的擴展產生不少麻煩，同時有標記識別也不利于自然交互。

本文在研究AR的無標記識別技術基礎上，分析并構建了工程制圖助學系統的體系結構，提出系統實現的關鍵技術，基于Unity 3D開發應用于Android平臺的工程制圖助學APP。該系統可以讓使用者借助智能手機實現工程制圖中二維圖紙與三維模型的直觀交互，隨時隨地輔助學生自主學習，增添學習過程中的趣味性，進一步改善了工程制圖課程的教學環境。

1 移動增強現實技術

AR通過對現實世界的場景進行分析，根據場景定位對現實場景添加一些輔助信息來達到一種感官上的增強效果，實現對真實世界的增強表現。AR系統主要由三維注冊、虛實結合和實時交互3大模塊組成。AR憑借其在智能終端上的便攜性和普適性特點備受關注，如何結合智能手機開發出實用性強的應用是當下AR研究方向之一。

1.1 無標記識別技術

三維注冊一直是AR技術研究的重點，而無標記識別和有標記識別是基于視覺的三維注冊的兩種方式。無標記識別以直觀的真實圖像為識別對象，其采用計算機視覺中圖像處理的相關算法對攝像頭采集的一幀圖像進行特征點提取等操作，不需要分析圖像再生成一張輔助圖像識別的標記圖。特征點是圖像處理后的一種獨特的數據信息，可以在特定情況下表述一幅圖像和其他圖像之間的區別。無標記識別技術的特征提取算法常用的有SIFT、SURF和ORB(oriented FAST and rotated BRIEF)[10]等算法，本文采用具有更好的運算速度和響應效率的ORB算法來實現工程圖樣的無標記識別。

ORB算法是對FAST特征點和BREIF特征描述子的一種結合和改進。FAST算法主要思想是在設定半徑為3個像素值大小的Bresenham圓中進行像素點的灰度比較，根據中心灰度值和圓周灰度值判斷該點是否是關鍵點，其判斷關鍵點的公式為

其中，t為設定的閾值；為中心灰度值；為圓周灰度值。在圖1中，有連續9個以上像素點的灰度值小于中心點P的灰度值，P便作為圖的一個特征點被提取出坐標位置。單一的特征點坐標位置信息量太少，不足以區分圖像特征點之間的關聯程度，所以增加特征點的表述信息可以加強其魯棒性。魯棒性是指特征點不受圖像大小、拍攝角度及模糊程度影響。

使用()代表灰度值，特征點的位的二進制串可表述為

通過BRIEF描述子可以將特征點描述為一組二進制字串，最終將圖像用一組數值串的數集進行表示。二進制字串的維度常用的有128位、256位、512位二進制數值，選擇不同的維值則會帶來不同的計算消耗，在計算速度、識別率等方面也會有不同的效果。圖2使用256位二進制編碼表述特征點。在工程制圖AR APP開發中使用BRIEF描述子的漢明距離判斷特征點是否匹配，在進行特征匹配過程根據二進制數值的漢明距離比較得出最優匹配點對。

圖2 特征點描述子

1.2 增強現實系統體系結構

無標記識別是AR系統實現的關鍵環節之一，結合其他關鍵技術才能構成一個完整的MAR系統。首先，通過手機的攝像頭來獲取現實世界的一張圖片，開始對圖片進行灰度化預處理，接著使用ORB等特征點檢測算子提取圖片的特征點[10]。隨后根據提取的特征點計算得到一組多維向量由此作為特征點的描述符，根據特征點描述符和數據庫中的不同圖樣的匹配符數據信息進行匹配與優化，完成系統的數據分析過程。接著，根據判斷的結果進行下一步處理，如果匹配成功，結合精確的特征點信息和攝像機標定處理計算出單應性矩陣，如果判斷信息失敗，重新調用攝像頭進行前幾步的匹配過程。再接著由匹配環節確定的圖像信息調用圖樣的三維模型，確定在數據庫中描述符標簽和模型標簽一對一關聯著的圖樣和模型數據信息。最后三維模型通過單應性矩陣轉換出在屏幕上的準確位置信息，虛實融合地把增強信息顯示在手機屏幕上。根據上述原理設計的工程制圖MAR系統體系結構如圖3所示。該系統由信息處理模塊、數據庫管理模塊、三維顯示模塊3部分組成。

2 工程制圖MAR助學系統開發

在工程制圖課中，學生空間幾何問題的圖解能力、空間邏輯思維能力和形象思維能力的培養，是通過一系列的由簡到繁的二維圖樣與三維模型之間的不斷轉換練習而獲得的。該課程現有的學習方法主要通過教師課堂多媒體課件PPT展示、課下學生完成習題集作業來進行。課程教學方面，目前網絡視頻公開課、精品資源庫建設、微課課件等方式可以進一步提高該課程學習效果。在虛擬現實和工程制圖相結合的課程改革方面，國內也有部分高校開展了工程制圖虛擬實驗室的建設以及AR技術的應用案例研究，但由于成本問題以及易用性的局限，應用推廣的力度顯然不夠。學生的讀圖和繪圖技能依然是通過做習題反復練習來得到提高的，這個過程略顯無趣和單調，也缺乏足夠的吸引力來引導學生自發學習。在移動互聯網技術大行其道的今天，手機和平板電腦已經成為學生的最愛。開發一個基于移動端的工程制圖助學APP，給學生的學習過程必定會帶來很大便利和樂趣。工程制圖MAR助學系統模型如圖4所示。

圖3 工程制圖MAR系統體系結構

圖4 工程制圖助學系統模型

從系統模型中可以很清楚地看到AR的實際工作情況，其工作載體是智能手機。系統通過攝像頭來交互獲取現實場景中的一幀畫面，經過分析處理后，智能手機調用已經建立好對應關系的三維模型并準確顯示在屏幕中，這樣能夠提供非常直觀的交互性學習。

2.1 關鍵技術實現

根據上述系統體系結構，工程制圖MAR系統實現的關鍵技術包括：

(1) 工程圖樣特征提取。在計算機圖像處理中，特征點作為一幅圖片的身份信息可區別圖像與圖像之間的相同、相似、不同關系。雖然工程圖樣的圖紙多是由規則的黑色線條來描述，但依然可以對圖紙的特征點信息進行檢測并存儲，這樣可以把所有線的數據信息統一抽象為圖像像素數據信息，手機根據存儲的一些多維的特征點數據，通過特征點的坐標位置和特征向量的數據信息，可以很快且方便地建立設計圖紙和對應的工程圖樣之間的關聯關系。

(2) 工程圖樣的匹配檢測。通過ORB算法可以提取出工程圖樣圖像的特征點信息，進而對特征點匹配情況采取優化措施。匹配時使用特征點的描述符，其作用之一可以作為特征點相似程度的度量，使用蠻力匹配或比率測試的k近鄰分類(k-nearest neighbor，KNN)匹配算法[11]可以有效地檢測出匹配的特征點對，繼而使用隨機采樣一致性方法(random sample consensus，RANSAC)[12]結合單應性估計過程對特征點對進行檢測并刪除離群點對，最終保留匹配過程中得到的一些精準特征點存儲到一組特征點集里。

(3) 三維模型的姿態估計。計算攝像機的內外參數可以根據先驗方式獲取，如張正友棋盤標定法等，根據精準特征點計算出圖像之間對應關系得到精細的單應性矩陣，從而計算出待檢測圖像與攝取圖像之間的旋轉角度、縮放尺度和平移距離，接著根據工程圖樣圖像的頂點坐標確定攝取圖像的最終匹配區域，同時建立起匹配區域和三維模型的繪制區域的三維坐標系。

(4) OpenGL ES可視化支持。確定三維模型在攝像頭攝取圖片的實際坐標后，通過OpenGL ES對模型進行渲染，在屏幕坐標系上繪制出經過透視變換和幾何變換的較為真實的三維模型。

2.2 工程制圖助學APP開發

2.2.1 開發環境與工具

系統使用JDK1.8.0、Android SDK、VS2013、MySQL、Unity 3D、HiAR和Vuforia的SDK等工具進行開發。其中Vuforia和HiAR的SDK都是AR的跨平臺的開發工具。

2.2.2 手機運行環境

測試設備為360手機1505-A02智能手機，CPU為高通驍龍625，運行內存4 G，屏幕分辨率1080×1920，操作系統為Android 6.0.1。

2.2.3 數據采集

(1) 二維圖像采集。系統資源庫中使用的工程圖樣部分來源于課程教學使用的電子教材和習題集，部分來源于基于三維CAD軟件構建的三維關聯模型自動生成的對應的二維工程圖。采集到的二維圖像保存格式為.jpg文件，供用戶瀏覽和查詢資源庫使用。

(2) 三維數字模型。系統用到的一些零件模型、截交體模型、相貫體模型、裝配組合體三維模型采用SolidWorks和其他CAD軟件繪制。這些模型經轉換后可以保存為3D Studio的.3DS格式。由于.3DS格式不支持unity的材質和動畫，可通過3D MAX軟件轉換成.FBX格式的模型，方便作圖過程的動畫展示。

2.2.4 系統主要功能

工程制圖助學APP主要幫助提高學生的學習興趣，調動學生的主觀能動性，結合AR技術設計了APP的4個主要功能，如圖5所示。

(1) 工程制圖電子習題冊。將采集到的工程制圖教材和習題集中的典型實例的二維工程圖樣進行匯總并分類，方便用戶查閱和瀏覽。習題經典類型是根據三視圖中的某兩個視圖想象立體模型并補充繪制第三視圖，或者根據給定的不同類型的軸測立體圖來繪制三視圖。此外，系統還提供了按照現行教材或習題集組織實例的方式呈現題庫的主要內容，便于用戶查找和使用。

圖5 工程制圖助學系統功能

(2) 三維模型虛擬瀏覽。系統提供三維模型資源庫供用戶觀摩瀏覽。用戶單擊案例庫中二維圖片即可在手機屏幕呈現對應模型三維立體展示，用戶可360°旋轉、縮放查看模型細節信息。雙擊圖像可最大化進入虛擬瀏覽界面，點擊該界面上對應按鈕用戶可查看直接關聯的習題參考答案和作圖過程動畫或者圖片，進一步可以通過剖面查看模型內部結構，通過比例來測量模型的尺寸等信息。

(3) AR掃描助學。通過手機攝像頭掃描紙質教材或者習題集上對應的圖樣，能夠直接在屏幕上疊加顯示其所對應的三維模型，實現人機自然交互和手勢觸屏交互。對于一些結構復雜的組合或者裝配模型，系統使用虛擬按鈕實現對模型的拆解和組裝，幫助學生深刻理解形成過程和內部結構。

(4) 視頻和電子學習資源。基于大數據技術使用開源的網絡爬蟲工具自動獲取互聯網上工程制圖相關的學習資源和視頻公開課資源，集中展現在系統中，供學習者使用，節約學生查閱資料和文獻檢索的時間，提高學習效率。

3 實驗結果

在上述研究的基礎上，開發了基于Android平臺的工程制圖MAR助學系統，如圖6所示。

使用工程圖紙作為教學資源，在不使用APP時可以讓學生在想象中思考三維模型的構造，完成工程學科的基礎訓練；當學生遇到問題時，可以應用該APP的AR掃描功能直接調用立體模型進行交互和疊加顯示文本或者視頻信息，簡單、方便、快捷，增添學習趣味性、多元性。例如：對于一些裝配組合體，同樣先進行工程圖樣識別，之后通過手指交互觸屏控制拆卸和組裝的虛擬按鈕，就可以動態展示三維模型的拆卸和組裝過程，如圖7所示。

圖6 工程制圖MAR助學APP效果圖

圖7 工程制圖裝配體拆卸和組裝實例

該系統目前已經建立了包含簡單零件組、截交體、相貫體、裝配組合體等在內的100多組二維圖片及對應的模型庫，展示效果穩定，內容較為豐富。該系統已在第一作者所在單位2016級計算機專業工程制圖課程的159名學生和部分專業的制圖課程教師中進行了測試使用。經調查問卷分析和訪談交流，參加使用和測試的5名教師以及90%的學生認為將AR技術應用于工程制圖課程教學，不僅使教學過程更加方便，而且使學習過程也更加有趣，能夠顯著改善和提高工程制圖課程的學習效果。

4 結 論

在工程制圖的學習過程中，引入MAR技術，可以讓學生從被動學習的接受方轉變成主動學習的探索方，主觀能動地通過觀察和操作來對二維圖紙進行理解，同時提供更加豐富、更加直觀的三維虛擬模型信息給學習者，幫助學生更輕松地學習，提高學生學習的興趣。基于MAR的工程制圖助學系統在一定程度上改善了教學方式，使學生從中受益。進一步的研究工作包括：①針對工程制圖中圖樣的特點優化識別算法，提高系統響應速度；②不斷完善和豐富AR的工程制圖資源庫；③根據教師和學生使用的反饋意見，進一步優化系統功能，加快系統的應用和推廣。

[1] HO?EJ?í P. Augmented reality system for virtual training of parts assembly [J]. Procedia Engineering, 2015, 100: 699-706.

[2] DONATO M D, FIORENTINO M, UVA A E, et al. Text legibility for projected Augmented Reality on industrial workbenches [J]. Computers in Industry, 2015, 70(C): 70-78.

[3] WU H K, LEE W Y, CHANG H Y, et al. Current status, opportunities and challenges of augmented reality in education [J]. Computers & Education, 2013, 62(2): 41-49.

[4] CAMBA J, CONTERO M, SALVADORHERANZ G. Desktop vs. mobile: a comparative study of augmented reality systems for engineering visualizations in education [C]//2014 IEEE Frontiers in Education Conference Proceedings. New York: IEEE Press, 2014: 1-8.

[5] FIGUEIREDO M, SOUSA L, CARDOSO P J S, et al. Learning technical drawing with augmented reality and holograms [EP/OL]. [2017-05-09]. https://www.researchgate.net/publication/270286194_Learning_Technical_Drawing_with_Augmented_Reality_and_Holograms.

[6] OH Y J, PARK K W, KIM E K. Efficient 3D design drawing visualization based on mobile augmented reality [C]//17thInternational Conference on Advanced Communication Technology. New York: IEEE Press, 2015: 568-573.

[7] 邱龍輝. 基于Android 平臺的工程圖學助教助學系統研究與實現[J]. 圖學學報, 2016, 37(6): 831.

[8] CHEN H, FENG K P, MO C L, et al. Application of augmented reality in engineering graphics education [C]// 2011 IEEE International Symposium on IT in Medicine and Education. New York: IEEE Press, 2011: 362-365.

[9] VEIDE Z, STROZHEVA V, DOBELIS M. Application of augmented reality for teaching descriptive geometry and engineering graphics course to first-year students [EP/OL]. [2017-03-12]. http://pdfs.semanticscholar.org/1f6f/eedc83b5 b9e57827da2e71fc5ee4083a07d4.pdf

[10] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF [C]//ICCV′11 Proceedings of the 2011 International Conference on Computer Vision. Washington DC: IEEE Computer Society, 2011: 2564-2571.

[11] HASTIE T, TIBSHIRANI R. Discriminant adaptive nearest neighbor classification [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 18(6): 607-616.

[12] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(06): 381-395.

The Assistant Learning System of Engineering Drawing Based on Mobile Augmented Reality

HOU Shouming1,2, LIAN Panpan1, XU Wenpeng1, CHEN Keyao1

(1. School of Computer Science and Technology, Henan Polytechnic University, Jiaozuo Henan 454100, China; 2. Hebi Automotive Engineering Professional College, Hebi Henan 458030, China)

In the course of engineering drawing, it is a great challenge for beginners to conceive three-dimensional shapes on two-dimensional drawings. This paper analyzes the shortages of traditional PC-based multimedia-assisted teaching methods in interactivity and convenience, and proposes an engineering drawing system based on mobile augmented reality. This system adopts the unmarked recognition technology to realize the natural interaction between engineering drawings and three-dimensional digital models, on the basis of which, an assistent learning application with multifunction has been developed. Users can use the cellphone camera to scan and identify the two-dimensional engineering drawings and overlapping display of three-dimensional models, and other teaching resources are also supported on the phone. Users can also zoom in or rotate the models, and disassemble and assemble those complicated assembly models. The result shows that the system is not only convenient for students’ autonomous learning, but also helpful in improving the teaching environment of engineering drawing courses.

augmented reality; engineering drawing; unmarked recognition; assistant learning system

TP 391

10.11996/JG.j.2095-302X.2018030587

A

2095-302X(2018)03-0587-07

2017-06-15；

2017-07-17

河南省科技攻關計劃項目(162102310090，172102210273)；河南省教育教學改革項目(2014SJGLX478)

侯守明(1972-)，男，河南博愛人，教授，博士。主要研究方向為CAD/CG、虛擬現實、產品生命周期管理。E-mail：housm@163.com