基于AR技術的虛實圖書

章輝宇,繆文南,傅凱漩,彭 培

(華南理工大學廣州學院電子信息工程學院,廣東廣州,510800)

基于AR技術的虛實圖書

章輝宇,繆文南,傅凱漩,彭 培

(華南理工大學廣州學院電子信息工程學院,廣東廣州,510800)

虛實圖書是將增強現實技術應用于傳統圖書的一種新型出版物，與各種電子書存在區別。虛實圖書使用的AR技術利用移動終端，借助對真實圖片的識別，在數據庫中獲取虛擬信息，并將虛擬信息疊加于實際圖片，實現虛擬信息對現實的增強。虛實圖書顛覆了傳統的紙質版圖書，在閱讀時不再像傳統讀物只是閱讀紙質書本的內容，還可以看到移動終端上顯示的虛擬的信息，包括視頻、3D模型等等，給讀者帶來全新的閱讀體驗。

增強現實；AR；虛實圖書；移動終端；閱讀

0 引 言

圖書是人類用來紀錄一切成就的主要工具，也是人類交融感情，取得知識，傳承經驗的重要媒介，現如今人類獲取知識的主要途徑依然是圖書，但人們生活節奏加快，越來越多的人很難被傳統的圖書所吸引，慢慢的閱讀量也下降，隨著紙質圖書的閱讀量逐年下降。

增強現實技術因其獨特的魅力，近幾年在各個行業都能見其身影，虛實圖書正是利用AR技術與傳統的圖書相結合，在使用傳統圖書書香韻味的同時能感受科技帶來的樂趣，而且可以做到讀者與圖書的互動，通過這種方式提高了閱讀的趣味性，也更容易吸引更多的人參與閱讀，這也是未來閱讀的趨勢。

1 增強現實

增強現實（AR）,是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，它通過計算機等技術，將虛擬的信息實時地疊加到真實世界，使兩者在同一個平面或空間同時存在。通過移動設備等展示出來，使人眼看到虛擬信息與真實信息疊加后的結果。故整個系統具有虛實結合、實時交互等特點。

增強現實技術是近年來各學術研究組織的研究熱點之一。正是由于增強現實在虛擬世界與真實世界之間的溝壑上架起了一座橋梁。因此，增強現實的應用潛力是相當巨大，其使用范圍極為廣泛，不但我們平常的生活學習使用，而且很多軍事方面，如尖端武器、飛行器的研制與開發、虛擬訓練等等很多場合可以使用AR技術；又由于其具有能夠對真實環境進行增強現實輸出的特性，在醫療方面，實用性則更強，可以成為醫生護士們的得力助手。

2 增強現實技術在圖書中的應用

在圖書中無縫地接入AR技術主要體現在閱讀方式的新穎有趣，同時可以為圖書提供更多的補充信息，加入視頻等虛擬信息便于讀者更好的理解書中文字難以表達的部分。

虛實圖書閱讀過程大概分為兩種：一種是和閱讀傳統的書籍一樣，閱讀圖書上文字及欣賞圖畫；另一種則是在閱讀的同時配合移動終端，打開手機APP掃描圖書上的圖片，通過手機看到虛擬與現實結合后的結果，所看到的內容固然更加豐富有趣。這二種閱讀方式如圖1所示：

圖1 兩種閱讀方式流程

軟件的開發是基于一個軟件開發工具包Metaio SDK，我們將增強畫冊里面的識別圖、模型和視頻等資源存放在APP本地中，利用unity和metaio SDK編輯多個AR場景（即掃描到識別圖后出現的畫面），將對應的AR場景與相應的識別圖綁定在一起。當攝像頭檢測到識別圖后，即可出現對應的AR場景。利用metaio SDK可對識別圖進行檢測。識別圖的檢測分為幾個階段（檢測中，檢測成功，檢測失敗），故在此基礎上可以增加互動等更多有趣的東西。

在使用該SDK的過程中比較重要的MetaioSDKCallbackHandler()回調函數就是用來檢測例如動畫、視頻播放或者圖片識別等狀態，以便編程實現更多特色功能，亦可用來做簡單的手游。

圖2 系統運行流程

圖3 項目開發流程圖

3 項目開發流程

本節以筆者開發的AR虛實圖書—“昨日重現”為案例，展示AR虛實圖書開發的主要流程。此次AR虛實圖書開發的過程與一般的游戲軟件系統開發類似，AR虛實圖書開發需要經歷需求分析、設計、開發和調試發布等幾個階段，如圖3所示：

3.1 需求分析

當今信息爆炸時代，科技發展十分迅速，傳統的閱讀方式已然不夠適用于現今的社會，太多人覺得當前閱讀方式太過于枯燥無味，人們的閱讀量幾近直線下降。

縱觀國內消費者市場，與AR結合的書籍嚴重稀缺，以回憶童年的書籍更是少數，正好這種結合更能引人入勝；所以無論是從未來發展趨勢還是現今市場需求，這個項目都是很有必要的，是很實用的。

3.2 設計

AR虛實圖書的總體架構如圖4所示，系統的實體部分包括傳統閱讀使用的書籍。系統通過攝像頭將真實環境的影像捕獲并輸入到計算機主機，虛實圖書配套的軟件從每一幀的視頻輸入流中掃描內置到軟件的真實圖片，并在掃描識別成功的情況下追蹤識別圖，最后，系統將虛擬信息疊加到每一幀輸出流中以識別圖標定的空間的相對位置，在顯示器上呈現虛實疊加后的影像

圖4 AR虛實圖書系統架構

該系統以“昨日重現”圖冊作為引導工具，如同一本實體素材。在普通書本的基礎上，使用攝像頭掃描圖冊相應的圖片，可在顯示器上觀察到相應的效果，如圖5所示。

設計階段需要對數字和實體資源、操控交互和互動程序等方面的設計。實體資源書本設計與普通書籍類似，設計內容要求充實，符合主題；數字資源包括：3D模型、app界面、視頻、游戲、交互等的設計，力求界面、模型等簡約美觀，給人賞心悅目，交互方面新穎有趣。

3.3 開發

本系統主要采用metaio公司提供的免費SDK、Unity、Eclipse、3D MAX、Corel VideoStudio等作為軟件開發工具，以photoshop作為實體圖書開發主要工具，在盡可能節約成本的前提下，提高整體質量。Photoshop是大家比較常見的圖片處理的軟件，主要是用來對圖書進行排版及必要的圖片處理的；metaio SDK是我們本次開發的關鍵，所有實現的AR效果都是基于metaio SDK來實現的，metaio是德國的一家專注于增強現實的公司，其中最為受技術人員歡迎的還要數metaio SDK，當然還包括creator等應用，其公司主要目標就是將增強現實簡單化，實現讓普通人都能成為AR開發者。程序開發主要是將metaio SDK導入到unity軟件中，利用metaio SDK中集成好的腳本文件、回調函數等進行開發。

該系統采用了照片標識跟蹤算法，但在使用該算法前需加載算法的配置文件，配置文件中包含圖像跟蹤質量，閾值偏移量等參數。主控程序的活動圖如圖6所示。

圖5 讀者閱讀圖冊方式

圖6 系統主程序流程圖

圖7 虛實圖書閱讀效果圖

4 AR虛實圖書的使用

AR虛實圖書的使用分兩種閱讀形式，一種傳統閱讀方式，另一種是虛實結合，手機掃描圖冊相應的圖片，獲取更多隱藏在圖片背后的信息，其中的視頻、3D模型及游戲等內容，如圖7所示。

5 結語

虛實圖書的魅力在于使用了AR技術顛覆了傳統圖書閱讀方式，開創了一個全新的閱讀方式，無形當中為傳統圖書增添更多生動有趣的內容。虛實圖書給讀者帶來一種全新的閱讀體驗，這將是未來閱讀的趨勢，未來閱讀不再枯燥，將會有越來越多的人喜歡閱讀。

[1]程志,金義富.智能手機增強現實系統的架構及教育應用研究[J].中國電化教育. 2012(08)

[2]徐媛.增強現實技術的教學應用研究[J].中國遠程教育. 2007(10)

[3]汪存友,程彤.增強現實教育應用產品研究概述[J].現代教育技術. 2016(05)

[4]齊立森,皮宗輝,徐苗,王樹國.增強現實的技術類型與教育應用[J].現代教育技術. 2014(11)

[5]杜清運,劉濤.戶外增強現實地理信息系統原型設計與實現[J].武漢大學學報(信息科學版). 2007(11)[6] 常勇,施闖.

[6]劉遹菡,湛青,許潔.基于增強現實技術的手機應用研究[J].湘潭大學學報(哲學社會科學版).2015(02)

[7]李然,隋毅,孫仁誠,王紹波.手持設備增強現實開發平臺研究及應用[J]. 計算機仿真. 2010(01)

Based on AR technology deficiency of books

Zhang Huiyu,Miao Wennan,Fu Kaixuan,Peng Pei
( Guangzhou college,South China University of Technology Guangzhou,510800,china)

The actual situation of books is to enhance the practical technology used in traditional books of a new type of publication,and a variety of electronic books there are different.AR technology using the actual books using the mobile terminal,to identify the true picture by acquiring virtual information in the database,and the virtual information superimposed on the actual picture,the realization of the virtual information enhancement of reality.The book is the subversion of the traditional print books,reading books is not like traditional reading paper books,also can see the virtual information displayed on the mobile terminal, including video,3D model and so on,to bring readers a new reading experience.

augmented reality;AR;virtual reality books;mobile terminal;reading

章輝宇（1994-），男，本科生，研究方向：圖像識別技術

繆文南（1985-），男，實驗師，碩士，研究方向：嵌入式技術

2016年廣東省大學生科技創新培育專項資金項目（重點項目pdjh2016a0961）