基于快速響應碼的移動增強現實系統的研究

孟昭睿，孫金華

（廈門理工學院計算機與信息工程學院，福建 廈門361024）

基于快速響應碼的移動增強現實系統的研究

孟昭睿，孫金華

（廈門理工學院計算機與信息工程學院，福建 廈門361024）

摘要：快速響應碼QR（Quick Response Code）是一種信息隱藏量大且使用廣泛的編碼，通過使用QR碼代替傳統的增強現實標識，并使用基于滅點的空間校正算法實現對QR碼的傾斜校正，提出了一種改進的基于QR碼的移動增強現實系統.在此基礎上使用ARToolKit和ZXing開發了原型系統，驗證了基于QR碼的移動增強現實系統的廣泛前景.

關鍵詞：增強現實；QR碼；滅點；ARToolKit

近年來，增強現實方面的研究已經取得了越來越多的進展.智能手機已經在世界各國成為主流，主流智能手機的硬件性能已經得到了快速提升，包括CPU、分辨率、觸摸屏、照相機、重力感應器和GPS等，文獻［1-4］研究基于智能手機的各種移動增強現實技術，智能手機已經成為了理想的移動增強現實應用的平臺.

增強現實系統可以分為基于標識的增強現實系統和基于自然特征的增強現實系.基于標識的增強現實系統跟蹤注冊效果穩定，但是需要在手機端預存標識模板，不易處理海量標識模板的識別.基于自然特征的跟蹤注冊技術是利用真實環境中的一些自然特征作為跟蹤參照物，在圖像中無需人工標識，但是該技術也需要對識別的圖像進行預處理并儲存預處理信息，計算量很大，精度比較低，實時度相對也比較低.

快速響應(Quick Response，QR)碼是1994年由日本Denso公司研制的一種矩陣二維條碼，目前QR碼已經在各行各業得到了廣泛應用，但是以在QR碼中嵌入文本信息為主，如：URL、電子郵件和電話號碼等. QR碼無需在手機端預制模板，可以編碼107 089個，因此研究基于QR碼的增強現實系統是當前的一個熱點.文獻［6］研究利用光流進行QR碼的跟蹤，這種方法計算量大，在手機端運行速度較慢，目標容易丟失.文獻［7］研究如何利用QR碼的內嵌信息加載虛擬現實的內容元數據和跟蹤注冊元數據.文獻［8］研究的標識碼在QR碼外側加上黑色邊框，跟蹤注冊效果穩定，但是在QR碼傾斜角度較大時，QR碼的識別比較困難.

在普通的QR碼應用中，QR碼必須無傾斜的放在照相機前.但是如果把QR碼作為增強現實的標識，不能要求用戶按照指定的位置和方向放置QR碼，這樣由照相機拍攝的圖片必然會產生傾斜畸變，使QR碼不能被正確識別.迄今，研究者提出了許多不同的圖像傾斜校正方法，比如基于Hough變換、K-最近鄰簇和基于Fourier變換的等，上述方法比較適合校正對于傾斜角度較小或僅在平面內發生旋轉傾斜的圖像，如果圖像的旋轉發生在三維空間內且其投影是不規則四邊形時，上述方法不能對傾斜的圖像進行有效識別.為解決此問題，本文探討QR碼識別流程中加入基于滅點的傾斜畸變校正算法，并將其應用到移動增強現實系統中，取得了很好的效果.

1 QR碼的跟蹤和傾斜校正

系統的設計目標是使用QR碼代替傳統的標識來實現移動增強現實.兩種實現方法的比較見表1.

QR碼普及率高，智能手機用戶對QR碼有非常高的認可度，并且以QR碼作為增強現實的標識碼不需要進行圖像預處理，增強現實的相關信息可以直接從二維碼的內嵌信息中讀出，并從互聯網上下載.基于QR碼的移動增強現實平臺有較好的應用前景.

表1　QR碼和基準點標識比較

1.1系統架構和優勢

系統使用ARToolKit進行QR碼的位置和模式識.通過ARToolKit可以得到QR碼的3個尋像圖形的位置，進一步計算后可以得到QR碼的全部四個頂點位置，隨后使用滅點空間算法對QR碼進行傾斜畸變校正.經過校正后的QR碼可以使用開源QR碼圖像處理庫進行內嵌信息提取，3D模型可以通過QR碼內嵌的網址從互聯網下載，隨后在QR碼上進行增強現實內容的顯示.系統的架構見圖1.

圖1　系統架構

1.2 QR碼的頂點定位

QR碼由包括編碼區域、尋像圖形、定位圖形、分隔符、和校正圖形在內的功能圖形組成（見圖2）.系統使用ARToolKit對QR碼的尋像圖形進行識別，當QR碼的3個尋像圖形同時出現在攝像頭的一幀內時，系統開始定位QR碼的第4個頂點.通過ARToolKit，可以得到3個尋像圖形之間的中心位置以及每個尋像圖形的4個頂點.如果可以決定兩個對角線位置的尋像圖形的外頂點（見圖3(b)中的B1,B2圖中的D1和D4），則可以計算QR碼的第4個頂點，詳細計算過程如下：

（1）識別兩個對角線位置的尋像圖形（圖3中的B和D）.見圖3(a)，3個尋像圖形組成了一個三角形，兩個對角線位置的尋像圖形構成的邊長最長.可以通過計算三角形的邊長來推出尋像圖形A和尋像圖形B、D的位置.

（2）根據對角線尋像圖形B和D的坐標定位QR碼圖形中點P0的坐標.

（3）確定頂點A1的坐標，見圖3(b).在尋像圖形A中，頂點A1到點P0的距離最長.

（4）確定頂點B2和D4的坐標，見圖3(c).首先分別計算尋像圖形B和D的四個頂點到頂點A1的距離，距離最長的點即是頂點B2和D4.

（5）確定頂點B1和D1的坐標.首先分別計算尋像圖形B和D的四個頂點到中點P0的距離，距離最長的點即是頂點B1和D1.

（6）直線B1B2和直線D1D4的交叉點即是QR碼的第4個頂點.

圖2　QR碼的結構圖

圖3　QR碼頂點定位過程

1.3基于滅點的空間校正算法

QR碼的4個頂點位置確定后，必須對QR碼進行傾斜畸變校正.下面對系統使用的基于滅點的空間校正算法進行解釋.

假設QR碼坐標系上的一點的齊次坐標為M=［xmymzm1］T，其在攝像平面上的投影坐標點的齊次坐標為C=［xcyczc1］T，由針孔成像可以得出：

上式中：s是一個比例因子；小孔透視模型P是一個3×4投影矩陣，它也可以表示成攝像機矩陣K和旋轉－平移矩陣（H，t）兩部分［11］.

式中，a為畸變因子，f為焦距，(x0,y0)是主點的圖像坐標，r為縱橫比.相機光心在圖像平面的投影稱為主點，可以由傳感器垂直軸與水平軸與之間的夾角θ算出畸變因子，a=f cos，圖像上垂直方向與水平方向之間的比例關系表示為縱橫比.隨著現代科技的快速發展，相機的很多內部參數已經同理想值非常接近，如圖像的中心可以近似為主點坐標，畸變因子a近似于0，縱橫比r可以近似為1.為了簡化相機模型，提高運算速度，如果對精度要求不高時，可以使用這些理想值.

根據定理，滅點是空間一組平行線在影像上的直線影像的交點.相機中心記為O，P是O在成像平面的投影，QR碼是正方形標記，其投影是一個不規則四邊形abcd，分別形成兩個滅點Fu和Fv.（見圖4）根據透視幾何和三角幾何，相機焦距的計算公式可以表示為

其中P為主點，O為相機光心，Fu和Fv分別為兩個滅點，是P在影滅線上的投影.

圖4　QR碼透視投影成像

因為QR碼是一個平面標記，所以在世界坐標系下QR碼物理平面的z軸坐標等于零，由式（1）、（2）可以得到

式中，H是一個非奇異矩陣，因此QR碼真實幾何圖形可以從投影圖形中相差一個比例因子下恢復.按照文獻［12］，將矩陣H進一步變換可得：

其中：Hp是仿射重建矩陣；He為度量重建矩陣；E是一個相似變換矩陣；可以通過穿過兩個滅點的影滅線L來計算仿射重建矩陣Hp中的l1和l2：

可以通過影滅線L和投影不變量絕對二次曲線w并利用下列公式計算得到度量重建矩陣：

其中，I是影滅線L和絕對二次曲線w的交點，將式（7）代入式（8）可以得到：

式（9）的解是一對共軛復數根，其實部和虛部分別是α、β.然后將α、β代回式（5），可以解出轉換矩陣H，根據式（4）可以使用轉換矩陣H對QR標記坐標和攝像平面坐標之間進行相互轉換.因為經過映射之后的圖像存在空格點，空格點像素的灰度可以由雙線性插值算法根據空格點臨近點的灰度值來計算.

完成傾斜校正后，可以開始提取QR碼包含的信息.系統使用開源系統ZXing來提取QR碼的信息.

2實驗結果與分析

2.1初始化時間

在小米3手機上對系統進行了測試，小米3的CPU采用Nvidia Tegra 4，主頻是1.8 GHZ，RAM容量是2 GB，操作系統采用安卓4.2.初始化時間包括二維碼采集、二維碼識別、二維碼傾斜矯正和增強現實素材下載，完成二維碼識別和處理大概需要1 600 ms(±100 ms)的時間，下載增強現實文件的時間根據文件大小變化，大約需要1 000 ms（±100 ms).圖5是初始化時間的組成分析.

圖5　初始化時間組成分析

2.2系統性能分析

使用普通的QR碼跟蹤方法需要同時獲取3個定位符號的信息，所以跟蹤角度比較小.本文采用了滅點空間算法對QR碼進行傾斜畸變校正，跟蹤范圍大、距離遠.盡管進行傾斜矯正需要一定的計算時間，但隨著智能手機的硬件配置進一步增強，對系統的性能影響不大.在表2中，沒有進行傾斜矯正的方法采用了文獻［6］中的數據.使用小米3和小米4同時對本文使用方法進行了測試.實驗表明，使用滅點空間算法后系統的跟蹤角度大，并且可以滿足實時性的要求.同時，隨著智能手機硬件配置的提高，對傾斜二維碼的檢測速度和跟蹤速度都有了比較大的提高.

表2　兩種跟蹤方法的效果對比

利用本文提出的方法對30幅二維碼進行了傾斜畸變矯正，二維碼的旋轉角度從到360.實驗表明，矯正率達到了90%以上，單幅圖像處理速度小于1.6 s（小米3）.

2.3產品原型示例

為了驗證使用QR碼作為增強現實的標識的可行性，開發了一個原型系統.通過對QR碼的識別，可以將3D模型從互聯網下載之后顯示在QR碼上.QR碼可以嵌入比較多的信息，除了3D模型的URL外，還可以把其他的內容信息或者跟蹤信息也嵌入在QR碼內，使原型系統的功能得到進一步增強.圖6(a)是原型系統在QR碼正面放置時的效果，圖6(b)是QR碼有一定的傾斜時的效果.

圖6　原型系統演示

3　結語

采用QR碼替代傳統的增強現實標識點，分析了QR碼的頂點定位技術，采用了基于滅點的空間校正算法，設計基于QR碼的移動增強現實系統.目前，原型系統只支持虛擬物體的加載，下一步需要增加動畫和用戶交互等功能，以提高系統的可用性.隨著移動終端技術的不斷發展，增強現實技術在智能手機平臺的發展將成為主流.

參考文獻：

［1］孫源，陳靖.智能手機的移動增強現實技術研究［J］.計算機科學，2012（6）：493-498.

［2］Wagner D,Langlotz T,Schmal S D.Robust and unobtrusive marker tracking on mobile phones［C］.IEEE International Symposium on Mixed and Augmented Reality,2008.

［3］Bruns E,Brombach B,Zeidler T.Enabling mobile phones to support large-scale museum guidance［J］.Multimedia,IEEE,2007, 14(2):16-25.

［4］Billinghurst M,Hakkarinen M,Wodward C.Augmented assembly using a mobile phone［C］.IEEE International Symposium on Mixed and Augmented Reality(ISMAR 2008).Cambridge,UK,Sep 2008:167-168.

［5］Daniel W,Gerhard R,Alessandro M,etc.Real-time detection and tracking for augmented reality on mobile phones［J］.Ieee Transactions On Visualization And Computer Graphics,2010,16(3):355-368.

［6］Nohyoung P,Wonwoo L,Woontack W.Barcode-assisted planar object tracking method for mobile augmented reality［C］，2011 International Symposium on Ubiquitous Virtual Reality,40-43

［7］Hyoseok Y,Nohyoung P,Wonwoo L,etc.QR code data representation for mobile augmented reality［C］.International AR Standards Meeting-February,2011:17-19.

［8］翟亮亮，壬滔天，櫥健，等.基于ARcode的移動增強現實系統研究［J］.計算機工程，2012（5）：247-249.

［9］張民，鄭建立.基于符號特征的QR碼識別算法［J］.計算機工程，2011（2）：278-280.

［10］Wagner D,Schmal S D.ARToolKit on the pocket PC platform［C］.IEEE International Augmented Reality Workshop.Tokyo,Japan: IEEE,2003.

［11］邱建橡，劉征梅 楊瑞元 基于滅點的單幅圖像建模［J］.計算機工程，2005（11）:199-201

［12］Daivd L,Antonio C,Andrew Z.Creating architectural models from images［C］.Proc of EuroGraphic，1999:39-50．

（責任編輯：歐愷）

中圖分類號：TP391.9

文獻標識碼：A

文章編號：1007-5348（2015）02-0019-06

［收稿日期］2014-11-06

［基金項目］福建省自然科學基金項目（2013J0102）.

［作者簡介］孟昭睿（1975-），男，青海西寧人，廈門理工學院計算機與信息工程學院高級工程師，碩士；研究方向：增強現實，軟件工程與應用.

Research on Mobile Augmented Reality System Based on QR Code

MENG Zhao-rui,SUN Jin-hua,WU Yun
（School of Computer and Information Engineering,Xiamen University of Technology, Xiamen 361024,Fujian,China）

Abstract：QR code is one kind of two-dimensional codes which can hide a large amount of information and has been widely used in our daily life.An augmented reality(AR)application based on the QR Code is presented, instead of traditional fiducial markers.Slant correction processing to the QR code recognition is added by using space rectification algorithm based on vanishing point.A product demo system is developed by ARTookKit and ZXing,which demonstrates broad application prospect of mobile augmented reality based on QR code.

Key words：augmented reality；QR code；vanishing point；ARToolKit