基于數字相機和時間心理視覺調制的增強現實技術

盧曉勇，游 斌，林珮瑜，陳木生

(1.南昌大學 軟件學院，南昌 330047； 2.元智大學 資訊傳播學系，臺灣 桃園 32003)

(*通信作者電子郵箱452321759@qq.com)

基于數字相機和時間心理視覺調制的增強現實技術

盧曉勇1，游 斌1*，林珮瑜2，陳木生1

(1.南昌大學 軟件學院，南昌 330047； 2.元智大學 資訊傳播學系，臺灣 桃園 32003)

(*通信作者電子郵箱452321759@qq.com)

為了拓展增強現實(AR)的實用性，提出一種基于時間心理視覺調制(TPVM)技術和數字相機來實現AR效果的方法。首先將AR中的標記嵌入數字屏幕的媒體內；然后利用人眼識別感知與數字相機拍攝圖像形成在數字屏幕或者投影儀上原理的差異，使用數字相機設備獲取數字屏幕圖像內人眼不易察覺的AR標記；最后在獲取標記的智能設備中顯示AR效果。仿真結果顯示，將數字相機與TPVM技術相結合，能夠很好地將AR標記隱藏在影像中，同時人眼無法察覺，而數字相機則能準確地識別AR標記并實現AR效果。通過手機替代3D眼鏡等額外設備，降低了AR的使用限制，拓展其實用性。

增強現實；時間心理視覺調制；感知；數字相機

0 引言

增強現實(Augmented Reality, AR)是一種把虛擬世界信息添加到用戶視覺感官上再來觀察真實世界信息的技術，其通過計算機加上相應的圖像技術將真實的環境和虛擬的物體實時地疊加到了同一個畫面或存在于同一個空間內[1]。

Wu等[2]于2013年首次提出時間心理視覺調制(Temporal Psycho Visual Modulation, TPVM)的概念用于實現AR，其方法是將高刷新的光學顯示與非負矩陣分解相結合以達到不同條件下具有差異化的觀看效果。該方法是基于視覺心理物理學(psycho-physics of vision)的一個認知：人眼視覺系統(Human Visual System, HVS)在多數情況下，無法察覺到超出60 Hz的光信號變化，同時利用投影儀或顯示器可以超過60 Hz刷新率的機制，例如120 Hz或更高[3]。繼而使用特殊的3D眼鏡，針對不同的人群可以獲取特定幀的圖像信息，以達到增強現實的效果。在該技術提出后的一段時間內，許多研究者對此進行了更深入的研究并且進一步拓展其應用。Hu等[4]在TPVM的基礎上，提出在觀看同一視頻時，針對不同的用戶需求能夠獲取不同語種字幕的應用。該方法雖然能夠滿足不同用戶對字幕的要求，但是不同字幕同時呈現在顯示設備上會影響原始影像的顯示效果。而在此基礎上Zhai等[5]又將數字信息與視頻相結合，做到防止影像偷拍的應用。可是，在完成防偷拍目的的同時，由于對普通影像進行的處理會使得正常人眼觀察到的圖像與原始圖像存在一定的差異，實用性略有欠缺。Hu等[6]還利用該想法實現在顯示器中顯示的圖像文字等信息與普通人眼觀察的不同，以保證在公眾場合對顯示文字或圖像信息的機密性。該方法雖然巧妙地實現了信息的多樣性和安全性，但是需要佩戴價格不菲的3D眼鏡，實用性受到一定限制。隨著智能手機設備的普及，如果能利用手機內置的數字相機結合TPVM技術實現增強現實效果，便能大大降低使用成本，增強實用性。

本文基于上述想法提出一種解決方案：通過對普通影像進行處理，使得人眼視覺在數字顯示器或者投影儀中能正常觀察沒有標記的原始影像，而使用數字拍攝裝置智能設備能夠捕捉到帶有標記的圖像，從而達到佩戴3D眼鏡的效果。為了實現這個效果，特別設計了一個增強現實標記(AR標記)[7-8]嵌入方式。AR標記是一個參考標簽標記系統，是用以完成增強現實效果的一種必要手段[9-10]。本文提出的AR標記嵌入方式是將數字相機與TPVM技術相結合以實現增強現實效果的有效手段。由于現在幾乎人手一臺的智能手機都標配了數字相機，本文方法的使用去除了之前研究文獻中所使用的價格不菲的額外設備，大大降低了AR技術的使用限制，從而拓展了TPVM的實用性。

1 相關研究

TPVM是Wu等[3]在2013年才提出的一種顯示技術，該技術基于視覺心理物理學原理，巧妙地利用人眼視覺系統與數字相機成像系統的差異，將帶有特殊信息的數據嵌入影像中，在高頻率刷新的顯示器中循環播放使用非負矩陣分解設計形成圖像的原子幀，使得不同的觀看者通過佩戴調制后的設備在觀察同一個顯示器時獲取特殊信息或不同感知圖像的目的。TPVM通過以下方式實現：通過使用特殊的液晶眼鏡加權在高速播放顯示器中的原子幀，再根據觀察圖像進行權重調整用以衰減原子幀的光強度，然后形成所需的圖像。設Y為人眼所觀察到的圖像，X為高速循環播放的原子幀，W為權重且在0到1之間，液晶眼鏡通過Y=XW的方式進行信息分解。由于像素值和特殊的液晶眼鏡無法實現負值或負權重，在信號分解時Y=XW必須是一個非負矩陣分解。TPVM顯示系統解決了以下顯示問題：即在重建目標圖像Y的最佳可視化情況下，找到在高速播放的顯示器中的原子幀，同時確定在同步顯示的液晶眼鏡上的調制矩陣即權重W。

如前文所述，文獻[4-5,11]等將TPVM應用于信息隱藏、打擊盜版、信息安全等方面，但這些系統都需要佩戴特殊的3D眼鏡，使得在顯示器中顯示的圖像文字等信息與普通人眼觀察的內容產生一定的差異。這幾種方法雖然巧妙地避開了信息的泄露，保護了信息的安全，打擊了盜版行為，但是需要佩戴價格不菲的3D偏振眼鏡，實用性受到一定限制。

2 系統方法

本文方法主要結合TPVM技術與AR標記設計一個人眼不易察覺的附有增強現實影片的方法。人眼和數字相機成像之間存在一定差異：人眼視覺系統需要連續光場以形成一個穩定的完整圖像；而對于數字成像照相機，不管其傳感器類型是光電荷耦合器件(Charge-Coupled Device, CCD)還是互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor, CMOS)集成電路[12]，其成像傳感器的電荷清洗過程和拍攝參數設置過程都需要短暫的時間，所以在使用者按下快門后到圖像拍攝完畢期間會存在延時情況。這樣數字成像與人類視覺系統所產生的影像就有了不同。基于該差別，本文結合TPVM和AR技術設計一種方法使得人眼和數字相機捕捉到截然不同的圖像。假設人眼不受影響的關鍵閃爍頻率是60 Hz，投影儀的刷新率為120 Hz，則投影儀能夠發射一對不會引起人眼閃爍感覺的關鍵幀。需要注意的是，DLP (Digital Light Processing)[13]投影技術的刷新率并不只限制于120 Hz。

圖1顯示了本文方法的體系結構。首先將原始幀基于TPVM和AR技術加以處理后呈現在120 Hz刷新率的顯示器上。當人們在瀏覽顯示器顯示的圖片時，普通情況下觀察到的影像與原始幀是一致的；但是，當通過手機的數字相機看屏幕在播放的影像時，手機會捕捉到AR標記并在屏幕上顯示AR效果。

圖1 本文方法的體系結構Fig. 1 Architecture of the proposed scheme

令I和T分別表示原始圖像和AR標記圖像；針對120 Hz的顯示器或者投影儀產生一對奇偶數幀，分別用A和B來表示。首先，對于觀察者來說，顯示器或者投影儀等設備所發射的奇偶數幀應該能夠使其正常觀察到影像[14]；其次，最大程度上使得照相設備能夠捕捉到AR標記圖像。為了達到AR的效果，意味著需要增加A、B和I之間的距離。這里，基于TPVM的顯示機制需要滿足以下式子：A=I-T以及B=I+T，這樣能夠使得顯示出的影像為沒有影響的一對幀。對于8-bit的RBG圖像A、B和I，它的灰度值應該在[0，255]，所以T需要調整，使得奇偶數幀的灰度值在[0，255]范圍內。最后，人眼會觀察到通過混合圖像的補圖像A+B=2I。可是，對于大多數的顯示器或投影儀來說，亮度和灰度呈非線性關系。也就是說，人的眼睛無法接受直接調節灰度值和亮度的顯示結果。下面分別介紹嵌入和讀取的方法。

2.1 嵌入AR標記

(1)

(2)

AR系統需要將數字相機獲取的AR標記與計算機內記錄的標記進行匹配，當獲取的特征值達到閾值則認為匹配成功。這里讓TY表示原始標記所有的特征點，TZ表示相機獲取的特征點，誤差TW=TY-TZ，誤差率TL=TW/TY，誤差率越低表示識別越準確。根據誤差率確定嵌入權重ω的選擇。

圖2 基于TPVM的AR標記結構模型Fig. 2 AR tag structure model based on TPVM

2.2 讀取AR標記

由于更新頻率為120 Hz比較高，當使用手機拍攝時，嵌入的標記只會存在于部分時間段內的影片中，需要在短時間內對影像獲取嵌有AR標記的圖像，所以這里選取一些快速的處理方法進行處理。對于在顯示器上播放的影像，使用智能手機一秒4幀拍攝4張圖像，令其為P1、P2、P3和P4。獲取圖像后，運用圖像增強和二值化方式將這4張圖像進行下列計算處理，以得到能使AR掃描的二值化圖像。

1)利用彩色轉灰度算法將這4張RGB圖像轉為Gary圖像，令其為G1、G2、G3和G4。

2)由于獲得的灰度圖像黑白兩色的對比不夠明顯，故當手機掃描時，不容易產生AR效果。為了使提升灰度圖像的黑白對比效果并縮短計算的時間，選擇進行直方圖灰度拉伸的方法對圖像進行增強。針對該灰度圖像，分別計算獲取各個圖像的直方圖H1、H2、H3和H4。

3)令Gn(x,y)為Gn在 (x,y)圖像位置，n(n=1, 2, 3, 4)為輸入的圖像編號，[a,b]為直方圖內灰度值最多落入的區域，依式(3)將直方圖拉伸至[0, 255]的區域：

n∈{1，2，3，4}

(3)

設L為目標與背景的分割閾值，取值范圍為該圖像的最小灰度值與最大灰度值之間的值。目標點數占圖像比例為m1，平均灰度為s1；背景點數占圖像比例為m2，平均灰度為s2。圖像的總平均灰度為：

s=m1×s1+m2×s2

(4)

依式(5)計算出前景和背景圖像的方差：

σ2(L)=m1(s1-s)2+m2(s2-s)2

(5)

這里，當類間方差最大時閾值L則為所求。

4)掃描處理后的二值化圖像，獲取需要的AR效果并呈現于手機上。

依照上述計算處理，可對每張影片的幀嵌入AR標記，來獲得具有不可察覺AR的連續影片，把TPVM與AR技術相結合，將AR標記隱藏在圖像中，人眼無法察覺，而使用智能移動設備依然能夠獲取AR效果。

3 仿真分析

在實驗階段使用的計算機軟硬件環境如下：CPU的型號為Intel 酷睿i5 6300HQ，主頻為2.3 GHz，內存為8 GB，使用Matlab R2015a軟件進行編譯并對圖像進行處理。選擇如圖3所示的圖像作為一個幀F和一個AR標記T。對于F復制產生與之相同的4張子幀。

圖3 幀F和AR標記TFig. 3 Frame F and AR tag T

針對第三張幀F3，將T嵌入進圖像中。首先，對于F，計算出其對應的灰度值的平均值為202。為了使得識別誤差更小、顯示效果更好，對于嵌入權重的選擇給出如下建議：

AR標記T有31個特征點，設置嵌入權重分別為0.75，0.80，0.85，0.90和0.95時，處理后局部帶有的AR標記如圖4所示，各權重下對特征點獲取的誤差數據如表1所示。可以看出當嵌入權重為0.85時，手機掃描到28個特征點，誤差為3，誤差率為9.67%，此時最優，故建議選擇該參數。

圖4 不同嵌入權重的嵌入結果Fig. 4 Embedding results with different embedding weights表1 不同權重的誤差與誤差率對比Tab. 1 Comparison of errors and error rates with different weights

權重參數獲取特征點數誤差誤差率是否識別0.7519120.387否0.802560.194是0.852830.097是0.9021100.323否0.9516150.483否

通過AR軟件進行后置處理呈現AR效果。對于處理后的視頻，用數字相機拍攝的效果如圖5(a)所示，人眼觀看的效果如圖5(b)所示。這里選用的數字相機為Lenovo S810t手機的內置攝像頭，分辨率為800萬像素，手機操作系統為Android 4.3。

圖5 處理后視頻的Lenovo相機拍攝效果與人眼觀看效果Fig. 5 Shooting effect of Lenovo camera and viewing effect of human for the processed video

針對Lenovo手機獲得的圖像，將RGB圖像轉為Gary圖像。針對該圖像進行直方圖灰度拉伸，將圖像增強。最后使用最大類間方差法得出二值化后的黑白兩色圖像如圖6所示。手機獲取AR標記并實現增強現實的最終效果如圖7(a)所示，圖7(b)為對不同原始圖像采用相同方法獲得的效果圖。

不同手機攝像頭在相同嵌入權重參數時的拍攝誤差如表2所示，這里選擇權重參數為0.85。可以看出針對不同相機依然有較高的實用性。

4 結語

為了拓展增強現實(AR)的實用性，本文提出一種基于TPVM技術和數字相機來實現AR效果的方法。通過利用人眼和半導體攝像傳感器之間成像的差異，調整顯示器或者投影儀的顯示頻率，將AR標記嵌入圖片或影像內。在不影響影像正常播放下，實現人眼無法看見的AR標記，但可以通過使用智能手機計算裝置捕捉到標記的存在并完成AR效果。本研究測試了不同手機不同權重下對嵌入的AR標記的影響，并且提出了比較好的嵌入權重選擇。同時，結合選擇使用一些快速的處理算法，能夠減少智能移動設備的響應時間，更快地呈現AR效果。

目前，本文所提出的方法只是改善了部分問題，拓展了TPVM與增強現實的實用性。未來可從以下方面展開進一步研究：處理掃描圖像的優化，設計適用于不同周圍環境、較佳AR的嵌入處理等。

圖6 數字相機獲取處理后的二值化圖像Fig. 6 Processed binarized image obtained by digital camera

圖7 數字相機最終得到的AR效果Fig. 7 AR effect obtained by digital camera表2 不同手機相同權重誤差對比Tab. 2 Error comparison of different mobile phones with the same weight

手機型號攝像頭像素(萬)獲取特征點數誤差誤差率是否識別ZTEBA5108002560.194是VivoXplay612002830.097是SonyC5Ultra13003010.032是LenovoS810t8002830.097是

References)

[1] 朱淼良,姚遠,蔣云良.增強現實綜述[J].中國圖象圖形學報,2004,9(7):767-774. (ZHU M L, YAO Y, JIANG Y L. A survey on augmented reality [J]. Journal of Image and Graphics,2004, 9(7): 767-774.)

[2] WU X, ZHAI G. Temporal psychovisual modulation: A new paradigm of information display [exploratory DSP] [J]. IEEE Signal Processing Magazine, 2013, 30(1): 136-141.

[3] QI H, ZHENG D, ZHAO J. Human visual system based adaptive digital image watermarking [J]. Signal Processing, 2008, 88(1): 174-188.

[4] HU C, ZHAI G, GAO Z, et al. Simultaneous triple subtitles exhibition via temporal psychovisual modulation [C]// ICIEA 2014: Proceedings of the 2014 9th IEEE Conference on Industrial Electronics and Applications. Piscataway, NJ: IEEE, 2014: 944-947.

[5] ZHAI G, WU X. Defeating camcorder piracy by temporal psychovisual modulation [J]. Journal of Display Technology, 2014, 10(9): 754-757.

[6] HU C, ZHAI G, GAO Z, et al. Information security display system based on spatial psychovisual modulation [C]// ICME 2014: Proceedings of the 2014 IEEE International Conference on Multimedia and Expo. Washington, DC: IEEE Computer Society, 2014: 1-4.

[7] KIM H, LEE W, WOO W. CAMAR tag framework: context-aware mobile augmented reality tag framework for dual-reality linkage [C]// ISUVR 2009: Proceedings of the 2009 International Symposium on Ubiquitous Virtual Reality. Washington, DC: IEEE Computer Society, 2009: 39-42.

[8] LU X Y, YOU B, LIN P-Y, Augmented reality via temporal psycho-visual modulation [C]// ICME 2016: Proceedings of the 2016 IEEE International Conference on Multimedia & Expo. Washington, DC: IEEE Computer Society, 2016: 1-4.

[9] HIEN T, HYERIM P, SEON H K, et al. Incorporating geo-tagged mobile videos into context-aware augmented reality applications [C]// BigMM 2016: Proceedings of the 2016 IEEE Second International Conference on Multimedia Big Data. Piscataway, NJ: IEEE, 2016: 295-302.

[10] KE F, HSU Y-C. Mobile augmented-reality artifact creation as a component of mobile computer-supported collaborative learning [J].The Internet and Higher Education, 2015, 26: 33-41

[11] GAO Z, ZHAI G, WU X, et al. DLP based anti-piracy display system [C]// VCIP 2014: Proceedings of the 2014 IEEE Visual Communications and Image Processing Conference. Piscataway, NJ: IEEE, 2014:145-148.

[12] TAYLOR S A. CCD and CMOS imaging array technologies: technology review, EPC-1998-106 [R]. Cambridge: Xerox Research Centre Europe, Cambridge Laboratory, 1998: 1-14.

[13] THOMAS J F, MICHAEL W D. Concepts in digital imaging technology, digital cameras readout and frame rates [EB/OL]. [2016- 05- 23]. http://learn.hamamatsu.com/articles/.

[14] YAMADA T, GOHSHI S, ECHIZEN I. Use of invisible noise signals to prevent privacy invasion through face recognition from camera images [C]// MM 2012: Proceedings of the 20th ACM International Conference on Multimedia. New York: ACM, 2012: 1315-1316.

This work is partially supported by the Science and Technology Support Program of Jiangxi Province (20131102040039).

LUXiaoyong, born in 1957, Ph. D., professor. His research interests include information management and information system, industry engineering.

YOUBin, born in 1992, M. S. candidate. His research interests include digital image processing, information security, information management and information system.

LINPei-Yu, born in 1983, Ph. D. associate professor. Her research interests include digital image processing, information security.

CHENMusheng, born in 1977, Ph. D. candidate. His research interests include data mining and knowledge discovery, information management and information system.

Augmentedrealityapproachbasedondigitalcameraandtemporalpsycho-visualmodulation

LU Xiaoyong1, YOU Bin1*, LIN Pei-Yu2，CHEN Musheng1

(1.SchoolofSoftware,NanchangUniversity,NanchangJiangxi330047,China；2.DepartmentofInformationCommunication,YuanZeUniversity,Chung-LiTaiwan32003,China)

In order to extend the practicality of Augmented Reality (AR), a method based on Temporal Psycho Visual Modulation (TPSM) technology and digital camera to realize AR effect was proposed. First, the AR tags were embedded in the digital screen of the media. Based on the principle difference between the human eye to identify the perception and the digital camera to capture the image formed in the digital screen or projector, the digital camera equipment was used to obtain the digital screen image with AR tags which are not easily to be detected by human eye. Finally, the AR effect was displayed on the smart device that gets the AR tags. Simulation results show that the combination of AR and TPVM technology can accurately identify the AR tags in the image and achieve AR effect, while the human eye can not detect the AR tags. Through the mobile phone instead of 3D glasses and other extra equipment, the use restrictions of AR are reduced, and the practicality of AR is also expanded.

Augmented Reality (AR); Temporal Psycho Visual Modulation (TPSM); perception; digital camera

TP391.41; TP391.9

A

2017- 02- 08;

2017- 05- 06。

江西省科技支撐計劃項目(20131102040039)。

盧曉勇(1957—)，男，江西南昌人，教授，博士，主要研究方向：信息管理與信息系統、工業工程； 游斌(1992—)，男，江西南昌人，碩士研究生，主要研究方向：數字圖像處理、信息安全、信息管理和信息系統； 林珮瑜(1983—)，女，臺灣人，副教授，博士，主要研究方向：數字圖像處理、信息安全； 陳木生(1977—)，男，江西于都人，博士研究生，主要研究方向：數據挖掘與知識發現、信息管理與信息系統。

1001- 9081(2017)08- 2298- 04

10.11772/j.issn.1001- 9081.2017.08.2298