基于雙目視覺的增強現(xiàn)實模型系統(tǒng)設計*

陳春妃，陳瓊，湯勇明

（1.東南大學電子科學與工程學院，南京211189；2.東南大學電氣工程學院，南京211189）

基于雙目視覺的增強現(xiàn)實模型系統(tǒng)設計*

陳春妃1，陳瓊2，湯勇明*

（1.東南大學電子科學與工程學院，南京211189；2.東南大學電氣工程學院，南京211189）

該模型的研究是為了改善目前單目增強現(xiàn)實設備存在著視場小、成像不逼真、單目觀察、適應人群窄等問題。模型系統(tǒng)選用高分辨率、寬色域、高集成度2 mm×17 mm OLED微顯示器作為成像像源，大尺寸BS棱鏡和凹面鏡作為成像元件，合理控制圖像放大倍率，提高視場；該系統(tǒng)可以實現(xiàn)高清晰穩(wěn)定的單目及雙目增強現(xiàn)實成像效果，具有多維的可調節(jié)度，包括調節(jié)放大倍數在1～∞內精確微調、眼距和雙目圖像合成角度等。

圖像處理模型；雙目增強現(xiàn)實；雙目圖像融合；OLED微顯示像源；多維調節(jié)

增強現(xiàn)實技術是一種利用計算機系統(tǒng)產生的三維信息來增加用戶對現(xiàn)實世界事物的感知的技術［1］。基于視覺的增強現(xiàn)實是借助于三維顯示［2］、攝像機標定［3］，計算機視覺技術［4］以及多媒體技術，將虛擬的場景疊加到用戶眼前真實視野中。

Google Glass［5］的出現(xiàn)開啟了小型可穿戴增強現(xiàn)實設備的新紀元。但Google Glass單目增強現(xiàn)實系統(tǒng)的缺點催生了關于增強現(xiàn)實技術和雙目成像技術的結合研究。

基于雙目視覺的模型的研究在于設計一套具有大視場、多參數可調節(jié)、高亮度高清晰度顯示預定圖像的雙目增強現(xiàn)實實驗設備。雙目成像是基于雙眼視差［6］，通過兩套獨立的圖像源系統(tǒng)來產生視差圖像源，再通過特定光學系統(tǒng)進行圖像融合處理。模型設計的創(chuàng)新點難點就在于光學系統(tǒng)的設計。

1　系統(tǒng)模型介紹

單目增強現(xiàn)實系統(tǒng)僅是將單一圖像源通過單個光路處理系統(tǒng)將圖像呈現(xiàn)在觀察眼的一側。雙目增強現(xiàn)實系統(tǒng)的實現(xiàn)方法有多種［7-8］，本文主要選擇的是將兩套獨立的單目成像系統(tǒng)組合校準，即采用雙像源雙目鏡顯示方式，既提高了系統(tǒng)的穩(wěn)定性，符合人眼視覺習慣，又可以方便調試。整體系統(tǒng)圖如圖1所示。

圖1　整體系統(tǒng)圖

在這整套系統(tǒng)中左右眼兩套系統(tǒng)的參數、結構完全一致，以一套單目增強現(xiàn)實系統(tǒng)模型為例來說明增強現(xiàn)實系統(tǒng)結構原理，具體如圖2所示。

圖2　單目系統(tǒng)結構圖

光源模塊采用的是高亮度高分辨率尺寸為2 mm×17 mm的OLED像源，由計算機預先設定圖像。

光路處理模塊核心光學元件為BS半透射半反射分光棱鏡、凹面鏡，用于控制光路走向，形成有效虛像。

調節(jié)模塊內部主要有凹面鏡，外部主要是支架外觀設計。通過改變凹面鏡與BS之間的距離來調節(jié)虛像放大倍數。通過支架鏡筒的旋鈕以及套筒結構設計可以實現(xiàn)眼距、高度、角度的靈活調節(jié)。

2　基于OLED微像源模型設計

目前市場上可供選擇的顯示像源有很多種，LED，LCOS，OLED等等。不同的像源都存在各自不可替代的優(yōu)點，在本套系統(tǒng)中，我們的最終目的是實現(xiàn)大視野、高亮度、高清晰度、易集成的雙目增強現(xiàn)實系統(tǒng)實驗模型，基于以上參數需求，OLED［9］成為我們最佳選擇。

2.1OLED微顯示像源的選擇論證

OLED屬于自發(fā)光像源，驅動電路簡單，視角寬，清晰度高，亮度也高。但考慮到像源光經過光路處理系統(tǒng)BS半透半反棱鏡，會有亮度的損失，因此我們在亮度方面是否合適做了驗證。

在顯示設備中，亮度［10］（Luminance）定義為單位面積、單位立體角內測量所得到的光通量，即單位投影面積上的發(fā)光強度，單位為ni（t尼特）或cd/m2。人眼可以看到的亮度是衡量視頻眼鏡的重要參數，亮度和光通量的關系由下面簡化公式（1）換算：

式中，L為亮度，S為發(fā)光面的面積，Ω為對應的立體角。

假設視頻眼鏡可以到達人眼瞳孔的能量占芯片總能量的η，視場角為±θ，那么人眼可以看到的亮度近似如式（2）所示：

式中，Φ是OLED微像源的光通量，Seye為人眼瞳孔面積。本論文用LED作為OLED的照明光源，典型的LED芯片亮度為107量級，發(fā)光效率約為20 lm/W，假設LED在1 W的驅動下，光學系統(tǒng)的效率為1%［11］，則對于視場的30°計算可得，通過瞳孔可以看到的亮度約為105 nit。而在白天環(huán)境亮度為104 nit時，人眼大約能分辨的亮度范圍為200 nit～20 000 nit，低于200 nit的亮度感覺為黑色；夜間環(huán)境為30 nit時，可分辨的亮度范圍為1 nit～200 nit，這時100 nit的亮度就引起相當亮的感覺，只有低于1 nit的亮度才引起黑色感覺。因此可以看到，OLED可保證人眼看到足夠的亮度，滿足本套系統(tǒng)的光源需求，故本系統(tǒng)采用基于OLED的光源成像。

2.2光路處理模塊成像原理以及可控倍率推導

像源OLED圖像的光經過BS分光棱鏡，一部分光經過BS透射進入凹面鏡成虛像，虛像光源經BS棱鏡反射進入目鏡系統(tǒng)成像。成像原理示意圖如圖3所示。

圖3　虛像成像原理示意

在研究中我們選擇使用Φ=-2 cm和Φ=-16 cm兩款凹面鏡，實驗結果表明：

（1）當凹面鏡的Φ=-2 cm時，放大效果非常明顯，而凹面鏡的Φ=-16 cm時，放大效果不明顯。

（2）當凹面鏡的Φ=-2 cm時，移動凹面鏡，像的大小變化很大；而Φ=-16 cm的凹面鏡，像變化率較小。

關于凹面鏡對成像原理以及虛像放大率的控制效果作以下推導（圖4）。

圖4　凹面鏡成像系統(tǒng)

圖4即為凹面鏡成像系統(tǒng)，箭頭指向為正，坐標原點取在面鏡中心，面鏡的焦距為（ff<0），物的位置s（s<0），物距離面鏡中心距離為d=|s|，像的位置為s′。根據面鏡成像公式［12］

可以得到

所以像的放大率

由于在本系統(tǒng)中要求凹面鏡成放大的虛像，因此有f-s<0，因此

依據式（6）對實驗中的兩種現(xiàn)象進行分析。

（1）放大率與f的關系。實驗現(xiàn)象顯示，凹面鏡放于同一位置，但焦距不同時，像的放大率不同，因此這里需要求放大率對f的偏導，由式（6）得：

因此放大率隨著焦距的增大而增大，因此選用-2 cm焦距的凹面鏡，放大效果要明顯于-16 cm的凹面鏡。

（2）放大率的變化率與f的關系。

實驗現(xiàn)象顯示，焦距不同的凹面鏡，移動相同的距離時，像的放大率的變化不同。因此這里需要求放大率對s的偏導，求得放大率與s的關系，然后再對f求偏導，求得f對放大率變化率的影響。由式（7）得

可以得到隨著s的增大，即物體離面經越來越近時，放大倍數越小。然后由式（8）得

因此隨著f的增大（也就是|f|的減小），放大率β隨s的變化率會增大，因此會觀察到f=-2 cm的凹面鏡的放大率變化率會遠大于f=-16 cm的凹面鏡。

根據推導可以得知，焦距為-2 cm的凹面鏡放大作用會遠優(yōu)于焦距為-16 cm的凹面鏡，對此，我們輔助以試驗來驗證結果的正確性。

試驗結果表明：使用該方案成像清晰，亮度適中，大小可從等大一直調節(jié)到無窮大，無干擾反射光。且與外景疊加效果良好。當用焦距為-2 cm的凹面鏡時，放大效果非常明顯，滿足試驗所需的要求，因此采用此套方案作為系統(tǒng)的最終方案。

2.4雙目成像系統(tǒng)的結構設計

雙目成像系統(tǒng)是基于左右兩套系統(tǒng)形成的一定的雙目視差。在本套系統(tǒng)中，由于采用的是兩套獨立的單目系統(tǒng)，兩只眼睛由兩套成像相互獨立的光源分別投影，因此，必須使兩幅投影圖片滿足人眼視差的關系，消除雙目競爭才能使佩戴者使用時感覺到雙眼看到的是同一幅圖像，雙目疊加的方式有很多種，具體可參考前文已給出的雙目視覺圖像文獻。

依據光路特點和調節(jié)要求，設計雙目系統(tǒng)的支架鏡筒，為了保證成像質量，避免漏光問題，本套模型系統(tǒng)采用黑色ABS快速成型技術。

模型滿足如下要求：

（1）凹面鏡與BS之間距離在0～3 cm內可精確微調。

（2）BS另一側應與OLED光源盡量緊貼，減少光線漏出和光路的延長。

（3）嵌裝BS的套筒應盡量少遮蓋通光表面積，以保證用戶觀看時的視場角足夠大。

（4）左右眼兩套系統(tǒng)之間的距離可調，上下高度可調，前后以及角度可調，滿足不同用戶需求。

（5）所有元件均可方便地拆卸組裝，保證調試的便捷性。

具體實物圖如圖5所示。

圖5　雙目系統(tǒng)模型支架圖

2.5雙目系統(tǒng)調試

雙目圖像融合是雙目系統(tǒng)的核心基礎。分別通過計算機給左右兩套系統(tǒng)OLED像源設定待融合的圖片，根據實驗者的眼距來調節(jié)兩套系統(tǒng)的距離，上下水平高度以及兩套系統(tǒng)的角度，從而可以獲得完整地融合效果圖。

（1）設定黑色背景，傳送彩色圖案，效果圖如圖6所示。

圖6　黑底彩色效果圖

（2）傳送黑白圖案疊加外景，效果如圖7所示。

圖7　黑白圖案增強現(xiàn)實效果圖

從展示的效果圖中可以看到，本套系統(tǒng)對于黑白圖案和彩色圖案，均能做到以下指標：圖案清晰無畸變，色彩還原度高且顏色鮮艷，顯示分辨率高，有可調節(jié)的放大效果（OLED微顯示像源有效發(fā)光表面積大約僅為1.5 cm2），此外，對于外景的疊加，能夠做到互不干擾、真實可靠。

進行雙目測試時，由于雙目融合效果由大腦和眼球同步處理，照相機無法模擬，因此此處無法展示最終效果圖。根據我們實驗觀察及測試，符合理論值。雙目疊加范圍［13］在100%時幾乎感受不到雙目競爭，而在0%時有比較明顯的雙目競爭，且視野稍有變形。二者較為明顯的分界線在于30%～50%的疊加率之間。

另外通過測試還發(fā)現(xiàn)，雙目融合的過程中對左右眼兩套系統(tǒng)的的OLED像源的要求高，必須保證兩塊OLED的色彩飽和度、亮度信息高度一致才能獲得優(yōu)質的融合效果圖。

3　結論與展望

該研究項目目的是搭建一套基于雙目視覺的增強現(xiàn)實模型系統(tǒng)，由OLED微顯示像源子系統(tǒng)、BS和凹面鏡構成的雙目簡約成像子系統(tǒng)和雙目模型支架子系統(tǒng)組成。該雙目增強現(xiàn)實實驗模型系統(tǒng)能夠在合理疊加外景的基礎上實現(xiàn)大視場、高亮度、高清晰度顯示預定的黑白或彩色圖像，自由調節(jié)虛像放大率；模型支架可根據不同用戶的需求實現(xiàn)上下左右前后以及角度7個自由度的調節(jié)，并且整套系統(tǒng)模型能夠方便拆卸組裝，可用于增強現(xiàn)實類應用的界面設計模擬以及相關的研究。

從虛擬現(xiàn)實頭盔顯示到單目增強現(xiàn)實谷歌眼鏡，未來智能眼鏡的發(fā)展趨勢必然是趨于雙目，只有雙目顯示才能實現(xiàn)3D和全息影像，因此，我們這套雙目增強現(xiàn)實系統(tǒng)模型為今后雙目成像技術和增強現(xiàn)實技術結合的研究有很大的幫助。

［1］朱淼良，姚遠，蔣云良.增強現(xiàn)實綜述［J］.中國圖象圖形學報，2004，9（7）：2.

［2］康紹鵬.增強現(xiàn)實關鍵技術研究［D］.沈陽：航空航天大學航空工業(yè)專業(yè)，2009：15-1.

［3］鐘慧娟，劉肖琳，吳曉莉.增強現(xiàn)實系統(tǒng)以及關鍵技術的研究［J］.計算機仿真學報，2008，25（1）：2.

［4］管濤.增強現(xiàn)實中的虛實配準方法研［D］.武漢：華中科技大學空間信息科學與技術專業(yè)，2008：11-13.

［5］念聰.谷歌眼鏡——戴在鼻子上的智能終端［N］.軟件工程師，2013-07-15：1-2.

［6］蔡磊.基于微顯示器件的3D雙目成像方法及FPGA實現(xiàn)［D］.成都：電子科技大學電子與通信工程專業(yè)，2012：11-12.

［7］張可.基于雙目立體視覺原理的自由曲面三維重構［D］.武漢：華中科技大學機械制造及其自動化專業(yè)，2005：21-27.

［8］成劍華.基于相位匹配的自由曲面雙目視覺測量方法的研究［D］.武漢：華中科技大學測試計量技術及儀器專業(yè)，2012：8-12.

［9］張積梅，關玉琦，劉暢.硅基OLED微顯示技術的優(yōu)勢與發(fā)展現(xiàn)狀［J］.集成電路運用，2012-09-10：1-2.

［10］百度百科.亮度［EB/OL］.http：//baike.haosou.com/doc/3650460-3836943.html.

［11］刁玉潔.關于OLED亮度和壽命的優(yōu)化研究［D］.青島.中國海洋大學電子與通信工程專業(yè)，2014：11.

［12］王擁軍.關于成像公式精確度的分析［J］.中學數理化，2011-01-15：1.

［13］張可.基于雙目立體視覺原理的自由曲面三維重構［D］.武漢：華中科技大學機械制造及其自動化專業(yè)，2005：45-47.

陳春妃（1992-），女，海南省海口市人，東南大學電子科學與技術專業(yè)本科生，213123123@seu.edu.cn；

湯勇明（1973-），男，江蘇省江都市人東南大學電子學院研究員、博士，從事顯示電子學、光電測試與評估方面的研究，tym@seu.edu.cn。

Design of Augmented Reality Evaluation System Based on Binocular Vision*

CHEN Chunfei1，CHEN Qiong2，TANG Yongming*
（1.School of Electronic Science and Engineering，Southeast University，Nanjing 211189，China；2.School of Chien-ShiungWU college，Southeast University，Nanjing 211189，China）

To improve monocular vision shortcoming of unrealistic，uncomfortable and small range users，an augment?ed reality evaluation system is proposed，which selects high resolution，wide color gamut and high integration 2 mm× 17 mm micro OLED display as an imaging image source，large size BS prism and a concave mirror as an imaging ele?ment，control the image magnification to improve the field of view.The system can achieve high clarity and stability of monocular and binocular augmented reality imaging effect.With a multi-dimensional adjustable degree，the magni?fication times can be from one to infinite，the eyes'district and binocular image synthesis angle also can be adjusted. Key words：optical modeling；binocularaugmented reality；binocular image fusion；OLED micro display；multi-di?mensional regulation

R339.14

A

1005-9490（2016）02-0248-05

EEACC：6140C；7230G10.3969/j.issn.1005-9490.2016.02.003

項目來源：東南大學2014年基于教師科研的大學生創(chuàng)新實踐研究項目（T14062002）

2015-06-06修改日期：2015-07-03