集裝箱起重機(jī)模擬器的立體顯示及景深

, ,

(1.天津理工大學(xué) 海運(yùn)學(xué)院， 天津300384； 2.大連海事大學(xué) 航海動態(tài)仿真及控制交通運(yùn)輸部重點(diǎn)實(shí)驗(yàn)室, 遼寧 大連 116026)

集裝箱起重機(jī)模擬器的立體顯示及景深

趙猛1,尹勇2,崔建輝1

(1.天津理工大學(xué)海運(yùn)學(xué)院，天津300384； 2.大連海事大學(xué)航海動態(tài)仿真及控制交通運(yùn)輸部重點(diǎn)實(shí)驗(yàn)室,遼寧大連116026)

根據(jù)集裝箱裝卸培訓(xùn)特點(diǎn)，提出對集裝箱起重機(jī)模擬器采用立體顯示恢復(fù)出虛擬場景的深度信息，以提高模擬器仿真環(huán)境的逼真度。提出一種精確確定立體圖像繪制時雙視點(diǎn)距離的計(jì)算方法,使人眼能舒適地融合物理屏幕上的雙眼圖像。根據(jù)多人觀測結(jié)果的均值確定物理屏幕人眼深度可融合范圍;通過零視差面與固定物理屏幕間的射影變換得出雙視點(diǎn)距離設(shè)定值。試驗(yàn)結(jié)果表明,固定物理屏幕立體顯現(xiàn)不可避免地會產(chǎn)生深度方向上的壓縮，該方法適于不同尺度的虛擬場景。

集裝箱起重機(jī);模擬器;立體顯示;視差;深度感知

Abstract: According to the characteristics of container handling training，a stereo display mode is used to recover the depth information of virtual scene and improve the fidelity of the simulator environment. In order to fuse stereo images comfortably with the fixed physical screen by human eyes, the parallax of stereo images must be controlled within a certain range. A method for accurately determining distance of two viewpoints in virtual scene is presented. According to the mean results of subjects’ observation, critical depth of fusion limitation in the physical screen space is determined. According to projective transformation of zero-parallax surface to the physical screen, the distance of two viewpoints is deduced. Test results show that stereo display on the fixed physical screen will inevitably engender compression in the depth direction. The method is suitable for multi-scale virtual scene.

Keywords: container crane; simulator; stereo display; parallax; depth perception

岸邊集裝箱起重機(jī)模擬器[1]屬于微觀海事仿真范疇，在水路安全運(yùn)輸生產(chǎn)仿真方面不可缺少。國內(nèi)各類海事仿真模擬器的研制雖然起步較晚，但已開發(fā)出比較成熟的系統(tǒng),如船舶操縱模擬器、輪機(jī)模擬器、全球海上遇險與安全系統(tǒng)(Global Maritime Distress and Safety System,GMDSS)仿真系統(tǒng)等。對于集裝箱起重機(jī)模擬器，國內(nèi)相關(guān)機(jī)構(gòu)[2-4]的開發(fā)都還處于原型機(jī)階段，沒有代表性的產(chǎn)品;國外商業(yè)化產(chǎn)品[5]已得到廣泛應(yīng)用，但大多采用單視點(diǎn)系統(tǒng)，駕駛員對場景中景物間(如集裝箱與船)、景物與人之間的距離不能很好地把握，培訓(xùn)效果大打折扣。對此,提出采用立體顯示技術(shù),并給出一種繪制立體圖像時雙視點(diǎn)距離的確定方法,在符合人眼生理機(jī)能的基礎(chǔ)上，最大限度地增強(qiáng)虛擬場景的景深層次感，使模擬器仿真環(huán)境更接近于真實(shí)場景。

1 岸邊集裝箱起重機(jī)模擬器

對于危險性高、培訓(xùn)周期長和投入多等行業(yè)的操作訓(xùn)練或維修培訓(xùn)，采用虛擬顯示技術(shù)可顯著提高培訓(xùn)效果、節(jié)約培訓(xùn)成本。岸邊集裝箱起重機(jī)模擬器是虛擬現(xiàn)實(shí)技術(shù)的典型應(yīng)用，圖1為采用OSG(OpenSceneGraph)作為視景開發(fā)工具生成的集裝箱起重機(jī)模擬器三維可視化場景。

b) 視點(diǎn)漫游場景

岸邊集裝箱起重機(jī)的吊具與集裝箱對位操作是起重機(jī)司機(jī)培訓(xùn)的核心內(nèi)容，操作過程中通過眼睛判斷及視頻圖像輔助,準(zhǔn)確無誤地將吊具四角上的鎖頭插入到集裝箱頂上對應(yīng)的角件孔中并縮緊。隨著港內(nèi)潮高發(fā)生變化，岸邊集裝箱起重機(jī)的駕駛室一般距離水面40 m以上[6]，司機(jī)需在該高度上控制吊具的起升和下降，并配合調(diào)整起重機(jī)大車與駕駛室的位置,實(shí)現(xiàn)準(zhǔn)確的對位，稍有失誤就會造成箱體、船體或吊具損壞。

每個集裝箱在船上的垂直位置都是不同的，起重機(jī)司機(jī)在裝卸過程中需依靠經(jīng)驗(yàn)判斷箱子與自己的距離、箱子與吊具的距離及吊具起升與下降的高度等。文獻(xiàn)[7]通過2個攝像頭獲取箱體的視差圖像，從2個視差圖像中恢復(fù)出箱體的位置信息，實(shí)現(xiàn)吊具的自動對位操作,目前還處于初期研究階段。對于采用立體顯示系統(tǒng)的模擬器，培訓(xùn)司機(jī)通過佩戴立體顯示設(shè)備[8]觀察繪制的雙眼虛擬場景圖像，在投影幕或顯示器前后的一定距離內(nèi)恢復(fù)出具有一定景深的立體圖像，以此增強(qiáng)三維顯示效果，提高培訓(xùn)質(zhì)量。

2 立體視差顯示原理

在真實(shí)的環(huán)境中，受限于人眼的生理機(jī)能，需在人眼調(diào)焦與輻輳的共同作用下于觀察點(diǎn)附近形成立體視覺，且視網(wǎng)膜上被觀察點(diǎn)附近的景物清晰,此時人眼所感知的調(diào)焦距離與輻輳距離一致,等于觀察點(diǎn)到人眼的距離，立體視覺舒適。同時,相對于該觀察點(diǎn)，視網(wǎng)膜上的遠(yuǎn)景及近景圖像均模糊顯示，這就避免了因視覺干擾而造成疲勞(見圖2a)。在仿真環(huán)境中, 經(jīng)圖形繪制流水線繪制后，整個三維場景的雙眼視差圖像完全清晰地顯示在屏幕上，若雙視點(diǎn)距離的設(shè)置不合理,則會使物理屏幕上產(chǎn)生遠(yuǎn)景與近景的大視差圖像(見圖2b)，此時人眼調(diào)焦在物理屏幕上，但超出了輻輳距離，二者長時間不一致會造成視覺疲勞，甚至導(dǎo)致人眼立體視覺建立失敗。可見,雙視點(diǎn)距離設(shè)置是繪制立體圖像的關(guān)鍵。

a)

b)

對于虛擬場景雙眼圖像的繪制,可采用內(nèi)束模型和離軸模型2種模型設(shè)置雙視點(diǎn)視見體，其中內(nèi)束模型會使立體圖像產(chǎn)生垂直變形，且同一深度面與視線不垂直[9]，與真實(shí)人眼的立體視覺不符。這里介紹離軸模型的一種雙視點(diǎn)距離的確定方法。圖3為人眼可融合深度范圍。

a)

b)

圖3a中,人眼可通過調(diào)焦與輻輳，在物理屏幕前后一定范圍內(nèi)融合同一物體的雙眼圖像，形成清晰的立體視覺。零視差點(diǎn)圖像、正視差點(diǎn)圖像和負(fù)視差點(diǎn)圖像分別被人眼感知在屏幕上、屏幕后及屏幕前。虛擬場景中正確設(shè)置雙視點(diǎn)距離的目的是使虛擬場景整個深度范圍內(nèi)的物體被人眼感知在物理屏幕前后可舒適地建立立體視覺的深度范圍內(nèi)。

圖3b中,對于場景中任意一點(diǎn)P(x,y,z),投影在深度為f的虛擬屏幕(即零視差面)上，左眼圖像在零視差面上的投影點(diǎn)P左的坐標(biāo)為

(1)

右眼圖像在零視差面上的投影點(diǎn)P右的坐標(biāo)為

(2)

由式(1)和式(2)可知，離軸模型不產(chǎn)生垂直視差，在零視差面上的水平視差值為

(3)

由式(3)可知，對于給定的零視差面深度f和雙視點(diǎn)距離s，同一深度點(diǎn)的視差值只與該點(diǎn)虛擬場景的深度z有關(guān)，處于被感知的同一深度面上，符合人眼生理視覺。

虛擬場景中:S值確定太小，場景深度層次感弱，立體效果不明顯；S值確定太大，視差值處于臨界深度外，產(chǎn)生復(fù)視，不能建立立體視覺。通常通過反復(fù)試驗(yàn)獲得舒適的雙視點(diǎn)分離距離，但結(jié)果不具通用性。針對不同空間尺度的虛擬場景及不同的顯示設(shè)備尺寸(投影屏幕或顯示器)，給出一種具有普遍性、能精確確定虛擬場景中雙視點(diǎn)距離的方法。

3 立體深度與視差計(jì)算

與真實(shí)環(huán)境相比，通過觀察固定距離屏幕上的左右眼圖像建立立體視覺是有局限性的。設(shè)置的雙視點(diǎn)距離值需以下面2點(diǎn)為前提。

1) 若物理屏幕與人眼的距離固定不變，則在該屏幕上人眼能融合的圖像視差是有一定范圍的，存在最大正視差(入屏幕顯示)和最小負(fù)視差(出屏幕顯示)。

2) 虛擬場景的景深與物理屏幕上人眼可融合的深度范圍不一定一致，景深大于可融合范圍，人眼感受到的三維物體景深被壓縮；景深小于可融合范圍，人眼感受到的三維物體景深被擴(kuò)展。

圖4為虛擬場景的零視差面,其中:S為虛擬場景中兩視點(diǎn)間的距離;D近和D遠(yuǎn)為2個視點(diǎn)所確定的視見體的近裁減面及遠(yuǎn)裁剪面與視點(diǎn)間的距離，則虛擬場景的景深為D遠(yuǎn)-D近，與視點(diǎn)間的距離為D零的平面為零視差面，該面上的點(diǎn)被人眼感知顯示在物理屏幕上;d近和d遠(yuǎn)為景深中最近點(diǎn)P近及最遠(yuǎn)點(diǎn)P遠(yuǎn)在零視差面上投影的視差值;N為零視差面的寬度。由此可得

圖4 虛擬場景的零視差面

(4)

(5)

從圖4中可看出,零視差面為三維場景的投影面，三維圖形繪制后經(jīng)投影機(jī)顯示在物理屏幕上，因此2個屏幕滿足中心投影的射影變換(見圖5)。P遠(yuǎn)的視差d遠(yuǎn)在物理屏幕上的投影為d正，P近的視差d近在物理屏幕上的投影為d負(fù)，物理屏幕的寬度為M,則

(6)

圖5 投影機(jī)的射影變換

可見,物理屏幕與零視差面寬度的比值等于相應(yīng)視差的比值，將式(6)變換為式(7)的形式。

(7)

由式(7)可知,零視差面和物理屏幕上的最大正視差與最小負(fù)視差的比值相等。將式(4)和(5)代入到式(7)中,可得

(8)

從式(8)中可看出，若系數(shù)γ已知，則由D遠(yuǎn)和D近可唯一確定零視差面所在深度值。若要調(diào)解正視差與負(fù)視差的深度范圍，可首先確定出零視差面與任意裁減面的深度值，再由式(8)確定另一深度裁減面。

文獻(xiàn)[10]和文獻(xiàn)[11]通過試驗(yàn)得到物理屏幕后的立體視覺深度范圍要比屏幕前的大的結(jié)論，即人眼機(jī)能可融合物理屏幕后更大的視差范圍，且入屏幕顯示的立體效果更好，人眼立體視覺更舒適。集裝箱起重機(jī)司機(jī)是透過駕駛室窗體觀察裝卸操作的(如圖1a所示)，因此可將虛擬場景中的零視差面設(shè)置在虛擬窗體所在深度處，通過設(shè)置合理的雙視點(diǎn)距離將駕駛室外整個深度場景限制在固定物理屏幕后的正視差范圍內(nèi)，而駕駛室內(nèi)的虛擬操作設(shè)備可用實(shí)物操作設(shè)備來替代，避免人眼觀察到負(fù)視差圖像，減輕人眼疲勞,提高模擬器的環(huán)境真實(shí)感。

虛擬場景中零視差投影面的寬度為

N=2D零tan(θ/2)

(9)

式(9)中:θ為雙視點(diǎn)視見體水平視場角。

對式(5)、式(6)及式(9)進(jìn)行整理,可得到雙視點(diǎn)距離為

(10)

可見,雙視點(diǎn)距離的確定與虛擬場景的景深、物理屏幕的人眼融合范圍、物理屏幕的尺寸及雙視點(diǎn)視見體的視場角有關(guān)。

4 物理屏幕深度可融合范圍的試驗(yàn)確定

立體顯示系統(tǒng)配備的硬件眾多，最簡單的配置既可以是桌面CRT顯示器加主動立體眼鏡，也可以是雙投影機(jī)在大屏幕上投影出左右眼圖像、人眼佩戴被動立體眼鏡。[8]對于不同的立體顯示系統(tǒng)及不同的人眼到屏幕的距離，固定物理屏幕的人眼可融合深度范圍是不同的，這里采用多次試驗(yàn)取均值的方法獲得固定物理屏幕人眼立體視覺臨界深度。

試驗(yàn)設(shè)備采用邊長為2.5 m的正方形投影幕及雙投影機(jī)(見圖6)，采用真實(shí)場景的尺度繪制虛擬場景。物理屏幕的主要參數(shù)見表(1)，試驗(yàn)步驟如下。

圖6 固定物理屏幕

固定物理屏幕參量參數(shù)值屏幕物理寬度/m2.5人眼到屏幕距離/m2.5雙眼瞳距/m0.065最大正視差/m0.058最小負(fù)視差/m0.051最大正視差深度/m23.2最小負(fù)視差深度/m1.4γ0.88

1) 人眼雙瞳間的距離采用眼科醫(yī)學(xué)試驗(yàn)的通用值0.065 m，人眼在距離物理屏幕2.5 m處觀測雙眼圖像。

2) 設(shè)定虛擬場景的雙視點(diǎn)距離也為0.065 m, 零視差面所在深度值和寬度都為2.5 m，雙視點(diǎn)視見體水平視場角為53.1°,在該深度上繪制一個測量物標(biāo)，則該物標(biāo)被人眼立體視覺感知顯示在物理屏幕上，其視差為零。

3) 虛擬場景中,在深度方向上平移物標(biāo)，物標(biāo)深度從零視差面增加會使物標(biāo)視差正向增大，物標(biāo)深度從零視差面減小會使物標(biāo)視差負(fù)向增大。

4) 平移到人眼不能融合該物標(biāo)在物理屏幕上的雙眼圖像時，立體視覺建立失敗，此時分別測量該物標(biāo)最大的正視差和最小的負(fù)視差。

5) 取10次測量的平均值。最小負(fù)視差為0.051 cm，最大正視差為0.058 cm，對應(yīng)真實(shí)場景人眼感知深度值為1.4 m和23.2 m。

5 結(jié)果分析

虛擬場景的主要參數(shù)見表2,虛擬場景1按集裝箱起重機(jī)操作環(huán)境的特點(diǎn)進(jìn)行參數(shù)設(shè)置，集裝箱起重機(jī)駕駛艙為4 m2左右的透窗操作間，距離水面約50 m;以船長200 m為例繪制虛擬場景，設(shè)置駕駛艙窗體所在深度為零視差面，其值為2 m，遠(yuǎn)裁減面深度值為200 m，則根據(jù)式(8)可得近裁減面深度值為1.07 m，根據(jù)式(10)可得雙視點(diǎn)距離為0.025 m。為進(jìn)行對比，給出另一組虛擬場景參量。

表2 虛擬場景的主要參數(shù) m

5.1 場景1

場景1中的整個場景深度值為198.93 m，在距離人眼2.5 m且人眼可融立體深度為21.8 m的物理屏幕前后建立立體視覺。由于虛擬場景的深度范圍大于物理屏幕人眼深度可融合范圍，因此為兼顧近景與遠(yuǎn)景的圖像視差，虛擬場景設(shè)置的雙視點(diǎn)距離要小于實(shí)際人眼雙瞳的距離，這是以犧牲物理屏幕上人眼所感知的深度范圍(場景深度的層次感)為代價來彌補(bǔ)人眼立體視覺建立的舒適度。在現(xiàn)有的立體顯示系統(tǒng)中，該深度上的壓縮是不可避免的。本質(zhì)上,現(xiàn)有的立體顯示系統(tǒng)均未體現(xiàn)出與人眼調(diào)焦及輻輳相適應(yīng)的支持設(shè)備。

5.2 場景2

場景2中的物體均為遠(yuǎn)景物體(200 m以上)，對于距離眼2.5 m的物理屏幕而言，200 m以外的景物之間的深度層次感已不明顯。為了使200～1 000 m內(nèi)的景物被立體感知在物理屏幕的前后，并增強(qiáng)遠(yuǎn)景物體間的深度層次感，虛擬場景的雙視點(diǎn)距離設(shè)置值要遠(yuǎn)遠(yuǎn)大于真實(shí)人眼雙瞳距離。經(jīng)計(jì)算,虛擬場景深度391.7 m處的景物會被立體視覺感知在物理屏幕上，200～1 000 m的遠(yuǎn)景物體在物理屏幕可融合深度范圍內(nèi)顯示。該情況適于虛擬場景尺度較大的立體顯示，如地形漫游、虛擬天體演示等。

6 結(jié)束語

岸邊集裝箱起重機(jī)模擬器對保障港口安全生產(chǎn)、提高操作員的業(yè)務(wù)水平起著不可替代的作用。針對集裝箱裝卸培訓(xùn)內(nèi)容及其特點(diǎn)，提出對模擬器采用立體顯示方式，有限度地恢復(fù)出場景的深度信息，使仿真環(huán)境更加真實(shí)，從而提高培訓(xùn)質(zhì)量。在分析人眼立體視覺建立的生理機(jī)能的基礎(chǔ)上，分析人眼在固定物理屏幕上建立立體視覺與在真實(shí)環(huán)境中建立立體視覺的區(qū)別。固定物理屏幕只能在其前后的一定范圍內(nèi)建立立體視覺，因此對于一定尺度的虛擬場景，所感知的深度值在視線方向上是壓縮的。根據(jù)不同尺度的虛擬場景及仿真系統(tǒng)，通過推導(dǎo)給出虛擬場景雙視點(diǎn)距離的計(jì)算方法，使雙眼圖像視差范圍控制在固定物理屏幕上人眼可融合的深度范圍內(nèi)，從而使人眼能建立舒適的立體視覺。經(jīng)過試驗(yàn)驗(yàn)證，該方法適合于不同尺度的虛擬場景。

[1] 嚴(yán)新平,吳兵,汪洋,等. 海事仿真研究現(xiàn)狀與發(fā)展綜述[J]. 系統(tǒng)仿真學(xué)報(bào),2015,27(1):13-28.

[2] 董熙晨,朱澤,王國賢,等.基于開放式系統(tǒng)及COTS技術(shù)的起重機(jī)操作訓(xùn)練模擬系統(tǒng)的開發(fā)[J].武漢理工大學(xué)學(xué)報(bào),2012,36(4):765-768.

[3] 梁曉波,程文明,易嘉偉,等.集裝箱起重機(jī)半物理仿真系統(tǒng)的研究與設(shè)計(jì)[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2014,35(4):1356-1360.

[4] 孫豐鑫.基于虛擬現(xiàn)實(shí)的集裝箱岸吊仿真培訓(xùn)系統(tǒng)的集成與研究[D].北京:清華大學(xué),2010.

[5] PATRAO B, MENEZES P. An Immersive System for the Training of Tower Crane Operators[C]. IEEE International Conference On Experiment, 2013: 158-159.

[6] 杜浚銘. 岸邊集裝箱起重機(jī)起升高度與集裝箱船舶匹配度計(jì)算模型[J]. 集裝箱化.2012,23(8):30-31.

[7] YOON H J, HWANG Y C, CHA E Y. Real-Time Container Position Estimation Method Using Stereo Vision for Container Auto-Landing System[C]∥International Conference on Control, Automation and Systems, 2010: 872-876.

[8] 張新宇，尹勇， 任鴻翔，等. 航海模擬器配備立體視景系統(tǒng)的方法研究[J]. 中國航海,2010,33(3):10-13.

[9] 趙猛, 金一丞, 尹勇. 立體顯示中雙目視差模型和深度感知研究[J]. 計(jì)算機(jī)工程, 2011, 37(17): 271-273.

[10] DI X, LINO E, PANOS N. Quality of Experience for the Horizontal Pixel Parallax Adjustment of Stereoscopic 3D Videos[C]∥IEEE International Conference on Consumer Electronics, 2012:394-395．

[11] KIM J, KIM N, OH S. Depth Budget for Visual Comfort in Stereoscopic Watching Environment[J].International Journal of Computer Science and Network Security, 2013, 13(1):7-12.

Stereo Display of Container Crane Simulator and Stereo Depth

ZHAOMeng1，YINYong2，CUIJianhui1

(1. Maritime College， Tianjin Technology University， Tianjin 300384， China； 2. Key Laboratory of Marine Simulation & Control, Ministry of Transport, Dalian Maritime University, Dalian 116026, China)

1000-4653(2016)03-0097-05

TP391.9;U653.921

A

2016-04-22

天津市高等學(xué)校科技發(fā)展基金計(jì)劃項(xiàng)目(20130910);天津市普通高等學(xué)校本科教學(xué)質(zhì)量與教學(xué)改革研究計(jì)劃項(xiàng)目(B01-0818)

趙 猛(1978—) ，男，天津人，講師，博士，主要研究方向?yàn)楹胶７抡婕夹g(shù)，視景仿真技術(shù)。E-mail:zh52547110@163.com 尹 勇(1969—) ，男，湖北鄖縣人，教授，博士生導(dǎo)師，主要研究方向?yàn)楹胶７抡婕夹g(shù)、實(shí)時圖形算法、虛擬現(xiàn)實(shí)技術(shù)、多通道視覺系統(tǒng)等。E-mail:bushyin@163.com