三維遙感影像立體觀察與視差校正仿真軟件的研究與開發

童恒建, 裴 謙

(中國地質大學(武漢) 計算機學院， 湖北 武漢 430074)

?

·專題研討——虛擬仿真實驗(31)·

三維遙感影像立體觀察與視差校正仿真軟件的研究與開發

童恒建, 裴 謙

(中國地質大學(武漢) 計算機學院， 湖北 武漢 430074)

攝影測量與遙感課程是遙感科學與技術、測繪科學與技術、地理信息系統等專業的必修課。立體觀察是攝影測量與遙感課程中重要理論部分和實驗環節。雙目視差是產生立體視覺的基礎。但是，如果視差太大，將產生復視現象，導致視覺疲勞，所以要進行視差校正。在實驗室中，常用的立體觀察方式有互補色立體觀察、偏振光立體觀察等。這些觀察方法需要相應的硬件和立體像片；不僅價格昂貴，而且像片和設備容易耗損。三維遙感圖像立體觀察與視差校正的仿真軟件是基于瀏覽器/服務器模式開發的。任何地方的學生，只要帶上紅青互補色眼鏡，通過瀏覽器就可以觀測到兩幅圖像合成后的立體影像；視差校正既有模仿硬件觀察的手動方式，也有智能的自動校正方式。

攝影測量與遙感； 三維遙感影像； 立體觀察； 視差校正

0 引 言

單張像片只能確定地面點的方向，不能確定地面點的三維空間位置，有了立體像對，則可構成模型，解求地面點的空間位置。立體模型是雙像解析攝影測量的基礎，用數學或模似的方法，重建地面立體模型，從而獲取地面的三維信息，是攝影測量的主要任務。立體觀察是攝影測量與遙感課程一個重要理論部分和實驗環節[1-4]。視差是產生立體視覺的基礎。常用的立體觀察方式有立體鏡式(袖珍立體鏡，反光立體鏡，立體量測觀察系統)、疊映式(互補色法，偏振光法,光閘法)和雙目觀測光路式。這些觀察方法不僅需要像片，而且需要相應的硬件；如果在計算機內進行觀察和量測，則需昂貴的數字攝影測量工作站。學生實習時，如果一個班30人，每人一套設備，將需要30套。一套最簡單的立體鏡設備平均5 000元，則至少需要15萬元。此外，像片和設備容易耗損。

本文研究的軟件為三維遙感圖像立體觀測以及視差校正的仿真軟件。采用基于Internet網絡的瀏覽器/服務器(Browser/Server)模式，左右兩幅圖像將縱向建立金字塔結構、橫向分塊的結構存儲在服務器端，兩幅圖像的同名點的視差信息也存儲在服務器端。學生帶上一個便宜的紅青互補色眼鏡(在淘寶網上3元錢就能買1個)，通過瀏覽器就可以觀測到兩幅圖像合成后的立體影像。本文研究的仿真軟件實驗的優點是：① 受眾面廣；立體觀察、視差校正等概念是“攝影測量與遙感”課程一個重要理論部分和實驗環節。而“攝影測量與遙感”課程是遙感科學與技術、測繪科學與技術、地理信息系統等專業的必修課。以中國地質大學(武漢)為例，緊密相關的專業有：信息工程學院的遙感科學與技術、測繪工程兩個專業。兩個專業都有攝影測量教學實習環節。相關的專業有：信息工程學院的軟件工程專業、信息工程專業、地理信息系統專業；還有地球科學學院的地理科學專業、地球物理與空間信息學院的地球信息科學與技術專業等。這些專業都開設了“遙感圖像處理”等課程。以一個專業平均兩個班計算，則有14班的學生，大約420名學生。如果以武漢大學為例，則密切相關的有三個學院的學生：遙感信息工程學院、資源與環境科學學院和測繪學院。此外，由于采用基于Internet網絡的瀏覽器/服務器模式，不僅本校學生可以實習立體觀測以及視差校正的效果，而且外校的學生也可以通過瀏覽器訪問，達到實習的目的，體現了大學的教書育人和社會服務功能。② 節儉，方便；除了軟件開發費用和購買遙感圖像費用外，研究開發成功后，不再需要其它費用。而且學生實習時，不用到實驗室，隨時隨地可以進行實習(只要能上網，就能訪問服務器提供的實習環境)，深刻理解立體觀測、視差校正的理論和概念，直觀形象地體會立體觀測和視差校正的效果。

根據查閱的文獻資料，目前還沒有發現基于HTML5技術進行在線立體觀察和視差校正的同類仿真軟件。

1 三維遙感圖像的數據組織

三維遙感圖像的生成過程如圖1所示。由于要進行視差校正，我們保留了生成后的遙感圖像左圖像和右圖像。由于遙感圖像的數據量大，Internet上傳輸時，不可能一次直接從服務器傳輸到瀏覽器。通常的數據組織方法是為一個城市或一個區域的場景進行分幅，每一幅是一個大圖像文件；然后為每一幅大圖像建立金字塔分層結構，最后對每層圖像進行小的分塊，分塊大小一般為256×256像素，每一小塊稱為瓦片[5-8]。這樣做的目的是快速地響應用戶的請求，如：放大、縮小和慢游等操作。建立多分辨率的金字塔分層結構就是為了響應放大和縮小操作。每層剖分成小的瓦片，目的是按需調度和動態調度。每次當用戶請求時，只需要根據瀏覽器端的用戶窗口的范圍，傳輸很小的數據量，當上下左右漫游，超過窗口的范圍時，只需要傳輸邊界的小瓦片，這樣，極大地節約了網絡帶寬，提高了數據傳輸速度，快速響應用戶的請求，帶給用戶平滑地觀察三維遙感圖像的感覺。三維遙感圖像的數據組織的詳細內容請參考文獻[8-9]。鑒于文章內容的連貫性，以及為了讓讀者更好地理解仿真軟件的設計思想，本文宏觀地描述重要的內容。三維遙感圖像的數據組成的邏輯結構，總體來說是“橫向分幅、縱向分層、層內分塊”，如圖2所示，形成了一個金字塔矩陣結構，金字塔的每一層又形成了瓦片矩陣結構。具體的物理結構如圖3所示。整個場景是“8×8”的矩陣結構，即有64幅大圖像，對應64個目錄文件夾，每一個目錄表示一幅大圖像，如圖3中目錄“16”所示，“16”表示該幅大圖像在大圖像矩陣中行號為“1”列號為“6”。每幅大圖像都建立了金字塔的分層結構，金字塔的每層被剖分為瓦片矩陣結構，每個小瓦片對應一個文件名，如圖3中目錄“16”下的文件名“rs5028020.jpg”所示，“rs”是文件名前綴，“5”表示該瓦片所在的金字塔的層號，“028”表示該瓦片在瓦片矩陣中的行號，“020”表示該瓦片在瓦片矩陣中的列號。

圖1 高分辨率三維彩色圖像生成流程圖

圖2 三維遙感圖像金字塔矩陣邏輯結構圖

圖3 三維遙感圖像數據組織物理結構

2 三維遙感圖像的視差校正過程

航空攝影直接獲得的圖像數據通常存在視差，一些起伏較大的區域存在較大的視差。雙目視差(主要是水平視差)是產生立體視覺的基礎,但是，如果視差太大，將容易產生復視現象、導致視覺疲勞、甚至暈眩[10-11]，所以要進行視差校正。視差校正的目的是使顯示窗口內的三維立體圖像的總體視差變小，保持在人眼可以接受的范圍之內，讓人眼看起來舒服。本文視差校正的原理，如圖4所示。移動右圖像的紅波段，然后與左圖像的藍、綠波段重新組合，生成新的三維立體圖像。手動校正的過程是根據設置的值，直接水平移動右圖像的紅波段。自動校正的過程較復雜，要根據顯示窗口內瓦片上左右兩幅圖像的同名點的視差信息，根據算法[9]自動計算出需要校正的視差大小，即需要移動的紅波段圖像的像素數目。其中，移動過程以及三個波段的合成過程與手動校正的過程相同。過去做科研項目時，我們開發了一個三維遙感圖像的在線發布和視差校正系統[9]。該系統的視差校正過程是在服務器端完成的。當大量用戶同時訪問服務器時，會導致服務器負載過重，響應用戶請求的時間變長，瀏覽器端的用戶感覺到明顯的延遲。現在的系統是基于最新的HTML5技術開發的，詳細的視差校正流程圖如圖5所示。從圖5我們可以看出，系統的主要功能和視差校正的過程在瀏覽器端完成，是一個富瀏覽器的體系結構，服務器只負責提供數據。整個系統雖然是一個富瀏覽器的體系結構，但是由于是基于HTML5技術開發的，瀏覽器端不需要安裝任何插件，只需要瀏覽器支持HTML5，現在新的瀏覽器都支持HTML5技術。由于服務器端CPU負載很輕，新的系統能適應大量用戶的并行訪問，而且響應速度很快。

圖4 三維遙感圖像視差校正的示意圖

3 系統實現和實驗結果

系統包括三大部分：

(1) 數據管理軟件的開發。功能包括：為遙感圖像建立多分辨率金字塔；將金字塔的每一層剖分為小塊瓦片；為每塊瓦片建立空間索引等。

(2) 服務器端軟件的開發。功能包括：在內存或硬盤中組織瓦片數據；在內存中組織同名點的視差數據；響應瀏覽器端用戶的請求，把指定范圍的瓦片數據發送到瀏覽器端。

(3) 瀏覽器端軟件的開發。功能包括：用戶界面的設計；坐標系統轉換；視差校正；三維遙感圖像的合成；根據用戶的操作，向服務器發送請求。整個系統的功能是：三維圖像立體觀察、瀏覽(移動、放大、縮小)和視差校正(手動校正、自動校正)。三維遙感圖像的立體觀察與視差校正仿真軟件的界面如圖6和7所示。圖6是視差校正之前的三維遙感圖像。圖7是自動視差校正之后的三維遙感圖像。從兩幅圖像對比，可以看出總體視差明顯減少。視差校正包括自動校正過程和手動校正過程。手動校正過程是實驗室硬件(如：橋式立體眼鏡)立體觀測過程的仿真。包括左移和右移兩個按鈕，移動的像素的數目可以設置。這個過程相當于在實驗室用手左右移動航空相片立體像對。軟件演示網站是：http://cs.cug.edu.cn/teacherweb/tonghengjian/imageRefine/imageData/index.htm。讀者可以帶紅青互補色眼鏡，親身體驗一下立體觀察和視差校正的效果。

圖5 基于HTML5技術的三維遙感圖像視差校正流程圖

4 結 語

實驗教學不僅能加深學生對理論知識的理解和掌握，而且是培養學生動手能力、創新能力的重要教學環節,在創新人才培養中發揮著無可替代的作用[12-16]。中國地質大學(武漢)非常重視實驗教學環節，每年都有專項經費用于實驗場所、實驗儀器和仿真軟件的建設和研究。本文是在中國地質大學(武漢)實驗技術研究項目資助下完成的。

視差理論、立體觀察是“攝影測量與遙感”課程重要內容。該課程是遙感科學與技術、測繪科學與技術、地理信息系統等專業的必修課，其它相關專業的選修課，而且立體觀察是“攝影測量與遙感”課程一個實驗環節。同時，互補色立體圖像的觀察也是“大學物理”課程中的一個實驗內容。本文是作者科研項目與教學相結合的成果總結。本仿真軟件的開發和使用，有助于學生深刻理解視差理論，雙目視差形成立體視覺等理論，直觀形象地體會立體觀測和視差校正的過程與效果。

圖6 視差校正之前的三維遙感圖像

圖7 視差校正之后的三維遙感圖像

[1] 王樹根.攝影測量原理與應用[M].武漢：武漢大學出版社,2009.

[2] 鄧 非,閆利編著.攝影測量實驗教程[M].武漢：武漢大學出版社,2012.

[3] 李德仁.攝影測量與遙感概論[M].2版. 北京：測繪出版社,2008，10.

[4] Jensen J R. 遙感數字影像處理導論[M].3版. 陳曉玲等譯. 北京：科學出版社,2007.

[5] 吳信才,郭玲玲,李 軍.RDBMS和COM的海量遙感影像數據的管理和WEB發布[J].中國圖像圖形學報，2002，7(4)：383-386.

[6] 朱欣焰,陳能成,王 密，等. 面向網絡的海量影像空間數據在線分發技術[J].武漢大學學報(信息科學版),2003,28(3):288-293.

[7] 蔣 杰,應 龍,吳玲達,等.全球衛星遙感影像數據組織與WEB發布[J].計算機工程與應用, 2009,45(21):16-20.

[8] 童恒建,黃 洪,左博新.多波段遙感圖像的數據組織與發布[J].地球科學—中國地質大學學報, 2012,37(3):587-592.

[9] Tong H, Zhang Y, Shao Z. 3D remote sensing images online refining[C]∥17th International Conference on Geoinformatics, Geoinformatics, 2009, 8: 1-6.

[10] Wartell Z, Hodges L, Ribarsky W. An analytic comparison of alpha-false eye separation, imagescaling and image shifting in stereoscopic displays [J]. IEEE Transactions on Visualization and Computer Graphics,2002,8(2):129-143.

[11] Xie, Pingping. A Web-based 3D Visualization Prototype System for High Resolution Satellite Colour Stereo Images[D]. M.Sc.E. thesis, Department of Geodesy and Geomatics Engineering Technical Report No. 223, University of New Brunswick, Fredericton, New Brunswick, Canada, 2004.

[12] 馮曉云,夏有為.實踐育人是大學的根本[J].實驗室研究與探索,2013,32(1):1-4.

[13] 張 微,溫光浩.重視實驗教學環節 加強實踐育人工作[J]. 實驗室研究與探索, 2013,32(6):148-150.

[14] 劉 燕,李曉波.開放的教學實驗平臺建設與創新性人才培養[J].實驗室研究與探索,2014,33(3):211-214.

[15] 黃曉玫.實驗是實踐育人的核心[J].實驗室研究與探索 2014,33(4):1-3.

[16] 黃曉玫.實驗是實踐育人的核心(續)[J].實驗室研究與探索, 2014, 33(5):1-4.

·名人名言·

知識是一座寶庫,而實踐則是開啟寶庫的鑰匙。

——托馬斯·富勒

Research and Development of Simulation Software for 3D Remote Sensing Images Stereoscopic Viewing and Parallax Refining

TONGHeng-jian,PEIQian

(School of Computer Science, China University of Geosciences, Wuhan 430074, China)

Photogrammetry and remote sensing is a main specialized course for the following majors: remote sensing science and technology, surveying and mapping, geographic information system, etc. Stereoscopic viewing is an importantly theoretic and practical training for the course of photogrammetry and remote sensing. Binocular parallax is the basis for generating stereoscopic vision. However, if parallax is larger than eye separation, diplopia or dizziness will occur. Therefore, it is necessary to do parallax refining before conducting stereoscopic observation. The common observation methods in laboratory include anaglyphical stereoscopic viewing and vectograph method of stereoscopic viewing. These methods need not only expensive hardware, but also stereoscopic photos. Simulation software of 3D remote sensing images stereoscopic viewing and parallax refining is developed based on the model of browser/server. Students can observe stereoscopic image by browser without being restricted by time and place as long as they wear a cheap red-cyan 3D glasses. Parallax refining has manual adjusting method and automatic refining way. The manual adjusting method can simulate the operations of hardware observation well.

photogrammetry and remote sensing； 3D remote sensing images； stereoscopic viewing； parallax refining

2015-10-10

國家自然科學基金(No.41171339); 中國地質大學(武漢)實驗技術研究項目(No.SJ-201327,2013)

童恒建(1971-)，男，湖北鄂州人，博士，教授，研究方向為遙感圖像處理與分析。

Tel.：13871290569，027-67883716； E-mail：thj26@cug.edu.cn

TP 751.1

A

1006-7167(2016)03-0077-05