一種基于全景圖像的字幕添加系統

胡遠艷，尚苗星，何紹勇

（四川大學計算機學院，成都 610065）

一種基于全景圖像的字幕添加系統

胡遠艷，尚苗星，何紹勇

（四川大學計算機學院，成都 610065）

對立方體全景圖、魚眼圖和球形全景圖的生成算法進行研究，設計這三種全景圖之間相互轉換的算法，同時設計向全景圖添加文字的算法。該系統實現立方體全景圖、魚眼圖和球形全景圖之間相互轉化的功能，實現向全景圖所構建的三維空間里的任意位置任意方向添加字幕的功能，字體、字號、顏色是可以根據系統選擇的，可導入字幕文件，根據字幕文件格式自動向幀序列圖像里添加文字。

立方體全景圖；魚眼圖；球形全景圖；投影；映射

0 引言

全景圖是計算機圖像處理學界一個新穎的探索性研究課題，它指的是基于圖像的水平360°及上下文空間的圖形組織環境，它是一種全新的圖像信息、組織模式，可以表達完整的周圍環境信息，相當于人們從一個固定點向四周轉一圈所看到的景象。全景圖對于觀察者而言是建立在圖像上立體的多角度的圖像環境[1]。

全景圖是構成虛擬環境的基本單位，是描繪某個視點上周圍環境的圖像。根據全景外在表現形式可以分為立方體全景、球面全景和圓柱形全景三種模式。不同模式的全景圖的存取難易程度均有很大差異。

本系統除了基于傳統的立方體全景圖和球形全景圖魚眼全景，還使用了一種新的全景圖即魚眼圖，魚眼鏡頭是一種超廣角鏡頭，它能夠提供大約180°的視野范圍。利用魚眼鏡頭拍攝照片，可以一次將180°或更大范圍內，即一個半球范圍內的景物，拍攝到一張照片上，兩張魚眼圖片可以合成一個360°的全景圖[2]。

本系統提供了一種方便快捷的方法向立方體全景、魚眼圖及球面全景里添加文字，而且還提供了立方體全景向魚眼圖和球形全景轉換、魚眼圖向立方體全景和球形全景轉換、球形全景向立方體全景和魚眼圖轉換的功能。

1 系統實現

1.1 全景圖之間轉換的實現

（1）立方體全景圖向魚眼圖和球形全景圖轉換

立方體全景圖，由六個平面投影圖像組成，本系統中使用六張圖片分別表示前平面圖像、后平面圖像、左平面圖像、右平面圖像、上平面圖像、下平面圖像。立方體全景圖允許觀察者在水平方向上進行360°的漫游和垂直方向上進行180°的漫游。根據六張平面圖像來建立一個立方體空間模型，立方體投影變換及其反變換算法的核心是投影變換公式[3]。為此我們建立三維空間直角坐標系，如圖1所示，O為三維空間直角坐標系的原點，OX軸正方向為水平向右，OZ軸正方向為垂直指向上，OY軸正方向為垂直XOZ面由外向里。原始立方體由六個面組成，立方體的中心點為三維空間觀察坐標系原點（即視點），a為立方體的邊長（即平面圖像的寬），坐標系坐標單位是以像素為單位。

六個面的坐標方程分別為：前平面：{Y=a/2，（-a/ 2≤X，Z≤a/2）}，后平面：{Y=-a/2，（-a/2≤X，Z≤a/2）}，左平面：{X=-a/2，（-a/2≤Y，Z≤a/2）}，右平面：{X=a/2，（-a/2≤Y，Z≤a/2）}，上平面：{Z=a/2，（-a/2≤X，Y≤a/ 2）}，下平面：{Z=-a/2，（-a/2≤X，Y≤a/2）}。

圖1 立方體6個面和各頂點

平面圖像視平面坐標向觀察坐標系映射，設視平面坐標為（u，v），對應的觀察系坐標為（X，Y，Z），其中0≤u＜a，0≤v＜a。立方體全景圖采用六幅圖像來存儲圖像的數據。前平面圖像任意像素點（u，v）按照映射關系Y=a/2，X=u-a/2，Z=a/2-v映射于觀察坐標系中前平面中點（X，Y，Z），后平面圖像任意像素點（u，v）按照映射關系Y=-a/2，X=u-a/2，Z=v-a/2映射于觀察坐標系中后平面中點（X，Y，Z），左平面圖像任意像素點（u，v）按照映射關系X=-a/2，Y=u-a/2，Z=a/2-v映射于觀察坐標系中左平面中點（X，Y，Z），右平面圖像任意像素點（u，v）按照映射關系X==a/2，Y=a/2-u，Z=a/2-v映射于觀察坐標系中右平面中點（X，Y，Z），上平面圖像任意像素點（u，v）按照映射關系Z=a/2，X=u-a/2，Y=v-a/2映射于觀察坐標系中上平面中點（X，Y，Z），下平面圖像任意像素點（u，v）按照映射關系Z=-a/2，X=u-a/2，Y=a/2-v映射于觀察坐標系中下平面中點（X，Y，Z）。

圖2 球坐標系

在觀察坐標系中建立球坐標系如圖2所示，球坐標系的原點是觀察坐標系的原點O，過P點做PS垂直于XOY平面且與平面交于點S，方位角θ為OX軸沿逆時針旋轉到OS所轉過的角（-π≤θ≤π），俯仰角σ為OP沿逆時針旋轉到OS所轉過的角（-π/2≤σ≤π/2），r為OP的距離，球面坐標P在球坐標系用（θ，σ，r）表示。三維空間中一點P的球坐標（θ，σ，r）與三維空間直角坐標（x，y，z）的映射關系有：z=sin（σ）*r，x=cos（θ）* cos（σ）*r，y=sin（θ）*cos（σ）*r，坐標系坐標單位是以像素為單位。

球面全景圖生成過程。球形全景圖表示水平視角π到-π和垂直視角π/2到-π/2的空間范圍，球形全景圖中每一行像素點都具有相同的垂直視角即俯仰角，每一列像素點具有相同的水平視角即方位角，可以按照方位角從π到-π和俯仰角從π/2到-π/2方式等間距順序存儲[4]。具體計算步驟如下：

設球面全景圖像的寬為L，則它的長為2L，球面半徑R=L/π。球面全景圖像任意像素G（m，n）（0≤m＜2L且0≤n＜L），首先可計算出G點表示的俯仰角和方位角，P的俯仰角σ=（L/2-n）*π/L，方位角θ=（L-m）*π/L；其次根據G點的球坐標（θ，σ，R）計算出P的三維空間直角坐標（x，y，z），z=sin（σ）*R，y=sin（θ）cos（σ）*R，x= cos（θ）cos（σ）*R；然后根據P點空間直角坐標（x，y，z）求出立方體表面與之相映射對應的點M；最后將M點像素值賦值給全景圖像像素點G。

圖3 魚眼圖生成模型

標準魚眼圖生成過程。立方體全景圖像可以轉換成兩張魚眼圖像。魚眼鏡頭的成像原理采用了等距成像模型，建立魚眼圖成像模型[5]，如圖3所示，PG`垂直于YOZ平面，點G`在YOZ平面上，P為G`P與半球面的交點。具體計算步驟如下：

魚眼圖像的寬為2R，則圓形魚眼半徑為R。魚眼圖像上的像素點G（u，v）與觀察坐標系中以半徑為R球面上像素點P（x，y，z）存在一種映射關系。

（2）魚眼圖向立方體全景圖和球形全景圖轉換

一張魚眼圖像可以表示水平視角180°，垂直180°的范圍內的所有景物，即兩張魚眼圖像可以表示水平視角360°和垂直180°的范圍的所有景物。建立魚眼圖像生成模型，如圖3所示，兩張魚眼圖像一張在觀察坐標系中表示水平視角為從π到0范圍內的景物，此魚眼圖稱為前景魚眼圖，另外一張在觀察坐標系中表示水平視角從0到-π范圍內的景物，此魚眼圖像稱為后景魚眼圖。本系統所使用的魚眼圖都為標準魚眼圖，即圓形魚眼圖且魚眼中心就是圖像的中心點。

魚眼圖轉換成球面全景圖算法。球面全景圖左邊一半表示前半球全景（即水平視角θ從π到0的范圍），稱為前半球面全景圖，球面全景圖右邊一半表示前半球全景（即θ從0到-π的范圍），稱為后半球面全景圖。設球面全景圖寬為L，則其長為2L。設球面全景圖像中的任意像素點Q（m，n）（其中0≤m＜2L，0≤n＜L），則可計算出Q點球坐標系坐標（θ，σ，r），θ=（L-X）*π/L，σ=（L-2Y）*π/（2L），r=L/π，設半球面上與Q點經緯度相同的點為P（x，y，z），則可計算出P點坐標，x= cos（θ）*cos（σ）*R，y=sin（θ）*cos（σ）*R，z=sin（σ）*R（R為半球面半徑），根據P（x，y，z）可求出G`（0，y`，z`），y`= y，z`=z，然后根據G`點坐標求出與之對應的魚眼圖上的像素點G（u，v），當0≤m≤L時，與之對應的G點在前魚眼圖像中，當L＜m≤2L時，與之對應的G點在h后魚眼圖像中。最后魚眼圖上的G像素點像素值賦值給前半球面全景圖上的像素點Q。按照以上算法可以將前魚眼圖和后魚眼圖轉換成球面全景圖。

（3）球形全景圖向魚眼圖和立方體全景圖轉換

球形全景圖表示水平視角π到-π和垂直視角π/ 2到-π/2的空間范圍，球形全景圖中每一行像素點都具有相同的垂直視角，每一列像素點具有相同的水平視角。建立如圖2所示的三維空間直角坐標系和球坐標系，O為坐標系原點，OX軸正方向為水平向右，OZ軸正方向為垂直指向上，OY軸正方向為垂直XOZ面由外向里，三維空間直角坐標系用（x，y，z）表示，過P點做PS垂直于XOY平面且與平面交于點S，方位角θ為OX軸沿逆時針旋轉到OS所轉過的角（-π≤θ≤π），俯仰角σ為OP沿逆時針旋轉到OS所轉過的角（-π/ 2≤σ≤π/2），r為OP的距離，球面坐標P在球坐標系用（θ，σ，r）表示。

設球形全景圖寬為L，長為2L，球形全景圖中任意像素點H（u，v）（其中0≤m＜2L，0≤n＜L）對應的俯仰角為σ、方位角為θ，則u、v與σ、θ有以下映射關系：σ=（L-2v）*π/（2L），θ=（L-u）*π/L。

本研究結果顯示治療后鼻竇開放組和上頜竇根治組VAS評分、炎癥指標(hs-CRP、TNF-α、IL-2)、SNOT-22量表評分高于球囊擴張組(P<0.05)；且無論從術后生活質量還是術后炎性因子水平分析，球囊擴張組均優于其他兩組，這與于青青等[21]的Meta分析結果相符。Raghunandhan等[22]對20例行鼻竇球囊擴張術的CRS患者進行前瞻性研究發現，其術后癥狀評分顯著降低，療效顯著，本研究結果與其一致。雖然與傳統手術相比，鼻竇球囊擴張術手術時間短，術中出血少，術后癥狀輕，患者痛苦小，術后恢復好，但鼻竇球囊擴張術較傳統術式費用高，應根據患者的經濟情況和總體條件選擇合適的手術方式。

1.2 文字添加的實現

本系統首先從字幕文件中提取每一幀圖像上所設置的文字，然后將每一幀上的文字制作成PNG格式的圖片，再從字幕文件中讀出該文字圖片在三維空間的位置（即該圖片中心點在觀察坐標系三維空間中的坐標）和文字圖片的單位法向量，將文字圖片根據位置和法向量信息放置在全景圖所構建的三維空間中，最后將該文字投射到全景圖上。每一幀都像上面一樣向全景圖中添加文字即可。

建立如圖4所示的球坐標系和觀察坐標系。球坐標系的原點是觀察坐標系的原點O，過P`點做P`S`垂直于XOY平面且與平面交于點S`，方位角θ為OX軸沿逆時針旋轉到OS所轉過的角（-π≤θ≤π），俯仰角σ為OP`沿逆時針旋轉到OS`所轉過的角（-π/2≤σ≤π/2），r為OP`的距離，球面坐標P在球坐標系用（θ，σ，r）表示。三維空間中一點P的球坐標（θ，σ，r）與觀察坐標系坐標（x，y，z）的映射關系有：z=sin（σ）*r，x=cos（θ）* cos（σ）*r，y=sin（θ）*cos（σ）*r，觀察坐標系和球坐標系坐標單位都為像素。

設任意一張PNG文字圖片為pic，設pic的長為W（單位像素），寬為H（單位像素），像素坐標格式為（w，h）（0≤w＜W，0≤h＜H），設pic中像素（0，0）為像素點A，像素（W-1，0）為像素點B，像素（W-1，H-1）為像素點C，像素（0，H-1）為像素點D，像素（W/2，H/2）為像素點O`。建立如圖4所示的pic坐標系，以pic中像素點O`為pic坐標系的原點，在ABCD平面上以平行于AB的方向直線為X`軸，正方向與從A到B同向，以平行于DA的直線為Z`軸，正方向與從D到A同向，以垂直于平面ABCD的直線為Y`軸，正方向由外向里，pic坐標系單位是像素，在該坐標系中坐標表示為（x`，y`，z`）。在pic坐標系中A像素點坐標為（-W/2，0，H/2），B像素點坐標為（W/2，0，H/2），C像素點坐標為（W/2，0，-H/2），D像素點坐標為（-W/2，0，-H/2）。

圖4 片源全景圖像素與pic圖片像素映射模型

觀察坐標系坐標（x，y，z）與pic坐標系坐標（x`，y`，z`）相互轉換的關系。由于文字在三維空間中保證水平不能傾斜，所以文字圖片必須是水平放置的，故pic坐標系可由觀察坐標系經過繞Z軸沿逆時針旋轉α角（0≤α＜2π），再繞X軸沿逆時針旋轉β角（-π/2≤β≤π/ 2），最后由O點平移到O`點變換而來。根據pic的單位法向量可計算出α和β，β=arctan（），當β≥0時，α=arccos（）-π/2，當β＜0時，α=-arccos（）+3π/2。根據以上原理經過數學推導可知觀察坐標系坐標（x，y，z）與pic坐標系（x`，y`，z`）轉換關系如公式（1）、（2）。

2 系統運行界面及效果

本系統的運行界面如圖5所示。

圖5 系統界面

3 結語

本系統提出了立方體全景圖、魚眼圖和球面全景圖相互之間的轉換算法，同時還提出了向立方體全景圖、魚眼圖和球面全景圖添加文字的算法，并且實現了這三種圖像之間的任意轉換合成，可根據片源參數支持部分全景圖和完整全景圖作為片源，實現了向全景圖所構建的三維空間里的任意位置任意方向添加字幕的功能，字體、字號、顏色是可以根據系統選擇的，可導入字幕文件，根據字幕文件格式自動向幀序列里添加文字。

參考文獻：

[1] 楊記，陳孝威.基于全景圖像的VR建模研究及實現．計算機應用研究，2004（1）：249～254

[2] 軒亞光，謝黨恩，張志立.基于圓魚眼照片的全景圖像生成方法[J].福建電腦，2010

[3] 韋群等.基于立方體全景圖的虛擬場景瀏覽技術研究及實現[J].中國圖象圖形學報，2003，9（8）

[4] 英向華，胡占義.一種基于球面投影約束的魚眼鏡頭校正方法[J].計算機學報，2003，26（12）：1702～1708

[5] 黃有度，蘇化明.一種魚眼圖像到透視投影圖像的變換模型[J].系統仿真學報，2005，1:29～32

A Kind of Adding Text System Based on Panorama

HU Yuan-yan，SHANG Miao-xing，HE Shao-yong
（Co11ege of Computer Science，Sichuan University，Chengdu 610065）

Studies the a1gorithms for the generation of cubic panorama,fisheye image and spherica1 panorama,and designs the conversion a1gorithms of the three kinds of panorama,moreover,designs the a1gorithm of adding text to panorama.The system provides a function that cubic panorama,converts fisheye image and spherica1 panorama each other,moreover,it achieves to add text to panorama in any direction and space which is bui1t based on the panorama,the typeface,size and co1or of text can be se1ected by operation system.It can add text to the sequence of panorama frames by text fi1e automatica11y.

Cubic Panorama;Fisheye Image;Spherica1 Panorama;Projection;Mapping

1007-1423（2015）05-0003-07

10.3969/j.issn.1007-1423.2015.05.001

胡遠艷（1989-），男，河南信陽人，碩士，研究方向為計算機圖形圖像

尚苗星（1981-），男，云南澄江人，本科，助理研究員，研究方向為網絡安全

2014-12-30

2015-01-20

何紹勇（1984-），男，云南楚雄人，本科，工程師，研究方向為網絡安全