低光照環(huán)境下全景拍攝系統(tǒng)設(shè)計與應(yīng)用

韓 敘 宋宇瑩

北京天文館，北京 100044

1 引言

近年來，隨著虛擬現(xiàn)實（Virtual Reality, VR）技術(shù)的提升和相關(guān)設(shè)備不斷普及，用戶在VR 中能體驗到超大的視野范圍，仿佛置身其中，極具真實感、沉浸感和可交互性[1][2]。當(dāng)前，在VR 設(shè)備中播放全景影像是最簡單、最直接的展示方式[3]。全景影像是定義在包含360°×180°視野范圍的球面上，能夠全覆蓋用戶觀看所有視角的圖像，我們將其投影到2D 平面，多以等距柱狀投影方式展示[4]。全景影像應(yīng)用廣泛，除了在VR 設(shè)備中，還可以通過變形在球幕劇場里、在主流視頻播放平臺上直接觀看，因此，制作全景影像的需求量不斷提升。

目前市場上有多種全景拍攝方案可以得到全景影像，按拍攝相機數(shù)量的多少，可以分為兩類：一種是單相機旋轉(zhuǎn)拍攝方案，另一種是多相機組合拍攝方案。單相機方案由一臺相機配合全景旋轉(zhuǎn)云臺使用，每次旋轉(zhuǎn)一周拍攝若干張圖像拼接獲得一張全景圖像，既可以使用諸如大疆靈眸Osmo[5]等云臺產(chǎn)品配合手機拍攝，也可以使用如曼富圖MHPANOVR[6]等全景云臺配合全畫幅相機使用。該方案可有效避免圖片之間視差現(xiàn)象的存在，雖然操作步驟相對復(fù)雜，但是更換相機鏡頭便捷，靈活性高，并可以獲得較高質(zhì)量的全景圖像。多相機方案通過多個朝向不同方位的攝像頭同時拍攝，拼接獲得全景圖像。該方案在消費級市場已有許多成熟產(chǎn)品，如一體式全景拍攝產(chǎn)品影石Insta360 Pro[7]、Kandao Obsidian Pro[8]等，也有Freedom 360 全景云臺配合5 個GoPro HERO 運動相機[9]的可拆卸方案，他們將多個小尺寸畫幅運動相機組合，方便用戶攜帶。這種全景相機的方案簡單易用，可以輸出全景圖像和全景視頻[10]，滿足制作全景影像主要應(yīng)用場景。

低光照（Low-Light）環(huán)境指所拍攝環(huán)境的光照度較低的場景[11]。如表1 所示了不同環(huán)境下的光照度參考范圍值，相較于晴天、陰天等正常光照環(huán)境，傍晚、夜間等低光照環(huán)境的光照度大幅下降，尤其在以夜間星空為內(nèi)容主體的拍攝環(huán)境中，避開光污染等干擾下，星光的光照度極低，幾乎趨近于0。光線在攝影成像過程中有著非常基礎(chǔ)性的作用，當(dāng)光照度降低時，所拍攝的影像會產(chǎn)生噪點高、顏色失真、對比度低等圖像退化問題[12]。因此，在低光照環(huán)境下，為了獲得良好的影像質(zhì)量，就需要收集更多的光線，通常在拍攝時采用增加光通量、延長曝光時間、提高設(shè)備感光度等方法[13]。

表1 不同環(huán)境下參考光照度范圍

近年來，隨著天文科普沉浸式電影的發(fā)展，低光照環(huán)境下的全景拍攝需求不斷增多，但相比于街景旅游、文化藝術(shù)[14][15]等正常光照環(huán)境的拍攝，全景拍攝仍屬小眾需求。要想在低光照環(huán)境下獲得高質(zhì)量影像，對相機鏡頭的要求很高，目前消費級全景相機很難兼顧這一領(lǐng)域，國內(nèi)外鮮有系統(tǒng)的研究論述和應(yīng)用實踐。因此，本文結(jié)合上述兩種方案的優(yōu)點，擬設(shè)計一種使用多個全畫幅相機組合拍攝的方案，以滿足低光照環(huán)境下拍攝高質(zhì)量全景影像的需求。

2 系統(tǒng)設(shè)計難點

低光照環(huán)境下，需要使用全畫幅相機來保障在高感光度下的成像質(zhì)量，但采用單個相機環(huán)繞拍攝會遇到使用場景受限等問題。本文采用通過多個全畫幅相機同時向不同角度拍攝圖像，再通過后期拼接的方法來制作全景圖像。圖像拼接技術(shù)是將一組拍攝于同一場景、不同位置的圖像，通過對其中重疊區(qū)域進行特征匹配、對齊、投影、融合等操作處理，獲得一張視角范圍更大、分辨率更高的全景圖像的過程[16]。從理論上講，使用多個相機組成的全景拍攝系統(tǒng)方案中相機數(shù)量越多，得到的全景影像分辨率越高，畫質(zhì)越佳，整體效果更好。但隨著相機數(shù)量增多，也同時存在諸如多相機間視差、系統(tǒng)整體靈活性不足、便攜性差等制約性問題。

2.1 多相機間視差問題

雖然目前圖像拼接技術(shù)已經(jīng)日臻成熟，可以快速地完成多張圖像的全景拼接工作，但要想完成高質(zhì)量的圖像拼接效果，需要在拍攝多張待拼接圖像時，使相機的光學(xué)中心（光心）在同一點上或者無限接近，因為這樣得到的圖像在重疊區(qū)域沒有深度上的變換，在拼接時所有圖像幾乎在一個平面上，拼接效果最好。如果拍攝時相機無法保證圍繞光心點，則不同圖像中的相同物體會存在位置上的差異，這被稱作視差現(xiàn)象[17]。該現(xiàn)象會降低圖像特征點識別匹配、圖像融合等算法的準確度，導(dǎo)致最終生成的全景圖像在拼接位置出現(xiàn)模糊偽影或扭曲截斷等情況，進而影響全景拼接的效果[18]。

如果使用多個相機在不同光心位置拍攝同一物體，則會產(chǎn)生視差現(xiàn)象。圖1所示為兩個平行的相機拍攝同一物體的俯視示意圖，其中下方為兩臺相機，O1、O2分別對應(yīng)相機鏡頭的光心點，兩點之間距離為e。CMOS 圖像傳感器是相機的感光成像處理器，光心到CMOS 圖像傳感器的距離為f。P點為被拍攝物體，距離光心連線的垂直距離為z，可見被拍攝物體P點在兩個相機CMOS 圖像傳感器成像的位置并不相同。若以相機左側(cè)為成像像素坐標原點，則P點在左側(cè)相機的像素位置為d1，右側(cè)相機的像素位置為d2，d1與d2的差值為視差△d，各要素間關(guān)系如式（1）所示。

圖1 兩相機拍攝產(chǎn)生視差示意圖

為了能使多個相機拍攝同一物體的視差盡可能減小，全景拍攝系統(tǒng)設(shè)計基于以下三個方面考慮：其一，減少多個相機鏡頭光心間的距離e，以彼此不被拍攝到為前提，實際設(shè)計中的每個相機之間距離越近，視差越小；其二，減少光心到CMOS 圖像傳感器之間的距離f，即盡量使用焦距較短的魚眼鏡頭或廣角鏡頭進行拍攝；其三，被拍攝物體與相機間距離z的數(shù)值越大越好，即以遠端物體為拍攝主體，盡可能減少近景物體的拍攝需求。即便如此，多相機拍攝產(chǎn)生的視差問題仍難以消除，只是減小視差范圍以便通過后期處理等手段彌補。

2.2 系統(tǒng)的靈活性與便攜性

拍攝全景圖像時，由于可視角度大，一般需找到一個視野開闊的戶外場景作為拍攝點，通常選擇山頂或一些人跡罕至的區(qū)域完成。在進行低光照全景拍攝時，光線不充足會使工作環(huán)境更加艱難，需要拍攝系統(tǒng)能在有限的時間內(nèi)迅速完成搭建并拍攝，因此系統(tǒng)的靈活性和便攜性尤為重要。

雖然更多的相機數(shù)量可以獲得更好的全景拍攝效果，但是這樣構(gòu)成的拍攝系統(tǒng)設(shè)備數(shù)量多，復(fù)雜度高。因此，在保證拍攝可以覆蓋全景畫面的前提下，系統(tǒng)需要控制相機的總數(shù)量。這樣才能使系統(tǒng)使用靈活，安裝與拆卸方便快捷，重量適宜，易于攜帶，大大降低使用者的操作復(fù)雜度，以便更專注于內(nèi)容創(chuàng)作。

3 低光照環(huán)境下全景拍攝系統(tǒng)設(shè)計與應(yīng)用

3.1 全景拍攝系統(tǒng)設(shè)計方案

拍攝系統(tǒng)中需要多個相機拍攝全景圖像，因此需要優(yōu)先設(shè)計一個全景云臺，連接并固定這些相機的位置。這樣可以讓拍攝系統(tǒng)中每個相機所拍攝的畫面之間既不會受相互入鏡影響，又能有足夠的重疊區(qū)域用于拼接，并盡可能讓各個相機拍攝圖像中視差越小越好。

設(shè)計全景云臺的過程中，應(yīng)當(dāng)考慮全景顯示設(shè)備對影像分辨率、畫質(zhì)的需求，以及感光度高的全畫幅相機輸出的影像分辨率與鏡頭可視角度等性能參數(shù)，并保留一定的畫面冗余作為每張拍攝影像之間的拼接融合帶，綜合計算出拍攝全景影像所需的相機數(shù)量。本文在參考主流VR 頭顯設(shè)備和北京天文館球幕劇場現(xiàn)階段對影像分辨率大小的要求，綜合調(diào)研索尼（Sony）系列全畫幅相機和佳能（Canon）魚眼鏡頭的性能參數(shù)，計算得出需至少使用四臺相機組合形成拍攝系統(tǒng)，才能獲得高質(zhì)量的全景影像。

因此，本文首先制定了一套可以支持四臺相機同時拍攝的全景云臺設(shè)計方案。云臺分為頂板和立柱兩部分：頂板部分通過螺絲與兔籠、相機連接并固定拍攝位置；立柱部分用于支撐、理線和與三腳架連接[19]，全景云臺支架設(shè)計圖如圖2所示。

圖2 全景云臺支架設(shè)計圖

全景云臺頂板的底部軸向方向均勻地分布四個相機安裝面，每臺相機拍攝的軸線相互垂直，保證安裝四臺相機后，每臺相機拍攝至少四分之一的全景畫面。四臺相機交錯排列一周，在相互不被拍攝到的前提下，可以減少相機鏡頭之間的光心距離e，進而減少拍攝畫面中的視差△d。相機通過使用與之配套的快裝板，與每個相機安裝面連接固定。每臺相機垂直使用，并向上傾斜一定的角度，該傾斜角度與相機安裝面和水平面的夾角相同。在使用過程中，鏡頭在軸線上也向上傾斜相同的角度，一般傾斜夾角為10°～20°為宜。相機向上傾斜的設(shè)計，一方面使每個相機所拍攝的畫面在全景畫面頂部重合，為后期拼接融合提供便利；另一方面使全景圖像頂部的畫面避開鏡頭邊緣，減少圖像像差、畸變導(dǎo)致的邊緣畫質(zhì)下降，從而更好地展示星空、銀河等天頂區(qū)域的影像。相機向上傾斜后，所拍畫面在底部會有一定缺失，但由于大部分場景下，云臺底部場景需要三腳架或其他設(shè)備支撐，即使拍攝到底部區(qū)域畫面也無大礙，因為底部區(qū)域無論是否被拍攝都需要進行后期處理。除通過后期軟件對附近地面進行修補、填充外，還可在畫面缺失處添加圖標或其他圖案直接覆蓋。綜上所述，相機向上傾斜既有利于提升頂部畫質(zhì)效果，又可以運用較為簡單的方法解決畫面缺失，從而不影響全景畫面的整體效果。

作為支撐架體，全景云臺立柱部分結(jié)構(gòu)簡單，方便拆卸：向上可通過螺絲與頂板連接配合，支撐多個相機；向下可與三腳架等設(shè)備實現(xiàn)可拆卸連接，控制拍攝高度。立柱內(nèi)徑采用空心設(shè)計，既能減輕架體重量，也能通過上下留有的開口便捷整理相機及其他設(shè)備的線纜，此外，立柱配有的不同螺絲口，可以方便安裝擴展燈源、收音、監(jiān)看等輔助設(shè)備。

為了保障低光照環(huán)境拍攝的畫質(zhì)效果，所安裝的相機一般為全畫幅相機，以確保較高的畫面分辨率、感光度和較強的噪點控制力。目前，噪點控制較好的相機分辨率相對較低，但一般也能達到1200 萬像素，即圖像短邊大于2500 像素。這樣四個相機所拍攝圖像在拼接后可以實現(xiàn)至少8000×4000 分辨率的全景圖像或者4000×4000 分辨率的魚眼圖像。如使用更高分辨率的相機將會得到更高像素的圖像，高質(zhì)量地滿足現(xiàn)有VR 設(shè)備或球幕劇場的放映需求。相機在底部安裝快裝板后，與云臺頂板通過2-3 顆螺絲固定連接，可以實現(xiàn)快速拆裝，便攜且易用。

由于每個相機要拍攝至少四分之一的全景畫面，因此每個相機的鏡頭水平視角應(yīng)大于100°。為使相鄰兩張圖像有重疊區(qū)域，保證后期拼接效果，垂直視角需盡可能大于等于180°，從而更多地覆蓋從天頂?shù)降孛娴漠嬅妫@些需求可以通過魚眼鏡頭實現(xiàn)。我們在測試時選用焦距段在10mm～12mm 的魚眼鏡頭，垂直視角約為180°，畫面效果介于圓形魚眼鏡頭和對角線魚眼鏡頭之間。一方面較短的焦距可以縮短光心到CMOS 圖像傳感器之間的距離，減少多相機視差范圍；另一方面相比于圓形魚眼鏡頭，該焦距的魚眼鏡頭可以有效利用CMOS 畫面，拍攝記錄更多圖像細節(jié)。

3.2 全景拍攝系統(tǒng)應(yīng)用效果

通過上文所述的全景云臺，配合全畫幅相機鏡頭構(gòu)成系統(tǒng)，可以完成低光照環(huán)境下全景拍攝工作。

在實際應(yīng)用中，使用Canon 8mm～15mm 魚眼鏡頭12mm 端，能夠覆蓋可視角度約180°×120°的圖像；使用Sony Alpha 7S Ⅱ相機拍攝，單張圖像分辨率可達4200×2800。四個相機圖像拼接后可以實現(xiàn)至少8000×4000 分辨率的全景圖像，或者4000×4000 分辨率的魚眼圖像，滿足高分辨率全景影像需求。相機向上傾角15°，可以讓天頂部分重疊區(qū)域超過10%，有利于最終拼接效果，也讓天頂區(qū)域的星空離開相機邊緣，提升該部分的畫面質(zhì)量。直接輸出的全景可視范圍至少可達360°×165°，經(jīng)過圖像處理后可視范圍可達360°×180°，能夠更好地滿足VR 頭顯設(shè)備或球幕劇場播放內(nèi)容的需求。

使用上述相機、云臺為主體組合成的全景拍攝系統(tǒng)（圖3），基本能夠覆蓋低光照環(huán)境下全景拍攝的使用場景：可以拍攝單幀全景圖像展示夜空細節(jié)；能夠拍攝延時攝影圖像展現(xiàn)斗轉(zhuǎn)星移；可以拍攝視頻圖像展示轉(zhuǎn)瞬即逝的夜間影像，如流星、空間站等。

圖3 全景系統(tǒng)使用效果圖

全景拍攝系統(tǒng)結(jié)構(gòu)簡單，其中云臺支架的頂板與立柱之間、頂板與相應(yīng)的相機快裝板之間均為可拆卸連接，可以實現(xiàn)快速拆裝，更便于攜帶，且易于安裝和擴展。通過一個行李箱即可攜帶，即便在低光照戶外環(huán)境下也可快速拆裝使用。

通過全景云臺拍攝得到的單通道相機圖像，可以保障畫面水平方向和頂部有較大的重疊區(qū)域，可以使用主流拼接軟件自動化完成全景拼接工作，例如全景拼接軟件PTGui、AutoPano 或Photoshop 軟件中自帶的全景拼接腳本等[19][20]。由于全景云臺在設(shè)計時已經(jīng)盡可能減少相機、鏡頭所導(dǎo)致的視差，最終全景圖像的視差才得以可控或通過后期處理消除。比如在全景圖像中，一般分為天頂區(qū)域和地面部分，天頂區(qū)域由于對焦在無窮遠處，多張圖像之間基本沒有視差，可以使用軟件以此部分為主體尋找控制點進行拼接；而地面部分以全景拍攝系統(tǒng)為圓心，越靠近拍攝系統(tǒng)的物體，在畫面中的視差會越大，對拼接后的效果有一定影響。但由于系統(tǒng)整體設(shè)計的視差控制較好，在畫面中影響范圍不大，可以通過后期軟件進一步優(yōu)化，因此，多數(shù)情況下可以有效減少或消除地面部分圖像的視差現(xiàn)象。

圖4 展示了全景系統(tǒng)所拍攝的單通道圖像及處理后圖像的效果。使用該系統(tǒng)四個相機分別拍攝四個方向的魚眼圖像，每張圖像在水平方向與天頂區(qū)域均有重疊，便于拼接并進行后期處理〔圖4（a）〕。使用PTGui 軟件拼接并通過Photoshop 軟件進行底部處理后，得到適用于VR 頭顯設(shè)備使用的等距柱狀全景圖像〔圖4（b）〕，也可以根據(jù)需要對全景圖進行圖像投影變換，從而獲得等距圓形魚眼圖像〔圖4（c）〕，滿足數(shù)字球幕劇場的使用需求。

圖4 單相機拍攝圖像與處理后圖像

4 結(jié)語

本文針對低光照環(huán)境下獲取高質(zhì)量全景影像的難題，設(shè)計了一套全景拍攝系統(tǒng)。該系統(tǒng)利用全景云臺連接四臺全畫幅相機，有效減少視差問題，獲得高質(zhì)量全景影像，改善現(xiàn)有全景拍攝方案效果不佳的問題。該系統(tǒng)經(jīng)實踐檢驗，使用方便，易于拆裝，方便擴展，長期使用具有一定的經(jīng)濟性。由該系統(tǒng)拍攝制作的全景影像可以較好還原低光照環(huán)境下場景細節(jié)，圖像顏色豐富，噪點控制力好，目前已應(yīng)用于VR 頭顯設(shè)備以及球幕劇場展示。該系統(tǒng)除用于星空、銀河、流星雨等天文攝影領(lǐng)域，還可用于拍攝夜間的山脈、湖泊、河流和其他自然景觀，也可用于拍攝夜間城市遠景，如城市天際線、建筑群、遠處標志性建筑等，有助于促進旅游、文化保護、城市規(guī)劃等領(lǐng)域的經(jīng)濟發(fā)展宣傳工作，以獲得可持續(xù)的投資和支持。

本系統(tǒng)的設(shè)計方案為低光照環(huán)境下遠景全景影像拍攝提供了一種解決思路。依照目前VR 頭顯設(shè)備和球幕劇場對影像分辨率及畫質(zhì)的需求，以及現(xiàn)有市場上主流全畫幅相機、鏡頭的性能參數(shù)，綜合考慮系統(tǒng)靈活性、便攜性，有效解決相機視差等難點，采用四臺相機的拍攝方案是相對較優(yōu)解。隨著對全景影像畫質(zhì)、分辨率的需求不斷提升，相機鏡頭的參數(shù)性能不斷增強，未來全景云臺的樣式和相機數(shù)量也可隨之調(diào)整，但本方案的整體設(shè)計思路具有普適性，可以適應(yīng)多種應(yīng)用場景，為用戶提供高質(zhì)量和可持續(xù)的全景拍攝解決方案。?