交會對接航天員訓練電視圖像仿真

晁建剛，王金坤，陳學文，張 炎

(1.中國航天員科研訓練中心，北京100094;2.中國航天員科研訓練中心人因工程重點實驗室，北京100094)

1 引言

載人航天器交會對接任務按照航天員的參與程度通常分為自主和人控兩種操作模式［1］。自主模式下兩個航天器通過多種測量信息進行自主/自動控制達到對接目的;人控模式下航天員借助舷窗(美國)、光學瞄準鏡(俄羅斯)或電視圖像(美國、俄羅斯等)等視覺測量設備，人控操作追蹤飛行器完成對接。我國人控對接時，需要航天員實時觀察圖像信息操作追蹤航天器完成對接［2］;自主對接時航天員不直接參與操作，但需要監控圖像和應急情況下人控干預。

對接任務地面訓練中，很難采用實物或者半實物模式實現追蹤與目標的空間運動，通常采用數字方法仿真兩航天器的軌道運動、導航制導及動力控制，利用計算機圖形學建立虛擬空間，實時渲染生成目標空間運動圖像。我國交會對接采用電視圖像進行目標捕捉［1］，訓練仿真圖像渲染需要考慮近地空間光照亮度高動態變化，也需要考慮電視攝像機曝光特效、光度調節特性和最終顯示特性。太陽光照射在目標飛行器上會有部分光線反射進入電視攝像機，在特定條件下進入電視攝像機的光強過大，超過電視攝像機的瞬時調節能力導致曝光過度，圖像中局部區域特別亮。當航天器處于陰影區時，在交會對接燈開啟前，進入電視攝像機的光強太弱，導致曝光不足，圖像中局部區域特別暗。實際交會對接電視攝像機工作時，為清楚對接靶標，會對電視攝像機參數進行自動或者手動調節，使視場中的物體的亮度均值處于指定的范圍內。會縮短曝光時間、減少增益，當均值亮度太小時增加曝光時間、增加增益，使之回到指定的范圍內。

電視圖像仿真時建立了包括地球、追蹤飛行器、目標飛行器、太陽等所有仿真對象的三維場景。電視圖像仿真軟件首先計算出所有仿真對象的位置、姿態、方向等參數并設置到三維場景中，接下來進行原始渲染，然后對原始渲染圖像進行飽和特效、均值亮度計算等處理，最后輸出最終仿真電視圖像并根據均值亮度設置下一次渲染所有光源亮度相關屬性。本文主要針對近地空間光照及攝像機的特性，提出了訓練仿真電視圖像的實時渲染模式，闡述了高動態范圍(High Dynamic Range)成像、特效、調光和色調映射的實現方法。

2 近地空間電視圖像特性

真實任務中攝像機工作在近地空間，自然光源有太陽、地球、月亮、星光、銀河和宇宙光等［3］，光照強度變化范圍很大。如圖1所示:空間的光照強度通常從10-6cd/m2變到108cd/m2，即光強從暗適應范圍(Rod Function Scotopic)經過度范圍(Mescopic)變化到亮適應范圍(Cone Function Photopic)，變化范圍大概為1014∶1。人的視覺系統(Human Visual System，HVS)對于亮度的感知范圍通常為10000∶1，攝像機與人的視覺光照敏感度一致。而通常圖形仿真的范圍為256∶1，顯示設備范圍為100∶1，適用于低動態范圍(Low Dynamic Range，LDR)的變化。研究表明，人對圖像的亮度對比度感知最明顯［4］，采用亮度一一對應的方式仿真很難保證亮度對比度感知的一致性;電視圖像仿真中采用高動態色調映射方法將較大亮度范圍內的亮度層次映射到人對亮度的感知范圍內，保證人對亮度對比度感知一致性。

圖1 視覺感知及顯示亮度范圍圖Fig.1 Illumination range of visual perception and display

由于陽照區和陰影區不斷交替變化攝像機入射光強度變化很大。攝像圖像在兩種情況下無法識別，一種是入射光強度過高，目標成像區域產生光飽和，形成強烈的白色模糊區域;一種是入射光強度過低，引起目標欠飽和，成像過暗。為得到清晰的圖像，工程上攝像機采用自動或者手動調光，通過調節可變光闌孔徑的大小改變入射CCD靶面上的照度，得到合適的照度以保證成像清晰［5］。電視圖像仿真中，除模擬光飽和和光暗兩種成像模式，也要模擬實時光亮度統計進行自動或者手動調光。

3 延遲著色渲染模式

為滿足對近地空間條件下攝像機動態曝光特性等功能的仿真以及最終圖像的亮度感知一致性，需要對目標材質光照特性進行二次光特效、光調節特性等處理。具體方法為在一次原始成像渲染的基礎上，實時對整個圖像進行特性統計計算、實現光學特效、亮度調節和高動態計算后再次渲染形成最終顯示的逼真圖像，實現過程比較復雜。

采用傳統圖形學仿真時，需要在渲染周期內完成對渲染對象的初步光照渲染、圖像亮度統計、特效光照計算、亮度調節和適應性高動態，累計進行多次光照渲染［6］。如圖2所示，當場景中包含m個光源以及n個物體時，在最壞的情況下，傳統渲染方法的復雜度為O(m×n)，實時生成圖像效率受到影響。文獻［7-8］等提出了一種延遲著色(Deferred Shading)技術，周期內仿真只需設置完三維渲染狀態(Rendering State)后，在幾何階段(Geometry Stage)提交場景幾何圖元一次，在幾何內存G-Buffer(Geometry Buffer)中存儲了每個像素的屬性(片元幾何位置、片元法線、漫反射、鏡面反射系數、材質其他屬性等)，用于隨后的通道進行渲染，如圖2所示，延遲渲染方法在最壞情況下復雜度降為O(m+n)。在幾何緩存的基礎上設置二維渲染狀態后，如圖3所示，光照階段(Lighting Stage)、后處理階段(Post-Processing Stage)和最終階段(Final Stage)每個像素是各自獨立著色，后處理經過 P-Buffer(Pixel Buffer)實現，減少了顯卡內存和渲染通道交互，提高了效率。

圖2 傳統與延遲著色偽代碼Fig.2 Pseudo code for traditional shading and deferred shading

圖3 延遲著色技術架構圖Fig.3 Architecture of deferred shading technique

為提高渲染的逼真度和實時性，電視圖像仿真采用了延遲著色的渲染模式進行圖像仿真。在幾何內存中建立了圖形幾何及法線矢量特性、不同光照模式下目標的材質特性以及特效模式下的處理模型。光照階段采用浮點模式完成原始圖像的高動態渲染;后處理階段，模擬攝像機對原始亮度進行平均統計，用于光飽和特效仿真及調光處理;在最終階(Final Stage)段，采用色調映射實現圖像的高動態渲染。信息交互主要通過G-Buffer和P-Buffer，實現了幾何與光照的分離、特效處理、最終渲染與源圖像的處理、并行運算的有效匹配［6］。

4 高動態成像及其特效渲染

傳統渲染系統通常只能產生低動態范圍的渲染結果。對于一般的場景對象而言，這種渲染結果基本上可以接受，但是對于近地空間對接任務所包含的具有高亮度的光源(太陽、對接聚光燈、標志燈等)或者高光反射物體(目標航天器對接環和對接瓣等)的場景，渲染結果通常嚴重失真。問題的主要原因是此類場景通常具有高動態范圍，而在傳統固定流水線僅能夠操作8 bit整型數值，對比度只有255∶1。為了模擬真實的電視攝像機光學特效和適應性調光功能，需要渲染的原始圖像具備與空間攝像機接近的光學亮度范圍(10000∶1)，傳統的整型紋理渲染已經無法滿足需要［6］。

為了解決動態范圍不足問題，為場景中的每個表面創建一張浮點格式的光照貼圖，貼圖的每個像素代表了表面相應位置的光強。使用Open-GL的FBO(Frame Buffer Object，幀緩沖對象)將綁定浮點光照貼圖的場景渲染到一個與屏幕大小一致的浮點紋理中，可以提高像素的亮度對比度。

目標航天器進行三維建模，采用了GL_RGBA16F模式的浮點紋理，將每個像素的RGB以及亮度值用實際物理參數或是線性函數表示，參數不再限于整數，可以達到更大的范圍和更高的精度。這種方法從源頭上保證了渲染的逼真度，避免了渲染處理過程中的紋理失真。

受空間環境因素影響，電視攝像機容易出現飽和，亮度比較高的地方出現光暈和光飽和現象。這種飽和與攝像機特性相關，對浮點紋理內存中的高亮部分采取高通濾波，濾波后的圖像縮比后分別進行橫向和縱向高斯混合，最后再與原始圖像進行融合，形成飽和特效。

在計算機圖形學和傳統色彩學中，每個像素點的光強亮度值通過公式(1)來獲取［9］，其中R、G、B表示像素點三個顏色分量。

高通濾波時對原始圖像每個像素亮度值進行統計，亮度值LW大于高通閾值的像素點保留進行高斯混合，形成光學特效［8］。閾值的選取根據攝像機特性來實施，文中通過實驗，選取為0.665。

5 光亮度調節和色調映射

5.1 渲染圖像平均亮度統計

光亮度調節和最終色調映射都需要對渲染的原始圖像亮度進行統計，求取平均亮度值，作為調節和映射參考值。

獲取圖像平均亮度有兩種方法:一是對圖像逐像素亮度統計，方法簡單可行、統計精度高，耗時較大，很難滿足實時性要求;第二種為在延遲著色模式下，在GPU中對圖像進行多次降采樣實現平均亮度的統計，統計精度稍低，運行耗時較小。

延遲著色模式下降采樣是指將初步渲染并在屏幕空間裁減的圖像映射到規定的浮點紋理內存中，通過多次紋理信息亮度比例壓縮、平均融合，最終把亮度值采樣到一個1×1的內存紋理中，如圖4所示。

圖4 降采樣示意圖Fig.4 Illustration of downsampling

采用降采樣方法進行平均亮度計算前，通常先將圖像平均分割成N×N的多個區域，對每一個區域內的N×N個采樣點的亮度相加求平均值，即降采樣平均亮度計算采用公式(2)進行計算。按照公式(2)計算出來的所有平均亮度均作為新圖像的采樣點組成下一層采樣圖像。將下一層采樣圖像作為輸入圖像重復上面的步驟，最后當采樣圖像只剩下一個采樣點時，該采樣點的亮度值即為原始圖像的平均亮度。公式(2)中x、y是每個像素的2D坐標。

電視圖像仿真分辨率為1024*768，首先將初步渲染的場景圖像信息拷貝出來，在后處理加工階段進行4×4像素信息降采樣，將采樣的圖像信息拷貝到128×128的浮點內存紋理中，通過2×2亮度降采樣，拷貝到64×64浮點內存紋理中，再次連續兩次4×4降采樣，分別形成16×16和4×4浮點內存紋理，最后通過4×4降采樣，形成1×1內存紋理，其值包含了整場景的平均亮度值。

由于人眼對亮度的感知成對數關系，首次亮度降采樣時每個像素點采用亮度值的對數求平均值，在最后一次采樣時恢復到指數亮度的平均值，如公式(3)所示［10］。其中，δ是一個很小的值，用以避免對亮度為0的全黑像素進行對數運算，通常取δ為0.001，N是降采樣時所取像素的個數。

5.2 光亮度調節和顯示渲染

真實攝像機光亮度調節方法為:視頻AD芯片對CCD輸出的模擬視頻信號進行采樣，獲得每一幀的圖像數據，即灰度矩陣［11］，對灰度矩陣求平均值即可獲取圖像的平均亮度。通常調光策略方法為:設取平均灰度結果為，當灰度值在內，表明當前的CCD攝像機接收的光照度合適，不調光;如果＞，則調整電子快門使平均亮度調整到;反之如果則調整電子快門使平均亮度調整到

實際任務中，光源發出的光作用在物體上后再進入真實電視攝像機形成電視圖像，光源強度和物體材質屬性不會發生改變。通過調整真實電視攝像機的曝光時間、增益等參數可以改變實際電視圖像的亮度。由于模擬真實電視攝像機工作過程比較復雜，電視圖像仿真過程中可以通過調整光源強度、調整物體材質中的光學屬性、調整成像像素亮度來影響最終仿真圖像亮度。仿真時為達到調光的目的，改變光源亮度的方法可以稱為光源亮度調節法;通過延遲渲染調節每個像素點亮度的方法可以稱為成像像素亮度調節法;改變物體材質中漫反射、鏡面反射等光學屬性系數的方法可以稱為材質光學屬性調節法。考慮到運算的實時性和實際空間光學特點，電視圖像仿真采用光源亮度調節法和成像象素調節法混合模式。

電視圖像仿真中，采用平均值亮度作為參考，通過平均亮度值與調光策略規定的最大值和最小值相比較，確定調光系數Ca。根據神舟九號飛船(SZ-9)電視攝像機實際工作原理，仿真中采用的調整算法如公式(4)所示。

仿真過程中航天器在陽照區時，通過調節太陽光和地球的漫反射光的亮度系數(定義為太陽光的0.3倍)來實施;在陰影區時，以調節交會對接燈(圖像仿真中采用聚光燈)的亮度系數來實施;在過渡偽影區時，因太陽光和對接聚光燈同時存在，且貢獻因子強度變化級數較大，不宜采用光源亮度法，采用成像象素調節法更逼真。前者適用于單一主光源條件下，后者適用于多光源條件下。兩種模式的調節算法如公式(5)、(6)所示［7］。

5.3 高動態顯示調和映射

色調映射其實就是一種曝光控制，即將近地空間攝像機捕獲的高動態范圍(0，10000)的圖像映射到一個固定的低范圍，既屏幕能夠顯示的(0，100)的低動態范圍內，保證人的視覺亮度感知不失真。關于色調映射，有很多具體的方法，每個方法都是從高動態范圍到低范圍的一個映射，統稱為TMO(Tone Mapping Operating)。電視圖像仿真中采用了文獻［12］中的調和算法。

色調算法模擬人的視覺系統通過視覺調節適應高動態的范圍，其核心還是在平均亮度的基礎上對場景的亮度進行人眼視覺性再適應性重新計算分配，更好的滿足在低動態顯示器逼真顯示。

色調算法采用公式(7)［12］來求取每個像素點的融合亮度值L(x，y)。其中α為鍵值，表示整個圖像的主觀亮度，用戶可以自行調整，通常取0.045，0.09，0.18，0.36 以及 0.72。文中太空環境陰影區，通常可取0.09，在陽照區一般取0.18或0.36。像素點最終渲染的亮度值在融合亮度值的基礎上，通過公式(8)［13］平衡壓縮計算獲取，其中Lwhite是最大光強值，文中設置為1.2247。

基于延遲著色方法，原始光照圖像經過平均亮度統計、特效處理和調光處理，在合成階段通過色調映射對每個象素點亮度重新計算，渲染生成的圖像保持了與實際一致。

6 驗證比對

基于上述方法，采用3Dmax對空間場景、飛行器進行幾何和材質屬性浮點建模，在Windows系統下，以Microsoft Visual C++編程，用OpenGL圖形引擎模式實現電視圖像仿真。生成的仿真軟件運行在英特爾?至強?四核處理器W3565(3.20 GHz)、內存 4 GB、顯卡 NVIDIA Quadro FX3800(1 GB)的工作站上。按照空間目標運動規律，每40ms提供太陽、月亮、地球、追蹤飛行器、目標飛行器空間坐標/姿態位置驅動圖形仿真，經測試，圖像渲染流暢，FPS(Frame Per Second)接近50，已經充分滿足人的視覺需要。

根據SZ-9下傳圖像，對仿真圖像光飽和、光調節和色調映射顯示等進行了比對，結果見圖5～7。

圖5為進行高動態渲染前后的兩幅圖像。可以看出進行高動態渲染后圖像的細節層次更清晰，更有利于人的視覺感知，更接近SZ-9任務實飛圖像。

圖5 傳統仿真圖像和高動態仿真圖像Fig.5 Traditional simulated image and high dynamic range simulated image

圖6 過飽和仿真圖像和調光后的仿真圖像Fig.6 Simulated overexposure image and lightadjusted simulated image

圖7 SZ-9任務中過飽和圖像和調光后的圖像Fig.7 Simulated overexposure image and lightadjusted simulated image in SZ-9 task

圖6 為光過飽和仿真圖像和模擬手動調光過程后的仿真圖像的對比圖。從光過飽和仿真圖像中已不能分辨天宮及對接靶標，而從調光后的仿真圖像中已能較為清楚地分辨天宮和對接靶標。圖7為SZ-9實際任務中電視攝像機拍攝到的光過飽和圖像和航天員手動調光后的圖像的對比圖。將仿真圖像與SZ-9任務圖像進行對比，圖像過飽和時以及調光前后的圖像細節層次與亮度的變化基本一致，并且手動調光過程中的圖像變化趨勢以及手動調光次數也基本一致。

上述比對過程可以看出，當目標過飽和、圖像均值亮度過大時，通過減少亮度系數來仿真電視攝像機的調光減少效果的方法是有效的。因此當入射光強度過低、圖像均值亮度過低時，增加亮度系數可以使圖像均值亮度回到指定范圍內，即通過增加亮度系數來仿真電視攝像機的調光增加效果的方法也是適用的。

7 結論

本文研究了近地空間光照特點、攝像機特性和仿真顯示特點和難點，提出了一種基于延遲著色模式下的圖形渲染模式;建立了適應于空間高動態的浮點紋理渲染和特效渲染方法;基于降采樣平均亮度統計方法實現調光和最終顯示色調映射，試驗表明渲染與實際工程下傳圖像一致，可以滿足航天員訓練需要。

［1］周建平.載人航天交會對接技術［J］.載人航天，2011，17(2):5-12.

［2］楊進，姜國華，晁建剛.基于靶標圖像的航天員手控對接方法［J］.宇航學報，2010，31(5):1398-1404.

［3］Hoffleit D，Jaschek C.The Bright star catalogue［J］.New Haven，Conn.:Yale University Observatory，|c1991，5th rev.ed.，edited by Hoffleit，Dorrit;Jaschek，Carlos|v(coll.)，1991，1.

［4］Kunkel T，Reinhard E.A reassessment of the simultaneous dynamic range of the human visual system［C］//Proceedings of the 7th Symposium on Applied Perception in Graphics and Visualization.New York，ACM Press，2010:17-24.

［5］李松.航天員對地觀察望遠鏡設計與研究［D］.長春:中國科學院長春光學精密機械與物理研究所，2003:19-29.

［6］Policarpo F，Fonseca F.Deferred shading tutorial［EB/OL］.http://fabio.policarpo.nom.br/docs.

［7］Soler C，Hoel O，Rochet F.A fast deferred shading pipeline for real time approximate indirect illumination［J］.ACM SIGGRAPH 2010 Talks(2010)18:65-68.

［8］Randi J.Rost.天宏工作室，譯.OpenGL著色語言［M］.北京:人民郵電出版社，2006:151-203.

［9］Lee S，Kwak B，Han H，et al.Dynamic range compression algorithm for mobile display devices using average luminance values［C］//Proceedings of the 12th International Symposium on Integrated Circuits.Washington DC:IEEE Computer Society Press，2009:340-343.

［10］Jinno T，Mouri K，Okuda M.HDR video tone mapping based on gamma blending［C］//Proceedings of 17th IEEE International Conference on Image Processing.Washington DC:IEEE Computer Society Press，2010:2521-2524.

［11］張宇，趙貴軍，李國寧，等.用于目標跟蹤的大視場CCD相機自動調光方法及實現［J］.液晶與顯示，2009，24(6):928-933.

［12］Reinhard E，Stark M，Shirley P，et al.Photographic tone reproduction for digital images［J］.ACM Transactions on Graphics，2002，21(3):267-276.

［13］Kuang J T，Yamaguchi H，Johnson G M，et al.Testing HDR image rendering algorithms［C］//Proceedings of the 12th Color and Image Conference.Virginia:Society for Imaging Science and Technology Press，2004:315-320.