載人飛船圖像系統(tǒng)優(yōu)化設(shè)計(jì)及驗(yàn)證

龍吟 王琰 黃才 吳慶學(xué) 孫斌 鄭璧青 李豐

(1 北京空間飛行器總體設(shè)計(jì)部,北京 100094)(2 上海航天電子技術(shù)研究所,上海 201109)

載人飛船執(zhí)行任務(wù)過程中,地面需要實(shí)時(shí)獲取艙內(nèi)外圖像,以確認(rèn)航天員的工作過程和身體狀況,艙外太陽翼展開及捕獲太陽情況,交會對接過程中的目標(biāo)飛行器的十字靶標(biāo)等重要信息。載人飛船通過配置圖像系統(tǒng)實(shí)現(xiàn)對艙內(nèi)外圖像的實(shí)時(shí)獲取,并經(jīng)過壓縮編碼后通過測控鏈路傳回地面進(jìn)行視頻恢復(fù),實(shí)現(xiàn)地面對載人飛船艙內(nèi)及艙外的實(shí)時(shí)觀測[1-3]。

由于運(yùn)載火箭的約束,載人飛船的結(jié)構(gòu)、能源、帶寬等資源受限,不支持高帶寬的高清圖像傳輸,“國際空間站”[4]和天宮空間站、天舟貨運(yùn)飛船及運(yùn)載火箭[5-8]的圖像系統(tǒng)設(shè)計(jì),無法直接應(yīng)用于載人飛船。考慮到載人飛船的任務(wù)需求和平臺資源,為進(jìn)一步提升載人飛船圖像傳輸質(zhì)量,提出一種低帶寬高質(zhì)量圖像系統(tǒng)優(yōu)化設(shè)計(jì),通過對載人飛船上視頻壓縮算法改進(jìn)和地面圖像增強(qiáng),實(shí)現(xiàn)在目前艙體結(jié)構(gòu)和傳輸帶寬資源約束下載人飛船圖像傳輸質(zhì)量的提升。

1 圖像系統(tǒng)優(yōu)化設(shè)計(jì)

首先,對執(zhí)行天地往返運(yùn)輸任務(wù)的載人飛船圖像傳輸任務(wù)進(jìn)行需求分析。一方面,地面需要實(shí)時(shí)獲取艙內(nèi)航天員的工作及生活狀況;另一方面,地面需要獲取艙外太陽翼的展開工作情況,以及交會對接過程中目標(biāo)飛行器的圖像。對上述功能要求進(jìn)行分解,結(jié)合載人飛船的艙體構(gòu)型及測控體制等基本方案,載人飛船圖像系統(tǒng)應(yīng)滿足以下要求。

(1)具備對返回艙及軌道艙內(nèi)、推進(jìn)艙及軌道艙外、航天員手持?jǐn)z像機(jī)視場內(nèi)圖像的攝取及壓縮編碼功能,同一時(shí)刻最多有6路圖像輸出,通過指令切換從6路圖像中選擇2路進(jìn)行編碼下傳。

(2)通過對地?cái)?shù)傳及中繼衛(wèi)星下行,傳輸帶寬不超過768kbit/s(含伴音)。

(3)載人飛船整體方案沿用約束下,受測控體制及信道制約,在現(xiàn)有條件下,以盡量小的代價(jià)對現(xiàn)有載人飛船的圖像質(zhì)量進(jìn)行提升。

載人飛船圖像系統(tǒng)由載人飛船上部分和地面部分組成(見圖1)。載人飛船上部分包括圖像編碼器、返回艙攝像機(jī)、軌道艙攝像機(jī)、手持?jǐn)z像機(jī)、制導(dǎo)導(dǎo)航與控制(GNC)TV攝像機(jī)、TV光瞄攝像機(jī)、推進(jìn)艙外攝像機(jī)、圖像二次電源和圖像切換器。地面部分包括地面測控站、圖像解碼設(shè)備和圖像顯示設(shè)備。優(yōu)化后的圖像系統(tǒng)見圖2。

注:PAL-D為逐行倒相-D。圖1 神舟十二號載人飛船圖像系統(tǒng)示意Fig.1 Schematic diagram of Shenzhou-12 manned spacecraft’s image system

圖2 優(yōu)化后的載人飛船圖像系統(tǒng)示意Fig.2 Schematic diagram of optimal manned spacecraft’s image system

以神舟十二號載人飛船圖像系統(tǒng)為技術(shù)基線,優(yōu)化后的圖像系統(tǒng)有如下變化。①圖像編碼器的編碼方式更新,輸出圖像分辨率從352×288像素升級為704×288像素;②圖像編碼器從僅支持雙幅工作模式變?yōu)橥瑫r(shí)支持單幅及雙幅工作模式;③地面部分增加了地面圖像增強(qiáng)系統(tǒng)。

1.1 攝像機(jī)及切換器設(shè)計(jì)

攝像機(jī)的配套數(shù)量、功能性能及接口指標(biāo)完全繼承神舟十二號載人飛船設(shè)計(jì),攝像機(jī)完成圖像的攝取功能,首先對拍攝需求進(jìn)行分析,根據(jù)需求對攝像機(jī)視場角、攝像照度、白平衡、最低照度等指標(biāo)進(jìn)行設(shè)計(jì)。分析圖像的亮度變化特點(diǎn),制定相應(yīng)的測光方式;按照應(yīng)用場景的亮度合理選擇最低照度;根據(jù)攝像機(jī)的拍攝位置確定攝像距離和相應(yīng)清晰度。根據(jù)任務(wù)需求,配置6臺攝像機(jī),分別獲取艙內(nèi)、艙外及手持拍攝的實(shí)時(shí)畫面。結(jié)合航天器的艙體結(jié)構(gòu)布局及拍攝視場要求,返回艙攝像機(jī)、軌道艙攝像機(jī)和推進(jìn)艙外攝像機(jī)的主要設(shè)計(jì)指標(biāo)詳見表1。

表1 攝像機(jī)主要指標(biāo)Table 1 Main indicators of cameras

配置圖像切換器,通過指令切換艙內(nèi)外圖像4選2或4選1送圖像編碼器下傳,同時(shí)將各路圖像送出給儀表分系統(tǒng)。配置圖像二次電源,為返回艙和軌道艙攝像機(jī)及圖像切換器供電。

1.2 圖像編碼設(shè)計(jì)

圖像編碼方式主要包括國際標(biāo)準(zhǔn)化組織(ISO)/國際電工委員會(IEC)的建議標(biāo)準(zhǔn)MPEG系列[9](如MPEG-1,MPEG-2,MPEG-4),主要用于數(shù)字電視廣播、DVD和視頻流媒體等,以及國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局(ITU-T)的建議標(biāo)準(zhǔn)H.26X系列(如H.261,H.263,H.264,H.265),主要用于實(shí)時(shí)視頻通信,如視頻電視會議、可視電話。

考慮傳輸帶寬等約束,圖像編碼器采用MPEG-4標(biāo)準(zhǔn),編碼算法采用ISO/IEC 14496-2,在設(shè)備內(nèi)部的2塊數(shù)字信號處理器(DSP)實(shí)現(xiàn),分別對輸入的2幅圖像進(jìn)行壓縮編碼。神舟十二號載人飛船的圖像編碼設(shè)計(jì)方案,通過對PAL-D視頻輸入信號進(jìn)行模擬/數(shù)字(A/D)變換后,采用MPEG-4算法完成圖像壓縮編碼,輸出幀率為25幀/秒分辨率為352×288像素的CIF格式圖像。

MPEG-4是基于混合編碼的方案,具體編碼原理見圖3。MPEG-4基本編碼結(jié)構(gòu)包括形狀編碼、運(yùn)動補(bǔ)償和紋理編碼。在算法工具中,對于運(yùn)動估計(jì),采用全局運(yùn)動補(bǔ)償、2維三角網(wǎng)格預(yù)測和亞像素預(yù)測;對于幀紋理編碼,采用小波變換、3維-離散余弦變換(DCT)、重疊變換、高級的幀內(nèi)編碼和可變塊尺寸的DCT;對于任意形狀區(qū)域紋理編碼,采用貼補(bǔ)DCT、形狀自適應(yīng)DCT、延拓/內(nèi)插DCT、小波/子帶編碼和中值替換DCT;對于形狀編碼,采用幾何變換、形狀自適應(yīng)區(qū)域分割和可變塊尺寸分割。

相對于神舟十二號載人飛船的圖像編碼方案,優(yōu)化后的方案具有以下變化。

(1)圖像的分辨率是決定圖像質(zhì)量的直接因素。幀率表示每秒圖像幀的數(shù)量,高幀率可以得到更流暢的畫面,同時(shí)需要更多的傳輸開銷。傳輸帶寬正比于單幅圖像的分辨率和幀率的乘積。載人飛船返回艙和軌道艙攝像機(jī)主要拍攝對象為航天員及艙內(nèi)結(jié)構(gòu)及物體,航天員在載人飛船內(nèi)部絕大多數(shù)時(shí)間處于束縛狀態(tài),艙內(nèi)結(jié)構(gòu)則為靜止?fàn)顟B(tài)。載人飛船推進(jìn)艙外攝像機(jī)拍攝對象主要為太陽翼及交會對接過程中的目標(biāo)飛行器,單獨(dú)飛行過程中,視場內(nèi)物體絕大多數(shù)時(shí)間為靜止?fàn)顟B(tài),交會對接過程中,僅當(dāng)目標(biāo)飛行器處于可見視場時(shí),視場內(nèi)物體為運(yùn)動狀態(tài),并且運(yùn)動速度為低速。綜上考慮,為進(jìn)一步提升圖像質(zhì)量,優(yōu)化后系統(tǒng)仍然采用MPEG-4編碼方式,將圖像分辨率從352×288像素提升為704×288像素,同時(shí)將幀率從25.0幀/秒降低為12.5幀/秒,從而保證在現(xiàn)有傳輸帶寬不變的前提下,圖像分辨率的翻倍升級,同時(shí),圖像幀率降低并不會導(dǎo)致視場內(nèi)圖像的運(yùn)動特性顯著下降,滿足實(shí)際使用需求。采用里德-所羅門(RS)糾錯編碼RS(255,239),為保證解碼器快速恢復(fù)圖像,編碼器應(yīng)定時(shí)進(jìn)行幀內(nèi)編碼刷新。圖像編碼器原理如圖4所示。

(2)圖像編碼器從僅支持雙幅圖像編碼,變?yōu)榧嫒葜С謱畏鶊D像和雙幅圖像進(jìn)行編碼。這樣做的好處是,當(dāng)需要進(jìn)一步提升圖像質(zhì)量時(shí),例如待發(fā)段地面需要清晰觀測返回艙內(nèi)航天員圖像,圖像編碼器從雙幅工作模式切換為單幅工作模式,這樣能獲得多1倍的信道資源,量化參數(shù)值降低,圖像可以保留更多的高頻分量,在圖像編碼算法不變的前提下,輸出的圖像會更加清晰。在雙幅模式下,信道壓力更大,根據(jù)調(diào)整邏輯,編碼圖像必須壓得更小,那么量化參數(shù)值必定更大以排除掉更多的高頻分量,因此看上去雙幅工作模式相較于單幅工作模式的圖像將更模糊。根據(jù)測試結(jié)果,在普通復(fù)雜的場景下(實(shí)驗(yàn)室環(huán)境),單幅工作模式時(shí)一般I幀量化參數(shù)值穩(wěn)定在4～5;雙幅工作模式時(shí)I幀量化參數(shù)值一般穩(wěn)定在9～13。

圖像編碼數(shù)據(jù)并與話音數(shù)據(jù)復(fù)接組幀。編碼采用768kbit/s的H.221單模式幀結(jié)構(gòu),每2幀構(gòu)成1個子復(fù)幀,這2幀分別稱為偶幀和奇幀。偶幀時(shí),幀定位控制信號(FAS)發(fā)送1BH;奇幀時(shí),FAS發(fā)送4FH。

圖像及伴音幀格式按照H.221幀結(jié)構(gòu)組幀,見圖5。地面從H.221幀結(jié)構(gòu)中提取圖像數(shù)據(jù),并恢復(fù)圖像幀結(jié)構(gòu),見圖6。其中:A表示填充的話音數(shù)據(jù);V表示圖像編碼及RS糾錯編碼后的數(shù)據(jù);BAS為比特率分配控制信號,用于標(biāo)志單幅、雙幅狀態(tài),標(biāo)志字為00H傳送單幅圖像,為FFH傳送雙幅圖像。

圖5 圖像及伴音幀格式Fig.5 Frame format of image and audio

圖6 圖像幀結(jié)構(gòu)示意Fig.6 Image frame structure

按照H.221建議,幀結(jié)構(gòu)具有8kHz結(jié)構(gòu)特性。在1個8kHz的周期(125μs)內(nèi),線路速率為768kbit/s,共有96bit。編碼數(shù)據(jù)組H.221幀按照先縱入后橫出方式實(shí)施。H.221幀結(jié)構(gòu)的第1路和第2路在單幅圖像和雙幅圖像工作模式下傳輸?shù)?路話音,第3路和第4路在雙幅圖像工作模式下傳輸?shù)?路話音。

1.3 地面圖像增強(qiáng)系統(tǒng)設(shè)計(jì)

相對于神舟十二號載人飛船圖像系統(tǒng)的地面部分,優(yōu)化后的圖像系統(tǒng)在地面解碼和地面顯示之間增加了地面圖像增強(qiáng)系統(tǒng)(如圖7所示)。地面圖像增強(qiáng)系統(tǒng)主要分為:上游低質(zhì)量YUV圖像格式轉(zhuǎn)換可攜式網(wǎng)絡(luò)圖像(PNG);深度網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理;基于深度網(wǎng)絡(luò)的低質(zhì)量視頻增強(qiáng);增強(qiáng)后的PNG轉(zhuǎn)換YUV。

圖7 地面圖像增強(qiáng)系統(tǒng)原理Fig.7 Principle of ground image enhancement system

YUV顏色空間常用于彩色電視系統(tǒng)中,其原理是得到的彩色圖像的信號經(jīng)過分色處理,然后分別放大校正轉(zhuǎn)化為RGB顏色空間中的R,G,B上那個分量,經(jīng)過矩陣電路轉(zhuǎn)換,最后獲得亮度信號Y和2個色差信號R-Y,B-Y即表示為U,V。YUV顏色空間中亮度信號Y和色度信號U,V是分離的,如果輸出信號中只有Y信號分量,則可表示彩色圖像的灰度圖像。YUV顏色空間的優(yōu)點(diǎn)為:表現(xiàn)出來的彩色圖像更符合人類的視覺特性;被廣泛地用在圖像和視頻編碼標(biāo)準(zhǔn)中,在邊緣檢測算法過程中可以避免格式轉(zhuǎn)換所耗費(fèi)的計(jì)算量。

PNG是起源于網(wǎng)絡(luò)應(yīng)用的圖像,PNG格式所采用的LZ77派生壓縮算法,完全支持多種不同位數(shù)的圖像壓縮存儲,相比使用有損壓縮算法犧牲圖像質(zhì)量來獲得大的圖像數(shù)據(jù)壓縮比率的JPEG格式,PNG格式是一種采用無損壓縮算法的位圖格式,能夠?qū)崿F(xiàn)壓縮存儲圖像經(jīng)過解壓縮算法無損還原。正是由于以上技術(shù)優(yōu)勢,PNG格式的圖像技術(shù)在現(xiàn)在的網(wǎng)絡(luò)媒體及相關(guān)應(yīng)用中得到了廣泛使用,成為圖像存儲的主流技術(shù)。

地面圖像增強(qiáng)系統(tǒng)主要工作流程如下。①將接收到的低質(zhì)量YUV數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換,得到對應(yīng)的低質(zhì)量待增強(qiáng)的圖像數(shù)據(jù)。②對這些待增強(qiáng)圖像數(shù)據(jù)進(jìn)行深度網(wǎng)絡(luò)預(yù)處理生成網(wǎng)絡(luò)流數(shù)據(jù),并送入預(yù)先開發(fā)部署好的深度網(wǎng)絡(luò)中進(jìn)行質(zhì)量增強(qiáng),達(dá)到低質(zhì)量視頻增強(qiáng)視覺感受的目的。③將質(zhì)量增強(qiáng)后的圖像再次送入轉(zhuǎn)換器,得到Y(jié)UV格式的數(shù)據(jù),用于下游播放設(shè)備的播放。通過地面圖像增強(qiáng)系統(tǒng),解決經(jīng)過編碼傳輸后視頻分辨率低、壓縮噪聲大、運(yùn)動模糊嚴(yán)重的問題,對低質(zhì)量視頻進(jìn)行主觀上的質(zhì)量增強(qiáng),提升用戶視覺體驗(yàn)與觀看效果。

2 實(shí)例驗(yàn)證

搭建載人飛船圖像系統(tǒng)的試驗(yàn)驗(yàn)證平臺,如圖8所示。用返回艙攝像機(jī)的電性件作為視頻采集裝置,通過一分二的方式將PAL-D信號接入更新圖像編碼算法的圖像編碼器電性件,圖像編碼器根據(jù)遙控指令切換單幅及雙幅工作模式,分別輸出單幅和雙幅圖像至地面測試設(shè)備,地面測試設(shè)備最后將解碼后的圖像送入地面圖像增強(qiáng)系統(tǒng),進(jìn)一步提升圖像質(zhì)量。圖像質(zhì)量的評價(jià)手段分為主觀評價(jià)和客觀評價(jià)。主觀評價(jià)是直接通過人員感受圖像質(zhì)量的清晰度,客觀評價(jià)采用峰值信噪比(PSNR)的指標(biāo)進(jìn)行評估,是一種評價(jià)圖像的客觀標(biāo)準(zhǔn)。

圖8 載人飛船圖像系統(tǒng)測試平臺Fig.8 Test platform for image system of manned spacecraft

2.1 載人飛船上圖像增強(qiáng)驗(yàn)證

更改前,無單幅模式,在雙幅模式下,圖像編碼處理軟件進(jìn)行分辨率352×288像素、幀率25.0幀/秒、輸出碼率300kbit/s的MPEG-4編碼。更改后,在雙幅模式下,將圖像編碼處理軟件的分辨率改為704×288像素,幀率改為12.5幀/秒,碼率為300kbit/s;在單幅模式下,將圖像編碼處理軟件的分辨率改為704×288像素,幀率改為12.5幀/秒,碼率改為600kbit/s。更改圖像編碼器DSP軟件后,圖像方塊效應(yīng)減弱,黑白條測試圖像清晰度明顯提高,圖像動態(tài)適應(yīng)性滿足要求,從主觀上看圖像質(zhì)量有較明顯改善。對解碼后的圖像和原始圖像的PSNR進(jìn)行比對,結(jié)果如表2所示。

表2 載人飛船上更改前后PSNR比對Table 2 PSNR comparison before and after on-board upgrade

從表2中可以看出:在實(shí)驗(yàn)室環(huán)境下,圖像編碼器DSP軟件修改編碼器參數(shù),將輸入圖像的分辨率由352×288像素改為704×288像素,幀率由原來的25.0幀/秒改為12.5幀/秒后,在雙幅模式下,PSNR約能提升2.000dB;在單幅模式下,PSNR約能提升1.800dB。這與主觀評價(jià)的效果一致。

采用實(shí)驗(yàn)室圖像,進(jìn)行載人飛船上增強(qiáng)前后的對比,分別如圖9和圖10所示,圖像方塊效應(yīng)減弱,黑白條測試圖像清晰度明顯提高,從主觀上圖像質(zhì)量有較明顯改善。

圖9 更改前雙幅模式編碼圖像Fig.9 Primary double-mode encoded image

圖10 更改后單幅模式編碼圖像Fig.10 Alterated single-mode encoded image

2.2 地面圖像增強(qiáng)驗(yàn)證

采用返回艙攝像機(jī)采集視頻,在單幅模式下,更改后的圖像編碼處理軟件進(jìn)行分辨率704×288像素、幀率12.5幀/秒、碼率600kbit/s的MPEG-4編碼,經(jīng)過地面解碼后圖像增強(qiáng)效果如表3所示。對地面圖像增強(qiáng)后圖像和原始圖像的PSNR進(jìn)行比對,PSNR約提升2.000dB。采用神舟十三號載人飛船待發(fā)段的返回艙圖像,進(jìn)行地面增強(qiáng)前后的對比,分別如圖11和圖12所示,圖像方塊效應(yīng)明顯減弱,圖像顯示更加平滑,從主觀上看圖像質(zhì)量有較明顯改善。

表3 地面增強(qiáng)前后PSNR比對Table 3 PSNR comparison before and after ground enhancement

圖11 神舟十三號載人飛船原始圖像Fig.11 Original image of Shenzhou-13 manned spacecraft

3 結(jié)束語

本文提出一種低帶寬高質(zhì)量的載人航天器圖像系統(tǒng)優(yōu)化設(shè)計(jì),分別通過對載人飛船上圖像壓縮編碼算法改進(jìn)和地面圖像增強(qiáng),實(shí)現(xiàn)在沿用載人飛船整體方案、傳輸帶寬受限的約束前提下圖像傳輸質(zhì)量的提升。采用本文提出的圖像系統(tǒng)優(yōu)化設(shè)計(jì),圖像方塊效應(yīng)減弱,黑白條測試圖像清晰度明顯提高,主觀評價(jià)圖像質(zhì)量有明顯改善,載人飛船上部分和地面圖像增強(qiáng)分別對圖像的PSNR提升了2.000dB,有助于在繼承當(dāng)前載人飛船總體架構(gòu)設(shè)計(jì)的前提下提升載人飛船下行圖像傳輸質(zhì)量。后續(xù)將開展H.265圖像編碼體制在載人飛船圖像系統(tǒng)中應(yīng)用的可行性研究,在現(xiàn)有帶寬資源的前提下進(jìn)一步提升圖像傳輸質(zhì)量。