偏振透霧成像系統的設計與實驗分析

夏 璞,劉學斌,閆 鵬

(1.中國科學院西安光學精密機械研究所中國科學院光譜成像技術重點實驗室,陜西西安 710119; 2.中國科學院大學,北京 100049)

?

偏振透霧成像系統的設計與實驗分析

夏 璞1,2,劉學斌1,閆 鵬1

(1.中國科學院西安光學精密機械研究所中國科學院光譜成像技術重點實驗室,陜西西安 710119; 2.中國科學院大學,北京 100049)

摘要:針對塵霧天氣下對成像質量、集成度和實時性的要求,設計了一種可進行快速去霧處理的偏振成像系統.利用現場可編程門陣列實現差分電平轉換,結合探測器內置鎖相環路和Cam Link圖像傳輸協議搭建高集成度CMOS成像電路;利用斯托克斯方程對獲得的偏振圖像進行反演,通過數字信號處理器模塊實現了實時去霧算法.該偏振成像系統尺寸為117 mm×117 mm×126 mm,質量為1.2 kg.在塵霧天氣下進行成像實驗,通過對比去霧前后圖像直方圖和RGB分布,表明該成像系統能有效地對大氣散射進行校正,驗證了該成像系統的透霧能力.實驗結果表明,該成像系統在2048×2048及180 Hz下可獲得穩定的彩色去霧圖像.

關鍵詞:去霧;偏振測量;CMOS;現場可編程門陣列;數字信號處理器

隨著環境的日益惡化,霧霾等惡劣氣候不斷增多[1-3].在塵霧天氣下,大氣中各種固體粒子和液體粒子對光的散射和吸收嚴重影響了可見光波段的成像質量[4-5],獲得的圖像嚴重退化,分辨率和對比度降低,圖像中蘊含的很多重要信息被覆蓋,給圖像解析和信息提取帶來了很大的困難.因此,設計一套可在塵霧天氣下有效工作的成像系統具有實際意義.

從1992年Travis基于地球觀測掃描偏振計(Earth Observing Scanning Polarimeter,EOSP)分析了偏振遙感觀測大氣氣溶膠開始,偏振透霧成像在國際上已成為一個快速發展的領域[6-7].法國國家空間研究中心研制的POLDER是第1個可以獲取偏振光觀測信息的星載對地觀測器,開始了偏振成像系統的使用.在國外,偏振成像系統在APS星載寬波段偏振探測器、MICROPOL航空遙感相機、RSP多角度機載探測器等載荷中受到重視,在衛星遙感、大氣氣溶膠參數觀測等方面取得成果.在國內,偏振成像也取得了一定成績.我國國家973計劃和中國科學院戰略性先導專項都對塵霧天氣下的成像進行了研究.這些研究雖然取得了多項突破,但研究以透霧算法為重點[8-10],缺乏高集成度透霧成像系統樣機.此外,現有的成像系統只能輸出偏振圖像,對上位機有很強的依賴性.透霧成像對系統的集成度、功耗和實時性提出了很高要求,研制小型化成像系統[11]進行快速響應[12]是目前研究的熱點.

筆者采用互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor transistor,CMOS)探測器進行塵霧天氣下的高質量成像,利用現場可編程門陣列(Field Programmable Gata Array,FPGA)完成圖像輸出和相機控制,通過數字信號處理器(Digital Signal Processor,DSP)實現偏振圖像的復原算法,搭建了可實時輸出去霧圖像的成像系統.本成像系統中開發了一套具有高集成度的CMOS探測器驅動電路,采用內置鎖相環路產生高速差分同步時鐘,利用現場可編程門陣列實現差分電平轉換,通過Cam Link協議實現高速圖像輸出和實時參數設置.采用數字信號處理器結合偏振圖像復原透霧算法,反演圖像退化過程,獲得去霧圖像.

圖1 塵霧天氣下的圖像退化模型

1 偏振透霧算法

塵霧天氣下的圖像退化過程如圖1所示.大氣散射是由大氣介質折射率的非均勻性引起的,在光的散射過程中,一個突出特點就是偏振狀態的變化,散射光相對于景物光會有一定程度的偏振,偏振程度取決于粒子的大小、形狀、折射率、入射光偏振狀態和觀測角度.由于大氣散射的偏振特性與目標的偏振特性存在巨大差異,利用該差異將目標輻射從圖像中提取出來,可以實現大氣散射校正.

為反演塵霧天氣下大氣散射的退化過程,需要已知景物光及大氣散射光的輻射量和偏振狀態.采用斯托克斯參量(I,Q,U,V)描述偏振光的偏振信息,其中I表示光的總強度,Q表示0°與90°線偏振光分量之差,U表示45°與135°線偏振光分量之差,V表示右旋與左旋圓偏振光分量之差.

當確定0°參考方向后,在α偏振方向上的光強為

需測量3個不同偏振方向的透過光強I(α),分別選取0°、60°、120°的偏振方向,表示式為

線偏振度P和偏振角θ為

偏振透霧成像系統獲得的圖像信號包含景物直射成分和大氣散射成分.考慮一次大氣瑞利散射的影響,建立如下關系式:

其中,I、D和A分別表示圖像中單位像元的總輻射強度、景物光分量和大氣散射光分量;A∥、A⊥分別表示單位像元大氣散射光分量中平行和垂直于偏振角方向的分量.由于景物光分量D幾乎不隨偏振方向變化,近似為I∥-I⊥=A∥-A⊥.其中,I∥和I⊥分別表示單位像元總輻射量中平行和垂直于偏振角方向的分量.景物光直射成分為

2 系統設計

2.1 設計思路

搭建基于現場可編程門陣列的CMOS探測器驅動平臺,設計現場可編程門陣列加數字信號處理器的實時透霧成像系統.系統通過Cam Link自帶串口通信協議對相機參數進行實時設置,利用串行外設接口(Serial Peripheral Interface,SPI)向探測器上傳控制信號.探測器將16路低電壓差分(Low Voltage Differential Signaling,LVDS)圖像信號傳輸給現場可編程門陣列,現場可編程門陣列經過信號轉換、數據對齊后將圖像信號傳輸給數字信號處理器.2塊256 MB同步動態隨機存儲器(Synchronous Dynamic Random Access Memory,SDRAM)對圖像進行緩存,數字信號處理器運行去霧算法,將去霧后的圖像經現場可編程門陣列由雙路Cam Link接口輸出.系統框圖如圖2所示.

圖2 成像系統框圖

探測器驅動模塊由6部分組成:頂層模塊(CMV4000_Top)、時鐘管理模塊(clock Gen)、探測器時序驅動模塊(Cmos_Timing)、圖像信號接收模塊(Receive_Image_Data)、Cam Link接口驅動模塊(Driver_For_Cam)和串口通信模塊(Communicate_ Engine).CMV4000_Top連接各個子模塊,并對所有輸入輸出信號進行管理;clock Gen包含數字時鐘管理器(Digital Clock Manager,DCM),為其他子模塊提供時鐘信號;Cmos_Timing對探測器進行初始化,產生曝光時序,并通過串行外設接口更改探測器工作參數; Receive_Image_Data轉換、對齊、緩存圖像信號,并將雙端口隨機存儲器(Dp RAM)緩存的圖像輸出;Driver_ For_Cam將圖像信號按照Medium模式Cam Link協議輸出;Communicate_Engine將用戶設置反饋給探測器驅動模塊并實時監控探測器溫度.探測器驅動模塊框圖如圖3所示.

2.2 相機參數

設計完成的成像系統支持在180 Hz幀頻下輸出2 048×2 048分辨率圖像,具有彩色及灰度2種工作模式,可根據成像質量需求選擇10 bit或12 bit的數據位寬.相機具備370～930 nm光譜響應波段,60 d B動態范圍和5.56 V/(lx·s)靈敏度.在工作過程中,無須重新啟動相機,即可實時更改增益、積分時間、幀頻和開窗設置,并監控探測器溫度.相機硬件電路采用模塊化設計,探測器、控制電路和數字信號處理器分別安裝在3 塊112 mm×112 mm的印制電路板(Printed Circuit Board,PCB)上,板間采用120針接插件連接.成像系統可定制.當啟用全部模塊,使用分孔徑式偏振鏡頭時,成像系統以透霧模式工作,輸出去霧后的圖像;當只使用探測器和控制模塊時,成像系統以普通模式工作,輸出透霧前的偏振圖像;當使用普通可見光鏡頭時,可作為標準成像系統使用.成像系統后視圖如圖4(a)所示,俯視圖如圖4(b)所示.

圖3 探測器驅動模塊框圖

2.3 器件選型

筆者采用CMOSIS公司2012年的全彩色CMOS探測器CMV4000,該探測器具備5.5μm的單位像元,采用全局快門,室溫下暗電流為125電子數/秒,固定背景噪聲小于1個最低有效位,最大功耗為650 m W,參數滿足成像需求.采用Xilinx公司V4系列XC4VSX55型現場可編程門陣列,該現場可編程門陣列作為相機控制芯片,提供差分信號接口,可優化電路結構,簡化信號完整性及電磁兼容設計難度.采用TI公司TMS320DM642型數字信號處理器芯片運行透霧算法,實現實時去霧處理,系統為用戶預留上傳接口,也可運行其他算法.

圖4 探測成像系統

3 驅動電路集成化設計

成像系統工作在最大幀頻時探測器輸出16路480 Mbit/s的低電壓差分圖像信號,傳統驅動電路設計方法難以滿足需求;大分辨率高幀頻圖像傳輸需要大帶寬信道,普通信道難以實現實時輸出;實時更改參數設置需要串口通信模塊,標準模塊占據空間大,且需要額外接口,難以實現小型化.針對上述3個問題,提出如下改進方案:采用現場可編程門陣列實現低電壓差分電平向晶體管-晶體管邏輯電平(Transistor Transistor Logic,TTL)轉換;利用系統內置鎖相環路產生高速差分同步時鐘;通過Cam Link協議實現大帶寬信號輸出和串口通信.

3.1 差分電平轉換的實現

該成像系統采用Cam Link接口輸出圖像,Cam Link芯片DS90CR285將接收到的TTL信號按照Cam Link協議輸出,需要將探測器輸出的低電壓差分信號進行電平轉換.不同于傳統的專用電平轉換芯片實現方案,本成像系統采用現場可編程門陣列實現電平轉換.采用支持差分輸入的現場可編程門陣列芯片,利用V4系列現場可編程門陣列自帶元件庫VComponent中的idufg元件,對圖像及控制信號進行電平轉換,代碼如下:

lvds_control_bit:ibufds generic map(IOSTANDARD=＞"LVDS_25",DIFF_TERM=＞FALSE)

port map(i=＞ControlBit_p,iB=＞ControlBit_n,o=＞control_bit);

ibuf_d0:ibufds generic map(IOSTANDARD=＞"LVDS_25",DIFF_TERM=＞FALSE)

port map(i=＞ImageDataina_p(0),iB=＞ImageDataina_n(0),o=＞ImageDataina(0)).

圖像接收模塊將接收到的低電壓差分圖像信號經電平轉換、串并轉換、對齊后,交由Dp RAM緩存并輸出.圖像接收模塊框圖如圖5所示.

圖5 圖像接收模塊

3.2 高速差分同步時鐘設計

成像系統以最大幀頻工作時,需要480 MHz的高速差分同步時鐘.高速信號對信號完整性和電磁兼容設計提出很高要求,需要對印刷電路板進行等長布線,系統很難實現小型化.針對上述問題,對成像系統設計時利用內置鎖相環路,只需要一塊40 MHz的無源晶體振蕩器即可滿足全部時鐘需求,簡化了設計難度.

需要對探測器的控制寄存器進行相應設置來啟用內置鎖相環路.CMV4000探測器共包含128個8 bit控制寄存器,可設置增益、積分時間、采樣模式、高動態范圍圖像(High Dynamic Range image,HDR)等豐富功能.控制寄存器參數通過串行外設接口上傳,一組串行外設接口信號包含16 bit數據,其中第0位為讀寫校驗位、第1位～第7位為地址位、第8位～第15位為數據位.啟用內置鎖相環路共需要設置4組控制寄存器,分別為使能內置鎖相環路(Pll enable)、啟用內置鎖相環路(Pll_bypass)、啟用外部差分同步時鐘輸入(LVDS clock input enable)和使能差分信號接收(LVDS receiver).

3.3 利用CamLink協議實現圖像輸出和串口通信

選用Cam Link協議實現實時圖像輸出.該協議采用低壓差分信號,相對于單端傳輸有更優良的抗干擾性能.該信道帶寬大,可實現多通道并行傳輸,很適合傳輸大分辨率、高幀頻圖像.Cam Link自帶串口通信協議,可直接通過Cam Link電纜實現串口通信,無須額外接口,能有效地提高系統集成度.在系統默認工作模式下,采用Medium模式Cam Link協議,一次輸出4 組12 bit數據.一路Cam Link信道共包含28 bit數據,包括24 bit圖像信號、行有效標志位、幀有效標志位和像素有效標志位.

成像系統采用RS231和RS232串口通信芯片實現相機參數的讀取及上傳.串口波特率為57 600,字長8 bit,每條指令包含關鍵字、數據字長、數據和校驗字.串口采用921 k Hz時鐘,探測器驅動模塊采用80 MHz工作時鐘,利用2個先入先出(First In First Out,FIFO)緩存實現時鐘轉換.串口通信模塊框圖如圖6所示.

圖6 串口通信模塊

4 實驗結果

4.1 偏振去霧前后圖像對比

利用本成像系統對塵霧天氣下中國科學院西安光學精密機械研究所空天大樓進行成像實驗.圖7(a)為未開啟機內數字信號處理器去霧處理模塊直接輸出的景物總光強圖,圖7(b)為開啟實時去霧模塊后輸出的去霧后圖像.

圖7 偏振去霧前后圖像對比

圖8 偏振去霧前后直方圖對比

4.2 偏振去霧前后直方圖對比

偏振去霧前后圖像直方圖對比如圖8所示.去霧前圖像的灰度值集中在60～140之間;去霧后灰度值分布于35～200之間,圖像經過去霧處理后直方圖分布更加均衡,能更加清晰地還原景物細節,圖像得到明顯改善.

4.3 偏振去霧前后RGB色彩分布對比

偏振去霧前后圖像RGB分布對比如圖9所示.對比原始圖像,去霧后圖像RGB分布明顯展寬,圖像色彩飽和度、銳度得到顯著提升.

圖9 偏振去霧前后RGB分布對比

5 結束語

筆者對塵霧天氣下圖像退化的機理進行分析,提出了基于偏振透霧算法的成像系統設計方案,搭建了一套偏振成像系統.該成像系統具有較高的分辨率、靈敏度及動態范圍,滿足塵霧天氣下的成像需求,可實現開窗、隔行采樣、高動態范圍等豐富功能,具有較高靈活性.系統集成的數字信號處理器模塊可實現實時處理,直接輸出透霧后的圖像.實驗結果表明,該成像系統能有效地改善受大氣散射影響的圖像,提高塵霧天氣下成像質量,為目標提取識別帶來便利.最終設計完成的成像系統尺寸為117 mm×117 mm×126 mm,質量為1.2 kg.

參考文獻:

[1]YUAN Q,LI W J,ZHOU S Z,et al.Integrated Evaluation of Aerosols during Haze-fog Episodes at one Regional Background Site in North China Plain[J].Atmospheric Research,2015,156(6):102-110.

[2]WANG M Y,CAO C X,LI G S,et al.Analysis of a Severe Prolonged Regional Haze Episode in the Yangtze River Delta,China[J].Atmospheric Environment,2015,102(3):112-121.

[3]TAO M H,CHEN L F,XIONG X Z,et al.Formation Process of the Widespread Extreme Haze Pollution over Northern China in January 2013:Implications for Regional Air Quality and Climate[J].Atmospheric Environment,2014,98(17):417-425.

[4]GALLEN R,CORD A,HAUTIERE N,et al.Nighttime Visibility Analysis and Estimation Method in the Presence of Dense Fog[J].Intelligent Transportation Systems,2015,16(1):310-320.

[5]郭紅,顧行發,謝東海,等.大氣氣溶膠偏振遙感研究進展[J].光譜學與光譜分析,2014,34(7):1873-1880.GUO Hong,GU Xingfa,XIE Donghai,et al.A Review of Atmospheric Aerosol Research by Using Polarization Remote Sensing[J].Spectroscopy and Spectral Analysis,2014,34(7):1873-1880.

[6]PEINADO A,LIZANA A,IEMMI C,et al.Polarization Imaging with Enhanced Spatial Resolution[J].Optics Communications,2015,338(5):95-100.

[7]UGOLNIKOV O S,MASLOV I A.Mesosphere Light Scattering Depolarization During the Perseids Activity Epoch by Wide-angle Polarization Camera Measurements[J].Planetary and Space Science,2014,92(3):117-120.

[8]張廣燕,王俊平,汪松,等.一種SLIP模型的圖像增強新算法[J].西安電子科技大學學報,2014,41(1):105-109.ZHANG Guangyan,WANG Junping,WANG Song,et al.New Image Enhancement Algorithm based on the SLIPmodel[J].Journal of Xidian University,2014,41(1):105-109.

[9]李權合,查宇飛,熊磊,等.霧霾退化圖像場景再現新算法[J].西安電子科技大學學報,2013,40(5):99-106.LI Quanhe,ZHA Yufei,XIONG Lei,et al.Novel Method for Haze Degraded Image Scene Rendition[J].Journal of Xidian University,2013,40(5):99-106.

[10]李權合,畢篤彥,何林遠.退化過程模擬模型及其在圖像增強中的應用[J].西安電子科技大學學報,2011,38(6): 185-192.LI Quanhe,BI Duyan,HE Linyuan,et al.Degradation Process Simulation Model and Its Use in Image Enhancement [J].Journal of Xidian University,2011,38(6):185-192.

[11]蘇宛新.大面陣CMOS實時同步成像及顯示系統的設計[J].光子學報,2012,41(3):364-369.SU Wanxin.Design of a Large Array CMOS Image and Display System in Real-time Synchronization[J].Acta Photonica Sinica,2012,41(3):364-369.

[12]趙寶瑋,相里斌,呂群波,等.FPGA和多DSP系統的并行RX探測算法[J].西安電子科技大學學報,2014,41(3): 152-156.ZHAO Baowei,XIANGLI Bin,LüQunbo,et al.Parallel RX Algorithm Implementation based on the FPGA and Multi-DSP System[J].Journal of Xidian University,2014,41(3):152-156.

(編輯:郭 華)

Design of and experiment on the polarization dehazing imaging system

XIA Pu1,2,LIU Xuebin1,YAN Peng1
(1.Key Laboratory of Spectral Imaging Technology,Xi’an Institute of Optics and Precision Mechanics,Chinese Academy of Sciences,Xi’an 710119,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

Abstract:In view of the requirement of image quality,integration level and real-time application of the imaging systems under fog weather,this paper reports a polarization imaging system with a dehazing ability.The differential signal is converted by FPGA,and a highly integrated CMOS imaging circuit is built based on the internal PLL of the image sensor and the CamLink protocol.The obtained image is inversed by stokes equations,and the real-time dehazing algorithm is realized by the built-in DSP module.The total size of the polarization imaging system is 117 mm×117 mm×126 mm,and the weight of the system is 1.2 kg.An imaging experiment was made under fog weather,and the dehazing ability of the imaging system is proved by the contrast of the original image and the dehazed image’s histogram and RGB distribution.Experimental results show that the imaging system can stably obtain a color dehazed image at 2 048×2 048@180 Hz.

Key Words:fog dispersal;polarization measurements;complementary metal oxide semiconductor;field programmable gata array;digital signal processor

作者簡介:夏 璞(1989-),男,中國科學院西安光學精密機械研究所博士研究生,E-mail:xiapu@opt.ac.cn.

基金項目:國家高技術研究發展計劃(863計劃)資助項目(20137031071B);國家自然科學基金資助項目(61275149)

收稿日期:2014-12-20 網絡出版時間:2015-05-21

doi:10.3969/j.issn.1001-2400.2016.02.017

中圖分類號:TP212

文獻標識碼:A

文章編號:1001-2400(2016)02-0095-07

網絡出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20150521.0902.014.html