高 策,趙新宇,柳玉晗中國科學院長春光學精密機械與物理研究所,吉林長春 130022
基于GPU加速器的圖像實時去霧系統
高策,趙新宇,柳玉晗
中國科學院長春光學精密機械與物理研究所,吉林長春130022
隨著成像技術的飛速發展,光學設備使用了越來越多的先進探測器;對影像的清晰展示逐漸成為光學設備的一項重要功能,在霧霾環境下,如何將實時影像進行處理,以更加清晰、更能突出目標特點、更具視覺效果的方式呈現在觀測者面前,已經成為制約產業發展的關鍵核心技術,是光學設備相關從業人員急需解決的課題;本文通過構建實時去霧系統的硬件環境,描述基于GPU加速器的圖像實時去霧方法,解決了霧霾環境下光學設備成像不清晰的問題,并通過試驗驗證了該系統對1080p的SDI圖像進行實時去霧處理的效果。從試驗結果可以看出該系統去霧效果明顯,實時處理能力強,具有較好的應用前景。
GPU加速器;去霧;光學設備,SDI,暗原色先驗。
近年來,隨著成像技術的飛速發展,光學設備使用了越來越多的先進探測器;除了完成傳統測量以外,對影像的清晰展示逐漸成為光學設備的一項重要功能。但由于霧霾的影響,使對氣象條件極其依賴的光學設備很難獲取清晰的圖像,如何將實時影像進行處理,去掉霧霾影響,以更加清晰、更能突出目標特點、更具視覺效果的方式呈現在觀測者面前,已經成為制約產業發展的關鍵核心技術,是光學設備相關從業人員急需解決的課題。
只有綜合提高以上技術的整體水平,并將各技術有效的結合在一起,建立整套的圖像優化體系,才能從根本上改進光學設備成像的視覺效果,讓客戶滿意,提高光學設備的整體競爭力。基于GPU加速器的圖像實時去霧系統就是在這種思想指導下建立起來的。
整個系統的硬件平臺由一臺圖形工作站、一塊NVIDIA Tesla K20 GPU 加速器、一塊圖像采集卡、多塊SDI圖像輸出卡組成。輸出卡數量依據實際需輸出圖像路數確定。工作站與各光纖圖像采集卡采用PCI-E總線連接。
圖形工作站平臺在選用kontron的EATX V2 X9DR3工業圖形服務器或同等性能產品作為計算機平臺,CPU配置為Intel Xeon E5-2658,10核心64位2.4GHz處理器,板載3個PCIE×8及3個PCIE×16插槽。圖形工作站配備多點觸控顯示器,選用優派TD2420 多點觸控顯示器。
圖像輸出卡采用Blackmagic DeckLink Quad(該卡可同時支持四路SDI輸出,采用PCI-E×4接口。配有4路 SDI輸出接口,可在SD/HD-SDI格式間切換使用。
采用基于NVIDIA Kepler?架構的NVIDIA Tesla K20 GPU 加速器。這款加速器針對并行計算而設計,可提供獨有的計算性能。
由以上硬件平臺可以看出,硬件平臺具有一定的先進性與成熟性,可以保證圖像去霧系統的高實時處理能力。
應用軟件采用C++語言結合DirectX Compute及TBB進行多核心多線程軟件開發,采用OpenCV及自研圖像處理算法完成對圖像的各類處理。
操作系統:采用Windows7-64bit專業版操作系統。開發環境:Visual Studio 2010+OpenCV2.4.10+TBB+Di rectX11。
軟件運用GPU (圖形處理器)搭配CPU來加速圖像處理,程序的串行部分在CPU上運行,并行部分在GPU上運行完成,組成協同處理環境,大幅提高計算性能,能夠實現多路數字圖像的實時增強處理。
大氣能見度較差的情況,會給成像系統帶來相當大的干擾。它不僅會降低圖像的對比度,使圖像出現顏色失真,而且會使圖像模糊不清。這是由于氣溶膠的存在,如灰塵、霧沫、煙霧使光偏移了原來的傳播路徑。氣溶膠粒子在成像的過程中,其散射后的成像又會發生多次散射,這樣多種散射光疊加在一起成像時,圖像就產生了一定程度的模糊,這種模糊圖像不僅帶來了很差的視覺效果,同時也給圖像的分析工作帶來了諸多不便。
根據大氣散射模型可以建立霧天降質圖像的數學模型,通常用如下等式來表示霧天圖像的形成機制。
式(1)中,I為成像設備觀測到的含霧圖像強度,x為像素點對應坐標,J為無霧條件下場景光強度,t為場景光的透射率,即場景反射光在經過介質散射后到達成像設備的比率,A為空中大氣光強度。圖像去霧的目的就是通過已得的I求出J。
景物距離的增加會導致霧氣影響增大,即透射率t是一個變化的參數,暗原色先驗規律的發現為動態估算t提供了良好的參考。暗原色先驗可描述為:在無霧圖像的非天空局部區域里,總存在一些像素點在至少一個顏色通道的值很低,即所謂的暗原色,這些暗原色通常來源于圖片中的陰影、顏色鮮艷或亮度較低的區域,其數學表達式為:
式(2)中,Jc為圖像J的某個顏色通道值,?(x)是以x為中心的一個局部區域,原文中被取為15× 15的方形區域,Jdark為所得的暗原色,其值通常會很低并趨于0,這個規律就叫做暗原色先驗。基于GPU加速的圖像去霧系統采用暗原色先驗去霧算法進行去霧處理,能夠提高圖像的視覺效果,不考慮圖像退化的原因,選擇性突出有意義的信息,抑制無效信息,以此改善圖像的視覺效果。
采用上述平臺與方法分別在城市霧霾環境,海邊水霧環境進行試驗,采用日立DK-H100相機作為圖像采集設備,這是一款3CCD高清廣播級SDI相機。圖1為在城市環境下去霧效果演示。
圖2、圖3為海邊環境下去霧前后效果比對。
試驗驗證了該系統對實時圖像的去霧處理效果明顯,使圖像的細節更加清晰,更能突出所要觀察目標的特點。
本系統采用了GPU加速器,建立起GPU-CPU協同處理環境,以保證系統的實時處理能力,通過對系統去霧能力的驗證,可以看出該系統去霧效果明顯,實時處理能力強,可以廣泛用于各類監控光學設備的去霧與實時增強處理,具有較好的市場應用前景。
[1]劉春香,郭永飛,李寧,等.基于DSP的嵌入式實時圖像增強系統[J].計算機測量與控制,2013,21(2):529-531.
[2]王彬,何昕,魏忠慧.采用單目標圖像特征直線的飛機姿態估計[J].計算機測量與控制,2013,21(2):473-476.
[3]張濤,喬彥峰.基于ASPI和SCSI的高速視頻存儲系統[J].計算機測量與控制,2010,18(6):1380-1382.
[4]劉溪,陳凌峰,周敏,等.基于數字圖像處理技術的球壓測試壓痕自動測量[J].計算機測量與控制,2010,18 (6):1262-1265.
V557+.4
A
1674-6708(2015)152-0152-02