基于OpenCV的紅外與可見光圖像實時融合系統*

任貴文，賀行政,康榮學，李旭明

(中國安全生產科學研究院 重大危險源監控與事故應急技術國家安全監管總局安全生產重點實驗室，北京 100012)

基于OpenCV的紅外與可見光圖像實時融合系統*

任貴文，賀行政,康榮學，李旭明

(中國安全生產科學研究院 重大危險源監控與事故應急技術國家安全監管總局安全生產重點實驗室，北京 100012)

基于OpenCV圖像處理庫函數，在VS2013平臺下開發了一種紅外與可見光圖像融合系統，該方法克服了紅外圖像特征點不明顯的缺點，通過特殊的攝像機標定技術，完成了紅外與可見光攝像機的標定，進而實現了紅外與可見光圖像的匹配融合。實驗證明，該系統能達到較好的融合效果，并能保證融合的實時性。

圖像融合；攝像機標定；單應矩陣

引 言

異源圖像獲取的信息具有更高的冗余性、互補性和可靠性，因此，基于異源圖像的匹配、配準、融合等技術成為了研究熱點，并廣泛運用于計算機視覺、反恐、安防、軍事等領域[1]。在異源圖像融合中，最為常見的是紅外熱成像和可見光圖像的融合，紅外熱成像是對人眼不可見的熱輻射的成像，因此它和可見光圖像可以實現相互補充，能全面地提供視野范圍內的環境信息，實現對高溫物體的精確定位，為軍事、安防、安全生產等領域提供很好的技術支持。

在異源圖像的融合中，目前常見的技術大體分為兩種：基于灰度的匹配算法和基于特征的匹配算法。前者不僅計算量龐大，且在多模態圖像配準問題中難以取得較高的精度[2]；后者利用多模態圖像中的特征減少了計算量，適用范圍廣，在圖像灰度差異較大時也能得到較為精確的配準結果[3]，然而，由于紅外熱成像技術的特殊性，尤其是熱輻射造成的邊緣外延現象，導致紅外圖像的邊緣特征不清晰，常見的圖像匹配算法并不適用于紅外與可見光圖像的匹配。

本文提出一種基于OpenCV的紅外與可見光圖像融合系統，通過攝像機標定算法，對紅外和可見光攝像機進行標定，得到攝像機的內外參數，根據內外參數，預計算出一個單應矩陣，根據預計算的單應矩陣來做圖像配準。

1 攝像機標定

攝像機標定主要是求參數的過程，也就是確定攝像機的圖像坐標系與物體在空間的三維坐標系之間的映射過程[4]。目前的攝像機標定方法主要有傳統攝像機標定方法和攝像機自標定方法兩種，傳統的攝像機標定技術需要有特定的定標參照物，根據攝影集合方面的理論直接計算攝像機參數[5]。OpenCV中采用的是介于傳統標定方法和自標定方法之間的一種方法，由張正友提出，稱作張氏平面模板標定法，只需要對一個平面標定板(棋盤格標定板)在不同方向采集兩組以上圖像即可，標定過程非常簡單[6]。本文中通過對普通的棋盤格標定板做創造性的加工處理后，完成了對紅外與可見光攝像機的同時標定。

首先制作棋盤格標定板，在普通的標定板基礎上做修改，把棋盤格中黑白格子的黑格做隔熱處理，涂上特殊的隔熱材料，白色棋盤格保持不變。然后將棋盤格均勻加熱，加熱后的棋盤格有了明顯的溫度區分，可以同時采集到清晰的紅外與可見光圖像。最后，調用OpenCV函數CalibrateCamera2()進行最終標定，標定成功后，會顯示出標定后的圖像以及得到圖像融合需要的旋轉矩陣和平移矩陣。

2 圖像融合

由于紅外與可見光圖像的特征不一致，對融合疊加造成了一定的困難，常見的基于特征提取的融合算法對紅外與可見光圖像的融合效果并不好，因此通過使用預計算的單應矩陣(變換矩陣，在計算機圖形學中的常用矩陣，3×3，控制平移、旋轉和縮放)來完成圖像的疊加融合，通過實驗，疊加效果可以達到預期目的，且處理速度低于每幀10 ms，可以達到實時疊加的目的。圖像融合流程圖如圖1所示。

圖1 圖像融合流程圖

圖3 樣本圖像

圖像融合的步驟為：首先，讀取相機參數、可見光圖像、紅外圖像；然后，初始化虛擬標定的參數，通過調用函數“bool homography::Init(cv::Size boardSize, double tanTheta, string intrinsicFN, string extrinsicFN, string rmapFN, int thres=0)；”完成初始化，函數的前兩個參數都用來控制虛擬標定棋盤的位置和大小(第一個參數表示使用的虛擬棋盤的格數，第二個參數控制虛擬棋盤的大小，參數越大，則棋盤越大)，后面三個文件名都是標定過程存儲的結果，最后一個參數為溫度的限制，用來剔除紅外圖像中的低溫部分。初始化完成后，根據虛擬棋盤格，將棋盤格的角點映射到兩張圖像上面，調用OpenCV函數計算單應矩陣；最后，調用函數“cv::Mat rectifyMap(const cv::Mat leftImg, const cv::Mat rightImg)；”完成一幀的圖像疊加。

3 實驗結論

本系統完成了對紅外攝像機和可見光攝像機的標定以及圖像融合，實驗過程中，使用的紅外攝像機是flir的tua640系列紅外機芯，可見光攝像機使用的是低照度模擬攝像機，兩個攝像機左右水平放置，間距為7 cm，通過自制的DSP視頻采集板，將兩路攝像機的視頻實時采集并通過網絡傳輸給標定系統以及融合系統，標定系統只在初次使用時調用，獲得標定參數后，在保證攝像機相對位置不變的情況下，不需要反復標定。

通過實驗，得到標定的效果圖如圖2所示，攝像機參數如表1所列。

圖2 校準后圖像

表1 攝像機參數

根據得到的標定參數，進一步完成了圖像融合，樣本圖像如圖3所示，融合效果如圖4所示。

圖4 融合效果

結 語

通過簡易的棋盤格標定板完成了對紅外攝像機和可見光攝像機的標定，解決了紅外攝像機對棋盤格辨識不清晰的問題，為紅外攝像機的批量標定找到了簡單有效的方法。通過標定參數計算單應矩陣，完成了紅外與可見光圖像的融合，克服了紅外圖像和可見光圖像特征值不一致的弊端，達到了較好的融合效果，可以有效地、全方位地獲取攝像目標的各種信息，達到很好的高溫警示效果。

[1] 朱英宏,李俊山,楊威,等.紅外與可見光圖像特征點邊緣描述與匹配算法[J].計算機輔助設計與圖形學學報,2013,25(6):857-864.

[2] 趙明,林長青.基于改進SIFT 特征的紅外與可見光圖像配準方法[J].光電工程,2011,38(9):130-136.

[3] 王穎,韓靜文.多特征紅外光與可見光圖像的分區域配準[J].光電工程，2015,42(4):68-74.

[4] 于仕琪,宋瑞禎.OpenCV學習[M].北京:清華大學出版社,2009:406-432．

[5] 陳勝勇,劉盛.基于OpenCV的計算機視覺技術實現[M].北京:科學出版社,2008：34-383．

[6] Zhang Zhengyou.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analzysis and Machine Intelligence,2000,22(11):1330-1334.

任貴文(碩士研究生)，主要研究方向為自動檢測監控與系統集成。

Infrared and Visible Light Image Real-time Fusion System Based on OpenCV

Ren Guiwen,He Xingzheng,Kang Rongxue,Li Xuming

(Key Laboratory of Major Hazard Control and Accident Emergency Technology,State Administration of Work Safety China Academy of Safety Science and Technology,Beijing 100012,China)

In this paper,an infrared and visible-light image fusion system is proposed which is based on OpenCV library of image processing functions in the VS2013 platform.The method overcomes the shortcoming of infrared image feature points are not obvious.Through a special camera calibration technique,the calibration of infrared and visible light cameras is completed,thus a fusion of infrared and visible images is achieved.The experiment results show that the system can achieve good fusion effect and can guarantee the integration of real time.

image fusion;camera calibration;homography

中國安全生產科學研究院基本科研業務費專項資金項目“遠紅外熱成像火災探測預警設備研發”(2015JBKY07)；國家十二五科技支撐計劃課題(2015BAK16B03)。

TP277

A

士然

2016-11-28)