基于紅外與可見光圖像火災定位研究?

段琳鋒 侯新國

（海軍工程大學電氣工程學院 武漢 430033）

1 引言

隨著我國不斷發展壯大，艦船的噸位與數量也在不斷擴大，各類大噸位艦船越來越多，大空間艦船的消防安全研究成重點［1］。火災定位是火災探測到火災自動撲救的重要環節，能給火災的快速精準撲救提供位置信息。單一攝像機獲取圖像信息不完善，火災探測受干擾較大，而可見光圖像具有豐富細節特征和顏色信息，但易受光照和環境的影響；紅外圖像能夠呈現火災的熱效應，受光照影響小，但其分辨率低，利用兩種圖像的互補性能實現更有效的火災檢測，因此，研究紅外與可見光圖像的火災定位具有重要意義。火災定位是利用雙目視覺定位技術計算火災三維空間坐標的過程。雙目立體視覺技術是一種模仿人類視覺系統感知距離的方法，廣泛用于火災定位、運動檢測等方面［2］。

在雙目視覺定位研究中攝像機標定占有重要地位，攝像機標定是依據攝像機的成像模型，確定空間三維點與圖像二維點之間對應關系的參數模型［3～4］，即求解攝像機內外參數的過程。紅外攝像機與可見光攝像機的成像原理不同，紅外圖像主要反映的是物體溫度的差異和紅外輻射度［5～6］，傳統的可見光攝像機標定方法難以直接適用于紅外攝像機標定，能同時標定紅外攝像機與可見光攝像機的方法并不多。目前，大都研究是基于兩個可見光攝像機來進行火災定位，而對于紅外與可見光異源攝像機的火災定位研究較少。因此，對紅外攝像機與可見光攝像機標定技術進行研究，并利用紅外攝像機與可見光攝像機進行火災定位具有重要意義。

本文根據紅外攝像機與可見光攝像機的成像特點，設計了能同時標定這兩類攝像機的標定板，并進行了異源攝像機標定，最后依據標定的參數進行了火災定位實驗。

2 標定板設計

一般情況下，使用尺寸和形狀大小已知的標定板進行攝像機標定［7］。常用打印的黑白相間棋盤格作為標定板雖然顏色不同，但在常溫下黑白格之間溫度差異不大，在紅外攝像頭中沒有區分度，不能形成對比度較高的標定圖像，因此需要設計一種同時能夠標定紅外攝像機與可見光攝像機的標定板。部分研究者也對此進行了研究，如文獻［8］利用透明導熱的玻璃制作黑白相間的棋盤格，并在黑色格子涂上隔熱材料，再將標定板放溫箱中均勻加熱后，紅外攝像機與可見光攝像機都能識別出標定板的棋盤格。此方法對加熱板的加熱溫度要求較高，溫度過高過低都會使得紅外圖像的對比度不高。文獻［9］則是在涂有隔熱材料的棋盤格后放一個發光板和一個發熱板，通過控制加熱時間去控制棋盤格標定板的溫差。文獻［10］利用黑白分明的漫射棋盤格和溫控等裝置，再通過控制黑白角點處的溫度，采集黑白棋盤格表面的紅外圖像和可見光圖像。文獻［11］利用帕爾貼效應，將帕爾貼板嵌在方形棋盤格后面，通過控制電流去控制帕爾貼板的溫度，在棋盤格的邊緣處產生明顯的溫度差，獲得標定的圖像。這類標定板制作工藝復雜，價格昂貴，不適合簡單實用的紅外與可見光攝像頭標定系統。

本文根據現有標定板制作工藝復雜，制作成本高的問題，通過對紅外攝像機成像原理和現有的標定方法的研究，制作了一種可以同時提取紅外圖像與可見光圖像的簡單實用棋盤格標定裝置，如圖1所示。該標定板以尺寸為50mm×50mm的鋁制片為主要材料，將部分鋁制片貼上黑色隔熱膠帶，再將貼有隔熱膠帶的鋁制片和未貼隔熱膠帶的鋁制片交錯排列在吸水板上；將吸水板用熱水浸濕，使貼有隔熱膠帶和未貼隔熱膠帶的鋁制片形成溫度差，從而保證標定板在紅外攝像機和可見光攝像機下成像都清晰。

圖1 棋盤格標定板

3 雙目視覺定位技術

3.1 攝像機成像模型

攝像機成像模型是指三維空間中的物體投影到二維像平面上的一個數學模型。常用的攝像機模型是針孔模型，即透視投影模型［12～13］。模型中涉及四個坐標系之間的轉換：世界坐標系(OWXWYWZW)、攝像機坐標系(OCXCYCZC)、圖像平面坐標系(oxy)和像素坐標系(Ouvuv)。空間中的點在四個坐標系中的轉換關系如圖2所示。

圖2 攝像機透射變換模型

設點P在世界坐標系中的坐標為(XW,YW,ZW)，在攝像機坐標系中的坐標為(XC,YC,ZC)，在圖像坐標系中的坐標為(x,y)，在像素平面坐標系中的坐標為(u,v)。各坐標系轉換關系如下。

像素平面坐標系與圖像坐標系轉換關系：

其中(u0,v0)表示坐標原點O在像素平面坐標系中的坐標值，dx和dy分別表示像素在圖象中x和 y方向上的實際物理值。

根據小孔成像原理，有：

得到圖像坐標系到攝像機坐標系的轉換關系：

其中 f表示攝像機焦距，即表示攝像機坐標系原點到像平面的距離。

攝像機坐標系與世界坐標系的轉換：

其中R表示旋轉矩陣，T表示平移矩陣。

由上可以得出像素平面坐標系與世界坐標系轉換關系：

其中M1為攝像機的內參數矩陣，M2為攝像機外部參數矩陣。

3.2 雙目視覺定位原理

雙目視覺定位模型如圖3所示，空間中任意一點P在左右兩個攝像頭中的像素坐標分別為(μ1,ν1)和 (μ2,ν2)，在左右攝像機坐標系中的位置為(xc1,yc1,zc1)、(xc2,yc2,zc2)。在雙目定位應用中，為了簡化攝像機坐標系到世界坐標系的轉換，一般將左右攝像機坐標系中的一個作為世界坐標系。本文假設左邊攝像機坐標系為世界坐標系。假設兩個攝像頭的內參數A1、A2以及兩個攝像頭的之間的旋轉矩陣R和平移矩陣T都是已知的。根據式（6）可得：

圖3 雙目視覺定位模型

由此，在知道兩個攝像機的內外參數以及P點在兩個圖像中的像素坐標以后，可以通過求解式（6）可以得到P點在左邊攝像機坐標系下的位置(xc1,yc1,zc1)。

4 攝像機標定

4.1 標定圖像

該文對海康威視的熱成像雙譜網絡攝像頭進行標定，兩個攝像機水平放置，可見光攝像機在右，紅外攝像機在左，兩個攝像頭相距約10cm，紅外攝像機拍攝的圖像最大分辨率是1280×720，可見光攝像機拍攝的圖像分辨率是1280×720。利用熱成像雙譜網絡攝像頭采集20組不同角度、不同距離的棋盤格圖像為標定圖像，圖4給出了其中1組紅外和可見光的棋盤格圖像。

圖4 采集到的棋盤格圖像

該文采用Matlab2017b中的Stereo CameraCali?brator模塊進行攝像機標定，使用的算法為張友正相機標定法，該方法只需攝像機對標定板進行至少3個不同角度的測量，可以任意移動攝像機和標定板，且移動方向不需要知道，該方法精度高，操作簡單。

4.2 標定過程與結果

首先將采集到的紅外與可見光圖像分別保存到不同文件夾中，在Matlab命令行輸入Stereo Cam?eraCalibrator調出標定工具箱；然后點擊Add images添加保存紅外與可見光圖像所在的文件夾路徑以及標定板的網格尺寸；開始標定，標定板上的角點會被自動檢測，在標定完成后得到重投影誤差圖（見圖5）和雙目攝像機外部參數可視化模型（見圖6），并導出攝像機的具體參數，如表1所示。由圖5可知，本文制作的標定板以及標定流程的重投影誤差為0.92像素，達到亞像素級別，標定結果驗證了本文制作的標定板的準確性和有效性。

表1 攝像機內外參數

圖5 誤差柱狀圖

圖6 雙目攝像機外部參數可視化模型

5 火災定位實驗

為了驗證紅外與可見光攝像機火災定位方法的準確性，在模擬艦船大空間試驗基地進行火災定位實驗。通過攝像頭對不同距離火焰圖像的采集，進行視頻火災定位分析。實驗開始前，根據測距的需求確定具體點火位置，點火位置示意圖如圖7所示。在垂直距離分別為5m、10m、15m、20m、30m，水平距離分別為3m、6m、10m的位置采集火焰視頻。確定點火位置后，在地面上用卷尺測量出點火位置并做好標記，并調整攝像頭底座平行于實驗場地地面。

圖7 點火位置示意圖

在探測到火災的基礎上，得到火災在紅外圖像和可見光圖像中對應的像素坐標，將像素坐標和攝像機內外參數代入式（6），計算出點火位置與左攝像頭的距離，然后對比計算出來的結果與實際測量的距離，并計算絕對誤差與相對誤差，所得結果如表2所示。表中火焰實際坐標是俯視坐標系下的坐標，火焰定位坐標是對火焰圖像識別定位后的坐標，實際距離為點火位置與攝像頭的水平距離，定位距離為通過雙目視覺定位的火焰位置與攝像頭的水平距離。將實際距離距離與定位距離求差值即為絕對誤差，再將絕對誤差比上實際距離即為相對誤差。

表2 火災定位表

從火災視頻定位結果可以看出，當火焰離攝像頭的距離較近時，它的定位誤差較小，當火焰離攝像頭的距離越遠時，它的定位誤差就會越大。對誤差原因分析，其主要誤差來源如下：

1）火焰離攝像機越遠時，在圖像中呈現的區域就越小，對于遠距離物體，單位像素下空間距離變化較大，是誤差進一步放大。

2）由于在加工過程中很難制造出理想中的攝像頭，總會存在誤差，導致攝像頭徑向畸變和切向畸變，使得生成的圖像與針孔成像的模型形成一定偏差。同時，標定用的圖像是在近距離拍攝，對近距離火焰定位精度更高，遠距離會產生較大的誤差。

3）用單個像素坐標來代替火災區域坐標不太準確，應該用多個火災區域的平均像素代替火災區域。

6 結語

該文結合紅外與可見光的攝像機成像原理的不同，設計了簡單實用的棋盤格標定裝置，該裝置制作成本低，制作工藝簡單，且本能同時標定紅外攝像機和可見光攝像機。該文分析了雙目標定原理，并采集20組標定圖像，利用Matlab中的stereo CameraCalibrator工具箱進行紅外與可見光攝像頭的標定，標定結果重投影誤差較小，達到亞像素級別。最后進行了火災定位實驗，得出實驗結果相對誤差在7%以內，并對誤差原因進行了分析。