車載紅外視頻圖像快速彩色化技術研究

范德營，蔣先剛，丘赟立，熊 娟

（華東交通大學基礎科學學院，江西南昌330013）

紅外夜視圖像不僅能顯示路面及周邊物體的溫度分布信息，而且進一步增強了人類在黑暗中觀察景物的能力，而彩色化處理后的紅外視頻圖像更符合人眼視覺特性，有利于增強其對圖像中具體細節的分辨能力。紅外圖像彩色化的方法主要有基于圖像灰度彩色編碼的偽彩色融合方法和彩色空間映射法[1]，目前對紅外圖像彩色化的研究也出現了很多優化方法，但針對于車載紅外視頻圖像彩色化的效率必須滿足車輛高速行駛過程中圖像的實時性的研究仍有欠缺。本文針對紅外圖像的特點，采用了增強、融合、分割、分類、著色的步驟對視頻圖像進行彩色化處理，根據事先創建的車輛行駛在不同環境下的彩色圖像調色板，結合車載紅外視頻圖像景物類型相對應調色板的色彩在Lab顏色空間進行分類彩色化將大大提高彩色化處理的效率，研究中考慮到對紅外圖像彩色化的過程效率的分析與比較，對圖像彩色化的相關技術進行了比較性實驗和改進。

1 紅外圖像的預處理

1.1 紅外圖像細節增強

由于場景中的各物體與背景的溫度分布差異相對較小，因此紅外圖像的整體灰度分布低且比較集中而局限在很小的范圍內，采用細節增強的處理能夠使紅外圖像顯示出更多細節。直方圖均衡化的圖像增強方法，可以使原始圖像直方圖中較大概率的灰度級分散而較小概率的灰度級壓縮，從而在灰度級范圍不變的條件下實現增強圖像整體對比度的效果。但直接采用直方圖均衡化方法對圖像進行增強處理時，少量灰度值相近的像素點組成的小目標極易丟失，解決這一問題可以采取基于局部處理的自適應直方圖均衡化方法[2]，利用滑動窗口在圖像上的平移實現對有限范圍內的局部圖像進行增強處理，可有效地提高低對比度圖像的質量。局部直方圖均衡化方法的步驟如下：

1）將紅外圖像分成一系列大小均勻、互不重疊的子圖像塊。

2）利用下式對各子圖像塊進行均衡化處理：

式中：S為均衡化處理后的灰度值；pr(r)為圖像灰度為r的概率密度函數；r為處理前的灰度值；n為子圖像的總像素；nj表示灰度級為 j的像素點的個數；L為圖像灰度級數。

3）采用雙線性內插的方法融合相鄰的子圖像來消除人為造成的邊緣信息，這樣經過插值處理后的坐標(x，y)處像素值為

式中：f(x，y)，f(x+1，y)，f(x，y+1)和 f(x+1，y+1)分別為其增強后圖像對應坐標的像素值；p，q為常系數值。經過細節增強處理后，路面和周圍背景的邊緣更加清晰，再對增強后的圖像采用中值平滑濾波進行降噪處理就能更好地保持圖像的細節。

1.2 紅外圖像與可見光圖像的線性融合

細節增強后的紅外圖像對比度明顯提高，場景中物體與背景的灰度被拉伸，噪聲也相對減少，但與可見光圖像相比其細節及紋理特征仍不夠明顯，直接對其進行彩色化處理效果勢必與自然色彩的圖像出現偏差，仍然不能提高駕駛員在惡劣條件下觀察景物的能力。應先將紅外和可見光圖像進行融合處理，得到既目標突出又細節明顯的偽彩色融合圖像后再進行彩色化處理，就可以獲得既包含紅外圖像目標特征又包含可見光圖像紋理細節的彩色化圖像，這里采用簡單快速的線性融合方法，將增強后的紅外圖像與可見光圖像進行線性運算[3]，并將運算的結果分別映射到RGB顏色空間3個顏色通道上，紅外圖像與可見光圖像線性融合過程如下：

式中：R，G，B，Pr，Pg，Pb，Qr，Qg，Qb分別為融合結果圖像、紅外圖像和可見光圖像的紅綠藍3個分量；u1，u2，v1，v2表示融合系數且都為正，滿足u1+u2=1，v1+v2=1。經過融合處理后，R分量為紅外圖像與可見光圖像的差值，G分量為可見光圖像與紅外圖像的差值，也就是說紅外圖像中灰度值大于可見光圖像中灰度值的像素將呈現紅色，而紅外圖像中灰度值小于可見光圖像中灰度值的像素將呈現綠色。融合圖像中的目標物體因熱輻射呈現紅色，而草地、樹木等背景往往是呈現綠色，這樣就比較符合人眼的視覺特性。

1.3 K均值聚類初始分割

對圖像做細節增強和融合處理得到偽彩色融合圖像后，按照其顏色信息采用K均值聚類算法對圖像各像素點進行聚類分割得到聚類中心[4]，將顏色相近的像素點劃分到同一類中，然后根據圖像的顏色和空間信息，采用Fisher評價函數的閾值分割得到最終的分割結果。紅外視頻圖像中主要包括天空、道路、植被、行人及其他景物，這里我們將選取初始化聚類中心數設為5類，如圖1經過K均值聚類把圖像分割成5類顏色信息。運用K均值聚類算法對圖像進行初始分割過程如下：

1）選取聚類中心。聚類中心的選取影響著聚類結果的好壞，文中選擇像素顏色值的k等分點（k等于5）作為圖像的初始聚類中心對其進行聚類分割，對于彩色圖像 f和聚類數目k，定義各個通道顏色i的最小值m和最大值M為

則初始聚類中心C為

式中：cik=mi+k(Mi-mi)/6。

2）對圖像進行采樣。圖像共有x乘以y個像素點，f(x，y)是圖像陣列在位置(x，y)處的像素灰度值，隨機選取圖像中部分像素點進行聚類而得到相應的聚類中心。

3）對采樣剩下的像素點按照歐氏距離將其劃分到距其最近的聚類中心所對應的類別。

圖1 一幅處理后的紅外視頻圖像的K均值聚類分割Fig.1 The K-means clustering segmentation of an preprocessed infrared video image

1.4 基于Fisher評價函數的閾值分割

Fisher評價函數的閥值分割方法是利用圖像像素點的灰度信息進行投影而對圖像進行多類分割[5]，當圖像進行N類分割時考慮各類的概率分布，任意兩兩類間平均距離之和與各類類內方差和之比達到極大時分割效果將會最佳，則基于Fisher評價函數多閾值圖像分割方法的評價準則函數為

式中：w為各類的概率；h為其灰度均值；σ為類內方差；d為分割閾值。當J(d1，d2，...，dN-1)取得最大時所對應的閾值為最佳閾值，這時圖像就被分割成了效果最佳的N類。對于每一個像素點(x，y)其灰度為 f(x，y)，則多閾值分割的判別式為

式中：c1，c2，...，cN是不同景物的聚類中心。在采用Fisher評價函數閾值分割之前，先對圖像進行K均值聚類處理以取得聚類中心，然后以此聚類中心來限制多閾值分割中閾值的取值范圍，這樣可以減少迭代求優的耗時。如圖2所示的直方圖表示紅外視頻圖像的灰度級分布信息，直方圖中位于波峰的 c1，c2，c3，c4，c5是不同景物的聚類中心，Fisher評價函數多閾值圖像分割得到最佳閾值位于直方圖的波谷。

圖2 一副紅外視頻圖像的直方圖灰度級分布Fig.2 Gray distribution histogram of an infrared video image

2 紅外圖像的彩色化

2.1 RGB和Lab顏色空間的轉換

傳統的RGB顏色空間模型中各通道的相關性較大，為了實現紅外圖像的快速彩色化，應選擇一個顏色各分量及亮度與顏色參數間相關性較小的顏色空間。Reinhard等人提出了一種利用非線性的Lab顏色空間進行圖像間顏色遷移的方法[6]，但從RGB空間到Lab空間的相互轉換要通過多個復雜的對數變換實現，難以滿足紅外視頻圖像彩色化實時處理的需求。

CIE（國際照明委員會）制定的Lab顏色空間模型同樣具有如Lab空間類似的特性，自然界中人眼所能看到的所有顏色都可以在Lab空間中表達出來[7]。Lab顏色空間具有感知上的均勻性，與人們對顏色的感知非常接近，同時其三個通道基本達到正交，RGB顏色空間與Lab顏色空間的相互轉換也是比較簡單的線性變換，這將大大減少顏色空間轉換所占用的時間，經過簡化的RGB空間與Lab空間相互轉換過程為

式中：L表示亮度通道；a表示紅色至綠色通道；b表示藍色至黃色通道。

由Lab空間轉換到RGB空間，則由上式的逆變換得到。

2.2 基于Lab空間的分類彩色化方法

紅外圖像體現的是景物的溫度分布，同一景物溫度相近灰度也相似，但其紋理信息比較缺乏，在采用Fisher評價函數進行閾值分割得到最佳閾值后，根據景物所處的不同環境，選擇不同的適用于不同環境下的彩色源圖像，來對景物進行分類彩色化，其具體步驟如下：

1）選取一幅景物環境相匹配的彩色圖像作為源圖像并將其轉化到Lab空間，同時將經預處理的目標紅外圖像也由RGB空間轉換到Lab空間。

2）計算源圖像與目標圖像亮度的均值和標準差，對目標圖像的亮度做線性變換，進行亮度歸一化，使目標圖像的亮度與源圖像一致，其變換公式如下：式中：為變換后的源圖像的亮度值；σs為源圖像的亮度方差；σt為目標圖像的亮度方差；ls為源圖像的亮度；ˉt為目標圖像的亮度均值ˉs為源圖像的亮度均值。

4）按照Fisher評價函數對圖像進行多閾值分割得到最佳閾值可確定出 N 類景物。按景物所屬類的對應關系將3）中ˉ，的值傳遞到目標圖像對應類像素點的a，b顏色通道中，同一色類間的色調和紋理差別通過亮度l的變化顯示。

5）最后將目標圖像由Lab空間轉換回RGB空間就完成了紅外圖像的彩色化處理。

2.3 基于調色板的改進的分類彩色化方法

上述彩色化方法實質上是在目標圖像和源圖像的一些相匹配特征上建立合理的映射關系繼而將目標圖像彩色化的技術。源圖像采用24位的真彩色圖像能夠使彩色化的效果更逼真，但是真彩色的顯示需要大量的視頻系統內存，而且確定目標圖像與源圖像對應像素點的匹配關系也需要大量處理時間，這就影響了紅外視頻圖像彩色化的效率。如果采用源圖像的調色板來代替源圖像，在彩色化過程中直接調用事先創建好的調色板來實現彩色化處理，這樣所得圖像既具備源圖像的基本色彩又會大大提高彩色化的效率。所謂調色板實際上是一個有256個表項組成的RGB顏色表[8]，顏色表的每一項是一個24位的RGB顏色值，調色板時在視頻系統內存中存儲的不是24位顏色值而是調色板的8位索引號，即對顏色表從0至255進行編號，每一個編號代表其中的一種顏色，8位的索引號與24位的顏色值一一對應。

調色板的顏色分布要與源圖像的實際顏色分布相似，如果源圖像的色彩比較豐富那么調色板的顏色也相對豐富，創建調色板的方法步驟如下：

1）創建一個數據結構鏈表，統計源圖像中包含的所有顏色及出現頻率并存入鏈表。

2）讀取鏈表中每一個顏色像素點的R，G，B分量值，分別查找R，G，B的最大值RM，GM，BM和最小值Rm，Gm，Bm，選擇兩者之間相差最大的分量作為切割方向，這里假設(GM-Gm)的值最大，則確定沿G分量方向進行切割。

3）對鏈表中G分量的值按出現次數進行降序排列。

4）掃描鏈表將G分量的次數進行累加，選取其總次數的一半的像素點確定為切割點，沿垂直G方向進行切割獲得兩個小實體，同樣對這兩個小實體進行上述切割，按上述步驟依次切割下去直到獲得256個小實體為止。

5）為了能夠更好地反映源圖像的顏色信息，采用加權平均的方法求出每個小實體的中心點的R，G，B顏色值，作為調色板一個表項的顏色值。

根據上述創建調色板的方法，可以將鄉村、城市、森林、沙漠或海邊等不同環境下的顏色正確地創建到調色板中，為滿足普遍性可選擇同一環境下多幅源圖像分別進行創建，而后將創建出的多個調色板的相似顏色值進行累加，按出現頻率選擇次數最多的256個顏色值，求出其平均值裝入有著256個表項的RGB顏色表就得到具有普遍性的調色板。車輛行駛過程中駕駛員可以根據自己的需要在不同的環境中選擇相應的調色板進行紅外視頻圖像的彩色化處理，這將大大減少彩色化處理的計算時間，能夠滿足視頻彩色化實時性的要求。

3 實驗結果與分析

實驗系統中開發平臺采用Delphi 7，計算機的硬件運行環境是intel雙核P8700，2.53 GHz的CPU。實驗圖片采用的是FLIR公司提供的車載紅外視頻圖像，圖片的分辨率為480×240，源圖像采用的是在鄉村道路上拍攝的真彩色圖像，實驗用的調色板采用適用于鄉村環境下的調色板。表1是對10幅紅外圖像分別采用不同彩色化方法利用真彩色源圖像和調色板進行彩色化處理的平均運算效率的比較，圖3是對一幅經過細節增強和融合處理的紅外視頻圖像彩色化處理的結果，圖3（a）是采用Lαβ空間的分類彩色化方法的彩色效果圖像，圖3（b）是本文采用Lab空間的分類彩色化方法的彩色效果圖像，圖3（c）是采用Lαβ空間基于調色板的分類彩色化方法的彩色效果圖像，圖3（d）是本文提出的采用Lab空間基于調色板的分類彩色化方法的彩色效果圖像。

表1 基于不同彩色化方法的運算效率比較Tab.1 Efficiency comparison in different methods

從表1可以看出分類彩色化方法的效率比Welsh彩色化方法[9]的高，經過改進后采用調色板技術的基于Lab空間分類彩色化方法的效率甚至比基于隨機取點的Welsh彩色化方法高20倍左右，其運算效率基本可以滿足車載紅外視頻圖像實時彩色化的需求。但是從圖3可以明顯看出采用源圖像的方法比采用調色板的方法得到的彩色圖像場景更加自然真實顏色鮮明，然而對紅外視頻的彩色化主要是實時將彩色化圖像傳輸出給駕駛員才可以及時避免危險，采用調色板技術的改進后的分類彩色化方法得到的圖像效果基本能夠滿足駕駛員的視覺要求，并且其對關鍵幀的運算時間約為1.513 s，關鍵幀是車輛在行使環境改變時僅需處理的第一幀，對非關鍵幀的運算時間約為0.016 s，能夠滿足輔助行駛的需要。

圖3 一幅紅外視頻圖像彩色化效果圖Fig.3 The colorized results of an infrared video image

4 結論

提出了一種具有較高實時性的采用在Lab空間基于調色板的車載紅外視頻圖像分類彩色化方法，在對紅外圖像的細節增強和融合處理后，采用K均值聚類算法對圖像進行初始聚類分割得到聚類中心，再基于Fisher評價函數的多閾值圖像分割方法得到景物圖塊的分割閥值，其多顏色類間以彩色均值代之，以亮度差異區別其類內細節。實驗分析表明，采用調色板的基于Lab空間的分類彩色化方法具有更高的運算效率，其彩色化效果圖像有利于駕駛員及時正確地觀察判斷。下一步的研究工作重點是研究既滿足實時性同時能得到效果更好的彩色化圖像的技術。

[1]金偉其，王嶺雪，趙源萌，等.彩色夜視成像處理算法的新進展[J].紅外與激光工程，2008，37（1）：147-149.

[2]劉博.基于直方圖分層映射的圖像增強算法研究[D].秦皇島：燕山大學，2008：10.

[3]錢小燕，韓磊，王幫峰.紅外與可見光圖像快速融合算法[J].計算機輔助設計與圖形學學報，2011，23（7）：1212-1214.

[4]李光，王朝英，侯志強.基于K均值聚類與區域合并的彩色圖像分割算法[J].計算機應用，2010，30（2）：355-356.

[5]陳果.圖像閾值分割的Fisher準則函數法[J].儀器儀表學報，2003，24（6）：564-567.

[6] REINHARD E，ASHIKHMIN M.Color transfer between images[J].IEEE Computer Graphics and Applications，2001，21（5）：34-40.

[7] 陳麗雪，陳昭炯.基于Lab 空間的圖像檢索算法[J].計算機工程，2008，34（13）：224-225.

[8]支建偉.一種使用調色板的圖像顏色量化設計[J].中國有線電視，2004，2（2）：61-64.

[9]丘赟立，蔣先剛，范德營.多種搜索算法在醫學圖片彩色遷移上的應用與分析[J].華東交通大學學報，2012，29（3）：62-64.