彩色夜視技術方法綜述

蔣云峰，武東生，黃富瑜

(陸軍工程大學石家莊校區 電子與光學工程系， 石家莊 050000)

引 言

夜視技術是通過光電成像器件來探測夜間目標的技術[1-3]，它能夠通過光探測器和成像設備的采集、處理和顯示等過程將肉眼在夜間無法辨別的目標轉換成可視目標[4]。從1929年柯勒發明的銀氧銫光陰極為標志，開始了夜視技術的研究。傳統夜視技術主要分為微光夜視技術和紅外夜視技術。目前，紅外夜視儀、熱像儀以及微光夜視儀等夜視設備已具有成熟的理論和技術，但它們獲得的夜視圖像均為單色的灰度圖像，很容易有其它物體對目標造成干擾，這對人眼對于目標的識別造成了困難[5-7]。

人眼對于灰度級識別僅為幾十種，但對于顏色的識別可達到上千種[8]，色彩信息可極大增強人眼對目標的識別概率，經試驗，彩色圖像相比灰度圖像可提高識別速率30%，可減少誤識率60%[9]。在監視、偵察和安全應用等應用領域，彩色圖像比單色圖像有兩個主要優點。首先，顏色可以改善對比度[10]，從而實現更好的場景分割和物體檢測。這種對比度改進可以應用于真彩色和假彩色圖像，其中偽彩色圖像可以通過融合來自具有不同光譜靈敏度的相機(例如可見光)的圖像來形成[11]。顏色的第2個好處是它提供了更多信息。可以利用對大腦或計算機數據庫中存儲的顏色知識的訪問來更好地實現對象識別和場景理解[12]，這個優點僅適用于真彩色圖像。所以，為了更好地應用夜視圖像的色彩信息，彩色夜視技術越來越受到關注[13]。

彩色夜視技術既可依靠圖像亮度差別，又可依靠顏色差別識別目標。相比于傳統的單色夜視儀器，其圖像細節信息極大豐富，夜視作用距離顯著提高[14]。彩色夜視技術主要經歷了兩個階段：一是偽彩色階段，二是真彩色階段[15]。真彩色夜視技術致力于得到與人眼在白晝條件下與可見光波段相吻合的、色彩信息更加接近物體真實顏色的彩色夜視圖像[16]，它相比偽彩色夜視圖像進一步提高了目標的識別速率和正確率，所以具有很高的實際意義和應用價值。彩色夜視儀器在夜間偵察、作戰、醫療、交通、監視等領域具有重要的應用價值[17]。例如：夜間作戰人員利用彩色夜視儀器可迅速判斷景物地形，正確進行敵我識別、偽裝識別，提高人員與武器裝備操作的協調性，提升精確打擊能力；夜間軍事戰爭中，醫療救助人員可依靠彩色夜視儀器準確判斷傷員位置、受傷程度，縮短醫療救助時間，為傷員的生命救助帶來更多的可能性；利用彩色夜視儀器進行監視夜間犯罪行為，可為警方提供更多的犯罪細節信息，為案件偵破帶來更多的幫助。所以，無論在軍事或是民用領域，均具有廣泛的應用前景。

國外對于彩色夜視技術十分重視，目前已有不少產品投入軍事和民用領域。許多研究表明，與單色圖像相比，彩色圖像的場景理解、反應時間和物體識別更快、更準確[18]。20世紀70年代，荷蘭便已開始了彩色夜視技術的研究，但未成功[19]。直至上世紀80、90年代，美國、日本、加拿大等國家都進行了彩色夜視設備的深入研究，如荷蘭代爾夫特(Delft)公司研制出利用兩個不同光譜響應的探測器探測到同一場景的不同波段圖像，將其融合后得到假彩色圖像[19]；美國伍德公司研制出全彩色夜視攝像機，它能夠實現在獲取圖像的同時，對視頻圖像進行增強[20]。2006年，OKSI公司對采用不同真彩色夜視方案的兩臺真彩色夜視攝像機的分辨率、圖像對比度、色彩再現保真度、信噪比等性能進行了測試[15]，第1臺攝像機是在定制的第3代圖像增強型互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS)探測器前使用快速切換液晶濾波器，第2臺攝像機則將馬賽克濾波器直接置于電子倍增電耦合器件(electron-multiplying charge-coupled device，EMCCD)前，這兩臺攝像機于當時均處于原型機階段，并未投產。2014年，日本一款新相機FALCON EYE KC-2000作為第一款專門用于錄制夜間或全彩色低光場景的攝像機問世，它的分辨率可達到1280像素×720像素，這就意味著不僅可以獲得看起來像是在白天拍攝的圖像，還可以看到比從數碼相機或專用夜視攝像頭獲得的更多細節[15]。

目前，我國軍用領域主要裝備傳統微光夜視儀、紅外夜視儀和紅外熱像儀，對于彩色夜視裝備的研究與制備刻不容緩。以南京理工大學和北京理工大學為代表的國內高校和研究所從20世紀90年代開始，一直致力于彩色夜視技術的研究和實驗驗證[21]。北京理工大學的JIN和GAO等人對彩色融合算法、配準技術、色彩傳遞以及結果圖像效果評價做出深入研究，其主要涉及到微光雙譜融合、微光與長波紅外熱圖像融合、紫外與微光圖像融合、多光譜彩色融合夜視技術以及激光助視融合彩色夜視技術進行了大量研究。北京理工大學光電工程系提出一種基于視覺拮抗模型的非線性圖像增強與線性組合法結合的混合結構融合法，較MIT法更為簡單、實時性更好且融合更佳[4]。南京理工大學開展了多項彩色夜視技術的研究，例如微光雙譜彩色夜視技術、微光與紅外彩色夜視技術、激光注視彩色夜視技術，涉及到光譜分割點的確定、圖像融合算法的研究以及彩色夜視系統的構建等相關內容[22]。另外，昆明物理研究所、西安電子科技大學關于圖像配準與圖像融合技術也取得長足進展[23]。

現國外僅有為數不多的報道與真彩夜視儀器相關，但這些報道只是簡單介紹產品，并沒有描述彩色夜視技術的具體設計和實施方案，例如來自日本的新相機FALCON EYE KC-2000、美國Tenebraex公司研制的ColorPathTM彩色夜視儀(color capable night vision device,CCNVD)。北京理工大學等高校對于彩色夜視技術進行了深入研究。本文中著重介紹目前了解到的彩色夜視技術的幾種方式。

1 硬件方式

硬件方式也稱為直接方式[23]，它是基于彩色夜視系統中硬件平臺的設計實現彩色夜視圖像的實時處理。一種方式是利用人眼視覺的暫留效應通過同一目標不同顏色圖像迅速切換，在人眼形成一幅彩色圖像。OKSI公司2007年推出一款彩色夜視相機，如圖1所示。它通過在第3代像增強CMOS探測器前增加液晶濾光片，其透過顏色可通過驅動電壓調節，使得分次曝光后獲得同一視場不同顏色的圖像，最后進行圖像重構獲得具有自然感彩色的可視圖像。因其液晶濾光片可在1ms內迅速轉換，故此系統具有很好的實時性。

圖1 OKSI公司推出的一款彩色夜視相機

另一種硬件方式是采用光能增強的方式[24]。事實上，夜間目標的輻射或反射光中是存在光譜(顏色)信息的，因此，只要將夜間目標的光能進行放大處理，利用彩色相機完全可以獲得目標的彩色圖像。1996年，McDonnell Douglas 公司推出一款彩色夜視頭盔，它分別由物鏡、像增強器、電光濾波器以及目鏡組成。由物鏡接收低照度條件下場景的輻射能，像增強器將其能量放大增強后，經過電路控制的電光濾波器后可獲得不同顏色狀態(紅、綠、藍)的增強的視場圖像，最終人眼通過目鏡觀察到彩色夜視圖像。此過程需保持控制電路產生高頻信號控制電光濾波器，從而視覺中形成的圖像不會閃爍。近期，美國研制的X27第4代全彩夜視儀不僅具備將夜晚變成如白晝條件下的景象，還支持4K畫質輸出，使得黑夜與白晝幾無差別。

2 軟件方式

軟件方式又稱間接方式[15]，它包括基于多傳感器圖像融合的方法和基于顏色轉換的方法，其中基于融合的方法是通過多個傳感器采集分光譜圖像進行融合得到彩色圖像，而基于顏色轉換的方法則是通過與參考圖像作對比，使當前的灰度圖像轉換為彩色圖像[6]。

2.1 基于多傳感器圖像融合的方法

多個傳感器可采集多個分波段圖像，例如微光、近紅外、短波紅外、中波紅外和長波紅外圖像，它們攜有不同的顏色信息，故經圖像融合后可顯示為彩色圖像[25]。圖像融合算法的選擇則更具有靈活性，可根據不同的目的需求調整融合算法。大致分為以下4個步驟：(1)采集夜視分波段源圖像；(2)源圖像預處理；(3)源圖像間組合得到處理后圖像；(4)將處理后圖像映射到彩色空間得到彩色夜視圖像。其中第(3)步源圖像間組合可分為線性組合法和非線性組合法[26]，亦可跳過此步驟直接進行映射[10]。

最為典型的是美國麻省理工學院林肯實驗室開發的MIT(Massachusetts Institute of Technology)法[9]，它基于生物視覺特性，將微光與紅外圖像融合。人的視網膜分為on域和off域(統稱為感受野)，它們分別對光照具有興奮和抑制的作用。on感受野增強中心，抑制周邊，而off感受野正好相反，這就是拮抗處理過程，此過程可增強圖像的對比度。中心-周邊感受野神經動力學方程如下：

(1+Eij)[G(s)×I2]

(1)

(2)

式中，E是增強后的圖像；I1是使感受野中心興奮的輸入圖像；I2是使感受野周邊抑制的輸入圖像；G(s)為高斯函數的縮寫形式；i,j為像素位置；A,C為調節參量。

MIT法的基本思路為：(1)使用中心-周邊神經分離網絡分別使微光圖像和紅外圖像對比度增強;(2)使用中心-周邊神經分離網絡，將微光圖形送入中心，紅外圖像送入周邊，形成單拮抗彩色對比度圖像;(3)將以上得到的圖像經過色彩空間映射成一幅彩色圖像。圖2為MIT法基本流程圖。而后在此基礎上對MIT法做了許多改進，得到了不錯的效果。

圖2 MIT法基本流程圖

2.2 基于色彩傳遞的方法

有學者于2001年提出一種顏色轉換的思想[27]，即將一幅圖像賦予與參考圖形顏色類似的彩色圖像。TOET于2003年通過一幅具有自然感彩色的參考圖像用色彩傳遞的方法使一幅經過直接映射得到的夜視圖像“賦予了自然感彩色”。圖3是TOET得到的彩色夜視圖像。

圖3 TOET色彩傳遞方法的效果圖

a—直接映射得到彩色圖像 b—具有自然感彩色的參考圖像 c—經色彩傳遞后得到的彩色夜視圖像

2008年，TOET通過建立2維查找表的方法使雙通道微光夜視圖像輸出彩色圖像，為彩色夜視的實時性處理帶來便利，可實現視頻處理[28-30]。他的方法流程如下：(1)將參考圖像顏色傳遞給雙通道夜視融合圖像；(2)得到的彩色夜視融合圖像與雙通道的分波段圖像的灰度信息建立色彩查找表；(3)通過查找表實現實時輸出彩色夜視圖像[31-32]。

自TOET提出基于色彩傳遞的彩色夜視方法提出后，許多學者熱衷于如何將參考圖像的自然感彩色信息“傳遞”給融合圖像。2008年，北京理工大學開發了基于雙數字信號處理的實時自然感彩色彩色融合處理板，它實現基于色彩傳遞的融合實時處理，將微光圖像與紅外熱像儀圖像融合后獲得具有自然感彩色的彩色夜視圖像[15]。

目前，基于色彩傳遞的方法已廣泛應用于彩色夜視技術中，其獲得的彩色夜視圖像相比于多波段圖像融合得到的假彩色夜視圖像的色彩更符合人眼視覺特性，具有自然感彩色以及較好的實時性。

3 結束語

彩色夜視技術對于人類社會的發展具有重要意義。本文中敘述了夜視技術背景、彩色夜視技術的發展[18]，詳細分述了彩色夜視技術兩種工作方式中的幾種方法。彩色夜視技術可分為硬件方式和軟件方式，在文中對于每一種工作方式均做出闡述與舉例，并對其彩色夜視效果做了簡要說明。其中通過硬件方式的彩色夜視技術具有更好的實時性，并具有良好的色彩效果；而通過軟件合成的方式具有更好的可調節性和可操作性，可人為根據目的需求調整處理算法[33-34]，達到最佳的色彩效果。

對于彩色夜視技術工作方式的幾種方法，均有待對其關鍵技術進行完善[35-36]。例如基于色彩傳遞的方法得到彩色夜視圖像的色彩效果基本取決于參考圖像或者查找表，基于融合的方法對于實時處理速度要高的條件不適用，而基于硬件方式的色彩處理效果直接受到傳感器性能的制約。所以，彩色夜視技術還有很大的發展空間[36]。