人工智能如何創建全彩色夜視攝像機

曹欣

夜視攝像頭技術在數字時代取得了長足的進步。隨著傳感器的不斷改進，低光環境下的圖像質量也在不斷提高。然而，與紅外夜視攝像機一樣，它們是單色的。研究人員希望通過將紅外相機技術與人工智能相結合來改變這種狀況，開發出一種夜視相機，即使在人眼完全黑暗的情況下也能產生全彩色圖像。

專門的夜視攝像系統在紅外光中可“看到”肉眼看不到的影像，然后將其數字轉換為可見光譜中的單色圖像，人的肉眼可見光譜的波長范圍為400至700 nm，對于暗部細節的觀察有局限性。如果通過優化的深度學習架構，提供支持的成像算法，那么場景中的紅外光譜照明就可以用來預測光譜渲染，實現彩色夜視圖像。

為了實現彩色夜視圖像這一目標，團隊需要使用合適的圖像集充分訓練深度學習模型。使用在多光譜照明下顯示的打印圖像，對卷積神經網絡進行了優化，以預測在紅外光下看到的不同圖像在可見光譜中的樣子。“這項研究是從難以察覺的近紅外照明，預測人類可見光譜場景的第一步。”

先前的嘗試包括使用典型的相機和紅外相機拍攝相同的場景，讓機器學習模型，從紅外圖像中預測顏色。后來科學家們改為使用多種波長的紅外光來改進顏色預測算法，結果表明，與實際彩色圖像相比，增加了紅外通道的數量之后，該模型做出了更好的預測，可以實現更準確的全色預測。

但到目前為止，該團隊的深度學習模型僅使用三個輸入紅外圖像就產生了一致的 RGB 重建。此外，所提出的U-Net架構每秒可以處理三個圖像。該技術可用于監視、安全、動物觀察和軍事行動，還可用于處理和研究對可見光敏感的生物樣本，例如研究視網膜組織時。雖說目前并不能完全充當實時的全彩色夜視攝像機，但隨著架構的改進、多線程或更快的硬件的升級，迭代只是時間問題。

FID 分數（越低越好）隨著模型的訓練越來越多，紅外波長捕獲的圖像質量得到提高。從黑線可以看出，使用三個紅外波長（718、777 和 807 nm）獲得了最佳結果