專門的夜視攝像系統(tǒng)在紅外光中可“看到”肉眼看不到的影像，然后將其數(shù)字轉換為可見光譜中的單色圖像，人的肉眼可見光譜的波長范圍為400至700 nm，對于暗部細節(jié)的觀察有局限性。如果通過優(yōu)化的深度學習架構，提供支持的成像算法，那么場景中的紅外光譜照明就可以用來預測光譜渲染，實現(xiàn)彩色夜視圖像。
為了實現(xiàn)彩色夜視圖像這一目標，團隊需要使用合適的圖像集充分訓練深度學習模型。使用在多光譜照明下顯示的打印圖像，對卷積神經(jīng)網(wǎng)絡進行了優(yōu)化，以預測在紅外光下看到的不同圖像在可見光譜中的樣子。“這項研究是從難以察覺的近紅外照明，預測人類可見光譜場景的第一步?！?/div>
先前的嘗試包括使用典型的相機和紅外相機拍攝相同的場景，讓機器學習模型，從紅外圖像中預測顏色。后來科學家們改為使用多種波長的紅外光來改進顏色預測算法，結果表明，與實際彩色圖像相比，增加了紅外通道的數(shù)量之后，該模型做出了更好的預測，可以實現(xiàn)更準確的全色預測。
但到目前為止，該團隊的深度學習模型僅使用三個輸入紅外圖像就產(chǎn)生了一致的 RGB 重建。此外，所提出的U-Net架構每秒可以處理三個圖像。該技術可用于
監(jiān)視、安全、動物觀察和軍事行動，還可用于處理和研究對可見光敏感的生物樣本，例如研究視網(wǎng)膜組織時。雖說目前并不能完全充當實時的全彩色夜視攝像機，但隨著架構的改進、多線程或更快的硬件的升級，迭代只是時間問題。
