光電系統信息融合技術研究

徐書文

（中國電子科技集團公司第三研究所，北京 100015）

0 引 言

對導彈、飛機、艦船等重點目標進行快速、精確的探測、攔截和打擊，是武器系統的主要任務。武器系統的主要探測手段是雷達。雷達利用電磁波的發射和接收來實現對目標的探測，是一種主動式探測方式，具有作用距離遠、可以全天候工作的特點，但隱蔽性較差。光電系統可以將目標發出的光和熱轉化為電信號，并從電信號中提取感興趣的目標信息，從而實現對感興趣目標的探測。光電系統是被動式探測手段。與雷達相比，光電探測的優點是隱蔽性好、探測精度高、直觀、體積小、重量輕，不受電磁干擾影響，缺點是易受雨霧影響。此外，針對低空和超低空目標的探測，雷達有多路徑效應（雷達盲區），而光電系統沒有多路徑效應。另外，光電系統可以提供實時的圖像信息，使人們的視覺得以延伸，可以更好地獲取決策信息。因此，在現役武器系統中，光電系統也是重要的組成設備之一，是雷達探測的重要補充手段，被廣泛應用于偵察、監視、火控、預警、靶場測量等軍事和軍民融合領域。光電系統適裝的平臺有艦載、車載、陸基（岸基）、機載、彈載、星載等，其中彈載和星載為特殊應用環境適裝平臺，與其他平臺的適裝布局差異較大，要求更苛刻。本文主要針對艦載、車載、陸基、機載平臺應用的光電系統信息融合問題進行探討，主要因為這4種應用平臺上光電跟蹤系統的組成布局基本相同，且應用最廣泛。

1 光電系統的基本組成及工作原理

1.1 光電系統的基本組成

光電跟蹤系統主要由光電指向器、信息控制及配電單元3部分組成，如圖1所示。光電指向器一般由紅外熱象儀、可見光攝像機、激光測距機及伺服轉臺組成，信息控制部分由伺服控制、圖像處理及綜合處理單元組成，配電單元提供系統所需的各種類型的直流、交流電源。在實際應用中，指向器獨立安裝在艙外（艦載、車載、陸基）或凸出（機載）平臺載體的位置，以避免被遮擋；信息控制和配電單元一起安裝在艙內，主要采用標準機柜或分離電子箱結構，根據艙內空間進行布設[1]。

圖1 光電系統基本組成

艙外指向器的結構形式主要有U型（包括倒U型）和T型結構，如圖2所示。U型和T型指向器主要適裝于艦載、車載及陸基平臺，吊艙型指向器（倒U型）適裝于機載平臺。U型指向器一般適用于有效載荷較小的光電系統，其紅外熱象儀、可見光攝像機、激光測距機安裝在同一個球艙里，球艙的回轉半徑一般不超過500 mm，紅外熱象儀、可見光攝像機及激光測距機安裝在靠近球艙中心的位置，各光軸距離很近且相互平行，可以保證對目標信息獲取的空間配準，而且空間配準精度高[2]。T型指向器一般應用于有效載荷較大的光電系統，其紅外熱象儀和可見光攝像機分別安裝在T型結構的兩邊，光軸間距大，空間配準精度相對于U型指向器低。因此，圖像融合更適合應用于U型指向器光電系統。

圖2 常用指向器結構形式

1.2 系統工作原理

可見光攝像機利用目標的光輻射成像，紅外熱象儀利用目標的熱輻射成像，激光測距機可以對瞄準的目標進行測距?？梢姽鈹z像機、紅外熱象儀及激光測距機安裝在伺服轉臺上，經過光軸標校，各光軸指向保持一致。當伺服轉臺轉動時，3個傳感器可以隨著伺服轉臺在俯仰和方位方向轉動。圖像處理單元主要完成從紅外熱象儀、可見光攝像機獲取的視頻圖像（視場）中實時提取出感興趣的目標，并計算出感興趣目標相對于視場中心的角偏差。伺服控制單元利用角偏差控制伺服平臺向減小或消除角偏差的方向轉動，使光學瞄準線始終瞄準目標，實現對空間目標的閉環跟蹤。在閉環跟蹤過程中，激光測距機可以持續對被跟蹤的目標進行測距，獲得目標相對于光電系統（觀測點）的距離。綜合處理單元根據角偏差、伺服轉臺駕位信息、目標距離信息和適裝平臺地理信息（如捷聯信息等）可以計算出目標在大地坐標系中的三維地理信息，并將該信息送往武器控制系統用于對目標的攔截和打擊；綜合處理單元產生系統工作所需的各種控制指令，如捕獲/釋放、方位搜索、俯仰搜索等控制指令，同時還實時顯示紅外熱象儀、可見光攝像機攝取的視頻圖像；綜合處理單元還根據解算出來的目標運動地理信息，建立目標運動軌跡和態勢顯示圖形，操作手或指揮員根據視頻圖像、態勢顯示判斷目標運動的威脅性。配電單元將外部輸入的220 V 50 Hz（或220 V 400 Hz）交流電源通過AC-DC、DC-DC模塊的電源轉換，提供光電系統內部設備所需各種類型電源[3]。

2 光電系統信息融合技術應用分析

信息融合一般分為像素級圖像融合、特征級融合及決策級融合3個層次。像素級圖像融合主要利用異構來源圖像信息的互補特性，通過像素的時空配準，再利用算法對像素灰度進行有機結合，形成信息更豐富的融合圖像，更易于人類觀察和識別感興趣圖像區域。像素級圖像融合主要應用于遙感圖像和圖片的復合、圖像分析及理解方面。特征級信息融合是將異構來源圖像中提取的目標特征進行互補處理，既可以增加目標強度，也可以增加目標特征維度，彌補單一來源圖像中特征遺漏（未檢測到）的不足，豐富目標的特征信息，有利于對目標的識別和抗干擾。決策級融合是指對異構來源的決策信息（如光電、雷達等）進行有機結合，增強決策信息的魯棒性，提高決策信息的可靠性[4]。

一般來說，融合方法越復雜，有效性越高，但計算量也越大，實時性越差。融合方法越簡單，有效性越低，但計算量也越小，實時性越好。因此實際應用時不僅要考慮融合方法的有效性，還要考慮融合方法的實時性。像素級融合對異構來源的圖像按照圖像的像素數逐一進行融合算法的處理，是計算量最大的融合方法，特別是當圖像尺寸和分辨率增加時，計算量也會成倍增加。特征融合方法是對異構來源的目標特征（如目標的寬、高、位置、速度、距離等）進行融合處理，計算量只與感興趣的目標數量有關，目標越多，計算量越大，目標越少，計算量就越小，一般不隨圖像尺寸增大而增大。由于在一幅圖像中，目標的數量遠遠小于像素的數量，因此，特征融合的計算量遠遠小于像素級圖像融合的計算量。決策級融合是對異構來源的決策信息進行融合處理，決策信息是通過對大量的目標特征進行提取、識別、分析后獲得的最終結果，每一個系統來源的最終（決定動作）決策只有一個，因此，決策融合的計算量比特征融合的計算量更小。因此，在實際應用中，應根據系統實時性的要求，選擇滿足實時性要求的融合方法，才能充分發揮信息融合的有 效性[5]。

早期的光電系統只有可見光攝像機，隨著紅外技術的發展，紅外熱象儀得到了廣泛應用。目前常規的光電系統一般都配有可見光攝像機、紅外熱象儀以及激光傳測距機，主要用于對目標的搜索、跟蹤及監視。激光測距機提供目標的距離特征信息，可見光攝像機、紅外熱象儀同時提供光輻射和熱輻射的成像信息，但系統對成像信息進行處理時，只對一個被選擇的圖像通道進行目標的特征提取、識別和決策，即對紅外和可見光2選1之后的圖像通道進行處理，也稱作單通道信號處理方案，如圖3所示。雖然單通道信號處理方案可以降低對圖像處理電路的要求，降低設備成本，然而始終有一個通道的圖像信息處于閑置狀態，圖像信息被浪費掉了。此外，當有一個通道沒有檢測到目標，而另一個通道可以檢測到目標時，仍會有“沒有目標”的“決策”輸出，需要由人工切換通道，選擇可以檢測到目標的通道進行工作。因此，在單通道信號處理方案中，上述3種融合方法都沒有應用。有的系統在決策過程采用了算法融合方法，如質心跟蹤和相關跟蹤算法的融合，但是收效甚微。傳統的光電系統主要采用單通道信號處理方案，圖像信息沒有被充分利用，人工干預環節多，智能化程度很低。

圖3 單通道信號處理方案

隨著信息融合技術的發展和廣泛應用，新型光電系統也在逐步采用信息融合技術以提高裝備的性能。目前新型光電系統基本都采用至少由可見光攝像機和紅外熱象儀兩個成像通道組成的傳感器方案，而且，可見光攝像機和紅外熱象儀在系統安裝時進行了光軸標校，保證紅外熱象儀和可見光攝像機的光軸一致性，即在空間上是配準的。此外，可見光攝像機和紅外熱象儀都接受系統同步信號，因此在時間上也是對準的。對于這種可見光攝像機和紅外熱象儀并存，并且圖像在時空都是配準的光電系統，從理論上來說，3種融合方式都可以實現。

可見光攝像機利用物體的光輻射成像，紅外熱象儀利用物體的熱輻射成像，經常出現可見光攝像機看得見目標而紅外熱象儀看不見目標，或者紅外熱象儀看得見目標而可見光攝像機看不見目標的情況。一般在能見度良好（≥15 km）的情況下，可見光攝像機作用距離比紅外熱象儀遠，但在夜晚、黃昏及霧天情況下，可見光攝像機看不見或看不清時，紅外熱象儀卻能看得見、看得清，因此，紅外和可見光成像信息具有互補特性，具備像素級圖像融合條件，光電系統圖像融合方案如圖4所示。

圖4 光電系統像素級融合方案

在圖4中，可見光和紅外圖像先進行像素級融合，形成成像信息互補的融合圖像，在融合圖像中進行目標的特征提取、識別和決策，可以大大提高光電系統的作用距離、目標識別能力和自主決策能力。然而在工程實現過程中，由于可見光分辨率高于紅外分辨率，而且兩者探測器像元尺寸也不一樣，采用的光學鏡頭的視場角也不一樣，因此，要保證像素配準，需要進行比例調整。例如，對于PAL制模擬視頻，一般可見光分辨率采用512×512分辨率，紅外為320×256分辨率。對于目前常用的數字視頻，可見光分辨率可以從1k×1k到5k×4k，而紅外只能到640×512。這種比例變換不僅會帶來像素級誤差，而且信號處理的復雜度也大大增加。此外，通過光學設計可以保證紅外和可見光視場大小一致，加工和裝配帶來的配準誤差也有幾個像素，通過像素級移動可以基本消除，能滿足像素級融合條件。但是對于批量生產而言，光學結構精密加工以及精密裝配保證每一套產品都滿足像素級融合的條件，時間成本和材料成本都很高。由于實時性和時空配準精度要求高，目前光電系統一般很少采用像素級融合方法，只有在特殊情況下采用像素級融合提供用于觀察的圖像。

光電系統特征級融合方案分別在可見光和紅外圖像中進行目標的特征提取，再進行特征融合，之后進行目標的識別和決策，如圖5所示。采用特征融合的方法，可以利用目標特征的互補性提高對目標的識別和抗干擾能力，同時不需要人工切換通道，也提高了光電系統的智能化程度。光電系統的特征融合相對于像素級的圖像融合而言，運算量大幅減少，實時性提高，并且對光學系統加工、結構加工和裝配的精度要求也大大降低，工程實現更容易，但是特征融合需要兩套特征提取電路，即硬件電路復雜一些。

光電系統決策級融合方案是系統分別對紅外、可見光圖像進行特征提取、識別和決策，之后再對兩個通道的決策信息進行融合處理，輸出最終決策，如圖6所示。從圖6可以看出，光電系統決策級融合采用的是雙通道并行信號處理方案，當兩個通道都檢測到“有目標”決策時，利用視場中目標的位置信息進行加權輸出位置決策，或者取離視場中心最近的位置為輸出決策；當一個通道檢測到目標“有目標”而另一個通道檢測“無目標”時，也會有“有目標”決策輸出；當兩個通道都輸出“沒有目標”的決策時，系統才輸出“沒有目標”的決策。光電系統采用雙通道信號處理方案時，兩個通道的信息都得到了利用，沒有浪費圖像通道信息資源。盡管圖像信號處理的電路成本比特征融合方案（圖5方案）硬件成本高，但工作通道的選擇不需要人工干預，而是自主決策，提高了系統的智能化 程度。

圖6 光電系統決策級融合方案

近年來集成電路技術發展迅猛，硬件大容量、小型化、通用化、低成本，使得硬件電路的體積和費用已經不再是關注的主要問題。與此同時，隨著硬件運算速度的提升，深度學習、大數據、邊緣計算等技術的發展，為信息融合技術在光電系統中的應用和光電系統智能化水平的提升提供了更好的手段。

3 光電系統信息融合技術發展與思考

導彈、飛機等目標速度的提高，對光電系統的實時性提出了更高的要求，同時低小慢目標威脅性的增加，對目標的分辨能力和識別能力的要求也在不斷提高。硬件的小型化、通用化、功能的不斷強大以及算法的不斷優化，為實時性、分辨能力和識別能力的提高提供了堅實的基礎。此外，高分辨率、多波段光學傳感器也在快速地發展，光電系統仍然是光電探測系統的重要組成設備之一，會被更廣泛地應用于偵察、火控、制導、預警、靶場測量、重點區域防護等領域。信息融合技術在光電系統中的深度應用可以大大提高對目標的識別和探測能力，提高系統的智能化程度，這對提升武器系統的防御和打擊能力非常重要。因此，信息融合技術在光電系統中的深度應用研究仍是當今及未來五年研究的熱點，主要應用趨勢分析如下。

3.1 像素級融合

像素級融合是精度最高的融合方案，它可以優化圖像原始信息，從圖像信息源上解決一個通道“看得見目標”而另一個通道“看不見目標”的問題，有利于提高對目標的發現、特征提取、識別和自主決策能力，而且信號處理只采用一路硬件電路，可以大大降低成本，減小體積。然而，實現像素級融合，必須在保證高精度像素級時空配準技術獲得突破才有可能在工程上獲得真正的應用，目前短時間內實時性好的高精度像素級時空配準技術難以有大的突破，因此研究仍然會停留在理論研究階段。

3.2 特征級融合

特征級融合只須對可見光和紅外通道分別提取特征，進行特征級的時空配準和特征融合，不要求像素級的時空配準，降低了對光學、機械結構精密加工和裝配精度的要求，工程實現更容易，而且特征融合精度比決策級融合精度高。光電系統特征級融合不僅可以有效解決一個通道“看得見目標”而另一個通道“看不見目標”的問題，融合后的目標特征（如目標形狀、灰度等特征）還可以大大提高對目標的識別能力和抗干擾能力，便于深度學習技術在光電系統中的應用。隨著硬件電路的小型化、低成本化以及計算功能的強大，可以支持更復雜、更大計算量的算法實時實現，使得特征融合技術將在光電系統中得到廣泛的應用。

3.3 決策級融合

決策級融合在光電系統中應用方法簡單，易實現，因為決策的信息量不需要空間配準，一般只需要在時間上配準就可以了。盡管決策級融合也能有效解決一個通道“看得見目標”而另一個通道“看不見目標”的自主決策問題，但是在目標識別方面只取決于單通道的能力，因此，決策的置信度比特征級融合方法要低。此外，由于沒有目標的形狀、灰度等重要特征信息，不能對目標進行深度學習，識別能力難有大的提高。

4 結 語

未來光電系統在高實時性、高精度像素級時空配準技術沒有大的突破之前，高實時性的特征級融合方法會成為光電系統信息融合的主要方法，結合深度學習技術，可以使光電系統在目標識別和決策能力的智能程度方面取得大的突破，使光電系統更“智慧”，滿足實戰的需要。