多模態信息融合處理技術研究

甘雨田

為了保證目標識別與跟蹤性能，技術人員需要對不同傳感器獲取的信息進行融合，實現協同探測。但不同傳感器不僅在安裝位置、物理特性、采樣頻率、靈敏度、精度等方面存在差異，輸出的信號形式也存在差異性。這些差異性使得多模態信息無法直接使用，需要進行信息融合處理。本文對多傳感系統管理和信息融合技術進行了研究，對時間配準和空間配準進行了分析，為多模態信息融合策略提供了理論參考價值。

一、引言

多模態信息融合處理技術是一種對多源數據信息進行采集、處理、融合的綜合匹配應用技術。不僅數據源存在不同格式和記錄方式，而且應用源也存在不同的應用模式，不同的傳感裝置具備數據獨立性和信息共融性。如何將不同的傳感裝置進行數據信息融合，得到精確度高、抗干擾性強的感知信息是數據信息融合的關鍵，也是本文研究的重點內容。

二、 多傳感系統管理

技術人員以多傳感裝置為基礎，將多信息綜合處理模塊與多數據交互模塊相結合，可以實現多系統協同管理。多信號融合器將采集到的多源信號輸入到系統中，將采集到的信息在系統中進行整合，完成多目標采集、處理、分析任務，數據信息的收集和處理，都是根據系統的需求進行分配的。因此，多信息綜合處理模塊與多數據交互模塊的集成屬于系統綜合管理部分，是數據信息融合的核心功能模塊。

多傳感器系統管理功能框架（MSMF）能夠將各傳感器和傳感網絡整合在一起，從而完成對數據網絡的監控和數據的管理，將傳感器的信息通過傳感器存儲到網絡中的各個節點，這樣就形成了網絡感應器；感應器與網絡連接后，再通過通信協議進行握手互聯形成綜合管理功能框架。而傳感器管理架構系統（SMAS）主要由傳感器設備、數據存儲模塊、分析處理芯片等組成，其中數據存儲模塊負責傳感器數據的臨時存儲和備份存儲，傳感器監測和故障報警則由分析處理芯片負責，傳感器設備則負責數據的采集和預處理，向分析處理芯片傳遞原始數據，并按照要求向數據存儲模塊發送規定的存儲信息。

三、多傳感信息融合

多傳感信息融合處理能夠為多類傳感器在不同環境下的應用提供更精確可靠的信息，多模態傳感信息的采集和處理可以更好地實現系統在多場景環境下的多目標信息融合。使用多模態設備采集數據后，技術人員對采集到的數據進行預處理，然后在融合的過程中進行數據轉換，最后再進行數據處理。

（一）信息融合的問題

信息融合技術是一種高集成度的數據采集處理技術，可以對多源傳感器數據進行有效處理，并對數據進行整合。多傳感器協同處理能夠在空間和時間上對齊傳感器數據，是提升系統性能的首要前提。但是，由于實際環境采集情況不是理想狀態，傳感器數據無論空間還是時間都存在采集和處理偏差，傳感器數據在正常情況下總是無法直接對齊。

（二）信息融合技術

大多數多傳感信息融合方法都是假定不同傳感器的時間戳精確對齊，這其實只有通過嚴格的硬件同步才能保證，但對于大部分低價的感應器來說，硬件同步是沒有任何作用的。在實際操作中，傳感器數據的時間戳將受到時鐘不同、觸發機制不同、傳輸延遲、數據阻塞、抖動和偏移等因素的影響，出現測量時間和時間戳之間的偏移。因此，有效傳感器融合的首要前提是準確的時間校準。空間特性統一就是在傳感器之間確定轉動和平移，其中離線校準是目前空間校準的主流方案，優點是精度高。本文從時間標定和空間標定兩方面入手，為多傳感融合提供數據對齊的方法。

1.時間標定

在進行數據量測時，由于傳感器本身特性和人為操作原因，測量信息不同步，需要統一處理這些不同步信息使其同步，這些測量信息不能直接進行融合處理。多傳感器的時間配準將不同時間、間隔的信息轉化為統一的時間描述，實現不同傳感器之間的配準。多傳感器之間的時間配準為后續時間起點對齊做了計算處理，需要標記出不同感測器裝置的啟動時間；在后續處理數據時，以此時間戳為準時間。以A、B兩種感應器為例，其計時校準作用如圖1所示。兩個感應器A和B的初始瞬間不同，經過時間校準后變為同步器。

時間配準采用按精度線性插值的方法，內插外推各傳感器上傳的目標初始數據，并將高精度觀測時間上的數據推導到低精度觀測時間點。具體步驟如下：

選擇系統時間片。線性插值方法默認為同一時間片內，根據具體情況，選擇時間片時應有所區別。

根據測量精度的不同，對各類不同傳感器的上傳數據進行增量排序。

利用選擇的系統時間片，在低精度的時間點內插外推高精度觀測時間上的數據，形成目標觀測數據的一系列等間隔。

2.空間標定

不同的傳感器在進行數據量測量時所使用的坐標系并不是一個統一的坐標系，需要進行坐標變換。同時，傳感器不能完全安裝在一起，各傳感器的測量數據在傳感器相對距離過大的情況下也會出現偏差。空間配準，就是補償和估計不同傳感器對物體在空間內不同量測信息的偏差，統一不同參考系的信息，并將其轉化為相同參考系的數據。空間標定主要包含兩點：一是向同一坐標系變換坐標，二是補償量測偏差。參考的坐標系類型在不同的傳感器收集數據時不一樣，因此坐標系轉換需要在不同傳感器之間實現數據融合，在同一坐標系中轉換不同坐標系下的傳感器數據來表示，以坐標轉換技術實現空間配準。

四、多傳感目標分配

在多傳感器融合處理過程中，多目標分配需要考慮多個傳感器的實時信息。由此，多主體的多信息在得到信息質量保證的同時也可以得到最大程度的優化，從而達到信息融合效果的最大化。多視角計算基于層次聚類的融合算法，對多數據的收集和處理要求更高效。此外，可以將數據特征融合進行歸類，再將各特征集合起來做出決定。融合方法會有不同的信息綜合結果，但各數據特征是存在獨立性的。采用基于特征融合的方法，可將單一目標分為多個共同特征的子目標。

在多傳感器信息融合處理中，多目標分配是以特征融合為基礎的計算方式，多任務處理的核心問題則是多檢測點的分配和權值確定。在計算權值函數時，首先要將多源數據集分成多個子集，分別計算每個子目標的權值，以提高多點信息處理的效率，因此需要考慮多目標權數，保證多信息分塊的準確性，由目標權重確定子空間的權重。如果多系統的目標都是多主體的目標，則目標識別率的高低取決于多子系統中不同對象對多信息的感知能力，多數據的感知能力強，通過多觀測器獲取的信息量就大。

綜上所述，多傳感器信息融合處理是將多數據信息進行融合，在數據集上進行特征提取，通過融合得到數據信息，再參數化處理多系統目標。在多源數據融合中，多特征信息是對象的集合，數據中包含多屬性信息，多感知信息和決策信息在融合的過程中會共享信息。從多個維度組合信息，形成一個包含多個傳感器的多子系統，這些傳感器的每一個參數不同于所測數據的類別和種類，不同的傳感器所包含的信息量也不一樣，所以需要處理不同維度的傳感器信息，這樣才能更加精準地匹配不同傳感器的融合特征參數。

五、結束語

本文通過對多模態信息融合處理技術中多傳感系統管理、多傳感信息融合和多傳感目標分配的應用研究，闡述了多傳感數據融合系統的主要工作方式和數據處理方法。通過對時間標定和空間標定的方法分析，說明了數據融合時需要對各模態傳感器進行時間和空間的統一計算。基于此，在多目標識別中進行特征分類可獲得數據計算權值，分配合適的權值信息則可增加多傳感融合可靠性，提升多模態信息融合實際應用水平。

作者單位：甘肅林業職業技術學院