多源信息融合研究進展綜述

姜長三，曾 楨，萬 靜

（貴州財經大學信息學院，貴陽 550025）

0 引言

隨著大數據時代的到來，我們面臨著越來越多種類、規模龐大的數據［1］。以往，由于技術和數據收集手段的限制，我們只能依靠單一信息源獲取所需信息。隨著現代科學技術的不斷創新和信息采集手段的不斷完善，我們能夠從多個來源和不同類型的信息源中獲取信息，這使得多源信息融合在實際應用中變得越來越重要。

多 源 信 息 融 合［2］（multi-source information fusion），又稱為多傳感器信息融合，是指將來自不同來源、不同類型、不同空間分辨率的多個信息源進行集成和處理，以獲得更全面、更準確的信息。這些信息源可以是遙感數據、社交媒體數據、傳感器數據等。

多源信息融合提供了比單一信息源更豐富的信息，從而提高對目標的認知能力和決策水平，并為科學研究提供更多的參考。研究多源信息融合不僅可以提高信息的準確性和可靠性，還可以增強數據的利用價值，提高決策的科學性和精準性，并促進技術的創新和發展。

1 多源信息融合概述

1.1 信息融合的功能模型

多源信息融合的功能模型主要關注信息融合的過程，包括哪些主要功能和數據庫，并說明系統各組成部分之間的相互作用過程。在歷史上，人們提出過許多種多源信息的融合模型，但其中最受歡迎、也最權威的是美國JDL 模型的改進版本［3］，其模型如圖1 所示。其他的功能模型還包括I/O功能模型［4］、Omnibus模型［5］等。

圖1 JDL多源信息融合功能模型

在信息融合系統中，預處理是指對原始數據進行過濾和處理，以提高數據質量并減少噪聲和冗余。目標評估則利用特征提取和目標識別技術，將原始數據中的對象進行分類和標注，生成已知目標庫。態勢評估將已知目標庫與其他情報信息相結合，形成全局視圖，幫助用戶理解當前態勢和趨勢。威脅評估則綜合多源情報信息，包括敵方意圖、能力、行動等信息，對潛在威脅進行評估和預測。過程優化包括自適應算法和決策支持系統，用以提高信息融合過程的效率和準確性。最后，數據庫系統存儲和管理信息融合所需的各種數據，包括傳感器數據、情報信息、分析結果等，為信息共享和查詢提供基礎。

1.2 多源信息融合的層次結構

多源信息融合通常涉及多個層次的處理和分析，每個層次都具有不同的技術和方法，并且每個層次的輸出結果又會成為下一層次的輸入。通過逐層分析和處理，可以得到更綜合、全面的情報圖像，以支持更好地理解和應對現實世界中的復雜問題。

1.2.1 數據層融合

數據層融合是多源信息融合中至關重要的一個過程。它涉及將來自不同源的原始數據進行整合和轉換，以使它們可以在相同的坐標系下進行比較和集成。其融合過程如圖2所示。在數據層融合的過程中，需要考慮數據的精度、完整性、可靠性等多種因素。這個過程的特點包括多樣性、大規模、時效性、去冗余性。

圖2 數據層融合

數據層融合具有許多優點。首先，通過去冗余、去噪、對齊等技術，它可以提高數據質量，并更好地反映真實情況；其次，將多源數據進行整合和統一格式的轉換，以便進一步分析和決策，可以提高數據價值；此外，減少數據冗余可以提高數據可用性和處理效率。

然而，數據層融合也存在一些缺點。由于各種原因可能會出現數據缺失的情況，這會影響到融合結果的完整性和精度。由于需要處理大量數據和復雜的計算任務，數據層融合需要大量的計算和存儲資源，處理困難。

1.2.2 特征層融合

特征層融合是一種多源數據信息處理方法，通過提取各種數據源的特征信息，并對其進行分析和處理，從而保留足夠的重要信息以期為后期決策分析提供支持。特征層融合有以下優點：①減少待處理數據量：通過提取原始數據信息的特征，特征層融合可以減少待處理的數據量，從而大大提高數據處理效率和實時性；②提高數據處理精度：將來自不同數據源的特征信息進行融合，可以得到更加全面、豐富的數據表示，從而提高數據處理精度和準確性；③支持多樣化數據處理需求：特征層融合可以根據不同的數據處理需求，選擇不同的特征提取算法和融合策略，從而滿足各種不同場景下的數據處理需求。融合過程如圖3所示。

圖3 特征層融合

1.2.3 決策層融合

決策層融合是多源信息融合中的一種高層次融合，其目的是將來自多個決策器的判決結果進行整合，從而得到更加準確、可靠的決策結果。通過綜合考慮多個決策器的判決結果，決策層融合可以降低單個決策器的誤判率，提高決策的可靠性以及模型的魯棒性。但決策層融合需要將來自多個決策器的判決結果進行整合，增加了計算時間和存儲空間的需求。融合過程如圖4所示。

圖4 決策層融合

1.3 多源信息融合的系統結構

1.3.1 集中式結構

集中式結構是最簡單的多源信息融合結構之一，它由一個中心節點控制所有傳感器、采集設備和計算機。這個中心節點負責收集所有原始數據，并在其上進行處理、融合和分析，如圖5所示。集中式結構具有以下特點：①系統管理簡單，易于維護；②數據處理效率高，可以對所有數據進行實時處理；③由于所有數據都經過中心節點，因此可以保證數據的一致性和完整性。其也存在一些缺點：①如中心節點成為了系統的瓶頸，一旦中心節點出現故障，整個系統就會癱瘓；②由于所有數據都要經過中心節點，因此需要大量的帶寬和計算資源。

圖5 集中式融合結構圖

1.3.2 分布式結構

分布式結構是將多個節點分布在不同的地方，每個節點都有自己的傳感器和計算資源，并且可以通過網絡進行通信和數據交換，如圖6所示。分布式結構具有的特點為：①系統具有很高的可靠性，當某個節點出現故障時，其他節點可以繼續工作；②數據處理效率高，每個節點都可以對其本地數據進行實時處理；③分布式結構可以根據需要進行擴展，可以添加更多的節點。而分布式結構存在的一些缺點是：①系統的管理比較復雜，需要對每個節點進行單獨管理和維護；②節點之間的通信可能會受到網絡帶寬和延遲的影響。

圖6 分布式融合結構圖

1.3.3 混合式結構

混合式結構是將集中式結構和分布式結構相結合，既有中心節點，也有多個分布式節點。中心節點負責整個系統的控制和管理，而分布式節點則負責采集數據和進行實時處理，如圖7所示。混合式結構具有以下特點：①同時具備集中式結構和分布式結構的優點；②可以靈活配置，根據不同的需求選擇不同的結構；③可以根據需要對系統進行擴展和升級。但是，混合式結構也存在一些缺點：①如系統的管理比較復雜，需要同時管理中心節點和分布式節點；②不同節點之間的通信可能會受到網絡帶寬和延遲的影響。

圖7 混合式融合結構圖

2 多源信息融合中的方法

2.1 估計理論方法

2.1.1 卡爾曼濾波

卡爾曼濾波是一種用于估計系統狀態的數學方法，其一般應用在控制理論、信號處理和導航等領域［6］，而在信息融合領域有著十分重要的應用［7］。卡爾曼濾波器會綜合利用傳感器測量值和系統模型來估計系統的狀態，并且通過動態地調整預測和觀測之間的權重，能夠有效地抑制噪聲和誤差的影響。卡爾曼濾波器的核心思想是將系統建模為一個隨機過程，并且在每一次觀測時使用貝葉斯定理來更新對系統狀態的估計。具體來說，卡爾曼濾波器包括兩個步驟：預測和更新。

在預測步驟中，卡爾曼濾波器會基于上一時刻的狀態估計和系統模型來預測當前時刻的狀態，并且同時估計預測的誤差。在更新步驟中，卡爾曼濾波器會將系統的觀測值與預測值進行比較，并且根據它們之間的差異來調整狀態估計和誤差估計。這個過程被稱為卡爾曼增益。卡爾曼濾波器的公式可以表示如下：

預測步驟中預測狀態公式為

預測誤差協方差矩陣公式為

在更新步驟中計算卡爾曼增益公式為

計算更新狀態公式為

計算更新誤差協方差矩陣公式為

其中：A是狀態轉移矩陣，B是外部輸入的控制系數矩陣，u是外部輸入向量，Q是過程噪聲的協方差矩陣，H是觀測矩陣，R是觀測噪聲的協方差矩陣。

卡爾曼濾波器通過對觀測數據與系統模型之間的關系進行建模，將多個來源的信息進行融合，其過程主要包括以下幾個步驟：定義系統模型、更新觀測數據、預測狀態、計算卡爾曼增益和更新狀態。通過以上步驟，卡爾曼濾波器可以將多個來源的信息進行融合，得到更準確的狀態估計結果。

2.1.2 最大似然估計

最大似然估計（maximum likelihood estimation，MLE）是一種常用的參數估計方法［8］，它通過觀測到的數據來推斷模型的參數值，使得在給定模型下這些數據出現的概率最大。具體來說，最大似然估計是基于以下假設進行的：觀測到的數據是從一個已知的分布中獨立地生成的。在這個假設下，最大似然估計的目標是找到使得給定數據集出現的概率最大的模型參數。

在多源信息融合中，我們通常需要將來自不同傳感器或數據源的信息組合起來，以提高整體的準確性和可信度。最大似然估計可以幫助我們確定一個模型參數的最優值，從而使得這個模型對多源信息的預測更加準確。例如，在目標跟蹤任務中，我們通常會使用多個傳感器同時觀測一個目標，每個傳感器都提供了一些關于目標位置、速度等信息的觀測值。在這種情況下，最大似然估計可以被用來確定目標的真實狀態，即位置和速度。我們可以將所有傳感器提供的觀測值作為輸入，構建一個概率模型，然后通過最大化這個模型的似然函數來確定目標狀態的最優值。

2.1.3 最小二乘法

最小二乘法是一種數學優化算法，用于尋找一組數據的最佳擬合曲線［9］。其基本思想是找到一條直線或曲線，使得該直線或曲線與所有數據點的誤差平方和最小。具體而言，假設有n個數據點{ }(x1,y1),(x2,y2),…,(xn,yn) ，要求一個函數f(x)，使得f(xi)≈yi，并且所有數據點的誤差平方和最小。則可以通過最小二乘法得到：

其中：a0,a1,a2,…,ak為待求參數。然后可以利用這些參數來計算每個數據點與擬合曲線的差距，即誤差。最小二乘法的目標就是找到一組參數，使得所有數據點的誤差平方和最小。

在多源信息融合中，最小二乘法可以用于數據模型的擬合與參數估計。首先，不同傳感器采集到的數據可能具有不同的噪聲水平、采樣率和分辨率等特征。因此需要對這些數據進行預處理和歸一化。然后，針對不同的數據模型，可以使用最小二乘法進行擬合。例如，在目標追蹤任務中，可以利用多個傳感器獲取的目標位置信息，擬合出目標的運動軌跡。在該問題中，最小二乘法可以用來求解目標運動方程的系數。

2.2 不確定性推理方法

2.2.1 貝葉斯推理

貝葉斯推理起源于18 世紀英國數學家貝葉斯的研究工作。它是一種基于貝葉斯定理的推理方法，它可以通過觀察到的數據來更新我們對未知參數的信念。在貝葉斯推理中，我們首先假設一個先驗概率分布來表示我們對未知參數的初始信念，然后根據觀測到的數據來計算出后驗概率分布，表示在考慮了數據之后對未知參數的新的信念。

在信息融合中，貝葉斯推理可以用來處理不同來源、不同類型、不同精度的信息，并將不確定性考慮在內。具體來說，貝葉斯推理將先驗概率和觀測數據相結合計算后驗概率，從而得到更加全面和可靠的結果。貝葉斯推理在信息融合中的應用也十分廣泛，具體如下：

Massignan 等［10］基于貝葉斯推理的方法，研究在配電系統狀態估計中信息融合的問題。文中提出了一種基于貝葉斯推理的信息融合框架，用于聯合處理來自不同傳感器的數據。該框架將不同傳感器的觀測數據轉化為概率密度函數，并利用貝葉斯推理方法進行聯合估計，從而獲得更準確可靠的狀態估計結果。這種方法可以將不確定性和誤差納入考慮范圍，并能夠提高對分布式估計的可信度。Zhang 等［11］使用貝葉斯推斷來建立傳感器獲得信息之間的聯系，并根據不同傳感器獲得信息的可靠性進行權值分配，提高了船舶目標識別的準確性。Cam?es 等［12］提出了一種基于貝葉斯公式的狀態估計框架，該框架可以集成來自不同來源的信息，并生成關于當前狀態的最優估計。Chen 等［13］提出了一種基于貝葉斯框架的多模態測量信息融合方法，它將來自不同非破壞性檢測（NDT）技術的測量結果視為條件隨機變量，并利用貝葉斯公式根據這些條件隨機變量計算待估計機械性能的后驗概率分布。實驗表明該方法顯著提高機械性能概率估計的準確度和可靠性，從而為NDT 領域的機械性能評估提供了一種新的思路和方法。

2.2.2 D-S證據理論

D-S 證據理論是一種用于處理不確定性信息的數學理論，它可以幫助我們在面對不完整、模糊或不可靠的數據時做出決策。D-S 證據理論由Dempster 和Shafer 在上世紀60 年代提出，是一種廣泛應用于人工智能、機器學習、決策分析等領域的理論［14］。在D-S 證據理論中，我們將信息表示為“證據”，每個證據都有一個信任度，表示這個證據被認為是可靠的程度。通過組合不同的證據，我們可以得到更精確的結論，這種組合方式使用的是Dempster-Shafer 合成規則，它允許我們將不同的證據進行組合，從而得到一個綜合的結論。在多源信息融合中，不同來源的信息往往存在一定程度的不確定性和矛盾性。使用D-S 證據理論，我們可以將這些不同來源的證據轉化為可信度函數，然后利用Dempster-Shafer 合成規則將它們進行組合，得到一個更為準確的結論，一些相關應用如下：Li 等［15］使用D-S 證據理論和多源信息融合來分析主機安全的方法。該方法使用多個傳感器收集的來自不同數據源的安全信息，將其進行融合并基于D-S 證據理論進行分析，提高了主機安全性的識別和響應能力。Liu 等［16］利用改進的證據理論結合不確定性因素來進行證據融合，在故障診斷上表現出更高的準確性和魯棒性。Zeng 等［17］針對傳統的D-S 證據理論存在易受到信任度沖突和證據互斥現象的影響的問題，提出了一種新的改進D-S證據理論，通過引入BJS散度來處理這些問題。在該方法中，首先對從多個來源收集到的信息進行處理，計算每個來源的可信度和證據的權重。然后，利用BJS散度將不同來源的信息進行融合，得到最終的決策或推斷結果。實驗結果表明，該方法能夠有效地處理信任度沖突和證據互斥問題，在多源信息融合中具有更好的性能。Lin 等［18］考慮到不同傳感器之間的相關性和權重，引入了改進的證據權重算法，通過證據融合的方式將多個傳感器的證據進行整合，計算出最終的置信度值。該方法能有效地處理多傳感器信息融合過程中的不確定性問題，并且能夠提高診斷的精確度和可靠性。

2.2.3 模糊集理論

模糊集理論是一種用于處理不確定性信息的數學理論，它可以幫助我們在面對模糊、不完整或不準確的數據時做出決策。模糊集理論由Zadeh［19］于上世紀60 年代提出，是一種廣泛應用于人工智能、機器學習、控制系統等領域的理論。

在模糊集理論中，我們將信息表示為“元素”，每個元素都有一個隸屬度，表示這個元素屬于這個集合的程度。通過定義隸屬度函數，我們可以將不同程度的不確定性信息表示為一個模糊集合，從而得到更精確的結論。與傳統的集合不同，每個元素可以同時屬于多個模糊集合，從而更好地反映現實世界中的復雜性和不確定性。在多源信息融合中，不同來源的信息往往存在一定程度的模糊性和不確定性。使用模糊集理論，我們可以將這些不同來源的信息轉化為模糊集合，然后通過模糊邏輯運算將它們進行組合，得到一個更為準確的結論，有關應用如下：

Yang 等［20］提出了一種基于模糊推理的感知信息融合方法。這種方法利用模糊邏輯來表示不確定和不精確的傳感器數據，并將它們組合起來，生成更準確、可靠和全面的情境或現象評估結果。Zhou 等［21］基于模糊系統理論，提出多傳感器模糊信息融合算法在工業安全監控系統中的應用。該算法可以將來自多個傳感器的信息進行模糊化和優化，從而提高工業生產過程中的安全性和可靠性。Yuan 等［22］針對在管理領域的實際應用中存在的主觀傾向性、決策依賴性和知識源偏差等問題，提出了一種基于模糊集理論的知識融合方法，利用證據合成和決策規則獲得知識融合結果，彌補了知識融合過程中的缺陷并解決知識推理中的不確定性問題。Miao 等［23］在變電站火災預警中，將模糊集合理論應用于融合預測的火災概率，以得到最佳的火災預防和控制決策。

2.3 人工智能方法

2.3.1 支持向量機

支持向量機（support vector machine，SVM）［24］是一種機器學習算法，可以用于分類、回歸和異常檢測等任務。它的核心思想是找到一個最優的超平面，將不同類別的數據分開，并且使得這個超平面離數據點的距離最大化。在信息融合中，SVM 可以用于多源數據的分類和特征融合等方面，具體應用如下：

張劍飛等［25］在不同類別的樣本數量存在嚴重不平衡的情況下，提出了一種基于SVM 的不平衡數據分類方法。該方法相比于其他的不平衡數據分類方法，在處理不平衡數據的情況下具有較好的分類效果和較高的準確率。周偉芳［26］提出了一種基于SVM的生物特征融合技術，該技術能夠有效提高身份識別準確率和魯棒性。Wang等［27］通過將多個SVM 分類器的輸出結果進行加權融合來實現泄漏檢測，獲得了更好的性能和準確度。Pan等［28］開發了一種新穎的多分類器信息融合方法，將概率支持向量機（SVM）和改進的Dempster-Shafer（D-S）證據理論相結合，以支持不確定性下的風險分析。Peng 等［29］提出了一個帶有概率輸出的多分類支持向量機（SVM）模型，提高故障診斷準確性。

2.3.2 遺傳算法

遺傳算法（genetic algorithm）［30］是一種基于生物進化原理的隨機搜索和優化方法。它模擬了自然界中的遺傳和進化過程，通過對群體中個體的優勝劣汰和交叉、變異等操作來產生新的個體，并不斷迭代尋找最優解。遺傳算法在多源信息融合中的應用主要是通過結合多種信息源來提高決策系統的精度和魯棒性。

Thakkar 等［31］在股票價格和趨勢預測中使用遺傳算法對不同的特征進行優化選擇，提高了特征的相關性和減少冗余信息。Kande等［32］提出了一種基于遺傳算法的優化框架，并結合系統動力學建模、機器學習和群智能優化算法等技術手段，實現了對異構多資產集合的智能調度管理。Liang 等［33］提出了一種基于遺傳算法的最優數據融合方法，有效地處理給定來源高度沖突的概率融合問題。Guo 等［34］提出了一種基于遺傳算法的多源交通信息采集組合優化模式，在實現多源交通信息采集和組合的優化過程中更加準確，并具有更好的信息融合程度。Sun等［35］提出了一種改進遺傳算法的多傳感器數據融合算法，顯著提高數據融合的精度和穩定性，且具有更短的執行時間。

2.3.3 神經網絡

神經網絡是一種被設計來模擬人類神經系統中信息處理方式的計算機程序。它由許多稱為“神經元”的單元組成，這些神經元通過連接形成了復雜的網絡。神經網絡可以通過學習來識別模式和關系，并用于分類、回歸、聚類等任務。神經網絡在多源信息融合中有廣泛的應用，可以通過將不同類型的數據輸入神經網絡來獲得更準確、更全面的信息。

神經網絡可以將多個傳感器捕捉到的數據進行融合，從而實現更準確、更全面的環境感知和預測。例如，在智能交通領域中，可以將車輛傳感器、路況傳感器和天氣傳感器捕捉到的數據進行融合，從而預測交通狀況和制定優化路徑。神經網絡可以將來自不同模態的數據進行融合，如圖像、聲音和運動等，從而實現更準確、更全面的識別和分類。例如，在人機交互系統中，可以將語音指令、手勢控制和眼部追蹤等多種輸入方式進行融合，從而實現更自然、更智能的交互體驗。神經網絡可以將來自多個數據庫的信息進行融合，從而實現更全面、更準確的數據分析和挖掘。例如，在企業管理中，可以將不同部門的數據進行融合，從而幫助企業制定更科學、更精準的營銷策略。其相關研究進展如下。

Guo 等［36］為了提高GNSS-R 風速檢測的精度，提出了一種基于統計修正卷積神經網絡（statistically modified convolutional neural network，SMCNN）的信息融合方法，通過將不同極化方向、不同衛星信號的反射信號進行融合，并采用統計修正策略，進一步提高了風速檢測的準確性和魯棒性。Passos 等［37］提出了一種基于規范相關圖神經網絡的多模態音視頻信息融合方法，用于實現能源高效的語音增強。它利用了多個傳感器捕捉的音頻和視頻數據，并使用圖神經網絡將它們融合在一起來進行語音增強。通過這種方式，可以顯著降低計算資源和能源的消耗，并提高增強效果。Gao等［38］提出了一種基于自適應卷積神經網絡的信息融合方法，用于面部表情識別，在全連接層獲取不同的特征信息進行信息融合，在面部表情識別方面具有更高的識別精度。

2.3.4 粗糙集理論

粗糙集理論是一種基于不確定性和近似推理的數學方法，旨在處理具有模糊或不完整信息的問題。它最初由波蘭科學家Pawlak［39］在1982 年提出，并且在計算機科學、人工智能、模式識別等領域得到廣泛應用。

粗糙集理論的核心思想是利用粗糙集來刻畫近似概念和近似關系。其中，一個粗糙集是指包含了所有具有相同屬性值的對象的集合。這些對象可能由于某些未知原因而無法歸入嚴格意義上的某個類別中，但它們之間仍然存在著某些共性的特征。通過比較不同屬性值之間的差異，可以找到相似的對象，并將它們分為同一組。粗糙集理論的優點在于它可以處理多源信息的融合問題，同時也可以保留信息的不確定性和模糊性。它已經被成功地應用于數據挖掘、決策分析、模式識別等領域。其相關應用研究如下。

Cao等［40］提出了一種利用粗糙集理論和改進的卷積神經網絡相結合的信息聚合算法，以在保持數據保真度和機密性的同時，緩解無線傳感器網絡（WSN）中的能量消耗問題。Li 等［41］提出了一種將粗糙集理論（RST）與改進的Dempster-Shafer（D-S）證據理論相結合的信息融合方法，用于識別不同的系統操作狀態。在智能故障診斷中，Yang 等［42］通過將粗糙集理論與證據理論相結合，提高了故障診斷的準確性。Gang等［43］提出了一種基于粗糙集理論和BP神經網絡的數據融合方法。通過采用粗糙集理論對輸入信息進行簡化和消除冗余信息，從而減小了BP 神經網絡的規模，提高了融合系統的識別率，進而提高了整個融合系統的效率。

3 結語

多源信息融合作為一個重要的領域，正在快速發展和壯大。在過去幾十年中，多源信息融合已經得到了廣泛的研究和應用，涉及到很多不同的領域，如軍事、情報、醫療、安全等。然而，這一領域還存在著很多挑戰和問題，如數據質量不穩定、信息處理效率低下、隱私和安全保護等。

未來的多源信息融合技術需要繼續深入研究和探索，以提高信息融合的精度、效率和可靠性。其發展趨勢可以包括以下幾個方面：

（1）多模態數據融合：隨著傳感器技術、圖像識別技術和語音識別技術的發展，多種類型的數據和信息被廣泛采集和應用。因此，將多種類型的數據進行整合和分析，可以提高信息處理效率和精度。

（2）多層次信息融合：多源信息往往存在于不同的層次之中，如底層數據、中間知識、高層推理等。因此，將這些不同層次的信息進行整合和分析，可以更好地發掘數據的潛在價值。

（3）實時信息融合：傳統的信息融合方法往往需要大量的計算資源和時間，難以滿足實時應用的需求。而新興的實時信息融合技術則能夠快速響應實時信息需求，并及時更新和傳遞數據。

（4）人工智能應用：隨著人工智能技術的發展，人工智能在多源信息融合中的應用也越來越廣泛。通過人工智能算法和模型，可以自動化地對多源信息進行分析和演繹，提高信息處理效率和精度。

（5）安全與隱私保護：多源信息融合涉及到大量的個人和機密信息，因此在信息融合過程中需要注重安全和隱私保護。未來的多源信息融合技術應該具備更加完善的安全和隱私保護措施，以確保數據的安全和合法性。