信息融合理論研究進展:基于變分貝葉斯的聯合優化

潘泉 胡玉梅 蘭華 孫帥 王增福 楊峰

信息融合技術以各類軟/硬傳感器為基礎,通過數學方法和技術工具對獲取的多源信息進行關聯、估計和融合,以實現目標系統的協調優化和綜合處理的目的.信息融合技術作為信息科學的一個熱門領域,起源于20世紀70年代的軍事應用.美軍在采用多個獨立的聲吶自動探測某海域敵方艦艇位置時首次提出數據融合的概念,隨后開發了戰場管理和目標檢測系統BETA[1?3],進一步證實信息融合的可行性和有效性,并促進了多源信息融合學科的形成和發展.經過20世紀80年代初直到現在的持續研究高潮,信息融合理論和技術進一步得到了飛速發展,信息融合逐漸作為一門獨立學科被成功應用于軍事指揮自動化、戰略預警與防御、多目標跟蹤與識別和精確制導武器等軍事領域[3?6],并逐漸輻射到智能交通、遙感監測、醫學診斷、電子商務、人工智能、無線通信和工業過程監控與故障診斷等眾多民用領域[7?12].作者逐年查閱2015年～2017年國際信息融合大會(FUSION)論文集,分別以研究背景和數學方法為分類依據給出近三年大會論文研究內容比例的統計數據(如表1和表2所示).

表1 研究背景統計比例表Table 1 Statistical proportion of research backgrounds

表2 數學工具統計比例表Table 2 Statistical proportion of mathematics tools

作者在文獻[13]中對信息融合在軍事和民用領域的應用分布情況、所采用的各種不同數學工具和研究方法所占的比例、融合系統建模方法、算法、發展動向以及存在的問題和解決思路等方面給出了系統性綜述.在文獻[13]的基礎上,作者在文獻[14]中首先提出了信息融合所面臨的挑戰和問題,而后針對這些挑戰和問題進一步梳理和綜述了在近幾年間信息融合的進展,包括信息融合模型與系統設計、不確定信息融合、多模態信息融合、高沖突信息融合、相關信息融合及網絡化信息融合;并給出了未來的研究方向,包括信息一體化融合處理、以人為中心的信息融合、信息獲取與融合的聯合優化、復雜多傳感器信息融合系統體系結構設計、信息融合系統仿真與性能評估以及借助更多的數學理論方法等.本文主要對文獻[14]中提到的信息融合一體化在目標跟蹤領域的發展進行綜述.

信息融合本身是一種形式框架,本質是多元變量的估計與決策.以信息融合技術為基礎的目標跟蹤系統越來越多地涉及到信號處理、統計估計與推理、機器學習、大數據等多領域,并且不斷地遇到多種不確定問題,比如,非線性、多模式、深耦合、網絡化、高維數和未知擾動輸入等問題.

1)非線性:在實際目標跟蹤系統中非線性問題是普遍存在的.不同坐標、傳感器及平臺間的轉換導致系統中存在非線性;同時,實際動態系統自身衍化往往也是非線性的.由于非線性系統難以獲得后驗概率的全概率函數,并且具有多峰性和不對稱性等不良特征,非線性估計問題只能通過近似解決.

2)多模式:在實際工程應用中,動態系統參數總是隨著外部環境、系統組成等的改變而改變.在某些時候,利用單一模型對系統進行刻畫很難滿足實際需求,往往借助于多個標稱或常用模型,以涵蓋整個系統可能的衍化方向.多模式通常被建模為跟蹤系統的多選擇行為,包括跳變馬爾科夫系統中多子模型切換,雜波環境或多目標跟蹤情況下量測與目標的關聯,多檢測系統中量測與模式的關聯,多傳感器融合中航跡與航跡的關聯.

3)深耦合:在存在未知參數的系統中,為了獲得需要的目標狀態,參數必須被準確辨識,而辨識問題在于解決多假設下與目標狀態有關的系統模式、量測與航跡關聯問題.鑒于辨識風險與估計誤差是耦合的,必須聯合考慮狀態估計和參數辨識,以便在狀態估計與參數辨識之間建立閉環反饋回路,解決估計與辨識間的耦合問題.

4)網絡化:隨著實際環境復雜多變,系統規模與日俱增,估計精度需求的日益提升,利用單平臺、單傳感器或集中式多傳感器提供的量測信息對復雜系統狀態估計已很難滿足要求,往往需要利用多傳感器構成大規模感知系統對動態系統狀態進行網絡化協同估計.多傳感器的網絡化可能存在網絡阻塞、隨機延遲、隨機丟包、系統誤差時空配準以及信道衰減和信道噪聲問題.

5)高維數:在復雜環境中未知變量較多時,后驗概率密度函數(Probability density function,PDF)的維數大大增加.如果未知變量具有離散形式,則邊緣化過程包括對隱變量所有可能的排列求和,可能導致隱狀態以指數形式增長.同時,伴隨著感知系統的網絡化和多模式發展,高維問題及其復雜性日益凸顯.比如,由多平臺、多傳感器組成的上述網絡化中心站在雜波環境中進行多目標跟蹤任務.

6)未知參數:主要指未知的建模誤差,通常存在于復雜外部環境下目標系統模型和量測系統模型中.例如,在目標跟蹤系統中傳感器偏差、欺騙干擾、雜波、未知分布的量測噪聲和系統噪聲等.特別是非合作目標強機動的情況,由于很難對其進行精確建模,導致跟蹤系統得到間斷的航跡,甚至無法正常起始航跡.

在信息融合領域中,針對上述問題的主要解決方法有:跳變馬爾科夫系統(Markovian jump system)近似方法和交互式多模型(Interacting multiple model,IMM)處理機動目標跟蹤問題[15];擴展卡爾曼濾波器(Extended Kalman filter,EKF)[16]、不敏卡爾曼濾波(Unscented Kalman filter,UKF)[17]和粒子濾波(Particle filter,PF)[18]等濾波器解決非線性濾波問題;魯棒濾波器(Robustfilter)、期望最大化 (Expectation-maximization,EM)等方法解決未知參數問題;當多目標跟蹤需要解決雜波等未知擾動時,主要有三類方法:1)數據關聯算法[19?23];2)基于有限集統計(Finte sets statistics,FISST)的濾波器[24?27];3)對稱量測方程(Symmetric measurement equation,SME)法[28?29].

1 目標跟蹤理論及算法

在目標跟蹤系統中,上述多種問題大部分情況下相伴相生,相互耦合.本節從目標跟蹤應用出發,總結信息融合在多目標跟蹤,非線性濾波,參數估計和網絡化4個方面的主要理論和方法進展.

1.1 多目標跟蹤

隨著預警系統中各種高新技術的發展,目標跟蹤問題發生了前所未有的深刻變化,特別是強非線性、非高斯、多模多路徑、低檢測概率、低數據率、低測量精度以及高容量等問題的出現給多目標跟蹤技術帶來嚴峻的挑戰.近年來,多目標跟蹤方法有了進一步的發展,根據采用的數學理論可分為三類,分別是基于數據關聯、FISST和SME的方法.

基于數據關聯方法的聯合概率數據關聯(Joint probabilistic data association,JPDA)和多假設跟蹤(Multiple hypothesis tracker,MHT)是通過對量測的分配和數據關聯技術將多目標問題轉化為并行的單目標問題,以處理雜波環境下的目標跟蹤問題[30?31].都是基于量測與目標關聯的“硬關聯”模型,在一個量測至多源于一個目標,一個目標至多產生一個量測的假設下枚舉量測和目標之間可能的關聯.其不同點在于MHT不僅考慮虛警的可能性,還考慮新目標出現的可能性,需遍歷每個量測來源的可能性,因此計算量大,當目標較多時容易出現“組合爆炸”問題.與JPDA和MHT不同,概率多假設跟蹤(Probabilistic MHT,PMHT)采用了量測與目標關聯的“軟關聯”模型.假定量測之間相互獨立,一個目標可產生多個量測,且量測與目標的關聯相互獨立(可將所有量測分配給任一目標).算法通過最大化量測分配模型的對數似然函數的條件期望獲得目標狀態的最大后驗估計,其計算量是處理步長、量測個數和目標個數的線性函數[32].PMHT的實現主要包括兩種形式:一種是采用基于最大似然估計的EM 方法[19?32],此類實現形式忽略每個目標只有一個量測條件的限制,其計算量的減少是以犧牲精度為代價的.Ruan等[33]基于Turbo編碼的思想,提出了另外一種有效實現形式,即Turbo PMHT.Turbo PMHT具有良好的跟蹤性能和較低的計算復雜度.此外,針對多機動問題,Ruan等[34]將多模式與PMHT算法結合來處理多機動目標跟蹤問題,并與交互式多模型框架下的IMM-PDA和IMM-MHT進行對比,分析在跟蹤精度和計算量方面的性能表現.

在隨機有限集框架下學者們發展了多種新型濾波器,主要包括:概率假設密度(Probability hypothesis density,PHD)濾波器[25,35]、勢概率多假設密度(Cardinality probability hypothesis density,CPHD)濾波器[25,36]、貝努利濾波器(Bernoulli filter)通常也稱作聯合目標檢測與跟蹤(Joint target detection and tracking filter,JoTT)濾波器[37]、多目標多貝努利(Multi-target multi-Bernoulli,MeMBer)濾波器[26]、勢均衡多目標多貝努利(Cardinality-balanced MeMBer,CBMeMBer)濾波器[27]和標簽多貝努利(Labeled multi-Bernoulli,LMB)濾波器[38].PHD和CPHD濾波框架是將目標狀態和量測信息分別作為一個隨機集,通過集合的積分微分等運算得到目標的狀態信息及目標個數估計,實現對目標的聯合檢測與跟蹤.PHD和CPHD規避了數據關聯所帶來的組合爆炸問題,其實現主要有基于序貫蒙特卡羅(Sequential Monte Carlo,SMC)框架和基于混和高斯(Gaussian mixture,GM)框架的兩種形式.貝努利濾波器是一類能夠隨機切換on/o ff的最優貝葉斯濾波器,它能夠同時估計目標存在概率和狀態[37].目前的應用主要集中在目標跟蹤領域,其中的on/o ff二元切換模塊代表目標在監視區域的出現或消失.這種出現和消失的隨機切換概念具有廣泛意義,可適用于不同的動態現象,如傳染病、污染和社會趨勢等.PHD濾波器的狀態估計值是孤立的點,無法形成完整的航跡.文獻[39?40]對PHD濾波器進行了詳細綜述.

對稱量測方程法是20世紀90年代Kamen在量測方程對稱轉換的基礎上提出的一種多目標跟蹤濾波器.它避免了所有多目標跟蹤場景下所有目標/量測的可能關聯問題.起初,Kamen僅考慮了一維空間內量測數目與目標真實數目相等的情況,并且構造的新量測也只有乘積和形式[28],隨著研究的深入,學者們不僅將SME濾波器的適用范圍推廣到多維場景[29],以及存在虛警、漏警的情況[41],而且分別基于泰勒展開、Unscented變換(Unscented transform,UT)和SMC采樣實現了多種形式的SME濾波器[42?44].SME方法雖實現簡單,但由于對稱變換方程的非內射容易造成“鬼點”坐標問題.文獻[45?46]綜述了對稱量測方程方法.

1.2 非線性估計

在實際的目標跟蹤系統中常常面臨非線性甚至是強非線性的估計問題,其后驗PDF的積分通常難以獲得解析解.因此,將PDF積分難以解析的問題轉化為非線性優化問題或者近似分布的優化問題成為必然.

常用非線性濾波器種類劃分的一種方法是將其分為基于線性化的非線性濾波器和采樣型非線性濾波器.EKF[16]和迭代擴展卡爾曼濾波器(Iterative EKF,IEKF)[47]作為線性化方法的代表,通過泰勒展式將非線性狀態函數和量測函數進行線性化,從而能夠直接采用卡爾曼濾波(Kalman filter,KF)框架,但是由于其只保留一階項而忽略高階項,在系統非線性特征較強時容易造成濾波發散.采樣型非線性濾波器常見的采樣機制分為隨機性采樣和確定性采樣.粒子濾波器(Particle filter,PF)[18]是一種SMC方法,通過隨機采樣服從建議分布的大量粒子近似真實狀態的PDF,可應用于非線性非高斯狀態空間模型.Cappe、Schn、Dahlin 等利用馬爾科夫鏈蒙特卡羅(Markov Chain Monte Carlo,MCMC)和SMC方法在非線性狀態估計方面做了深入研究[48?52].由于SMC和MCMC方法固有的隨機采樣實現機制,需要足夠的粒子以保證濾波精度,而導致計算開銷較大.最近,Daum等借鑒物理學中的粒子流方法首次提出粒子流濾波器的概念[53],通過粒子流實現貝葉斯準則,而不是函數之間的逐點相乘的形式,避免重采樣和建議分布函數選取過程中導致的粒子濾波器采樣粒子“潰退”問題,并且在計算量和精度方面與粒子濾波相比均具有優勢.隨后,Bunch等發展了通過采用粒子流方法生成狀態估計的后驗樣本點[54],并給出基于高斯流的確定采樣型濾波器[55].確定性采樣型濾波器主要包括UKF、容積卡爾曼濾波器(Cubature Kalman filter,CKF)和中心差分卡爾曼濾波器(Central difference Kalman filter,CDKF)[56?57].UKF 和 CDKF 分別通過UT變換和Sterling插值近似非線性狀態轉移矩陣和量測矩陣,然后結合采樣點和PDF計算狀態估計和估計誤差方差.而CKF采用容積法則將獲得的容積點作為PDF的采樣樣本,繼而根據樣本點的PDF估計系統狀態.

另一種非線性濾波器劃分依據為后驗PDF近似的全局性和局部性[58].全局性指PDF的近似分布隨著遞歸更新的進行而傳遞,即在估計過程中PDF的近似分布不變.全局性近似濾波主要包括點估計和SMC方法.局部性近似方法在每個濾波時刻均生成不同的PDF的近似分布,繼而遞歸實現近似分布精度的提升.局部性近似濾波主要包括線性化方法和確定性采樣方法,例如EKF、UKF、CDKF和CKF等濾波器及其衍生算法.

針對非線性系統量測噪聲相關,噪聲有色、量測丟失、時延、多速率、未知輸入、擾動及多源量測等具體問題,文獻[59?65]給出一系列相應問題的解決方法.另外,考慮離散時間馬爾科夫跳系統,文獻[66]給出一種雜波環境下狀態估計和數據關聯一體化機動目標跟蹤框架.

1.3 多坐標系/平臺/傳感器網絡化

多坐標系/平臺/傳感器的大規模網絡化結構感知系統實現對動態系統狀態協同估計與融合,并且具有可擴展性、快速可執行性和魯棒性.然而,由于網絡阻塞及附加路由等因素,導致網絡化結構數據傳輸中存在隨機時滯.針對網絡傳輸阻塞,一部分學者認為存在量測丟包,在量測方程中引入伯努利隨機參數對丟包事件進行建模.文獻[67]假設每一時刻量測是否獲得是已知的,當前時刻量測未獲得時采取狀態一步預測,在修正的Ricatti方程基礎上,分析了相應估計器的穩定性.文獻[68]將丟包推廣到多步情況,并設計了相應的狀態估計器.在H∞準則下,文獻[69?70]分別探討了量測丟包時序相關系統的控制和估計.與量測丟包不同,另一部分學者針對網絡擁塞給出了隨機延遲意義下的量測方程.針對多步量測隨機延遲離散時間線性系統,文獻[71]通過重構新息的方法,探討了多步隨機時延下的線性最小方差估計.另一方面,由于實際通信器件、環境及負載能力等的影響,使得數據在信道傳輸中可能會伴隨信道衰減及信道噪聲.文獻[72]證明了相應的時變Kalman濾波的期望誤差協方差陣是有界的,且收斂于穩態值.進一步,由于傳統的針對多不確定耦合系統的估計算法僅僅適用于單傳感器或通過量測擴維的多傳感器處理,復雜環境下多傳感器多不確定參數耦合系統的狀態估計及融合問題受到越來越多的關注,例如,分布式框架下結合消息傳遞方法解決傳感器網絡中的定位和跟蹤問題.

1.4 參數辨識

在許多實際狀態系統中,例如目標跟蹤系統,一般假設狀態轉移和量測模型是先驗已知的.然而,實際情況是模型參數或模型結構本身是未知或者部分未知的.在此類場景下,假設模型參數信息完全已知的標準估計算法,如KF和EKF等,往往不能精確估計系統狀態.解決此類問題的經典方法是基于貝葉斯估計理論的自適應濾波器,其實現未知擾動辨識的同時進行目標狀態估計,主要包括狀態擴維、魯棒濾波、多模型(Multiple model,MM)濾波、MCMC和EM方法.

狀態擴維方法是將未知參數看作狀態變量的附加變量并將其擴充至狀態向量中,文獻[73]對此類方法作了綜述.魯棒濾波的目的是最小化未知擾動到估計誤差的轉移矩陣增益,從而獲得魯棒的參數化最小方差濾波器以達到最優無偏最小方差濾波器和魯棒卡爾曼濾波器之間的折衷.然而由于在理論推導過程中參數往往被假設為具有約束的常數[74],魯棒濾波器比較保守,對時變未知擾動的估計精度不高,甚至無法辨識.在MM 方法[15,75]中,未知擾動輸入被建模為服從Markov Chain的隨機切換的參數,相關的狀態和未知擾動的估計問題轉化為模型辨識和基于此模型的濾波的聯合實現,其常見實現形式包括IMM和變結構多模型(Variablestructure MM,VSMM).文獻[15]給出此類方法的綜述,并分析其在機動目標跟蹤系統中的優越性.但是當未知輸入的個數增多時,IMM的計算量快速增加,并且MM方法對模型不確定的處理能力局限于可得到的“模型字典”,即預設模型類型與個數.在采用隨機采樣方法進行參數辨識方面,文獻[49?51]利用MCMC和SMC采樣解決非線性狀態空間參數估計問題.文獻[52]綜述了SMC方法和具體的實現策略(例如Metropolis Hastings采樣、最大似然(Maximum likelihood,ML)準則和Gibbs采樣等)在系統辨識中的應用.

近年來在解決系統辨識與狀態聯合估計問題方面,納入統一框架的反饋迭代聯合優化方法成為主流.常用的統一框架主要包括EM 和變分貝葉斯(Variational Bayes,VB).EM通過建立反饋環實現狀態估計與參數的聯合優化,是變分的一種特殊實現形式[76].其迭代過程分為期望步(E-step)和最大化步(M-step).首先E-step根據給定的參數值,對似然函數求條件期望,實現缺失數據的估計;然后在M-step步最大化條件期望,獲得未知參數的辨識值.E-step和M-step步不斷交替迭代直至收斂,最終得到迭代優化的估計及辨識值.目標狀態與隱變量在迭代循環中分別被估計與辨識.但如果隱變量的維數太高,E-Step和M-Step的實現仍然是一個問題[77?78].而結合平均場(Mean field)理論的VB方法可以克服這個缺點.相比EM算法,VB能夠在復雜圖模型下推理,在某些情況下性能有很大改善,尤其適合處理高維大尺度問題.

值得一提的是,現有的估計器絕大部分都屬于模型驅動型.所謂模型驅動型,即以建立運動方程模型和量測方程模型為前提,依據貝葉斯準則實現狀態的預測和更新.但是,對于非合作目標的狀態估計和跟蹤問題,容易出現建模不準的問題.例如,在目標跟蹤中,非合作目標往往進行強機動運動,導致跟蹤系統得到斷續的航跡,甚至無法正常起始航跡.隨著機器學習、深度學習的快速發展和計算能力的提升,數據驅動型方法備受關注.其基本思想是采用機器學習或深度學習的方法從大量原始量測中學習并生成估計器或者跟蹤器,以實現非合作目標的狀態預測和跟蹤.Thormann等[79]首次嘗試采用隨機森林回歸的方法學習從狀態到量測之間的映射關系,以實現徑向距–角度量測下的目標跟蹤問題.其文中通過概率模型仿真產生大量的目標狀態和量測,分析在不同數量的訓練數據,每個森林具有不同數目的樹情況下的算法性能,并且分別在低/高量測噪聲水平下分別與卡爾曼平滑器和粒子濾波器進行對比.在應用方面,文獻[80]采用高斯過程和支持向量機(Support vector machine,SVM)的方法學習目標運動模型預測彈道系數,結合動態方程進行一系列的預測迭代實現高速彈道目標在量測時刻瞬間的狀態預測.文獻[81]基于歷史自動識別系統數據生成相應的路線模式,實現艦船軌跡的預測.

復雜環境下非線性、多模式、深耦合、網絡化、高維數和未知擾動輸入等問題可能多種組合相伴相生,相互耦合.例如,在天波超視距雷達等探測裝備對艦船目標探測過程中,通過電離層傳播的目標散射信號受電離層隨機調制的影響而存在多路徑等復雜特性,導致量測方程中存在非線性,多模不確定等,并且受海況影響艦船目標信號極容易被海雜波等擾動輸入淹沒.因此,有必要采用聯合優化的方法實現復雜系統的解耦、降維、參數辨識、狀態估計與融合等一體化處理.

2 目標跟蹤聯合優化問題

對于一般的跟蹤問題,建立目標運動方程和量測方程

貝葉斯推理下的目標跟蹤問題就是尋找后驗分布p(xk|yk).當Θk已知時,目標跟蹤問題轉化為計算條件概率密度函數p(xk|yk,Θk);當Θk未知時,即目標存在性Sk,關聯假設參數αk,βk,γk和δk及擾動輸入ak和bk是不可直接觀測的變量時,后驗PDF可以表示為混合高維積分,式(3)給出了相應表達式.

聯合優化處理方式的目標跟蹤就是解決一個連續/離散混合系統(1)和(2)的估計和辨識問題,包括連續變量的狀態(Xk)估計和未知擾動輸入(ak,bk)估計和隱變量參數空間k下多離散變量(Sk,αk,βk,γk和δk)辨識的總和.在連續變量情況下,所需積分可能沒有封閉解析解,同時由于被積函數的復雜性,可能難以進行數值積分.在離散變量情況下,邊緣化包括對隱變量所有可能的排列求和,可能導致隱狀態以指數形式增長,以至難以在實際中準確計算.

在多種不利現實因素共存且相互耦合的情況下,如果仍采用上述單一方法只能解決某一特定問題.例如在傳統的目標跟蹤序貫處理方式中(如圖1所示),首先由各類傳感器檢測目標信號,經過點跡聚類后將源于同一目標的量測依概率關聯,從而在濾波器中實現目標狀態估計的更新,最后根據估計結果將目標按不同屬性分類.這種序貫“分而治之”的串行處理方式容易造成誤差的累積傳播;同時,開環的處理結構無法利用閉環反饋自動地進行系統調整,魯棒性能差.在傳感器有較好的模型描述、數據有較精確的統計特性、融合系統有較穩定的拓撲結構以及較明確的任務需求等條件下,其估計與融合問題一般可以得到較滿意解決.但是在上述復雜應用背景多種不確定因素條件下如何實現高維計算、閉環反饋、智能優化、網絡化、魯棒性等聯合處理一體化架構的多源信息處理與融合,已成為國內外學者研究的焦點和難點.

圖1 序貫處理方式示意圖Fig.1 The diagram of the sequential processing

針對信息融合中聯合優化問題,Peter Willett、李曉榕等著名學者分別提出一系列的解決方法,主要包括聯合檢測與估計(Tracking-before-detect,TBD)[82]、聯合聚類與估計(Joint clustering and estimation,JCE)[83]、聯合關聯與估計(Joint association and estimation,JAE)[84]和聯合決策與估計(Joint decision and estimation,JDE)[85]等.

TBD:利用目標的運動特性,經過多幀積累目標的能量、幅值或后驗概率等信息,以達到抑制噪聲,聯合優化檢測與狀態估計的目的.針對弱小目標檢測與跟蹤的過程中存在大量與目標相似的噪聲、雜波等干擾并造成目標信號信噪比低的現象,這種聯合處理結果一般可以提高3dB的信噪比.圖2給出TBD框架示意圖.

JCE:將點跡聚類、數據關聯與狀態估計進行統一處理.利用估計的目標狀態和多傳感器量測進行點跡聚類,聚類量測–航跡數據關聯,最后進行狀態更新,從而實現對未知目標數目的多目標狀態估計與跟蹤.圖3給出JCE框架示意圖.

JAE:將數據關聯與狀態估計進行聯合處理,在一系列不確定觀測值基礎上進行數據關聯–狀態估計間的閉環反饋,即數據關聯的輸出用于狀態估計,而估計結果反饋調節數據關聯中新息的大小,從而實現估計精度的提升.圖4給出JAE框架示意圖.

JDE:基于貝葉斯風險的聯合決策與估計方法,將估計風險與辨識風險進行統一考慮,以解決數據的離散不確定性或連續不確定性,避免了“先估計后決策”方法中決策依賴估計和“先決策后估計”方法中估計次優的缺點.圖5給出JDE框架示意圖.

圖2 TBD框架示意圖Fig.2 The diagram of TBD

圖3 JCE框架示意圖Fig.3 The diagram of JCE

圖4 JAE框架示意圖Fig.4 The diagram of JAE

圖5 JDE框架示意圖Fig.5 The diagram of JDE

文獻[32]認為目標跟蹤是聯合估計與辨識問題.由于未知擾動輸入、多模式、非線性以及高維數等情況的出現,導致原有的“先辨識/決策后估計”或“先估計再辨識/決策”的策略難以實現參數的正確辨識,目標狀態的準確估計和點/航跡的準確關聯.上述聯合優化方法分別在不同屬性級間建立反饋環,實現了狀態估計與目標跟蹤其他不同階段的聯合優化.這種信息聯合處理與融合方式的主要優勢[32]:1)建立估計與辨識的聯合優化處理框架,適合處理多種問題耦合更為復雜的情況;2)采用閉環迭代的處理結構,充分挖掘原始信息,有效處理耦合問題;3)在統一的算法框架進行聯合求解,實現全局優化.然而,由于上述非線性、多模式、網絡化、高維數和未知擾動輸入等問題的存在,在最優貝葉斯估計意義下后驗PDF的積分難以獲得解析解,需要探索近似貝葉斯推理方法.EM 和VB的迭代處理框架恰好與目標跟蹤中的估計與辨識問題相契合,便于在狀態估計與參數辨識之間建立閉環反饋回路,以解決估計與辨識間的耦合問題.EM算法對于高維復雜分布下的隱變量估計問題,E-Step在很多情況下都無法得到對隱變量統計信息的解析解[86?87].針對此問題,通過對耦合高維隱變量進行一定的弱可分解近似推導得出的變分貝葉斯期望最大化(Variational Bayesian EM,VBEM)[78]算法能夠近似獲得E-Step隱變量統計信息的解析解,進一步推廣了EM算法在多目標跟蹤中的應用.

3 變分貝葉斯方法

變分貝葉斯是一種采用簡單分布近似隱變量的真實后驗分布的推斷方法,通常假設隱變量之間相互獨立[88].變分學習主要有兩個目的:一是逼近邊緣似然函數p(Y|X)以實現模型的選擇,二是逼近包含所有參數的后驗概率分布p(X|Y)以實現隱變量的預測.假設隱變量的全貝葉斯模型中所有參數的先驗分布已知,變分的目的是尋找后驗PDF的一個變分分布使其與真實后驗PDF之間的KL散度(Kullback-Leibler divergence,KLD)最小.變分貝葉斯原理如下:

其中,L(q)表示變分置信下界,KL(q||p)表示兩個概率分布q(X)和p(X|Y)差異的非對稱度量,即KL散度.通過變分分布q(X)最大化置信下界L(q)(等價于最小化KL散度)以獲得后驗PDF的近似.即對任意的變分分布q(X),當KL散度為0時,下界L(q)取得最大值,此時的變分分布q(X)等于真實后驗分布p(X|Y).Eq(X)[lnp(X,Y)]表示隱變量和量測的聯合PDF的對數期望,H[q(X)]為變分分布的熵.

變分方法成為目前確定性近似推理的主流方法歸功于變分方法本身具有統一而有效的問題求解框架,同時也與概率圖模型和指數分布簇有著密切的聯系[89]:概率圖模型為變分推理提供了很好的結構框架,能夠直觀地表示變分近似對于系統結構引起的變化[90?91];指數分布簇包含了一大類常用的概率分布[76].許多實用的圖模型都可以看作是指數分布簇的具體實現,當模型中隨機變量的概率分布位于指數分布簇中時,在貝葉斯框架下往往可以根據共軛特性得到閉環的解析解,因而便于算法設計和程序實現.

3.1 變分的分類

Jordan等[90]認為,由于指數分布簇在統計理論中所暗含的凸性為設計多種變分優化近似方法提供了理論依據,同時許多現有的變分近似在圖模型框架下得到了較好的基于圖的迭代解法,因而目前構建變分方法論最為有效的辦法是建立變分分析和指數分布簇之間的聯系.經過幾十年的發展,目前變分理論主要包括如下以下幾個方面.

平均場理論變分推理.如果各隱變量之間存在相互依賴的關系,可采用平均場理論將隱變量的近似后驗分布分解為多個互不相交因子的概率分布之積,具體解耦合的方式往往根據實際系統的圖模型結構進行.許多變分算法在近似過程中都對原系統的結構進行了一定的近似調整[86],即在原有圖模型的子圖模型下進行優化,因而也被稱為結構化變分近似.從直觀上來講,近似準則在保證系統可解的情況下盡可能地解除隨機變量之間的耦合關系,從而保證變分近似的精度.現有的基于平均場理論的變分方法多被用于貝葉斯推理問題中,因而被稱之為變分貝葉斯推理,然而就變分方法本身而言,其應用并不只局限于貝葉斯推理.

參數化變分近似.Bishop在文獻[76]對變分近似的討論中曾提到過參數化分布變分推理方法,即假設隱變量的真實后驗分布在可用參數概率分布模型描述的可解子空間當中,因而優化的目標即是從該參數化分布模型中尋找最接近真實后驗概率分布的變分分布,使得真實后驗分布和近似分布的熵最小.常采用共軛指數簇模型將隱變量的后驗PDF建模為其共軛先驗分布,通過優化求取共軛先驗分布的超參數獲得后驗PDF的近似.

隨機變分貝葉斯方法.對于超大規模數據集的推理問題,Hoffman等[91]提出的隨機變分推理算法基于隨機優化方法進行推理,打破了傳統變分推理對于模型的約束,允許使用更復雜的貝葉斯模型對海量數據進行快速學習[92],是目前變分推理發展的一個很有前景的分支.另外,通過引入輔助變量構建了蒙特卡羅法和變分推理結合的橋梁,從而綜合二者的優勢,在降低計算量的同時保證計算精度[93],并且對于非共軛模型和非參數模型具有較好的適應性.

Bethe近似變分推理.置信傳播(Belief propagation,BP)算法是一個解決基于Bethe近似的變分問題的拉格朗日方法.BP算法最早由Pearl[94?95]在1988年正式提出,通過在圖模型上進行消息傳播求解概率計算問題,隨后被廣泛應用到通信領域的解碼問題中[96?97].后續研究表明,包括卡爾曼濾波和平滑算法、隱馬爾科夫前后向算法、貝葉斯網絡概率傳播算法以及一系列編碼糾錯算法都可以看作是BP算法的具體實例化[98].關于BP算法與VB之間的相關性研究要歸功于Yedidia等[99?100]對于BP算法和Bethe近似之間內在聯系的詳細論述,才使得BP算法得以進一步推廣[101].

3.2 VB在參數辨識中的應用

基于VB的現代信息融合方法通過建立狀態估計與高維未知參數的聯合優化框架,構建閉環迭代處理回路,充分挖掘原始信息,可以有效處理耦合問題,適合處理高維未知參數下的聯合估計問題.由于VB能夠結合指數簇、BP算法、圖模型和平均場等[76,88,102]理論,使其在估計與辨識方面得到了廣泛關注.

針對共軛模型參數辨識問題,常用逆伽馬分布和逆威沙特分布等指數簇分布作為被估計量的共軛先驗分布.Srkk等[103]在共軛條件下采用指數簇的共軛先驗分布近似未知量測噪聲的后驗PDF,結合貝葉斯濾波理論實現時變噪聲方差和目標狀態的聯合估計,達到與交互式多模型算法相接近的估計精度,并且由于VB對高維問題的處理能力,使其在解決多未知擾動問題方面更具有優勢.隨后,文獻[104]給出非線性條件下采用逆威沙特分布的先驗信息近似多變量噪聲后驗PDF,并給出其一般實現形式.變分貝葉斯方法在未知量測/系統噪聲的估計方面得到了進一步的發展[105?106],并應用于多目標跟蹤環境[107].文獻[108?109]假設量測噪聲和系統噪聲均未知,文獻[108]采用批處理的方式對未知噪聲矩陣進行估計,而文獻[109]給出兩種噪聲均未知的條件下噪聲方差的在線估計,并且為了避免系統噪聲和系統狀態相互獨立假設的不合理性,采用獨立于當前狀態的前一時刻的狀態預測方差代替系統噪聲,以便在平均場理論的基礎上分別求其變分邊緣PDF,獲取期望的解析解.

針對非共軛模型的參數辨識問題,Wang等[110]在機器學習領域提出拉普拉斯變分推斷(Laplace variational inference)和Delta方法變分推斷(Delta method variational inference).兩者皆采用坐標上升方法優化變分參數,并且在變分參數和變量間交替迭代直至滿足優化條件.不同點在于拉普拉斯變分推斷采用拉普拉斯近似方法近似后驗PDF,而在Delta方法變分推斷中采樣泰勒展式近似.并且文中指出,拉普拉斯變分推斷一般在實時性和精確性方面均優于Delta方法變分推斷.狀態估計領域中,文獻[111?112]采用學生t-分布近似噪聲分布以求其對數邊緣分布.文獻[113]采用萊斯分布近似非共軛指數簇變換點檢測模型,并將其應用于雷達目標跟蹤系統.

3.3 VB與EM的關系

通過變分分布的構建,VB算法保證參數和隱變量聯合分布的目標函數L(q(X,Θ))(即下界)是單調遞增的如圖6所示.EM 的下界也是單調遞增的,如圖7所示.但是在迭代中逼近最大似然函數的過程是不同的.在有限制的情況下,EM算法的似然函數是動態變化的.迭代初始與當前似然函數相差一個KL散度.在E-Step,下界逼近最大似然值,KL散度減小;然后在M-Step中,根據更新的參數重新確定新的似然值.如此往復,直到收斂.而在VB算法中,最大似然函數是不變的.作者認為其中主要原因是在VB算法中已知先驗分布的未知參數被吸收為隨機隱變量處理其概率模型為全貝葉斯模型p(X|Y)[76],并且所有隱變量的聯合PDF的期望是一個常數,如式(4).而在EM算法中,未知參數是顯性的,其似然函數是p(X|Y,Θ).此外,當未知參數滿足點(離散量)估計的約束條件時,在最大似然準則估計下VB退化為EM.然而,在最大后驗估計準則下由于參數和狀態固有的條件相關關系,則不然.

圖6 VB原理示意圖[88]Fig.6 The diagram of VB principle[88]

圖7 EM原理示意圖[88]Fig.7 The diagram of EM principle[88]

由于整體考慮未知參數和隱變量必然導致VB的計算量增加,但是在最大似然準則下VB的后驗更新步驟與EM的E-Step具有相同的計算量[88].因此,EM較VB更為簡單,適合處理低維隱變量下的估計問題;VB較EM算法更為魯棒,適合處理高維隱變量問題.

4 基于變分貝葉斯理論的目標跟蹤聯合優化方法

根據上文分析知,EM和VB均是基于后驗分布的確定性解析近似方法,將狀態和參數迭代優化以獲得似然函數的最大上界,并解決辨識風險與估計誤差耦合的問題.然而,當聯合概率密度維數較高(即較多參數Sk,αk,βk,γk和δk及擾動輸入ak和bk)時,VB算法則表現出高于EM 算法的優越性.因此,研究基于VB的目標跟蹤聯合優化方法能很好地解決上述復雜環境中的狀態估計和多參數共存且耦合的問題.特別指出:第3.3節已說明在VB中未知參數被吸收為隱變量處理,其概率模型為全貝葉斯模型p(X|Y).但是為了方便讀者閱讀,文中隱變量和未知參數分別采用X和Θ表示.

4.1 聯合優化方法一般性描述

根據式(1)和式(2)的系統模型和量測模型,下面給出基于VB的聯合優化方法.變分貝葉斯算法的核心思想是使用變分分布q(X1:K,Θ1:K)近似狀態的真實后驗分布p(X1:K,Θ1:K|Y1:K),即

其中,根據平均場理論,q(X1:K,Θ1:K)可近似解耦分解如下:

在變分貝葉斯框架下,相應變量的邊緣PDF表示為

由于上述公式是相互耦合的,因此基于VB的后驗更新概率需要進行迭代求解.并且,對于一般的跟蹤問題,參數Θk不是完整已知的,比如,機動目標跟蹤中模型的不確定性,雜波環境多目標跟蹤的數據關聯等.因此,解決典型的聯合跟蹤問題在于根據量測估計目標狀態的同時還必須辨識參數.另外,在VB算法框架下,可根據問題實際情況設計參數數目.多未知參數與目標狀態聯合優化的應用將在第4.2節給出.

注2.q(X1:K)和q(Θ1:K)的形式.在某些情況下,狀態和參數的聯合后驗PDF因子分解后依然無法得到解析解,還需要更進一步的后驗分布近似.例如,假設參數的后驗分布是高斯分布q(Θ1:K|ζΘ),而超參數ζΘ=(ηΘ,?Θ)是未知的.因此,我們需要對參數構造簡單的超參數空間,常采用的分布是高斯分布和狄利克雷分布.鑒于篇幅有限本文不做討論,請參照文獻[76,88,114].

4.2 聯合優化方法在多路徑多模式多目標跟蹤中的應用

以多目標概率數據關聯為應用背景的變分貝葉斯方法綜合平均場理論和BP算法在多目標跟蹤中的優勢,在統一框架下解決多目標跟蹤中面臨的航跡管理、數據關聯和狀態估計問題.Lzaro等[115]采用高斯過程建模目標運動軌跡,并利用變分貝葉斯算法進行數據關聯和超參數學習,很好地解決了多目標跟蹤中的目標間航跡交叉時出現的混批問題.Turner等[116]提出了一個完全變分跟蹤器,考慮了數據關聯中目標與量測之間的約束關系,在變分框架下對目標狀態估計,數據關聯概率計算和航跡管理三方面進行聯合優化,并仿真驗證了該算法在雷達目標跟蹤和視頻跟蹤中的有效性.文獻[117]基于BP算法變分求解邊緣關聯概率,從理論方面進行了收斂性和時間復雜度分析,證明了BP算法求解關聯概率在計算時間和精度方面具有較好的折中效果.另一方面的應用主要集中在分布式多傳感器多目標跟蹤狀態估計與融合[118],這類方法結合圖模型的消息傳播機制為建模分布式傳感器節點之間的依賴和交互關系提供了有效框架的同時,也為BP算法及其擴展方法的推理提供了便捷,對于實際系統中目標、量測和傳感器數目的擴展具有良好的適應性,從而進一步推廣了變分近似推理方法在目標跟蹤中的應用.

本節以天波超視距雷達(Over-the-horizonradar,OTHR)的多路徑多模式多目標跟蹤問題為例給出聯合優化的解決方法.OTHR依靠電離層反射傳播對目標進行探測,其探測的責任區面臨復雜的地海雜波及多種目標,同時電離層的多層特性使得OTHR信號通過多條路徑傳播.此外,OTHR還具有低量測精度、低檢測概率、低數據率、高虛警等復雜探測特性.這使得OTHR復雜環境下目標跟蹤面臨如下挑戰[119]:1)高維數問題,需要近似估計方法.首先,多目標產生高維狀態空間.在OTHR大范圍監視區域內,可能會出現大量目標.其次,多量測回波產生高維量測空間.OTHR下視工作方式使其探測的回波中除了感興趣的目標,還包括大量地/海雜波.再次,多路徑傳播產生高維參數空間;2)耦合問題,需要聯合優化方法.OTHR目標跟蹤同時包含估計及辨識.其中,估計問題包括目標狀態估計,辨識問題包括數據關聯、模式關聯.這兩個問題相互耦合相互影響,即估計誤差會引來辨識風險,而辨識風險又會帶來估計誤差.

圖8 OTHR聯合檢測與跟蹤概率圖模型[120]Fig.8 The probability graph model of joint detection and tracking of OTHR[120]

圖9 多路徑多模式多目標跟蹤的聯合優化框架[120]Fig.9 The joint optimization framework of multi-path multi-mode multi-targat[120]

采用VB框架的聯合跟蹤方案示意圖見圖9.利用隱變量的先驗PDF、目標存在性、目標運動狀態、多模式數據關聯的后驗PDF通過卡爾曼平滑器和LBP(Loopy belief propagation)更新,其實現步驟如下:

1)構建先驗信息模型.構建具體的參數先驗是VB的關鍵環節.方便且具有解析解的一類常用先驗是指數分布簇中的共軛先驗分布.即當參數的先驗分布p(Θ1:K)與完整數據的似然函數p(Y1:K|X1:K)是共軛關系時,似然函數與先驗分布具有相同的指數分布簇形式.

4)多模式數據關聯后驗PDF更新.假設給出第i次迭代的目標存在狀態概率分布p(S1:K),目標運動狀態PDFp(X1:K)和量測似然函數p(Y1:K|X1:K),通過LBP算法近似計算多模式數據關聯.繼而通過計算邊緣分布辨識數據關聯和傳播模式,更進一步,計算每個模式的后驗分布及其相關的等效量測.

5)迭代.重復上述2)～4)模塊直到兩次迭代間的估計性能足夠接近或者達到設定的最大迭代次數.

4.2.1 先驗分布模型

1)目標存在狀態模型:假設二元存在狀態Sk∈{0,1}M服從離散馬爾科夫過程,則

2)目標運動狀態預測模型:目標運動狀態服從一階馬爾科夫過程,則

4)量測模型:根據各量測條件獨立的特性,量測似然函數p(Y1:K|X1:K,G1:K)可被分解為:

根據數據關聯結果,目標m在k時刻τ模式下的量測模型可進一步表示為:

4.2.2 后驗概率更新

采用變分分布q(X1:K,S1:K,G1:K)近似隱變量和參數的PDFp(X1:K,S1:K,G1:K|Y1:K).

其中,根據圖8中所建圖模型和平均場理論,q(X1:K,S1:K,G1:K)可分解如下:

根據目標運動狀態X1:K,目標存在狀態S1:K和多模式數據關聯G1:K之間的邏輯關系,G1:K被看作“參數”,而{X1:K,S1:K}為“隱變量”,其置信下界為:

目標運動狀態的近似后驗PDFq(X1:K),目標存在狀態的近似后驗PDFq(S1:K)和多模式數據關聯的后驗PDFq(G1:K)的自然對數公式為:

5 總結與探討

本文中,首先回顧近年信息融合理論在研究背景和數學工具應用方面的統計數據.然后通過分析復雜目標跟蹤系統中存在的非線性、多模式、深耦合、網絡化、高維數和未知擾動輸入等問題,指出現階段目標跟蹤系統中多參數和狀態聯合估計與優化的必要性.繼而,討論了解決聯合優化問題的主要方法,包括聯合檢測與估計,聯合聚類與估計,聯合關聯與估計和聯合決策與估計等.同時,著重介紹了變分貝葉斯辨識、估計和優化的統一框架和以其為基礎的目標跟蹤聯合一體優化方法,并以天波超視距雷達為應用背景,給出在多路徑多模式多目標跟蹤場景下算法的一般性描述.

由于基于變分理論的一體化方法在解決復雜系統的概率推理問題和耦合參數的估計問題通常具有可接受的近似精度和較低的計算量.由不同的近似策略以及局部極小值等特性導致的精度降低問題和變分方法在非參數、非共軛、網絡化、大數據和一體化等新型復雜問題的應用是目前基于變分理論的聯合優化方法發展的主要趨勢.

估計精度和實時性矛盾問題.由于VB可借助圖模型和平均場理論進行問題的近似解耦分解與簡化,使其在處理高維問題中具有較好的實時性優勢.而MCMC作為近似后驗PDF的另一種方法,在大量樣本的保證下具有更高的精度但是計算量較大,尤其在處理高維數據的過程中這一缺陷更加明顯.在機器學習領域中,有學者嘗試利用VB方法解決MCMC樣本的聚合函數問題[93],以同時提升精度和實時性.因此,考慮VB理論與MCMC方法有機結合,有望解決狀態和參數一體化估計過程中高精度和實時性矛盾的問題.同時,基于隨機優化的隨機變分和不依賴系統模型的“黑盒”變分[121]將有助于實現和提高未知模型系統的狀態估計.

傳感器網絡化和智能化下的變分理論.在網絡化的多傳感器系統中往往需要交換局部信息已達到比單一傳感器更精確的估計,分布式結構有助于減小傳感器網絡中的計算代價.變分貝葉斯方法結合圖模型的消息傳播[118]機制,為傳感器網絡節點之間的依賴和交互關系提供有效框架的同時,也為BP算法及其擴展方法的推理提供了便捷,對于網絡中傳感器個數的增減具有良好的適應性.同時,在智能化的認知雷達[122]應用方面,由于發射波形的優化設計和對外界認知的參數是體現認知雷達智能化的重要組成部分,如何將認知雷達的自適應波形優化和參數優化與目標跟蹤過程中的中間變量和待求變量之間通過圖模型建立聯系,并采用平均場理論和VB方法對認知雷參數和波形優化,以提高認知雷達對環境的感知能力和智能化,將具有較高的理論和工程研究價值.

概率建模和數據驅動相結合的聯合優化框架.基于數據驅動的機器學習方法(比如判別式學習和遞歸神經網絡等)在圖像和視頻跟蹤領域得到了廣泛的應用.而現有目標跟蹤均是基于概率建模機制.文獻[79]采用隨機森林方法在仿真場景中實現了目標軌跡的學習,但是當系統參數(例如系統噪聲)改變時需重新訓練跟蹤器,這將大大增加跟蹤過程中的計算量,并且只能獲得目標狀態的點估計,難以獲取狀態的后驗PDF.因此,如何將概率建模和數據驅動有機結合,實現先驗信息較少或未知的條件下目標的檢測、聚類、關聯、狀態估計、參數辨識、跟蹤與融合、分類與識別等一體化框架,將是信息融合研究領域的挑戰.

另外,變分算法的迭代處理精度依賴于其初始化的精度,在實際應用中,初始化精度過低往往會導致算法發散,因而如何尋找穩定的初始化方法或評估初始化精度對算法的影響目前也是一個未解決的問題.