基于MLS的三維擴展目標PMBM跟蹤算法

衡博文, 李翠蕓, 李 想

(西安電子科技大學電子工程學院, 陜西 西安 710071)

0 引 言

目標跟蹤是根據傳感器獲得的數據,對一定觀測區域內運動目標的狀態進行估計的過程。擴展目標跟蹤除了跟蹤目標運動狀態外,還要估計目標的形狀。基于隨機有限集[1]理論的目標跟蹤方法避免了復雜的關聯計算,關聯精度也更高。其中,泊松多伯努利混合(Poisson multi-Bernoulli mixture, PMBM)濾波器[2-3]使用泊松點過程表示未檢測到的目標,即使在目標存在漏檢、新生或消亡的情況下,依然能夠準確估計多目標的狀態,因此一經提出就成為了研究熱點。現有的擴展目標形狀估計方法大多是針對二維目標的。其中,較為典型的是隨機矩陣(random matrices, RM)[4]和隨機超曲面模型(random hypersurface model, RHM)[5],而B樣條[6-7]和高斯過程[8-9]也常用于擴展目標跟蹤。文獻[10]將RHM和伯努利濾波算法相結合,實現了對橢圓擴展目標的跟蹤。除此之外,Lan等人針對非橢圓目標提出了多橢圓法[11-13]。隨后,文獻[14]針對多橢圓法做出了改進,不需要預先設定子橢圓數量且子對象數量可變。

在三維目標的形狀估計方面,文獻[15]將Karl等人提出的伽馬高斯逆威舍特PMBM(Gamma Gaussian inverse-Wishart PMBM, GGIW-PMBM)濾波器[16]擴展到三維空間,但只能將目標建模為橢球,不能對目標形狀進行精細刻畫。文獻[17]通過徑向函數和高斯過程來估計目標三維形狀,但三維點云數據的計算負載較高。文獻[18]將稀疏點云測量與高斯過程結合來估計三維目標表面,但計算量大、估計精度不高。利用B樣條對三維目標的形狀進行估計時,需要對樣條曲線進行擬合,再由擬合后的B樣條曲線組成B樣條曲面。這種方法估計出的目標三維形狀平滑,但每次估計形狀時都需要進行曲線的擬合,計算量較大、算法運行時間長。

針對以上問題,本文提出了一種基于移動最小二乘(moving least square, MLS)模型的擴展目標MLS-PMBM濾波跟蹤算法。算法將融合后的量測集輸入至PMBM濾波器,獲得目標質心運動狀態,通過MLS模型處理量測數據,對形狀矩陣中的控制點進行移動,結合目標質心狀態與形狀估計完成對三維擴展目標的跟蹤。仿真實驗與實際點云數據的驗證表明,本文所提算法在三維目標形狀估計方面具有更高的精度,在實際場景中能夠實現對不規則形狀擴展目標的有效跟蹤,泛用性更廣。

1 擴展目標跟蹤模型

文獻[19]中的MLS算法[20]通過調整控制點,可將簡單形狀變形為復雜目標的形狀,并且簡單形狀可以預先設定,控制點則根據量測數據進行計算。該理論可在三維空間中對擴展目標的形狀進行估計。

1.1 MLS算法

MLS算法引入了緊支撐權函數,保證了在目標跟蹤中單個量測的影響區域有限。緊支(compact support, CS)即函數值y只受x附近鄰域內數據點的影響,域內定義x的權值函數為ω(x)。在擬合區域上,待擬合函數可表示為

f(x)=μ(x)×p(x)

(1)

式中:μ(x)=[μ1(x),μ2(x),…,μm(x)]T是系數向量;p(x)=[p1(x),p2(x),…,pm(x)]T是基函數;m是基函數的項數,基函數有線性基、二次基和立方基。由擬合函數和y利用加權最小二乘算法得到

(2)

式中:n是x鄰域內的數據點數量;ωi(x)是節點x的權函數。在節點x的鄰域內,ωi(x)>0;在鄰域外,ωi(x)=0。將式(2)轉為矩陣形式,并對μ(x)求偏導得

J=(Pμ-y)TW(Pμ-y)

(3)

(4)

其中

y=[y1,y2,…,ym]T,μ(x)=A-1(x)B(x)y

(5)

A=DTW(x)D

(6)

B=DTW(x)

(7)

其中

(8)

(9)

將式(4)代入式(1)可得擬合函數為

(10)

其中

Φ(x)=[φ1(x),φ2(x),…,φm(x)]=p(x)A-1(x)B(x)

(11)

基于最小二乘算法的圖像變形,最早于2006年由Schaefer等提出[19]。當利用MLS算法處理要變形的圖像時,可以將變形后的圖像中的點視為變形前圖像中的點的映射,這種映射變換設為函數f。為了便于描述,在此設p為變形前圖像點集,q為點集p經過f變換后的變形后點集。利用MLS算法構造的變換f可滿足性質[21]。設點v為變換前點集p中的一個點,為了求得最佳變形函數lv(x),需得滿足式(12)取最小值:

(12)

式中:p和q分別是變形前和變形后的控制點集;wi為權重值;pi指點集p中的第i個控制點;每個控制點都有對應的權值函數和變形函數lv。上文提到的變換f是對變形函數lv的抽象表達,即f(x)=lv(x)。

1.2 形狀矩陣模型

在多目標跟蹤中,三維擴展目標的形狀可以看作是由簡單形狀變形而來,變形前的形狀稱為初始形狀,通常選取球體作為初始形狀。如圖1所示,在給定初始形狀的曲面上設立控制點,控制點組成的矩陣即形狀矩陣C。形狀矩陣隨時間進行估計和更新,當前時刻更新后的形狀矩陣在下一時刻將再次進行估計。

圖1 初始化形狀與控制點

形狀矩陣中的每一個元素代表擴展形狀上的一個控制點,在三維空間中,可以用一組三維坐標表示控制點的空間位置。首先對擴展形狀進行空間上的劃分,在z軸方向上劃分a個區域,對于每個區域,在水平方向上沿順時針方向再劃分b個子空間。在每個子空間中設置一個控制點,通過劃分到該子空間范圍內的量測對控制點進行更新。

參數a和b決定了子空間的數量,子空間越多,對應的控制點就越多,需要的量測也越多。選擇合適的參數對于形狀矩陣的精確性十分重要,a和b過小會導致控制點過少,從而無法準確描述目標外形;過大則會導致子空間過小,如果小于傳感器的距離分辨力,就無法獲得有效量測。設Δd為傳感器的距離分辨力,則子空間參數應滿足以下條件,即

(13)

式中:r為初始形狀的半徑。

2 基于MLS模型的PMBM濾波算法

在多擴展目標的跟蹤中,主要是對3部分狀態進行估計,分別是擴展目標的量測率、運動學狀態和擴展形狀。通過3個分布分別表示上述狀態,并建模為

x=(xR,xC,xε)∈R+×Rn×Sm

(14)

式中:xR∈R+、xC∈Rn和xε∈Sm分別表示目標產生量測的泊松率、目標的運動狀態和目標的擴展狀態,其中擴展狀態由MLS模型進行建模;R+、Rn和Sm分別為正實數空間、n維實數空間和m維狀態空間,且m=a×b。所以,目標在時刻k的狀態是上面3個狀態的乘積,即

(15)

(16)

(17)

式中:Δqk表示控制矩陣中控制點變換前后的偏移量均值;σk是控制點偏移方差。將上文提出的模型與PMBM濾波器相結合,給出濾波過程:

步驟 1狀態初始化并獲得量測集

首先,根據PMBM濾波器中的PPP模型對目標進行初始化,目標量測率與運動學狀態均與PMBM濾波器相同[16]。根據形狀矩陣模型建立形狀矩陣C。C中的控制點在變換的過程中,只受鄰域內量測數據的影響。實驗中選取的是均勻控制點,將目標沿z軸方向的長度與水平方向的旋轉角按照a和b進行等分,每個區域的中心即為設立的控制點。需要注意的是,控制點之間的距離理論上要不小于每個控制點的鄰域半徑ε,否則可能會出現控制點錯位的現象。在MLS模型中,一個量測點可能處于多個節點的鄰域內,這就意味著這個量測數據可以用來求解多個控制點變換后的位置。

步驟 2預測

進行預測時,目標的強度由伽馬高斯MLS(Gamma Gaus-sian MLS, GGM)聯合分布來表示。其中伽馬分布用來表示量測率,高斯分布表示目標的運動學狀態,M分布實際服從高斯分布,這里指基于MLS模型的三維目標的擴展形狀。目標狀態可參數化表示為{α,β,m,P,M,Σ},目標的強度為

從客觀的角度來分析，公路施工期噪聲的出現，是多種原因共同造成的，而且在處理的難度上較高，必須堅持長久監測，并且落實多元化的防治手段。與此同時，公路施工期噪聲的應對過程中，應加強不同影響因素的科學應對，這樣才能在未來工作的實施過程中，不斷的取得更好的成績。有些地方的公路施工期噪聲監測，由于沒有在體系上達到健全狀態，由此造成的損失是持續性的，應保持高度關注，并且在借鑒力度上不斷的鞏固。

(18)

(19)

(20)

式中:j表示第j個多伯努利(multi-Bernoulli, MB)項;i表示該MB項中第i個伯努利項。

目標量測率和運動學狀態的預測見文獻[17],這里只對目標的擴展形狀的預測進行說明,預測步驟如下:

M+=FsM

(21)

Σ+=FsΣ(Fs)T+Qs

(22)

其中,

(23)

步驟 3更新

沒有關聯到量測時的擴展狀態由于沒有量測進行更新,所以維持原狀:

Mk|k=Mk|k-1,Σk|k=Σk|k-1

(24)

當目標關聯到量測時,設量測集為W={z(1),z(2),…,z(|W|)},則量測率的更新為

αk|k=αk|k-1+|W|,βk|k=βk|k-1+1

(25)

目標運動學狀態更新為

(26)

Pk|k=Pk|k-1-KkHPk|k-1

(27)

(28)

(29)

(30)

(31)

(32)

(33)

(34)

(35)

式中:Hl的含義見文獻[21]。最后,根據更新后的狀態并結合MATLAB中的曲面擬合函數,得到三維空間中目標的擴展形狀。

3 仿真實驗與分析

為了驗證所提算法在目標三維形狀估計方面的有效性,本節設計實驗對比了GGIW-PMBM和MLS-PMBM濾波算法在三維形狀估計方面的性能。此外,利用SYDNEY URBAN OBJECT公開數據集的點云數據生成模擬量測,驗證了MLS-PMBM在街道場景中的實際跟蹤效果。實驗中的量測均為表面量測,共設置了兩組實驗,實驗1對比多目標場景下,估計多種擴展目標形狀時兩種算法的有效性。實驗2模擬復雜情況下的真實場景,驗證MLS-PMBM的工程應用價值。蒙特卡羅次數為100,本文采用的評價指標有兩個,對于目標質心運動性能的評價,采用的是最優子模式分配距離(optimal sub-pattern assignment,OSPA)[16];對于目標形狀的估計,采用的是交并比(intersection-over-union,IoU)[22],即估計結果與真實值交集和并集的比值,該值越接近1,表示估計結果越貼合實際。

實驗 1為了研究MLS-PMBM和GGIW-PMBM同時對多個擴展目標的跟蹤能力,設置如下實驗場景。算法跟蹤區域為[-200,200]m×[-200,200]m×[-200,200]m,傳感器的位置分別為[250,-200,250]m、[-200,250,250]m和[-250,-250,-250]m。目前,激光雷達輸出的點云數據大多包含有方位角和三維笛卡爾坐標等空間位置信息,可以直接作為MLS-PMBM的輸入,因此傳感器均假設為同型激光雷達;初始化的擴展目標形狀是球體,球徑為3 m。其中目標1是軸長分別為2 m、2 m和1 m的橢球;目標2是邊長為4 m的立方體;目標3為十字架,長為10 m,寬為8 m,高為2 m,目標的體積差異不影響本文算法的形狀辨識性能。擴展目標的運動學模型為CV模型,其狀態轉移矩陣F,量測矩陣H,過程噪聲協方差矩陣Q和量測噪聲協方差矩陣R為

(36)

(37)

圖2是全局坐標系下所有傳感器的量測,圖中3個目標的運動軌跡并沒有在運動過程中相交。圖3是3個目標的運動軌跡。表1說明了目標的初始化狀態與存活時間。圖4～圖9是兩種算法跟蹤橢球目標、立方體目標和十字架目標的局部放大圖。

表1 目標的初始化參數

圖2 跟蹤多個目標時傳感器接收到的量測

圖3 3個目標的運動軌跡

圖4 MLS-PMBM估計橢球目標形狀效果圖

圖5 MLS-PMBM跟蹤立方體目標時的局部放大圖

圖8 GGIW-PMBM跟蹤立方體目標時的運動軌跡圖

可以看出,即使同時跟蹤多個目標,MLS-PMBM依然可以準確地估計出各個目標的三維形狀,且所估計的形狀貼合真實形狀。GGIW-PMBM直接將目標形狀建模為橢球,不能對復雜形狀的三維目標進行形狀估計。MLS-PMBM算法可以實現不同目標的三維形狀估計,不受目標尺寸變化的影響。因此,MLS-PMBM算法在精度與泛用性上來說,更勝一籌。此外,MLS-PMBM依靠MLS算法的緊支這一性質,可以對同一個量測數據進行多次利用,即一個量測可以更新多個控制點。表2為MLS-PMBM和GGIW-PMBM算法跟蹤3個目標時,在形狀估計穩定后的平均IoU值。表3為3種算法的單步耗時對比,表中數據均是程序運行100次的平均值。圖10是MLS-PMBM的目標數估計,圖11是兩種算法的OSPA。

表2 MLS-PMBM和GGIW-PMBM算法估計目標的平均IoU對比

表3 算法單步耗時對比

圖10 實驗1目標數估計

從表2中可知,所提的MLS-PMBM算法對3個目標的形狀估計都可以達到較高的精度,穩定后的IoU值均超過了0.8;而GGIW-PMBM算法在跟蹤立方體和十字架等不規則形狀時,仍然將目標形狀建模為橢圓,導致IoU較低,不能實現對目標擴展形狀的有效跟蹤。從圖10和圖11可以看出,所提算法對目標數量與質心均有較好的估計效果。圖10在目標死亡時會出現目標數錯估的現象。這是因為PMBM算法通過全局假設的概率來判定該假設是否被采用。在目標死亡時,包含目標死亡這一狀態的全局假設概率小,未被采用;在下個時刻,該全局假設隨著狀態的更新而概率變大,最終被采用,所以出現了31時刻目標數量不變的現象。表3中的數據表明,同一算法估計不同的三維目標時,單步耗時相差不大。GGIW-PMBM算法的單步耗時低,但是結合實驗結果可知,GGIW-PMBM難以估計復雜三維目標的形狀細節。綜合來看,MLS-PMBM算法能準確估計復雜目標的三維形狀,適用性廣。

實驗 2為了研究MLS-PMBM算法在實際場景中對不規則外形擴展目標的跟蹤性能,設計如下實驗場景。[-200,200]m×[-200,200]m×[-200,200]m為算法的跟蹤區域,3個傳感器的位置分別為[250,-200,250]m、[-200,250,250]m和[-250,-250,-250]m。為模擬真實目標外形,借助悉尼大學SYDNEY URBAN OBJECTS 激光雷達數據集中的汽車點云分布獲得目標尺寸并進行建模。在跟蹤過程中,通過對原始點云數據進行擴充和平移等操作生成目標的量測數據。SYDNEY URBAN OBJECTS數據集通過使用激光雷達掃描悉尼街道景觀獲得,提供的點云數據中包含掃描點的強度、方位角及三維笛卡爾坐標等信息,其使用的Velodyne HDL-64E LIDAR測量距離可達120 m,測距精度為±2 cm,水平視場分辨率為0.08°～0.35°,垂直視場分辨率為0.4°,較高的探測精度保證了原始點云數據的可靠性。在本實驗中,選取的原始點云數據可視化結果如圖12所示。MLS-PMBM濾波器的有關參數均與實驗1相同。目標1與目標2均為依據點云數據生成的汽車目標,長度為5 m,寬度為1.9 m,高度為1.6 m。

圖12 原始點云可視化結果圖

表4說明了兩目標各階段的運動狀態,模擬目標2加速追上目標1,并排行駛一段時間后,再超過目標1的場景。圖13為跟蹤過程中單個汽車目標的局部放大圖,圖14為產生交叉時目標的局部放大圖。圖15為跟蹤過程中算法的目標數估計,圖16為算法的OSPA。

表4 目標各階段運動狀態

圖13 MLS-PMBM跟蹤汽車目標時的局部放大圖

圖14 目標交叉時跟蹤結果局部放大圖

圖15 實驗2目標數估計

圖16 跟蹤汽車模型時算法的OSPA

從圖13和圖14可以看出,對于外形不規則的擴展目標,MLS-PMBM也能夠實現對其三維擴展形狀的有效描述。但在目標距離較近時,兩目標的點云將有一定程度的交叉。由于點云數據未對目標作出區分,經過量測聚類生成的量測簇只有一個,只能分配給一個目標,從而導致目標的外形估計出現偏差。

從圖15可以看出,在目標交叉后的第一個時刻,目標數仍然保持了正確的估計。這是因為MLS-PMBM從權重最大的全局假設中提取目標狀態,由于交叉時間較短,此時兩目標仍然具有較大的存在概率,目標數為2的全局假設權重較大。隨著交叉時間的增加,其中一個目標的存在概率下降至閾值以下,包含目標死亡的全局假設權重變大,導致MLS-PMBM產生了漏檢。從圖16可以看出,所提算法對不規則外形擴展目標的質心有著良好的估計效果。上述實驗表明,MLS-PMBM 能夠實現對多個實際目標的質心和形狀跟蹤,驗證了所提算法的泛用性。

4 結束語

本文針對三維空間下的多擴展目標形狀估計問題,提出了在多傳感器的情況下,基于MLS模型的多目標PMBM濾波器。算法將融合后的量測數據輸入至PMBM濾波器,對目標的質心運動狀態進行迭代更新,通過MLS模型并結合量測數據計算形狀矩陣中移動后的控制點,最后將目標質心狀態與形狀矩陣結合得到三維目標的擴展狀態。仿真實驗和實際點云數據的驗證表明,與GGIW-PMBM相比,所提算法在不規則形狀擴展目標的形狀估計方面具有更高的精度,能夠有效應用于實際場景中。

在實際場景中,激光雷達掃描得到的點云數據來自于各類目標,為了保證跟蹤精度,需要對原始點云進行分割分類等預處理,從而實現不同目標量測數據的區分。當目標之間出現鄰近、遮擋等特殊情況時,將會使來自不同目標的點云數據相互交叉, 導致MLS-PMBM算法對目標數量和擴展形狀的估計產生錯誤。針對上述問題,本文的下一步工作,是對MLS-PMBM的聚類算法進行改進,充分利用點云數據中的掃描點強度等信息,實現更加精準的點云分割分類,提高算法在復雜場景中的適用性。