基于BP神經網絡集成學習模型的EMTS坐標校正研究

黃 晨 童維勤* 陳欣如 高明柯 鄒一波

1(上海大學計算機工程與科學學院 上海 200444) 2(國網上海市南供電公司 上海 201199) 3(中國電子科技集團公司第三十二研究所 上海 201808) 4(上海海洋大學信息學院 上海 201306)

0 引 言

電磁跟蹤系統(tǒng)(Electromagnetic Tracking System,EMTS)能實時獲取6自由度的跟蹤信息。因其不受視線遮擋影響，十分適用于醫(yī)學領域[1]，例如術中導航[2-3]和醫(yī)學圖像配準[4-5]等應用場景，也是在增強現實(Augmented Reality，AR)系統(tǒng)中實現跟蹤注冊的有效途徑[6-7]。但EMTS易受工作場景中的金屬物體干擾，且當接收器與發(fā)射器之間距離增大時，由于磁場衰減將導致精確性顯著降低。因此，必須使用相關校正算法對測量值進行校正，避免誤差對系統(tǒng)造成干擾。

目前，針對如何提高EMTS精確性的研究工作主要分為兩類：第一類方法從EMTS工作原理出發(fā)，對由金屬干擾造成的磁場畸變[8]和傳感器三軸非理想正交[9]等情況進行校正。此類方法需要獲得設備工作時的底層參數，不適用于的商業(yè)產品。第二類方法在應用場景中進行樣本采集，設計數學模型，使用各種擬合或插值算法進行校正，例如空間網格插值[10-11]、線性回歸模型[12]、薄板樣條插值[13]、BP神經網絡模型[14]等。但這些方法在傳感器與發(fā)射源之間距離較大時都產生了顯著的性能下降。

另一方面，已有研究工作都針對在單一工作場景中對EMTS進行校正。當系統(tǒng)部署到新的工作場景中，原校正算法是否還能有效工作，是否需要對系統(tǒng)進行重新采樣，還缺乏有效的評估方法。

針對上述問題，本文在設計實現面向醫(yī)療培訓的AR系統(tǒng)過程中，在回顧總結現有EMTS校正方法的基礎上，首先提出一種適用于EMTS的快速采樣方法。然后根據測量誤差分布規(guī)律，提出一種BP神經網絡集成學習模型，對三維空間坐標進行校正。最后提出一種在新場景中對坐標校正效果進行評估的解決方案。實驗結果表明本文方法能實現高精度的坐標校正，并能在一定程度上提高系統(tǒng)的抗干擾能力。

1 相關工作

為建立數學模型對EMTS的空間坐標值進行校正，首先需要進行坐標值采樣。目前使用較多的采樣方法是在整個系統(tǒng)工作空間內進行均勻離散采樣[10-14]，坐標校正的方法可分為局部插值與全局擬合兩大類。

1.1 均勻離散采樣

為實現在系統(tǒng)工作空間內進行均勻離散采樣，定制了專用的可升降木架操作臺。借助該定制木架，將EMTS的接收器依次固定在工作空間內均勻分布的待測點上，記錄下測量坐標值與對應的真實坐標值。使用該采樣方法所采集樣本的可視化效果如圖1所示。可見伴隨接收傳感器與發(fā)射源之間距離的增大，測量值的讀數已發(fā)生明顯畸變，必須對其進行校正。

圖1 測量值三維坐標散點圖

均勻離散采樣方法的優(yōu)勢在于，所采集的數據樣本能較為全面地反映出EMTS在當前工作空間內測量值的分布情況。理想情況下，當空間網格劃分越小，則采樣點數量越多，校正的精度也越高。但采樣點的數量越多，則工作量越大，可操作性越低。例如，本文AR系統(tǒng)為保證精度，需在X∈[-70,70]，Y∈[5,60]，Z∈[0,70]的空間范圍內，以5 cm為間隔進行采樣，共計5 220個采樣點，需2名操作人員，耗費十多個小時才能完成采樣工作。

1.2 基于局部插值的校正方法

磁場強度隨著距離的增加以幾何級數衰減，當電磁發(fā)射器和接收器之間的距離逐漸增大時，測量坐標與真實世界坐標將存在明顯誤差。若將工作空間劃分為多個單元子空間，并認為同一個單元子空間中的任意兩點處的磁場強度相等。則當單元空間足夠小時，誤差將趨于零。基于該思想的局部插值校正方法以空間網格插值法[10-11]為代表。但在實際操作過程中很難獲得足夠小的單元空間網格，并且伴隨單元空間網格數量的增加，用于定位被測點的搜索算法的穩(wěn)定性和準確性將會下降。

1.3 基于全局擬合的校正方法

文獻[12]建立了線性回歸模型對EMTS進行校正，但當傳感器與發(fā)射器距離較遠時，測量值畸變較大，已不適用線性回歸模型。文獻[13]提出一種基于薄板樣條函數的EMTS位姿校正方法，通過同時測量磁場空間16個待測點受干擾前后的位姿，對EMTS整個工作空間內測量點的位姿誤差進行校正。但該方法適用的工作空間較小，不適用于AR系統(tǒng)在較大范圍內對頭部視點和手部運動的跟蹤。

近年來伴隨人工智能技術的快速發(fā)展，神經網絡算法得到了廣泛的應用[15-16]。BP神經網絡算法不僅在分類問題領域中得到了發(fā)展，在數值分析與回歸預測問題方面[17-18]也得到了成功應用。文獻[14]首先采用K-means對空間數據進行聚類，在局部采用T-S模糊系統(tǒng)進行預處理，再從全局上利用BP神經網絡進行訓練，最后采用最小二乘支持向量機進行求解。但該方法對采樣數據之間的數值關系依賴性較強，若系統(tǒng)的使用場景發(fā)生改變，則現有網絡模型無法直接使用，需要重新進行采樣。

2 定長連續(xù)采樣方法

均勻離散采樣方法需要借助定制木架提供的外部幾何約束來建立待測點測量值與真實值之間的映射。但木架操作不便，采樣過程較為繁瑣。因此，本文提出一種基于簡單外部約束的定長連續(xù)采樣方法。該采樣方法使用一根無彈性塑料繩連接發(fā)射源與接收器，使得發(fā)射源與接收器之間的距離為固定長度，如圖2所示。在采樣過程中，保持發(fā)射源與接收器之間的塑料繩為繃緊狀態(tài)，將接收器在工作空間內任意移動。通過調節(jié)塑料繩的長度，可以得到若干組數據樣本。

圖2 定長采樣方法

當長度為60 cm時，數據樣本分布的可視化效果如圖3所示，其物理意義為接收器在系統(tǒng)工作空間內的運動軌跡。理想情況下，該運動軌跡應位于以發(fā)射器為圓點，以當前距離為半徑的球面之上。

定長連續(xù)采樣的優(yōu)勢主要有以下3個方面：

(1) 操作便捷。由于定長連續(xù)采樣方法僅借助連接發(fā)射器與接收器的塑料繩所提供的距離作為外部約束條件，且調節(jié)距離十分方便，因此采樣過程較為便捷。以本文系統(tǒng)為例，對距離d∈[30,100]，間隔為10 cm，每個距離下采集不低于2 000個樣本點。整個采樣過程，只需1名操作人員，僅耗費數十分鐘。

(2) 樣本信息豐富。由于EMTS的工作頻率較高，1秒內可采集超過100個樣本，因此定長連續(xù)采樣方法在移動傳感器的過程中可以很方便獲得較為豐富的數據樣本。同時，可以將傳感器的運動軌跡集中于感興趣的重點區(qū)域以獲得足夠的數據分布信息，為后續(xù)的分析處理提供保障。

(3) 快速評估工作環(huán)境。定長連續(xù)采樣方法可獲得待測點的校正坐標值，通過計算校正距離與真實距離之間的誤差，能快速評估當前校正方法的有效性。

3 BP神經網絡集成學習模型

3.1 建立數據集

本文使用均勻離散采樣與定長連續(xù)采樣兩種采樣方法在系統(tǒng)工作區(qū)間內進行樣本采集，基本情況如表1所示。

表1 數據集與樣本分布

續(xù)表1

對使用均勻離散采樣得到的數據集A，點P在測量坐標系Cm中取得的測量值為Pm(xm,ym,zm)，在世界坐標系Cw中對應的真實值為Pw(xw,yw,zw)，dw表示Pw到原點的距離，將Pm與Pw之間的距離定義為測量誤差de=|PmPw|。以dw作為橫坐標，de作為縱坐標，數據集A中樣本的測量誤差與距離之間的關系如圖4(a)所示。可見原始數據的測量誤差不僅與距離有關，還存在較大的固有偏差。由于測量坐標系Cm為EMTS的默認坐標系，與本項目系統(tǒng)中定義的世界坐標系Cw之間存在偏移誤差Ce(xe,ye,ze)，因此需要對所有測量坐標值進行偏移修正，即Pm=Pw-Ce。偏移誤差Ce可以通過人工測量獲得。經過坐標值偏移修正后，數據集A中樣本的測量誤差與距離之間的關系如圖4(b)所示。

(a) 原始分布

(b) 坐標系偏移修正后圖4 數據集A測量值誤差與距離關系

同理，對使用定長連續(xù)采樣得到的數據集B，dm表示Pm在測量坐標系Cm中到原點的距離，由于每組樣本的dw已知，定義每組樣本的誤差de=dm-dw。以dw作為橫坐標，de作為縱坐標，數據集B中樣本的測量誤差與距離之間的關系如圖5(a)所示。對測量坐標值進行坐標系偏移修正后的效果如圖5(b)所示。

(a) 原始分布

(b) 坐標系偏移修正后圖5 數據集B測量值誤差與距離關系

可見在進行坐標系偏移修正后，一方面能有效降低固有測量誤差，另一方面誤差的分布規(guī)律也更為明顯。通過觀察測量誤差分布規(guī)律，有助于設計具有針對性的校正模型，從而提高校正精度。

3.2 模型結構

通過觀察兩個數據集中測量值誤差的分布規(guī)律，可以發(fā)現EMTS的測量誤差與距離、測量點所處象限等因素有關，其全局分布規(guī)律并不明顯，因此不宜采用基于單BP神經網絡模型的全局擬合方法[14]。本文對系統(tǒng)工作空間進行劃分，針對局部空間使用單獨的BP神經網絡模型進行校正，通過設計集成學習模型來實現全局空間坐標校正。主要算法流程如圖6所示。

圖6 空間坐標校正算法流程

常見的集成學習模型有bagging、boosting、stacking等[19]。但本文同時使用兩種采樣方法，建立兩個不同數據集來分別預測坐標值與距離值，因此本文采用類似雙流模型[20]的結構，通過對同一輸入對象提取不同類型的特征，再將基于不同特征得到的計算結果進行融合，來提高空間坐標的校正精度。

3.3 特征縮放

在使用BP神經網絡對測量坐標值進行校正前，需要對輸入特征進行歸一化操作，使得所有樣本的特征值都處于同一量綱下。EMTS的測量值包含X、Y、Z三個軸向的坐標值，在步驟1中引入坐標值的高次項xiyjzk，其中i,j,k=0,1,2，…，n,且i+j+k>1，從而豐富輸入數據的特征。有別于機器學習分類問題中的規(guī)范化處理方法，本文根據空間坐標取值范圍，采用小數定標標準化方法。

3.4 生成模型池

通過觀察圖4、圖5可以發(fā)現，數據集A與數據集B中的誤差分布呈現出顯著的局部差異特點。因此，本文針對局部數據構建結構簡單的子網絡模型，在準確提取局部數據分布規(guī)律的基礎上，通過構建模型池來實現全局數據的準確校正。

在選擇BP神經網絡模型結構時，在滿足空間坐標校正精度的前提下，為保證系統(tǒng)的實時性，盡可能選擇結構簡單的子模型。數據集A中的BP神經網絡子模型具有3個輸出單元，對應校正后的3個坐標值；數據集B中的子模型具有1個輸出單元，對應預測的距離值。

(1)

3.5 校正結果融合

(2)

4 新場景快速評估

由于EMTS易受工作環(huán)境影響，若采樣環(huán)境與實際工作環(huán)境不同，則有可能導致已采集的樣本無法反映實際測量值的分布情況。但若每次部署到新場景中都使用較為繁瑣的均勻離散采樣方法進行重采樣，則會降低工作效率。因此，本文提出一種在新場景中的快速評估與校正的方法，主要流程如圖7所示。

圖7 新場景評估與校正策略

當系統(tǒng)被部署到新場景中后，首先使用快捷的定長連續(xù)采樣方法在系統(tǒng)工作空間內進行采樣。假設原三維空間坐標校正模型為M，則校正后的三維坐標值P′(x′,y′,z′)可表示為：

P′(x′,y′,z′)=M[P(x,y,z)]

(3)

可計算得到校正距離d′與已知真實距離d之間的誤差:

(4)

定義誤差系數為：

(5)

當λ大于預設閾值T時，表明當前工作環(huán)境與均勻離散采樣環(huán)境存在顯著差異，需要重新進行采樣操作。反之表明因工作場景改變帶來的誤差較小，通過更新數據集B，可在本文校正算法的融合過程中實現自適應補償，提高系統(tǒng)的抗干擾性能。

5 實驗結果與分析

5.1 空間坐標校正效果

本文使用以Tensorflow為后端的Keras框架進行開發(fā)，所有BP神經網絡子模型都使用ReLU作為激活函數；為避免模型過擬合，使用參數為0.001的L2正則化器；為加快訓練速度，設置Batch size為64；使用Adam優(yōu)化器動態(tài)調整參數學習率；使用均方誤差MSE作為損失函數進行訓練。

對于數據集A，根據坐標值x所處象限與距離d的大小對樣本空間進行劃分，分別訓練子網絡。由于目前對BP神經網絡隱藏層的層數L與每層包含神經元的個數U如何設置還尚無定論，因此本文將特征縮放指數n=1,2,3，L=1,2,3，U=4,8,16,32,64,128進行排列組合，分別訓練子網絡，并選取其中校正精度最高的子模型構成模型池A，計算結果如表2所示。

表2 模型池A子模型信息

同理，對數據集B，對整個數據集與不同距離d下的子樣本集，在不同模型參數下進行訓練，選取其中性能最好的子模型構成模型池B，計算結果如表3所示。

表3 模型池B子模型信息

與僅使用數據集A，采用n=2，L=3，U=128的單BP神經網絡模型進行全局訓練校正相比，本文采用集成學習方法能取得更高的校正精度，計算結果如表4所示。

表4 本文算法空間坐標校正結果

5.2 新場景評估

為驗證本文評估方法的有效性，在系統(tǒng)工作空間測量點附近放置金屬干擾物，使得該測量點的測量值發(fā)生一定程度的偏移，然后再使用本文方法對其進行校正，效果如表5所示。可見在系統(tǒng)工作環(huán)境中加入干擾后，本文算法依然能得到與原工作環(huán)境相接近的空間坐標校正結果，表明本文方法具備一定的抗干擾能力。

表5 本文算法抗干擾能力實驗結果

本文系統(tǒng)中，T=1%，即當接收傳感器距離發(fā)射源1 m時，其校正距離的誤差應不大于1 cm。由于校正誤差與距離呈正相關，而用于跟蹤用戶手部動作的傳感器與發(fā)射源距離較近，其校正誤差為毫米級，能滿足AR系統(tǒng)中人機交互的精度需求。

5.3 系統(tǒng)運行效果

為驗證本文算法對EMTS三維坐標的校正效果，搭建了一套AR交互系統(tǒng)，系統(tǒng)結構與設備連接如圖8所示。該系統(tǒng)使用Ascension公司的Flock of Birds電磁跟蹤系統(tǒng)，采用單發(fā)射源與3層級聯控制器的工作模式。其中，安裝于頭部的接收器用于跟蹤用戶頭部姿態(tài)，配合光學透視顯示器實現虛實融合效果；安裝于數據手套上的接收器用于跟蹤手勢軌跡，配合數據手套用于識別用戶的交互手勢。

圖8 增強現實系統(tǒng)結構與設備連接

系統(tǒng)運行效果如圖9所示。其中：圖9(a)為系統(tǒng)初始狀態(tài)，可以看到虛擬坐標系的原點與世界坐標系的原點能完全重合；圖9(b)表明在視角改變的情況下系統(tǒng)能實現準確的虛實融合效果；圖9(c)為第三視角下用戶的交互過程，系統(tǒng)能正確識別用戶手勢操作與虛擬物體實時交互。

(a) 系統(tǒng)初始狀態(tài) (b) 第一視角 注冊效果 (c) 第三視角 交互過程圖9 系統(tǒng)運行效果

6 結 語

本文針對EMTS空間坐標校正問題，提出了一種定長連續(xù)采樣方法，設計了基于BP神經網絡集成學習模型的空間坐標校正方法，并提出一種EMTS在新場景部署過程中的快速評估方法。實驗結果表明，本文方法能有效提高空間坐標的校正精度，能滿足AR系統(tǒng)的跟蹤注冊要求，并能在一定程度上克服場景差異帶來的誤差，提高了系統(tǒng)的抗干擾能力。