基于深度置信網絡的室內指紋定位算法

秦益文封志宏蘇楠馬丁李小菲

(1.蘭州交通大學 電子與信息工程學院,甘肅 蘭州 730070；2.河北大學 網絡空間安全與計算機學院,河北 保定 071002；3.河北大學 信息技術中心,河北 保定 071002)

自20世紀90年代,全球定位系統(global positioning system,GPS)已在全球進行了定位覆蓋,為民眾的生活提供了極大便利[1-2].雖然全球定位系統(GPS)是應用最廣泛的定位技術,但有統計信息顯示,人們在室內的時間超過79%,說明室內定位有著更多的需求空間.然而室內有著更多障礙物遮擋和多徑效應的干擾[3],因此至今還沒有應用廣泛的室內定位技術[4].由于WiFi無線接入點(APs)和移動設備的普及,在聲學、磁場、加速度計和接收信號強度(RSS)等室內環境的替代定位技術中,RSS是最受歡迎的定位技術[5].因此,利用智能手機和APs之間的RSS等無線電信號測量成為室內定位最實用的解決方案之一.然而,雖然諸如[6-7]這樣的指紋識別算法有可接受的定位精度,但在實時位置估計之前,需要進行大量測量所謂的指紋,為離線訓練階段建立指紋數據庫.這在實踐中對定位系統的自主部署施加了限制,特別是大型且復雜的空間.在大范圍使用指紋定位系統還需要從指紋數據庫獲取大量數據并存儲在移動設備中進行位置估計.即使可以進行費力的指紋識別以后,環境還可能會頻繁變化,指紋系統的準確性也會大大降低.因此,指紋識別方法需要定期更新指紋數據庫以保持較高的準確性.這些問題嚴重影響了基于指紋的室內定位系統的應用.

現在已有了許多減少位置標記簽名繁瑣收集的方法.然而,這些方法使用的降維方案均不能學習定位指紋的隱藏特征.因此,本文提出利用學習隱藏特征的深度學習方法,一方面原因是它能推斷單層表示.另一方面,深度學習方法,如深度置信網絡(deep belif network,DBN),可以利用生成概率模型來表示不同隱含層的層次隱含特征.每個隱層單元將學習底層單元之間的統計關系；較高的層往往變得更加復雜.本文為了解決位置標記簽名繁瑣收集的問題,利用無監督預訓練階段,在盡可能保持定位精度的前提下減少標記指紋.DBN 的培訓包括2個階段:預培訓和調優.預訓練以無監督的方式從未標記的樣本中學習概率分布,以減少RSS指紋定位標注的工作量,再進行深度特征學習.

1 相關工作

1.1 無監督學習

假設有未標記的訓練數據,無監督特征學習的關鍵思想是應用反向傳播[8].圖1所示即自編碼神經網絡,可用于訓練網絡來獲取一個函數hw,b(x)≈x以近似輸出類似于x,其中,x為訓練數據,hw,b(x)為通過訓練網絡得到的關于x的函數,y為輸出.模型的參數w進行訓練后,任何新輸入的值,都可以計算出相應的無監督特征,圖2所示即隱藏單元的激活,其中,x為輸入的訓練數據,hw,b(x)為訓練模型,a為計算出的相應的無監督特征.

圖1 自編碼神經網絡Fig.1 Unsupervised feature training architecture with autoencoder

圖2 利用已知激活單元的無監督特征學習模型Fig.2 Model for unsupervised feature learning using known activation units

以奇異值分解(singular value decomposition,SVD)為核心的主成分分析法(principal component analysis,PCA)是一種線性特征學習方法[9].由于PCA 只利用數據的淺層表示、輸入數據的一階和二階矩,因此,它是一種淺層特征學習,且所學習的特性(激活)的數量不能大于輸入的維度,這使得PCA 不能很好地描述復雜和非結構化數據的隱藏特征.

1.2 深度置信網絡

Hinton等發現[6],DBNs可以通過疊加限制玻爾茲曼機(restricted boltzmann machine,RBMs)來構建.這種RBMs模型可以通過貪婪的方式進行訓練,并提取訓練數據的深層層次來表示.觀測矢量x與l層隱層hk之間的聯合分布,其模型如下:

其中,x=h0,P(hk-1|hk)是基于層次k的RBM 隱藏單元的可見單元的條件分布,P(hl-1,hl)是頂層RBM的可見-隱藏聯合分布.DBN 可以在圖3中可視化為一個RBM 堆棧[10],其中虛線箭頭用未標記的數據顯示訓練前的情況；實線箭頭用標記的數據顯示微調后的情況.

圖3 深度置信網絡的網格結構Fig.3 Network architecture of deep belif network

訓練DBN 網絡時,首先用未標記的數據對網絡進行預訓練.圖3中的虛線箭頭表示訓練前的路徑.通過此,得到相應的訓練后的RBM 模型,以用來計算特征向量.由于這個自動編碼器包含了大量的深度學習模型,RBMs可以提供更好的隱藏特性.這種基于RBM 的方法稱為深度特征學習.

2 無監督深度特征學習的深度置信網絡指紋定位算法

2.1 算法描述

假設可以獲得有限的標記指紋和大量的未標記指紋.本算法將展示基于DBN 的無監督特征學習指紋定位方法,分為離線和在線2個階段,如圖4所示.

圖4 指紋定位模型Fig.4 Model of fingerprint location

在離線階段,首先利用帶標記和未帶標記的指紋進行無監督的淺特征學習,然后利用訓練好的淺特征學習模型將指紋轉化為淺特征.其次,將淺特征用于無監督的深度特征學習.最后,利用淺特征和深度特征學習模型將帶標記的指紋轉化為帶標記的深度特征,然后利用這些深度特征及其位置標簽訓練監督位置估計模型.在在線階段,利用離線階段中訓練好的無監督特征學習模型,將未知/測試位置的指紋轉化為深度特征.然后利用測試數據的深度特征,利用訓練后的監督位置估計模型來推斷未知位置.

2.2 特征學習優化

在大型建筑中,通常有許多APs,然而,由于WiFi通信范圍的限制,并不是所有的手機都可以從特定的位置進行掃描.例如,圖5顯示了根據UJIIndoor Loc數據集[7]智能手機掃描的APs的直方圖.每部智能手機掃描的平均接入點為18個,而總共有520個接入點.數據集是通過20多個不同的用戶和25個不同的Android設備收集的.

圖5 不同APs下的可測點的數量直方圖Fig.5 Histogram of the number of measurable points under different APs

由于在每個測量中掃描的APs的數量與可用的APs的數量相比太少,因此測量的很多RSS值都是不可用的.因此,輸入在某種程度上是多余的.此外,相鄰的APs高度相關因此它們提供非常相似的RSS值.由于冗余和相關性[11],使用核心主成分分析采用SVD[12]來有效地降維.注意,PCA 和SVD 還允許以非監督的方式提取淺隱藏特征,就像文獻[7]中研究的那樣.

此外,WiFi無線電信號對物體和環境非常敏感,尤其是對人體更為敏感[13].換句話說,RSS測量是有噪聲的,因此,使用PCA 白化來降低噪聲的影響.

這些淺層特征經過噪聲白化和降維處理,作為下一步深度特征學習的輸入.需要注意的是,這些淺層特征也可以作為輸入來訓練指紋模型.在高度動態的室內環境中,由于淺體系結構的泛化程度較低,僅使用前面步驟中學習到的淺特征的定位系統無法長期保持高性能.因此,像DBN 這樣的架構可以深度學習代表動態室內環境的高級特征.在這項工作中,本算法采用的預訓練階段.DBN 模型的無監督培訓,使用淺的特征標記訓練集的RSS測量.使用隱藏層的逐層貪婪預訓練算法,保證了一個快捷方式進行近似推理訓練每一元.在使用驗證集和測試集時,利用訓練好的深度特征學習模型將淺層特征轉化為深度特征.

為訓練能夠在在線階段用于位置估計的指紋模型,本文使用了SVM 的淺監督回歸/分類算法.當想要估計的位置在坐標水平時使用回歸算法；但當用來估計的位置在房間和地板水平時,將用分類算法來標記指紋以訓練監督指紋模型.標記的指紋首先會被轉換成淺特征,然后將淺特征轉換為深特征.這些深層特征將被用作回歸/分類算法的輸入.訓練后的回歸/分類模型存儲在服務器上,用于在線階段的位置估計.

2.3 實時指紋定位

利用離線階段訓練的模型:淺特征學習、深特征學習、位置回歸或分類[14],在在線階段,用戶向基于位置服務(location based service,LBS)請求位置估計[15],服務器收集指紋樣本并利用訓練過的特征匹配算法進行位置估計,最終向用戶的智能手機發送新位置的估計.智能手機在未知位置測量的Aps中的原始RSS值將首先用于提取淺層特征,然后提取深層特征.這些未知位置的深度學習特征將作為回歸/分類模型的輸入,用于估計未知位置[16].

利用離線階段中訓練好的無監督特征學習模型,將未知/測試位置的指紋轉化為深度特征.然后利用測試數據的深度特征,利用訓練后的監督位置估計模型來推斷未知位置.

3 實驗評估

3.1 數據環境及數據集

實驗環境:操作系統使用Ubuntu 14.04,編譯環境使用python3.7,IntelI CoreI i5-5200 CPU @2.20GHz 2.20GHz,DDR3L 4.00GB RAM.

數據集使用UJIIndoor Loc數據集來驗證本文提出的方法,它被認為是室內定位的基準.數據集收集于3棟建筑,總表面積108 703 m2.數據集包括19 937個訓練測量值和1 111個測試測量值.測試集在訓練集之后4個月進行,以確保數據集的獨立性.在數據集中,有520個Aps被智能手機掃描.這項實驗是由20多名用戶攜帶25款不同型號的智能手機進行的.

在本文中,由于其他2個建筑物的結果相似,將只給出數據集中第1個建筑物的定位結果.第1個建筑物中,在訓練集中有5 249個測量值,在測試集中有536個測量值.每個測量值包含520個RSS值,對應于520個Aps,即輸入520個維度.所有的標簽都標明了實際位置.為了驗證無監督特征學習方法的有效性,將訓練集隨機分為2部分,其中一部分被認為是已標記數據集,另一部分被認為是未標記數據集.這種劃分以不同的比例重復,從1%到99%不等.

3.2 評估標準

本算法采用均方根誤差(root mean squared error,RMSE)來表示SVM 算法結合淺特征學習和深特征學習的總體性能.定義如下式,計算結果越小,總體性能越優.

其中,預測誤差ei是RSS的實際觀察值yi與預測估計值^yi之差,n是測試集.

本算法采用累計分布函數(cumulative distribution function,CDF)詳細研究SVM 算法結合淺特征學習和深特征學習的性能.CDF的平滑趨勢出現的越早,則性能越穩定.CDF定義如下:

FX(x)=P(X≤x).

3.3 參數設置

為了研究無監督深度特征學習的本地化性能,將SVM 作為回歸模型,即所謂的SVR(support vactor regerssion).在先前的研究中,已經表明SVM 優于其他技術.所實現的SVR 融合了深度特征學習和淺層特征學習.因此,基于淺特征學習PCA 的SVR 是傳統指紋識別的最佳方法之一.

針對UJIIndoor Loc數據集,首先使用SVD 求解器建立基于PCA 的淺特征學習的參數.由于每部智能手機在建筑訓練集中掃描的平均ap數為16,所以將下維數設置為48,以保證足夠覆蓋信息通道.設置一個大于48的值會導致增加冗余維度和計算量.

對于基于DBN 的預訓練階段的深度特征學習,本算法將網絡架構設置為3個200節點的隱藏層.RBM的epoch數量設置為150.RBM 的學習率設置為0.02.該矯正線性單元(Rectified linear unit,Re LU)用于加快訓練過程.此設置僅基于使用訓練數據集對DBN 的各種體系結構進行的啟發式嘗試,這些架構考慮了準確性和運行時間方面的性能.

由于位置監督訓練與估計是基于SVM 的,且基于POLY 核的神經元網絡是一種有效的位置估計方法,因此將SVR 的核設為POLY,多項式核函數次數設置為4,被所有其他內核忽略.

3.4 對照實驗及結果分析

圖6為SVM 算法結合淺特征學習和深特征學習的總體性能RMSE.在圖6中,改變了標記的AP測量值的數量:從52(對應于1%的測量值)到5 246(對應于100%的測量值).當與深度特征學習結合使用時,SVM 可以提供更好的位置估計.但SVM 在與RSS測量的原始值配對時表現不佳,因此本文排除了此結果.

圖6 不同指紋數量的均方根誤差(RMSE)Fig.6 RMSE of different fingerprints plot

從圖6中可以看出,當標記的度量值更多時,2種方法的性能都得到了改善.然而,只有當未標記的測量值低于524時,這種改善才會顯著增加.這說明不斷增加標記的度量并不一定會提高定位性能,但會顯著增加數據收集和注釋的成本.

另外還可以看出,深度特征學習可以幫助SVM 算法在標記量較低的情況下保持其定位性能.盡管只使用了78個標記測量值,但深度特征學習SVM 仍可以提供較好的結果.與使用5 246個標記的測量值相比,RMSE只增加了1.876 m(從6.343 m 增加到8.232 m).此外,與使用100%標記指紋的最接近基線方法相比,僅使用15%標記指紋時,本文的方法將定位精度提高2.6 m.

由于圖6僅顯示了RMSE方面的總體性能,因此使用圖7和圖8所示的累積分布函數(CDF)圖來詳細研究定位性能.圖7和圖8所示的分布是當分別使用78個和5246個標記的測量值時的定位誤差.

從圖7可以看出,僅使用78個標記時,結合深度特征學習的SVM 仍然表現良好,其中90%的測試位置誤差小于19.4 m.從圖8還可以看出,結合淺特征學習的SVM 的性能受標記測量值缺失的影響較大,90%的測試位置誤差小于29.3 m.

如圖8所示,在使用100%標記指紋的情況下,當標記測量量豐富時,淺特征學習和深特征學習的定位性能差異要小得多.此時,結合淺特征學習和深特征學習的SVM 的性能都比較好,非常相似.結合淺層特征學習的SVM 的性能與結合深度特征學習的SVM 的性能有很大的差距.

圖7 使用78個標記測量值時的累計分布函數(CDF)Fig.7 Cumulative Distribution Function(CDF)with 78 labeled measurements

圖8 使用5 249個標記測量值時的累計分布函數(CDF)Fig.8 Cumulative Distribution Function(CDF)with 5 249 labeled measurements

4 結束語

提出了一種可以在有限數量的標記指紋上表現良好的新的指紋定位方法.深度信念網絡(DBN)的預訓練階段,通常用于為監督分類或回歸問題預訓練數據.然而,本文使用預訓練階段來訓練一個無監督的深度特征學習模型,然后利用該模型提取標記指紋的深層特征進行定位估計.通過上述方法,由于未標記的數據不需要位置注釋且對用戶的隱私不那么敏感,所以收集起來更方便.此外,與傳統的使用標記指紋的方法(如使用原始RSS值和淺特征)相比,從大量未標記指紋中學習深度特征可以提供更好的定位精度.

使用支持向量回歸(SVR)和一個最通用的真實世界數據集來驗證本文的算法,該數據集包含大量樣本.實驗結果表明,SVM 與深度特征學習相結合的新方法優于傳統的SVM 與淺層特征學習或原始數據相結合的方法.此外,即使使用只有1.5%標記指紋的深度特征學習,均方根誤差(RMSE)仍然與使用100%可用標記指紋的傳統淺層特征學習一樣好.

在未來的工作中,將使用更多的基于WLAN 的指紋數據集來驗證本文算法,并開發深度轉移特征學習技術來從不同的數據域提取隱藏特征,如可以從其他不同的室內環境中采集到的未標記指紋中提取出室內環境的隱藏特征.