基于人機交互的三維數據協同可視檢測仿真

冀 婷

(西安石油大學，陜西 西安 710065)

1 引言

由于語音識別、圖像理解、EMG信號提取等技術的發展，基于語音、手勢姿態的人機交互技術應用也在日益擴展，因此繁衍出更多的創新型人機交互技術[1]。人機交互技術是由視覺傳感器檢測并獲取目標的三維數據，并將其通過計算機變成視覺實體，使圖形信息能夠被直觀地檢測和分析。傳統方法包括圖像信息檢測方法[2]、異常檢測法[3]。但是在當前技術下，存在一個關鍵的技術難題：感知三維數據，也就是如何進行三維數據協同感知。在檢測中，如果過量采樣會造成數據堆疊，浪費計算機軟硬件資源，若采樣不足也將造成空間頻譜混疊致使檢測結果出現偏差，所以理想的采樣選取是非常必要的。

為了提升檢測效果，本文構建一種基于人機交互的三維數據協同可視檢測仿真，將柵格化的三維數據通過簇分類、特征提取與決策函數，對目標進行精準劃分與檢測，該法具備較好的檢測準確度和平穩度。

2 基于人機交互的三維數據協同可視檢測

2.1 C/S結構下三維數據協同結構及流程

該框架通過C/S結構[4]，由服務設備下達執行命令，服務端保留目標數據和相關參數，如增添新目標，服務設備將發送新的執行命令；其中不僅含有操作命令，而且包含反饋命令。為縮短反饋時長，采取用戶群互通的交互方法。

服務設備主要是執行保存和下達等指令。數據傳輸到主導的服務端后會保存至服務設備，然后再由該設備下達給各用戶端。

基于C/S結構的服務設備和用戶端性能分類如圖1所示。

圖1 服務設備和用戶端性能分類圖

在三維數據協同可視檢測時，需要將二維數據重建實現三維建模，即三維建模[5]等于是每個二維數據的堆疊。三維建模流程圖表明，閾值檢測行為是在閾值數量設置好后才執行的，也就是說，通過灰度直方圖檢測、目標邊緣灰度統計或固定閾值方法，能夠得出作為建模基礎的邊界閾值數量。最后結合背景和材質，獲得三維數據圖像。當渲染結果不太理想時，可以通過調整需繪制的邊界數量或選擇不同閾值，來獲得令人滿意的結果。多數情況下，該構建流程都可以使檢測目標生成較為理想的三維數據結果。

2.2 三維數據協同感知

由于Kinect傳感器的傳輸頻率比較快，獲取與反饋數據信息時基本實現同步傳達，再加上三維數據協同模型采集的數據為點云數據，所以協同感知環境下對目標三維數據的提取又迅速又精準，而且還能實時檢測。

雖然獲得的點云數據較為精確，但數據量又龐大又散亂，因此，要通過鄰域查詢等途徑重建數據信息。采取柵格法[6]將點云數據進行劃分，不僅可以提升鄰域查詢的效率，而且對數據篩選起著重要的作用。該法為一種普適又有效的分類方案，在實際操作中能夠快速對數據進行劃分處理。

柵格分類法的具體步驟為：獲取背景信息的點云數據，所測范圍內目標出現時，Kinect傳感器將同步采集到點云數據P，設定P點的最大三維數值是xmax，ymax，zmax；最小三維數值是xmin，ymin，zmin。所有極值的坐標交錯后形成極小長方體柵格，假設所測范圍的邊長為L，空間點云被分成的柵格數量為n，由柵格化公式推算得出柵格數量n的公式

(1)

把獲得的點云數據與柵格一一對應后，做差所得的結果就是該目標在點云空間內的點云信息。通過將柵格分類點云數據減去背景原始數據，獲取目標的點云信息，再以二維數據形式進行存儲，當各數據點保存到相應的柵格查詢數據庫時，對其下達鄰域查詢指令，指令執行時從該點柵格開始查詢，如沒有查詢結果，則繼續查詢其周圍的柵格，從而減少對全部點云數據查詢的指令操作，簡化非鄰域點的運算，在一定程度上加快查詢速度。

通過柵格法采集可用的點云信息，得到基于Kinect傳感器的目標數據，將其排列成目標的點云二維數值方陣，并假定該方陣是A1；根據旋轉矩陣[7]R和平移矩陣t推算成三維數值后，將得到的方陣假定為A，再利用模型和傳感器提取的點云數據得出目標的三維坐標數據。

為了使獲取的點云信息更為精準，在采集到經柵格分類的點云數據后，需通過濾波算法做降噪處理。Kinect傳感器可以獲得所有點的三維點云信息(即各點的x、y、z數值)，且模型提取的是目標在y軸上的全部數據信息。

由獲得的點云數據得出水平方向y的極值(即ymin、ymax)和垂直方向z的極值(即zmin、zmax)，把兩對極值投影至yz坐標系上，設定O是三維數據協同模型坐標系的原點，y軸為x值等于0的點集合，也是該坐標系的正方向；其中，ymin、ymax、zmin和zmax的投影點分別是點A、B、C、D。由Kinect傳感器和模型協同得到的旋轉矩陣R和平移矩陣t，推算出點A、B、C、D的三維坐標數據。用點A舉例說明

(xA，yA，zA)=R(x1，y1，z)+t

(2)

創建被點O、A、B、C、D所構成的多面體，求得成像角度的過程如圖2所示。

圖2 三角形構建示意圖

從上圖中可以得知多面體的所有線段長，用線段AB舉例說明

(3)

多面體中含有三角形：ΔAOB、ΔAOC、ΔAOD、ΔBOC、ΔBOD、ΔCOD，用ΔAOB舉例說明，由三角形余弦定理可知

(4)

根據上式即可得到所有三角形中以點O為頂點的全部角度，通過對比得出最大角度，也就是三維數據協同模型的可視范圍，為提高目標數據信息采集的精準度奠定基礎。

2.3 三維數據協同可視檢測設計

在人機交互的條件下，如想獲取更多目標數據信息，那么要根據三維數據協同模型，將所測目標歸類劃分，進而對目標的細節所屬進行標識并實現可視檢測。

2.3.1 k-means分類法

分類法中較為簡潔有效的劃分方法為k-means算法[8]，該算法具有普適性，其類別判定的標準為長度，原理是根據長度對目標進行劃分并組成有差異的簇，兩點間長度愈短，那么屬于相同類別的可能性愈大，從而獲得一個分類準則，即牢固又獨立的簇。

于某一存在空間里采集一組數據{x1，…，xN}，其被劃分成簇的數量為K，如果僅考慮歐幾里得空間方面，則應該把長度較短的點劃分成一個簇，而其它不同簇里的點，其長度應該較長。k-means算法的原理為提取K個分類中心μk(k=1，…，K)，然后把全部數據分別劃分給與其之間長度最短的分類中心，以達到各點與其所屬分類中心之間長度的平方和為極小值的目的。

數據點xn用邏輯變量rnk∈{0，1}代替，針對分類k的劃分，當數據點xn劃分為第k類別時，那么rnk=1，反之，rnk=0。因此，對損失函數做出下列定義

(5)

上式，損失函數的分類標準是rnk，分類中心是μk。

當損失函數J為極小值時，求得全部數據點的分類標準{rnk}與分類中心{μk}。此時的k-means算法通過將不斷變化的原始數據遞推為新數據的過程，使重復反饋的rnk和μk得到持續的交替改良。具體步驟如下：

首先，獲取分類中心μk的初始數據，推算出損失函數J為極小值時的數據點分類標準rnk，根據損失函數定義，已知xn與μk值，損失函數J為rnk的線性函數，因為xn的數據點間毫無聯系，為了獲取各數據點n，把該數據點劃分到與其之間長度最短的分類中心內，如下式所示

(6)

根據上式得到的rnk，推算出損失函數J為極小值時的分類中心μk。已知rnk值，損失函數J為μk的二次函數，當因變量J對自變量μk進行求導，導數值為0時，那么有

(7)

所以μk取值推導為如下公式

(8)

關于第K個類別，當rnk選定是1時，數值為其類別內點的數量，所以μk為其類別內點的均值。

重復反饋的過程，等空間內所有的數據信息全部處理完全后才會停止，數據分類效果逐漸趨于理想化。

目標通過k-means算法分類處理后，其分割的各區域特征也要收集提取，通常采取的特征提取法為LBP特征提取、Haar特征提取等。本文主要利用LBP特征提取法來獲得處理后的目標特征。

2.3.2 LBP特征獲取

目標特征為該目標與其它目標之間存在的差異點或者目標自身具有的獨特特征。LBP算法[9](Local Binary Pattern，也叫局部二值模式)是用于對目標細節紋理特征進行分類的運算符，其具備不變性的優勢，例如旋轉不變性、灰度不變性等，并展現出良好的分割效果，廣泛運用于相關領域。

LBP算法是在由3×3個網格組成的框架里進行運算，該框架中間的像素值是與周圍8個像素值做大小比較的基礎值(即閾值)。如果比較的像素值比閾值大，那么將該像素所在的網格標記成1；反之標記成0。然后得到8位二進制數，也就是該框架中間像素點的LBP值，該值是紋理信息的展現。圖3為LBP特征提取法的示例圖。

圖3 LBP特征提取法的示例圖

LBP算法提取目標特征時，該目標的各像素點都會做像素值對比，并獲取其相應的LBP值。

2.3.3 SVM分類與檢測

支持向量機[10](support vector machines)為一種二分類模型，以在特征空間內搜索一分類面來分割樣本為目標，以距離最大化為分割原則，最后轉變成一個基本的非線性分類器。該模型是利用特征劃分來獲得目標間隔，經過多次的重復反饋獲得距離的極大值，其算法是對凸二次規劃問題進行解析的理想化算法。

支持向量機通常用于解析線性可分情況，解決間距過大的問題。然而，當數據處于線性不可分情況時，根據非線性映射算法，低維空間里的線性不可分數據被改成高維特征空間里的線性可分數據，然后通過線性算法實現對數據非線性特征的進一步轉換，使其成為線性特征來進行解析。提出支持向量機的初始動機是要對兩類數據進行歸化，分類情況分為四種：二分類線性可分；二分類線性不可分；二分類非線性可分；二分類非線性不可分。

二分類線性可分情況下，通過線性可分SVM，按照已知數據(xi，yi)，得到如下的歸化平面公式

WX+b=0

(9)

上式，特征縮放系數分別是W、b。

該歸化平面不僅能夠對兩種數據進行精準地劃分，還可以滿足兩個類別內數據間距最大化的條件。當上式中W和X代表維度矢量時，則線性判斷基本公式如下所示：

g(x)=Wx+b

(10)

由于歸化平面不是只有一個，所以要將幾何距離的極大值轉換成約束最優化問題，得出

(11)

(12)

(13)

根據式(13)完成三維數據協同可視檢測，為檢驗本文方法的有效性及可行性，需進行仿真。

3 仿真研究

本文模型的開發平臺是基于Windows XP系統的Visual studio c++2017，計算機配置是Pentiun(R)Dual-Core CPU 2.62GHZ內核，2.00GB內存；模型框架是在wxWidgets庫下完成，通過Opengl與Glew對目標進行繪制與顯示，利用Vcglib庫對目標數據進行采集。三維數據采集界面如圖4所示。

圖4 數據采集界面

為驗證該模型檢測的準確度與穩定性，對實驗對象采取相同環境下56個小時的重復檢測，抽取測量數據如表1所示。

表1 各方法檢測數據量對比(單位：bit)

如表1所示，相同時間內，所提檢測的數據量更高，說明所提方法檢測效率更高。

三種方法對三維數據進行可視化檢測時，不同輸出頻率代表波動不同，波動越小，說明三維數據檢測能耗越低，檢測效率越高。對三種方法的輸出頻率進行對比實驗，實驗結果如圖5所示。

圖5 不同方法輸出頻率對比圖

如圖5所示，文獻[2]方法、文獻[3]方法出數頻率較高，波動較大，而所提方法輸出頻率逐漸降低，波動較小，并且較為穩定。說明所提方法具有明顯優勢，實用價值較高。

為了進一步驗證檢測效果，對檢測結果偏差進行實驗對比，實驗結果如圖6所示。

圖6 三種方法檢測結果偏差折線圖

通過上圖可以更加直觀地看出，所提所提方法偏差更小，具備更優化、更理想的精準度和穩定性。

4 結論

為了提升可視檢測應用領域廣泛性及檢測結果準確性，本文提出一種基于人機交互的三維數據協同可視檢測，將人機交互時采集的點云數據柵格化，通過對目標的特征提取、分類以及決策函數，最終實現檢測的目的。所以，本文研究得出的方法具有良好的同步性與實時性，不僅檢測速度快，而且檢測的準確率、精度俱佳，穩定性極好。