基于HoloLens2 的目標(biāo)檢測技術(shù)研究

曾笑

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，成都 610065）

0 引言

計算機(jī)視覺的任務(wù)是為了讓計算機(jī)能夠像人眼一樣理解圖像里的內(nèi)容，而目標(biāo)檢測一直是計算機(jī)視覺的熱門內(nèi)容。目標(biāo)檢測技術(shù)是通過算法判斷圖片中需要檢測的物體，同時在圖片中標(biāo)記出該物體的位置，用計算出的邊框?qū)⑵淙ζ饋恚⒎祷胤诸愵悇e。傳統(tǒng)的目標(biāo)檢測技術(shù)是通過人工特征描述算子對圖像進(jìn)行描述后，再依據(jù)描述特征來對圖像進(jìn)行查找[1]。而近年來，隨著深度學(xué)習(xí)在計算機(jī)視覺上的發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)知識在解決如目標(biāo)檢測任務(wù)上也開始普及了起來，在識別準(zhǔn)確率和魯棒性上都優(yōu)于傳統(tǒng)檢測算法。然而與目標(biāo)檢測相關(guān)的主流交互設(shè)備仍然是傳統(tǒng)的鍵盤、鼠標(biāo)和觸摸屏，這些設(shè)備在進(jìn)行目標(biāo)檢測與人機(jī)交互方面具有很大的局限性。

混合現(xiàn)實技術(shù)是一種將虛擬對象與真實世界巧妙融合的技術(shù)。虛擬對象與真實世界通過計算機(jī)的實時計算，可以實現(xiàn)無縫疊加，從而達(dá)到虛實融合的目的，給用戶帶來極強(qiáng)的真實感受。而混合現(xiàn)實技術(shù)的發(fā)展，可以將應(yīng)用場景應(yīng)用在教育、工業(yè)、醫(yī)療等行業(yè)。目前大多數(shù)的領(lǐng)域還停留在探索和發(fā)展的階段。

Microsoft HoloLens2 是微軟在2019 年發(fā)布的第二代混合現(xiàn)實眼鏡，其處理器使用了一塊Intel 32bit CPU和一個定制的高性能混合現(xiàn)實運(yùn)算單元HPU（Holo?graphic Processing Unit）。相比于其他AR 設(shè)備，Holo?Lens2 采用新的交互模式和三維注冊算法，不需要額外輔助定位的器件，就能夠計算虛擬對象與現(xiàn)實場景之間的空間位置關(guān)系，將物理世界與數(shù)字世界相融合，完全解放雙手，實現(xiàn)虛實疊加、人機(jī)交互等技術(shù)。通過全息影像的方式，將數(shù)字內(nèi)容展現(xiàn)出來，同時還可以通過注視、手勢、語音來與全息影像進(jìn)行交互。

通過將混合現(xiàn)實以及目標(biāo)檢測的相關(guān)技術(shù)進(jìn)行整合，能夠提供一種新的人機(jī)交互方式，為學(xué)習(xí)培訓(xùn)、可視化展示等行業(yè)所存在的問題提供了理論與技術(shù)上的支持，從而使得設(shè)計并開發(fā)出可交付的解決方案成為可能。

在本文工作中，我們開發(fā)了一個目標(biāo)檢測系統(tǒng)，通過通信的方式，能夠在用戶端使用Microsoft HoloLens2對目標(biāo)進(jìn)行檢測和識別，在服務(wù)器端通過YOLO 作為深度學(xué)習(xí)算法處理來自客戶端的數(shù)據(jù)。客戶端與服務(wù)端之間通過TCP/IP 進(jìn)行通信，服務(wù)器端可以處理需要進(jìn)行檢測的對象，并將處理過的數(shù)據(jù)傳回客戶端。本文主要分為以下幾個部分，第一節(jié)介紹了基于深度學(xué)習(xí)的目標(biāo)檢測算法，第二節(jié)介紹了我們設(shè)計的目標(biāo)檢測系統(tǒng)，具體描述了目標(biāo)檢測算法是如何在HoloLens2上進(jìn)行實現(xiàn)的。第三節(jié)對于我們的實驗結(jié)果進(jìn)行分析與討論。最后第四節(jié)提出我們所做工作的總結(jié)以及對于未來的展望。

1 基于YOLO卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測

YOLO（You Only Look Once）是Redmon 提出的目標(biāo)檢測算法[2]，它基于一個單獨的end-to-end 網(wǎng)絡(luò)，將物體分類和位置識別全部統(tǒng)一到神經(jīng)網(wǎng)絡(luò)的一次檢測當(dāng)中。輸入圖像經(jīng)過網(wǎng)絡(luò)，便能得到圖像中所有物體的位置和其所屬類別及相應(yīng)的置信概率，使得檢測速度大幅提升。雖然YOLOv1 在當(dāng)時成功實現(xiàn)了實時的目標(biāo)檢測，但是圖像中包含多個重疊物體時還是會出現(xiàn)偏差，同時在復(fù)雜的環(huán)境中還易出現(xiàn)邊界框不準(zhǔn)的情況。

針對上述問題，在2017 年，Redmon 在YOLOv1 的基礎(chǔ)上提出YOLOv2 和YOLO9000[3]，能夠檢測超過9000 類物體。與YOLOv1 相比，它加入了Batch Nor?malization[4]，能夠提升模型收斂速度，降低模型的過擬合；同時能夠接受不同分辨率的輸入圖片，引入不同尺度特征融合，從而提高了訓(xùn)練速度和分類效果。

緊接著在2018 年，Redmon 提出了YOLOv3[5]。相比于YOLOv2，YOLOv3 具有以下幾個變化：調(diào)整了新的網(wǎng)絡(luò)結(jié)構(gòu)，使用了殘差模塊[6]的DarkNet-53 模型；采用FPN 結(jié)構(gòu)實現(xiàn)多尺度特征提取，實現(xiàn)目標(biāo)檢測；對象分類用Logistic 取代了Softmax。通過形成更深的網(wǎng)絡(luò)層次以及多尺度檢測，提升了mAP 及物體的檢測效果。在YOLOv3 中定義的損失函數(shù)由三個部分組成，具體公式如下所示：

其中，lbox代表bounding-box 帶來的loss；lobj是置信度帶來的loss，置信度代表該bounding-box 是否含有物體的概率；lcls則是類別帶來的loss。通過實驗比較可以得知，在精確度相當(dāng)?shù)那闆r下，YOLOv3 的速度約是其他模型的3、4 倍，在準(zhǔn)確性和實時性上均滿足系統(tǒng)要求，因此本文采取YOLOv3 神經(jīng)網(wǎng)絡(luò)來實現(xiàn)對物體的檢測識別定位。

2 系統(tǒng)架構(gòu)設(shè)計

2.1 總體設(shè)計

這一部分我們將描述所設(shè)計的系統(tǒng)整體架構(gòu)，目的是為了使用目標(biāo)檢測算法來對圖像中的物體進(jìn)行識別檢測。我們主要采用了客戶端與服務(wù)器端進(jìn)行通信的方式來實現(xiàn)交互。我們使用Microsoft HoloLens2 作為圖像采集的輸入，使用具有NVIDIA GeForce GTX 1070 Ti 的圖形處理單元的電腦作為服務(wù)器端，該服務(wù)器端用于執(zhí)行目標(biāo)檢測算法。開發(fā)人員能將客戶端攝像頭所采集到的圖像幀傳輸?shù)椒?wù)器端，作為其算法輸入，算法執(zhí)行輸出該物體的分類類別，并通過通信返回到HoloLens2 作為輸出顯示。同時，我們導(dǎo)入微軟的Mixed Reality Toolkit 軟件開發(fā)包來控制凝視、手勢識別、虛實交互。整個混合現(xiàn)實和深度學(xué)習(xí)的總體設(shè)計如圖1 所示。

圖1 系統(tǒng)總體設(shè)計圖

2.2 客戶端

在客戶端創(chuàng)建階段，利用Unity 創(chuàng)建了項目，通過導(dǎo)入Mixed Reality Toolkit 組件在HoloLens2 上進(jìn)行構(gòu)建和部署獨立的應(yīng)用程序。在檢測過程中，應(yīng)用空間映射步驟，先用HoloLens2 的相機(jī)對物理環(huán)境進(jìn)行解析，用戶可以通過手勢指令或者語音識別指令動態(tài)采集真實環(huán)境中的照片，并通過客戶端將其上傳到服務(wù)器端。在服務(wù)器端運(yùn)行后，快速返回檢測對象的信息、分類類別以及置信度，并通過網(wǎng)絡(luò)傳輸返回到客戶端。服務(wù)器端將識別到的2D 坐標(biāo)返回給HoloLens2，然后根據(jù)接收到的2D 數(shù)據(jù)在設(shè)備上計算物體的3D真實坐標(biāo)。最后通過生成全息圖像將以上分類信息投射到用戶眼睛，實時顯示虛擬場景，從而實現(xiàn)高效的目標(biāo)檢測和人機(jī)交互。

圖2 第二代HoloLens頭盔

2.3 服務(wù)器端

在服務(wù)器端，我們使用YOLO 算法來對環(huán)境中的對象進(jìn)行檢測和識別。當(dāng)作為客戶端的HoloLens2 攝像頭進(jìn)行拍照后，通過連接服務(wù)器IP 地址的形式，將得到的RGB 幀傳到服務(wù)器端，作為輸入。在得到接受幀后，服務(wù)器端啟用YOLO 神經(jīng)網(wǎng)絡(luò)對其進(jìn)行處理，從而得到所檢測到每個對象的分類、邊界框范圍以及框的顏色。完成對象檢測后，服務(wù)器將這些結(jié)果發(fā)送給客戶端，從而在頭盔上顯示檢測結(jié)果。

表1 服務(wù)器端開發(fā)工具

3 實驗結(jié)果和討論

本文通過HoloLens2 實現(xiàn)目標(biāo)檢測和識別，取得了良好的檢測效果。為了更好地判斷檢測效果，在實驗結(jié)果中，通過召回率（Recall）以及精確率（Precision）來判別檢測結(jié)果的好壞，其中，召回率表示返回的正樣本中預(yù)測正確的樣本數(shù)，占真正總的正樣本數(shù)的比例；精確率表示計算返回的正樣本中，預(yù)測正確的比例。同時再對比算法在測試集上的平均準(zhǔn)確率（AP）以及所有類別的平均準(zhǔn)確率（mAP）來判別算法的好壞。其中AP 需要通過召回率和準(zhǔn)確率兩個值來衡量檢測模型的精確度，它將用作評估模型檢測性能的直觀標(biāo)準(zhǔn)，同時也可以用來評估單個類別的準(zhǔn)確度。mAP 是所有AP 類別的平均值，值越高，代表在其所有類別中的模型檢測效果越好。整個計算過程如下：

（1）先按照置信度將n 個測試結(jié)果按從大到小的方式進(jìn)行排序；

（2）定義TP 數(shù)組表示正類預(yù)測為正的例子，F(xiàn)N 數(shù)組表示被預(yù)測為負(fù)值的正樣例，F(xiàn)P 數(shù)組表示預(yù)測為正的負(fù)樣例。

（3）召回率、精確率分別用下列公式得出：

（4）計算某類別的AP：

（5）計算所有類別的AP 均值，即mAP：

最終訓(xùn)練后得到的各類別的Recall 和Precision 的結(jié)果如表2 所示。

表2 各對象的召回率和精確率

4 結(jié)語

本文通過將最新的增強(qiáng)現(xiàn)實設(shè)備HoloLens2 和先進(jìn)的目標(biāo)檢測算法YOLOv3 結(jié)合起來，通過TCP/IP 連接在客戶端和服務(wù)器端建立了聯(lián)系，設(shè)計并實現(xiàn)了支持對象檢測、可視化人機(jī)交互的增強(qiáng)現(xiàn)實系統(tǒng)。通過實驗結(jié)果表明，本文提出的方法在目標(biāo)檢測上具有高召回率和高精確率，在測試集上的準(zhǔn)確率和所有類別的平均準(zhǔn)確率都具有較好的表現(xiàn)。同時，利用第二代HoloLens 增強(qiáng)現(xiàn)實頭盔，擺脫了傳統(tǒng)的人機(jī)交互手段，可以解放雙手，支持多種交互手段，為提供可視化展示提供了理論和技術(shù)支持。但本文在設(shè)計實驗時缺少對照實驗，且對算法本身的改動較少，在未來的工作中會繼續(xù)完善實驗。