基于YOLOv5的目標建筑物虛實融合技術

摘 要：針對增強現實技術目前虛實融合方面效率不高、目標識別不夠精準的問題。該文提出并實踐基于YOLOv5訓練模型的虛實融合技術，在通過YOLOv5識別清楚目標建筑物的基礎上，加入虛實融合技術，使用這種方法可以在YOLO這種優秀深度學習算法的基礎上，提升增強現實技術的精確性和可靠性。YOLO本身是目標檢測模型，在一張圖片或者是一段視頻中找到特定的物體，目標檢測不僅要求我們識別這些物體的種類，同時要標出這些物體的位置。虛實融合技術的總體思路是使用目標檢測、特征匹配等方法，配合OpenCV讀取準備好的圖層信息。總體借助YOLOv5訓練模型的實時目標檢測算法，并與虛擬三維對象相結合，實現虛實融合。

關鍵詞：YOLOv5；深度學習；虛實融合；目標檢測；OpenCV

中圖分類號：TU17 文獻標志碼：A 文章編號：2095-2945（2024）27-0185-04

Abstract： In view of the current augmented reality technology， the efficiency of virtual-reality fusion is not high and the target recognition is not accurate enough. This paper puts forward and practices the virtual-real fusion technology based on YOLOv5 training model. On the basis of clearly identifying the target building through YOLOv5， the virtual-real fusion technology is added. This method can improve the accuracy and reliability of augmented reality technology on the basis of YOLO， an excellent deep learning algorithm. Yolo itself is a object detection model， finding specific objects in a picture or a video. Object detection requires us not only to identify the types of these objects， but also to mark the location of these objects. The general idea of virtual-real fusion technology is to use object detection， feature matching and other methods to cooperate with OpenCV to read the prepared layer information. In general， with the help of the real-time object detection algorithm of YOLOv5 training model， and combined with virtual 3D objects， the fusion of virtual and real is realized.

Keywords： YOLOv5; deep learning; virtual-real fusion; object detection; OpenCV

增強現實技術（AR）是一種集成了現實世界和虛擬世界的顯示技術，被廣泛應用于多種技術手段。對于AR技術來說，目標跟蹤和識別方法至關重要，包括校準技術、跟蹤技術和交互技術3個部分[1]。近年來，深度學習技術在目標檢測算法中表現得非常好。自2012年AlexNet網絡引入以來，研究卷積神經網絡（CNN）的學者們已經激起了新一輪的高潮[2]。超催化有限責任公司提出的基于PyTorch、開源框架YOLOv5算法，該算法是對YOLOv3算法的改進，是當今更先進的目標檢測技術，其推理速度驚人[3]。基于YOLOv5的訓練模型去實時識別實際景物，并且在跟蹤及標準完成后，進行虛實融合，這樣的嘗試保證了在較高精度的前提下完成增強現實，這對AR眼鏡未來發展有非常大的實際意義。

YOLOv5可以非常準確地探測物體。應用范圍很廣，典型的例子是：果園的目標水果圖片[4]；在醫療領域識別左右醫療外科手套[5]；茶園泡茶機器人準確識別茶葉[6]；在農業中區分感染和未感染的玉米粒[7]。以下是調研了市面上熱門的不同軟件開發工具包（sdk）條件下實現物理跟蹤方法的方案，見表1，比較的方法是同一塊場景、同一時刻。從不同的方案中可以看出，深度學習方法相對更準確。

表1 不同軟件開發工具包下的跟蹤情況

現在YOLO的最高版本是YOLOv9，但是這個版本是最近剛發布，所以應用范圍還不廣泛，主要比較YOLOv5和YOLOv8，見表2。需要在不支持GPU只支持CPU的設備上部署解決方案，那么YOLOv5是一個更合適的選擇[8]。以下是不同YOLOv5模型的對比，他們運行識別的對象都是一張640×640的圖片，可以看到在CPU環境下YOLOv5的每秒幀數更高，所以這個部分更加適合使用YOLOv5。

表2 YOLOv5與YOLOv8不同模型的對比

1 YOLOv5 具體原理

YOLO的前身是R-CNN，基于深度學習的目標檢測算法可以分為2階段：二階段目標檢測算法和一階段目標檢測算法[9]。二階段目標檢測算法首先由算法生成一系列候選邊界框作為樣本，然后通過CNN分類這些樣本，最后得到檢測結果，雖然檢測精度高于單階段目標檢測算法，但會占用大量內存。一階目標檢測算法是直接將目標邊界定位問題變成回歸問題，將圖像放大到相同的大小，同樣以網格劃分的形式，模型只處理圖像可以得到定位和分類結果，大大提高了檢測速度，基本可以滿足目標實時檢測的需求。但是其成像的質量沒有二階段的目標檢測算法高。

YOLOv5有4個版本，具體取決于網絡模型的深度和寬度：YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5通過CRlip Studio Paint（CSP）模塊的數量和CSP中Conv+BN+active（CBL）模塊的數量區分4個網絡模型[10]。

YOLOv5s模型的深度和寬度是最小的，而4種版本中YOLOv5s的權重只有14.1 MB，而YOLOv5s模型的訓練和推理能力是最好的，所以本文使用了YOLOv5s算法[11]，YOLOv5網絡結構示意圖如圖1所示。

1.1 輸入端

首先，輸入端包括Mosaic數據增強、自適應錨框計算和自適應圖像縮放。

Mosaic數據增強[12]：YOLOv5在輸入側采用了這種方法，將多張圖片以一定比例組合成一張圖片，使模型能夠識別較小區域內的目標。Mosaic數據增強具有以下優點：數據集更加豐富，增強了模型的魯棒性，增強了批量歸一化層的效果，提高了小目標檢測的性能。

自適應錨框計算[13]：在YOLOv3和YOLOv4中訓練不同的訓練集時，會使用單獨的對象來計算初始錨框。在YOLOv5中，此特性被嵌入到整個訓練代碼中。因此，在每次訓練之前，它將根據不同的數據集自適應地計算錨定器。

自適應圖像縮放[14]：其主要步驟是根據原始圖像大小和輸入到網絡的圖像大小計算縮放比。選擇一個較小的縮放因子進行縮放，其最大優點是可以保證得到的圖片保持大小均一化。

圖1 YOLOv5網絡結構示意圖

1.2 主干網絡 Backbone

輸入端之后是backbone部分，其中主要包括Focus結構和CSP結構[15]。

YOLOv5 中的 Focus 模塊在圖像進入主干網之前對圖像執行切片操作。這樣做是為了獲取圖像中每個像素的值，類似于相鄰的縮減采樣。

在YOLOv5中，設計了2種CSP結構，CSP1_X結構應用于主干網，另一種CSP2_ X結構應用于Neck。它可以保持甚至提高CNN的能力，同時降低20%的計算復雜度。

1.3 Neck

在Neck端，YOLOv5當前的Neck和YOLOv4的一樣，采用了FPN+PAN（特征金字塔網絡+個人區域網）結構。但是，在其基礎上已經做了些改進：在YOLOv4的Neck結構中，使用普通的卷積運算，而在YOLOv5的Neck結構中，使用CSPNet設計的CSP2結構來增強網絡特征結合能力。

1.4 預測

最后是預測部分，算法處理過程如下：①按降序對所有預測框的置信水平進行排序。②選擇置信度最高的預測框，確認預測正確，并與其他預測框一起計算其預測框和真實框的重要程度（IoU）。③如果按照步驟②計算出來的IoU較高，且IoU大于閾值較高，則直接刪除。④對剩余的預測框返回到步驟①，直到沒有更多的剩余預測框為止。

2 虛實結合部分

在增強現實方面，一般是使用目標檢測、特征匹配和相機投影等技術，在目標檢測上使用YOLOv5模型進行實時目標檢測，識別照相機或視頻流中的對象，并在圖像畫上邊界框和標簽。接著，把匹配出來的關鍵點組合起來，如果同目標檢測的對象一致，就通過相機投影把對應虛擬對象結合上。在投影過程中，相機下的同源變換可以簡單地理解為它用于描述世界坐標系和像素坐標系中對象之間的位置映射關系。相應的變換矩陣稱為同調矩陣。同源性矩陣的定義為

成像幾何模型得到了像素坐標系與空間坐標系之間的坐標映射關系為

式中：M為內參矩陣，t為瞬時的一段時間，組成變換的像素坐標系，s為變換尺度因子，H為同源性矩陣。

最后，將加載的模型渲染，再經過集成成像技術生成三維物體傳輸到當前的視頻幀中，以實現增強現實效果。

3 實驗結果與分析

首先，圖2是YOLOv5識別到的學校大門、學校圖書館和學校實驗樓的3張圖。

以上識別實驗，先是收集了3個建筑物的訓練圖片完成訓練模型的制作。之后再進行識別。在未來，可以加入更大的數據集，實現更多區域的景點交互和識別。

在確保對目標建筑物正確識別的前提下，對被識別的建筑物進行了增強現實虛實融合虛擬圖片的操作。接下來，會在3個地點識別的基礎上分別顯示煙花、小狗和鮮花。可以看出基于YOLOv5訓練模型的虛實結合技術很大的優勢：原本在特征提取上需要花費更多的時間去提取建筑物本身的形象，目前在擁有被識別的基礎上，可以直接特征提取標準框，快速匹配完后立馬投影事先設定的圖像。這樣可以提高虛實結合的效率，如圖3所示。

下一步是只進行3個地點虛實結合操作的3個視圖。在只需要虛實融合效果的時候，可以選擇不在圖像上繪制矩形邊界框。其結果如圖4—圖6所示。

由圖4—圖6中可以看出，圖上的圖像隨著角度的偏轉會有些許的變化。符合增強現實基本理念。

4 結束語

本文提出了基于YOLOv5訓練模型的虛實結合技術進行測算。本文根據YOLOv5具有非常驚人的推理能力為前提，通過YOLOv5制作對應場景的訓練模型，以YOLOv5s.pt文件保存，接著通過該文件進行了虛實融合操作，通過目標識別、特征匹配和相機投影完成增強現實。實驗結果證明，本文的方法可以在正確識別場景位置的前提下，更穩定地實現虛實融合技術的實現，很好地結合了2項技術，在工作效率上有所提升。給未來增強現實技術提供了另一種新的發展方向。

參考文獻：

[1] LIANG Z， HUANG Z， HU X， et al.Research on Distance Measurement Using Vehicle Four-point Calibration Based on YOLO Neural Network[J]. Journal of Mechanical Engineering，2023，59（10）：226-235.

[2] GUO M， GONG H.Research on AlexNet Improvement and Optimization Method[J].Computer Engineering and Application，2020，56（20）：124-131.

[3] 薛晨興.國內外深度學習框架分析與研究[J].電子元器件與信息技術，2023，7（5）：66-71，87.

[4] OLAREWAJU M L.YOLOv5-LiNet： A lightweight network for fruits instance segmentation[J].PLoS ONE，2023，18（3）.

[5] JU G， JIAO H， ZHANG J， et al.Left and right rand recognition of medical surgical gloves based on YOLOv5[J].Manufacturing Automation，2021，43（12）：189-192.

[6] ZHANG S H， YANG H K， YANG C H， et al.Edge Device Detection of Tea Leaves with One Bud and Two Leaves Based on ShuffleNetv2-YOLOv5-Lite-E[J].Agronomy-Basel，2023，13（2）.

[7] THANGARAJ S R P， YOGAMEENA B， MANICKAVASAGAN A.Real-time detection of Fusarium infection in moving corn grains using YOLOv5 object detection algorithm[J].Journal of Food Process Engineering，2023，46（9）.

[8] WANG D， WANG J， SHI Y， et al.Research on image privacy detection based on deep transfer learning[J]. Journal of Graphics，2023，44（6）：1112-1120.

[9] SHI L， JING M E， FAN Y， et al.Segmentation Detection Algorithm Based on R-CNN Algorithm[J]. Journal of Fudan University. Natural Sciences，2020，59（4）：412-418.

[10] CHANG B R， TSAI H F， HSIEH C W.Location and timestamp-based chip contour detection using LWMG-YOLOv5[J]. Computers & Industrial Engineering，2023，180.

[11] JIANG T Y， LI C， YANG M， et al. An Improved YOLOv5s Algorithm for Object Detection with an Attention Mechanism[J].Electronics，2022，11（16）.

[12] ZHANG Y， GUO Z Y， WU J Q， et al.Real-Time Vehicle Detection Based on Improved YOLOv5[J].Sustainability，2022，14（19）.

[13] SHANG X， WEN Y， XI X， et al.Target tracking system based on the Siamese guided anchor region proposal network[J]. Journal of Image and Graphics，2021，26（2）：415-424.

[14] VENTURA A S， BORREGO J A， SOLORZA S.Adaptive nonlinear correlation with a binary mask invariant to rotation and scale[J]. Optics Communications，2015（339）：185-193.

[15] GU W， LI S， YIN M.Research and Development in Backdoor Set[J]. Computer Science，2010，37（3）：11-16.