999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于深度學習的金剛線光斑點檢測

2023-08-29 03:15:10豐宗強應一鵬章甫君于勇波劉毅
光學精密工程 2023年15期
關鍵詞:特征提取檢測模型

豐宗強, 應一鵬, 章甫君, 于勇波, 劉毅

(燕山大學 機械工程學院,河北 秦皇島 066004)

1 引 言

金剛線[1]是硬脆材料的切割工具,廣泛應用于寶石、硅片[2]、太陽能板[3]的切割作業中。在金剛線生產線[4]上,任何額外的接觸帶來的振動或者其他不穩定因素都有可能導致線受力不均而斷裂。所以金剛線斷裂的快速檢測和斷線位置的準確捕捉是金剛線生產過程中的重要課題。目前,金剛線斷線普遍在生產線線頭和線尾采用拉力傳感器進行檢測,通過測量線的張力來判定金剛石線是否斷裂,此方案具有可靠且穩定的優點,但是此方法只有斷線位置接近線頭線尾時才能觸發報警,故受限于金剛線1.5 m/s的線速,存在斷線反饋滯后導致增加損失且設備成本較高的缺點,原有方案的實際滯后時間為50~90 s。

由于在激光照射下金剛線網呈現明顯的光斑點,故將金剛線是否斷線的狀態表征為光斑點有無。通過視覺檢測金剛線反射的亮斑點達到檢測是否斷線的目的,將斷線檢測轉化為視覺光斑點目標檢測的問題。斑點檢測是機器視覺研究的重要內容之一,隨著圖像處理技術的日趨成熟,斑點檢測已經應用于產品缺陷檢測[5]、醫學圖像檢測[6]、遙感識別[7]等諸多領域,眾多應用方案已經在工業生產與實際生活中實施。針對傳統圖像處理方法斑點檢測的缺點,研究人員將深度學習技術應用到斑點檢測任務中,并取得了不錯的效果。Xu[8]等提出UH-DOG斑點檢測模型,聯合DOG法和U-Net深度學習模型,在細胞斑點檢測中取得了優異的檢測結果。張軒宇[9]等則利用VGGNet和ResNe-t34卷積神經網絡實現了遙感圖像中船舶、養殖箱等不同形狀的斑點物體的檢測及分類。Cao[10]等也利用YOLOv3卷積神經網絡結構實現了遙感圖像中船舶斑點的識別和檢測。

目標檢測是相對斑點檢測更高的范疇,目標檢測的主要任務是確定目標在圖像中的位置、尺寸和邊緣等信息,這依舊是當前計算機視覺領域充滿挑戰性的問題[11]。Redmon[12]等提出了YOLO系列目標檢測算法,馬立[13]等針對小目標漏檢率高的問題,提出了改進的Tiny YOLO3模型,對算法的特征提取網絡、預測網絡和損失函數進行改進。Ahmad[14]等將低級特征的特征圖與常規SSD的反卷積層相結合提出EDF-SSD模型。王宸[15]等利用YOLOv3對輪轂焊縫缺陷進行檢測。陳仁祥[16]結合注意力機制提出多注意力的Faster RCNN結構對電路板進行缺陷檢測。Kumar[16]等結合空間金字塔操作,對Yolov4模型進行改進,提高了口罩檢測的準確率。

本文以生產線上金剛線的反射光斑點為研究對象,在前期算法開發中經過灰度處理、空間濾波和圖像增強的方法對圖像進行預處理,并分別結合基于閾值的亮斑點分割方法、圖像形態學操作對目標亮斑點進行了有效檢測,得到了較理想的光斑點分割與檢測效果。但由于經典圖像處理方法主要利用單通道圖像進行檢測,且在閾值分割過程中會丟失大量的圖像特征,同時依靠人為提取特征進行目標分割,步驟多、程序復雜度高。傳統圖像檢測方法易受環境光照條件的影響,為解決傳統圖像處理的問題,研究了基于深度學習的光斑點目標檢測算法,并對算法存在的網絡層次較深、模型體積較大、檢測實時性較差的問題,進行輕量化改進和優化,將深度學習技術應用于工業領域的亮斑點檢測任務中,簡化檢測流程,提高斷線檢測的準確率,并將改進后的模型部署于嵌入式平臺,提出了一套工業落地的深度學習嵌入式金剛線斷線檢測方案。

2 材料與方法

2.1 檢測原理與智能檢測平臺

光斑點視覺檢測系統原理如圖1所示。以線掃激光光源向生產線上的金剛石線投射激光,激光照射在金剛石線網上形成一排光斑點,將識別金剛石線的運動狀態表征為金剛石線上漫反射形成的亮斑狀態,并通過CCD攝像頭進行圖像采集及視覺檢測,從而判定金剛石線的工作狀態。

圖1 光斑點視覺檢測系統原理Fig.1 Schematic diagram of light spot vision detection system

檢測系統分為圖像采集端和控制器端兩部分。圖像采集端由圖像采集和輔助功能組成,輔助功能包括光源以及LED交互燈組的控制,圖像采集和傳輸主要依靠3個720P工業相機模組和有源USB H-UB模組。前期研究發現,在綠光下斑點的成像效果最優,故光源選擇一字線綠色激光燈,相機使用LRCP7650_720P高清面陣工業相機,其最大分辨率為1 280?720,幀頻為30 frame/s,數據接口為USB2.0。USB HUB模組可輸出4個USB2.0接口。

圖像采集端以STM32作為控制器接收控制信號并控制舵機、LED燈組和激光筆等從設備,從控制器接受控制器指令調整光源角度和人機交互模組提供良好的圖像識別環境。控制器端由Jetson Nano嵌入式模組和外圍電路組成,控制器端的Nano模組接收相機模組的視頻流數據并進行目標檢測,硬件框架組成如圖2所示。

圖2 光斑點視覺檢測硬件組成Fig.2 Hardware composition of light spot vision detection system

如圖3所示,在金剛線生產線上,系統對金剛線網實時掃描,捕捉實時圖像并進行光斑點目標檢測,實現對產線上線網狀態的過程監測。金剛線網由63條金剛線組成,為了滿足實際檢測工況、成像效果、相機視野覆蓋金剛線網等條件,需將金剛線網均分為左、中、右3個部分檢測,圖像采集端左、中、右3個相機分別捕獲金剛線網的左、中、右區域的圖像,即分別對各自區域的21個光斑進行檢測,并使用黑色光面亞克力板隔除復雜背景,創造良好的成像環境。系統控制端循環獲取3個相機的圖像幀進行目標檢測,完成一次金剛線網的斷線檢測,圖4為檢測系統左、中、右相機采集的原始圖像。

圖3 金剛線斷線智能檢測平臺Fig.3 Prototype of light spot vision inspection system

圖4 檢測系統左、中、右相機采集的原始圖像Fig.4 Raw images captured by left, center, and right cameras of inspection system

2.2 數據采集與制作

對處于生產狀態下的不同產線進行光斑點圖像采集,將圖像分為多段,針對不同段,選取不同圖像閾值,便于標注時斑點的識別同時縮小目標數量,使目標標注的區域選擇更加準確。數據增廣是深度學習模型訓練的常用方法之一,能夠有效增加訓練數據,避免模型過擬合,同時提升模型的魯棒性,并采用鏡像變換、旋轉、透視變換、亮度調整、添加噪聲等方法對數據集進行增廣,再對數據集進行標注。圖5為采集圖像處理后的部分數據集。

圖5 部分光斑點檢測數據集展示Fig.5 Partial presentation of blob detection dataset

對實際生產線上采集得到的原始圖像進行篩選,濾除斑點代表性較差、圖像過度模糊、圖像相似度高的圖像,并利用數據增廣方法進一步擴充數據集,最終挑選出15 000張較為理想的圖片作為模型訓練的數據集,各階段數據集的參數如表1所示。

表1 數據集參數表Tab.1 Dataset parameter

將得到的訓練數據集按照8∶1∶1的數量比例隨機劃分為訓練集、驗證集和測試集3個部分供后續模型訓練。其中,訓練集12 000張,驗證集1 500張。實驗使用圖像標注工具LabelImg,標注圖像數據中光斑點的位置,共標注13 500張圖像。為進一步驗證光斑點目標檢測的準確率,在測試數據集中增加了500張非金剛線反射形成的光斑雜點作為干擾項,模擬實際產線的成像環境。

2.4 模型訓練與部署

本文模型訓練及相關實驗均在相同的設備上完成,采用的硬件配置和軟件版本的具體參數如表2所示。模型訓練采用遷移學習方法Pytorch官方提供的預訓練模型進行模型參數初始化,同時采用凍結模型的訓練方法,模型總共進行100個Epoch的訓練。在前50個Epoch訓練過程中,先凍結模型的主干特征提取網絡的權重系數,使之不進行反向梯度更新,凍結階段網絡訓練的batch_size為8,初始學習率為0.001。在后50個Epoch的訓練過程中,再將主干特征提取網絡解凍,此時對整個網絡模型參數進行反向梯度更新。由于需要更新的參數量增加,為避免超出內存,減小輸入模型的圖片batch_size為4,且由于解凍階段模型更深,故減小初始學習率為0.000 1。在兩個階段的訓練過程中,模型的學習率變化均采用固定步長衰減的策略,學習率每隔一定步數(1個Epoch)就衰減為原來的0.92倍。

表2 實驗的硬件配置和軟件版本參數Tab.2 Experiment hardware configuration and software version parameter

在相同的軟硬件配置下,本文分別對Yolov4,Yolov5和與前兩者模型大小相近的Yoloxm 3個模型進行訓練。檢測速度和檢測平均精度(mAP)的關鍵指標統計如表3所示。

表3 Yolo系列光斑點的檢測精度與速度Tab.3 Spot detection accuracy and speed of Yolo series

由表3可見,3種模型均具有較好的檢測效果,mAP值均在96%以上。其中Yolox-m的檢測精度最高,達到了97.28%,但三者的檢測速度均較低,只有2~3 frame/s,主要是由于三者模型層次較深且體積較大,實時性較差,需進行輕量化改進。在檢測系統的實際應用中,從檢測速度和平均精度考慮,選擇對Yolox-m進行輕量化改進。圖6為Yolox-m模型的光斑點檢測結果。

圖6 Yolox-m模型的光斑點檢測結果Fig.6 Detection results of light spots in Yolox-m model

3 關鍵算法

3.1 Yolox原理

Yolox目標檢測算法是新一代高性能目標檢測算法,其算法框架可分為主干特征提取網絡、加強特征提取網絡和分類器三部分,如圖7所示。算法框架中,主干特征提取網絡為CSPDarkNet網絡,它主要由5個局部跨階段(Cross Stage Partial,CSP)殘差網絡塊構成。加強特征提取網絡(Feature Pyramid Network, FPN)主要由空間金字塔操作(Spatial Pyramid Pooling Network, SPP)和路徑聚合網絡(Path Aggregation Network, PANet)組成。輸入圖片經過CSPDark-Net和FPN得到3個特征圖完成圖像特征提取,最后在Yolo Head中完成目標檢測。與Yolov4最大的不同在于:分類器中Yolox將回歸預測和置信度預測進行解耦,并采用無錨框(anchorfree)的邊框預測方法代替原有的基于錨框(anchor-based)的邊框預測方法。

圖7 Yolox目標檢測算法框架Fig.7 Schematic diagram Yolox target detection algorithm

Yolox采用解耦檢測器,模型在檢測器中增加預測分支,將邊界框的位置及寬高的回歸任務和種類置信度預測的二分類任務相分離,去除檢測器在預測過程中回歸任務和二分類任務可能存在的不利耦合作用,最后再通過通道堆疊操作將輸出的3個預測三維張量進行通道堆疊。解耦檢測器雖然增加了少量的模型計算量,但有效地提高了模型訓練的收斂速度和預測精度。解耦檢測器結構如圖7中右側框檢測器所示,其中通道堆疊前的卷積層不執行批歸一化和激活函數操作。

相較于早先Yolo系列模型的基于anchorbased的邊界框預測方法,Yolox采用了目前流行的anch-orfree的預測框回歸策略。在進行正負樣本選擇時,基于錨框的邊界框預測方法需要進行大量的真實框與錨框的交并比計算。

無錨框回歸采用點回歸的形式,在預測目標物體邊緣框的過程中不再借助錨框尺寸。特征圖中每個柵格只有一個預測點,根據經過解耦檢測器得到的預測參數tx,ty,tw,th可以確定該預測點的預測框形狀。如圖8所示,與Yolov4不同,經過網絡預測得到的寬高的預測參數通過指數函數后直接得到預測框的寬高,而不再是預測框相對于錨框的比例系數。

圖8 預測框位置及寬高示意圖Fig.8 Schematic diagram of position and width and height of prediction box

根據網絡所得的預測參數可得預測框的中心點坐標及其寬高,計算公式如下:

其中:bx,by為預測框中心坐標相對于圖像左上角的偏移量,bw,bh為預測框寬高,tx,ty為預測框中心點坐標的預測參數,tw,th為預測框寬高的預測參數,dx和dy為預測點所在柵格左上角點與圖像左上角點的距離。

通過解耦檢測器可得到3個包含預測參數的三維張量,分別對應加強特征提取網絡輸出的3張特征圖,根據式(1)即可利用三維張量中的預測參數得到相應特征圖中每個柵格的預測框。若特征圖尺寸為n×n,則每張特征圖可得到n×n×1個待分類樣本,與基于錨框預測的模型相比減少了2/3的待分類樣本數目。但由于負樣本數量相對正樣本數量的比例依舊較大,為了進一步減小正負樣本的數量差距,利用Simple Optimal Transport Assignment (SimOTA)算法進行正負樣本分類,增加正樣本的數量。在SimOTA算法中,先將真實框內及真實框向外擴展2.5個柵格的區域劃分為候選區域,位于候選區域的預測點作為候選點,候選點對應的預測框為候選框。再計算候選框與其對應的真實框的IOU值,并計算候選框與真實框的代價函數,代價函數為:

其中:Lcls為候選框的分類誤差,Lreg為候選框的回歸誤差,x為系數取0.5。

再由圖像中真實框的數量確定參數y,y的計算公式如下:

取出每個真實框IOU最大的前y個候選框,將其IOU值相加得到y'。將每個真實框的候選框中代價函數最小的前y'個候選框作為正樣本,y'最小值取1,其余樣本為負樣本。若一個正樣本候選框對應多個真實框,則該候選框歸為代價函數值小的真實框的正樣本。

Yolox中SimOTA算法在限制的候選區域內進行正樣本分類,保證了正樣本質量,同時根據算法確定自適應的選取樣本數,選取多個預測框為正樣本,提高正樣本的數量。再將其余預測框歸為負樣本,由于預測框總數減少了2/3,所以有效控制了負樣本數量,進而提高了正負樣本比例,使用于模型訓練的正負樣本數量更加均衡。同時由于放棄了錨框,模型不再需要提前指定參考錨框的尺寸,使模型訓練更加簡便。

3.2 主干特征提取網絡替換

結合深度可分離卷積的模型輕量化方法和倒殘差塊的結構設計對Yolox模型的網絡結構進行輕量化改進,將Yolox中的CSPDarknet主干特征提取網絡替換為采用倒殘差塊結構的輕量化網絡Mobile-Netv3-Large,得到初步的輕量化網絡模型Yolox-MobileNetV3。在主干特征提取網絡替換前,刪去M-obileNetv3-Large模型最后的全連接層。Yolox模型中默認的輸入圖像尺寸為640×640,故主干特征提取網絡輸出的3個特征圖的寬高分別為20×20,40×40,80×80,MobileNetv3-Large網絡的3個輸出特征圖的尺寸應與之相同。

3個特征圖的輸出位置及裁剪后的Mobile-Netv3-Large網絡結構如表4所示。圖中,3×3,5×5表示殘差塊中卷積操作中卷積核尺寸,s表示卷積操作步長。Scale通道為輸出特征圖通道,3個輸出的特征圖尺寸和通道數分別為80×80×40,40×40×112和20×20×160。

表4 裁剪后的MobileNetv3-Large網絡結構Tab.4 Cropped MobileNetv3-Large network structure

3.2 加強特征提取網絡的改進

在對主干特征提取網絡進行輕量化修改后,對加強特征提取網絡也進行輕量化修改。由于Yolox模型的加強FPN中也含有大量的卷積網絡層和傳統殘差結構塊,為了進一步減小模型大小,還可以對FPN進行輕量化改進。FPN主要由上采樣、下采樣、普通卷積層和CSP層組成,CSP層為CSP殘差塊結構。原加強特征提取網絡結構如圖9所示。

圖9 原加強特征提取網絡結構Fig.9 The original enhanced feature extraction network structure

加強特征提取網絡的輕量化即將FPN的卷積層中的普通卷積替換成深度可分離卷積,并對CSP層中的卷積結構和殘差結構進行改進。

Yolox的FPN中CSP層的輕量化改造如圖10所示。為了清晰描述網絡結構,省略了批歸一化層和激活函數,圖中左部分所示網絡結構為原始CSP殘差塊結構;右部分所示為輕量化后的CSP殘差塊結構,其中卷積層中執行普通卷積操作,DP卷積中執行深度可分離卷積操作,m表示殘差塊的堆疊次數。

圖10 CSP層結構輕量化Fig.10 Lightweight CSP layer structure

將改進后的加強特征提取網絡FPN和改進后的主干特征提取網絡進行組合,最終輕量化改進模型結構Yolox-MobileNetV3如圖11所示。在最終輕量化改進的模型結構中,將主干特征提取網絡和加強特征提取網絡均進行輕量化處理,同時對于Yolox模型的Yolo Head檢測器,保持其原有的解耦檢測和無錨框的檢測機制。圖中,Scale通路表示從修改的主干特征提取網絡中輸出的3個特征圖,Scale通路左部分為采用經過裁剪的Mobi-leNet網絡替換后的主干特征提取網絡,Scale通路右側緊接著的是輕量化后的加強特征提取網絡,模型的Yolo Head檢測器依舊保持原有結構。DP卷積表示深度可分離卷積層,InvCSP層表示輕量化改進的采用倒殘差結構的CSP層。

圖11 輕量化改進后的Yolox-MobileNetV3網絡模型結構Fig.11 Lightweight and improved Yolox-MobileNetV3 network model structure

3.3 基于CA的注意力機制改進

添加注意力機制是提高模型性能的有效手段。由于斑點目標存在較強的空間分布特征且斑點之間存在線性的空間分布規律,故增強網絡的空間特征信息的提取能力有助于目標斑點的識別。

在CA機制中,為了有效地捕捉位置信息和通道關系。通過將SE中全局池化的H×W池化核更換為H×1和1×W的兩個池化核,將二維全局池化操作分解為兩個一維池化編碼,沿寬度方向和高度方向的編碼方式如下:

其中:H,W分別表示特征張量的高和寬,h表示水平池化所在行高度,w表示豎直池化所在列的寬度表示沿高度方向的編碼值表示沿寬度方向的編碼值。

CA模塊的添加位置如圖12所示。為了避免破壞MobileNet原有的網絡結構導致預訓練權重失效,故在主干特征提取網絡的3個特征圖輸出通道后添加CA模塊。同時在加強特征提取網絡FPN中,在特征圖上采樣之后也添加CA模塊以增強網絡采樣在空間方向上的靈敏度。將經過輕量化及添加CA機制的Yolox模型記為MCA-Yolox模型。

圖12 注意力機制改進網絡Fig.12 Improved network of attention mechanism

4 實驗與結果

4.1 模型評價指標

深度學習中通常用模型的平均精度(Average Precision,AP)作為衡量模型目標檢測效果的指標。而模型的平均精度受模型的精確度(Precision)和召回率(Recall)影響。準確率表示預測為真的樣本中正樣本數的比例,召回率表示在所有真實情況為整的樣本中預測為真的樣本數的比例。精確度和召回率的計算公式分別為:

其中:TP表示預測為真的正樣本(True Positive),FN表示預測為假的負樣本(False negative),FP表示預測為假的正樣本(False posi-tive)。AP是不同召回率下的準確率的平均值,mAP表示不同類別的AP值的平均值。mAP的計算公式為:

其中:P表示精確度,R表示召回率,C表示目標類別數。

F1分數(F1-score)是Precision和Recall的調和平均數,最大為1,最小為0,分數越高,說明模型越穩健,計算公式為:

由于受到嵌入式平臺算力成本限制,在實際應用場景中除了模型的檢測能力,人們往往更關注模型的復雜度,通常用模型前向傳播的每秒浮點運算次數(Floating-Point Operations Per second,FLOPs)和模型參數個數(Parameters)來描述模型的復雜度。對模型進行實驗比較時,需要結合模型的準確度和復雜度來選擇。

4.2 網絡輕量化對比

除了MobileNet模型,常見的輕量化網絡模型還有ShuffleNet,GhostNet和EfficientNet等系列。為了驗證Yolox-MobileNetV3模型的性能,選取Yolox-ShuffleNetV2,Yolox-GhostNet和Yolox-Ef-ficientNet 3種輕量化模型,采取與Yolox-MobileN-et相同的方式替換Yolox模型的主干特征提取網絡,在相同的數據集上進行對比實驗。Mobilenet網絡中為了靈活控制模型大小,設置了兩個超參數,通道因子α和分辨率因子β,分別用來控制模型中特征張量的通道數和尺寸,通過因子參數可以控制模型大小。實驗中默認通道因子和分辨率因子均為1.0。

模型訓練的學習率依舊采用固定步長衰減的策略,學習率每隔一定步數(1個Epoch)就衰減為原來的0.92倍。訓練采用先凍結主干特征提取網絡,再解凍的訓練步驟,模型訓練100個Epoch,凍結的訓練階段為前50個Epoch。各模型的mAP值默認取threshold為0.5時的mAP值。

如表5所示,與Yolox-m模型相比,4個輕量化改進模型的參數量、大小和運算量均大幅地減小。Yolox-mobileNetV3模型的檢測精度在4個模型中最高,mAP值達到了95.02%,模型的大小也僅有20.23 Mb,在模型的檢測準確率和模型存儲上都比較優秀。

表5 模型實驗參數Tab.5 Parameters of model experiment

表5 不同主干特征提取網絡替換模型參數Tab.5 Model parameter for different backbone feature extraction network replacement

訓練過程中,4種輕量化模型的mAP值變化曲線如圖13所示。圖14為模型訓練后期的mAP變化曲線。在模型解凍即訓練50個Epoch后,模型得到進一步的訓練,模型的mAP值有較大的提高。4種輕量化改進模型在訓練70個Epoch后趨向收斂,mAP值趨向于穩定。與其他模型相比,利用MobilenetV3輕量化改進的模型在模型訓練后期能夠達到更高的mAP值,體現出MobileNetV3的改進模型相比于其他幾個模型在該斑點數據集上具有更高的檢測準確率。

圖13 模型訓練過程中mAP值Fig.13 mAP in target detection of light spot

圖14 訓練后期模型mAP值Fig.14 mAP value of post-training model

4.3 改進模型性能驗證

為了驗證改進模型的檢測精度,同時為了進一步驗證添加CA機制對提高模型檢測精度的有效性,對Yolox-MobileNetV3,MCA-Yolox,Yolox-Tiny和Yolov4-Tiny的檢測精度進行比較。

4個模型訓練過程中的mAP曲線、F1值曲線分別如圖15和圖16所示。4個模型在模型解凍后,模型的mAP值和F1值均有較大的提升,說明模型得到進一步收斂,模型的檢測精度進一步得到提升。與其他模型相比,在訓練過程中改進模型MCA-Yo-lox均保持較高的mAP值,說明改進模型具有較高的檢測精確度。由實驗數據得到,MCA-Yolox模型的mAP值達到95.43%左右,Yolox-MobileNetV3,Yolox-Tiny和Yolov4-Tiny的mAP值分別在94.52%,94.24%和92.52%左右。在模型F1值上,改進模型比其他3種模型更高,說明模型同時具備更高的Precision和Recall值,模型檢測性能更加穩定。MCA-Yolox模型的F1值達到0.952左右,Yolox-MobileNetV3,Yolox-Tiny和Yolov4-Tiny的F1值分別在0.943,0.922和0.922左右。

圖15 模型訓練的mAP曲線Fig.15 mAP curve of model training

圖16 模型訓練的F1曲線Fig.16 F1 curve of model training

模型的Precision-Recall(PR)曲線如圖17所示,可驗證模型的mAP和F1曲線的特征。改進模型MCA-Yolox的PR曲線基本將其他模型的曲線包圍,曲線與橫縱坐標軸包圍的面積比另外3個模型的面積都要大,說明改進模型具有較高的mAP值,曲線的右上角點同時滿足更高的Precision和Recall坐標值,說明模型具有更高的F1值。綜上,從模型的mAP值和F1值參數上比較,改進模型MCA-Yolox模型具有最好的檢測精度和準確率。同時,MCA-Yolox模型比Yolox-MobileNetV3模型在mAP值上提升了約1%,驗證了添加CA機制對模型性能的提升。

圖17 模型訓練的PR曲線Fig.17 PR curve of model training

各模型在Jetson Nano平臺上的實驗參數如表6所示。經過模型的輕量化,改進后的MCAYolox模型的參數量僅占到Yolov4模型的1/13左右。在模型大小和運算量方面,MCA-Yolox也只有Yolov4模型的1/10左右。與Yolov4-Tiny和Yolox-Tiny模型相比,MCA-Yolox在模型大小和運算量相差不多的情況下,mAP提升了1%以上,體現出更佳的檢測性能。

Yolov4-Tiny,Yolox-Tiny和改進模型MCATiny在Jetson Nano平臺上的檢測結果如圖18所示,可以看到Yolox-Tiny和Yolov4-Tiny模型對于金剛線網邊緣較暗的光斑點都有出現漏檢的現象,Yolov4-Tiny對于金剛線網中間形狀較不規則的亮斑點也出現了漏檢,而改進的MCAYolox模型則成功地檢測出圖像中的所有亮斑點。同時Yolox-Tiny和Yolov4-Tiny模型檢測出的亮斑點的置信度都在0.60~0.75之間,而MCA-Yolox模型檢測出的亮斑點的置信度都高于0.75,體現出MCA-Yolox模型更高的檢測精度和穩定性。輕量化檢測模型中Yolov4-Tiny模型的檢測速度最快達到15 frame/s,MCA-Yolox模型也達到12 frame/s。

圖18 各模型檢測效果對比Fig.18 Comparison of detection effect of each model

最后,利用TensorRT庫對改進后的模型進行加速優化,隨后將優化后的模型部署于智能檢測嵌入式平臺,經過TensorRT加速后的MCA-Yolox模型的檢測速度能夠達到30 frame/s左右,若不考慮系統圖像傳輸時間,系統可在0.1 s左右內完成3個相機捕獲的圖像幀斑點檢測,并進行斷線異常報警。從模型存儲空間、檢測速度和檢測準確率等方面考慮,改進的MCA-Yolox模型在滿足檢測實時性的要求上,檢測準確率較高,達到了理想的光斑點檢測效果。

5 結 論

本文針對傳統圖像處理算法易受外部環境干擾,實時性較差等問題,引入深度學習算法對光斑進行檢測,并提出了一種改進的輕量化目標檢測模型MCA-Yolox,對Yolox模型提出了3點改進策略:利用MobileNetV3輕量化特征提取網絡替換 Yolox模型的主干特征提取網絡對模型進行了輕量化改進;利用深度可分離卷積和倒殘差結構對加強特征提取網絡進行了輕量化改進;對模型添加CA機制,提高了模型的檢測精度。實驗結果表明,改進后的MCA-Yolox模型的大小和運算量減小到Yolov4和Yolox模型的1/3以下,相比同樣規模的Yolov4-Tiny和Yolox-Tiny輕量化模型具有更高的檢測精度,其mAP值高于 Yolov4-Tiny約2.9%,高于Yolox-Tiny約1.2%。在Jetson Nano設備上的檢測實驗中,MCA-Yolox模型體現出最好的亮斑點檢測效果,并達到12 frame/s的檢測速度。最后,將加速優化后的模型部署于智能檢測平臺,檢測速度可達30 frame/s。

猜你喜歡
特征提取檢測模型
一半模型
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
重要模型『一線三等角』
重尾非線性自回歸模型自加權M-估計的漸近分布
基于Gazebo仿真環境的ORB特征提取與比對的研究
電子制作(2019年15期)2019-08-27 01:12:00
一種基于LBP 特征提取和稀疏表示的肝病識別算法
3D打印中的模型分割與打包
小波變換在PCB缺陷檢測中的應用
主站蜘蛛池模板: 欧美精品一区二区三区中文字幕| 67194在线午夜亚洲 | 黄色福利在线| 国产美女在线观看| 久久熟女AV| 国产视频大全| 国产亚洲男人的天堂在线观看 | 天堂在线视频精品| 欧美日本在线一区二区三区| 欧美天堂在线| 日韩AV无码一区| 91亚瑟视频| 中文字幕免费播放| 国产大片黄在线观看| 亚洲精品国产首次亮相| 高清不卡毛片| 亚洲国产欧美国产综合久久| 好吊色妇女免费视频免费| 国产成人久久综合一区| 成人精品视频一区二区在线| 国产亚洲现在一区二区中文| 色婷婷啪啪| 亚洲无码91视频| 久久精品人人做人人爽电影蜜月| 国产迷奸在线看| 天堂亚洲网| 国产天天射| 国产视频一二三区| 国产天天色| 第一页亚洲| 97在线国产视频| 中文天堂在线视频| 无码免费试看| 666精品国产精品亚洲| 亚洲天堂视频在线观看免费| 香蕉国产精品视频| 国产剧情一区二区| 国产欧美专区在线观看| 亚洲高清免费在线观看| 福利国产在线| 国产色偷丝袜婷婷无码麻豆制服| 日韩国产高清无码| 国产H片无码不卡在线视频| 日本精品一在线观看视频| 在线亚洲天堂| 免费99精品国产自在现线| 亚洲中久无码永久在线观看软件| 91偷拍一区| 国产91久久久久久| 亚洲人成网址| 中文字幕免费播放| 91香蕉国产亚洲一二三区 | 日韩大乳视频中文字幕| 亚洲成a人片7777| 日韩午夜福利在线观看| 欧美专区在线观看| 国产欧美日韩视频一区二区三区| 亚洲国产欧美国产综合久久| 福利在线不卡一区| 免费 国产 无码久久久| 国产一区二区在线视频观看| 国产精品自拍合集| 久久久受www免费人成| 国产精品久久久久久久伊一| 久草中文网| 小说区 亚洲 自拍 另类| 色视频国产| 亚洲第一黄色网址| 中文毛片无遮挡播放免费| 91蝌蚪视频在线观看| 亚洲精品国产自在现线最新| 亚洲毛片网站| 国产福利微拍精品一区二区| 国产又色又爽又黄| 成人欧美在线观看| 欧美久久网| 欧美一级高清片欧美国产欧美| 中文字幕日韩视频欧美一区| 欧美久久网| 亚洲精品自拍区在线观看| 色哟哟国产精品一区二区| 日韩欧美网址|