999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

改進YOLOv7算法的齲齒圖像檢測

2024-09-22 00:00:00范曉聰姚竟發滕桂法馬永平
現代電子技術 2024年17期

摘" 要: 針對口腔醫療資源緊缺和齲齒治療效率不足的問題,提出一種改進YOLOv7的齲齒圖像檢測算法,旨在協助醫生進行更有效的醫療診斷,同時增強患者對預防齲齒的意識。首先,在YOLOv7算法的主干網絡引入ECA?MobileOne網絡模塊代替原有的ELAN模塊,降低模型參數量,提高對小目標齲齒特征的有效提取;其次,在特征圖輸出層采用自適應特征融合(ASFF),自適應地學習各尺度特征圖在融合時的空間權重,充分獲取口腔圖像中不同尺度下的關鍵特征,提高檢測的全局性和準確性;另外,采用soft?NMS算法替換原有的非極大值抑制算法(NMS),在牙齒異位或重疊等情況下能更有效地提升檢測效果。使用在保定市第二醫院口腔科采集的口腔照片數據集進行實驗,結果顯示,改進后的算法mAP達到93.4%,相較于原始YOLOv7算法提高了5.5%,并且與當前主流算法相比,具有一定的先進性,為促進口腔健康的整體改善提供了新的技術支持。

關鍵詞: 齲齒檢測; MobileOne; 自適應特征融合; YOLOv7; soft?NMS; 圖像檢測

中圖分類號: TN911.1?34; TP391" " " " " " " " " 文獻標識碼: A" " " " " " " " " nbsp; 文章編號: 1004?373X(2024)17?0079?09

Improved YOLOv7 algorithm for caries image detection

FAN Xiaocong1, YAO Jingfa2, TENG Guifa1, MA Yongping3

(1. School of Information Science and Technology, Hebei Agricultural University, Baoding 071000, China;

2. Department of Software Engineering, Hebei Software Institute, Baoding 071000, China;

3. Stomatology Department of Baoding No. 2 Hospital of Hebei Province, Baoding 071000, China)

Abstract: In view of the shortage of oral healthcare resources and the inefficiency in caries treatment, a scheme of an improved YOLOv7 algorithm for caries image detection is proposed to assist doctors in making more effective medical diagnosis, and assist patients in enhancing their awareness of caries prevention. The network module ECA?MobileOne is introduced into the backbone layer of YOLOv7 algorithm instead of the original module ELAN, so as to reduce the number of model parameters and improve the feature extraction of little caries (little objects). An adaptive spatial feature fusion (ASFF) is used in the output layer of feature map to adaptively learn the spatial weight of the feature maps of different scales in the process of fusion, and fully acquire the key features of different scales of the oral cavity image, so as to improve the global nature and accuracy of the detection. In addition, the soft?NMS algorithm is used to replace the original NMS (non?maximum suppression) algorithm, so as to improve the detection effect more effectively in the case of teeth ectopic or overlapping. Experiments were conducted based on an oral photograph dataset collected from the stomatology department of Baoding No. 2 Hospital. The results show that the improved algorithm achieved an mAP (mean average precision) of 93.4%, which was 5.5% higher in comparison with that of the original YOLOv7 algorithm. It can be seen that the improved algorithm is advanced in comparison with the current mainstream algorithms, and can provide technical support for the overall improvement of oral health.

Keywords: caries detection; MobileOne; ASFF; YOLOv7; soft?NMS; image detection

0" 引" 言

隨著社會的不斷發展,人們的物質生活水平不斷提高,口腔問題也越來越受到人們和政府的重視。口腔疾病種類繁多,在全球口腔疾病的類別中,最為常見的是齲齒和牙周病。齲齒俗稱蟲牙或蛀牙,是一種由牙菌斑中的微生物引起的局部牙體硬組織疾病,與心血管疾病和惡性腫瘤并列為三大非傳染性疾病[1]。根據衛生部發布的第四次中國口腔健康流行病學調查報告[2]顯示,我國兒童乳牙平均患齲率為62.1%,青少年恒牙平均患齲率為41.5%,中老年人恒牙平均患齲率為94.2%,這表明齲齒在我國口腔健康問題中占據著重要地位。未經及時治療的齲齒有可能沿牙根向更深層組織擴散,進而引發根尖周炎、頜骨骨髓炎、間隙感染,甚至導致全身性感染。因此,加強口腔中齲齒的檢測并及時終止齲齒病變,對于維護整體口腔健康至關重要。

近年來,一些先進的成像技術和計算機輔助診斷(CAD)系統已經在齲齒檢測和預防方面取得了一些進展,如基于熒光效應的齲齒診斷技術[3],創建和分析三維數字牙模型幫助醫生更全面地了解牙齒表面的微小變化,或者使用圖像分割和圖像分類兩個獨立步驟的算法實現齲齒的識別[4]。但是目前最突出有效的方法是通過深度學習算法構建目標檢測器進行精準的齲齒識別。文獻[5]提出一種基于遷移學習和模型融合技術的齲齒檢測網絡(MDfuseNet),在根尖周X光片上進行檢測,模型準確率達到97.08%。文獻[6]采用CNN MobileNetv2網絡在裁剪的全景X光片中檢測第三磨牙是否有齲壞情況,實驗顯示模型的準確度達到了87%。文獻[7]采用級聯的ResNet網絡在根尖周X光片中進行齲齒和根尖周炎的自動化診斷,[F1]分別為82.9%和82.8%,模型的表現優于年輕醫生的診斷結果。文獻[8]采用卷積神經網絡(CNN)對口腔照片中的齲齒進行檢測,實驗結果表明,CNN能夠正確檢測92.5%病例的齲齒。文獻[9]根據SSD算法的特點,開發了一種卷積神經網絡判斷口腔照片中是否存在齲齒并對齲齒位置進行定位,結果表明,模型達到了64.6%的定位精度。文獻[10]對Faster R?CNN、YOLOv3、RetinaNet、SSD四種算法在檢驗通過智能手機拍攝的口腔照片中是否存在齲齒進行了比較,研究表明,YOLOv3和Faster R?CNN算法模型在通過智能手機圖像診斷齲齒方面的臨床應用前景廣闊。

但是總體而言,目前大多數研究主要聚焦于通過X光片檢測齲齒。口腔X光片需要經專業培訓的醫療人員使用專業的設備進行拍攝,在醫療資源緊缺的地區,醫護人員的專業培訓和昂貴的設備增加了口腔X光片獲取的難度,制約了口腔健康水平的改善。目前有關手機拍攝的口腔照片的齲齒檢測研究還比較少,其檢測精度不夠高,模型不夠輕量化,不利于后續在移動設備的部署。因此構建準確的、輕量化的口腔齲齒診斷系統,用來協助醫生進行更有效的醫療診斷,減少醫生工作量,提高患者對預防齲齒的意識是非常有必要的。

口腔環境復雜,對口腔中的齲齒進行檢測時存在以下問題:在部分口腔圖像中,齲齒目標區域較小且數量眾多,分布位置較為分散,牙齒可能存在異位或重疊等情況;另外,齲齒的檢測容易受到牙漬、牙髓炎等因素的干擾,從而使得算法的穩定性和準確性受到影響。齲齒檢測算法后續在移動設備部署的需求等也都加大了齲齒檢測的難度。

針對上述問題,本文采用YOLOv7算法并進行改進,在YOLOv7的主干網絡中引入ECA?MobileOne網絡模塊,提高對小目標齲齒特征的有效提取,減少模型參數量以滿足后續在移動設備的部署需求;在YOLOv7頭部網絡的特征圖輸出模塊采用自適應特征融合(ASFF),自適應地學習各尺度特征圖在融合時的空間權重,充分利用口腔圖像中不同尺度下的關鍵特征,提高檢測的全局性和準確性;后處理過程采用soft?NMS算法替換原有的非極大值抑制算法(NMS),調整候選框之間的重疊度,更精細地控制最終輸出的目標框,改善漏檢和誤檢等問題。在保定市第二醫院口腔科采集的口腔照片數據集上進行訓練與測試,并與其他常用目標檢測模型進行齲齒檢測效果對比,以期為口腔問題的改善提供一種新思路。

1" YOLOv7目標檢測算法

基于深度學習的目標檢測算法主要分為單階段目標檢測算法和兩階段目標檢測算法,作為單階段目標檢測經典算法,YOLO憑借其較快的運行速度,常被用于系統實時檢測。2022年7月提出的YOLOv7[11]算法無論是在實時性還是準確率上都取得了相對較好的效果。鑒于口腔照片中的齲齒檢測算法需要同時滿足實時性和準確性要求,本文選擇YOLOv7算法作為齲齒檢測的基礎算法模型。

YOLOv7網絡由輸入層、主干網絡和頭部三部分組成。輸入層的主要作用是對圖像預處理,以滿足主干網絡的輸入大小要求。主干網絡的主要作用是提取不同尺度的圖像特征。主干網絡由若干CBS模塊、ELAN模塊和MP模塊組成,其中,ELAN模塊是一個高效的網絡結構,采用梯度路徑策略進行設計,使網絡學習到更多的特征。頭部主要用于對特征進行解碼和分類,并輸出目標檢測的結果。頭部主要工作流程為將經過上采樣輸出的三個特征圖分別通過三個REPConv和卷積層輸出三個不同大小、未經處理的預測結果。另外,NMS算法是YOLOv7算法后處理的一個重要步驟。NMS算法的作用是抑制重疊的邊界框,從而提高檢測結果的準確性。

2" 改進YOLOv7目標檢測算法

為了提高齲齒檢測精度,減少模型參數量,本文對YOLOv7算法做出如下改進:首先,在YOLOv7的Backbone層引入ECA?MobileOne網絡模塊,替換原有的ELAN模塊,改善YOLOv7算法中存在著大量的冗余特征、檢測延遲性高等問題;其次,YOLOv7算法采用直接銜接或者直接相加等方式輸出多層特征,但是高層包含低層特征,直接銜接或者直接相加等方式不能充分利用不同尺度特征。因此在Head層的特征圖輸出模塊引入ASFF,自適應地學習每個尺度的空間權重,充分融合不同尺度特征;最后,采用soft?NMS算法替換原有的非極大值抑制算法(NMS),在牙齒異位或重疊等情況下能有效提升檢測效果,改善齲齒漏檢和誤檢等問題。

改進后的網絡結構如圖1所示。

2.1" 融入ECA?MobileOne網絡模塊

針對YOLOv7算法中存在著大量的冗余特征、檢測延遲性高等問題,以及口腔照片齲齒檢測算法后續在移動手持設備上的部署需求,將具有網絡復雜度低、實時性高特點的MobileOne網絡引入到YOLOv7的Backbone層,以優化齲齒特征的提取過程。通過觀察數據集中齲齒口腔圖像,發現部分口腔圖像中,齲齒分布范圍較小、數量較多,且分布位置較為分散,提取到的特征信息十分有限,容易發生齲齒漏檢和誤檢等問題。為增強網絡對通道的學習能力,將通道注意力機制ECA添加到MobileOne模塊后形成ECA?MobileOne網絡模塊,取代YOLOv7網絡Backbone層的ELAN模塊,以提高對小目標齲齒特征的有效提取。

1) MobileOne網絡模塊

MobileOne[12]是2022年蘋果公司(Apple Inc.)提出的用于移動設備的新型輕量化神經網絡,主要用于解決大量計算造成的精度下降和預測延遲等問題,其變體在移動設備上的推理時間低于1 ms,相比MobileNetv3和ShuffleNetv2等目前較為主流的輕量化神經網絡,準確度也略占優勢,可應用到圖像分類、目標檢測和語義分割領域。

MobileOne模型基于MobileNetv1設計,由大量MobileOne Block構成,MobileOne Block結構如圖2所示。左側部分是由深度卷積和點卷積組成的完整結構塊,深度卷積是分組卷積,組的數量與輸入通道數相同,深度卷積模塊最左側分支是1×1卷積,中間分支是過參數化的3×3卷積,最右側分支是一個包含BN層的跳躍連接。1×1卷積和3×3卷積都是深度卷積。點卷積由過參數化的1×1卷積和包含BN層的跳躍連接兩條分支構成,其主要功能是自由改變輸出通道的數量,并且和深度卷積輸出特征圖通道融合。在模型訓練階段,MobileOne由如圖2所示的神經網絡塊堆疊而成,以提取更多特征。在模型訓練結束后,將多分支結構進行重參數化為單分支結構,使模型更加簡單,參數量減少,推理速度更快。

2) ECA注意力機制

注意力機制是指通過對感興趣的局部信息聚焦,使網絡更加關注齲齒區域,從而提高對小目標檢測的準確率。通道注意力機制已被證明在改善深度卷積神經網絡(CNN)性能方面有巨大潛力。然而,目前的方法為了實現更好的性能大多致力于開發更復雜的注意力機制模塊,這不可避免地增加了模型的復雜性。為了解決性能和復雜性之間的矛盾,本文引入ECA通道注意力機制,該模塊只增加少量的參數,便可獲得明顯的性能增益。

如圖3所示為ECA注意力機制結構[13],圖中的[W]和[H]分別為輸入圖像的寬度和高度,[C]為特征圖通道數。為了避免SE注意力機制中的降維操作,采用全局平均池化對特征圖的空間維度進行壓縮,然后使用大小為[K]的一維卷積核替代兩層卷積層,以確定跨通道信息交流的覆蓋范圍。最后,通過將壓縮后的特征圖與原始特征圖相乘,完成了特征圖的重新校準,實現了網絡對重要特征的選擇性強調,同時抑制了無用特征。一維卷積核大小[K]與通道數[C]成正比關系,如公式(1)所示:

[K=φC=lbCγ+bγodd] (1)

ECA注意力機制采用一維卷積,有效避免了全連接層降維帶來的副作用。自適應卷積核大小[K]通過交互相鄰通道信息,能夠有效捕獲口腔圖像中容易被忽略漏檢的小目標齲齒。ECA注意力機制通過跨信道的信息交互,在不明顯增加內存開銷和網絡深度的情況下,避免了口腔圖像中非目標冗余特征的學習,同時兼顧有效特征,可以有效增強口腔圖像中齲齒的檢測性能。

2.2" 添加自適應特征融合(ASFF)

與其他目標檢測模型類似,YOLOv7也采用直接銜接或者直接相加等方式輸出多層特征,但是高層包含低層特征,直接銜接或者直接相加等方式不能充分利用不同尺度特征,并且口腔圖像是復雜的,會產生特征冗余和背景噪聲干擾,因此本文采用一種自適應特征融合方法[14](ASFF),自適應地學習每個尺度的空間權重,以實現圖像多尺度特征的充分融合。ASFF結構如圖4所示。

假設YOLOv7輸出的三個特征圖分別為F1、F2、F3,則三個特征圖的分辨率和通道數均不同,其分辨率分別為原始圖像的[18]、[116]和[132]。因此,每個尺度的特征層需要采用相應的上采樣或下采樣策略以及1×1卷積進行調整,確保不同尺度特征圖在后續處理中能夠協同工作。

以ASFF?1為例。對于F2,首先經過1×1卷積操作,得到與F1相同的通道數,然后再進行兩次插值操作調整尺度大小;同理,對于F3,先經過1×1卷積操作調整通道數,再進行四次插值操作調整尺度大小。最后對F1、F2和F3加權融合得到ASFF?1,具體過程如公式(2)所示:

[ASFF?1=α1ij?F1→1ij+β1ij?F2→1ij+γ1ij?F3→1ij] (2)

式中:[F2→1ij]和[F3→1ij]表示經過尺度變換后,與F1層通道數和分辨率相同的[i,j]處的特征向量;[α1ij]、[β1ij]和[γ1ij]表示三個不同特征層第一層的空間融合權重。這些權重通過網絡自適應學習得到,并且[α1ij]、[β1ij]、[γ1ij∈[0,1]],三者滿足如下關系式:

[α1ij+β1ij+γ1ij=1] (3)

定義[α1ij]、[β1ij]、[γ1ij]三者的值如式(4)~式(6)所示:

[α1ij=eλ1αijeλ1αij+eλ1βij+eλ1γij] (4)

[β1ij=eλ1βijeλ1αij+eλ1βij+eλ1γij] (5)

[γ1ij=eλ1γijeλ1αij+eλ1βij+eλ1γij] (6)

2.3" 改進非極大值抑制算法(soft?NMS)

YOLOv7模型默認采用NMS算法作為模型的后處理算法,傳統的NMS算法是通過迭代的形式篩選候選框,最大得分框不斷地與其他框做IoU操作,如果相鄰檢測框得分大于閾值,則直接設置為零。傳統NMS算法的分數重置函數如公式(7)所示:

[si=si," " " IoUM,bilt;Nt0," " " IoUM,bi≥Nt] (7)

若采用傳統的NMS算法,在密集擁擠的場景中,如口腔中牙齒異位、牙齒重疊時,超過閾值的相鄰檢測框的分數被強制歸為零,則將導致對齲齒的檢測失敗,從而降低算法的檢測精確率。另外,NMS算法的閾值也很難確定,若設置過小,會出現檢測框誤刪的情況,若設置過大,則易出現誤檢等問題。

因此,本文引入soft?NMS算法進行改進。soft?NMS算法[15]通過修改得分重置函數,為高于閾值的相鄰檢測框設置懲罰函數,以降低這些檢測框的分數,而不是將其歸零。因此對于一些高分檢測框,即使在非極大值抑制階段降低了分數,也可以在后續計算中作為正確的檢測框,有效提高檢測精度和召回率。

Soft?NMS算法有線性加權和高斯加權兩種方式,線性加權如式(8)所示。在線性加權方式中,當一個邊界框與具有最高得分的邊界框重疊超過某個閾值時,該邊界框的得分會根據重疊程度線性減少,具有不連續性。高斯加權使用高斯函數來減少重疊邊界框的得分,當兩個邊界框的重疊程度很高時,得分的減少會比線性加權更加平緩。因此本文采用高斯加權解決連續性問題,高斯加權如式(9)所示:

[si=si," " IoU(M,bi)lt;Ntsi1-IoU(M,bi)," " IoU(M,bi)≥Nt] (8)

[si=sie-IoUM,bi2σ] (9)

2.4" 整體檢測流程圖

本文采用改進后的YOLOv7算法進行齲齒檢測,整體檢測流程如圖5所示。

首先,通過采集口腔圖像,獲取包含齲齒的數據集;隨后,對改進的YOLOv7算法進行訓練,使其能夠準確地識別口腔圖像中的齲齒。在訓練過程中為了最大限度地恢復真實的口腔內部圖像,采用數據增強手段對訓練集進行增強,提高模型的魯棒性和泛化能力;接著對特征圖進行預測,通過模型對圖像中的齲齒目標進行有效識別,準確地定位和識別齲齒的位置和形狀;最后,采用soft?NMS算法對模型生成的目標候選框進行處理,優化檢測結果。soft?NMS算法通過調整候選框之間的重疊度,更精細地控制最終輸出的目標框,提高檢測結果的準確性。

3" 實驗與結果分析

3.1" 數據集

3.1.1" 數據集采集

本文實驗數據使用了在保定市第二醫院口腔科采集的包含800張齲齒口腔照片的數據集,用于拍攝的手機類型包括Honor 10X和HUAWEI Mate 40,拍攝之前未對拍攝過程中的照明條件、分辨率和曝光率等條件進行設置,所有圖像都是用智能手機拍攝的,未使用專業設備如反射器等。在拍攝時,患者盡可能要求平躺,張開口上頜咬合面與地板成90°~120°,對口腔中包含有齲齒的區域進行拍攝,拍攝上牙時,將手機攝像頭放在盡可能低的位置,從下到上拍攝;拍攝下牙時,采用從上到下拍攝。拍攝時,也借助常見工具,例如開口器進行輔助。

本文數據集來源于臨床診斷,并經過脫敏處理,取得患者同意。根據牙齒的形態特點及其功能的不同,牙齒可分為切牙、尖牙、前磨牙和后磨牙[16],位于中間的8顆是切牙,牙冠較薄,主要用于切割食物;切牙外側是尖牙,牙冠較為尖利,主要用于撕碎食物并送至口腔內部;尖牙外側較為粗大的是磨牙,磨牙分為前磨牙和后磨牙,主要用于磨碎食物,幫助消化吸收。本文所采集數據集包含所有類別,且每種類別數量均勻。圖片的標簽數據是在專業醫生的指導下采用LabelImg工具所標注的,LabelImg是開源的圖像標注工具,常用作圖像檢測、分割和分類任務的標注,標簽文件以XML格式保存。

3.1.2" 數據預處理

將在保定市第二醫院口腔科采集的包含800張齲齒口腔照片的數據集劃分為訓練集、測試集、驗證集,按6∶2∶2進行隨機劃分,其中訓練集480張、測試集160張、驗證集160張。

由于口腔圖像的復雜性,齲齒的病變區域和正常區域之間可能沒有足夠的對比,易受到牙漬、牙髓炎等其他干擾因素的影響,因此,為了最大限度地恢復真實的口腔內部圖像,采用數據增強手段對訓練集進行增強,提高訓練模型的泛化能力。圖像增強手段包括90°旋轉、180°旋轉、翻轉、調亮、調暗以及給圖像添加高斯噪聲等六種方式。通過數據增強方式,訓練集擴充到3 360張,驗證集和測試集保持不變。

3.2" 實驗平臺

本文使用的實驗平臺為 Ubuntu 20.04 LTS操作系統,CPU為Intel[?] Xeon[?] Gold 6248R,顯卡為NVIDIA GeForce RTX 3090,運行內存為24 GB,深度學習框架PyTorch 版本為1.13.1,CUDA版本為11.7。

3.3" 評價指標

本文通過精確率([P])、召回率([R])、[F1]得分([F1])、平均精度的均值(mAP)和平均檢測時間對齲齒的檢測性能進行評估,具體如式(10)~式(14)所示。

[P=TPTP+FP×100%] (10)

[R=TPTP+FN×100%] (11)

[F1=2PRP+R×100%] (12)

[AP=01PRdR×100%] (13)

[mAP=1ni=1nAPi×100%] (14)

式中:精確率[P]表示所有預測為齲齒的結果中,正確預測的比率;召回率[R]表示所有真正為齲齒的樣本中,被正確預測為齲齒的概率;[F1]得分表示精確率[P]和召回率[R]的綜合性能;平均精度的均值(mAP)衡量每類牙齒齲齒檢測率的平均好壞程度。

3.4" 網絡訓練結果分析

將YOLOv7算法與改進YOLOv7算法采用相同的實驗平臺進行實驗,對損失函數的收斂性和迭代過程中的mAP值變化進行對比驗證。圖6a)為兩種網絡mAP變化曲線,顯示了本文改進的YOLOv7算法能夠顯著提高對齲齒的檢測性能。圖6b)為損失函數值變化曲線,從圖中可以看出,兩種網絡都隨著迭代次數的增加最終處于一個收斂的狀態,但改進YOLOv7算法的損失函數值明顯比YOLOv7算法的損失函數值要小,穩定性也更高。

3.5" 消融實驗

為了驗證本文提出的改進方法對齲齒檢測效果的提升,在YOLOv7算法的基礎上進行了消融實驗,每一組實驗都采用相同的訓練策略,并設置相同的超參數,實驗結果如表1所示。

從表1中可以看出,每一種改進方法都提升了齲齒的檢測效果。將ECA注意力機制添加到YOLOv7算法主干網絡中,齲齒檢測精確率提高了1.8%,參數量幾乎沒有增加,這是因為ECA注意力機制結構中的自適應卷積核大小交互相鄰通道信息,使得ECA機制在不明顯增加內存開銷的情況下,能夠有效捕獲口腔圖像中容易被忽略漏檢的小目標齲齒。用MobileOne模塊替換YOLOv7算法主干網絡的ELAN模塊,平均檢測時間減少了43%,參數量減少了79%,精確率和mAP也均有增加。其原因在于模型訓練結束后,MobileOne將多分支結構進行重參數化為單分支結構,使模型更加簡單,參數量減少,推理速度更快。將ECA注意力機制添加到MobileOne模塊之后形成ECA?MobileOne網絡模塊,替換YOLOv7算法主干網絡的ELAN模塊,mAP比原始YOLOv7算法mAP提高了2.6%,參數量減少了77%。ECA注意力機制和MobileOne網絡模塊使模型展現出協同作用,提供了更高水平的性能。在頭部輸出層添加ASFF后,mAP提高了1.7%,檢測時間和模型參數量略有增加,都在允許范圍之內。采用soft?NMS函數替代原有的NMS算法,mAP提高了1.2%,模型參數量幾乎不變,準確率達到95.1%。這是因為soft?NMS算法代碼容易實現,不增加計算量,并且soft?NMS算法通過調整候選框之間的重疊度,可更精細地控制最終輸出的目標框。

3.6" 對比實驗

3.6.1" 注意力機制對比實驗

為驗證YOLOv7算法引入ECA注意力機制的有效性,將YOLOv7算法中分別引入ECA注意力機制、CBAM注意力機制和SE注意力機制進行對比實驗,實驗結果如表2所示。

從實驗結果可以看出,CBAM注意力機制相較于通道注意力機制對齲齒特征的提取能力較弱。SE和ECA都是通道注意力機制,但相比之下,ECA注意力機制通過引入一維卷積層來提高通道注意力,從而更高效地捕捉關鍵特征。因此在齲齒檢測過程中,將ECA注意力機制引入YOLOv7算法中,在增加的參數量較少的情況下,提升了齲齒檢測準確率。

3.6.2" 輕量化神經網絡對比實驗

為評估MobileOne網絡模塊對模型輕量化的影響,分別用MobileOne、MobileNetv3、ShuffleNetv2網絡替換YOLOv7算法的ELAN模塊,并在齲齒數據集上進行訓練對比,檢測性能如表3所示。

YOLOv7算法引入MobileOne網絡模塊后,參數量減少了79%,平均檢測時間減少43%,并且準確率、mAP以及[F1]值均高于其他兩種模型。YOLOv7算法的主干網絡中引入MobileOne網絡模塊,目標檢測性能明顯提升,可實現模型輕量化快速檢測。

3.6.3" 與其他算法對比實驗

為了更全面地驗證改進后的YOLOv7算法檢測齲齒的性能,將其與9種主流的目標檢測算法SSD、Faster R?CNN、YOLOv3、YOLOv5s、YOLOv7、YOLOv7?tiny、RTMDet?tiny、PP?YOLOEs、YOLOv8進行對比,實驗結果見表4。

從表4中可以看出,雖然改進YOLOv7算法與YOLOv5s、YOLOv7?tiny、RTMDet?tiny和PP?YOLOEs算法相比,參數量略有增加,但是其mAP明顯優于其他算法。與其他9種目標檢測算法相比,mAP分別提高了7.9%、8.9%、8%、7.7%、5.5%、13.8%、4%、12%、9.7%。在齲齒檢測精確率和權值大小的綜合考量方面較其他算法有明顯優勢,可以有效實現口腔中的齲齒檢測,使得在移動設備上的部署變得更為可行。

3.6.4" 不同類別牙齒檢測對比

為了進一步驗證改進YOLOv7算法對四種不同類別牙齒的齲齒檢測性能,將改進的YOLOv7算法對四種不同類別牙齒的齲齒檢測性能與SSD、Faster R?CNN、YOLOv3、YOLOv5s、RTMDet?tiny、PP?YOLOEs、YOLOv7、YOLOv7?tiny和YOLOv8進行了比較,數據集和實驗環境保持不變,實驗結果如圖7所示。

從圖7中可以看出,相比其他檢測模型,本文提出的改進YOLOv7算法對四種不同類別牙齒的齲齒檢測性能均表現出色,切牙的齲齒檢測AP為94.7%,尖牙的齲齒檢測AP為93.7%,前磨牙的齲齒檢測AP為92.9%,后磨牙的齲齒檢測AP為92.4%。結果進一步證實了本文提出的改進YOLOv7算法對每一種牙齒的齲齒檢測性能都有顯著提高,表明改進策略是行之有效的。

3.7" 實驗結果可視化分析

為了更直觀地感受改進YOLOv7算法的效果,圖8展示了YOLOv7算法與改進YOLOv7算法對不同類別牙齒檢測的結果。

圖8第一行為切牙的檢測對比圖,第二行和第三行為尖牙的檢測對比圖,第四行和第五行為磨牙的檢測對比圖,第六行是既有尖牙又有磨牙的檢測對比圖。從第六行的圖片可以看出,有多個牙患有齲齒時,改進YOLOv7算法能更好地減少檢測時出現漏檢等情況。從第三行、第五行的圖片可以看出,YOLOv7算法易受牙漬等因素的影響,改進YOLOv7算法更容易剔除這些影響,精準識別出齲齒,抗干擾性更強,魯棒性更高。從圖8可以看出,相較于YOLOv7算法,改進YOLOv7算法對每種類別牙齒的齲齒檢測能力均有所提升,有效地減少了漏檢和誤檢發生的次數。

4" 結" 語

深度學習在齲齒檢測領域的應用為口腔醫學帶來了新的機遇,利用目標檢測算法實現對齲齒的自動化檢測,不僅有助于節約醫療資源,降低醫療成本,還提高了治療效率和人們對齲齒預防的意識。本文提出的改進YOLOv7算法旨在精準地檢測口腔照片中的齲齒。在YOLOv7算法的主干網絡中引入ECA?MobileOne網絡模塊,減少了模型的參數量,提高了齲齒特征提取能力,進而提升小目標齲齒檢測效果。在頭部輸出層引入了自適應特征融合,這使得模型自適應地學習各尺度特征圖在融合時的空間權重,充分利用不同尺度的特征信息,從而提高了齲齒檢測的全局性和準確性。在后處理算法引入了soft?NMS算法替換原有的NMS算法,更好地調整了候選框之間的重疊度,有效改善了齲齒漏檢和誤檢的問題。實驗結果表明,改進后的YOLOv7算法對齲齒檢測的精確率更高,召回率也提高,漏檢和誤檢情況減少,模型大小滿足后續在移動設備的部署需求。為迅速普及和實施口腔醫療技術提供了可行性,為提升口腔健康水平做出了積極的貢獻。

注:本文通訊作者為姚竟發、滕桂法。

參考文獻

[1] FRENCKEN J E. The ART approach using glass?ionomers in relation to global oral health care [J]. Dental materials, 2009, 26(1): 1?6.

[2] 馮希平.中國居民口腔健康狀況:第四次中國口腔健康流行病學調查報告[C]//2018年中華口腔醫學會第十八次口腔預防醫學學術年會論文匯編.西安:中華口腔醫學會,2018:14.

[3] 曾泰.基于熒光效應的齲齒檢測系統的設計與實現[D].重慶:重慶大學,2021.

[4] PATIL S, KULKARNI V, BHISE A. Algorithmic analysis for dental caries detection using an adaptive neural network architecture [J]. Heliyon, 2019, 5(5): e01579.

[5] 張蓓蕾,畢錦桐,郭宇佳,等.基于遷移學習和模型融合的齲齒檢測[J].天津科技大學學報,2023,38(5):49?56.

[6] VINAYAHALINGAM S, KEMPERS S, LIMON L, et al. Classification of caries in third molars on panoramic radiographs using deep learning [J]. Scientific reports, 2021, 11(1): 12609.

[7] LI S H, LIU J L, ZHOU Z R, et al. Artificial intelligence for caries and periapical periodontitis detection [J]. Journal of dentistry, 2022, 122: 104107.

[8] KUHNSCH J, MEYER O, HESENIUS M, et al. Caries detection on intraoral images using artificial intelligence [J]. Journal of dental research, 2021, 101(2): 158?165.

[9] ZHANG X, LIANG Y, LI W, et al. Development and evaluation of deep learning for screening dental caries from oral photographs [J]. Oral diseases, 2022, 28(1): 173?181.

[10] THANH M T G, VAN TOAN N, NGOC V T N, et al. Deep learning application in dental caries detection using intraoral photos taken by smartphones [J]. Applied sciences, 2022, 12(11): 5504.

[11] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: Trainable bag?of?freebies sets new state?of?the?art for real?time object detectors [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 7464?7475.

[12] VASU P K A, GABRIEL J, ZHU J, et al. MobileOne: An improved one millisecond mobile backbone [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 7907?7917.

[13] HOU Q B, ZHOU D Q, FENG J S. Coordinate attention for efficient mobile network design [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 13713?13722.

[14] ZHANG R, SHI Y X, YU X Z. Pavement crack detection based on deep learning [C]// 2021 33rd Chinese Control and Decision Conference (CCDC). New York: IEEE, 2021: 7367?7372.

[15] BODLA N, SINGH B, CHWLLAPPA R, et al. Soft?NMS: Improving object detection with one line of code [C]// Proceedings of the IEEE International Conference on Computer Vision. New York: IEEE, 2017: 5561?5569.

[16] 陳世賢.法齒學概論[M].北京:北京大學出版社,1992.

主站蜘蛛池模板: 精品无码专区亚洲| 午夜国产精品视频黄| 九九久久精品免费观看| 91精品啪在线观看国产91| 女人18毛片水真多国产| 国产二级毛片| 国产精品自在在线午夜| 欧美成人a∨视频免费观看| 国产91在线免费视频| 91精品人妻一区二区| 国产真实乱人视频| 国产永久免费视频m3u8| 色综合激情网| 国产97公开成人免费视频| 国模私拍一区二区| 日韩精品中文字幕一区三区| 免费在线色| 欧美激情视频一区二区三区免费| 亚洲天堂在线免费| 日本一区二区三区精品视频| 日韩国产亚洲一区二区在线观看| 欧美无专区| 自拍偷拍欧美日韩| 久久精品国产91久久综合麻豆自制| 丰满的少妇人妻无码区| 天天躁日日躁狠狠躁中文字幕| 国产99在线观看| 视频二区中文无码| 欧美激情综合| 亚洲av无码久久无遮挡| 欧美伊人色综合久久天天| 久久久受www免费人成| 中文字幕伦视频| 国产精品自在在线午夜| 久久精品丝袜| 欧美日韩激情在线| 久久国产亚洲欧美日韩精品| 国产玖玖视频| 国产亚洲高清视频| 亚洲第一福利视频导航| 色亚洲激情综合精品无码视频| 天堂av综合网| 福利视频久久| 欧美特级AAAAAA视频免费观看| 白浆视频在线观看| 国产自在自线午夜精品视频| 色一情一乱一伦一区二区三区小说| 亚洲精品成人7777在线观看| 亚洲午夜福利精品无码| 亚洲人成网18禁| 亚洲国产第一区二区香蕉| 国产精品人人做人人爽人人添| 久久婷婷五月综合97色| 日韩国产另类| 国产福利免费观看| 久久精品91麻豆| 精品国产网| 亚洲日韩精品欧美中文字幕| 国产本道久久一区二区三区| av无码一区二区三区在线| 波多野结衣中文字幕一区二区| 91精品国产无线乱码在线| 国产网友愉拍精品| A级毛片高清免费视频就| 六月婷婷精品视频在线观看| 久久亚洲国产视频| 国产在线视频二区| 欧美黄网在线| 91精品久久久无码中文字幕vr| 国产欧美中文字幕| 黄色片中文字幕| 99热这里只有免费国产精品 | 午夜天堂视频| 九九热在线视频| 久久久久亚洲Av片无码观看| 4虎影视国产在线观看精品| 色偷偷av男人的天堂不卡| 国产精品久久自在自线观看| 日韩a级片视频| 亚洲高清中文字幕在线看不卡| 国产免费人成视频网| 69综合网|