基于改進YOLOv8s的膝骨關節炎自動診斷算法

摘要：膝骨關節炎是導致老年人活動能力受限和身體殘疾的主要原因之一，早期發現和干預對于延緩病情發展、改善患者的生活質量具有重要意義。針對現有膝骨關節炎診斷算法檢測精度低的問題，提出一種基于改進YOLOv8s的膝骨關節炎自動診斷算法。該算法提出一種改進的卷積塊注意力機制模塊（CBAM），使網絡能夠更加關注膝關節圖像的關鍵信息，提高膝骨關節炎的檢測精度；設計一種基于多尺度線性注意力的Focal"Modula-tion模塊，以提高網絡的多尺度特征表達能力。實驗結果表明，該算法在測試集上的平均精度均值為0.791，有效實現了膝骨關節炎的自動診斷。

關鍵詞：膝骨關節炎；YOLOv8s；Transformer；注意力機制

中圖分類號：TP242.2 """"""""""文獻標志碼：A """""""""文章編號：1674-2605（2024）06-0004-07

DOI：10.3969/j.issn.1674-2605.2024.06.004""""""""""""""""""""開放獲取

Automatic Diagnosis Algorithm for Knee Osteoarthritis Based on """"""Improved YOLOv8s

XIAO Junfeng DING Peng

（1.China National Petroleum Corporation Guangdong Sales Guangzhou Branch， Guangzhou 510000， China

2.School of Information Engineering， East China University of Technology， Nanchang 330000， China）

Abstract："Knee osteoarthritis is one of the main causes of limited mobility and physical disability in the elderly. Early detection and intervention are of great significance for delaying the progression of the disease and improving the quality of life of patients. Aiming at the problem of low detection accuracy of existing knee osteoarthritis diagnosis algorithms， a knee osteoarthritis automatic diagnosis algorithm based on improved YOLOv8s is proposed. This algorithm proposes an improved attention mechanism module （CBAM） of the convolution module， which enable the network to pay more attention to the key information of knee joint images and improve the detection accuracy of knee osteoarthritis; Design a Focal Modulation module based on multi-scale linear attention to improve the multi-scale feature representation ability of the network. The experimental results show that the average accuracy of the algorithm on the test set is 0.791， effectively achieving automatic diagnosis of knee osteoarthritis.

Keywords："knee osteoarthritis; YOLOv8s; Transformer; attention mechanism

0 引言

膝骨關節炎是一種常見的關節疾病，其典型癥狀主要表現為膝關節疼痛和活動受限^[1]。目前，我國60歲以上的老年人群中膝骨關節炎的發病率約為58%，而70歲以上的老年人群中這一比例高達75%^[2]。傳

統的膝骨關節炎臨床診斷主要依據膝關節X光影像確定其Kellgren-Lawrence（KL）分級，診斷的準確性依賴于醫生的專業知識和主觀判斷。據統計，約有20%的膝骨關節炎患者在首次就診時遭遇誤診或漏診^[3]，這不僅延誤了治療時機^[4]，還可能導致關節畸形

或殘疾^[5]。早期發現并及時治療可以延緩膝骨關節炎的發展。因此，開發一種能夠提高診斷準確性的膝骨關節炎自動診斷算法，對改善患者的治療效果具有重要意義。

隨著深度學習技術的快速發展，一系列成熟的卷積神經網絡（convolutional neural networks， CNN）分類模型，如ResNet、InceptionV3和DenseNet等，已被廣泛應用于醫學圖像分類任務中^[6-8]。文獻[9]提出一種基于深度學習的圖像分析方法，用于對混合型肝細胞癌的重新分類，能夠提高肝細胞癌的診斷準確性，降低誤診率。文獻[10]提出一種結合多尺度特征融合和注意力機制的方法，增強模型對腫瘤結構和形態特征的捕捉能力，實現對腫瘤及其周圍組織的更精確分割。文獻[11]提出一種融合VGG-16和ResNet50模型的改進型Faster R-CNN網絡，該網絡在處理特征不明

顯的眼底圖像時，檢測精度可達97.42%，提升了糖尿病視網膜病變篩查的效率和準確性。文獻[12]開發了一種基于眼底圖像的深度學習系統，實現了糖尿病視網膜病變進展的風險預警及時間預測。盡管深度學習技術在醫學影像分類領域取得了顯著成果，但在利用X光影像診斷膝骨關節炎的應用方面仍處于探索階段。

本文針對膝骨關節炎檢測精度低的問題，提出一種基于改進YOLOv8s的膝骨關節炎自動診斷算法。通過改進的YOLOv8s網絡結構，提高膝骨關節炎的檢測精度。

1 YOLOv8s網絡

YOLOv8s網絡主要由輸入端（Input）、主干網絡（Backbone）、頸部網絡（Neck）以及檢測頭（Head）4個部分組成，結構如圖1所示。

1） 輸入端：采用Mosaic數據增強策略，通過拼接不同的圖像，生成更多的訓練樣本，以豐富數據集。

2）"主干網絡：用C2f模塊替換傳統的C3模塊。C2f模塊的多分支結構增加了梯度回傳支路，使YOLOv8s網絡在保證模型輕量化的同時，獲得更加詳細的梯度流信息。

3） 頸部網絡：通過整合主干網絡提取的多尺度特征，實現對目標的精確識別。其設計思想源于YOLOv5的特征金字塔網絡（feature pyramid network， FPN）及自底向上的路徑聚合網絡（path aggregation network， PAN），增強了特征融合的效果。

4） 檢測頭：采用解耦頭結構，通過兩個獨立的分支，消除目標分類與邊界框預測回歸任務之間的沖突。

2 改進的YOLOv8s網絡

針對YOLOv8s網絡對膝骨關節炎檢測精度低的問題，本文對其結構進行如下改進：1）提出一種改進的卷積塊注意力機制模塊（convolutional block"atten-

tion module， CBAM），即采用基于Transformer架構的BiFormer注意力機制來改進CBAM，并在主干網絡和頸部網絡之間引入改進的CBAM，以提高檢測精度；2）設計一種改進的焦點調制（Focal Modulation）模塊，用于替換YOLOv8s網絡中的快速空間金字塔池化（spatial pyramid pooling fast，"SPPF）模塊，以提高多尺度特征的表達能力，進一步提升膝骨關節炎的檢測精度。改進的YOLOv8s網絡結構如圖2所示。

2.1 改進的CBAM

注意力機制通過權重調整來提升網絡對關鍵特征的識別精度，優化目標檢測模型的性能。CBAM通過通道注意力機制模塊（channel atten-tion module，"CAM）和空間注意力機制模塊（spatial attention module， SAM），動態地調整特征圖中各通道和空間區域的權重，以識別目標的通道和空間位置特征，其結構如圖3所示。

本文基于Transformer架構的BiFormer注意力機制來改進CBAM，改進的CBAM結構如圖4所示。

BiFormer注意力機制^[13]采用視覺Transformer架構，通過雙層路由注意力（Bi-level routing attention， BRA）來提升模型的計算效率和性能。首先，在粗粒度區域篩選與查詢無關的鍵值對，減少計算負擔；然后，在剩余的候選區域，應用細粒度的令牌對令牌注意力，實現更精確的信息處理。這種方法有效平衡了計算效率與模型性能。BiFormer的計算分為以下兩步：

1） 將圖像劃分為多個粗粒度區域，先通過自注意力機制模塊提取這些區域的特征，再計算每兩個粗粒度區域之間的相關性，構建一個關系矩陣；過濾掉最不相關的鍵值對，僅保留鍵值最大的K個元素；

2） 通過卷積操作進一步細化圖像，BiFormer注意力機制模塊主要由BRA模塊、深度卷積（depthwise convolutio，"DWConv）、多層感知機（multilayer perceptron，"MLP）和歸一化層（layer norm， LN）構成，其結構如圖5所示。

BRA模塊是BiFormer注意力機制模塊的核心組成部分，其通過將輸入圖像[H， W， C]劃分為S"× S個區域，并對每個區域進行線性映射，生成關鍵特征表示Q、K、V，計算過程如下：

2.2 改進的Focal"Modulation模塊

YOLOv8s網絡的SPPF模塊用于解決不同尺寸物體的檢測問題，其通過在主干網絡引入多尺度的SPP，有效地融合了不同尺度的特征信息。雖然SPPF模塊在多尺度特征融合方面表現出色，但對膝骨關節炎的檢測精度不佳。為此，本文利用多尺度線性注意力機制來改進Focal Modulation模塊，將全局感受野與多尺度學習相結合，提出一種改進的Focal Modula-tion模塊，用于替代SPPF模塊，以提升膝骨關節炎的檢測精度。

Focal Modulation模塊^[14]主要由分層上下文、門控聚合、逐元素仿射變換3個核心組件組成，結構如圖6所示。

分層上下文通過深度卷積有效地提取膝關節圖像的上下文信息，捕獲膝關節的局部細節和全局整體的結構特征，使網絡能夠在多個層次上解析圖像內容。門控聚合能夠篩選出與查詢令牌相關的關鍵信息，以提高對膝骨關節炎病變特征的關注。逐元素仿射變換將聚合后的信息輸入到每個查詢令牌中，在增強明確指示病變特征的同時，抑制可能干擾判斷的特征。

本文通過在Focal Modulation模塊中添加多尺度線性注意力模塊^[15-18]，提高Focal Modulation模塊的局部信息提取和多尺度學習能力。多尺度線性注意力模塊利用線性注意力機制實現全局感受野，并通過矩陣乘法的關聯屬性，將計算的復雜度從二次降低到線性。改進的Focal Modulation模塊結構如圖7所示。

3 實驗結果與分析

3.1 實驗準備

依據Kellgren-Lawrence（KL）分級標準，膝骨關節炎根據嚴重程度被劃分為5個等級（0～4級）^[19]。本文基于某醫院提供的膝關節X光影像，構建了一個包含9"786幅圖像的膝關節數據集。首先，利用Labelme軟件對這些圖像進行手工標注，即根據膝骨關節炎的5個等級分別標注為0、1、2、3、4；然后，將標注好的數據集按照9∶1的比例，隨機劃分為訓練集和測試集。

本實驗在Windows 10操作系統上進行，采用PyCharm集成開發環境和Python 3.8作為開發語言。網絡訓練采用的深度學習框架為PyTorch 1.7.1，CUDA版本為11.1。硬件配置方面：處理器為R7 3700X，圖形處理單元為Nvidia 3060Ti。

3.2 評價指標

為了評估本文算法在膝關節數據集上的有效性，采用準確率（precision）、召回率（recall）以及平均精度均值（mean average precision， mAP）作為評價指標。

準確率代表模型正確識別正類目標的能力，計算公式為

3.3 消融實驗

本文通過消融實驗驗證在YOLOv8s模型中引入改進的CBAM和改進的Focal Modulation模塊的有效性，結果如表1所示。

由表1可知：YOLOv8s模型在引入改進的CBAM后，mAP提高了0.020；在僅引入改進的Focal Modula-tion模塊后，mAP提高了0.016；在引入改進的CBAM"+改進的Focal Modulation模塊后，mAP提高了0.026，證明了改進的YOLOv8s模型有效提升了檢測精度。

將本文算法與7種目標檢測算法（EfficientDet、

RetinaNet、YOLOv4、YOLOv5、YOLOv7、YOLOXs、YOLOv8s）進行對比實驗，并采用mAP作為評價指標，實驗結果如表2所示。

由表2可知，本文算法的mAP比YOLO-v8s提高了0.026，且優于EfficientDet、RetinaNet、YOLOv4、YOLOv5、YOLOv7和YOLOXs算法，證明了本文算法的有效性。

為了更直觀地展示本文算法的檢測效果，對膝骨關節炎的檢測結果進行可視化處理，如圖8所示。

由圖8可知，本文算法能夠有效定位膝關節X光影像的病變區域，并準確地識別出膝骨關節炎的等級。

4 結論

本文提出了一種基于改進YOLOv8s的膝骨關節炎自動診斷算法。通過引入改進的CBAM，使網絡能夠更加關注膝關節圖像中的關鍵信息，從而提高膝骨關節炎檢測精度；引入改進的Focal Modulation模塊，提高了網絡的多尺度特征表達能力。經實驗驗證，該算法有效地提升了膝骨關節炎診斷的準確性。但膝關節X光影像的數據量較少，未來將通過遷移學習、自監督學習和無監督域自適應方法，進一步提高網絡在小樣本情況下的泛化能力。

?The author（s） 2024. This is an open access article under the CC BY-NC-ND 4.0 License （https：//creativecommons.org/licenses/ by-nc-nd/4.0/）

參考文獻

[1] 郭天賜，陳繼鑫，余偉杰，等.人工智能在骨關節炎診療中的應用進展[J].中國全科醫學，2023，26（19）：2428-2433.

[2] 黃霖，車圳，李明，等.人工智能在骨科疾病診治中的研究進展[J].山東大學學報（醫學版），2023，61（3）：37-45.

[3] Katz J N， Arant K R， Loeser R F. Diagnosis and treatment of hip and knee osteoarthritis： A review[J]. Jama， 2021， 325（6）： 568-578.

[4] TOSUN O， SINCI K A， BAYSAN C， et al. Phenotypic vari-ations in knee osteoarthritis： Insights from MRI and radio-graphic comparisons[J]. Skeletal Radiology， 2024：1-10.

[5] KINGER S. Deep learning for automatic knee osteoarthritis severity grading and classification[J]. Indian Journal of Ortho-paedics， 2024：1-16.

[6] SARWINDA D， PARADISA R H， BUSTAMAM A， et al. Deep learning in image classification using residual network （ResNet） variants for detection of colorectal cancer[J]. Procedia Computer Science， 2021，179：423-431.

[7] KV S， SELVI S， NANDA P， et al. Deep learning approach to nailfold capillaroscopy based diabetes mellitus detection[J]. 2022 International Journal of Online and Biomedical Engi-neering （iJOE）， 2022，18（6）：95-109.

[8] JIANG H， YIN Y， ZHANG J， et al. Deep learning for liver cancer histopathology image analysis： A comprehensive survey [J]. Engineering Applications of Artificial Intelligence， 2024， 133：1-22.

[9] CALDERARO J， SERAPHIN T P， LUEDDE T， et al. Artifi-cial intelligence for the prevention and clinical management of hepatocellular carcinoma[J]. Journal of Hepatology， 2022，76（6）： 1348-1361.

[10] ZHU P， WANG C， SUN Z， et al. Segmentation of"liver cancer pathology images based on multi-scale feature fusion[C]//"Proceedings of 2021 Chinese Intelligent Systems Conference： Volume III. Springer Singapore， 2022：596-605.

[11] DAI L， SHENG B， CHEN T， et al. A deep learning system for predicting time to progression of diabetic retinopathy[J]. Na-ture Medicine， 2024， 30（2）： 584-594.

[12] SANDLER M， HOWARD A， ZHU M， et al. Mobilenetv2： Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recog-nition， 2018：4510-4520.

[13] ZHU L， WANG X， KE Z， et al. Biformer： Vision transformer with bi-level routing attention[C]//Proceedings of the IEEE/ CVF Conference on Computer Vision and Pattern Recognition， 2023：10323-10333.

[14] YANG J， LI C， DAI X， et al. Focal modulation networks[J]. Advances in Neural Information Processing Systems， 2022，35： 4203-4217.

[15] CAI H， LI J， HU M， et al. Efficientvit： Multi-scale linear attention for high-resolution dense prediction[J]. arXiv pre-print arXiv：2205.14756， 2022.

[16] 來春慶，黃勇，朱喆，等.基于特征融合多尺度卷積網絡的光伏組件紅外圖像故障診斷[J].機電工程技術，2023，52（9）："145-151.

[17] 周慶輝，葛馨遠，孫崢，等.融合少樣本學習與注意力端到端網絡的小目標在線檢測研究[J].機床與液壓，2024，52（17）："130-135.

[18] 趙彥龍，鐘震宇.基于注意力機制的異常行為識別方法[J].自動化與信息工程，2023，44（3）：17-22.

[19] QUICKE J G， CONAGHAN P G， Corp N， et al. Osteoarthritis year in review 2021： Epidemiology amp; therapy[J]. Osteoarthri-tis and Cartilage， 2022，30（2）：196-206.

作者簡介：

肖軍峰，男，1982年生，高級政工師，主要研究方向：目標檢測。E-mail："gdxiaojf@petrochina.com.cn

丁鵬（通信作者），男，1992年生，博士研究生，副教授，主要研究方向：計算機視覺、深度學習和視覺導航。E-mail："202460055@ecut.edu.cn