深度學習在脊柱圖像分割中的應用綜述

姜百浩，劉靜，仇大偉，姜良

（山東中醫藥大學智能與信息工程學院，山東 濟南 250355）

0 引言

骨性結構對脊柱的壓迫是脊柱疾病的主要致病因素［1］。脊柱疾病作為常見病、多發病，病患數量多，醫生對脊柱圖像分割、診斷的任務重、工作量大；同時由于脊柱生理結構的復雜性，醫生診斷會受到臨床經驗的影響，使得分割結果存在誤差，產生誤判。誤判不僅會影響分割結果的準確率和后續的治療過程，還容易引起不必要的醫患矛盾。

傳統圖像分割方法主要是基于閾值的方法、基于邊緣的方法、基于區域的方法、基于特定理論的方法等，此外還可以通過直接確定區域間的邊界來實現圖像分割。傳統的分割方法只能對灰度圖像進行分割處理，導致應用受到限制；其次分割過程往往取決于醫生的先驗知識，例如閾值法中選取閾值、區域生長法中選取種子點等，會導致結果受到主觀因素影響［2］；最重要的是分割的精度和效率很難達到實際應用的效果。

深度學習模型是一種模仿人類大腦內部神經連接的結構模型，能夠準確地對圖像中關鍵信息由低級到高級進行多層次的特征提取，提取過程中對檢測到的信息給予描述并反饋數據解釋，方便探索圖像蘊含的更深層次的特征信息，從而達到精準、高效的圖像分割效果［3］。將深度學習算法引入到醫學圖像分割中，能夠發揮深度學習算法學習能力強、對圖像具有良好的非線性映射能力等優點，在彌補傳統分割方法提取圖像特征信息耗時長、精度不足的同時，可以更加精準地表達出脊柱圖像深層次的關鍵信息，獲得更好的圖像分割效果［4］。

自深度學習模型出現以來，圖像分割技術取得了巨大的研究進展［5］。卷積神經網絡（CNN）模型和U 型網絡（U-Net）模型作為最常見且分割效果較好的兩種深度學習網絡模型，在脊柱圖像分割領域已被廣泛應用。本文以這兩種網絡模型為核心，從算法模型、圖像類型、分割效果等方面編寫深度學習在脊柱圖像分割方面的應用綜述。

1 常見的脊柱疾病類型

脊柱疾病是指脊柱的骨質、椎間盤、韌帶、肌肉等一系列組織發生病變，進而壓迫、牽引、刺激脊髓、脊神經、血管、植物神經等出現的復雜多變的病狀。脊柱疾病依據形態學、頸椎曲度變化和椎間關節是否穩定可以分為以下幾類：損傷類疾病，即椎體骨折；脊柱腫瘤、脊柱結核；退行性疾病，即腰椎間盤病變等；代謝疾病，如骨質疏松；內分泌、免疫系統疾??；脊柱畸形、脊柱側彎等。目前臨床診斷上，脊柱畸形、退行性疾?。囱甸g盤突出）以及脊柱腫瘤等脊柱疾病類型的發病率高且診斷難度大，受到越來越多的關注。

1.1 脊柱畸形

脊柱畸形是指脊柱在冠狀位、矢狀位或橫斷位上偏離正常位置［6］。形態學上，脊柱畸形的臨床表現根據病因可分為原發性脊柱側彎、特發性脊柱側彎、神經性脊柱側彎等。

以往研究表明，在椎骨節段，脊柱畸形的發病率較高。椎骨的精準分割是定位病灶區域、合理選擇手術方案的前提，因此，如何精準高效地實現椎骨的分割至關重要。影響椎骨準確分割的因素通常包括：1）椎骨分為L1～L5 節段，各個節段的椎骨在形態學上具有很高的相似性，不利于單個節段的椎體分割；2）椎骨的正常圖像和病理圖像的相異性較小，判斷容易失誤；3）圖像采集過程中分辨率低、可見視野窄等情況會影響圖像的質量，影響分割結果。

將深度學習算法引入椎骨分割中，發揮其自適應性強、提取關鍵信息準確的優點，能夠更好地提取椎骨病灶區域信息，完成對椎骨的準確分割。

1.2 退行性疾病

退行性疾病是腰椎退變引起的一系列改變，文獻［7-8］介紹了退行性疾病的主要類型，包括腰椎管狹窄、腰椎間盤突出、腰椎滑脫或者腰椎退變性不穩、腰椎退變性側彎以及其他癥狀或者癥候群等。

腰椎間盤突出癥是退行性疾病中最為典型的一種，在臨床診斷中面臨著眾多挑戰，尤其在圖像分割過程中。腰椎間盤有著多個節段并且多個節段都會發生突出，其中腰椎、骶骨等節段發生突出的概率較高。從眾多節段中找到與病癥最相關的節段是治療腰椎間盤突出最關鍵的環節。基于深度學習的方法進行椎間盤圖像的分割，不僅可以彌補傳統方法耗時長、精度差的不足，而且還能夠幫助醫生做出更準確的診斷，降低誤報率。

1.3 脊柱腫瘤

脊柱腫瘤是常見的腫瘤之一，通常發生于骨骼和骨髓的內部及其周圍。文獻［9-10］介紹了脊柱腫瘤，指出脊髓及其周圍區域形成的腫瘤迅速生長會導致患者出現疼痛、癱瘓等并發癥，情況嚴重的甚至影響患者的生活質量。

近四十年來，脊柱腫瘤發病率呈爆炸式增長，引起了更多的關注和研究。文獻［11-12］介紹了脊柱腫瘤的治療，提出了全脊柱切除術。經過不斷地改進、發展，目前該技術能夠徹底清除脊柱結構上的腫瘤塊，并減少腫瘤周圍組織的感染范圍，對脊柱腫瘤患者神經損傷和術后康復具有重要的臨床意義。

合理設計手術方案、選擇手術療法的前提是準確找到脊柱腫瘤的發病位置，即找到病灶區域再進行診斷分析。因此，如何精準、快速、有效地分割脊柱腫瘤圖像至關重要。

以往的實驗數據顯示，基于深度學習對脊柱圖像分割的方法能夠提取深層的特征信息，且準確率、精度以及分割效率等實驗結果相較于傳統方法有明顯的提升［13］。充分發揮深度學習技術圖像特征提取能力強、模型精度高等優點，逐漸成為了當前脊柱腫瘤圖像分割的主流方向。

2 脊柱圖像分割

脊柱圖像分割是對電子計算機斷層掃描（CT）、核磁共振成像（MRI）等圖像中的脊柱區域進行分割，將脊柱圖像中與檢測內容相關的特征數據進行提取、表達和反饋，再將圖像中感興趣的脊柱區域分割出來。當脊柱圖像中有效的特征區域被分割出來后［14］，分割將停止。最后結合三維重建、可視化等技術，幫助醫生更直觀、準確地觀察患者的病變區域。

2.1 常用的公開數據集

深度學習模型通常具有巨大的參數量，需要規模龐大的數據集來避免模型過度擬合。脊柱圖像分割常用的幾種公開數據集如表1 所示。

表1 數據集信息Table 1 Dataset information

在公開數據集上重復進行訓練會影響模型對測試結果的準確性，導致數據分析出現誤差。因此，研究者還會使用一些內部數據集用于模型的測試，確保實驗結果的準確性。此外，對脊柱圖像分割之前，通常會進行水平或垂直翻轉、平移縮放等預處理操作來擴充實驗數據，并且為防止圖像邊緣分割模糊，研究者會對圖像邊緣進行標注處理，然后由醫生驗證是否準確，從而確保數據集的質量。

2.2 脊柱圖像分割方法及流程

深度學習算法通過多層特征提取，從原始輸入中逐漸提取更高級別的特征來實現有監督、半監督或無監督的圖像處理［15］，從而實現自動分割或者半自動分割，提高分割效率；通過改善傳統圖像分割邊緣模糊、圖像類型匹配受限以及目標器官與背景之間對比度較低或相似度較高的情況下分割不精準等問題，來提高圖像的分割質量［16］。

脊柱圖像分割通常采用CT 和MRI 圖像作為待處理的病理圖像，基于脊柱第一中心點進行切塊處理，生成平滑處理曲線，同時基于第一中心點和脊椎的初始切割框，計算得到脊椎中不同脊椎類型對應的第一距離均值；之后依據平滑處理曲線和第一距離均值，生成目標切割框；再采用目標切割框，基于第一中心點對脊椎進行切塊處理，得到脊椎圖像切塊；最后通過二值分割處理得到二值分割結果，利用分割結果和之前的標簽信息就能得到更多分割結果信息。

2.3 脊柱圖像分割評價指標

研究者在圖像分割中通過使用一些精確衡量分割效果的評價指標來反映分割網絡模型的工作性能，從而分析該模型的優缺點。常用的圖像分割評價指 標如表2 所示，其中，TP、FP、FN和TN分別表示分割任務中像素真陽性、假陽性、假陰性和真陰性的數量［17］。

脊柱圖像分割的評價指標可以幫助醫生更直觀地對脊柱圖像進行分析診斷。不同的評價指標能反映出分割效果的各個方面，例如：DSC 對圖像分割的內部區域效果明顯；HD 對圖像外部輪廓反映的效果更好；IoU 對分割邊緣具有更準確的判斷。雖然在脊柱圖像分割效果評定方面，DSC 的評估意義更具有參考價值［19］，但采用多種指標對分割結果進行綜合評價，能夠更全面地體現脊柱圖像中的關鍵信息，更合理地對整體分割結果進行評估。

3 深度學習在脊柱圖像分割中的應用進展

基于深度學習方法的脊柱圖像分割能夠準確地描繪出圖像中蘊含的關鍵特征信息，逐漸成為了圖像分割領域中首選的方法［20］。脊柱圖像分割中的神經網絡模型大多是在CNN 模型和U-Net 模型的基礎上對算法和模型結構進行改進，并不斷地提升分割效果。CNN 模型的設計理念是受到動物視覺皮層結構的啟發，通過考慮像素的空間位置，加上人工設定的感興趣程度，從而做到權重共享。該模型無須提取手工工藝特征即可顯著提高分割精度，實現對脊柱圖像信息的高效提取和精準分割。U-Net 模型在脊柱圖像分割方面也具有許多優點，例如：可同時處理脊柱圖像中全局和局部語義信息；在訓練集較少的情況下，依然可以獲得很好的實驗分割結果；端到端的結構特性使得網絡可以保存輸入的脊柱圖像的全部語義信息。這些優點使得U-Net 模型更適合處理數據集較少情況下的脊柱圖像分割問題。上述兩種模型相比傳統分割方法不僅能夠提高目標邊緣檢測的精準度，而且對提取目標輪廓的準確率也有很大改善。

將傳統方法與深度學習算法相結合也可以獲得良好的實驗效果，例如文獻［21］使用馬爾可夫隨機場（MRF）來推斷脊柱圖像分割，通過黎曼流形嵌入對之前變形的復雜非線性模式進行建模，在提高魯棒性的同時節省了存儲空間。由此可見，傳統脊柱圖像分割方法與深度學習方法相結合能夠快速且精準地完成分割任務。

3.1 CNN 模型在脊柱圖像分割中的應用

CNN 模型具有深度特征提取能力以及較強的自適應性，在臨床上的實用性較高并且能夠有效地輔助醫生診斷，因此被稱為專為圖像分割而設計的算法模型。

3.1.1 基于CNN 模型的椎骨圖像分割

精準的椎體分割可以為脊柱圖像的分析和干預提供良好的基礎，相較于傳統的圖像分割方法，基于深度學習的方法可以增強圖像分割效率和精準度，提高醫生的診斷效率［22］。

CNN 模型雖能很好地提取目標特征信息，但無法兼容不同大小的尺寸輸入；同時缺乏對圖像本身的全局理解，無法建立起特征之間的依賴關系，不能充分采用上下文的關鍵信息。為了較好地保留圖像的空間信息，并且實現圖像像素級的分類，文獻［23］提出全卷積神經網絡（FCN），用卷積層代替全連接層，減少了模型訓練所需要的參數量，從而降低了過度擬合的可能性。FCN 結構如圖1 所示。

圖1 FCN 模型結構Fig.1 FCN model structure

FCN 模型使用編碼器-解碼器的網絡結構進行多次下采樣，以犧牲空間分辨率為代價來提取局部或全局特征，分割效果好且效率高；但由于感受野受限，而感受野的大小又是提取局部信息甚至全局信息的關鍵，因此對圖像的邊緣信息分割模糊。目前對脊柱圖像分割的研究大多是基于FCN 模型改進的，FCN 模型的提出對脊柱圖像分割領域具有里程碑式的意義。

文獻［24］提出一種能夠高效檢測椎骨的深入前饋神經網絡，但該網絡因較大的定位誤差未得到廣泛推廣。文獻［25］提出一種聯合卷積神經網絡（J-CNN），利用隨機森林算法來定位椎骨。相較于文獻［24］提出的模型，J-CNN 模型在準確率上具有較大的提升，但耗時過長導致效率較低。文獻［26］提出一種自動脊柱水平識別（SPIDE）系統。該系統不使用外部跟蹤裝置，對椎骨分割的準確率為88%，但手動調優的缺點使其在臨床上的推廣受到阻礙。

為更好地實現臨床應用，文獻［27］提出CNN 和FCN 混合的全自動CT 脊柱分割方法，該方法在提升效率的同時精度達到99%，缺點是計算冗余較大，成本過高并且每次分割只能對單個椎骨圖像進行分割。文獻［28］通過級聯定位FCN 與分割FCN 的方法對脊柱CT 圖像進行分割，所提模型DSC 為95.77±0.81%，多個FCN 使此模型存在著大量參數，解決了從不同視野獲取的CT 圖像中分割椎骨這一挑戰性難題。

隨著CNN 模型的不斷改進，出現了許多基于迭代CNN 的算法。文獻［29］通過引入3D CNN 來標記分類過的椎骨，使用迭代程序，按順序對椎骨逐個分割和識別。文獻［30］提出一種具有良好泛化能力的椎體實例分割模型，相較于文獻［29］方法，該模型降低了17%的內存占用，實現了更好的經濟內存使用，可以更準確地提供圖像的分割信息，適合應用在一些臨床軟件項目上。文獻［31］利用監督深度學習方法進行全自動高分辨率3D 分割，所提方法不需要進行任何預處理，可以在1 min 內高效地分割3D 圖像數據，在腰椎CT 圖像數據集上的準確率高達99.80%，此外，該方法可以很方便地應用于基于U-Net 架構的分割方法，具有良好的泛化性能。文獻［32］利用多尺度神經網絡對脊柱的MR 圖像進行分割，所提模型DSC 為95.10%，相較于U-Net 模型提高了1.3 個百分點，證明了該模型的有效性。文獻［33］提出的深度學習算法可以自動檢測MR 圖像中的腰椎，并對椎體進行定位和分類，分割準確率和精度分別為98.6%和98.9%，其與文獻［34］對特定椎體（L1～L5 腰椎椎體以及S1 骶骨的第一個椎體）的檢測精度的比較如表3 所示，結果顯示，文獻［33］方法的精度在L1～L5 椎體上相較于文獻［34］方法有所提升，并且實現了腰椎MRI 圖像的自動化檢測、分類和分割。

表3 特定椎骨檢測精度比較Table 3 Precision comparison of specific vertebrae detection %

文獻［35］提出一種能夠在椎體和椎間盤的各類圖像中自動且快速分割的深度學習模型，該模型分割的放射量很準確，DSC 中位數大于0.95%，平均產出時間少于1.7 s，能夠快速地將圖像信息輸出，可以用于健康脊柱的臨床成像研究，但無法捕獲嚴重脊柱側凸患者的單個切片上的所有椎骨，因此在某些網絡模型架構下應用受到了限制。

目前基于CNN 模型的椎骨圖像分割方法在準確率和精度方面都達到了很高的水準，基本符合人們對深度學習在椎骨圖像分割中的期望，但由于CNN 的卷積是固定的，不能動態地適應輸入的變化，無法完整捕捉椎骨復雜的形態結構；此外，椎體的彎曲受損程度也會影響單一甚至全部椎體病灶區域的分割。因此，未來的研究方向應是在不考慮椎骨側彎嚴重程度的基礎上，準確、高效地對單張切片上所有的椎骨進行高精度分割。

3.1.2 基于CNN 模型的椎間盤圖像分割

椎間盤的分割對于椎間盤病變的檢測及分析具有重要意義，從醫學圖像中準確分割病變的椎間盤是臨床診斷和制定治療計劃的前提。

文獻［36］提出二維自動主動形狀模型（2DAASM），彌補了傳統主動形狀模型（ASM）耗時、易受主觀性影響等不足，分割精度和效率有了明顯提升。文獻［37］介紹的3DFCN 模型用于椎間盤高維體積數據的定位和分割任務，在視覺上可以生成平滑的分割效果，與2DFCN 相比，三維網絡模型的分割性能更好。文獻［38］介紹了一種三維多尺度FCN（MsFCN），其結構框架如圖2 所示。

圖2 MsFCN 框架Fig.2 MsFCN framework

MsFCN 模型具有較高的分辨能力，同時緩解了自適應問題，通過高階特征信息之間的相互融合來增強網絡處理解剖結構尺度變化的能力，平均DSC達到91.2%，證明了模型的有效性和可行性。盡管該方法在許多情況下取得了令人滿意的效果，但也存在不足，例如在分割的開始和結束部分，由于椎間盤模糊和噪聲的影響，分割效果較差。未來的研究應考慮如何更好地利用去模糊化、圖像歸一化等圖像處理方法解決此類問題。文獻［39］提出一種深度學習分割網絡MOM-RCNN，其對263 名患者的椎間盤MRI 圖像進行分割，靈敏度為88%，特異性為98%，但圖像維度因素的影響使計算受到了限制。

對椎間盤圖像分割時，可以考慮將無監督學習和監督學習相結合，同時優化已有的算法，例如將二維圖像轉變為引入位置信息的三維圖像，或是將單模態和多模態之間的信息相融合，以便更好地將深度學習方法應用于椎間盤圖像的分割。

3.2 U-Net 模型在脊柱圖像分割中的應用

雖然FCN 模型在脊柱圖像分割的精度上已經有了大幅度的提升，但訓練速度較慢，不能完全滿足醫學領域對于圖像分割精度和效率的嚴格要求。為解決神經網絡訓練速度慢的問題，文獻［40］對FCN 模型結構進行改進，提出U-Net 模型，其結構如圖3所示。

圖3 U-Net 模型結構Fig.3 U-Net model structure

U-Net 模型是對稱結構，其通過跳躍連接的方法將編碼器和解碼器上提取的特征充分融合，在小型數據集中的分割表現十分優異；同時它也是一種開源的體系結構，對脊柱圖像分割方面的研究很有幫助［41］。

3.2.1 基于U-Net 模型的椎骨圖像分割

在文獻［40］提出U-Net 模型后，許多研究對U-Net 模型進行改進，并應用于脊柱圖像分割。文獻［42-43］用三維圖像代替二維圖像對原始的U-Net模型進行改進，分別提出3DU-Net 模型和V-Net 模型，2 個模型的結構如圖4、圖5 所示。3DU-Net 模型能夠半自動或全自動地從稀疏標注中分割三維圖像體積。V-Net 模型通過引入基于Dice 系數的新損失函數，解決了背景和前景像素之間數量不平衡的問題。這兩種改進的U-Net 模型都在在一定程度上提升了三維醫學圖像的分割精度，在后續的實驗中發揮了重要作用。

圖4 3DU-Net 模型結構Fig.4 3DU-Net model structure

圖5 V-Net 模型結構Fig.5 V-Net model structure

文獻［44］提出了能夠聚合不同區域上下文信息的PSPNet 模型，解決了原始U-Net 模型上下文信息丟失的問題，但分割精度略顯不足。文獻［45］提出一種將Dense 模塊引入到U-Net 編碼器-解碼器結構中來處理語義分割的方法，解決了PSPNet 模型分割精度差的問題。

文獻［46］提出Attention U-Net 模型，引入的注意力機制可以突出圖像信息的顯著特征，提高U-Net模型在不同的數據集和訓練模型下的分割性能。文獻［47］利用深度監督方法提出了具有高度靈活特點和快速推理能力的UNet++模型，其結構如圖6 所示。UNet++模型在原始U-Net 模型的基礎上增加了許多跳躍連接路徑和上采樣卷積塊，將多尺度特征與上采樣提取的特征進行融合，使得水平方向上每層尺度特征都能得到連接，彌補了編碼器和解碼器之間的語義鴻溝。

圖6 UNet++模型結構Fig.6 UNet++model structure

文獻［48］使 用U-Net、Dense-U-Net 和Residual U-Net 等多種深度神經網絡對椎體X 線片圖像進行分割，對分割結果的定量評價如表4 所示。實驗結果表明，殘差U-Net 對椎骨分割的響應速度更快且分割結果更接近金標準。

表4 不同深度神經網絡模型對椎體圖像的分割性能Table 4 Segmentation performance of vertebral body image by different depth neural network models

文獻［49］利用U-Net模型對脊柱X 線片圖像進行分割，結果表明，醫生和系統對圖像分割的結果之間無統計學差異，且平均偏差非常小，該模型實現了對腰椎X 線片圖像分割的同時，能夠自動測量Cobb 角，為醫生提供準確、客觀的分割結果。文獻［50］將N-Net 網絡用于椎體分割，在3DFCN 的基礎上引入殘余結構和跳躍連接，分割結果的DSC 達到95%。文獻［51］提出同時對多模態MRI 中多個脊柱結構進行三維語義分割的網絡模型S3egANet，該模型DSC 為88.3%，特異性指標為91.45%，充分顯示了其臨床有效性。

文獻［52］提出了一種具備全尺寸跳躍連接和深度監督優勢的全尺度連接U-Net——U-Net 3+，通過減少網絡參數來提高運算效率。文獻［53］在文獻［51］模型中引入注意力機制，提出ANU-Net模型。注意力機制可以聚集整個圖像上的目標器官，不僅能大幅縮短訓練時間，獲取更重要的病灶數據信息，而且對模型的分割精度和靈敏特性也有顯著提高。文獻［53］提出的ANU-Net 模型，通過判斷注意力的分布情況，著重表達某個關鍵的輸入來突出特征的關鍵信息。此外，該模型還具有嵌套的U-Net 結構，可以集成不同等級的特征信息，有效提升了網絡分割精度［54］。文獻［55］方法使用U-Net模型對脊柱CT圖像進行分割，DSC 為90.4%，精密度為96.81%，驗證了該方法的臨床意義和可靠性。文獻［56］提出了新的卷積模塊代替標準的卷積來進行特征提取，使用MCW1-Net 作為編碼器，利用DenseX-Net 進行特征融合，獲得了準確的分割結果，但分割精度和DSC 之間存在沖突，阻礙了該方法在臨床上的應用。文獻［57］引入多尺度特征提取模塊構建MA-UNet模型，在降低網絡結構復雜性的同時提高了模型的分割性能。

3.2.2 基于U-Net 模型的椎間盤圖像分割

基于U-Net 模型簡單、高效、可完成圖像像素級分割的特點，可以對椎間盤圖像復雜的特征信息進行提取和分割。利用傳統的U-Net 模型進行圖像分割存在冗余大以及分割、定位精度不可兼得的缺點，為此，許多研究對U-Net 模型進行了改進。文獻［58］提出了使用2 個不同尺度擴張卷積的卷積塊來擴展初始模塊，得到IVD-Net 模型，該模型的編碼部分采用多個路徑之間緊密連接的形式，每個路徑分別處理單個模塊，有效地利用來自多個圖像模式的信息進行分割，提高了分割性能。文獻［59］提出一種基于級聯學習方法的BSU-Net 模型對椎間盤的MR 圖像進行分割，該模型克服了U-Net 模型最大池化層的局限性，并且對椎間盤以及邊界的分割精度也有明顯的提升。文獻［60］通過將殘差網絡中“捷徑”的概念引入U-Net 模型，完成對椎間盤圖像的分割。殘差網絡的概念最早是由文獻［61］提出的，通過引入殘差塊可以解決深層網絡產生的梯度消失、網絡爆炸問題以及圖像分割時所產生的退化問題，從而提高深層網絡的表現性能。該方法實現了椎間盤的全自動分割，準確率達到95.73%，缺點是無法同時對全部的椎間盤圖像進行分割。為解決此類問題的不足，文獻［62］提出了MultiRes U-Net 模型，該模型實現了全部椎間盤的自動分割，且分割精度良好。

從以往基于U-Net 模型的實驗結果來看，U-Net模型并非FCN 模型那般融合粗略的語義信息和精細的外觀信息，而是通過跳躍連接更好地融合精細的語義信息，更像是一個輕量級網絡模型，更適合于脊柱圖像的分割工作。目前基于U-Net 模型的部分創新和改進如表5 所示。

表5 U-Net 模型的改進思路Table 5 Improvement ideas of U-Net model

傳統的U-Net 模型只注重分割精度的提升而忽略了卷積層數，導致計算量過大，嚴重影響運算效率。對此，研究者提出了MECAU-Net，在編碼器部分采用2×2 偶數卷積代替3×3 卷積，結合空間和通道注意力機制，在保證特征信息提取的同時，大幅降低了計算成本?？斩淳矸e可以獲得更大的感受野，從而提升目標檢測和語義分割的精度效果；殘差網絡則可以解決網絡層數增大而導致的梯度爆炸或梯度消失等情況；多尺度特征融合網絡可以更好地融合深層和淺層的信息，為語義分割提供更好的效果?；赨-Net 模型將多尺度和空洞卷積相結合，即DeepLabv3+，可以在更多的感受野下提取圖像的深層信息和淺層信息，對邊緣分割具有良好的效果。為了解決前景和背景像素不平衡的問題，研究者在U-Net 模型基礎上引入新的目標函數，提出V-Net 用于分割三維圖像。U-Net++則對U-Net 的跳躍連接進行了改進，平衡了過量參數和網絡深度之間的關系?；赨-Net++模型，將不同尺度特征圖的深層信息和淺層信息相結合，即UNet 3+。UNet3+利用全尺度跳躍連接和深度監督融合不同尺度、不同層次的特征信息，并引入分類引導模塊損失函數，可以抑制背景區域的過度分割。然而，UNet 3+和V-Net都存在龐大的參數量，限制了其使用范圍；U-Net 和U-Net 3+都無法獲取圖像的全局特征，對邊緣檢測結果較為模糊，而改進后的注意力模塊和點采樣可以彌補邊緣模糊的不足。

目前U-Net 的改進思路較為單一，例如加深卷積層數、建立殘差連接或者引入多尺度注意力機制，大多都是關于編碼器的改進，忽略了跳躍連接和解碼器部分以及龐大的計算冗余。在時間就是生命的醫學環境下，要注重輕量化網絡的重要性，可以采用一層一回傳的跳躍連接方式，最大程度地將編碼器采樣的信息傳給解碼器，避免重要的信息丟失。

隨著深度學習算法在國際上的影響力不斷擴大，國內許多學者對CNN 模型和U-Net模型進行了改進，模型改進方法以及分割結果的Dice系數如表6所示。

表6 國內基于深度學習對脊柱圖像分割的研究Table 6 Research on spinal image segmentation based on deep learning in China %

從多個方面對神經網絡模型的改進方法和實驗結果進行詳細的總結歸納，如表7 所示。目前大多數脊柱圖像分割實驗只采用DSC 作為評價指標，顯示出該指標的對于評價分割效果的重要意義；DSC對圖像內側敏感，而采用HD、IoU 等指標評價可以更好地反映出模型對脊柱圖像外側、輪廓等的分割效果，因此，部分實驗會采用多種評價指標來全面分析分割效果。

表7 不同研究中U-Net 模型的圖像分割性能對比分析Table 7 Comparative analysis of U-Net models' image segmentation performance in different researches %

目前深度學習在算法以及應用上都較為成熟，但也存在著某些限制，例如對脊柱圖像邊緣信息的分割精度低、對三維圖像的特征信息獲取能力不足以及運算時間長、模型占用空間內存大等。此外，脊柱圖像分割的淺層語義信息通常摻雜冗余信息較多，在分割病灶區域與周圍背景或者其他組織器官的對比度較低時，分割效果達不到實際效果。

針對圖像邊緣分割精度不足的問題，可以采取以下幾種方法進行改善：

1）在預處理環節中進行降噪和圖像增強操作，在實際代碼操作中通過乘法或平方的方式來提升圖像邊緣較弱的像素梯度，通過放大像素值之間的差距，使圖像邊緣部分的像素值的梯度變大，從而實現精準的圖像邊緣檢測分割。

2）在U-Net3+模型的全尺度特征融合過程中引入注意力門并且使用點采樣方法，通過特征疊加的方式整合不同層次的特征，利用注意力機制關注特征信息，采用分類引導模塊抑制過度分割，同時利用多尺度結構相似性指數（MM-SSIM）損失方便為模糊邊界分配更高的權重，從而提高邊緣分割的精度。

3）多尺度特征融合，例如特征金字塔結構通過深度網絡提取不同層次特征堆疊而成，在堆疊的基礎上通過Element-wise sum 實現特征融合，從而實現對不同層次、尺度的信息的檢測。

3.3 深度學習在脊柱腫瘤圖像分割中的應用

脊柱腫瘤存在放射學的特殊性，且位置、結構、大小、形狀等因患者而異，具有高度異質性；同時醫生診斷在不同程度上會受到臨床經驗的限制，導致傳統脊柱腫瘤圖像分割出現誤判。為更好地實現良/惡性腫瘤的檢測與分割，許多研究充分發揮深度學習模型穩定的分割效果、良好的平衡性能以及能夠精準定位病灶區域等優點，將深度學習模型應用于脊柱腫瘤分割。文獻［68］提出以兩階段架構對脊柱CT 圖像中成骨性轉移瘤進行自動檢測的方法，其網絡模型如圖7 所示，該方法能很好地適應當前低劑量、低分辨率CT 成像協議的趨勢。文獻［69］介紹了一種包含3 個相同子網絡的Siamese深度神經網絡，并與聚集策略相結合，對26 例脊柱轉移瘤患者的MR 圖像分割結果進行分析。該網絡具有相當出色的表現，但在圖像邊界上分割的效果有待提升。

圖7 用于成骨性脊柱腫瘤分類的卷積神經網絡Fig.7 Convolutional neural network for classification of osteoblastic spinal tumors

文獻［70］使用3DCNN 對脊柱的溶骨性和成骨性2 種腫瘤同時進行分割和分類。該方法能夠檢測、分割和分類大于1.4 mm3的小病變，相較于其他已發表的CT 掃描脊柱的分析方法，具有高度靈活性，靈敏度高達92%，具有可靠的臨床價值；但其部分操作高度復雜化，且在成像條件等方面存在很大差異。為此，文獻［71］提出將CNN 模型和全連接條件隨機場相融合的方法對整張腫瘤圖像進行分割，充分發揮CNN 精確提取圖像特征和使部分環節簡單化的優勢，彌補了文獻［70］中實驗操作方法復雜的不足，提高了分割效率。

針對目標檢測網絡應用于腫瘤病變檢測時不能有效檢測出細小腫瘤區域這一問題，文獻［72］提出了一種細粒度的腫瘤檢測方法，其框架如圖8 所示。首先使用預先訓練的二維特征金字塔網絡（FPN）［73］作為主干網絡構建特征金字塔，從不同金字塔級別的輸入圖像中提取特征，使用多尺度增強器（MSB）對每一個金字塔級別的特征進行大尺度變化的病變檢測，然后執行分層擴張卷積（HDC），其包含與特征金字塔互補的細粒度信息，能夠提高網絡對尺度變化的認識并提供細粒度的規模估計，有效捕捉規模響應有意義的響應響應；由通道和空間注意力組成的級聯注意力模塊對特征進一步處理，以捕獲細粒度信息，達到細粒程度，實現最終預測。與Faster RCNN［74］、FPN 以及基 于三維 上下文 增強區域的CNN（3DCE）［75］等先進的檢測模型相比，多尺度增強器特征金字塔網絡有效提高了在不同PF 率下的靈敏度值。

圖8 FPN 與MSB 檢測框架Fig.8 Detection frameworks of FPN and MSB

文獻［76］應用動態增強MRI 對無腫瘤史的61 例病人進行研究，采用CNN 模型區分脊柱轉移瘤，所提方法準確率為81%，對于此類疾病的診斷具有良好的作用。文獻［77］基于自注意力模型改進2D V-Net，實現了脊柱腫瘤CT 圖像的分割，并對Faster RCNN模型改進用于脊柱腫瘤檢測，在特征提取模塊將VGG 替換成ResNet 和DenseNet，通過增加殘差學習的密集連接來提升特征信息的學習和利用，所提方法邊緣分割精度相比VGG 分別提升了3.16% 和2.0%，同時還具有良好的泛化性能。文獻［78］采用深度學習方法建立了脊柱腫瘤二分類模型和三分類的深度人工神經網絡（D-ANN）模型，結果顯示，D-ANN 為最佳二分類模型且準確率達到90%以上，而由于腫瘤的異質性大的特點，三分類模型效果較差。文獻［79］采用多尺度CNN 模型對CT 圖像進行分割，內部和外部驗證的DSC 分別為97%、95%，基本滿足了人們對分割效果的期望。

深度學習模型為脊柱腫瘤的全脊柱切除術或者單一、特定脊柱節段的分割提供了可靠的方法。由于脊柱腫瘤圖像的成像特點以及難以與其他軟組織進行區分，傳統分割方法對于圖像邊緣的分割效果較差，效率不高。目前基于U-Net 獨特的U 型結構，通過跳躍連接能夠更好地捕獲圖像更高層次的特征信息，大幅提高腫瘤圖像整體分割的精準度；而引入自注意力機制來提升網絡運算效率，也解決了耗時嚴重的問題，逐漸成為提高運算效率的主流方法。

4 總結與展望

將深度學習方法引入到脊柱的圖像分割中，一方面可以幫助醫生從繁瑣、重復的工作中解放出來，減少過度疲勞和主觀性因素導致的漏診、誤診等狀況的發生；另一方面提高了脊柱圖像的分割精度和準確率，在臨床診療和術前規劃等方面發揮了不可替代的作用。雖然基于深度學習的脊柱分割方法具有優異的臨床表現，但也有以下問題亟待解決：

1）在椎骨圖像分割方面，病灶區域的尺寸、形狀、位置等由于受到椎骨復雜的生理結構的影響會發生變化，導致在醫學影像中觀察到的目標區域的外觀變化較大，影響臨床分析；在椎間盤圖像分割方面，椎間盤圖像邊緣位置的圖像信息模糊，會導致分割時誤差較大、預處理和訓練耗時長、結果準確率低等問題；在脊柱腫瘤圖像分割方面，惡性腫瘤放射學的特殊性、CT 圖像中的腫瘤區域密度分布不均勻以及部分臨床醫生的經驗受限，使得評估及分割具有很大的難度，此外，當使用CNN 模型對其分割時，只能分割腫瘤區域的一小部分且存在較高的計算冗余，而使用U-Net 分割時會導致分割過度，尤其是低對比度的腫瘤區域。

2）目前脊柱圖像公開數據集受到規模的限制，并且現有的深度學習算法通常引入遷移學習，即在公開數據集基礎上進行訓練和實驗，導致實驗結果在很大程度上受到訓練數據集的影響，對分割準確率、精度等分割性能指標造成干擾。

3）由于脊柱成像過程會受到強度和亮度變化的影響，具有較大的差異性，同時受到脊柱外其他組織及噪聲等因素干擾，深度學習模型對脊柱圖像的邊緣區域分割效果較差。

4）目前對脊柱圖像整體區域分割的研究有待改進，基本只能完成對特定區域的分割工作，而不能有效地對整體區域進行分割。大多數深度學習模型對單一脊柱圖像類型的分割效果較好，但對多模態脊柱圖像分割的準確率和精度還有待提升，由于不同圖像類型對不同脊柱區域的對比度不同，例如CT 圖像對椎骨有更好的對比度，而MR 圖像對椎間盤的對比度較好，因此融合同一患者多模態圖像對脊柱圖像的整體分割至關重要。

5）圖像分割的評價指標往往只采用DSC，該指標僅對分割區域的內側較為敏感，而對圖像外側反映的分割效果略有不足。

6）圖像的分割精度與成本之間的關系有待解決，引入注意力機制、殘差模塊以及Dense 模塊等提高算法性能的同時，計算量也大幅增加，導致計算成本較高。

針對目前一些臨床和算法技術上問題，結合已有的臨床經驗和算法改進的方法，對深度學習算法在脊柱圖像分割領域未來的研究進行展望。未來應當圍繞以下幾個方面進行改進：

1）由于脊柱復雜的形態學結構，無法從根源上解決分割易受非目標特征區域影響的問題，但可以通過不斷改進編碼器-解碼器架構來提高病灶區域信息的提取能力。在跳躍連接過程中引入殘差模塊、注意力機制等可以更好地實現深層特征信息和淺層特征信息之間的相互融合，從而提高脊柱圖像的分割效果。

2）針對臨床實驗數據集數量有限以及實驗結果受到訓練模型影響的問題，應當積極促進醫工結合。在創建脊柱圖像數據集的過程中，要充分發揮醫生豐富的臨床經驗和嫻熟的技術方法，在醫生的幫助下對脊柱圖像進行準確標記，同時醫生可以結合深度學習選擇合理的閾值進行實驗。此外，可以嘗試將多個數據集交叉融合進行實驗，交叉數據集不僅能提升實驗的有效性，還能提高模型的泛化性能。

3）針對圖像邊緣信息模糊、噪聲大等問題，可以在圖像預處理環節中對圖像進行數據增強，或采用直方圖均衡化的方法對圖像的像素信息重新分布，或利用處理過的損失函數來加快模型的收斂速度。實驗證明，上述方法可以在保證圖像病灶區域準確分割的同時，提升分割精度和運算效率。此外，可以結合自監督、半監督或無監督網絡來提升模型的穩定性。例如半監督和自監督學習可以通過利用未標記的數據和有限的注釋數據來解決實驗需要大量標記數據集的問題，有效地提升圖像分類、分割問題中訓練樣本選擇的效率。一些流行的半監督學習方法包括使用偽標簽進行自我訓練、熵最小化、一致性正則化等，著重從未標記的圖像中提取有用信息，同時使用有限的標記例子。同樣，自監督學習方法例如基于借口任務和對比學習的方法，旨在僅使用未標記的圖像的預訓練來學習良好的網絡初始化，再使用有限的注釋來微調該初始化，從而獲得良好性能。而無監督學習通常用于不包含任何標簽信息的數據，常用的兩種方法為確定型無監督學習和概率型無監督學習，先通過無監督學習對深層神經網絡架構初始化，再逐步調優達到更好的效果。對于復雜多變的病灶組織結構，通過確立組織病理分析的金標準來規范分割標準；在模型方面，通過不斷地改進編碼器、解碼器等架構來構建合適的模型，可以達到良好的邊緣分割效果。

4）針對目前深度學習模型不能對整體區域進行分割的問題，應當更多地結合多任務學習、多尺度特征提取，通過融合脊柱多模態圖像，采用多種深度神經網絡相結合的方式，在完成對椎骨圖像分割的同時，提高椎骨側彎Cobb 角的測量度數，或者準確快速地分割整張脊柱圖像的病灶區域，并完成對病變區域的檢測工作。此外，通過結合多任務學習還可以在完成脊柱腫瘤圖像分割的同時，對腫瘤的良惡性做出有效的判斷。依據這些目標對算法進行改進，更多地關注多任務學習、多尺度特征提取、多模態融合，有利于提高分割效果，更好地輔助醫生診斷研究。

5）針對單一評價指標分析分割效果的問題，可以根據不同的分割病灶區域評價指標的需求，在采用DSC 這一主要評價指標的基礎上，使用其他評價指標綜合、全面、系統地分析實驗結果。

6）關于分割精度與成本之間的關系，需要尋求一種合理的方法來解決這個問題。目前基于深度學習的脊柱圖像分割工作在算法和模型上有一些缺陷，例如：卷積層數高雖然可以更好地提取深層次信息，但層數加深會導致運算緩慢；CNN 模型雖然有較強的特征提取能力，但邊緣分割模糊以及不能建立遠距離依賴關系的局限性，使其不能完全滿足醫學領域對圖像分割精度的嚴格要求。因此，考慮在醫學圖像分割中應用較多的輕量化網絡，不僅能夠很好地降低計算成本和模型復雜度，提升網絡運算效率，而且能夠保證較高的準確率。

5 結束語

目前基于深度學習的脊柱圖像分割方法已取得了良好的臨床效果，不僅在精度和準確率等方面有較大提升，而且還可以幫助醫生從繁瑣、重復的工作中解放出來，減輕醫生的臨床診斷壓力。本文針對深度學習在脊柱圖像分割中的應用展開綜述，先詳細講述常見的脊柱疾病類型及其在臨床上的分割難點，以及脊柱圖像分割中常用的數據集和評價指標等要素；再著重介紹CNN 模型、U-Net 模型及其改進模型在椎骨、椎間盤以及脊柱腫瘤圖像分割中的應用。實驗結果表明，深度學習模型對脊柱圖像分割具有良好的效果，相較于傳統分割方法，分割效率有很大的提升，基本滿足了人們對深度學習算法在脊柱臨床分割上的期望，但目前大多數研究對圖像邊緣的分割精度還未達到令人滿意的效果，并且分割精度與成本之間的關系問題亟待解決。因此，未來需要繼續將深度學習與臨床醫生的專業知識和豐富經驗相融合，充分發揮深度學習算法中遷移學習、半監督學習、增強學習等技術的優勢，不斷研究適用于圖像分割的模塊，改進模型的編碼器-解碼器架構，并且在跳躍連接模塊中引入注意力機制或采用全尺度跳躍連接等方法，來提高上下文特征信息的提取能力，彌補邊緣分割精度以及計算冗余的不足，從而促進智慧醫療領域進一步發展。