人工關節磨屑的顯微單視圖深度估計方法研究*

伍銳斌 彭業萍 曹廣忠 王 松 曹樹鵬

(1.深圳大學機電與控制工程學院 廣東深圳 518060；2.廣東省電磁控制與智能機器人重點實驗室 廣東深圳 518060；3.深圳清華大學研究院生物醫用材料及植入器械重點實驗室 廣東深圳 518057)

近年來，骨關節疾病發病率逐年上升，人工關節置換手術已成為治療骨關節疾病的有效手段之一。但是，人工關節假體植入人體后，接觸面每年承受數百萬次的相對滑動和循環摩擦，過度磨損會造成關節疼痛和功能障礙。而磨損產生的磨屑會引起假體的無菌性松動，是人工關節置換失效的一個主要原因[1-3]。所以，人工關節材料及其磨屑的研究十分重要。

人工關節材料通常為金屬材料、高分子材料、陶瓷材料和復合材料[4]。不銹鋼是最早用于制作人工關節的金屬材料，但臨床研究表明，其生物相容性較差，在人體內生理環境下，易被腐蝕和破裂。鈷合金及鈦合金被廣泛用于人工關節假體，但假體腐蝕、磨損的過程會產生游離的金屬離子，進入體液循環，對人體有一定危害。超高分子聚乙烯是常用的人工關節高分子材料，它具有優異的生物相容性且耐化學腐蝕、抗摩擦能力強，可以較好地解決人工關節的摩擦磨損問題[5-7]，但長期使用會發生嚴重磨損和氧化，進而產生磨屑，導致骨溶解產生無菌性松動，使人工關節失效[8-9]。陶瓷材料具有硬度大、耐磨性好、耐蝕性強、化學性質穩定和生物相容性好等優點，但彈性模量高、脆性大，在使用過程中常出現脆性斷裂和骨損傷[4,10]。迄今為止，仍沒有找到一種在生物相容性和生物摩擦學性能方面都十分優異的人工關節材料。最接近人體骨骼材質的以羥基磷灰石為基體的復合材料仍處于實驗室研究階段，沒有廣泛地應用于臨床治療上。雖然鈦合金人工關節金屬材料在使用過程中所產生的金屬離子對人體有一定危害，但其具有豐富臨床研究經驗數據，仍是主流的人工關節材料。所以，文中以鈦金屬材料摩擦副產生的磨屑作為研究對象。

磨屑包含著人工關節微觀狀態下的磨損信息，其尺寸、數量和形貌特征可反映人工關節不同的磨損形式和機制[11]。因此，對人工關節磨屑進行研究、獲取其攜帶的摩擦學信息，對于人工關節材料磨損機制的研究具有重要意義。傳統人工關節磨屑分析利用顯微設備拍攝二維顯微圖像，人工分析磨屑類型和推斷其產生機制，其準確性很大程度依賴專業知識和個人經驗且需要較高的人工成本，效率低下，這大大限制了人工關節磨屑分析技術的實際應用。

近年來，隨著深度學習在計算機視覺領域的迅猛發展，深度學習被應用到了磨屑的智能分析?？祫虻萚12]利用改進的BP網絡進行磨屑分類。呂純等人[13]用基于改進的PSO算法的SVM模型對磨屑進行類型識別，效果明顯優于 BP 神經網絡。PENG等[14]將混合卷積神經網絡和SVM結合使用，實現了磨屑的智能識別。安超等人[15]利用Mask-R-CNN網絡對磨屑圖像進行實例分割并實現了磨屑的分類識別。

上述磨屑研究均基于二維圖像，但磨屑的三維信息中蘊含更加豐富的摩擦學信息，可以更好地研究人工關節磨屑產生機制。雖然利用原子力顯微鏡、激光共聚焦顯微鏡(LSCM)可以得到磨屑精確的三維形貌，但是硬件成本高昂且分析效率低下。于是，研究者將視覺三維重建的方法應用于磨屑三維信息捕捉。任國全等[16]用SFS算法實現了單張磨屑圖像的形貌恢復，得到磨屑的相對深度圖。潘嵐等人[17]從視頻序列中采集每幀焦平面上的清晰圖像范圍，再結合顯微鏡縱軸移動速率，構建磨屑的三維形貌。WU等[18]使用多視圖輪廓的方法構建磨屑的三維模型。WANG等[19]利用SFM算法實現磨屑的稀疏重建，再通過SFS算法估算磨屑表面的相對高度，將SFS上的點轉化到稀疏重建的坐標上，獲得磨屑稠密重建的結果。在利用視覺三維重建獲取磨屑三維信息的方法中，SFS算法進行磨屑單視圖深度圖估計，需要滿足均勻平行光照和磨屑表面為理想散射表面的假設[16]，最終僅能得到相對的深度，不能獲取磨屑真實的三維信息?；诙嘁晥D的磨屑三維形貌恢復依賴特定的硬件設備和復雜的操作，需要拍攝多個合適視角的磨屑圖片來進行三維重建，效率較低。為了實現低成本、高效率的磨屑三維信息獲取，本文作者提出一種基于SA-UNet(Self Attention U-Net)網絡的磨屑單視圖深度估計方法，在采集數據、訓練網絡模型后，僅需要利用普通光學顯微鏡拍攝單張磨屑的二維圖像就可預測對應的深度圖，獲得磨屑的三維信息。

1 方法

1.1 SA-UNet深度估計網絡

1.1.1 網絡架構

為解決磨屑單視圖深度估計問題，提出一個深度學習網絡架構SA-UNet，其整體結構是一個融合自注意力模塊的U形網絡，分為編碼器和解碼器兩部分。編碼器包含一系列的卷積操作和最大池化操作，每經過一次最大池化，特征圖的大小變成原來的1/2，在卷積層后面嵌入批量歸一化層，防止過擬合。解碼器是一系列的卷積和上采樣操作，通過上采樣還原特征圖大小。SA-UNet網絡結構如圖1所示。

圖1 SA-UNet的網絡結構

編碼器可提取多尺度特征圖，淺層特征圖保留了豐富的底層特征信息，深層特征圖包含更抽象的特征信息。在編碼階段，池化操作會使部分特征信息丟失，解碼階段進行上采樣難以恢復丟失的信息。因此，在編碼器和解碼器間設置跳躍連接，將編碼階段的底層特征圖與深層次的、更抽象的特征圖融合，可以有效彌補池化操作丟失的細節信息。在磨屑圖像的深度估計中，每個像素的輸出值與全局像素的信息相關聯，在跳躍連接處加入了自注意力模塊，能自適應地學習像素級別的注意力圖來捕獲上下文信息。SA-UNet網絡聚合全局的關聯信息進行逐像素預測，能有效提高深度估計的精度。

1.1.2 自注意力模塊

圖2(a)、 (b)所示分別為磨屑的二維圖像和LSCM獲取的存儲磨屑三維信息的深度圖。原始U-Net網絡沒有結合像素的全局關聯性預測深度值，不能準確預測局部的高低起伏，出現與真實深度不符的、大范圍的深度值相同的情況，如圖2(c)所示。

(1)

在注意力圖中，任意位置的Wi,j表示特征圖的第j個位置與第i個位置的相關聯程度。借助注意力圖，將自注意力模塊的輸出xout定義為式(2)。

xout=WV

(2)

通過注意力圖獲取每個位置與全局位置的相關聯權重，可以增強特征提取的過程。SA-UNet通過注意力圖可以結合全局位置信息預測每一個位置的深度值，其預測的深度圖與激光共聚焦顯微鏡得到的深度圖一致，不會出現大范圍的深度值相同的情況，有效地提高了預測精度，其效果如圖2(d)所示。

圖2 磨屑二維圖像、LSCM獲取的深度及U-Net、SA-UNet估計深度

圖3 自注意力模塊架構

1.1.3 損失函數

LEE等[21]提出一種結合方差和加權平方誤差定義的損失函數,該損失函數通過設置常系數λ值來控制訓練中對誤差平均值和方差的關注程度，具有穩定快速收斂的優點。文中提出的SA-UNet網絡采用該損失函數訓練，其定義如式(3)所示。

(3)

(4)

α值可以縮放損失值，影響反向傳播時的梯度值；λ值越大，損失函數越注重方差的優化。參照文獻[21]設置合理的參數值α=10，λ=0.85。

1.2 透視變換

使用普通光學顯微鏡和激光共聚焦顯微鏡對同一顆磨屑進行拍攝，可得同一磨屑的兩幅二維圖像，如圖4所示。

圖4 LSCM和光學顯微鏡拍攝的同一磨屑的圖像

普通光學顯微鏡無法獲取磨屑的三維信息，聯合激光共聚焦顯微鏡可以獲取訓練所需的樣本數據。激光共聚焦顯微鏡可以同時獲取磨屑的二維圖像和深度圖。深度圖是存儲磨屑三維信息的一種方式，它采用灰度值表示相機與成像物體之間的距離，灰度值變化可以反映磨屑表面細節。為了數據展示的方便，文中所有深度圖的值均放大了5倍。激光共聚焦顯微鏡采集的TC4磨屑圖像和深度圖如圖5所示。

圖5 激光共聚焦顯微鏡拍攝的磨屑二維圖像和深度圖

此時，普通光學顯微鏡的二維圖像和激光共聚焦顯微鏡得到的深度圖并不是逐像素對應的。通過對兩幅圖像進行特征點匹配，計算2個坐標系的透視變換矩陣，再對深度圖做透視變換，可使深度圖與普通顯微鏡的二維圖像逐像素對應，從而獲得普通光學顯微鏡的訓練樣本。

1.2.1 基于SIFT特征點匹配

SIFT(Scale-invariant feature transform)算法能尋找并描述圖像的特征點，被廣泛地使用在圖像處理領域?；赟IFT的特征點匹配步驟[22]如下：

(1)對輸入圖像構造高斯差分金字塔；

(2)在高斯差分金字塔中檢測極值，即為圖像的特征點；

(3)通過統計特征點鄰域的梯度生成特征點的描述子；

(4)計算兩幅圖像特征點的描述子的歐氏距離，當最近鄰歐氏距離與次近鄰歐氏距離的比值小于閾值時，判斷為匹配點。

在判斷特征點是否匹配時，為得到4對以上精確匹配的特征點，經實驗測試最終設置閾值為0.4，得到激光共聚焦顯微鏡磨屑圖像和普通光學顯微鏡磨屑圖像相匹配的特征點對。

1.2.2 圖像的透視變換

透視變換是將圖像從自身坐標系變換到另一圖像坐標系下的數學變換。其變換如式(5)—(7)所示。

(5)

(6)

(7)

(8)

(9)

通過兩幅圖中相匹配的特征點對可求得透視矩陣，利用透視矩陣對深度圖進行坐標變換，得到與普通光學顯微鏡二維圖像逐像素對應的深度圖。

1.3 磨屑掩模的獲取

通過語義分割網絡U-Net[23]初步得到磨屑掩模，經過圖像開運算和孔洞填充得到更精準的掩模。利用磨屑掩模排除復雜多變的背景對模型學習的干擾。U-Net是常用于醫學圖像分割的語義分割網絡，適合小樣本的語義分割任務，它的結構框架如圖6所示。

圖6 U-Net架構

U-Net網絡由編碼器和解碼器組成。編碼器遵循卷積網絡的典型架構，包含3×3卷積的重復使用，每個卷積操作后接Relu激活函數。編碼器有4個最大池化，用于下采樣。在每個下采樣步驟后，特征圖的大小減半、通道數量加倍。解碼器包含卷積和上采樣操作，一共包含4次上采樣的操作。每次上采樣，通過反卷積操作將特征圖的大小擴大2倍、通道數量減半。在編碼器和解碼器間存在跳躍連接結構，用于補充解碼過程中無法復原的細節信息。最終用1×1卷積將特征圖映射到所需的類數。U-Net網絡訓練采用的是交叉熵損失函數，如式(10)所示。

(10)

分割好的磨屑掩模會出現毛刺和掩模區域有孔洞的情況，如圖7(a)所示。利用圖像的開運算可以消除掩模的毛刺，通過圖像的孔洞填充可以消除較大的孔洞。經過后處理，可得到準確的磨屑掩模。得到磨屑的掩模圖后，可將磨屑圖像的背景置為統一的顏色，從而消除磨屑圖像背景變化帶來的干擾。效果如圖7(b)所示。

圖7 磨屑二維圖像及去背景后的磨屑圖像

2 實驗

2.1 樣本數據集

文中的樣本數據集是通過普通光學顯微鏡和LSCM聯合獲取。首先利用普通光學顯微鏡獲取TC4材料磨屑的顯微二維圖像；然后使用基恩士VK-X260激光共聚焦顯微鏡采集TC4材料磨屑的二維圖像和對應的深度圖。通過語義分割消除光學顯微二維圖像的背景干擾，再通過透視變換得到光學顯微鏡下包含二維圖像和深度圖的樣本數據。普通光學顯微鏡如圖8(a)所示，基恩士VK-X260激光共聚焦顯微鏡如圖8(b)所示。

圖8 采集圖像的儀器

文中共采集了1 222個TC4磨屑樣本，對采集到的數據進行隨機裁剪、翻轉、旋轉和銳化、高斯模糊可增加圖像對，提升樣本的質量。利用數據擴充技術將1 122個磨屑樣本擴充為7 854個圖像對，用以訓練SA-UNet網絡。剩下的100個普通光學顯微鏡的磨屑樣本作為測試集。

2.2 實驗結果

SA-UNet、U-Net、ACAN(Attention-based Context Aggregation Network)[24]和BTS(Big to Small)[21]對普通光學顯微鏡拍攝的磨屑圖像的深度估計效果如圖9所示。在單視圖的深度估計中，使用精確度指標d1、d2和d3(詳見式(11)—(13)),來衡量在給定誤差范圍內預測正確的像素點的占比，其值越接近1,說明預測的正確率越高。使用平均相對誤差(Esqrel)和絕對相對誤差(Eabsrel)來衡量預測值與真實值的偏差程度，其值越小說明預測值越接近真實值。使用均方根誤差(Ermse)、均方根對數誤差(Ermselg)和平均對數誤差Elg來衡量預測值與真實值的偏差值，其值越小說明預測的偏差越小。

評價指標計算公式如下：

(1)精確度d1、d2、d3：

(11)

(12)

(13)

(2)平均相對誤差Esqrel：

(14)

(3)絕對相對誤差Eabsrel:

(15)

(4)均方根誤差Ermse：

(16)

(5)均方根對數誤差Ermselg：

(17)

(6)平均對數誤差Elg

(18)

圖9 輸入的圖像及SA-UNet、U-Net、ACAN、BTS網絡預估的深度圖和LSCM得到的磨屑深度圖

式中：Zpred為預測的深度圖；ZCLSM為激光共聚焦顯微鏡得到的磨屑的深度圖；n為圖片的像素點總數。

將網絡預測的深度圖Zpred和激光共聚焦顯微鏡得到的深度圖ZCLSM代入式(11)—(18)，即可計算得到深度估計的各項評價指標。SA-UNet、U-Net、ACAN和BTS在100個測試樣本中的性能指標如表1所示。

表1 不同網絡的實驗結果

從預估的深度圖看，SA-UNet網絡明顯優于U-Net、ACAN和BTS。U-Net出現大面積的深度值相近，與實際的深度圖差別較大，ACAN將深度估計任務轉化為分類任務，所預測的深度圖常出現小面深度相同的情況。ACAN和BTS還會小概率地出現局部預測偏差較大的問題，如圖9(d)、(e)中方框區域所示。SA-UNet利用U形網絡作為特征提取器并融合自注意力機制，能夠很好地提取特征信息和學習像素級別的全局依賴，準確預估出對應的深度圖。SA-UNet所預估的深度圖與LSCM所得到的深度圖幾乎一致。從表1中各項評價指標上看，SA-UNet在4個網絡中均為最優。其中，SA-UNet網絡的平均相對誤差(Esqrel)為7.4%，絕對相對誤差(Eabsrel)為15.1%，預測值與激光共聚焦顯微鏡所得深度圖的偏差程度較小。絕對相對誤差(Eabsrel)與原始的U-Net網絡、ACAN網絡和BTS網絡相比，分別降低了6%、 8.6%和5.2%。SA-UNet均方根誤差(Ermse)是3.936，優于其他對比方法。

在采集圖像時顯微鏡可能出現細微抖動，且普通光學顯微鏡的景深較小，所以采集的磨屑圖像存在局部的模糊。磨屑圖像的模糊區域缺乏紋理或紋理不清晰，使得SA-Unet網絡在模糊區域無法借助像素鄰域的有效信息去預測深度值，從而引起預測誤差。為提高SA-Unet網絡預測的精度，在未來的工作中，應對采集到的磨屑圖像進行模糊恢復，豐富磨屑的紋理信息，進一步減少深度估計的誤差。

3 結論

(1)提出SA-UNet深度估計網絡，實現了TC4材料磨屑單視圖深度圖估計，使普通光學顯微鏡也可輕易獲取磨屑的三維信息，降低了磨屑三維信息獲取的硬件成本。

(2)在TC4材料磨屑單視圖深度估計任務中，SA-UNet網絡各項評價指標均優于UNet、ACAN和BTS等網絡，其中絕對相對誤差比原始的U-Net網絡降低了6%，比ACAN網絡降低了8.6%，比BTS網絡降低了5.2%。