基于圖像分割和孔洞修復的三維傷口測量方法

趙紫陽，林文偉，羅冠泰，曾亮，張陳濤*

(1.廈門大學航空航天學院，廈門 361102；2.福建(泉州)哈工大工程技術研究院，泉州 362000)

傷口測量是臨床醫學研究中一項重要的工作。在研究傷口愈合過程中，傷口尺寸是評價傷口愈合的關鍵指標，其精確性直接影響傷口愈合情況的評估及醫生治療方案的制定。

現有傳統的傷口測量方法有數格子法、直尺法、數碼相機測定法[1]。數格子法是將帶有網格透明紙覆蓋在被測傷口上，通過計算格子數量計算傷口尺寸這種接觸測量方式易導致傷口二次感染。直尺法采用直尺、軟尺等測量工具測量傷口長度、寬度，測量誤差較大。數碼相機測定法采用彩色相機采集傷口圖像，再通過圖像處理計算傷口面積。Biagioni等[2]設計了基于智能手機的傷口區域測量軟件，通過識別特定標定物及人工選取傷口區域，實現傷口面積的測量。Chino等[3]采用分割網絡將傷口區域與背景圖像進行分割，實現了傷口測量。Foltynski[4]設計了應用于傷口測量的一款手機軟件，通過手機鏡頭采集圖像，結合測量工具實現傷口尺寸測量。Privalov等[5]基于區域掩膜卷積神經網絡技術(mask region-based convolutional neural network,Mask R-CNN)實現二維圖像上的傷口自動分割與測量?；诙S圖像的機器視覺方法雖然可對傷口進行非接觸式測量，避免對傷口造成二次傷害與感染，但缺少傷口的深度信息，無法對于復雜的三維傷口定性定量分析。三維點云比二維圖像能夠提供更多的傷口信息，能夠更為準確、全面的進行傷口評估[6-8]。David等[9]和劉春暉等[10]采用從運動中恢復結構技術 (structure from motion,SFM)對體表傷口進行三維重建，通過單攝像頭進行三維傷口的定量測量，但SFM技術存在效率低且三維點云質量不穩定的問題，導致該方法測量速度慢、測量結果精度差。Damir等[11]采用深度相機對傷口進行三維測量，在彩色圖像上通過顏色直方圖檢測傷口區域，再映射到深度圖上計算傷口參數，該方法可自動提取傷口區域，但測量結果易受外界環境光干擾。Ekare Inc[12]發布了一款基于深度相機和iPad的三維傷口掃描儀，測量誤差為5%，但該設備處理時間較長，完成一次傷口測量及報告需要約10 min，臨床使用多有不便，并且測量精度上仍有一定的優化空間。

提出一種基于圖像分割和孔洞修復的三維傷口測量方法，通過非接觸式三維測量的方法解決現有傷口測量方法精度不足、穩定性差、易造成傷口二次傷害、測量時間較長的問題。該方法同時獲取傷口的彩色圖像與深度圖像信息，通過異源圖像對齊算法進行數據融合，解決異源圖像由于視差導致的像素錯位問題，再通過改進的區域生長法進行交互式傷口區域分割，并使用RBF神經網絡復原傷口表面，通過復原前后的傷口表面差異進行三維測量。

1 方法

測量傷口的流程如圖1所示，通過傷口表面三維信息精確計算傷口長度、寬度、面積、最大深度及體積等信息。首先從彩色相機數據流中獲取傷口彩色圖像，從深度相機中的數據流中獲取傷口深度圖像；基于兩異源坐標系間的轉換關系，結合相機內外參標定算法，將深度相機獲取的深度圖和移動終端獲取的彩色圖進行像素對齊；接著，采用交互式傷口區域分割方法精準分割出傷口區域，計算傷口長度、寬度和面積；最后，對傷口皮膚復原，計算傷口的最大深度和體積。

圖1 傷口測量方法流程Fig.1 Flow diagram of the wound dimensions measurement

1.1 異源圖像對齊

從深度相機與彩色相機中分別采集傷口的深度圖像與彩色圖像，由于兩個相機的位置差異，所采集的圖像將產生由于視差導致的像素錯位。由于需要建立彩色圖像和深度圖像間的像素映射關系，首先必需將異源相機間的圖像對齊。

世界坐標系是描述真實世界的三維坐標系，將鏡頭的光學中心設為原點。圖像坐標系是指描述圖像傳感器成像平面的二維坐標系，取圖像左上角的像素為原點。世界坐標系與圖像坐標系之間的轉化關系可表示為

(1)

對式(1)進行轉化，得(u,v)和(x,y)之間的換算關系為

(2)

異源相機間的坐標系轉換通常需要經過3個步驟：①將深度相機采集的深度圖從圖像坐標系轉換到世界坐標系，轉換關系見式(3)，其中KD為深度相機內參；②進行深度相機與彩色相機之間的世界坐標系轉換，轉換關系見式(4)，其中(R,T)為兩相機間的外參；③將圖像從彩色相機的世界坐標系轉換到圖像坐標系，轉換關系見式(5)，其中KC為彩色相機內參。

(3)

(4)

(5)

相機內參變量KD、KC為固定值；兩相機間的外參(R,T)會由兩相機的相對位置決定。采用張正友棋盤格標定方法對兩相機間的外參進行快速標定，再按照式(3)～式(5)進行對齊變換。

深度相機采集的深度圖像如圖2(a)所示，彩色相機的彩色圖像如圖2(b)所示，直接將兩個相機按像素對齊后，存在的錯位現象如圖2(c)所示。按照彩色圖像和深度圖像間的像素映射關系，進行異源相機間的圖像對齊后效果如圖2(d)所示。

圖2 異源圖像對齊Fig.2 Heterologous image alignment

1.2 傷口區域分割

傷口區域分割的準確性決定傷口尺寸的測量精度，人為參與傷口區域的分割能夠最大限度地保證分割結果準確性。設計了一種交互式傷口區域分割方法，該方法通過人為在彩色圖上簡單繪制特征區域自動完成傷口分割，主要步驟如下：①人為簡略繪制傷口外部包圍圈；②人為簡略繪制傷口內部包含部位；③傷口區域分割算法計算傷口邊界；④人為判定傷口邊界識別效果，若傷口區域識別效果不理想，可人為添加傷口內部包含部位或者外部包含部位進行微調傷口區域。圖3為交互式傷口區域分割示意圖。

圖3 區域分割示意圖Fig.3 Schematic diagram of image segmentation

主要采用基于區域生長法的交互式圖像分割算法進行傷口分割。區域生長法是一種根據預先定義的準則，將像素或者子區域聚合成更大區域的過程。對每一個區域要先指定一個種子點作為生長的起點，然后將種子點周圍領域的像素點和種子點進行對比，將具有相似性質的點合并起來繼續向外生長，直到沒有滿足條件的像素被包括進來為止。區域生長法的實現需要解決3個關鍵問題：①給定一組目標區域的種子像素；②確定在生長過程中能將相鄰像素包括進來的準則；③制定讓生長過程停止條件。洪向共等[13]通過重新定義生長準則，獲得了較好的圖像分割效果?；谙嗨贫群瘮蹈倪M區域生長法設計傷口區域分割算法，改進區域生長法設計如下。

(1)先通過在人為簡略繪制的傷口外部包圍圈建立區域生長法的感興趣區域(region of interest，ROI)，再采用人工交互的方式在傷口內部區域繪制初始種子像素。

(6)

式(6)中：ε1和ε2分別為定義的色調分量和飽和度分量權重系數，色調分量相對于飽和度分量包含更多的顏色信息，取ε1=0.75,ε2=0.25。

(7)

(8)

(3)根據區域生長準則遍歷圖像ROI區域，直至不存在種子點就停止生長。

1.3 傷口評估算法

醫學上傷口評估指標主要包括傷口長度、寬度、面積、體積及最大深度等，在完成異源圖像對齊和傷口區域準確分割后計算傷口評估指標。

1.3.1 長度、寬度測量

醫學上定義，測量傷口時，無論傷口在人體的任何部位，傷口的長度方向應沿著人體長軸的方向，寬度應沿著與長軸垂直的方向測量[1]。三維傷口測量方法僅采集傷口局部的人體表面信息，無法確定傷口長度方向。為此設計了一種交互式定長軸的傷口長寬測量方法，方法如下。

(1)在彩色圖上生成傷口區域的外接矩形作為起始矩形，標記外接矩形的4個頂點分別為P1、P2、P3、P4，且定義P1P2為長軸方向，定義為P2P3長軸垂直方向。

(2)軟件界面向用戶開放一旋轉舵輪，用戶可根據舵輪手動調整外接矩形角度，使P1P2方向為人體長軸方向，并重新生成符合的外接矩形。定義用戶旋轉角度為α，旋轉中心為(x0,y0)，旋轉前點坐標為(x1,y1),則旋轉后點坐標(x2,y2)計算公式為

x2=(x1-x0)cosα-(y1-y0)sinα+x0

(9)

y2=(x1-x0)sinα-(y1-y0)cosα+y0

(10)

根據式(9)、式(10)計算獲得P′1、P′2、P′3、P′4，求取圖像坐標系下傷口長度l=|P′1P′2|，傷口寬度w=|P′1P′2|，單位為像素。

(3)計算世界坐標系下傷口長度L和寬度W，計算公式分別為

(11)

(12)

式中：f為彩色相機焦距；Sx、Sy分別為彩色相機的單個像元長和寬；d1、d2、d3分別為圖像坐標系下P′1、P′2、P′3點對應的深度值。

1.3.2 面積測量

采用積分法的方式評估傷口面積Sarea，對彩色圖傷口區域進行單像素網格劃分，計算傷口區域內的像素個數N，其計算公式為

Sarea=?dXidYi

(13)

式(13)中：i=1,2,…,N；dXi為單像素區域水平方向長度；dYi為單像素區域垂直方向長度。

dXi、dYi滿足：

(14)

(15)

式中：di為單像素區域對應的深度值。

1.3.3 最大深度、體積測量

傷口最大深度和體積的計算需要先對傷口區域皮膚進行復原，通過當前傷口表面與復原后傷口表面的比較計算傷口最大深度和體積。

(1)傷口皮膚復原。傷口區域皮膚的3D復原即為點云孔洞的修復。李月雯等[14]首先對輸入模型進行全局曲面擬合，通過孔洞影響區域的法向量信息來調整修補曲面，該方法能夠準確修復孔洞區域特征，但對于點云模型大面積孔洞的修補效果有待進一步提升。Ramesh等[15]提出了一種基于學習的孔洞檢測與填充方式，采用深度學習框架檢測點云中的空洞，再通過擬合曲面和曲面上的插值點進行孔洞填充，該方法具有較好的通用性，但模型較為復雜，算力資源開銷較大，不適用于移動終端及算力較弱的設備運行。設計一種基于RBF的三維點云孔洞修復算法，將傷口區域分割獲得的邊緣點集作為樣本點集，訓練RBF神經網絡[16]，利用訓練好的網絡模型預測缺失的人體表皮。

所設計的RBF神經網絡拓撲結構如圖4所示，三層前向網絡組成，包含輸入層、隱藏層和輸出層。輸入層中設置兩個輸入神經元，分別為x坐標和y坐標，RBF隱藏層中神經元的變換函數為徑向基函數φ1和φ2，對應的權重為ω11和ω21，輸出層為單個輸出神經元，輸出預測的結果z。

圖4 RBF神經網絡結構圖Fig.4 Structure diagram of RBF neural network

采用高斯函數作為基函數，其表達式為

φ(Xk,Xi)=G(‖Xk,Xi‖)

(16)

‖Xk-Xi‖=(Xk-Xi)T(Xk-Xi)

(17)

神經網絡輸出為

(18)

式中：Xk為第k個輸入矢量；Xi為隱藏層第i個高斯單元的中心矢量；第i個隱含節點的輸出為φi(X)；X=[Xi1,Xi2,…,Xim]為基函數中心。

通過樣本訓練獲取RBF函數中基函數的寬度參數σ、中心X以及輸出單元的權重ωki。

所設計的RBF神經網絡，將傷口區域待修復數據點集(x,y)坐標作為輸入，根據訓練模型預測其對應的z值，完成傷口區域缺失的點云修復。傷口皮膚復原前表面如圖5所示，復原后效果如圖6所示。

圖5 傷口表面示意圖Fig.5 Schematic diagram of wound surface

圖6 傷口表面復原后示意圖Fig.6 Schematic diagram of wound surface reconstruction

(2)傷口最大深度獲取。采用遍歷法計算傷口最大深度，對彩色圖傷口區域進行單像素網格劃分，計傷口區域內存在N個單像素區域，計算并遍歷N個單像素區域傷口皮膚復原后與當前傷口的高度差Zi，統計最大高度差作為傷口最大深度Hmax，其表達式為

Zi=Zfi-Zbi

(19)

式(19)中：Zfi、Zbi分別對應單像素區域內傷口皮膚復原后和當前傷口的z值，i=1,2,…,N。

Hmax=max(Zi)

(20)

(3)傷口體積計算。采用積分法計算傷口體積，對單像素區域內的高度差Zi進行微分dZi，進行積分獲得傷口體積，其表達式為

V=?dXidYidZi

(21)

2 試驗與分析

2.1 試驗平臺

傷口可能出現在人體表面的任意位置，因此傷口測量設備需具備較好的靈活性，并且便于醫生外出診療時攜帶以滿足多場景的使用需求?；谥悄芤苿咏K端設計了一款手持式三維傷口測量設備，其硬件結構主要由移動終端、深度相機、保持架以及連接線組成，如圖7所示。

圖7 硬件構成示意圖Fig.7 Schematic diagram of hardware components

所設計的測量設備中移動終端采用小米4平板，深度相機采用Structure sensor，主要參數如表1所示。

表1 硬件系統主要參數Table 1 Main parameters of hardware

2.2 試驗方法

選取人體褥瘡護理模型作為試驗對象，對人體褥瘡護理模型上的傷口進行測量，并將本文方法所得的三維測量結果與逆向工程測量法、二維拍照測量法所測結果進行精度比對詳細測量方法如下。

(1)逆向工程測量方法：使用LMI Gocator 3520三維雙目快照式傳感器對該傷口進行逆向工程三維重建，設備精度±0.09 mm，并采用Geomagic Studio離線計算傷口各測量項目數值，重復建模掃描20組數據后取平均值。

(2)二維拍照測量方法：采用NIH ImageJ照相法[17]，該方法使用彩色相機對傷口進行拍照，拍照時固定角度和高度，傷口數據使用軟件計算，重復拍照計算20組數據后取平均值。

(3)三維掃描測量方法：使用所提出的三維傷口測量方法進行測量，交互式分割傷口區域和確定人體長軸方向，重復測量20組數據后取平均值。

3種測量方法的測量結果如表2所示。逆向工程測量方法相較于其他兩種方法使用更高精度的設備和復雜的離線測量方法，計算結果更貼近真實值，因此可將逆向工程測量法的結果作為傷口真實尺寸的參考值。從測量結果可知，本文方法相較于二維拍照測量方法精度更高所有傷口檢測項目誤差均小于3%，于優國外同類型商用設備的5%的測量精度。

表2 傷口測量精度比較Table 2 Precision comparison of wound measurement

3 結論

所提出一種基于圖像分割和孔洞修復的三維傷口測量方法，實現了傷口非接觸、高精度測量。得出如下結論。

(1)針對異源圖像由于視差導致的圖像像素錯位問題，基于異源坐標系間的轉換關系，結合相機內外參標定算法，將深度相機深度圖和移動終端彩色圖進行像素對齊。

(2)針對傷口區域分割精度要求高問題，設計了一種交互式傷口區域分割方法，采用基于相似度函數改進的區域生長法分割傷口區域，并通過人為輔助微調機制保證傷口分割的準確性。

(3)針對傷口長度、寬度、面積、最大深度以及體積的測量要求，設計了一整套測量算法，利用深度數據進行長度、寬度和面積計算，采用基于RBF的三維點云孔洞修復算法進行傷口皮膚復原，在此基礎上進行傷口最大深度和體積計算。

實現了非接觸式三維傷口高精度測量，但基于結構光的深度相機受環境光干擾較大，從而導致深度圖深度數據丟失。后續將優化深度圖數據預處理過程，通過深度數據填充以減少環境光的干擾。