基于改進U-Net的面部紅外熱成像的分割＊

詹文棟，龔慶悅，朱金陽，萬澤宇，黃 敏，王 銳

(南京中醫(yī)藥大學人工智能與信息技術學院，江蘇 南京 210046)

0 引言

面診是指中醫(yī)通過望、聞、問、切四診法，對患者面部和五官整體觀察，從而判斷人體局部與整體的病變情況。望診法是中醫(yī)診斷中的診法之一，幾千年來許多中醫(yī)一直沿用此簡單有效的診斷方法。

傳統中醫(yī)望診聚焦于病人的面色及光澤，對于臨床經驗很少的中醫(yī)來說，要基于這些非常有限的面部指標做出診斷是十分困難的。

可見光自動化面診技術受制于人體膚色和季節(jié)變化等因素，導致檢測結果可能出現誤差。相比之下，紅外熱成像技術能夠通過觀察人體表面的溫度分布與變化，將中醫(yī)的陰陽、虛實、寒熱等信息以數字可視化的方式呈現，避免了可見光檢測技術的限制。

面部紅外圖像分割是面診客觀化中去除不規(guī)范操作如頭發(fā)遮擋、佩戴眼鏡、帽子等造成的干擾背景，排除與體質、疾病等分類識別無關的因素的重要步驟，為后續(xù)面部紅外熱成像的疾病識別分類提供基礎。

通過傳統的方法分割人體紅外熱成像，如區(qū)域生長[1]、水平集[2]、聚類[3]、圖割[4]等，需要大量人工干預，無法實現圖像分割自動化。Ronneberger[5]等研究者首次提出了將跳躍連接引入卷積神經網絡的一種U形網絡(U-Net)。Liu[6]等人提出了基于深層U-Net 和圖割的方法并平滑分割結果，此方法加深了特征提取網絡的深度，以便于提取更高層次的特征，在腹部CT 序列肝臟腫瘤圖像上具有較好的分割效果。江智泉[7]等將U-Net 的主干特征提取網絡替換為VGGNet16 的卷積層，并且對特征融合進行優(yōu)化改進，實驗證明該改進方法在舌象分割上取得了較好的分割效果。

本研究對原始U-Net 網絡進行改進，將特征提取表現更好的Resnet50代替U-Net原始的主干特征提取模塊，去除復制和裁剪(Copy and Crop)部分的Crop，改進后的模型優(yōu)化了特征融合，并提高了模型的通用性，在中醫(yī)面部紅外熱成像圖片的分割上取得了較好的結果。

1 模型設計

1.1 本文設計的Facial Res-UNet模型結構

首先借鑒江智泉[7]的方法，改進原始U-Net 模型，下文簡稱為Facial VGG-UNet 模型。將原始U-Net模型的主干特征提取模塊替換為VGGNet16，由5個卷積核和ReLU 激活函數構成的卷積模塊和四個最大池化模塊不斷堆疊而成。將多個使用3×3 卷積核的卷積層進行串聯，可以看作是對使用一個大尺寸卷積核的卷積層的分解，比如三個3×3卷積核的卷積層串聯相當于一個7×7 卷積核的層，這么做的優(yōu)勢是，多個小尺寸卷積核堆疊起來的卷積層具有的參數比直接使用一個大尺寸卷積核的卷積層的參數少，在感受野相同的情況下，增加了網絡的非線性，使得網絡的判別性更強[8]。但該方法的主干特征提取網絡存在缺陷：主干特征提取網絡是通過對圖像進行多次卷積和池化操作堆疊而成，而大量網絡堆疊容易造成梯度消失和梯度爆炸問題[9]。

同時，對解碼部分進行優(yōu)化：取消了五個初步有效特征層在上采樣過程中的剪切(Crop)操作，直接復制(Copy)特征層，從而提高網絡模型的通用性。最終，改進的U-Net網絡結構如圖1所示。

圖1 Facial VGG-UNet網絡結構

由于存在上文提到的梯度爆炸和梯度消失問題，在Facial VGG-UNet 網絡模型的基礎上，我們又做出了新的改進。

本文提出的改進UNet 模型Facial Res-UNet，采用ResNet50 替換傳統U-Net 的主干特征提取模塊，不僅能因殘差塊避免梯度爆炸和梯度消失的問題，還能保留U-Net 網絡結構簡單和訓練數據量需求小的優(yōu)勢，非常契合中醫(yī)面部紅外熱成像圖片的對比度低、邊界模糊等導致的特征提取效果差以及數據集量少的特點。再對U-Net 的解碼區(qū)優(yōu)化特征融合，去除初步提取特征層的剪切（Crop）操作，一方面使得輸入圖像與輸出圖像尺寸保持一致，增加模型的通用性，另一方面也能使得模型學習到更多細節(jié)信息，以便進一步對像素進行分類，提高模型的泛化能力。其網絡結構如圖2所示。

圖2 Facial Res-UNet模型結構

圖2 中，主干特征提取網絡Resnet50 由兩個基本模塊組成，分別為Conv Block和Identity Block[10]。前者由于輸入與輸出的維度不同，因此Conv Block 一般可用于改變網絡的維度；后者輸入與輸出維度一致，因此一般選用Identity Block來加深網絡深度。

Conv Block 可以分為主路徑和跳躍路徑兩個部分。主路徑由二次大小分別為1×1 和3×3 的卷積操作和標準化(BatchNorm)、激活函數ReLU、一次1×1卷積操作和標準化(BatchNorm)組成。跳躍路徑由1×1卷積操作和標準化(BatchNorm)組成。Conv Block 最終由主路徑輸出和跳躍路徑輸出相加，并經過一次ReLU 激活函數得出，結構如圖3所示。Identity Block也可以分為主路徑和跳躍路徑兩個部分。Identity Block 的主路徑與Conv Block 的主路徑相同，而跳躍路徑直接與主路徑的輸出相加，最后經過一次ReLU激活函數得出總體輸出結果，結構如圖4所示。

圖3 Conv Block

圖4 Identity Block

2 數據收集與預處理

2.1 數據收集

本研究按照《中醫(yī)紅外熱成像技術規(guī)范攝像環(huán)境》[11]標準嚴格搭建數據采集環(huán)境。數據來源有效且符合倫理審查規(guī)范，且僅用于本次學術研究，遵循被采集者意愿。數據集包含300 張標準面部紅外熱成像圖片，其中160 張和40 張分別作為訓練集和驗證集，100張作為測試集用于模型泛化性能測試。

2.2 數據標注

本研究使用Labelme 工具對面部紅外熱成像樣本進行標注，該工具基于多邊形框對目標物體進行標注[12]，能夠得到圖像有效分割標簽。本研究分割任務究其根源是二分類問題，即對無關背景和面部進行分割，標簽灰色部分和黑色部分分別表示紅外熱成像的面部和無關背景。中醫(yī)紅外熱成像圖片標注過程如圖5所示。

圖5 中醫(yī)紅外熱成像圖片的標注

3 模型訓練與性能評估

3.1 模型訓練

使用160 張面部紅外熱成像圖片進行模型訓練，Epoch設為100。為了使占用內存更少，計算效率更高，優(yōu)化器選擇Adam，學習率設置為0.0001，最小學習率設置為學習率的0.01倍。動量(Momentum)設置為0.9，這有助于跳出局部最小值，加速模型的收斂。權值衰減(weight_decay)可以防止模型過擬合，但由于采用的優(yōu)化器是Adam，可能會導致權值衰減(weight_decay)發(fā)生錯誤，故weight_decay設為0。

采用相似系數(LossDice)和交叉熵函數平均值(LossCE)的和來計算Loss 的組合損失函數，具體計算公式如下：

圖6 分別表示傳統U-Net 模型、Facial VGGUNet 模型和本文提出的Facial Res-UNet 模型在訓練過程中的trainloss、valloss、smooth train loss、smooth val loss與Epoch的關系圖。

圖6 模型訓練過程中損失值的對比

通過觀察loss 在訓練集和驗證集上的表現，可以看到三種模型的loss 值最終能逐漸收斂并趨于穩(wěn)定，但很明顯本文提出的模型收斂的速度更快，并且loss值更低，更穩(wěn)定。而傳統的U-Net存在收斂速度慢，最終收斂的loss 值較高的問題。Facial VGG-UNet 模型在50 輪和70 輪出現了大的波動，穩(wěn)定性較差。由此可見本文提出的模型具有更好的魯棒性。

3.2 模型評估

本文使用平均交并比(mean Intersection over Union,mIoU)作為評估指標，計算過程如下：

其中，k為圖像中標簽類別數，i表示真實類別，pij表示屬于i類但被判定為j類的像素數量，即假陽性像素數量，pji為假陰性像素數量，pii為預測正確的像素數量。

圖7 表示本文提出的改進模型Facial Res-UNet，在訓練集上的mIoU 值隨著Epoch 增大的變化情況。從圖7 可以發(fā)現，訓練的前8 輪TrainmIoU 波動很大，擬合度逐漸上升。在第8輪以后，TrainmIoU 就已經上升不太明顯，逐漸穩(wěn)定下來，60 輪以后，模型的TrainmIoU 不再上升，達到了98.19%。圖8 表示驗證集上模型的mIoU 達到了98.20%，由此可見，模型的圖像分割效果較為優(yōu)異。

圖7 訓練集上的mIoU值

圖8 驗證集上的mIoU值

3.3 模型性能與分割效果的比較

本文使用人工智能實驗室服務器進行實驗，具體的硬件環(huán)境為TELSA-T4，軟件環(huán)境為Window10、Torch1.2.0 深度學習框架和CUDA10.0。表1 對比了傳統U-Net 模型、Facial VGG-UNet 模型和本文改進模型對面部紅外熱成像的圖像分割性能，本文提出的Facial Res-UNet 方法的mIoU 和Accuracy指標優(yōu)于前兩種方法，在訓練時長上稍處于劣勢。

表1 模型性能對比

圖9 為原始U-Net 模型、Facial VGG-UNet 模型和Facial Res-UNet 模型的分割效果對比。通過對比可以發(fā)現傳統U-Net 模型和Facial VGG-UNet 模型對人臉分割都存在邊緣震蕩問題，而本文提出的模型表現更優(yōu)秀，邊緣相比前兩者更加清晰，分割精度更準確。

圖9 模型的圖像分割效果對比

4 結束語

本文介紹了一種基于U-Net 的改進模型Facial Res-UNet，其在面部紅外熱成像數據集上的分割效果更優(yōu)，分割圖像的均交并比mIoU 達到98.20%。該技術為面部紅外熱成像圖片的自動化分類識別提供了堅實基礎，未來的研究將擴展至人體全身紅外熱成像的圖像分割和分類識別，為中醫(yī)疾病診斷提供更多客觀數據支持，打破“中醫(yī)缺乏客觀性”的偏見。