基于深度學習的黑眼圈檢測研究

張青青　施浩

關鍵詞：黑眼圈；識別；數據集；DETR

中圖法分類號：TP391 文獻標識碼：A

1引言

黑眼圈是一個復雜的眼部美容問題，用來描述眼睛的黑暗狀態(tài)，大多數人認為睡眠不足為引起黑眼圈的主要原因，但睡眠質量并不是引起黑眼圈的重要因素。我們看出一個人具有黑眼圈很簡單，但若要知道屬于哪類，人眼來看還是較為困難。此時，需要借助醫(yī)學上的專業(yè)儀器進行黑眼圈種類識別。在醫(yī)學界還沒有能夠精確識別黑眼圈種類的靈敏機器，本文提出了一種基于深度學習的黑眼圈識別模型，能夠達到較好識別目標的目的。

2黑眼圈的分類

造成黑眼圈的原因有很多。根據其病因，可將黑眼圈類型大致分為3種類型，即色素型、血管型和結構型。同時具備上述3種黑眼圈類型的被稱為混合型黑眼圈。

2.1色素型黑眼圈

這是黑眼圈中比較常見的一種類型。在組織學上，引起這類黑眼圈的原因是黑素細胞增多引起黑色素在真皮過多積壓，導致色素型黑眼圈。也可能是因為過敏性色素沉積引起的炎癥，導致皮膚炎或者水腫。很多環(huán)境因素也會導致色素型黑眼圈，其中包括日照、攝入藥物、懷孕、哺乳、眼科手術和創(chuàng)傷等。還有各種原因引起的水腫會增加皮膚層的厚度，從而增加色素的漫反射率，也將導致眼睛的下眼瞼顏色加深，形成我們不喜歡的黑眼圈。因為水腫程度的改變，導致眼下黑眼圈灰度的改變。

2.2血管型黑眼圈

這是受熬夜影響的一種類型，這種血管型可以影響整個下眼瞼區(qū)域。它的特點是眼瞼處的皮膚薄而透明，皮下的脂肪很少甚至根本沒有，與黑眼圈有關的組織和血管透過下眼瞼的皮膚呈現出一種灰暗的外觀，在醫(yī)學上表現為青紫色，藍色血管明顯，尤其是下眼瞼內側。對于女生來說，在月經期間這種顏色可能加重，使得黑眼圈表現明顯。

這類黑眼圈的下眼瞼皮膚被人為拉伸時，隨之這片皮膚的區(qū)域也會被拉伸，通常我們會認為皮膚拉伸之后皮膚顏色會變淺。但是，這種黑眼圈皮膚被拉伸之后，不僅皮膚顏色沒有變淺，而且會導致黑眼圈顏色加重。產生這種現象的最直接原因是下眼瞼皮膚在被拉伸之后，皮膚內部的血管會顯現出來，使得我們看到的顏色會更深，這種方法可以用來診斷血管是否增多的癥狀。

2.3結構型黑眼圈

結構型也稱陰影型黑眼圈，這種癥狀的黑眼圈可能是先天產生的，也可能是由于后天的種種原因形成的，兩者導致結構型黑眼圈的原因有所不同。淚槽形成的陰影是屬于先天性的，后天性產生的原因一般是上下瞼肌肉的下垂、眼眶脂肪突出和水腫所產生的陰影。二者產生這種黑眼圈的機理雖然不同，但是造成的結果是一樣的。

3基于DETR模型的黑眼圈識別

DETR是FAIR提出的目標檢測方法，沒有NMS后處理步驟，也沒有錨。2018年，Taehoon等[3]首次將Transformer應用于圖像生成。2020年，Carion等將CNN與Transformer結合，提出了一個基于端到端的目標檢測框架DETR.也是第一次將Transformer應用到目標檢測中。朱永寧等提出的基于Faster R-CNN的果實成熟識別技術，用于本次實驗做對比，其效果與Faster RCNN在coco數據集上的效果相當，并且DETR可以很容易地遷移其他任務，如全景分割。DETR的基本思想是將檢測作為一個集合預測問題來處理，并使用Transformer來預測集合，DETR過程大大簡化，可歸納為：“Backbone→Transformer→detect header”。

在現在生活中會發(fā)現越來越多的人關注自己的黑眼圈，很多人會買各種護膚品和化妝品試圖消除或者遮蓋自己的黑眼圈，以達到被人看不出的效果，但這些辦法都不能讓黑眼圈消失。若要讓它徹底消失，則最好選擇去醫(yī)院進行醫(yī)學治療，不同的類型有不同的治療方法，因為難以判斷其類型導致很多人不知道如何治療。深度學習領域也沒有關于黑眼圈識別的研究，這無疑對本文的研究非常不利。由于缺乏足夠的黑眼圈數據集，只能自行收集一些零散的黑眼圈圖片，用黑眼圈的范圍來標記這些圖片，然后生成相應的文件，再用代碼將上述文件轉換成可以被DETR模型識別的文件。前期的準備工作已經完成。數據增強的具體步驟如下。

通過網絡收集當今的原始數據集，由于用作訓練的數據集必須有一個明確的分類，因此有必要尋找已經分類的圖片。但這類數據集非常有限，為了得到更好的訓練效果，選擇通過數據增強對現有數據集進行擴展，主要包括圖像水平翻轉、垂直翻轉、圖像壓縮和圖像加噪。然后，用labelme給訓練集添加標簽，用矩形標簽標注檢測區(qū)域和類型。最后，它被轉換成一個json文件，并輸入到模型中進行訓練。圖1、圖2分別為原始圖像和增強數據集后的效果圖。

在訓練的過程中，模型通過推斷得出固定大小的Ⅳ個預測集，其中Ⅳ被定義為較大于圖像中的物體典型數量。在訓練的過程中會遇到一些問題，需要根據已有的真值（grounp-truth）來預測目標對象的類別，以及它的位置和大小，通過真值（grounp-truth）進行評分，這是模型訓練過程中遇到的最大的難題。在預測目標和ground-truth之間產生最佳的二分匹配，然后優(yōu)化特定于物體（bounding box）的損失。

3.1 DETR架構

整個DETR架構如圖3所示。它包含以下3個主要組件：提取緊湊特征表示的CNN主干（CNNbackbone）、編碼器（encorder）-解碼器（decoder）和進行最終檢測預測的前饋網絡（FFN）。

3.2 Backbone

3.3 Transformer

編碼器和解碼器都遵循Transformer的標準架構，其中的解碼器是使用一個自身的注意力機制將Ⅳ個嵌入轉換成大小為d，同時使用了編碼器（encorder）-解碼器（decoder）注意機制，二者協作進行嵌入轉換。因為解碼器（decoder）的特殊性質，我們又需要輸出不同的結果，嵌入的N個輸入要求也不能一樣，才能得到最終的實驗結果。如果N個輸入相同，根據解碼器的特點，可能會得到N個相同的結果。N個輸入會被添加到每個注意層，作為注意層的輸入，經過一系列流程將轉變?yōu)檩敵觯谶@個轉換過程中是由解碼器（decoder）進行處理的，將這些輸入轉換成嵌入。接著便是前饋網絡FFN（在3.4節(jié)中進行描述）將它們分別解碼成包含類標簽和框坐標，得到最后的目標結果。

3.4 FFN

FFN預測出的目標結果，在預測過程中，它是用一個三層感知器算出來的，在這個感知器中，它包含ReLU激活函數、看不到的維度和線性投影層。

4實驗結果

為了獲得最佳的識別效果，我們分別使用了Faster R-CNN和DETR模型來訓練黑眼圈數據集，在語義特征提取、任務綜合特征提取和計算能力以及運行效率等方面，DETR模型相較于Faster R-CNN都表現出較好的識別效果。

經過比較發(fā)現，在目標檢測數據集上對比DETR和Faster R-CNN基線方法，發(fā)現DETR在大目標上比Faster R-CNN有更好的檢測性能，對于小目標檢測效果不佳的問題，DETR使用了多尺度可變形注意力機制，從而提高了小目標檢測效果。另外，Faster R-CNN無法準確定位圖片中黑眼圈的位置，從而無法準確獲取黑眼圈的特征進行訓練，使得識別率極低。DETR完美地克服了這個缺點，DETR對黑眼圈類型的識別效果會更好，檢測效果圖如圖4所示。

5結束語

使用DETR來檢測黑眼圈類型，最終得到實驗目標結果，但由于數據集不充分，加上各類黑眼圈區(qū)分不明顯，甚至用人的眼睛都無法區(qū)分屬于哪一類型，因此會存在精度不夠的問題，在之后的工作中會收集更多的數據，以提高黑眼圈類型的識別速度和判斷精度，從而在為解決這一難題做出貢獻。