基于雙階段元學習的小樣本中醫舌色域自適應分類方法

卓 力 張 雷 賈童瑤 李曉光 張 輝

(北京工業大學計算智能與智能系統北京重點實驗室 北京 100124)

(北京工業大學信息學部 北京 100124)

1 引言

舌診是中醫(Traditional Chinese Medicine,TCM)望診的主要內容之一，是辨證施治的重要依據。舌象的變化可真實地反映人體臟腑的虛實、氣血的盛衰、病位的深淺、病邪的性質以及預后的好壞。舌診主要通過觀察患者的舌苔、舌色等診察特征來進行診斷。舌診涉及的診察特征有30多種，其中，舌色是最直接也是最常用的診察特征之一。舌色即為舌尖和舌兩側的顏色，一般分為淡紅色、紅色、暗紅色、紫色。舌色分類可以看作模式識別問題，普遍采用機器學習的手段加以解決。

近年來，深度學習逐漸被應用于舌診客觀化研究中，大大提高了舌象分析處理的準確率。但是現有的這些研究工作還無法獲得令人滿意的分類結果，主要原因在于[1]：

(1)深度神經網絡模型結構復雜，需要大量的有標注樣本對其進行訓練，才能獲得理想的性能。然而舌象樣本數據的采集、標注費時費力，有標注的數據匱乏，嚴重限制了分類性能的提升；

(2)通過一臺設備采集到的舌象數據訓練得到的模型應用于另一臺設備時，由于光照條件、采集設備等發生了變化，導致舌象數據分布特性不一致，分類性能急劇下降，更有甚者會導致模型的失效，阻礙了模型的實際推廣應用。

針對上述問題，本文結合元學習、偽標簽生成和有噪樣本學習，提出一種中醫舌色域自適應分類方法，以提高舌色分類模型的性能和泛化能力。主要的創新點包括：(1)提出一種基于雙階段元學習的訓練策略。利用圖像分類數據集MiniImage-Net對模型進行第1階段的元學習訓練，使模型學習到通用性的特征。利用源域舌色數據集對模型進行第2階段的元學習訓練，使得模型可以快速適應舌色數據的特性；(2)提出一種漸進高質量偽標簽生成方法。基于目標域少量有標注樣本對預訓練模型進行微調，利用微調后的模型對目標域大量無標注樣本進行預測，生成偽標簽，通過設置偽標簽置信度閾值結合模型集成策略，判斷生成的偽標簽質量，從中篩選出高質量的偽標簽，和目標域的少量有標注數據一同用于模型訓練，漸進提升偽標簽的準確度；(3)利用目標域少量標注樣本和大量偽標簽樣本訓練分類網絡，針對生成的偽標簽中含有噪聲問題，采用了對比正則化函數，有效抑制噪聲樣本在訓練過程中產生的負面影響，提升目標域舌色分類準確率。

在自建的2個中醫舌色分類數據集上的實驗結果表明，本文提出的中醫舌色分類方法能基于目標域少量有標注樣本，顯著提升目標域舌色分類的準確率。在目標域每類僅給出5張有標注樣本的情況下，目標域舌色分類準確率達到了91.3%，與目標域有監督分類性能僅差2.05%。

2 相關工作

近年來，以深度學習為代表的人工智能迅猛發展，為傳統中醫的創新發展提供了重要的契機。學者將深度學習應用于中醫舌色分類中，取得了重要的研究進展。下面對相關領域的研究進展進行介紹。

2.1 基于深度學習的中醫舌色分類

深度學習可以從大量的有標注樣本中自動學習到表達能力強、通用性好的特征。學者將深度學習應用于中醫舌色分類中，大幅提升了分類準確率。文獻[2]對舌圖像進行預處理，使用修改后的Caffe-Net網絡對舌圖像進行分類。文獻[3]結合圖像預處理和深度學習，在舌圖像數據集中驗證了自搭建的卷積神經網絡(Convolutional Neural Network,CNN)的分類性能。文獻[4]將舌圖像分割為舌質區域和舌苔區域，使用稀疏編碼表示舌圖像的特征向量，對重建特征向量的殘差進行計算來確定舌色類別。文獻[5]提出了一種新穎的置信學習輔助知識蒸餾框架用于解決舌象噪聲標簽問題，教師網絡一方面可以執行置信學習來識別、清理和糾正有噪的標簽，另一方面可以學習知識，指導學生網絡訓練。文獻[6]針對舌象標簽噪聲問題，提出了一種兩階段數據清洗方法，對噪聲樣本進行識別和清洗，同時設計了一種基于通道注意力機制的輕型CNN，有效提升了舌色分類準確率。

上述基于深度學習的中醫舌色分類方法均取得了遠超過傳統方法的分類性能。但是前提假設是訓練數據和測試數據來自同一個域，具有相同的樣本分布。但是在實際應用中，這一假設往往難以成立，由于訓練集和測試集往往存在域差異，導致分類性能嚴重下降，模型的泛化能力仍有待于進一步提升。

2.2 域自適應學習

域自適應學習是遷移學習的特例，旨在學習一個魯棒的網絡模型，使得在源域訓練好的模型在目標域上也能獲得良好的性能，是一種可以有效提升模型泛化能力的學習范式。

域自適應方法主要可以分為無監督域自適應和半監督域自適應。無監督域自適應指的是目標域數據樣本均未標注，可以進一步劃分為淺層和深層方法。淺層域自適應方法[7-10]主要利用基于實例和基于特征的技術來對齊域分布，對齊分布的一種方法是最小化域之間距離。域自適應中最常用的距離度量包括最大平均差異(Maximum Mean Discrepancy, MMD)[11]、相關比對(CORrelation ALignment, CORAL)[12]、 KL散度( Kullback-Leibler Divergence, KLD)[13]和對比域差異(Contrastive Domain Discrepancy, CDD)[14]等。深層域自適應方法[15,16]通常使用自編碼器或對抗網絡來減小域間距。文獻[17]提出了深度傳輸網絡(Deep Transfer Network, DTN)，該網絡同時匹配域間邊緣分布和條件分布，可以有效縮小域間距離。

半監督域自適應指的是目標域數據樣本僅有少量進行了標注。文獻[18]提出了最小最大熵(Mini-Max Entropy, MME)方法，通過最大化熵更新編碼器，以保持特征的域不變性。文獻[19]利用增強的類別對齊模塊計算源域的每個樣本與目標域有標簽樣本中心的距離，利用一致性學習模塊把無標注數據經過弱增強后得到數據的偽標簽作為強增強數據的真實標簽。最后通過兩個模塊的聯合學習減少域間和域內差異。文獻[20]提出了跨域自適應聚類(Cross-Domain Adaptive Clustering, CDAC)，對高置信度偽標簽設計了對抗自適應聚類損失，拉近類內距離的同時拉大類間距離。文獻[21]通過修正無標簽樣本的概率分布和置信度域值來提高偽標簽的質量。

元學習也被稱為“學習如何學習”，其本質是通過構建大量的元訓練和元測試任務，使得網絡可以不斷適應每個具體任務的學習，從而具備抽象的學習能力，僅通過少量的訓練樣本就可以實現新任務的高效學習。元學習主要分為基于度量的元學習、基于模型的元學習和基于優化的元學習等，代表性方法包括一般神經注意力機制元學習(Simple Neural Attentive Meta-Learner, SNAML)[22]、模型不可知元學習(Model-Agnostic Meta-Learning,MAML)[23]等。

元學習有助于提升分類模型的泛化能力和知識遷移復用的能力，是一種實現域自適應的有效手段。因此，本文設計了雙階段元學習域自適應策略，來提升舌色分類模型的泛化能力。

3 基于雙階段元學習的小樣本中醫舌色域自適應分類方法

本文提出方法的整體框架如圖1所示。主要包括雙階段元學習、漸進高質量偽標簽生成和有噪樣本的模型訓練等3個步驟。下面介紹每個步驟的具體實現細節。

圖1 雙階段元學習的中醫舌色域自適應分類整體框圖

3.1 雙階段元學習

雙階段元學習整體流程如圖1所示。第1階段，利用公共數據集MiniImageNet對分類模型進行元學習訓練，從大規模數據集中學習到分類任務的通用知識；第2階段，利用源域的有標注舌象樣本數據和目標域的少量有標注數據對分類模型進行元學習訓練，使其快速適應目標域新舌象數據樣本的特性。

本文選用ResNet18作為主干網絡，采用基于度量的元學習方法進行訓練。遵照元學習訓練過程，將數據劃分為元訓練集和元測試集，又將每個數據集進一步劃分為支持集和查詢集。

元訓練階段。訓練集可以表示為D={(x1,y1),(x2,y2),...,(xN,yN)}，其中N是訓練集D的類別數，x是訓練樣本，y是對應的標簽。將訓練集D劃分成多個K-way C-shot的元任務，其中K-way C-shot代表從訓練集D中隨機選取K個類別、且每個類別包含C個樣本，將劃分后的元任務分為支持集和查詢集，利用支持集中樣本計算出各類的質心，通過拉近查詢集中樣本與對應類質心的距離，計算損失函數更新模型參數。

元測試階段。使用支持集中樣本更新各類的質心，通過計算查詢集中樣本與各類質心的距離進行類別預測。

采用雙階段元學習策略，可以克服舌象樣本數據量不足的問題，避免訓練過程中出現過擬合。接下來，將利用訓練好的模型對目標域的大量無標記樣本進行預測，漸進生成高質量的偽標簽。

3.2 漸進高質量偽標簽生成

漸進偽標簽生成過程如圖2所示。首先，利用雙階段元學習訓練后的模型對目標域大量的未標注樣本進行預測，將預測結果作為偽標簽。很顯然，偽標簽中不可避免地會出現錯誤，這些噪聲標簽會對后續的模型訓練造成嚴重的負面影響，誤差會不斷累積，導致模型的分類性能比較差。

圖2 漸進高質量偽標簽生成過程

為此，本文提出一種漸進的偽標簽生成方法，提升偽標簽的質量。基本思路是對模型預測結果的置信度進行判別，同時結合模型集成策略，判斷偽標簽的質量。偽標簽質量判別過程如下：

假設p(y=k|q)表示模型輸出的類別預測概率，當p(y=k|q)大于閾值th，且多個模型的預測結果一致時，將其認定為高質量偽標簽；否則判定為低質量偽標簽加以丟棄。將高質量偽標簽樣本數據與已有的少量的有標注數據一同用于模型訓練，提升模型對未標注數據的預測準確性。利用訓練好的模型對剩余的未標注數據進行預測和偽標簽質量判別，重復以上步驟，直到所有的未標注數據均賦予了偽標簽。

本文采用了Resnet18, SACA-Resnet18, ECA2-ResNet18[5]3個異質網絡結構進行模型集成學習。其中SACA-Resnet18在Resnet18中加入了空間注意力和通道注意力機制，這是考慮到中醫舌診的習慣，采用空間注意力機制引導網絡重點關注舌尖和舌兩側區域，采用通道注意力機制提升舌色分類特征的區分性和表達能力。E-CA2-ResNet18指的是Resnet18中加入通道注意力機制并結合是否激活(ACtivate Or Not, ACON)函數。集成學習采用投票法，融合多個模型的預測結果，篩選出高質量的偽標簽。

3.3 損失函數

在生成的偽標簽中不可避免地會存在錯誤，直接使用噪聲偽標簽進行模型訓練會導致誤差傳遞，使得模型在訓練過程中難以收斂。為此，本文采用魯棒的對稱交叉熵(Symmetric Cross Entropy,SCE)損失函數[24]和對比正則化(ConTrastive Regularization, CTR)函數[25]對網絡進行優化訓練，抑制噪聲樣本對分類性能的影響。

總損失函數如式(1)所示

其中，Lsce代表SCE損失函數，代表CTR函數，α用于控制正則化的強度。

CTR函數假設兩張來自同類的干凈樣本所攜的關于正確標簽的信息是相關的，而所攜帶的關于錯誤標簽的信息是無關的，保證了模型不會欠擬合正確標簽。同時，攜帶較少的與錯誤標簽相關的信息，也在一定程度上保證模型不會過擬合噪聲樣本。表達式如式(2)所示

SCE是一種魯棒的損失函數，可以在一定程度上緩解模型對噪聲樣本的過擬合問題。其表達式為

其中，γ,β是兩個超參數，Lce是交叉熵損失，如式(4)所示

Lrce是反向交叉熵損失，如式(5)所示

4 實驗結果與分析

為了驗證所提方法的有效性，本文進行了實驗。下面詳細介紹實驗結果，并對其進行分析。

4.1 數據集和性能評價

數據集。實驗中采用了2個自建的中醫舌象分類數據集SIPL-A,SIPL-B。數據集中的樣本分別利用2臺自研的SIPL型中醫舌象儀進行采集，并對舌體進行了分割。所有樣本均由具有多年臨床診斷經驗的中醫醫師手工標注。兩個自建數據集的類別和樣本數量如表1所示，部分示例舌圖像如圖3所示。可以看出，由于2臺設備在光照條件、采集設備等方面存在差異，兩個數據集中的樣本存在明顯的顏色差異。

表1 兩個自建數據集的樣本類別和數量

圖3 兩個自建數據集中的部分樣本示例

將MiniImageNet數據集作為第1階段元學習數據集，SIPL-A數據集作為第2階段元學習的源域數據集，SIPL-B數據集作為目標域數據集。源域訓練集使用全部標注數據，目標域訓練集隨機選取了20張有標注數據，即4個類別、每類5幅圖像，其余數據均視為無標注數據。

數據擴充。由于自建數據集SIPL-A,SIPL-B的有標注樣本量較少，本文采用數據擴充的方式擴大訓練樣本規模，具體包括垂直翻轉、水平翻轉、隨機裁剪和其他幾何變換方式等。

性能評價指標。本文采用最常用的準確率來度量舌色分類性能，具體定義為

假設C表示舌色類別中的一類，式(6)中TP表示類C中的樣本被正確預測為類C的數量，TN表示不屬于C類的其他類別樣本被正確預測為對應類別的數量，N表示測試集中樣本的總數量。

4.2 參數設置

本文使用Pytorch開源架構進行網絡模型的搭建、訓練和測試。硬件配置基本參數為：Intel(R)core(tm)I5-7 500 CPU@3.40 GHz, 16GB內存，Titan xp(Pascal)顯卡。在元學習階段，模型訓練采用Adam梯度下降算法，Bacth Szie設置為100，學習率設置為0.000 3，訓練迭代周期為200次。此外，在訓練過程中學習率以固定步長衰減，學習率每10個epochs減少為原來的gamma倍，其中gamma設置為0.5。漸進偽標簽生成過程中，偽標簽置信度閾值th設置為0.9。在有噪樣本學習階段，采用Adam梯度下降算法進行優化，學習率固定為0.003，Bacth Szie設置為32，迭代周期設置為400次，對比正則化損失系數α設置為50。

4.3 有監督舌色分類性能

本文首先在2個數據集上進行了實驗，基于有標注樣本數據，采用有監督學習方式對模型進行訓練，得到的分類準確率如表2所示。其中網絡模型為ResNet18，采用SCE損失函數進行監督。可以看出，采用有監督學習方式訓練出來的分類模型，在SIPL-A,SIPL-B兩個數據集上的分類精度分別達到了94.03%和93.35%。這些數據將作為基準數據，驗證本文提出的域自適應舌色分類方法的性能。

表2 采用有監督學習方法得到的兩個數據集分類精度(%)

4.4 不同訓練策略對偽標簽質量的影響

為了驗證雙階段元學習策略對模型跨域性能的影響，本文將其與其他幾種訓練策略進行了對比，對比結果如表3所示。其中每種策略的具體實現方式如下：

表3 不同訓練策略對偽標簽準確率的影響(%)

策略1直接使用源域數據集SIPL-A訓練Resnet18，對目標域的測試集數據進行測試。

策略2利用源域數據集SIPL-A 對Resnet18進行預訓練，再使用目標域20張有標注數據進行微調。

策略3利用MiniImageNet數據集對Resnet18進行預訓練，再使用目標域20張有標注數據進行微調。

策略4單階段元學習，即僅使用源域數據集對Resnet18模型進行元學習訓練，然后利用目標域20張有標注數據進行微調。

策略5提出雙階段元學習訓練策略。

由表3可知，策略1未適用任何跨域訓練策略，偽標簽準確率僅為66.5%，這說明源域訓練出的模型在目標域的性能急劇下降，模型泛化能力差。策略2相比策略1有10.3%的提升，說明使用目標域少量標注數據微調可以提升分類性能。使用SIPL-A數據集預訓練相比MiniImageNet數據集進行預訓練有2%的性能提升，說明利用相似任務數據集預訓練模型可取得更優的效果。策略4相比策略3性能提升了5.1%，驗證了元學習訓練策略在域自適應上的優勢。與單階段元學習相比，本文提出的雙階段元學習訓練策略能將分類準確率提升2.1%。這是因為通過第1階段大規模通用數據集上的元學習訓練，使得模型能夠學習到圖像分類的通用知識。第2階段模型通過源域的有標注樣本進行元學習訓練，能學習到關于舌色分類的元知識，并可以快速適應目標域的新數據特性，從而獲得了最優的分類性能。

4.5 目標域有標注樣本數量對偽標簽質量的影響

接下來，將驗證目標域有標注樣本數量對偽標簽質量的影響。目標域每個類別的有標注樣本數量分別為1例、3例和5例，訓練策略均采用雙階段元學習，得到的偽標簽準確率對比結果如表4所示。

表4 不同目標域有標注樣本數量對偽標簽準確率的影響(%)

由表4可知，當目標域每類有標注樣本數量分別為1, 3, 5例時，偽標簽準確率分別達到了78.6%,80.7%和82.0%，準確率隨著有標注樣本數量的增加而不斷提升。因此，本文將目標域每類的有標注樣本數量設置為5例，以降低模型訓練對有標注數據的依賴，減輕人工標注壓力，提高所提出方法的實用性。

4.6 不同元學習方法對偽標簽質量的影響

為了驗證不同元學習方法對偽標簽質量的影響，本文將提出方法與代表性的元學習方法Matching networks[26], Relation network[27], SNAML[22]和Online MAML[28]進行了對比，表5列出了采用不同元學習方法得到的對比實驗結果，取10次實驗的平均分類準確率作為實驗結果，主干網絡均使用Resnet18。

表5 不同元學習方法對偽標簽準確率的影響(%)

從表5可以看出，對于所有的元學習方法，相比單階段元學習，雙階段元學習生成的偽標簽準確率均有一定的提升，說明雙階段元學習訓練策略可以有效學習到域不變特征。本文采用的元學習方法可以取得最優的分類性能，相比于其他元學習方法，單階段元學習和雙階段元學習生成的偽標簽準確率均為最高。

4.7 偽標簽質量對分類性能的影響

本節將驗證偽標簽質量對分類性能的影響。實驗中，分別采用不同的方法生成無標注樣本的偽標簽，取10次實驗結果的平均值作為偽標簽準確率，結果如表6所示。其中，偽標簽準確率是指對全部未標注數據預測的準確率。模型集成在偽標簽預測中采用投票法。具體對比方法包括：

表6 不同偽標簽生成方法的結果對比

(1) 一次性偽標簽生成+模型集成：指在全部生成偽標簽過程中加入模型集成策略；

(2) 漸進偽標簽生成+置信度閾值：指僅利用置信度閾值對標簽質量進行判別，選取質量高的偽標簽加入有標注數據微調模型，對未標注數據進行預測，漸進生成偽標簽；

(3) 漸進偽標簽生成+置信度閾值+模型集成：利用置信度閾值和模型集成兩個條件對標簽質量進行判別，并漸進生成偽標簽。

實驗中，置信度閾值均設為0.9。從表6可以看出，一次性生成所有未標注數據的偽標簽，準確率僅為82%。加入模型集成策略能夠略微提升準確率，但是效果十分有限。采用漸進生成偽標簽的方式，結合置信度閾值進行篩選，可以生成201個偽標簽，能夠提高偽標簽準確率。在此基礎上進一步結合模型集成策略，可以篩選出146個高質量偽標簽，將這些偽標簽加入有標注數據對模型進行微調，能夠進一步提升偽標簽準確率，達到87.00%。

表7所示的是不同輪次生成的偽標簽準確率。可以看出，進行兩輪迭代即可得到高質量偽標簽，再進行多輪實驗，偽標簽準確率提升有限。因此，本文通過兩輪迭代，生成未標注數據的偽標簽。

表7 漸進高質量偽標簽生成的輪次結果對比

4.8 有噪樣本對分類性能的影響

為了驗證有噪偽標簽對分類性能的影響，本文將提出的方法與代表性的5種有噪樣本學習方法，包括GCE, PENCIL, SCE, Co-teaching, Co-teach-ing+等進行了對比。表8列出了采用不同有噪樣本學習方法得到的對比實驗結果，取10次實驗的平均分類準確率作為實驗結果，主干網絡均使用Resnet18。表8中所有數據均是將目標域生成的偽標簽和少量標注樣本一起用于訓練得到的結果。

表8 不同有噪樣本學習方法的分類結果對比(%)

從表8可以看出，直接利用生成的偽標簽和少量的標注數據對模型進行訓練，準確率僅為87.50%。這是因為偽標簽中含有一定的噪聲。而采用有噪樣本學習方法，均可以不同程度地提升分類準確率。與其他有噪樣本學習策略相比，本文方法能取得最優的分類性能，相比其他方法有0.5%～3%的提升。

4.9 與其他域自適應方法對比

為了驗證本文提出跨域舌色分類方法的有效性，將其與現有的代表性域自適應方法最小最大熵(MiniMax Entropy, MME)[18]、CDAC[20], Adamatch[26]等進行了對比。

由于目前還沒有跨域舌色分類的相關研究工作，為了保證公平對比，將對比方法在與本文方法在相同設置下重新進行訓練，結果如表9所示。從表9可以看出，本文提出的雙階段元學習域自適應方法取得最優的分類性能，達到了91.3%。相比于其他的域自適應方法，分類性能提升了2%以上，充分驗證了本文方法的有效性。

表9 不同域自適應方法的結果對比(%)

4.10 消融實驗

本文進行了消融實驗，以驗證所提算法中各個部分的有效性。基線方法以ResNet18作為主干網絡，依次加入雙階段元學習、漸進高質量偽標簽生成和有噪樣本學習部分，舌色分類準確率對比結果如表10所示。從實驗結果中可以看出，采用基線方法分類準確率僅為76.8%。加入雙階段元學習后，分類結果提升了5.5%，達到了82.3%，這說明雙階段元學習可以顯著提升跨域舌色分類性能。結合漸進高質量偽標簽生成策略，目標域舌色分類精度進一步提升了5.2%。在此基礎上進行有噪樣本學習，分類準確率又提升了3.8%，達到了91.3%。與目標域采用所有標注樣本進行有監督學習相比，分類性能僅差2.05%。

表10 消融實驗(%)

5 結論

本文針對中醫舌色分類模型跨域魯棒性差的問題，提出了一種基于雙階段元學習的小樣本中醫舌色域自適應分類方法，以提高舌色分類模型的泛化性。通過實驗，可以得到如下結論：

(1)雙階段元學習訓練策略可以從大規模數據集中學習到通用的分類知識，將這些知識遷移到舌色分類數據集上，可以有效提升了舌色分類性能；

(2)一次生成偽標簽會導致其中出現大量的不準確標簽，導致分類性能不高。而漸進偽標簽生成可以有效提升偽標簽的質量，提升分類準確率；

(3)由于偽標簽中不可避免地含有噪聲，采用具有噪聲樣本抑制特性的損失函數對模型進行訓練可以大大提升分類性能。在自建的兩個中醫舌色分類數據集上的實驗結果表明，本文提出的舌色分類方法在目標域僅給20張有標注樣本情況下，目標域舌色分類準確率達到了91.3%，與目標域有監督分類性能僅差2.05%，可以滿足實際應用的需求，對于中醫舌象儀的推廣應用具有重要意義。