基于獨立分類網絡的開集識別研究

徐雪松 付瑜彬 于波

摘要：【目的】為解決圖像分類模型面對傳統閉集訓練方式出現的模型缺乏開集泛化性的問題，提出了一種分離式的獨立分類網絡結構?！痉椒ā棵總€類別都包含獨立的線性特征層，特征層中設計的神經元節點能夠在有限的數據樣本下更準確地捕獲類別特征。同時，在模型訓練時，文中引入了一類無需標注的負樣本，使得模型在構建決策邊界時不僅依賴于已知類別的特征差異，在不增加額外標注樣本的情況下，增加模型決策邊界的開集泛化性?！窘Y果】結果表明：獨立分類網絡開集識別（ICOR）模型結構和開集自適應訓練策略均能有效改善傳統模型開放集識別（OSR）性能；隨著開放度的增加，能表現出更好的魯棒性，能更有效地降低模型的OSR風險。【結論】提出的獨立分類網絡并融合開集自適應訓練的算法比現有開集識別算法具有更優的開集識別性能。

關鍵詞：深度學習；開集識別；圖像分類；遷移學習

中圖分類號：TP391；U495 文獻標志碼：A

文章編號：1005-0523（2024）02-0079-08

Research on Open Set Recognition Based on Independent Classification Network

Xu Xuesong， Fu Yubin， Yu Bo

（School of Electrical & Automation Engineering， East China Jiaotong University， Nanchang 330013， China）

Abstract： 【Purpose】In order to solve the problem of image classification models lacking open set generalization due to traditional closed set training methods when facing open set recognition problems， we propose a separate independent classification network structure. 【Method】 Each category contains an independent linear feature layer. The neural nodes designed in the feature layer can capture the category features more accurately under limited data samples. At the same time， a class of negative samples without labeling is introduced in the model training， so that the model not only relies on the feature difference of the known categories when constructing the decision boundary， but also increases the open set generalization of the model decision boundary without adding additional labeled samples. 【Result】The results show that both the ICOR model structure and the open-set adaptive training strategy can effectively improve the OSR performance of traditional models; with the increase of openness， it can demonstrate better robustness; can more effectively reduce the OSR risk of the model. 【Conclusion】The proposed independent classification network combined with open-set adaptive training algorithm has better open-set recognition performance than existing open-set recognition algorithms.

Key words： deep learning; open set recognition; image classification; transfer learning

Citation format： XU X S，FU Y B，YU B. Research on open set recognition based on independent classification network[J]. Journal of East China Jiaotong University， 2024， 41（2）： 79-86.

【研究意義】在實際應用中，由于無法準確預知樣本的分布，預先設計好的分類器在面對未知類別樣本時難以保持較高的分類準確性，這就是開放集識別問題（open set recognition，OSR）[1]。近年來許多學者針對這個問題提出不少方法，總的來說，分成生成式和判別式兩種[2]。

【研究進展】判別式方法通過正則化收縮已知類在特征空間的決策邊界，并在特征空間內給未知類分配區域，從而緩解模型的過度泛化，降低模型的OSR風險[3-5]。例如：Scheirer等[1]提出基于支持向量機的OSR算法，通過設計一個額外的超平面來區分已知和未知類別；Zhang等[3]采用極值理論對數據的尾部分布進行重新建模，提高了模型對尾部分布數據的處理能力；Bendale等[4]揭示了Softmax激活函數不適用于OSR任務，并提出了OpenMax算法作為深度學習領域OSR問題的第一個解決方案。

生成式方法通過約束已知類在特征空間的分布來縮小模型的決策邊界，從而提高模型的OSR性能。例如：Neal等[6]提出使用生成對抗網絡（generative adversarial networks，GAN）生成實例樣本，并對生成樣本進行概率估計來擴充已知類的分布，使分類器能夠更加準確地區分已知類和未知類；Zhang等[7]采用自動編碼器技術對輸入樣本進行重建，通過對比重建誤差來評估輸入樣本；Xia等[8–10]通過在特征空間內對已知類的原型設計空間約束，限定未知類原型在特征空間的分布區域，以此來降低模型的OSR風險。

判別式方法依賴于對照組樣本來確定各類別特征的分布，因此需要有足夠數量的對照組樣本，才能準確刻畫每個類別的邊緣特征。生成式方法通過生成方法學習每個類別自身的特征分布，同樣需要足夠豐富的自身樣本才能訓練出可靠的生成模型。但實際應用中，可能無法獲得足夠數量的標注樣本。此時，由于自身樣本特征稀疏，無論是判別式模型還是生成式模型的訓練都面臨較大困難。

【關鍵問題】卷積神經網絡（convolutional neural network，CNN）和ViT（vision transformer）[11]被廣泛應用于圖像分類任務。本文以CNN和ViT模型結構為基礎，對模型結構和訓練策略進行了優化，提出了一種適用于OSR問題的模型結構--獨立分類網絡開集識別（independent classifiers for open-set recognition，ICOR）模型，以及一種新的模型訓練策略--開集自適應訓練。

【創新特色】本文的創新點主要體現在以下方面：提出了獨立分類網絡結構，該結構給未知類別提供了分類區域，過獨立的線性層捕獲更多類別特征，幫助模型學習更完備的特征；提出了一種開集自適應訓練策略，在訓練中增加了一類未標注的開集數據集作為所有已知類數據的負樣本，通過額外對比已知類和負樣本的特征差異來使模型學習更完備的已知類特征；本文的ICOR模型結構通過少量數據樣本就可實現模型的訓練，降低了在研究過程中模型對標注圖像的依賴。

1 研究方案

ICOR算法的總體框架如圖1所示。

1.1 特征提取網絡

實際應用中，數據樣本的獲取和標注往往是個難題。為此，本文在對ICOR模型的特征提取網絡（feature extraction network）參數初始化時，采用了遷移學習的策略[12]。為了驗證ICOR模型結構的普適性，在實驗中，本文采用了3種具有代表性的特征提取網絡：經典的ResNet50深度模型[13]、輕量化的MobileNet模型[14]和基于注意力機制模塊的ViT模型[11]。

遷移學習策略的適用性受源任務與目標任務的相似度、數據分布差異的影響。因此，在進行參數遷移時，選擇了與ICOR模型相同類型的圖像分類模型，使用在ImageNet1K數據集（ResNet50、MobileNet）[13-14]和JFT-3B數據集[11]（ViT）上預訓練的模型參數初始化ICOR模型的特征提取網絡。輸入圖像經過特征提取后的對應表達式為

[Vk=G（θG，Ik）] （1）

式中：[Ik]為輸入圖像；[θG]為特征提取網絡[G（?）]的模型參數。對于輸入圖像[Ik]，經過特征提取網絡后得到共享特征向量[Vk]（share feature layer）。其中，[G（?）]決定特征向量[Vk]的輸出維度，[θG]決定特征向量[Vk]的特征屬性。

1.2 獨立分類網絡

傳統圖像分類模型常使用Softmax交叉熵函數構建分類損失，這導致了兩個問題：Softmax函數的歸一化機制將整個特征空間劃分給了已知類，沒有給未知類別留有分類區域；Softmax容易導致模型過于關注目標類，降低了模型對非目標類的學習權重，容易導致模型陷入局部優化。

ICOR模型中，引入了圖1所示的分離式獨立分類網絡結構（independent classification network）。每個獨立分類網絡結構包含了若干個獨立神經元節點，與共享特征層之間使用全連接結構連接，激活函數采用GELU。同時，在輸出端使用Sigmoid激活函數對分類器的輸出進行獨立歸一化到0～1。第i個類別的預測概率可以表達為

[P（yi|Vk）=Sigmoid（Fi（φi|Vk））] （2）

式中：[Vk]為特征提取網絡輸出的特征向量，所有獨立分類器共享該特征向量；[Fi（?）]為屬于類別[yi]獨立分類器；[φi]為該獨立分類器的模型參數。獨立分類網絡將M分類轉換成了M個單分類，每個獨立網絡只需要獨立判斷輸入樣本屬于本類別的概率，這使得已知類別在特征空間內的分布形成閉合的區域，從而實現已知類和未知類在特征空間上的分離，給未知類別在特征空間內保留了分類區域。針對每一個獨立分類器的預測輸出，均使用二值交叉熵函數進行單獨構建誤差損失，計算式為

[L=-1Nk=1Ni=1Mlog（P（yi|xk）），? ? ?tk=1-1Nk=1Ni=1Mlog（1-P（yi|xk））， tk=0] （3）

式中；[xk]為輸入圖像；N為迭代中的批次數量；M為已知類別的數量。訓練中，對于單個獨立分類器，只有當輸入樣本屬于第i類時，才被視為該類別的正樣本。因此，ICOR模型對正負樣本的學習權重是相同的，通過增加模型對負樣本特征的學習，可以促使模型縮小正樣本類在特征空間內的決策邊界。

1.3 開集自適應訓練

在常規監督分類任務訓練中，由于標簽提供的信息有限，模型可能會擬合一些僅在閉集訓練集下有利于分類的特征，這些特征可能并不具備開集泛化性。此外，在實際應用中，往往無法有效收集到足夠的數據樣本，這可能會導致模型過擬合，使得其特征學習偏向于局部優化。

本文提出了一種如圖2所示的開集自適應訓練策略。在模型訓練時，額外添加了負樣本圖像。盡管負樣本圖像未進行細致的類別標注，但在模型訓練中仍然可以提供額外的對比特征，使模型在構建已知類的決策邊界時，不局限于已知類的特征差異，這些額外的特征差異信息可以從側面反映已知類別的邊緣特征分布。當模型用于構建決策邊界的特征足夠豐富時，模型在面對全新的開集數據時，緊湊的決策邊界能賦予模型更好的魯棒性。這種方式的優勢在于，無需標注的數據樣本十分易得，可以直接對大型數據集進行隨機采樣。

圖2中，A和B表示的是訓練集中閉集類對應的圖像，實際問題可能還存在其他類，本文僅以A和B類為例進行描述說明。[？]表示未經過標注的未知類別的任意圖像，其中[（A，B）?？]。開集自適應訓練的步驟包括。

步驟1? 構建圖1所示的ICOR模型，加載特征提取網絡的預訓練權重，在閉集條件下訓練模型（Close training），直至模型收斂，保存模型。

步驟2? 使用步驟1中保存的模型對未標注的負樣本圖像[？]進行預測（Open testing），并將預測值高于設定開集閾值的負樣本圖像保存。圖2中A′表示圖像[？]的預測值高于設定的開集閾值（Open threshold value），且對應的預測類別為A。

步驟3? 將步驟2中保存的圖像（A′和B′）與閉集圖像進行混合，并用于模型的開集自適應訓練（Open set adaptive training），直至模型收斂，并保存模型。其中，圖像A′和B′對于任何一個獨立分類網絡的真實標簽均設置為[0]，表示不屬于任何閉集已知類別。

步驟4? 使用驗證集圖像對步驟3保存的模型進行驗證（Open set verification），計算模型的開集和閉集精度。其中，開集驗證集C中包含了已知類和未知類圖像。

步驟5? 重復步驟2到4，直到模型的開集和閉集精度達到預期要求后，開集自適應訓練結束，保存最終模型。

在開集測試中，當輸入樣本的預測值小于設定的開集閾值時，被判定為開集類；反之，為閉集類。在步驟2中，盡管負樣本圖像可能被識別為已知類，但負樣本圖像仍然在特征空間內有其所屬的分類區域，在步驟3中通過標簽信息來不斷的迭代學習，負樣本圖像能逐步地壓縮已知類在特征空間內的區域，達到收縮已知類別決策邊界的目的。

2 實驗與分析

實驗中，模型的學習率為0.001，學習動量為0.5，權重衰減率為0.000 05。實驗平臺服務器CPU為W-2133 CPU@3.60GHz，GPU為GeForce GTX 1080Ti，搭載Pytorch深度學習框架。

2.1 數據集介紹

正如1.3節所分析的，研究在少量樣本條件下的OSR問題對解決實際工程應用問題具有極大的實際價值。為此，本文收集了兩個小型的數據集。

2.1.1 小型數據集FDS

小型數據集（few data set，FDS）包含100類實際環境中的物品，每類物品從不同角度采集20張圖像。數據集的部分展示如圖3所示。

實驗中，按照1：9來隨機劃分閉集和開集類別，每個類別按照1：3隨機劃分訓練集和驗證集。同時，為了便于ICOR模型的開集自適應訓練，本文收集了一個不做類別標注的未知類數據集（unknown data set，UDS），一共包含5 000張圖像，涵蓋各類生活用品、服飾、地標等。其中，UDS數據集與FDS數據集之間在類別上不存在交集。

2.1.2 數據集Imagenet-Crop

圖像背景信息可能會對模型訓練造成影響，為增加實驗的對比性，本文基于Imagenet1K數據集制作了比FDS數據更加復雜的Imagenet-Crop數據集。實驗中，隨機從Imagenet1K的1 000個類別中選取10個類別作為閉集類別用于模型的閉集訓練，在剩余的990類中，劃分400類作為開集類別用于模型開集測試，590類作為未知類別。

本文聚焦于研究模型的OSR性能，在實驗中適當的增加了Imagenet-Crop數據集中閉集圖像的數量，以保證模型的閉集精度。實驗中，在閉集類別對應的訓練集內隨機抽取100張圖像，按照2：8的比例劃分訓練集和測試集。

2.2 實驗設計

為了評估ICOR模型和開集自適應訓練策略的有效性。本文設計了在同等實驗條件下關鍵參數的消融實驗、模型開放度實驗以及與現有OSR算法的對比實驗。

2.3 消融實驗

2.3.1 獨立分類網絡對模型開集性能的影響

AUROC常被用于評估模型的OSR性能[8-9]，然而AUROC值只考慮到模型對已知類和未知類的分辨能力，并未考慮到模型對已知類的正確分類能力。本文采用“開集精度（open accuracy，OA）”來評估模型識別已知類和未知類的能力，并通過“閉集精度（close accuracy，CA）”來評估模型對閉集類別的正確分類能力，其定義為

[OA=i=1pOⅡ（yi*

式中：[PO]與[PC]分別為測試集中開集和閉集樣本的總數；[yi*=argmax（y1*，y2*，…，yM*）]，即對于輸入樣本[xi]，[y*i]表示M個獨立分類網絡中對應預測輸出的最大值；[Ⅱ]為指示函數，當邏輯為真，函數結果為1；[clsi]為輸入樣本[xi]的正確標簽；[od]為開集拒判閾值。由于ICOR模型中每一個獨立分類網絡都通過Sigmoid函數激活輸出，可以看作是邏輯回歸的二分類，故設定開集拒判閾值為0.5。

為平衡模型性能和計算資源的消耗，本文通過多次實驗的先驗知識確定每個獨立分類網絡的神經元節點個數為共享特征層的十分之一。在FDS和Imagenet-Crop數據集上，訓練次數為200次，采取解凍訓練模式，即不對網絡層進行凍結，訓練所有模型的所有網絡層。實驗結果如表1所示。

表1中，1、4、7三組使用Softmax函數的模型在閉集條件下具有良好的識別精度，表明模型已經成功收斂。然而，這3組模型的最高OSR精度不超過0.474（1組）。此外，Sigmoid組模型對應的表1中的2、5、8組實驗結果表明，在FDS數據集上，3組模型的OSR精度分別提高至0.824、0.707和0.826，這表明Sigmoid函數對模型的OSR性能有所提高。然而，在Imagenet-Crop數據集上，這些模型仍然表現出極高的OSR風險。例如，第8組的OSR精度僅為0.437，相對于第7組Softmax組的0.331僅有0.1的提升。

表1中的3、6、9組對比實驗結果表明，在兩個數據集下，ICOR模型均實現了最高的OSR精度。在Imagenet-Crop數據集上，最低的OSR精度也達到了0.792（9組），高于Sigmoid組最高的0.744（2組）。此外，通過比較Softmax和Sigmoid組的閉集精度可以發現，使用Sigmoid函數可以提高模型的OSR精度，但同時也可能降低模型的閉集識別精度。而本文提出的ICOR模型在同樣的實驗條件下，既保證了較高的閉集精度，同時對模型的OSR性能具有良好的改善效果。

2.3.2 開集自適應訓練對模型開集性能的影響

為評估開集自適應訓練策略對模型OSR性能的影響，本文在3組模型的Sigmoid和ICOR組的閉集訓練基礎上進行了開集自適應訓練。訓練中，在開集測試時，選擇在閉集驗證集中有95%以上樣本被分類正確的預測置信度作為開集閾值。模型訓練分兩個階段，首先進行100次的閉集訓練，然后進行100次開集自適應訓練。實驗結果見表2。

表2中，K+表示模型經過開集自適應訓練后的結果。2、6、10組的對比結果表明，經過開集自適應訓練后，Sigmoid和ICOR組模型在兩個數據集上的OSR精度均提升至0.9以上。因此，可以證明開集自適應訓練能夠有效提高模型的OSR性能。此外，在相同的特征提取網絡下，ICOR模型相較于Sigmoid能更有效地提升模型的OSR性能。這也表明獨立分類網絡設計的有效性。

2.4 開放度測試實驗

為了通過有限的未知類別估計模型在更加開放的環境中的OSR性能的魯棒性，本文設計了開放度測試實驗來進一步評估模型的開集性能。數據集的開放度（Openness）[1]是指在測試過程中出現未知類別的比例，其定義為

[Openness=1-2CTCE+CR] （5）

式中：[CT]為訓練中的已知類別數；[CE]為驗證集中的已知類別數；[CR]為驗證集中已知類別和未知類別數之和。本文實驗中，驗證集包含了所有訓練類別。根據式（5），FDS和Imagenet-Crop數據集對應的最大開放度分別為0.574和0.782。

F1值結合了準確率和召回率兩個指標，常被用于評價二分類任務模型的綜合性能，開集識別問題可以被視為一個簡化的二分類任務，即模型是否準確識別已知類和未知類。模型在不同開放度條件下的F1分數的變化趨勢如圖4所示。

圖4（a）和圖4（b）展示了3組模型閉集條件下，在FDS和Imagenet-Crop數據集上進行開放度實驗的結果。實驗表明，隨著數據集開放度的增加，模型在測試過程中需要處理更多未知類別，各組模型的綜合F1分數逐漸降低，這與預期實驗趨勢一致。其中，Sigmoid組的折線圖位于Softmax組上方，這表明使用Sigmoid比使用Softmax具有更優的開集識別性能，但隨著開放度的增加，Sigmoid組的F1分數迅速下降，表明Sigmoid僅在低開放度條件下表現出良好的魯棒性。相比之下，ICOR模型的折線位于最上方，并且隨著開放度的增加，F1分數下降的速度要較為緩慢，表明相對于其他兩組模型，ICOR模型具有更優的開集魯棒性。

圖4（c）和圖4（d）展示了3組模型經過開集自適應訓練后在FDS和Imagenet-Crop數據集上進行開放度實驗的結果。在相同的開放度條件下，ICOR組的綜合F1分數高于Sigmoid組。Sigmoid組的折線在開放度較小時呈水平狀態，但在開放度大于50%和60%時，折線的斜率急劇降低，模型的F1分數急劇下降。這表明Sigmoid組在開集適應性訓練后，在低開放度下能夠保持較高的開集精度，但隨著開放度的增加，仍然存在嚴重的開集識別風險。實驗中，ICOR組的折線斜率始終保持著緩慢的下降趨勢，模型表現出更優的魯棒性。

2.5 算法對比實驗

為驗證ICOR算法對比其它OSR算法（AMPFL[8]、SLCPL[9]、ARPL[15]、GCPL[10]）對現有模型OSR性能改善的優勢，本文在FDS和Imagenet-Crop數據集上進行了對比實驗。實驗中，所有算法使用同一特征提取網絡，并使用遷移自Imagenet1K數據集的預訓練參數。實驗中模型迭代次數均為200次，實驗結果如表3所示。

表3中7到18組的實驗結果表明，AMPFL、SLCPL、ARPL和GCPL等算法對模型的OSR性能改善有限。特別是在ResNet50特征提取網絡框架下（第7、10、13和16組），盡管這些算法保持著較高的閉集精度，但存在極大的OSR風險，甚至高于傳統的Softmax和Sigmoid（第1、4組）。此外，ICOR算法在未進行開集自適應訓練時（第19、20、21組），實現了試驗中最高的OSR精度；在進行開集自適應訓練后，ICOR模型的OSR精度均在0.97以上，相比于現有OSR算法，ICOR（K+）在兩個數據集上的表現（第22、23、24組）均有明顯的優勢。

同時，AMPFL、SLCPL、ARPL、GCPL等算法，隨著特征提取網絡的改變，模型的開集識別精度也會發生明顯變化，這表明特征提取網絡的類型對傳統開集識別算法的開集識別精度具有很大影響，而本文算法隨著特征提取網絡的變化，開集識別精度保持穩定，表現出了更好的魯棒性。

3 結論

本文針對傳統模型存在的OSR問題，設計了ICOR模型和開集自適應訓練策略，通過實驗可以得出以下結論。

1） 通過消融實驗證明，ICOR模型結構和開集自適應訓練策略均能有效改善傳統模型OSR性能。

2） 通過開放度實驗證明，本文的ICOR模型及開集自適應訓練策略隨著開放度的增加，表現出更好的魯棒性能。

3） 對比實驗中其他現有OSR算法，ICOR模型和開集自適應訓能更有效地降低模型的OSR風險。

參考文獻

[1]? ?SCHEIRER W J，? ANDERSON D R R，? SAPKOTA A， et al. Toward open set recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence ， 2013， 35（7）： 1757-1772.

[2]? ?MAHDAVI A， CARVALHO M. A survey on open set recognition[C]//Laguna Hills： 2021 IEEE Fourth International Conference on Artificial Intelligence and Knowledge Engineering （AIKE）， 2021.

[3]? ?ZHANG H， PATEL V M. Sparse representation-based open set recognition[J]. IEEE transactions on Pattern Analysis and Machine Intelligence， 2016， 39（8）： 1690-1696.

[4]? ?BENDALE A， BOULT T E. Towards open set deep networks[C]//Las Vegas： 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016.

[5]? ?OZA P， PATEL V M. C2AE： Class conditioned auto-encoder for open-set recognition[C]//Long Beach： 2019 IEEE/ CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2019.

[6]? ?NEAL L， OLSON M， FERN X， et al. Open set learning with counterfactual images[C]//Munich： Proceedings of the European Conference on Computer Vision（ECCV）， 2018.

[7]? ?ZHANG Y， LEE K， LEE H. Augmenting supervised neural networks with unsupervised objectives for large-scale image classification[C]//New York： International Conference on Machine Learning （ICML）， 2016.

[8]? ?XIA Z， WANG P， DONG G， et al. Adversarial motorial prototype framework for open set recognition[J]. Journal of LaTeX Class Files， 2015， 14（8）： 1-14.

[9]? ?XIA Z， WANG P， DONG G， et al. Spatial location constraint prototype loss for open set recognition[J]. Computer Vision and Image Understanding， 2023， 229： 103651.

[10] YANG H M， ZHANG X Y， YIN F， et al. Convolutional prototype network for open set recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 44（5）： 2358-2370.

[11] HAN K， WANG Y， CHEN H， et al. A survey on vision transformer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 45（1）： 87-110.

[12] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks[C]//Zurich： European Conference on Computer Vision - ECCV 2014， 2014.

[13] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]//Honolulu： 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）， 2017.

[14] GAVAI N R， JAKHADE Y A， TRIBHUVAN S A， et al. MobileNets for flower classification using TensorFlow[C]//Pune： 2017 International Conference on Big Data， IoT and Data Science （BID）， 2017.

[15] GENG C， HUANG S， CHEN S. Recent advances in open set recognition： A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 43（10）： 3614-3631.

第一作者：徐雪松（1970—），男，教授，博士，碩士生導師，研究方向為移動機器人視覺導航與控制、無人機控制、計算機視覺、模式識別。E-mail： cedarxu@163.com。

通信作者：付瑜彬（1996—），男，碩士研究生，研究方向為深度學習、開集識別。E-mail： 1668875496@qq.com。