結合多解碼器與兩階段通道選擇的異常檢測方法

王禹博，陳利鋒，許衛霞

（復旦大學 計算機科學技術學院，上海 200433）

0 概述

異常檢測作為機器學習的一個重要研究課題，在各領域有著廣泛的應用。例如，在工業領域中，異常檢測常被用于檢測傳感器的異常數據，并起到實時監控報警的作用。在學術領域中，異常檢測被用來檢測大規模深度學習數據集中標注錯誤的異常樣本。在異常檢測問題中，正常的數據樣本被稱為合群點（Inliers），異常的數據樣本則被稱為離群點（Outliers），數據樣本類別被劃分為正常類（正類）和異常類（負類）。由于訓練數據中缺乏有標記的異常類樣本，傳統的多分類模型往往效果較差。因此，在異常檢測中，常對正常類的數據分布進行單分類建模［1］，從而把異常類數據區分出來。

目前，研究人員已提出大量關于異常檢測的方法，這些方法使用的典型策略有如下3 種：建立一個參數化的合群點模型，并從正樣本訓練數據中學習到適當的參數，如Robust Covariance［2］、One-Class SVM［3］等；為合群點設置判別規則，并根據該規則識別和剔除離群點，如Isolation Forest［4］等；利用離群點的幾何分布特性對其進行分離，如Local Outlier Factor［5］等。隨著各應用領域中深度學習方法的快速發展，出現了許多基于神經網絡的異常檢測方法。這些方法大多屬于上述3 類策略中的第1 類，但存在3 個主要問題。問題1：沒有利用到實際場景中的無標注數據。實際工業領域中的數據往往有大量無標注數據，目前許多方法僅使用正樣本訓練數據對模型進行訓練，導致模型對訓練數據過擬合。同時，無標記數據中含有豐富的負類信息，這些信息也被完全忽略了。問題2：需要人為設定異常閾值。絕大多數方法只設計一種正常性度量方式對樣本進行打分和排序，進而確定哪些樣本被歸為異常樣本。然而，這種方法必須依賴人為的經驗和技巧確定分數閾值來分離合群點和離群點。一方面，這種行為可能引發相當程度的人為誤差；另一方面，閾值作為超參數，對數據集較為敏感，需要針對不同的數據集和應用場景來進行調節，導致工作量和計算開銷增加。問題3：對等地處理合群點和離群點。有些方法對等地處理合群點和離群點，暗含了“合群點和離群點擁有相似的模式”這一假設，與異常檢測場景下的數據性質不相符。這是因為在異常檢測中，合群點和離群點由不同的生成機制產生，從而使數據分布間存在較大差異。

本文提出一種基于多解碼器與兩階段通道選擇的異常檢測方法，使用一個包含編碼器、多通道解碼器、兩階段通道選擇器的重構-選擇模型代替傳統方法中的重構-排序-拒絕模型，通過使用多個通道對輸入樣本進行重構，采用通道選擇器選出更適合的通道，并根據通道的屬性確定樣本的異常性，從而完成異常檢測任務。設計一種新的免閾值多維度度量方法，直接評估樣本相對于各潛在類的歸屬度，并據此建立免閾值的選擇器，以判斷輸入樣本是否異常，從而減少確定閾值過程中產生的人為誤差和計算開銷。此外，使用無標記數據對離群點進行建模及增強正樣本訓練數據，以更好地訓練合群點通道。最后，充分注意合群點與離群點之間的生成機制和數據分布的差異性，采用不對等的方式進行建模，為離群點分配更多通道以有效表示其相對復雜的分布。

1 相關研究

深度異常檢測方法一般可歸納為3 種范式：在第1 種范式下，深度學習和異常檢測作為2 個獨立模塊，其中深度學習模塊僅作為用于特征工程的獨立特征提取器；在第2 種范式下，深度學習和異常檢測有一定程度的耦合，致力于學習對正常性有效特征的表示；在第3 種范式下，深度學習和異常檢測被高度整合，直接以端到端的方式通過神經網絡學習異常分數。下面分別介紹基于這3 種范式的方法。

基于第1 種范式的方法使用深度學習技術從高維度數據或線性不可分數據中抽取適用于下游異常檢測任務的低維度特征。在這類方法中，特征提取模塊和異常性評估模塊完全分離且互相獨立。其中，基于深度學習的特征提取模塊的唯一目的是對原始輸入數據進行降維。相較于傳統機器學習方法中常用的降維措施如主成分分析［6］、隨機映射［7］等，深度學習方法往往在捕捉復雜語義和非線性關系上表現更好［8］。這類方法通常假定通過深度學習方法獲取特征中存在可以區分正常樣本和異常樣本的有效信息。一些研究者直接使用大規模預訓練模型如AlexNet、VGG、ResNet 等提取低維特征，從而在復雜、高維的結構化數據如圖像數據和視頻數據上進行異常檢測。去掩蔽在線異常檢測框架［9］采用在ImageNet 數據集上預訓練的VGG 模型為下游視頻異常檢測任務提取特征。ANDREWS 等［10］使用類似的VGG 模型對單類支持向量機（Support Vector Machine，SVM）進行預訓練，并在MNIST 數據集上微調以進行異常檢測。

基于第2種范式的方法將基于深度學習的特征工程和異常性評估相結合，獲得樣本的正常性相關特征表示。不同于上一類方法，此類方法在進行特征提取時往往考慮到一些符合異常檢測問題背景的數據約束，從而使生成特征可從異常檢測的角度加以解釋。這其中較有代表性的是使用自動編碼器的方法，這類方法通過自動編碼器及其變形學習數據的低維特征，通過該特征可以對訓練數據（即正常點數據）進行良好重構。復制神經網絡［11］是第1 個使用基于自動編碼器的數據重構進行異常檢測的網絡，通過在中間層施加離散性約束，將數據分入數個不同的組，從而能夠檢測異常簇（Clustered Anomalies）。鑒于生成對抗網絡（Generative Adversarial Network，GAN）在多個應用領域展現出良好性能，一些研究人員試圖以生成-對抗的范式構建異常檢測方法?；谏蓪咕W絡的方法一般假定生成網絡G的特征空間生成正常樣本的能力強于生成異常樣本的能力，因而特征空間可以較好地捕捉到訓練數據中的正常性樣本。AnoGAN 方法［12］對于任意給定的數據樣本x，都能夠在其特征空間中映射出特征z，并使根據z生成的樣本G（z）與原始樣本x盡可能相似。通過在正常樣本訓練數據上訓練AnoGAN，異常樣本被生成高度相似樣本的概率將低于正常樣本。SABOKROU 等［13］以一自動編碼器和一辨別器構建模型，并用標準的生成對抗機制訓練自動編碼器，使其盡可能好地重構合群點。

基于第3 種范式的方法直接以端到端的模式為異常檢測任務學習異常分數。這類方法并不依賴已有的度量手段進行異常性評估，而是直接構建神經網絡模塊以生成異常分數。通過學習給定的異常性得分序列，排序模型可以對樣本點按異常性進行排序。PANG 等［14］提出一深度序數回歸模型（Deep Ordinal Regression Model）以直接優化無監督視頻異常檢測的異常分數。Softmax 似然模型（Softmax Likelihood Model）通過定義一個基于異常分數的數據分布，最大化訓練數據在該分布下的似然來學習異常分數。由于異常樣本和正常樣本分別代表稀有樣本和頻繁樣本，因此，從概率角度看，正常樣本應以較高概率出現，異常樣本則反之。CHEN 等［15］設計了一種帶有參數的異常打分函數，并通過該函數對數據分布進行建模，利用訓練數據對該分布的參數進行噪聲對比估計（Noise Contrastive Estimation，NCE）［16］后，即獲得優化好的異常打分函數。ZHAI等［17］提出一種基于能量的神經網絡進行異常檢測，該方法的要點在于使用能量而非重構誤差（Reconstruction Error，RE）作為異常分數，從而提供了一種新的度量異常性方法。

為更直觀地說明本文工作對現有相關研究的改進，在圖1 中可視化地展示了流行深度異常檢測方法中的問題和本文方法的對應解決方案。圖1（a）中的圓弧線是異常檢測方法對正常/異常樣本的分界，圖1（b）中的圓弧線是本文方法對各數據類的分界。圖1（a）中①所示方法只利用正樣本數據訓練，導致遺漏部分無標簽合群點。圖1（a）中②所示方法很難確定最優異常分數閾值。圖1（a）中③所示方法對等地處理合群點和離群點，對離群點的描述能力較差。作為對比，本文方法充分利用無標簽合群點提高泛化性能，綜合比較樣本對各類的歸屬度而非使用閾值，為離群點構造容量更高的模型。

圖1 流行方法存在的問題和本文的解決方案Fig.1 Problems of popular methods and solutions in this paper

2 本文模型與方法

本節詳細描述了本文所提方法的工作原理，包括模型結構、優化目標、訓練策略和推斷流程。

2.1 問題描述

為便于討論，定義目標任務如下：給定數據集X=Xpos∪Xun，其中：子集Xpos中的數據均為標注數據，且均為具有標簽l的數據（即合群點）；子集Xun中的數據為未標注數據，尚待確認其標簽。本文所討論的異常檢測任務是指確定Xun中數據的標簽是l（即合群點）還是非l（即離群點）。

2.2 模型結構

如圖2 所示，本文模型包含編碼器E、多通道解碼器D和兩階段通道選擇器S共3 個模塊。使用編碼器E抽取輸入樣本的低維特征，多通道解碼器D的各通道互相競爭，試圖對編碼器E抽取的特征h進行重構。根據合群點和離群點的生成機制和數據分布不同，將通道類型分為2 種，其中，合群點通道指的是指定其中一個通道重構合群點，離群點通道指的是指定其他通道重構離群點。兩階段通道選擇器S以兩階段的方式將每一個樣本點與其最適合的通道匹配。在第1 階段，利用注意力選擇器在所有離群點通道中選擇一個最佳離群點通道來匹配樣本點；在第2 階段，構造競爭性選擇器從合群點通道和最佳離群點通道中選擇一個通道作為目標通道以完成樣本點的最終匹配。

圖2 本文模型結構Fig.2 Structure of model in this paper

在訓練階段，由于正樣本訓練數據都擁有已知的標簽，因此直接將其送入合群點通道，無標記數據則被送入選擇器S為其選擇的通道中。選擇器S持續更新其匹配結果，致力于得到樣本-通道的最優匹配方案。模型得到充分訓練后，在推斷階段，無標簽樣本的標記由樣本被選擇器S匹配的目標通道的異常屬性決定，也就是說，如果目標通道為合群點通道，就判定該樣本點的標簽為l（即合群點），反之，則判定標簽為非l（即離群點）。

2.3 編碼-重構模塊

在異常檢測領域，自動編碼器［18］的有效性已被廣泛驗證。具體來說，自動編碼器可以從正樣本數據中學習到和合群點高度相關的低維特征，從而更好地對合群點進行建模，相對地，對未見的離群點則給出較大的重構誤差。由于數據集X包含多種類型的樣本點，如已知目標類中產生的合群點、未見新類中產生的新穎點、無意義噪聲等，因此較為合理的想法是構造多個自動編碼器對不同類型的樣本分別建模，然而多個自動編碼器會大幅增加網絡參數量，并增加過擬合的風險。因此，本文提出一種較為平衡的方式，即使用一個單通道編碼器和一個多通道解碼器來構建編碼-重構模塊。其中，編碼器的形式如下：

多解碼器的初步解碼過程如式（2）所示：

然后，將k個解碼器的結果輸入到通道選擇器中，并輸出最后的結果，如式（3）所示：

其中：E和D分別表示編碼器和多通道解碼器；x∈X；h是樣本x經編碼器壓縮編碼提取的低維特征；r是特征h經多通道解碼器重構的結果，其分量與x具有相同的尺寸。假設解碼器的通道數為k，ri，i=1，2，…，k表示第i個通道的重構結果。注意，h的尺寸必須小于x以保證編碼器E和多通道解碼器D可以學習到與數據集X相關的信息，而非簡單地執行無意義的恒等映射。在實現時，編碼器和解碼器的具體形式取決于數據的模態和形式。例如：對于固定維度的多維數據，可以采用多層感知機作為編碼器和解碼器；對于圖像數據，則可以使用卷積神經網絡。

通過構建重構模塊，本文模型具備了對數據集中多個不同類型的數據分布同時進行建模的能力，并且每個數據類都通過多通道解碼器的一個通道進行重構，在增加分布建模能力的同時，有效降低參數量，緩解過擬合的風險。

為此，本文需要將每個數據樣本都準確高效地分配至其最適合的通道。本文模型使用兩階段通道選擇器完成這一目標。選擇器的兩階段結構設計使該模型消除了使用單階段選擇器所造成的諸多問題。

2.4 兩階段通道選擇器

在異常檢測場景中，合群點和離群點通常在數據分布上有所區別。一般而言，合群點傾向于以高度集中的方式分布，離群點則更多地表現為由多個單分布（或者說類）組成的混合分布。為適應這種數據環境，指定多通道解碼器中的合群點通道來重構合群點，使用其他離群點通道來重構不同類的離群點。通過將各樣本送入合適的通道，增強重構能力，并達到比單通道解碼器更小的重構誤差。

通道選擇器以一種兩階段的方式將樣本與通道進行匹配。對于每個樣本，首先，選出與其最佳匹配的離群點通道，再將該離群點通道與合群點通道進行比較，選擇出目標通道。在第1 階段，使用注意力機制進行匹配操作。在第2 階段，使用競爭性機制比較最佳離群點通道與合群點通道的重構結果。這種結構設計可以避免誤導性的局部極值點，并直接利用引入的監督信息對選擇結果進行修正。

2.4.1 第1 階段的注意力選擇器

在第1 階段，模型的目標是為樣本點選擇最佳匹配的離群點通道。為此，引入注意力機制［19］實現該目標。注意力機制在自然語言處理領域被廣泛使用，其能迫使模型關注更有價值的信息。因此，本模型使用注意力機制使模型在所有離群點通道中更關注與給定樣本匹配的最佳離群點通道，使其更好地重構樣本。將注意力選擇器的輸出rout作為第1 階段的選擇結果，其表達式如式（4）所示：

其中：ri（i=1，2，…，k-1）是第i個離群點通道的重構結果；α是注意力權重的向量。特別地，多通道解碼器的第k個通道被指定為合群點通道。通過正則化技巧，每個樣本的注意力權重都被盡量約束在向量的某一元素上，也就是說，向量α只有一個元素近似為1，其他元素值都趨于0。這就保證了式（2）的加權求和操作近似地等價于選擇。注意力權重向量α的值通過對各解碼器通道的重構結果(r1，r2，…，rk-1)進行評分并將分數標準化得到，其表達式如下：

其中：v、W、V和b是模型的訓練參數。值得注意的是，可以選擇其他形式的注意力機制來處理r以得到選擇結果rout。通過第1 階段的注意力選擇器選擇出了樣本的最佳離群點通道，但仍須在合群點通道和最佳離群點通道中選擇其中之一作為最終的目標通道。

2.4.2 第2 階段的競爭性選擇器

在該階段，選擇器使第1 階段的選擇結果rout與合群點通道產生的重構rin互相競爭。注意到第k個通道被指定為合群點通道，等式rin=rk成立?？紤]到重構的目標是使重構結果盡可能地接近輸入數據，提出使用一種直接的競爭策略，即比較兩個通道的重構誤差，并選擇較小的作為競爭勝利一方進行輸出，從而得到最終結果rres，其表達式如式（7）所示：

其中：函數RE(x，rc)度量了通道的重構結果rc與樣本x之間的重構誤差。對于相似性度量，選擇閔可夫斯基距離（Minkowski Distance），即p-范數，作為重構誤差，函數RE(x，rc)的表達式如下：

其中：p是范數的秩。

通過第2 階段的競爭性選擇器，模型最終為每個樣本分配了一個目標通道。下面介紹模型的訓練方式以及如何通過模型來確定Xun中各元素是否為合群點。

2.5 模型訓練和推斷

注意到正樣本數據Xpos和無標記數據Xun具有不同的標記可用性，本文模型設計了一個新的策略以在訓練階段處理它們。對于正樣本數據Xpos，由于其標記已知，因此直接將其送入合群點通道；對于無標記數據Xun，使其流入由兩階段通道選擇器S選擇的目標通道中。因此，訓練的目標損失函數定義為X中所有數據的平均重構誤差，其形式如式（9）所示：

在訓練階段，兩階段通道選擇器S持續更新其匹配結果，從而將樣本分配至更適當的通道。本模型使用正則化技巧以確保注意力權重盡可能集中于某一特定元素上，從而使加權求和近似地等價于選擇某一特定通道。為實現該目標，采用L1 范數約束注意力權重α，其過程如式（10）所示：

綜上所述，總損失函數可記為：

其中：λ是正則項的權重。通過最小化上述損失函數來充分訓練模型，就可以對無標記數據集Xun中數據是否為正常樣本進行評估。定義指示函數IXcorr：Xun→{0，1}，并判定Xcorr?Xun中包含的樣本信息具有標簽l：

算法1 詳細描述了本文方法及模型的整體工作流程（源碼：https：//gitee.com/fujisato_FDU/an-anomalydetection-method-based-on-multi-decoder-and-two-stagechannel-selection）。

算法1本文方法及模型的工作流程

3 實驗結果與分析

本節全面評估本文方法在進行異常檢測任務時的性能，通過在4 個流行數據集上進行實驗，證明本文方法相比于其他機器學習或深度學習方法的優越性。此外，還設計了消融實驗來證實本文方法所采用的模塊和策略的有效性。

3.1 數據集

本文實驗采用MNIST［20］、USPS［21］、Fashion-MNIST［22］、CIFAR-10［23］等4 個圖像數據集，具體如下。

1）MNIST 是經典的手寫數字數據集，包含從0～9共10 個類，共70 000 張圖像，其中每張圖像為28×28 大小的單個手寫數字灰度圖。對于每個數字類，其包含的圖像為7 000 張。其訓練集包含60 000 張圖像，測試集包含10 000 張圖像。

2）USPS 是美國郵政署提供的手寫數字數據集，其規模比MNIST 小，包含0～9 共10 個類，約10 000 張圖像，其中每張圖像為16×16 大小的單個手寫數字灰度圖。其訓練圖像為7 291 張，測試圖像為2 007 張。

3）Fashion-MNIST 數據集采用與MNIST 完全相同的配置，但其中包含的圖像為服裝類物品而非手寫數字。數據集包含的類別數、圖像總數、各類別圖像數、圖像屬性訓練與測試圖像數等均與MNIST 數據集保持一致。

4）CIFAR-10 為自然場景物體數據集，包含10 個類，共60 000 張圖像，其中每張圖像的尺寸為32×32×3 的三通道RGB 彩色圖。每個類包含6 000 張圖像。其訓練集包含50 000 張圖像，測試集包含10 000 張圖像，在各類之間均勻分布。

圖3 為各數據集的樣例。

圖3 實驗中所使用的4 個數據集樣例Fig.3 Samples from four datasets used in the experiments

3.2 傳統方法介紹

使用基于傳統機器學習和深度學習的異常檢測方法與本文方法進行對比，其中具有代表性的方法如下。

1）Robust Covariance 方法假定合群點的數據符合高斯分布，并試圖在數據空間中學習超曲面以包含他們。因而，當合群點數據的實際分布并非單峰高斯分布時，其方法性能會發生退化，但該方法對訓練數據中混入的異常點具有一定的健壯性。

2）One-Class SVM 方法是支持向量機方法在異常檢測場景下的推廣。該方法試圖在高維特征空間中學習超平面，該超平面將所有合群點分至其一側并與原點保持最遠可能距離。

3）Isolation Forest方法是隨機森林（Random Forest，RF）方法在異常檢測場景下的推廣。該方法迭代地將數據空間劃分為只包含一個樣本點的最小子空間，并將在早期就被分離出來的樣本點視為異常點。

4）ARAE［24］方法是基于自動編碼器的異常檢測方法，以正樣本數據為訓練數據學習數據相關的低維瓶頸特征，并通過該特征重構輸入數據。對于合群點，由于正樣本訓練數據已經良好地反映了其性質，自動編碼器可以給出較為準確的重構，對于離群點則會產生較大的重構誤差。此外，通過抑制自動編碼器對離群點的重構能力，加大了合群點和離群點重構誤差之間的數值差距。最終，以重構誤差度量樣本點的異常性。

5）DSVDD［25］方法受支持向量機方法的啟發，在數據空間中尋找一可以包含所有正樣本訓練數據的最小超球體，并將分布在該超球體球面內部的點判定為合群點，將外部的點判定為離群點。

6）GT［26］方法是基于幾何變換的異常檢測方法。該方法通過訓練多分類模型，使其盡可能地區分正樣本訓練數據及其各種不同的幾何變換結果，并使用該模型的輸出對樣本的異常性進行評估。

3.3 實驗配置

實驗均在配有4 張Nvidia GeForce RTXTM3090圖形卡的Linux 服務器上進行，操作系統為Ubuntu 18.04 LTS。使用的深度學習框架為PyTorch 1.9.0 的GPU 版本。Python 版本為3.8.0。

對于性能比較實驗，為與其他文獻保持一致，采用了深度異常檢測領域常用的一對多數據配置，即對于每個數據集的每個類，把該類的訓練集作為正樣本數據，并在所有類的測試集中隨機抽取一定比例的樣本作為無標記數據。本文方法和所有對比方法的抽樣比例均為0.3。對于消融實驗，數據配置與性能比較實驗相同，但抽樣比例設為0.5，在MNIST數據集上進行實驗，并取各類的平均結果作為實驗結果。CIFAR-10 數據集的數據使用了ImageNet 數據集上預訓練過的VGG-16 網絡，將最后一層的1 000 維特征作為本文模型的輸入。其他數據集直接以原始數據作為輸入。

編碼器和解碼器均使用多層感知機，層數為2，編碼器各層輸出維度分別為64 和32，且解碼器使用了編碼器的鏡像結構。激活函數采用ReLU，相似度度量的范數p設為2，正則化項權重λ設為0.15，在批抽樣時每批的數量（Batch Size）取64。在性能比較實驗中多通道編碼器的通道數取固定值9。消融實驗則根據后文所描述的具體配置確定通道數。

3.4 性能比較

3.4.1 傳統異常檢測方法

雖然基于深度神經網絡的方法已在大量應用領域中占據主導地位，但在異常檢測領域中，一些經典的機器學習方法仍然保持著不弱于深度學習方法的性能。先將本文方法與這些機器學習方法進行對比。為了保證實驗的全面性，選用Robust Covariance、One-Class SVM、Isolation Forest和Local Outlier Factor這4 種基于機器學習的異常檢測方法進行對比實驗，這4 種方法覆蓋了異常檢測方法領域主要使用的3 種策略。使用被廣泛接受的異常檢測性能指標——F1-分數（F1-Score）和接受者操作特征曲線下面積（Area Under the Receiver Operating Characteristic Curve，AUROC）來評估各方法的性能。如圖4 所示，在大多數情況下，本文方法都能取得較好的結果，僅在極少數情況下，某個機器學習方法的性能能夠接近本文方法，但不能顯著超越。值得注意的是，這些機器學習方法的超參數都需要進行重復微調才能使其性能達到可能的最高值，而本文方法則無須進行微調就能獲得較好的性能。

圖4 機器學習方法在兩個數據集各個類上的異常檢測性能對比Fig.4 Machine learning method performance comparison for anomaly detection on various categories of two datasets

3.4.2 深度異常檢測方法

將本文方法與一系列具有代表性的深度異常檢測方法進行比較，并采用AUROC 作為評價指標。實驗配置與該領域主流工作中采取的配置保持一致。表1～表3 為本文方法與幾種主要的深度異常檢測方法的性能對比。每個數據集的最優實驗結果用粗體表示，次優則用下劃線表示。實驗結果顯示，本文方法的性能在大多數情況下都能超過其他對比方法，且本文方法在達到上述性能的同時，仍可保持較高的計算效率，所需時間開銷較小，幾乎不需要進行超參數篩選和微調。對于數據集的類間平均結果，本文方法在數據集Fashion-MNIST 和CIFAR-10 上均達到最優，在MNIST 數據集上則與表現最好的U-Std 方法僅保持著極微弱的差距。U-Std 方法必須進行數種費時操作才能達到上述最優結果，而本文方法在減少計算和人工開銷的同時仍保持幾乎一致的性能。綜上所述，本文方法總體上優于現有的深度異常檢測方法。

表1 不同方法在MNIST 數據集各個類上的AUROC 指標對比Table 1 Comparison of AUROC indicators of different methods in various categories of MNIST dataset %

表2 不同方法在Fashion-MNIST 數據集各個類上的AUROC 指標對比Table 2 Comparison of AUROC indicators of different methods in various categories of Fashion-MNIST dataset %

表3 不同方法在CIFAR-10 數據集各個類上的AUROC 指標對比Table 3 Comparison of AUROC indicators of different methods in various categories of CIFAR-10 dataset %

由于只有U-Std 方法在MNIST 數據集上達到了與本文方法幾乎可比的性能，因此分析本文方法的效率優于U-Std 方法的原因，主要有如下3 點：

1）U-Std，即Uninformed Students，需要在大規模自然圖像數據集上預訓練一個描述性的教師網絡T，以獲得學生網絡的回歸目標值。這一預訓練過程相當耗時，而本文方法不需要此種預訓練。

2）U-Std 方法需分別訓練大量與教師網絡T具有相同網絡結構的學生網絡，然而本文方法只需要一次性訓練一個端到端的注意力多通道自動編碼器。

3）U-Std 方法需要在一個包含無異常圖像的驗證集上實施對數據集依賴的微調。這一微調操作需要一定的計算開銷，但本文方法無須該操作。

本文對其他對比方法也進行了上述分析，在表4中展示了影響各方法時間效率的主要因素，其中“—”表示未使用，“√”表示使用。

表4 影響不同方法時間效率的主要因素Table 4 Main influential factors on the time efficiency of different methods

3.5 消融實驗

為驗證本文方法采用的各模塊和策略的有效性，本節通過移除模型中部分模塊或取消部分策略進行消融實驗，并觀察性能下降與否。

3.5.1 第1 階段的注意力選擇器

相較于本文方法的兩階段結構設計，一種更直接的做法是去掉注意力選擇器，此時通道選擇過程變為先比較樣本在各通道的重構誤差，再將樣本直接送入具有最低重構誤差的通道。表5 展示了以上述方式（記為Naive）進行異常檢測的結果。直觀地說，較低的重構誤差與較高的匹配可能性具有強相關性，這一樸素的策略應當是有效的。然而，表5 的結果說明這一簡單比較重構誤差的方法會導致模型性能的弱化。

表5 注意力選擇器的消融實驗結果Table 5 Ablation experiment results of attentive selector %

本文注意到在訓練階段簡單地對重構誤差進行比較實際上是一種貪心策略（Greedy Strategy），其總是在當時狀況下選擇局部最優的結果。對本文方法而言，在每次分配樣本時，總是將樣本送入當時狀況下其重構誤差最小的通道中。由于局部最優點和全局最優點之間存在不一致性，該策略將受到局部極值點的誤導。也就是說，在訓練階段，某時刻重構誤差最小的通道并不一定是實際上的最佳匹配通道。

圖5 給出了與此相關的幾個示例，對于每一個樣本，左數第1幅圖給出了其真實圖像和標記，左數第2幅圖展示了特征更接近真實圖像的重構，但其重構誤差（Reconstruction Error，RE）大于左數第3 幅圖的重構。通常來說，貪心策略將選擇第3 列的重構。對于有些通道，他們即便不是某樣本在某時刻的局部最優，也學習到了該樣本最有意義的重構。因此，樸素地比較重構誤差可能會將樣本送入錯誤的通道，削弱重構模塊對目標數據的建模能力，一種更好的辦法是使用注意力機制捕獲樣本和通道之間更深層的潛在關聯關系。實驗結果證明注意力選擇器的引入可提高方法的性能。

圖5 全局最優重構和局部最優重構示意圖Fig.5 Schematic diagram of global optimum and local optimum

3.5.2 第2 階段的競爭性選擇器

如果將競爭性選擇器移除，則模型變為一個純粹的、單階段的注意力選擇器，也就是說，樣本的去向直接取決于單一注意力選擇器的選擇結果。表6 展示了以上述方式（記為ATT）進行異常檢測的結果。由表6可知，使用該策略會在一定程度上降低本文方法的性能。其原因在于，經過充分訓練以后，競爭性選擇器比注意力選擇器更直接地利用合群點通道中學習到的監督信息，可以有效地對注意力選擇器生成的匹配結果進行矯正，提高模型的最終表現。

表6 競爭性選擇器的消融實驗結果Table 6 Ablation experiment results of competitive selector %

3.5.3 編碼-重構模塊

移除編碼-重構模塊意味著直接構造一個選擇器，將數據樣本分入各個類中，并且不是使用自動編碼器的通道對樣本進行重構，而是通過對目標數據聚類來實現。本文將3種聚類算法K-means、Spectral和BIRCH分別與本文方法進行比較，結果如表7 所示?？梢钥闯?，聚類算法在異常檢測任務上的結果均低于本文方法。這說明，將常用于異常檢測領域的自動編碼器重構模塊與針對異常檢測任務設計的選擇器相結合，其算法性能將超過其他單獨執行選擇操作的算法。

表7 編碼-重構模塊的消融實驗結果（AUROC 值）Table 7 Ablation experiment results of decoding module（AUROC value）%

3.5.4 正樣本數據增強

本文希望找到潛藏在無標記數據中的合群點，并在訓練時將其補充到正樣本數據集中，從而達到控制過擬合的效果。可以推測，如果取消這一策略，也就是將這部分合群點從訓練數據集中移除，將會降低本文模型的性能。由表8 可知，隨著參與訓練的無標記數據中合群點數量的減少，本文模型的性能會逐步下降，這說明使用無標記數據中的合群點確實能增強訓練數據，抑制過擬合問題，提升本文模型的性能。

表8 合群點利用率對本文模型性能的影響Table 8 Influence of the utilization of Inliers on the performance of model in this paper

3.5.5 離群點建模

如果移除本文方法中的離群點通道，將會取消對離群點建模，使模型退化為一個自動編碼器，這一變化將迫使模型必須使用一個經驗性的閾值來分離合群點和離群點。這里，采用訓練數據平均重構誤差與3 倍標準差的和作為截斷閾值。

圖6 中k=0 的點展示了以上述方式進行異常檢測的結果?？梢钥吹?，取消離群點建模對模型性能產生了很大影響。這是因為模型無法對離群點建模，在進行異常檢測時只能經驗性地推斷合群點的邊界并確定閾值，而不是通過比較樣本對正常類和異常類的歸屬度來判別其異常性。此時，大量可用的無標記數據中的信息被浪費，導致性能下降。

圖6 離群點通道數量對本文模型性能的影響Fig.6 Influence of the number of Outlier channels on the performance of model in this paper

3.5.6 不對稱建模

通過改變多通道解碼器中離群點通道的數量（即圖6 中的橫坐標k）以調整模型的對稱度。當離群點通道數設置為1 時，模型對合群點和離群點進行完全對稱的建模；當離群點通道數設置為0 時，不為離群點分配任何通道，沒有了離群點建模過程，模型退化為一個自動編碼器（即上一小節的情況）。隨著離群點通道數量的增加，模型的不對稱性逐漸增加。考慮到計算資源有限，將離群點通道的數量控制在0～9 的合理范圍內進行實驗。

圖6 的實驗結果顯示，盡管模型的性能表現和離群點通道的數量并非嚴格滿足單調性，但總體上仍呈現正相關性。對于模型性能和離群點通道數量關系的非嚴格單調性可做如下解釋：如先前研究［36］所報道的，隨著備選特征數量的增長，模型的參數規模也隨之增加，這將導致模型要在更大的參數空間中搜索最優點，也會更容易陷入局部極值點，從而使注意力機制變得難以優化。同時，分配至每一個離群點通道的訓練數據量也會縮減，這進一步影響了模型性能。這一事實說明，盡管在理想情況下目標數據中的每一類都應該被分配一個單獨的通道進行建模，但在實際應用時必須考慮到平衡模型容量和全局最優點可達性，即通過提高模型找到全局最優點的概率，從而提高模型性能，需要損失模型對目標數據分布的擬合能力。

3.6 大規模數據實驗

在較大數據集上進行實驗以檢驗本文方法在大規模數據下的性能表現。具體地，分別將MNIST 數據集和Fashion-MNIST 數據集通過疊加、水平翻轉、直角旋轉等8 種方式進行數據增強后，取其中一個數據集的所有訓練數據為正樣本數據，取兩個數據集的所有測試數據為無標記數據。通過該方式，將實驗使用的數據規模從9 000個樣本提高到640 000個樣本。表9 所示為在不同比例數據r下分別取兩個數據集做正樣本數據的實驗結果。其中，當r取0.05時使用32 000個樣本，當r取1時使用640 000個樣本，以此類推。表9 的實驗結果顯示，本文方法在數據量大幅增長時依然可以保持原有的性能水平，顯示出一定的健壯性。

表9 數據量對本文模型AUROC 值的影響Table 9 Influence of data amount on AUROC value of model in this paper %

4 結束語

針對當前深度異常檢測方法中存在浪費無標記數據、只度量正常類樣本、對等處理不同類型樣本等問題，本文提出一種基于多解碼器與兩階段通道選擇的異常檢測方法。該方法的模型由一個編碼器、一個多通道解碼器（即多解碼器）和一個兩階段通道選擇器組成，其中，通道選擇器能夠將每個數據樣本與其最適合的通道進行匹配。在模型訓練階段：正類樣本訓練數據被直接送入指定的合群點通道，使該通道能充分學習合群點的模式；無標記數據則流入由選擇器所決定的通道中。此外，通道選擇器以一種兩階段的方式為樣本分配通道，在模型得到充分訓練后，各無標記數據樣本的標簽（即異常與否）由其被最終分配進入的目標通道屬性來確定。實驗結果表明，該方法具有優越的性能，所采用的各模塊和策略均具備有效性。下一步將引入小樣本的有標記離群點信息，以訓練和引導異常檢測中采用的注意力機制，從而增強學習離群點模式的學習能力。