多模態耦合特征子空間正則的SVDD

王 闖,胡文軍,劉 闖,王余波

(1.湖州師范學院 信息工程學院,浙江 湖州 313000; 2.浙江省現代農業資源智慧管理與應用研究重點實驗室,浙江 湖州 313000)

0 引 言

在諸多的應用領域,如機器故障[1]、醫療診斷[2]、網絡安全[3]等,正常數據的獲取較容易,而異常數據的獲取則非常困難或代價昂貴,這使得在對該類問題建模時只有一類數據可供使用.支持向量數據描述(Support Vector Data Description,SVDD)[4]作為典型的一類分類方法,得到了研究者的廣泛關注,其目的是要在特征空間中找到一個能夠包含絕大多數正常樣本且半徑盡可能小的超球.一些改進算法也隨之提出.Wu等為增大超球的決策邊界與少量異常樣本之間的間隔,提出一種小球體大間隔的支持向量數據描述方法[5];胡文軍等為提高SVDD的決策速度,提出一種SVDD的快速實時決策方法[6],其將SVDD決策時間的復雜度降至O(1);Wang等為每個樣本設計基于位置的權重,提出位置正則的支持向量數據描述[7];Cha等為每個樣本設計基于密度的權重,提出基于密度加權的支持向量數據描述[8];為避免少量異常樣本數據對SVDD建模的影響,胡天杰等從高斯核空間正常樣本的全局分布出發,提出分布熵懲罰的支持向量數據描述[9];Hu等則從高斯核空間綜合樣本的全局分布結構與局部分布結構,提出全局加局部聯合正則的支持向量數據方法[10].上述方法雖然在一類分類問題中取得了較好效果,但這些方法均要求訓練的數據來自同一模態,即單模態數據.

模態是指研究對象的信息來源方式.若對象的信息來源于一種方式,則對應的數據稱為單模態數據,反之稱為多模態數據.在現實中,多模態數據的應用場景十分廣泛.例如,結合視覺和聽覺的電影觀賞;綜合視覺、嗅覺、聽覺的化工環境監測;綜合視頻信息、傳感信息的機器故障診斷等[11].由于多模態數據的來源并不唯一,其各模態的維度也不盡相同,故直觀的方法是先將所有的模態數據投影到同一低維子空間,再利用傳統的機器學習方法進行建模.例如:Li等從多模態數據抗噪角度出發,提出一種稀疏子空間聚類方法[12];Wang等針對多模態數據存在的冗余問題,將子空間學習與特征選擇相結合,應用于跨模態檢索[13];針對多模態數據的一類分類問題,Sohrab等將多模態數據映射到低維子空間,在子空間考慮數據協方差,并實施SVDD建模.該方法稱為多模態子空間支持向量數據描述(Multimodal Subspace SVDD,MS-SVDD)[14].

MS-SVDD拓展傳統方法,以解決多模態分類問題,但其基于“一致性”假設為前提,即在低維子空間下的各模態是一致的.實際上,多模態數據之間既存在“一致性”,又存在“互補性”[15],這意味著各模態數據的特征間相互耦合,在多模態學習中勢必存在特征冗余和特征間相互干擾的問題.此外,MS-SVDD并沒有充分考慮模態內與模態間的數據結構關系[16-17],使得隱藏在其中的潛在信息無法被充分利用.針對這兩個問題,本文分別設計稀疏投影矩陣正則項和多模態圖正則項,前者用來減小特征之間的相互耦合,后者用來保持模態內和模態間的結構關系.本文將上述兩個正則項施加到SVDD上,提出耦合特征子空間正則的支持向量數據描述(Coupled Feature Subspace Regularized SVDD,CFSR-SVDD)方法.

1 相關工作

給定單模態數據集X=(x1,…,xN),其中xi∈d是第i個樣本,N和d分別是樣本數和特征維度.給定M個模態數據集其中Dm是第m個模態的第i個樣本,Nm和Dm分別是第m個模態的樣本數和特征維度,是投影到D維子空間后的表示,即其中Qm∈D×Dm是第m個模態的投影矩陣.

1.1 SVDD

SVDD針對單模態數據建模,其目的是尋找一個包含大部分正常樣本的超球.該問題可描述為:

(1)

其中,R、a分別為超球的半徑與球心,ξi為引入的松弛變量,C為懲罰參數.利用拉格朗日技巧可得到上述問題的對偶形式:

(2)

其中,α=(α1,…,αN)T≥0為拉格朗日乘子向量,〈?,?〉為向量內積.顯然,式(2)是標準的二次規劃問題(Quadratic Programming,QP).根據KKT(Karush-Kuhn-Tucker)[18]條件可知,當0<αi

(3)

對任意未知樣本z∈d,可通過式(4)決策:

(4)

當f(z)≤R2時,樣本z為正常樣本,反之為異常樣本.

1.2 多模態子空間SVDD

為推廣SVDD應用到多模態數據,Sohrab等[14]先將所有模態的數據投影到同一個低維子空間,然后實施傳統的SVDD建模.該方法稱為MS-SVDD,其數學模型為:

(5)

(6)

第一步:固定Qm,求解αm.式(6)退化為式(7):

(7)

(8)

求解式(8)的標準QP問題,可得最優解αm,并根據KKT條件可計算子空間超球半徑R.

(9)

為保持多模態數據之間的一致性,構建一個更合適的SVDD分類邊界.Sohrab等在模型優化時引入多模態數據集的協方差ω,即式(9)轉化為式(10):

(10)

其中,λ為控制ω重要性的權重參數.通過組合子空間的數據,Sohrab等設計了7種協方差表示方法[14,19].式(10)采用梯度下降的方式迭代求解.

對含有m個模態的任意未知樣本z,在決策時,首先通過各自模態的投影矩陣Qm,將各模態投影到同一D維子空間,然后利用式(4)對子空間的各模態進行分類,最后依據決策策略對樣本z做最終決策.關于決策策略的內容可參考文獻[14].

2 耦合特征子空間正則的SVDD

MS-SVDD不但忽略了數據間原始結構關系,而且忽略了多模態數據特征間相互耦合問題,從而導致數據間的潛在信息無法被充分挖掘.針對這些問題,本文將多模態圖的正則項引入傳統的SVDD中,以盡可能地挖掘蘊含在數據結構間的潛在信息[20],并將稀疏投影矩陣的正則項引入傳統的SVDD中,以減小特征耦合的影響.實際上,對投影矩陣施加L2,1范數是解決特征間耦合的一種常用做法[21].式(11)給出了CFSR-SVDD方法的理論模型:

(11)

2.1 多模態圖正則項

多模態數據包含模態內和模態間兩種結構關系.單個模態內的數據在映射到低維子空間時,應該保持原始樣本空間數據的鄰域關系,這就是模態內的結構關系.模態間的結構關系是指當不同模態的數據表示相同的內容或主題時,它們應該具有上層語義的相似關系.為保持多模態數據這兩種結構關系,本文提出多模態圖正則項,其由近鄰相似圖和語義相似圖構成.

2.1.1 近鄰相似圖

(12)

為保持所有模態內的結構關系,最小化式(13):

(13)

2.1.2 語義相似圖

(14)

為保持所有模態間的結構關系,則最小化式(15):

(15)

為方便,本文利用近鄰相似圖矩陣Gmm和語義相似圖矩陣Gmp構建一個相似度矩陣G:

(16)

(17)

2.2 稀疏投影矩陣正則項

(18)

其中,Sm為對角矩陣.對角元素可由式(19)計算:

(19)

2.3 模型優化

將多模態圖正則項的優化式(17)與稀疏投影矩陣正則項的優化式(18)代入目標函數式(11),得到CFSR-SVDD方法的優化模型:

(20)

利用拉格朗日技巧構造以下拉格朗日函數:

(21)

為求解式(21),本文采用兩步交替迭代的方法.

第一步:固定Qm,求解αm和Sm.由于Sm僅與Qm相關,當Qm固定時,Sm可通過式(20)計算.此時式(21)退化為式(22),即:

(22)

(23)

(24)

(25)

(26)

(27)

(28)

對式(28)求L7關于Qm的偏導,可得:

(29)

式(29)采用式(30)的梯度下降方式迭代求解:

(30)

其中,η為學習率.

2.4 模型決策

對未知樣本x,首先根據維度確定其可能隸屬的模態,然后利用對應模態的投影矩陣將該樣本映射到D維子空間.在獲得其對應的子空間后,用y表示,通過式(31)對其進行分類:

(31)

當f(y)≤R2時,y為正常表示,反之為異常表示.由于一個未知樣本可能隸屬于多個模態,即可能得到多個子空間表示.為決策未知樣本x的最終類別,本文設計兩種決策策略:①和策略.當且僅當該樣本點的所有表示都被分類為正常表示時,該樣本點被分類為正常樣本,反之為異常樣本;②或策略.當該樣本點有任意一個表示被分類為正常表示時,該樣本被分類為正常樣本,反之為異常樣本.

3 時間復雜度

CFSR-SVDD方法的時間復雜度主要由三部分組成:QP問題的求解、投影矩陣的更新、投影矩陣的正交化和單位化.

表1 時間復雜度對比

4 實 驗

4.1 數據集與預處理

為驗證CFSR-SVDD方法的有效性,本文在MSRC-v1圖像數據集和多個UCI數據集上進行實驗.數據集的簡介見表2,詳細信息可參見文獻[34]和https://archive.ics.uci.edu/ml/index.php.各數據集多模態的劃分見以下所述.

表2 數據集簡介

IRIS[30]數據集包含3個類,每類的樣本量均為50,每個樣本含有4個特征.本文將萼片的長度和寬度特征視為第一個模態,將花瓣的長度和寬度特征視為第二個模態.本文分別選取其中的一個類作為目標類,將另外兩個類視為異常類,從而得到3個子數據集IRIS1-3.Robot Execution Failures (REF)[31]數據集包含不同觸發事件的5個子數據集REF1-5,將所有子數據集整合在一起,得到子數據集REF0,對每個數據集,本文將力和力矩特征視為不同的2個模態,并將機器正常運行下獲得的樣本視為正常樣本,其余視為異常樣本.MSRC-v1[32]圖像數據集包含240張圖片.根據文獻[33],本文分別挑選其中的7個類作為訓練集,從而得到7個子數據集MSRC1-7.本文將5種不同的視覺特征提取視為同一對象所對應的5種不同模態.在實驗中,將每個類分別選擇為目標類,其余類視為異常類.IONOSPHERE[34]數據集包含2個類,分別包含225個樣本和126個樣本.本文將脈沖的2個狀態作為兩種不同的模態,并將每個類分別選擇為目標類,其余類為異常類,從而得到2個子數據集IONO1-2.

4.2 實驗設置

實驗環境:Intel(R) Core(TM) i5-9400 CPU @ 2.90GHz8 GB RAM,64位Windows 10,MatlabR2020a.

參數設置:為統一實驗過程,消除奇異樣本對實驗的影響,本文首先將所有特征歸一化到[-1,1],再采用十折交叉驗證進行實驗,即每次選取正常樣本中不同的九部分作為訓練樣本,剩余一部分和所有的異常樣本作為測試樣本.懲罰參數C從{0.01k,0.1k},k=1,…,10中尋優;權重參數μ1、μ2均默認取1;平衡參數β從{10-3,10-2,10-1,10°,101,102}中尋優;近鄰相似圖矩陣核寬δ從{0.01,0.1,1,10}中尋優;子空間的維度D從{2,5,10,15,20}中尋優,其中D滿足D≤min{D1,…,DM,N1,…,NM};學習率η∈{0.01,0.1};最大迭代次數τ設置為20.為保證實驗的有效性和可對比性,有關對比方法的參數選擇與上述范圍一致.

(32)

(33)

4.3 實驗結果與分析

本文選取SVDD、OCSVM和MS-SVDD作為對比方法,由于MS-SVDD的7種協方差表述方法大同小異,因此在多次實驗后,選取具有代表性的第二、第四和第六種協方差表述方法進行展示,分別表示為MS-SVDDI-III.此外,所有方法在同一低維子空間中選取最優的決策策略結果進行對比分析.表3展示了CFSR-SVDD在多個數據集上進行十折交叉驗證后GM的平均值和方差.

表3 GM實驗結果

CFSR-SVDD與對比方法的幾何精度對比見表3.由表3可見,本文所提出的CFSR-SVDD對上述多模態數據集的分類精度大多達83%以上.其中,在MSRC1和MSRC7數據集上,SVDD的分類精度最高,達到86.3%和87.2%;在REF4數據集上,MS-SVDDII的分類精度最高,達到95.4%;在其余數據集上,CFSR-SVDD都取得最好的效果,甚至在IRIS1上達到極致.

綜上所述,本文所提出的CFSR-SVDD,在一定程度上提高了多模態數據應用一類分類問題的準確率,這是因為CFSR-SVDD在數據投影到子空間時,不僅引入多模態圖正則項,以保持模態內和模態間的結構關系,而且引入稀疏投影矩陣正則項,以降低特征間的相互干擾.表3的實驗結果也佐證了CFSR-SVDD的有效性.

5 結 論

本文提出一種新的多模態一類分類方法,該方法將所有模態的數據投影到同一個低維子空間,在投影過程中不僅利用多模態圖正則項,以保持模態內和模態間的結構信息,而且結合稀疏投影矩陣正則項,從多模態數據中選擇有區別的特征,以減小特征之間的耦合,降低特征冗余的影響,使整體模型用于優化多模態一類分類任務的數據描述.實驗結果顯示,CFSR-SVDD在絕大部分數據集上要優于對比方法,且更加穩定.但CFSR-SVDD方法也存在不足,如建模過程不包含異常樣本、決策過程較為簡單等問題.在今后的工作中,我們將嘗試解決這些問題,并考慮其他不同方向的改進.