SVM+模型中可用信息用作特權信息

董勇,孫廣玲,劉志

(上海大學通信與信息工程學院,上海200444)

SVM+模型中可用信息用作特權信息

董勇,孫廣玲,劉志

(上海大學通信與信息工程學院,上海200444)

在機器學習中,當測試階段無法得到訓練階段擁有的特權信息時,特權學習(learning using privileged information,LUPI)是一個有效的解決框架.由于獲取特權信息需要特殊的條件,或由于其他原因,往往不能獲得全部訓練樣本的特權信息,因此提出了一種直觀卻有效的方法.對于缺失特權信息的這部分訓練樣本,將它們的可用信息同時用作特權信息,并將其納入到支持向量機(support vectormachine+,SVM+)的模型中,引入了一種新的擴展SVM+(extended SVM+,eSVM+)模型.進一步地,對于不涉及特權信息的常規有監督學習問題,也將訓練樣本的特征(可用信息)同時用作特權信息,引出一種新的擴展SVM模型(eSVM),eSVM也可認為是SVM+的特例.在兩個公開的人臉表情數據庫BU-3DFE和Bosphorus上進行了實驗,結果證實了將可用信息用作特權信息策略的有效性.

特權學習;可用信息;特權信息;支持向量機

利用特權信息的學習(learning using privileged information,LUPI)是機器學習領域發展較快的一個方向[1-2],其意圖在于模仿人類“教”與“學”中的一個重要現象:在學生的學習階段,一個好的教師除了提供實例,還要提供相關的其他信息,而這些信息是在非學習階段(學生利用學習得來的知識獨立解決問題而不再依賴于教師)不可獲得的,因此稱為特權信息.在學習階段提供特權信息的意義是,相對于只提供實例,可以使學生獲得更豐富的知識,從而提高其未來獨立解決問題的能力.相應地,可以構建體現類似思想的機器學習模型,以使學習得來的模型擁有更強的泛化能力.

假設提供了m個訓練樣本,訓練樣本的特征和相應的類別標記構成的集合用

表示,其中xi表示第i個樣本的特征,yi表示第i個樣本的類別標記.在識別階段可以得到測試樣本的特征x,利用學習得來的模型,預測其類別標記y.這類學習的特點是在學習和測試中得到的信息是對稱的.而對于特權學習,在學習階段,除了xi和yi之外,還可以獲得額外的特權信息,特權學習的訓練樣本集合是因此,特權學習在學習和測試中得到的信息是非對稱的,屬于非對稱學習.但是非對稱學習并不僅僅只有特權學習這一種方式,因為在測試階段擁有比學習階段更多信息的學習,也屬于非對稱學習[3].

在特權學習中,特權信息的作用是顯著提高學習算法收斂于貝葉斯解的速度.本工作稱特權學習中訓練樣本的特征x為可用信息.

1 相關工作

最早在LUPI框架下的模型是支持向量機(support vector machine+,SVM+)[2].自SVM+提出之后,無論是模型、算法還是應用方面,研究者們已在LUPI領域發表了很多研究成果.對比屬于有監督學習的SVM+,文獻[4]研究了利用特權信息的無監督聚類問題,并將其應用于金融領域的預測模型[5].文獻[6]給出了特權經驗風險最小化相對于常規經驗風險最小化可獲得更快收斂速度的理論分析.文獻[7]提出了基于信息理論的度量學習(information-theoreticmetric learning+,ITML+),試圖用特權信息修正可用信息空間中每一對訓練樣本的損失,并應用于RGBD(red,green,blue,depth,紅、綠、藍、深度)中的人臉認證和身份重認證.文獻[8]提出了高斯過程分類(Gaussian process classification+,GPC+),特權信息被看作GPC隱函數中的噪聲,從而能較好地用于評價可用信息空間中訓練樣本的可利用程度.文獻[9]分析出SVM+的主要作用等效于在SVM的目標函數中,利用特權信息給出每個訓練樣本的權重.文獻[10]提出基于結構SVM+(structural SVM+,SSVM+)的目標定位方法,對之前基于特權學習的模型僅用于分類的應用場景進行了擴展.類似地,文獻[11]研究了利用特權信息的結構化輸出條件回歸森林算法,用于定位人臉的特征點.文獻[12]強調有相對排序關系的屬性可作為特權信息.文獻[13]分析了特權信息學習屬性排序對于提升分類器性能的作用,而這相對排序關系是基于一定的學習模型得到,恰好可與SVM+的模型一致,形成一個整體.

上述研究無一不在強調特權信息的作用,但更多的研究目的是比較訓練樣本在有無特權信息時,分類器性能的差異.然而存在另一方面的問題是,由于獲取方法的特殊性,或者獲取的成本較高,或者其他多種原因,在很多現實應用中,不僅測試樣本無法得到特權信息,即使對于訓練樣本,也僅是部分才擁有特權信息.對于此種情況,已有研究僅僅是提供了相對簡單的處理方法[2,7].同時,基于SVM+的框架,是否可將用于有監督學習的SVM擴展,從而在形式上與SVM+統一起來?本工作針對上述兩個問題,提出將可用信息用作特權信息,從而有效提高僅有部分特權信息的SVM+和用于有監督學習的SVM的泛化能力.

2 SVM和SVM+

SVM在對偶空間中最大化的目標泛函為

滿足約束:

式(1)～(3)中,αi,i=1,2,···,n為Lagrange乘子,K為決策空間的核函數,C為正則參數, xi和yi分別表示第i個訓練樣本的特征和類別.

SVM+在對偶空間中最大化的目標泛函為

滿足約束:

式(4)～(7)中,αi,βi,i=1,2,···,n為Lagrange乘子,K和K?分別表示基于可用信息決策空間的核函數,以及用于預測松弛變量的基于特權信息的修正空間的核函數,γ和C為正則參數,和yi分別表示第i個訓練樣本的可用信息、特權信息和類別.目標泛函(1)和(4)可根據問題的規模,用二次規劃優化(quadratic programming solver)算法或是Pechyony等[14]提出的快速算法求解.前者適用于小規模問題,后者適用于中等規模和大規模問題[15].

在求出式(1)和(4)最大的︿αi,i=1,2,···,n和最優偏移︿b之后,即可采用以下的決策函數預測只有可用信息的測試樣本的類別:

3 可用信息用作特權信息的相關模型和算法

根據文獻[2]的分析可知,基于一定的訓練樣本集,Oracle function可給出最小的經驗風險對應的松弛變量.而一個合適的特權信息可基于一定的修正函數用于預測訓練樣本的松弛變量.該松弛變量能以較高的概率逼近用O racle function給出的松弛變量,因此松弛變量的求解結果是關鍵因素.但在有些現實場景中,只有部分訓練樣本提供了特權信息或是當面對常規的有監督學習問題時,以下問題隨之而來:是否存在一定的策略可以有效地彌補缺失特權信息的作用;該策略獲得的經驗風險是否可以較高的概率獲得至少低于在決策空間中求解松弛變量產生的經驗風險.本工作提出了一種直觀而有效的方法:對于無特權信息的樣本,“求助于”自身,即將可用信息看作一類特殊的特權信息,并將其納入到SVM+的模型中.

3.1 可用信息用作特權信息的擴展SVM模型

當特權信息是可用信息時,SVM+即是eSVM.此時,目標泛函(4)中的成為約束不變.這里將該情況下對偶空間的目標泛函及約束重寫為

滿足約束:

因為是用于常規的有監督學習問題,該模型也可認為是SVM的一種擴展.

3.2 可用信息用作特權信息的擴展SVM+模型

Vapnik等[2]曾提到部分訓練樣本特權信息缺失的SVM+.為了與其進行比較,這里先列出Vapnik模型,然后再列出本工作的模型.

3.2.1 部分訓練樣本特權信息缺失的Vapnik模型

部分訓練樣本特權信息缺失的Vapnik模型為

滿足約束:

式中,m表示無特權信息的樣本數.Vapnik模型實際類似于SVM,是直接求解無特權信息訓練樣本的松弛變量.

3.2.2 擴展SVM+(eSVM+)模型

滿足約束:

對偶空間中的目標泛函為

滿足約束:

4 實驗和分析

人臉面部表情識別是模式識別和計算機視覺中的經典問題,也是人機交互的重要方式之一[16].本工作結合該應用,對提出的方法進行實驗和分析.值得指出的是,本工作并非關注提升表情識別的性能,而僅是表明將可用信息用作特權信息可獲得的優勢.

本工作利用了表情識別領域比較常用的兩個公開數據庫BU-3DFE和Bosphorus.圖1和2分別是部分樣本的示意圖,其中第一行均為RGB圖,第二行均為深度圖,都包含了7種表情,依次為中性、憤怒、厭惡、恐懼、高興、悲傷和驚訝,詳細情況可參見文獻[17-18].兩個數據庫的共同特點是,每個樣本都有RGB和3D數據,因此可分別作為特權信息或可用信息.

堿洗過程控制液固比為10∶1，反應時間為1 h以上。堿洗完成后轉化為黃色氧化鉍，體積縮小，漿液變稀，Bi含量達到79.45%，可再進行酸化激活重復利用。

圖1 BU-3DFE數據庫樣本示例Fig.1 Samples of BU-3DFE database

圖2 Bosphorus數據庫樣本示例Fig.2 Samples of Bosphorus database

本工作從RGB和3D數據中分別計算出灰度圖和深度圖,然后從兩幅圖中提取局部二元模式(local binary pattern,LBP)特征[19],采取的是LBP模式.將灰度圖和深度圖劃分成8×8共64個子區域,統計每個子區域59維的直方圖并連接起來,從而形成兩個3 776維的分別描述灰度圖和深度圖的統計特征,用gLBP和dLBP表示.

4.1 實驗設置

雖然BU-3DFE樣本包含7種表情,但遵循大部分研究的實驗設置,本工作只測試了6種表情.從中抽取60個人的所有4種表情強度作為實驗數據,并進一步將60人身份無交疊地劃分為訓練集(45人)、驗證集(9人)、測試集(6人)共3個集合,其中訓練集用于學習分類器,驗證集用于參數的尋優.對于Bosphorus數據庫,只測試正面和無遮擋的情況,但測試全部7種表情.從中抽取65個人的表情作為實驗數據,也是身份無交疊地劃分為訓練集(30人)、驗證集(20人)、測試集(15人).實驗中所有涉及識別率的結果都為交叉驗證20次的平均數據.

4.2 SVM和eSVM比較實驗

本工作利用dLBP特征,觀察和比較了SVM和eSVM對于表情分類的性能,結果如圖3所示,其中“綜合”表示所有表情的總識別率.分類器學習采用1個類別對其他所有類別的方式.表1是SVM和eSVM中參數的設置情況,這些參數由多次劃分的驗證集尋優而得.由圖3可見,除了BU-3DFE中的“憤怒”和“悲傷”兩種表情識別率有很微弱的下降外,eSVM相較于SVM,可獲得穩定的性能提升.

圖3 利用dLBP特征的SVM和eSVM的表情識別率Fig.3 Expression recognition accuracy corresponding to SVMand eSVMusing d LBP

表1 SVM和eSVM的參數設置Tab le 1 Parameters in SVMand eSVM

4.3 Vapn ik和eSVM+模型比較實驗

結合本工作的實驗對象,理論上來說,3D數據和RGB二者中的任何一個都可以作為可用信息,另外一個就成為特權信息.不僅要為它們找到實際的應用場景,而且也要結合兩種信息各自的特點和SVM+的本質,在理論或者依賴經驗數據的層面上來分析3D數據和RGB如何分配“角色”,以利于最終提高分類能力.對于應用場景的問題,3D數據和RGB都有可能成為特權信息.首先,高質量的3D數據要依賴于價格昂貴的3D掃描儀或者特殊的獲取環境才能得到,因此將其看作只在學習階段可獲取和利用的特權信息是合理的.其次,即使在識別階段可獲得3D數據,但要同步得到RGB也是不容易的.若在二者中選擇了3D,那么RGB就成了特權信息.至于二者中究竟哪一個更適合作為特權信息,哪一個更適合作為可用信息,本工作試圖從表2中得到初步的結論.

表2 gLBP和d LBP各自和互為特權信息的識別率Tab le 2 Expression recognition accuracy using gLBP and dLBP as independent and privileged features %

表2中黑體的數字說明,在4個組合中,以dLBP為可用特征、gLBP為特權特征的組合獲得了最高的識別率,自然也都高于無gLBP特權特征的識別率,并且這個結果在兩個數據庫中是一致的.因此可以認為,由于深度圖直方圖相對于灰度直方圖具有更明顯的稀疏性,使dLBP更適合用于決策,而gLBP更適合用于預測松弛變量.出于觀察數據多樣性的考慮,本工作選擇在BU-3DFE數據庫中,以gLBP為可用特征,dLBP為特權特征;在Bosphorus數據庫中,以dLBP為可用特征,gLBP為特權特征.

本工作測試了特權信息占全部訓練樣本25%,50%和75%3種比例情況下的結果.事實上,在部分訓練樣本具有特權信息的問題中,學習方式共存在3種選擇:只利用有特權信息的樣本、利用全部樣本和Vapnik模型、利用全部樣本和eSVM+模型.表3和4中分別用“SVM+”“Vapnik”和“eSVM+”表示這3種方式,并列出了3種比例和3種方式下的識別率.

圖4顯示了3種比例特權信息和3種方式下的全部類別表情總的識別率,以及全部樣本都有特權信息(100%)的SVM+結果.各方式中模型的具體參數設置如表5所示.同樣地,這些參數也由多次劃分的驗證集尋優而得.

結合表3和4可以看到,在絕大多數情況下,基于eSVM+的方式都獲得了最高的識別率.結合圖4的結果,可進一步發現,隨著特權信息比例的增加,3種方式呈現出不一樣的規律:“SVM+”的識別率是穩定上升的,“Vapnik”的表現始終低迷,“eSVM+”的表現比較穩定,只是對于BU-3DFE數據庫,在25%的比例時,其優勢比較微弱;而對于Bosphorus數據庫,3種比例的表現幾乎沒有變化.這或許與數據的特征分布有關.另外,這個實驗結果也說明,其實并不需要全部的樣本都擁有特權信息,借助于eSVM+模型,也可逼近甚至超越全部樣本都擁有特權信息的分類能力(對應于圖4中標注為100%比例的柱).顯然,這個結果對于解決現實中不易獲得特權信息的應用是非常有意義的.

表3 BU-3DFE數據庫中3種比例特權信息和3種方式表情識別率Tab le 3 Expression recognition accuracy corresponding to three ratios of privileged sample to total sample and threemethods for BU-3DFE database%

表4 Bosphorus數據庫中3種比例特權信息和3種方式的表情識別率Tab le 4 Expression recognition accuracy corresponding to three ratios of privileged sample to total sample and threemethods for Bosphorus database%

圖4 3種比例特權信息和3種方式整體表情識別率F ig.4 Expression recognition accuracy corresponding to three ratios of privileged sample and threemethods

表5 3種方式中的模型參數設置Tab le 5 Parameters in threemethods

5 結束語

本工作研究了在SVM+的背景下,部分訓練樣本缺失特權信息或者面對常規的有監督學習,進一步提高分類模型泛化能力的問題,提出將無特權信息樣本的可用信息同時用作特權信息.這分別稱為eSVM+模型和eSVM模型,前者擴展了SVM+,后者擴展了SVM.在BU-3DFE和Bosphorus表情數據庫中的實驗結果說明了本模型是有效的.

[1]V ApNIK V,V ASHIST A,P AVLOVITCH N.Learning using hidden information(learning with teacher)[C]//International Joint Conference on Neural Networks.2009.

[2]V ApNIK V,V ASHIST A.Anew learning paradigm:learning using privileged information[J]. Neural Networks,2009,22(5/6):544-557.

[3]C HRISTOpH L.Learning with asymmetric information[EB/OL].[2015-09-01].http://pub. ist.ac.at/～chl/talks/lampert-us2014.pd f.

[4]J AN F,U WE A.Privileged information for data clustering[J].Information Sciences,2012,194: 4-23.

[5]R IBEIRO B,S ILVAC,V IEIRAA,et al.Financial distressmodel prediction using SVM+[C]// International Joint Conference on Neural Networks.2010:1-7.

[6]P ECHYONY D,V ApNIK V.On the theory of learning with privileged in formation[C]//NIPS. 2010:1894-1902.

[7]X U X X,L I W,X U D.D istancemetric learning using privileged information for face verifi cation and person re-identification[J].IEEE Transactions on Neural Networks and Learning Systems, 2015,26(12):3150-3162.

[8]H ERNANDEZ-L OBATO D,S HARMANSKAV,K ERSTING K,et al.Mind the nuisance:Gaussian process classifi cation using privileged noise[J].Advances in Neural Information Processing Systems, 2014(1):837-845.

[9]L ApIN M,H EIN M,S CHIELE B.Learning using privileged information:SVM+and weighted SVM[J].Neural Networks,2014,53:95-108.

[10]F EYEREISL J,K WAK S,S ON J,et al.Ob ject localization based on structural SVMusing privileged information[J].Advances in Neural In formation Processing Systems,2014(1):208-216.

[11]Y ANG H,P ATRAS I.Privileged information based conditional structured output regression forest for facial point detection[J].IEEE Transactions on Circuits and Systems for V ideo Technology, 2015,25(9):1507-1520.

[12]V IKTORIIAS,N OVI Q,C HRISTOpH H,et al.Learning to rank using privileged information[C]// ICCV.2013:825-832.

[13]W ANG S Z,T AO D C,Y ANG J.Relative attribute SVM+learning for age estimation[J].IEEE Transactions on Cybernetics,2016,46(3):827-839.

[14]P ECHYONY D,V ApNIK V.Fast optimization algorithms for solving SVM+[EB/OL].[2015-09-05].http://www.cs.technion.ac.il/～pechyony/book chapter.pd f.

[15]V IKTORIIAS,N OVI Q,C HRISTOpH L.Learning to transfer privileged information[J].Computer Science,2014,arXiv:1410.0389v1.

[16]V ALSTAR M,G IRARD J,ALMAEV T,et al.Fera 2015-second facial expression recognition and analysis challenge[C]//IEEE International Conference on Automatic Face and Gesture Recognition.2015:1-18.

[17]Y IN L,W EI X,W ANG J,et al.A3D facial expression database for facial behavior research[C]//IEEE InternationalConference on Automatic Face and Gesture Recognition.2006: 211-216.

[18]S AVRAN A.Bosphorus database for 3D face analysis[C]//Proc COST WorkshopBiometrics Identity Manag.2008:47-56.

[19]AHONEN T,H ADID A,P IETIKAINEN M.Face description with local binary patterns:application to face recognition[J].IEEE T-PAMI,2006,28(12):2037-2041.

U sing availab le in formation as privileged in formation in SVM+

DONG Yong,SUN Guangling,LIU Zhi
(School of Communication and In formation Engineering,Shanghai University,Shanghai 200444,China)

In machine learning,some in formation is only available during learning phase. Learning using privileged information(LUPI)can provide an eff ective solution to the problem.Such information is called privileged in formation.To deal with the issue that only partial privileged in formation of training data is available,this paper presents an intuitive but eff ective strategy called extended support vectormachine+(eSVM+).Specifi cally,for data without privileged information,available information is used as privileged information simultaneously and further cooperate it into the SVM+formu lation.In addition,for a regular supervised learning paradigm,a similar idea is adopted that all training data are both available and privileged.Naturally,it is extended SVM(eSVM),and also a special aspect of SVM+.Experimental resu lts show that the proposed strategy can boost generalization performance of the classifier on two benchmark expression databases,BU-3DFE and Bosphorus.

learning using privilegend in formation(LUPI);available in formation;privileged in formation;support vector machine+(SVM+)

TP 391.41

A

1007-2861(2017)04-0524-11

DO I:10.12066/j.issn.1007-2861.1675

2015-09-10

教育部科學技術研究重點資助項目(212053);上海市自然科學基金資助項目(16ZR 1411100)

孫廣玲(1973—),女,副教授,博士,研究方向為模式識別、機器學習等.

E-mail:sunguangling@shu.edu.cn