面向不平衡數據的邏輯回歸偏標記學習算法

周 瑜， 顧 宏

( 大連理工大學 電子信息與電氣工程學部, 遼寧 大連 116024 )

面向不平衡數據的邏輯回歸偏標記學習算法

周 瑜， 顧 宏*

( 大連理工大學 電子信息與電氣工程學部, 遼寧 大連 116024 )

偏標記學習是近幾年提出的新機器學習框架，已有的邏輯回歸偏標記算法尚不能解決數據不平衡問題．建立了一種可以解決數據不平衡的邏輯回歸模型偏標記學習算法．基本思想是在多元邏輯回歸模型中定義新的似然函數以達到處理不平衡數據的目的．算法先根據訓練集中各個類別樣本所占比例定義了一個新的似然函數，之后通過逼近和求導等數學手段推導得到了能夠求解的光滑的邏輯回歸偏標記學習模型．在UCI數據集和真實數據集上的仿真實驗表明，所提算法在數據存在不平衡問題時提高了樣本的平均分類精度．

偏標記學習；數據不平衡；邏輯回歸；阻尼牛頓法

0 引 言

偏標記學習是近幾年提出的一種新的機器學習框架，國內外學者對它的研究已經有了一定的成果．最早的文獻是Grandvalet對邏輯回歸模型進行的拓展研究[1]，其提出了一種偏標記學習算法；隨后Jin等[2]將偏標記學習歸結為一種新的機器學習框架．新的學習框架的提出促進了眾多學者對偏標記學習的研究，k近鄰[3]、最大間隔[4]、線性支持向量機[5-6]等方法均被用于偏標記學習算法研究．這些方法都是通過定義新的損失函數來改進傳統分類模型，使其可以處理偏標記學習問題．但在很多的實際應用問題中，各個類別的樣本數量之間是極度不平衡的，如在蛋白質亞細胞定位預測問題中[7]，數據集中兩類數目差別近百倍．數據集的這種類不平衡(也稱數據不平衡)問題對學習算法性能具有很大的影響，通常會導致算法的分類面偏向少數類一側，從而造成預測精度大幅下降，特別是對少數類樣本的預測精度要遠遠低于多數類樣本[8]．目前已有的偏標記學習算法都沒有考慮數據的不平衡性．因此，考慮數據不平衡問題的偏標記學習算法也是將偏標記學習技術推向更加實用化所需要解決的關鍵問題．本文建立一種邏輯回歸偏標記學習算法，以期提高不平衡數據的平均分類精度．

1 邏輯回歸偏標記學習模型

1.1 模型建立

偏標記學習的定義如下：

設X為樣本的特征空間，Y={1，2，…，l}為類別標記集合．利用訓練集D={(x1，Y1)，(x2，Y2)，…，(xn，Yn)}(其中xi∈X是樣本的特征向量；Yi≡{yi1，yi2，…，yini}?Y，是含樣本xi真實標記的一個集合)確定一個函數f：X→Y，使得f可以正確輸出新(待預測)樣本x*∈X的類別標記．

(1)

(2)

由于max(·)函數不可導，用凝聚函數逼近最大值似然函數．當p→+∞時，有

則

(3)

當p→∞時，

當s≠t，s∈Yi時，

當s=t，s，t∈Yi時，

則當p→∞時，

則Z(W)對W一階和二階導數可寫成矩陣形式：

(4)

1.2 模型求解

本文應用阻尼牛頓法對模型進行求解，阻尼牛頓法的迭代公式如下：

Wk+1=Wk-λk(▽▽Z(Wk))-1▽Z(Wk)

圖1 阻尼牛頓法求解W

2 數值實驗

表1 算法驗證所用的數據集

表2 兩個算法在UCI數據集上的預測精度

表3 兩個算法在UCI數據集上的平均預測精度

表4 兩個算法在真實數據集上的預測精度

3 結 語

本文提出了可以處理數據不平衡問題的邏輯回歸偏標記學習算法，在數據集上的實驗結果驗證了本文算法的有效性以及在處理不平衡問題方面的優勢．下一步的工作是定義新的似然函數，應用更好的適合偏標記學習的機器學習算法，使其能夠更好地處理數據不平衡偏標記學習問題．

[1] GRANDVALET Y. Logistic regression for partial labels [C] // Proceeding of the 9th International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems. Annecy: IPMU, 2002:1935-1941.

[2] JIN R, GHAHRAMANI Z. Learning with multiple labels [C] // Advances in Neural Information Processing Systems 15-Proceedings of the 2002 Conference, NIPS 2002. Vancouver: Neural Information Processing Systems Foundation, 2003.

[3] HüELLERMEIER E, BERINGER J. Learning from ambiguously labeled examples [J]. Intelligent Data Analysis, 2006, 10(5):419-439.

[4] LUO J, ORABONA F. Learning from candidate labeling sets [C] // Advances in Neural Information Processing Systems 23: 24th Annual Conference on Neural Information Processing Systems 2010, NIPS 2010. Red Hook: Curran Associates Inc., 2010:1504-1512.

[5] COUR T, SAPP B, TASKAR B. Learning from partial labels [J]. Journal of Machine Learning Research, 2011, 12:1501-1536.

[6] NGUYEN N, CARUANA R. Classification with partial labels [C] // KDD 2008 - Proceedings of the 14th ACMKDD International Conference on Knowledge Discovery and Data Mining. New York: Association for Computing Machinery, 2008:551-559.

[7] HE J, GU H, LIU W. Imbalanced multi-modal multi-label learning for subcellular localization prediction of human proteins with both single and multiple sites [J]. PLoS One, 2012, 7(6):e37155.

[8] LIU X Y, ZHOU Z H. Imbalanced Learning:Foundations, Algorithms, and Applications [M]. Hoboken:Wiley-IEEE Press, 2013:61-82.

[9] HORN R, JOHNSON C. Topics in Matrix Analysis [M]. Cambridge:Cambridge University Press, 1991:239-297.

[10] BACHE K, LICHMAN M. UCI machine learning repository [EB/OL]. (2013-04-04) [2016-08-12]. http://archive.ics.uci.edu/ml.

[11] 周 瑜,賀建軍,顧 宏,等. 一種基于最大值損失函數的快速偏標記學習算法[J]. 計算機研究與發展, 2016, 53(5):1053-1062.

ZHOU Yu, HE Jianjun, GU Hong,etal. A fast partial label learning algorithm based on max-loss function [J]. Journal of Computer Research and Development, 2016, 53(5):1053-1062. (in Chinese)

Partial label learning algorithm for imbalanced data based on logistic regression

ZHOU Yu， GU Hong*

( Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology, Dalian 116024, China )

Partial label learning is a new machine learning framework proposed in recent years, but existing partial label learning algorithms based on logistic regression have not solved the problem of data imbalance. A partial label learning algorithm for data imbalance is presented based on logistic regression model. The basic idea is to define a new likelihood function in the multiple logistic regression models to deal with imbalanced data. Firstly, a new likelihood function is defined according to the proportion of each class sample in the training set; then, the smooth and logistic regression-based partial label learning model is derived through derivation and approximation method. Simulation experiments on UCI data sets and real world data sets show that the proposed algorithm improves the average classification accuracy of sample for data imbalance problem.

partial label learning; data imbalance; logistic regression; damped Newton method

2016-09-05；

2016-11-07．

國家自然科學基金資助項目(61502074，U1560102).

周 瑜(1982-)，女，博士生，E-mail:zhouyu829@163.com；顧 宏*(1961-)，男，教授，博士生導師，E-mail:guhong@dlut.edu.cn.

1000-8608(2017)02-0184-05

TP391

A

10.7511/dllgxb201702011