基于任務權重自動優化的多任務序數回歸算法

摘 要：目前，只有少量面向多任務學習的序數回歸方法。這些方法假設不同的任務具有相同的權重，對整體模型具有相同的貢獻。然而，在真實應用中，不同任務對于整體模型的貢獻往往是不同的。為此，提出了一種基于任務權重自動優化的多任務序數回歸算法。首先，提出了基于支持向量機的多任務序數回歸模型，通過分類器參數共享，實現不同任務之間的信息遷移；其次，考慮到不同任務對整體模型可能具有不同貢獻，賦予每個任務一個權重，這些權重將在學習過程中自動優化求解；最后，采用了啟發式框架，交替地建立多任務序數回歸模型和優化任務權重。實驗結果表明，提出方法相比于其他多任務序數回歸方法，平均0－1誤差降低了3.8%～12.3%，平均絕對誤差降低了4.1%～11%?？紤]了每個任務的不同權重，通過自動優化這些權重，降低了多任務序數回歸模型的分類誤差。

關鍵詞：序數回歸； 多任務學習； 權重優化

中圖分類號：TP181;O212.1文獻標志碼： A文章編號：1001－3695（2024）04－014－1052－06

doi：10.19734/j.issn.1001－3695.2023.08.0376

Multi－task ordinal regression with task weight discovery

Zeng Mengyue Xiao Yanshan Liu Bob

Abstract：At present， there are only a very few works done on multi－task ordinal regression （OR） . These works assume that different tasks contribute equally to the overall model. However， in practice， different tasks may have distinct contributions to the overall model. This paper proposed a novel multi－task ordinal regression method with task weight discovery method. Firstly， it presented a support－vector－machine－based multi－task OR model. By sharing the classifier parameters， the classification information could be transferred among different tasks. Secondly， considering that different tasks had different contributions to the overall model， it assigned each task a weight， which would be automatically optimized during the learning process. Finally， it adopted a heuristic framework to construct the multi－task OR model and optimized the task weights alternately. The experimental results show that the proposed method achieves 3.8% to 12.3% improvements in terms of MZE and 4.1% to 11% improvements in terms of MAE， compared to the existing multi－task OR methods. Considering the different weights of each task， and by automatically optimizing these weights， the proposed method reduces the classification error of the multi－task ordinal regression model.

Key words：ordinal regression; multi－task learning; task weight discovery

0 引言

序數回歸［1，2］是指在多分類學習中，不同類別之間具有一定的先后順序關系。例如，在圖像檢索中，一幅圖像可以根據與檢索問題的相關性，劃分為“高度相關”“一般相關”“部分相關”和“不相關”四個類別。這四個類別之間具有一定的先后順序關系，對于一個“高度相關”的圖像，如果把它劃分到“不相關”類別，比劃分到“一般相關”類別，前者的分類誤差比后者要大。這是因為，“高度相關”圖像與“一般相關”圖像之間的距離比較近，而跟“不相關”圖像之間的距離比較遠，不同類別之間具有一定的先后順序關系。序數回歸與傳統的多分類學習不同，在傳統的多分類學習中，不同類別之間沒有先后順序關系；在序數回歸中，不同類別之間具有先后順序關系。

多任務學習是指聯合多個相關任務進行學習，通過共同訓練來實現信息共享，利用來自相關任務的信息提升原始任務的性能。在實際應用中，當單個任務的訓練樣本數量較少時，學習所得到的分類器容易產生過擬合現象。為了緩解這個問題，研究者們提出了聯合多個相關任務進行學習，以提高整體模型的精度。目前的研究成果表明，相比于單任務學習，聯合多個任務進行學習，能夠獲得更好的學習性能［3～7］。

目前的序數回歸算法主要針對單個任務的學習問題，在多任務序數回歸方面只有少量的研究工作。例如，Wang等人［8］提出了一種正則化多任務序數回歸方法，該方法使用結構正則化項對多個序數回歸任務進行建模。Gao等人［9］將多個位置的空間事件尺度預測視為多任務序數回歸問題，并將相似的事件尺度模式強加給空間較近的任務。Baly等人［10］設計了一種可用于新聞媒體可信度和政治意識形態的預測多任務序數回歸方法。文獻［11，12］也進行了相關研究。但是，現有的多任務序數回歸方法大多假設不同任務具有相同的權重，對整體模型具有相等的貢獻。然而，在現實應用中，不同任務具有不同的相關性，對整體模型的貢獻也不相同。如果它們被平等對待，整體模型的性能可能會受到限制。

針對在多任務序數回歸中，不同任務對整體模型具有不同貢獻的問題，本文提出了基于任務權重自動優化的多任務序數回歸算法（multi－task ordinal regression with task weight discovery，MORTD）。首先，在支持向量有序回歸模型的基礎上，提出了多任務序數回歸算法，通過分類器參數的共享，實現分類信息在不同任務之間的遷移；其次，考慮到不同任務對整體模型具有不同貢獻，本文方法賦予每個任務一個權重，這些權重是未知變量，將在學習過程中進行自動優化求解；最后，采用了啟發式的框架，交替地建立多任務序數回歸模型和優化任務權重。與現有的多任務序數回歸算法［13，14］不同，本文方法可以自動學習不同任務的權重，更好地發現任務之間的共享信息。在真實數據集的實驗結果表明，相比現有的序數回歸算法，本文方法具有更好的分類性能。

1 多任務序數回歸相關工作

多任務序數回歸是指聯合多個相關的序數回歸學習任務，通過同時訓練這些相關任務，實現不同任務之間的分類信息共享，提高整體模型的精度。目前，大部分的序數回歸工作都是針對單任務學習，只有少量的序數回歸工作是面向多任務學習。

在多任務序數回歸工作中，Wang等人［8］提出了基于正則化的多任務序數回歸算法，采用正則化項來表示各個任務之間的相關性，并采用交替迭代方式來求解所建立的模型。Gao等人［9］將多個地點的事件規模預測轉換為多任務序數回歸問題，提出了應用于事件規模預測的多任務序數回歸算法。Baly等人［10］提出了用于新聞媒體可信度和政治意識形態預測的多任務序數回歸方法，使用Copula函數和條件隨機域來預測新聞媒體可信度和政治意識形態的聯合概率分布函數。Walecki等人［12］采用了Copula函數來建立序數回歸框架，并對來自面部圖像的多個動作單元強度進行評估和建模。Hamsici等人［13］同時學習多個序數回歸任務，對于每一個學習任務，通過最大化連續類別之間的間距來建立最大邊界分類器。Xiao等人［15］考慮了多任務序數回歸的半監督學習問題，使用流形學習方法，把無標簽數據和有標簽數據融合到多任務序數回歸分類學習過程中。

這些多任務序數回歸方法假設不同的任務具有相同的權重，對整體模型具有相同的貢獻。但是，在真實應用中，不同任務可能具有不同的相關性，對整體模型的貢獻也不相同。如果假設它們具有相同的貢獻，整體模型的分類性能可能會受到影響。與現有的多任務序數回歸算法不同，本文考慮到不同任務對整體模型可能具有不同貢獻，每個任務被賦予一個權重，這些權重是未知變量，將在學習過程中進行自動優化求解。通過在訓練過程中優化任務權重，可以進一步提高模型的分類精度。

2 MORTD算法原理

2.1 基本符號

3 實驗結果及討論

為了研究本文算法的有效性，在多任務序數回歸數據集上進行了實驗。實驗運行的計算機硬件配置CPU為AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz，RAM為16.0 GB，操作系統為Microsoft Windows 11，實驗環境為MATLAB。

3.1 基準實驗數據集

在本實驗中，使用基準多任務序數回歸數據集SCUT－FBP［19］、MSRA－MM（http：//research.microsoft.com/en－us/projects/msrammdata/.）和UTKFace［20］數據集來驗證本文算法的有效性。

SCUT－FBP是一個具有不同性別和種族的臉部顏值預測數據集，它包括亞洲男性（AM）、亞洲女性（AF）、高加索男性（CM）和高加索女性（CF）四個子數據集。AM、AF、CM和CF子數據集分別包含2 000、2 000、750和750張臉部圖像，每張臉部圖像具有一個顏值評分，評分值為{1，2，3，4，5}，較高的評分表示該張臉部圖像顏值較高。將四個子數據集當作四個相關聯的任務，提取方向梯度直方圖（HOG）特征來表示圖像，樣本維度為200。

MSRA－MM 是一個圖像檢索數據集，包含68個子數據集。每個子數據集代表一個查詢，如cat、dog、horses、tiger等。由于MSRA－MM數據集中的子數據集太多，本次實驗提取了四個動物子數據集，即lion、tiger、horses和wolves，并將它們視為四個相關任務。這四個子數據集的圖像數量分別為971、961、959和965，總共有3 856張圖像。在這些任務中，每個圖像與其相應查詢的相關性分為“非常相關”“相關”和“不相關”。每張圖像通過提取256維的RGB特征來表示。

UTKFace是一個具有長年齡跨度（0～116歲）的面部年齡估計數據集，由9 778張人臉圖像組成，每張人臉圖像按年齡和種族進行標記。本次實驗將每個種族視為一個任務，從而獲得white、black、Asian、Indian和others五個相關任務，人臉圖像數量分別為5 265、405、1 553、1 452和1 103。在這些任務中，每個人臉圖像都與五個年齡組中的一個相對應，即“兒童（0～6歲）”“青少年（7～17歲）”“青年（18～40歲）”“中年（41～65歲）”和“老年人（gt;65歲）”。每一張圖像使用59維的局部二值模式（LBP）特征進行表示。

3.2 對比方法和實驗設置

為了驗證本文方法的有效性，將本文方法與單任務序數回歸方法（SVOREXC［21］、SVORIMC［21］、RMSVOR［22］和CWSVOR［23］）、傳統的多任務學習方法（RMTL［24］）以及多任務序數回歸方法（MSRSVM［13］和RMTOR［8］）七種方法進行比較。

SVOREXC、SVORIMC、RMSVOR和CWSVOR是單任務序數回歸方法，它們單獨訓練序數回歸任務，不能實現多個任務的聯合訓練和信息共享。RMTL是一種傳統的多任務多分類方法，不是針對序數回歸問題提出的。因此，它的分類平面是無序的，不能融合類別之間的先后信息來提升模型的精度。 MSRSVM和RMTOR可用于解決多任務序數回歸問題，然而，它們假設不同的任務對整體模型具有相等的貢獻，沒有考慮任務的權重。與這些對比方法不同，本文方法考慮了任務對整體模型的不同貢獻，并通過自動優化權重的方式，將這些任務權重納入到分類模型中，提高學習的精度。

參數設置中，基于支持向量機的方法均采用線性核。對于對比方法SVOREXC、SVORIMC、RMSVOR、CWSVOR、RMTL、MSRSVM和RMTOR，采用它們各自文獻實驗給出的參數范圍。具體來說，對于SVOREXC、SVORIMC、RMSVOR和CWSVOR， 正則化參數C從10［-3∶ 1∶ 3］中選取。對于RMTL，參數λ1和λ2從10［-5∶ 1∶ 5］中選取。對于MSRSVM，參數C從10［-3∶ 1∶ 3］中選取。對于RMTOR，參數λ從10［-5∶ 1∶ 5］中選取。對于MORTD，正則化參數C的取值范圍跟SVOREXC和SVORIMC中的正則化參數C相同，即參數C從10［-3∶ 1∶ 3］中選取。對于懲罰參數η，該參數決定了任務權重之和∑ t θ2t對整體模型的貢獻，由于∑ t θ2t的值較小，參數η的值需要比較大，所以參數η從［10，50，100，1 000，5 000，10 000，20 000，100 000］中取值。對于閾值參數ε，它是迭代更新算法的終止條件，參照文獻［25］，參數ε固定為0.001。

3.3 實驗結果

表1給出了本文方法和對比方法的平均0－1誤差。從表1可以看出，本文MORTD方法相比于對比方法，獲得了更低的平均0－1誤差。例如，SCUTFBP－avg表示了SCUT－FBP數據集的四個相關任務AF、AM、CF和CM的平均結果。以SCUTFBP－avg為例，MORTD方法相比于對比方法，獲得了0.021～0.054的精度提升。對于MSRA－avg和UTKFace－avg，也觀察到了類似的情況。

表2給出了本文方法和對比方法的平均絕對誤差。在表2中，SCUT－FBP數據集有4個任務，MSRA數據集有4個任務，UTKFace數據集有5個任務，總共有13個任務。在13個任務中，本文MORTD方法在11個任務中獲得了比對比方法更低的平均絕對誤差。

這是因為，首先SVOREXC、SVORIMC、RMSVOR和CWSVOR是單任務序數回歸方法，它們只能訓練單個任務，不能利用任務之間的相關性來提高分類器的性能。與SVOREXC、SVORIMC、RMSVOR和CWSVOR不同，MORTD是多任務序數回歸方法，能夠將多個相關任務之間的分類信息整合到改進序數回歸分類器中，以提高整體性能。其次，RMTL是傳統的多任務學習方法，訓練所得到的分類平面是無序的，不能把序數回歸中標簽的有序信息融合到分類器中。與RMTL不同，MORTD能夠將標簽之間的有序信息引入學習過程，提升分類器的分類效果。最后，雖然MSRSVM和RMTOR是多任務序數回歸方法，但是，它們假設不同任務具有相同的權重，對整體模型的貢獻相同。與MSRSVM和RMTOR不同，本文MORTD方法考慮了各個任務對整體分類器的不同貢獻，為每個任務分配一個未知的權重，這些任務權重可以在學習過程中自動優化。基于優化的任務權重，可以提高分類器的整體性能。

3.4 參數敏感性分析

研究本文MORTD方法在不同參數值下的分類性能。在MORTD的目標方程式（1）中，C是與分類誤差ξtji和ξt*ji相關的正則化參數，η是與任務權重∑ t θ2t相關的參數。在不同的參數C和η值下，MORTD方法的平均0－1誤差（MZE）如圖1所示。從圖1中可以看出，一方面，參數C決定了分類誤差對學習模型的影響，當參數C等于0.1或1時，模型獲得最佳的分類性能。當C值相對較小時（C＜0.1），分類模型側重于最大化超平面間隔，對分類誤差的關注較少，導致分類誤差較高；當C值相對較大時（C＞1），分類模型側重于最小化分類誤差，沒有充分考慮超平面間隔的最大化，可能導致過擬合結果，使分類器泛化能力下降。另一方面，觀察圖1發現，分類結果對η影響不敏感。在實踐中，需要根據不同的應用問題找到C和η的最優值。

3.5 在真實數據集上分析

為了驗證MORTD方法的有效性，本文將MORTD方法應用于阿爾茨海默?。ˋlzheimer’s disease neuroimaging initiative，ADNI）（http：//www.loni.usc.edu/）診斷數據集（http：//www.loni.usc.edu/）。該數據集包含971個核磁共振 （magnetic re－sonance imaging，MRI） 圖像，這些圖像來自于“50～59歲”“60～69歲”“70～79歲”和“≥80歲”四個年齡段的病人。對于每一個年齡段的MRI圖像，按照阿爾茨海默病的三個階段，可以劃分為“認知正?！薄拜p度認知障礙”和“阿爾茨海默癥”三個類別。阿爾茨海默病三個階段的MRI樣本圖像如圖2所示。因此，ADNI數據集的目的是，在MRI訓練圖像上建立序數回歸分類模型，并把該模型應用于未知MRI圖像的預測，即把未知MRI圖像劃分到“認知正?！薄拜p度認知障礙”和“阿爾茨海默癥”三個類別之一。參照文獻［8］，本文把每一個年齡段看作是一個序數回歸任務，因此，四個年齡段可以看作是四個相關的序數回歸任務。

從表3和4可以看出，相比于單任務序數回歸方法SVOREXC、SVORIMC、RMSVOR和CWSVOR，MORTD 獲得了更低的分類誤差。在平均0－1誤差方面，MORTD獲得了4.4%～7.9%的提升，這是因為SVOREXC、SVORIMC、RMSVOR和CWSVOR是單任務序數回歸方法，只能使用單個任務的信息來建立分類器，不同任務之間的關聯性并不能融合到分類器的學習過程中。與這些單任務序數回歸方法不同，MORTD是多任務序數回歸方法，通過分類器參數耦合，實現了不同任務之間的分類信息共享。另外相比于多任務序數回歸方法MSRSVM和RMTOR，MORTD的平均0－1誤差和平均絕對誤差分別為0.522和0.664，低于多任務序數回歸方法MSRSVM（0.598和0.761）和RMTOR（0.573和0.731）。MORTD方法通過考慮不同任務的權重，并在訓練過程中同步優化這些任務的權重，進一步提高了對疾病的分類準確率。

4 結束語

本文提出的基于任務權重自動優化的多任務序數回歸算法，通過自動優化任務權重來提高多任務模型的分類準確性。現有的多任務序數回歸方法假設不同任務對整體模型具有相等的貢獻。與現有方法不同，MORTD給每個任務分配一個未知權重，并在學習過程中自動優化求解這些任務權重，提高了多任務序數回歸的分類性能。在真實數據集上的實驗結果表明，對比于現有的多任務序數回歸方法，MORTD可以獲得更高的分類精度。在未來，希望將MORTD方法應用在無監督學習，以此來解決更多的問題。

參考文獻：

［1］Gutierrez P Perez－Ortiz M， Sanchez－Monedero J， et al. Ordinal regression methods： survey and experimental study［J］.IEEE Trans on Knowledge amp; Data Engineering ， 2016， 28 （1）： 127－146.

［2］李晰， 肖燕珊， 劉波. 面向不確定數據的序數回歸算法［J］. 計算機工程與設計， 2023， 44 （1）： 174－181. （Li Xi， Xiao Yanshan， Liu Bo. Ordinal regression based on uncertain data［J］.Computer Engineering and Design ， 2023， 44 （1）： 174－181.）

［3］Mao Yuren， Wang Zekai， Liu Weiwei， et al. Task variance regula－rized multi－task learning［J］.IEEE Trans on Knowledge and Data Engineering，2022， 35 （8）： 8615－8629.

［4］Wang Senzhang， Zhang Jiaqiang， Li Jiyue， et al. Traffic accident risk prediction via multi－view multi－task spatio－temporal networks［J］.IEEE Trans on Knowledge and Data Engineering ， 2023， 35 （12）： 12323－12336.

［5］Zhang Yi， Zhang Yu， Wang Wei. Learning linear and nonlinear low－rank structure in multi－task learning［J］.IEEE Trans on Know－ledge and Data Engineering ， 2023， 35 （8）： 8157－8170.

［6］王浩暢， 鄭冠彧， 趙鐵軍. 面向合同信息抽取的動態多任務學習方法［J/OL］. 軟件學報. （2023－08－28）. https：//kns.cnki.net/kcms/detail/11.2560.TP.20230825.1124.011.html. （Wang Hao－chang， Zheng Guanyu， Zhao Tiejun. A dynamic muti－task learning method for contract information extraction［J/OL］.Journal of Software . （2023－08－28）. https：//kns.cnki.net/kcms/detail/11.2560.TP.20230825.1124.011.html.）

［7］帥祥， 魏樂， 舒紅平. 一種基于多任務學習的代碼補全方法［J］. 計算機應用研究， 2023， 40 （3）： 863－867. （Shuai Xiang， Wei Le， Shu Hongping. Code completion method based on multi－task learning［J］.Application Research of Computers ， 2023， 40 （3）： 863－867.）

［8］Wang Lu， Zhu Dongxiao. Tackling ordinal regression problem for he－terogeneous data： sparse and deep multi－task learning approaches［J］.Data Mining and Knowledge Discovery ， 202 35 ： 1134－1161.

［9］Gao Yuyang， Zhao Liang. Incomplete label multi－task ordinal regression for spatial event scale forecasting［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence and the 13th Innovative Applications of Artificial Intelligence Conference and the 8th AAAI Sympo－sium on Educational Advances in Artificial. Palo Alto，CA：AAAI Press， 2018： 2999－3006.

［10］Baly R， Karadzhov G， Saleh et al. Multi－task ordinal regression for jointly predicting the trustworthiness and the leading political ideology of news media［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2109－2116.

［11］Balikas G， Moura S， Amini M R. Multitask ranking for fine－grained Twitter sentiment analysis［C］//Proc of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press， 2017： 1005－1008.

［12］Walecki R， Rudovic O， Pavlovic V， et al. Copula ordinal regression for joint estimation of facial action unit intensity［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2016： 4902－4910.

［13］Hamsici O C， Martinez A M. Multiple ordinal regression by maximizing the sum of margins［J］.IEEE Trans on Neural Networks amp; Learning Systems ， 2017， 27 （10）： 2072－2083.

［14］Mei Benshan， Xu Yitian. Multi－task ν－twin support vector machines［J］.Neural Computing and Applications ， 2019， 32 （15）： 11329－11342.

［15］Xiao Yanshan， Zhang Liangwang， Liu Bo， et al. Multi－task ordinal regression with labeled and unlabeled data［J］.Information Sciences ， 2023，649 ： 119669.

［16］Liang Xianpeng， Zhu Lin， Huang Deshuang. Multi－task ranking SVM for image cosegmentation［J］.Neurocomputing ， 2017， 247 ： 126－136.

［17］Ji You， Sun Shiliang， Lu Yue. Multitask multiclass privileged information support vector machines［C］//Proc of the 21st International Conference on Pattern Recognition. Piscataway， NJ： IEEE Press， 2013： 2323－2326.

［18］Hsieh C J， Chang Kaiwei， Lin C J. A dual coordinate descent method for large－scale linear SVM［C］//Proc of the 25th International Confe－rence on Machine Learning. New York： ACM Press， 2016： 408－415.

［19］Liang Lingyu， Lin Luojun， Jin Lianwen， et al. SCUT－FBP5500： a diverse benchmark dataset for multi－paradigm facial beauty prediction［C］//Proc of the 24th International Conference on Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 1598－1603.

［20］Zhang Zhifei， Song Yang， Qi Hairong. Age progression/regression by conditional adversarial autoencoder ［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2017： 4352－4360.

［21］Chu Wei， Keerthi S S. Support vector ordinal regression［J］.Neural Computation ， 2007， 19 （3）： 792－815.

［22］Zhu Fan， Chen Xingchi， Chen Shuo， et al. Relative margin induced support vector ordinal regression［J］.Expert Systems with Applications ， 2023，231 ： 120766.

［23］Zhu F Chen Xingchi， Gao Xizhan， et al. Constraint－weighted support vector ordinal regression to resist constraint noises［J］.Information Sciences ， 2023，649 ： 119644.

［24］Evgeniou T， Pontil M. Regularized multi－task learning［C］//Proc of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2004： 109－117.

［25］Wang Fei， Zhao Bin， Zhang Changshui. Linear time maximum margin clustering［J］.IEEE Trans on Neural Networks ， 2010，21 （2）： 319－332.

收稿日期：2023－08－09；修回日期：2023－10－08基金項目：國家自然科學基金資助項目（62076074）

作者簡介：曾夢岳（1999—），男，浙江溫州人，碩士研究生，主要研究方向為機器學習（moyopaul@foxmail.com）；肖燕珊（1981—），女，廣東中山人，教授，博士，主要研究方向為機器學習；劉波（1978—），男，河南鶴壁人，教授，博士，主要研究方向為支持向量機．