TenrepNN：集成學(xué)習(xí)的新范式在企業(yè)自律性評價中的實(shí)踐

趙敬濤，趙澤方，岳兆娟，李俊*

TenrepNN：集成學(xué)習(xí)的新范式在企業(yè)自律性評價中的實(shí)踐

趙敬濤1，2，趙澤方1，2，岳兆娟1，李俊1，2*

（1.中國科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100083； 2.中國科學(xué)院大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100049）（ ? 通信作者電子郵箱lijun@cnic.cn）

為了應(yīng)對互聯(lián)網(wǎng)環(huán)境中企業(yè)自律性低、違規(guī)事件頻發(fā)、政府監(jiān)管困難的現(xiàn)狀，提出一種針對企業(yè)自律性評價的雙層集成殘差預(yù)測神經(jīng)網(wǎng)絡(luò)（TenrepNN）模型，并融合Stacking和Bagging集成學(xué)習(xí)的思想提出一種集成學(xué)習(xí)的新范式Adjusting。TenrepNN模型具有兩層結(jié)構(gòu)：第1層使用3種基學(xué)習(xí)器初步預(yù)測企業(yè)評分；第2層采用殘差修正的思想，提出殘差預(yù)測神經(jīng)網(wǎng)絡(luò)以預(yù)測每個基學(xué)習(xí)器的輸出偏差。最后，將偏差與基學(xué)習(xí)器評分相加得到最終輸出。在企業(yè)自律性評價數(shù)據(jù)集上，相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，TenrepNN模型的均方根誤差（RMSE）降低了2.7%，企業(yè)自律性等級分類準(zhǔn)確率達(dá)到了94.51%。實(shí)驗(yàn)結(jié)果表明，TenrepNN模型集成不同的基學(xué)習(xí)器降低預(yù)測方差，并使用殘差預(yù)測神經(jīng)網(wǎng)絡(luò)顯式地降低偏差，從而能夠準(zhǔn)確評價企業(yè)自律性以實(shí)現(xiàn)差異化的動態(tài)監(jiān)管。

企業(yè)自律性評價；集成學(xué)習(xí)范式；殘差預(yù)測神經(jīng)網(wǎng)絡(luò)；顯式偏差修正；互聯(lián)網(wǎng)企業(yè)監(jiān)管

0 引言

當(dāng)今人們的生活與互聯(lián)網(wǎng)的關(guān)系越來越密切，截至2022年6月，我國網(wǎng)民規(guī)模為10.51億［1］。部分企業(yè)通過申請網(wǎng)絡(luò)文化經(jīng)營許可證在網(wǎng)絡(luò)上經(jīng)營或宣傳。這類公司數(shù)量眾多、經(jīng)營自律性低、違規(guī)現(xiàn)象頻發(fā)且調(diào)查取證難，這對政府在網(wǎng)絡(luò)文化市場中監(jiān)管企業(yè)提出了新的挑戰(zhàn)［2］。

為了及時發(fā)現(xiàn)風(fēng)險(xiǎn)事件，加強(qiáng)對高風(fēng)險(xiǎn)企業(yè)的管理，督促企業(yè)自律，構(gòu)建政府監(jiān)管與市場主體自律相結(jié)合的動態(tài)監(jiān)管服務(wù)機(jī)制，開拓集成學(xué)習(xí)、深度學(xué)習(xí)等先進(jìn)的機(jī)器學(xué)習(xí)方法在該領(lǐng)域的實(shí)踐，本文設(shè)計(jì)了雙層集成殘差預(yù)測神經(jīng)網(wǎng)絡(luò)（Two-layer ensemble residual prediction Neural Network， TenrepNN）模型，根據(jù)企業(yè)經(jīng)營特征評估企業(yè)的自律性，使監(jiān)管部門聚焦于自律性差的企業(yè)，促使企業(yè)提高自律性和公信力。

集成學(xué)習(xí)模型融合多個弱學(xué)習(xí)器，在預(yù)測性能和模型魯棒性方面都優(yōu)于單個機(jī)器學(xué)習(xí)模型，適用于企業(yè)自律性評價這種特征數(shù)目多、數(shù)據(jù)集規(guī)模小且需要精準(zhǔn)預(yù)測的任務(wù)；但是在集成學(xué)習(xí)框架中，基學(xué)習(xí)器很大程度地影響模型集成效果。基學(xué)習(xí)器需要同時滿足準(zhǔn)確性和多樣性，才能在集成時取得較好的表現(xiàn)［3］。由于集成模型一般較復(fù)雜，對存儲空間的需求大且預(yù)測速度較慢，基學(xué)習(xí)器的選擇需要大量經(jīng)驗(yàn)積累。隨著自動機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，在一些數(shù)據(jù)集上使用自動機(jī)器學(xué)習(xí)的效果已經(jīng)超越了人工調(diào)參的機(jī)器學(xué)習(xí)模型［4］。但是自動機(jī)器學(xué)習(xí)框架使用的基礎(chǔ)模型種類多，難以根據(jù)實(shí)際需要精細(xì)改動其中的子模型，延遲可以使用自動學(xué)習(xí)技術(shù)幫助人們選擇基學(xué)習(xí)器，減少使用先驗(yàn)知識。

本文的主要工作如下：

1）建立了一種新的集成學(xué)習(xí)的范式Adjusting。第1層融合Stacking和Bagging的思想，用數(shù)據(jù)集或它們上采樣的某個子集在自動機(jī)器學(xué)習(xí)框架中訓(xùn)練，根據(jù)結(jié)果選擇最合適的模型，對選擇的模型使用不同的子數(shù)據(jù)集訓(xùn)練獲得不同的基學(xué)習(xí)器；第2層擬合基學(xué)習(xí)器輸出與真實(shí)結(jié)果的殘差，整合基學(xué)習(xí)器的預(yù)測值和殘差值。

2）設(shè)計(jì)了殘差預(yù)測神經(jīng)網(wǎng)絡(luò)。使用神經(jīng)網(wǎng)絡(luò)預(yù)測第1層各基學(xué)習(xí)器的殘差，模型的輸出由基學(xué)習(xí)器的預(yù)測結(jié)果和神經(jīng)網(wǎng)絡(luò)預(yù)測的殘差相加。通過對第1層的殘差預(yù)測，減小機(jī)器學(xué)習(xí)模型的預(yù)測偏差。

3）提出了用于企業(yè)自律性評價的TenrepNN模型。本文將集成學(xué)習(xí)應(yīng)用于企業(yè)自律性評價，根據(jù)企業(yè)的經(jīng)營信息端到端地計(jì)算企業(yè)的自律性分?jǐn)?shù)，批量評估企業(yè)自律性，輔助監(jiān)管者定位風(fēng)險(xiǎn)企業(yè)，實(shí)現(xiàn)對不同企業(yè)的差異化監(jiān)管。

本文模型的基本架構(gòu)如圖1所示。

圖1　TenrepNN模型框架

1 相關(guān)工作

1.1　企業(yè)自律性評價

企業(yè)自律性評價是為了幫助政府判斷企業(yè)是否遵循網(wǎng)絡(luò)文化市場監(jiān)管規(guī)范的新任務(wù)。依靠人工監(jiān)管眾多企業(yè)的方式難以應(yīng)對互聯(lián)網(wǎng)中龐大的數(shù)據(jù)量，因此應(yīng)用機(jī)器學(xué)習(xí)評判企業(yè)的遵規(guī)守紀(jì)情況。如果模型能對企業(yè)的自律性打分，管理人員就能將更多精力放在自律性分?jǐn)?shù)低且具有潛在風(fēng)險(xiǎn)的企業(yè)。當(dāng)這些自律性差的企業(yè)出現(xiàn)違規(guī)行為時，監(jiān)管人員可以第一時間發(fā)現(xiàn)并處理事件，及時采集證據(jù)為執(zhí)法部門提供依據(jù)。

國內(nèi)外關(guān)于企業(yè)自律性的研究較少，且各國國情不同，難以找到一套通用的評價體系。對企業(yè)評價模型的研究方向集中在經(jīng)濟(jì)領(lǐng)域，以傳統(tǒng)的概率分配和數(shù)學(xué)建模的方法為主，側(cè)重點(diǎn)在于評價指標(biāo)的構(gòu)建和特征選擇。近年有一些企業(yè)貸款信用評價方面的研究，可以加以改進(jìn)應(yīng)用于自律性評價。

張玨［5］通過決策樹篩選特征，使用邏輯回歸模型分析中小企業(yè)的信用風(fēng)險(xiǎn)；鄧大松等［6］根據(jù)企業(yè)經(jīng)營特征，使用邏輯回歸模型分析是否向該企業(yè)提供貸款；陶愛元等［7］先使用主成分分析方法從企業(yè)財(cái)報(bào)中提取企業(yè)特征，再運(yùn)用數(shù)據(jù)包絡(luò)分析算法給出介于0～1的信用指標(biāo)；盧悅?cè)降龋?］為了對企業(yè)進(jìn)行風(fēng)險(xiǎn)評估，建立基于邏輯回歸的評分卡模型，輔助銀行的信貸決策；秦曉琳［9］使用極端梯度提升樹（Extreme Gradient Boosting， XGBoost）模型結(jié)合企業(yè)的定性指標(biāo)和定量指標(biāo)計(jì)算企業(yè)的信用評分，根據(jù)評分決定是否通過企業(yè)的貸款申請。以上研究的重點(diǎn)大多聚焦在特征設(shè)計(jì)上，使用的模型較為簡單，未能深入探索模型結(jié)構(gòu)。

1.2　集成學(xué)習(xí)

集成學(xué)習(xí)就是訓(xùn)練多個模型，再對模型的輸出結(jié)果歸納總結(jié)。單個基學(xué)習(xí)器對于某個樣本的誤差可能較大，但是各個基學(xué)習(xí)器具有一定差異，在不同數(shù)據(jù)上的表現(xiàn)不同，集成能夠避免選擇最差的學(xué)習(xí)器，集成后的效果一般有所提高。常用的兩種集成學(xué)習(xí)范式是Stacking和Bagging［10-11］，兩種集成策略的實(shí)現(xiàn)過程如圖2所示。

圖2　Stacking和Bagging集成學(xué)習(xí)對比

1.2.1Stacking模型堆疊

Stacking是模型集成的一種方法，一般由兩層或多層機(jī)器學(xué)習(xí)模型堆疊構(gòu)成［12-13］。在第1層，模型設(shè)置多個不同類別的基學(xué)習(xí)器，每個基學(xué)習(xí)器都使用部分?jǐn)?shù)據(jù)集訓(xùn)練，將這些基學(xué)習(xí)器的輸出作為新特征添加至數(shù)據(jù)集，作為高層模型的輸入［14］。高層模型通常使用線性回歸等簡單學(xué)習(xí)器，學(xué)習(xí)更好地組合基模型的輸出。

通過基學(xué)習(xí)器的多層堆疊降低模型的方差和偏差，但是這種方式的訓(xùn)練步驟復(fù)雜，對上層模型的參數(shù)敏感，且依賴經(jīng)驗(yàn)選擇基學(xué)習(xí)器和高層模型，因此需要通過實(shí)驗(yàn)調(diào)整Stacking堆疊的參數(shù)。隨著堆疊層數(shù)和基學(xué)習(xí)器數(shù)的增多，所需的存儲空間隨之增加，模型的預(yù)測速度也越慢。

對于Stacking，雖然采取了兩層甚至多層的堆疊方案，但是每一層只是相當(dāng)于在原有的數(shù)據(jù)中加入了一維新的特征［15］，難以衡量新加入的特征對最終的預(yù)測的作用，它關(guān)注的重心仍然在數(shù)據(jù)層面，即用學(xué)習(xí)器輸出擴(kuò)充數(shù)據(jù)特征。

1.2.2Bagging模型組合

Bagging是另一種集成學(xué)習(xí)的范式，它通過訓(xùn)練多個獨(dú)立的基學(xué)習(xí)器，然后簡單結(jié)合（平均或投票）每個基學(xué)習(xí)器的結(jié)果，以獲得一個強(qiáng)學(xué)習(xí)器［16］。Bagging中的基學(xué)習(xí)器通常使用同質(zhì)弱學(xué)習(xí)器，這些弱學(xué)習(xí)器相互獨(dú)立訓(xùn)練并行學(xué)習(xí)，然后對所有基學(xué)習(xí)器的輸出作一個簡單的平均（回歸問題）或者投票（分類問題），Bagging的關(guān)注點(diǎn)是獲得一個方差比基學(xué)習(xí)器更小的集成模型。在訓(xùn)練階段，Bagging隨機(jī)從原始數(shù)據(jù)集采樣一定比例的子數(shù)據(jù)集，使用采樣的子數(shù)據(jù)集訓(xùn)練某個學(xué)習(xí)器，由于每次采樣的數(shù)據(jù)各不相同，各個基學(xué)習(xí)器通過使用不同的訓(xùn)練數(shù)據(jù)產(chǎn)生差異，提升基學(xué)習(xí)器集成效果。

Bagging集成學(xué)習(xí)［17］自身也有相當(dāng)大的局限。它通常只使用一種基學(xué)習(xí)器，基學(xué)習(xí)器的選擇較大地影響了模型效果，并且各個基學(xué)習(xí)器的輸出只作簡單的投票或平均，效果不同的學(xué)習(xí)器對最終結(jié)果產(chǎn)生的影響相同。

2 數(shù)據(jù)及其處理

2.1　數(shù)據(jù)集介紹

由于目前沒有關(guān)于企業(yè)自律性的公開數(shù)據(jù)集，為了訓(xùn)練模型，從網(wǎng)上公開數(shù)據(jù)搜索擁有網(wǎng)絡(luò)文化經(jīng)營許可證的公司相關(guān)信息，構(gòu)建企業(yè)自律性評分?jǐn)?shù)據(jù)集。

分別從企業(yè)基本屬性、不良信用記錄和企業(yè)表彰信息等方面的數(shù)據(jù)衡量一個公司的自律性情況。通過對齊、去噪和去重等操作處理數(shù)據(jù)，最終得到3 868家企業(yè)的經(jīng)營特征，按照3∶1隨機(jī)劃分訓(xùn)練集和測試集，訓(xùn)練集共2 902條數(shù)據(jù)，測試集共966條數(shù)據(jù)。數(shù)據(jù)集中各個企業(yè)的自律性分?jǐn)?shù)從1到100不等。數(shù)據(jù)集各個維度的信息見表1。

表1　企業(yè)自律性評價數(shù)據(jù)集信息

2.2　特征工程

數(shù)據(jù)的原始特征存在離散類特征和連續(xù)類特征，對這兩種特征采用不同的處理方法。

2.2.1連續(xù)類型特征處理

對于連續(xù)類特征，首先將公司成立日期轉(zhuǎn)化為公司成立距今的天數(shù)以方便計(jì)算，其次將它與用戶投訴量、用戶投訴回復(fù)率、參保人數(shù)、注冊資本、行政許可量、行政處罰量、守信激勵量和失信懲戒量等連續(xù)特征進(jìn)行對數(shù)變換，減輕長尾分布的數(shù)值特征對機(jī)器模型效果的損害。

對于人員規(guī)模特征，該維度既包含數(shù)值也包含區(qū)間量，并且存在數(shù)據(jù)之間的大小關(guān)系，因此設(shè)計(jì)了一套按照區(qū)間分箱的規(guī)則，將公司人員按規(guī)模分為小公司、較小公司、中等公司、較大公司和大公司這5類，分別使用數(shù)字1～5表示。

2.2.2離散類型特征處理

離散特征包括上市情況、企業(yè)性質(zhì)、注冊屬地、經(jīng)營狀態(tài)和公司類型。對于上市情況，由于原始數(shù)據(jù)類別劃分過細(xì)，無法充分訓(xùn)練模型，所以將公司分為未上市公司、傳統(tǒng)上市公司和新三板上市公司這3類。對于注冊屬地，按照2022年最新的城市梯次劃分，將公司的注冊屬地劃分為一線城市、新一線城市和其他城市。對于經(jīng)營狀態(tài)，按照公司是否正在經(jīng)營劃分為兩類：第一類包含注銷、吊銷和遷出這3種情況；第二類包含存續(xù)和在業(yè)這兩種狀態(tài)。由于特征的離散取值較少，為了減少離散數(shù)值本身的大小帶來的干擾，對5個離散特征進(jìn)行獨(dú)熱編碼，處理后，拼接離散特征和連續(xù)特征作為第1層基學(xué)習(xí)器的輸入。

3 雙層集成企業(yè)自律性評價方法

3.1　Adjusting集成學(xué)習(xí)

本文提出了一種新的集成學(xué)習(xí)范式Adjusting，為了解決Stacking訓(xùn)練過程復(fù)雜的問題，改進(jìn)Stacking框架，并融合了Bagging集成學(xué)習(xí)中數(shù)據(jù)采樣的思想。相較于Bagging，Stacking集成學(xué)習(xí)中的基學(xué)習(xí)器是異質(zhì)的（Bagging中是同質(zhì)基學(xué)習(xí)器），更容易從數(shù)據(jù)中學(xué)習(xí)不同方面的特征，使模型擁有更好的泛化性能，適用于訓(xùn)練數(shù)據(jù)較少的情況；此外，Stacking在第2層可以使用多種機(jī)器學(xué)習(xí)模型集成第1層的基學(xué)習(xí)器，以此獲得更高的預(yù)測準(zhǔn)確性。Adjusting繼承了Stacking的優(yōu)勢，同時將關(guān)注點(diǎn)從數(shù)據(jù)樣本轉(zhuǎn)移到基學(xué)習(xí)器，使用自動機(jī)器學(xué)習(xí)技術(shù)選擇基學(xué)習(xí)器，認(rèn)為基學(xué)習(xí)器本身是不準(zhǔn)確的，通過高層的學(xué)習(xí)器擬合它們的殘差。相較于Bagging，Adjusting無論是基學(xué)習(xí)器的選擇范圍，還是輸出融合的方式都具有更好的靈活性和可操作性［18］。相較于Stacking，Adjusting不必與原始數(shù)據(jù)特征相結(jié)合，只利用基學(xué)習(xí)器的輸出作為訓(xùn)練樣本，減輕了高層學(xué)習(xí)器的學(xué)習(xí)壓力，強(qiáng)化了基學(xué)習(xí)器的重要性。

如圖3所示，Adjusting集成學(xué)習(xí)的第1層使用自動機(jī)器學(xué)習(xí)框架選擇最適合當(dāng)前數(shù)據(jù)的種基學(xué)習(xí)器模型，將原數(shù)據(jù)集折交叉或直接采樣成不同的份子數(shù)據(jù)集，使種機(jī)器學(xué)習(xí)模型在每份子數(shù)據(jù)集都訓(xùn)練一次，得到個訓(xùn)練好的基學(xué)習(xí)器；在第2層，利用殘差學(xué)習(xí)的思想，計(jì)算基學(xué)習(xí)器輸出值與真實(shí)值的差距，將基學(xué)習(xí)器的預(yù)測值和第2層計(jì)算的殘差融合，得到模型最終輸出。

圖3　Adjusting集成學(xué)習(xí)范式

3.2　殘差預(yù)測神經(jīng)網(wǎng)絡(luò)

針對Adjusting集成學(xué)習(xí)框架第2層的殘差擬合問題，設(shè)計(jì)了用于預(yù)測第1層中每個基學(xué)習(xí)器的與真實(shí)標(biāo)簽的殘差的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

該網(wǎng)絡(luò)使用單隱藏層，并且輸出維度等于輸入維度。以第1層基學(xué)習(xí)器的預(yù)測分?jǐn)?shù)作為輸入，網(wǎng)絡(luò)預(yù)測在輸入某樣本時各個基學(xué)習(xí)器的輸出值與真實(shí)標(biāo)簽的差值。

模型的最終輸出為各個學(xué)習(xí)器第1層的評分預(yù)測值與第2層的殘差預(yù)測值相加，求平均得到：

使用殘差預(yù)測神經(jīng)網(wǎng)絡(luò)，使某個基學(xué)習(xí)器對某個樣本的殘差不僅依賴自身，也依賴其他基學(xué)習(xí)器的輸出值。

3.3　自動機(jī)器學(xué)習(xí)選擇基學(xué)習(xí)器

為了探索自動機(jī)器學(xué)習(xí)框架在基學(xué)習(xí)器選擇上的應(yīng)用，使用自動機(jī)器框架AutoGluon［19］選出最適合當(dāng)前數(shù)據(jù)集或當(dāng)前數(shù)據(jù)集隨機(jī)采樣的子數(shù)據(jù)集的基學(xué)習(xí)器模型。

將數(shù)據(jù)集輸入AutoGluon，框架使用多個不同的機(jī)器學(xué)習(xí)方法對它回歸擬合，回歸誤差較小的8個模型如表2所示。

表2　AutoGluon框架中不同模型的表現(xiàn)

基于集成學(xué)習(xí)的準(zhǔn)確性和差異性原理，同時考慮在模型效果與模型復(fù)雜度兩個方面的均衡，本文的自律性評價模型使用在測試集和驗(yàn)證集上得分最高的3種模型，分別為：類別梯度提升樹（Categorical features gradient Boosting， CatBoost）［20］、輕量梯度提升機(jī)（Light Gradient Boosting Machine， LightGBM）［21］和XGBoost［22］作為第1層的基學(xué)習(xí)器。

3.4　雙層集成企業(yè)自律性評價模型

本文根據(jù)提出的Adjusting集成學(xué)習(xí)框架，將上述3種基學(xué)習(xí)器與殘差預(yù)測神經(jīng)網(wǎng)絡(luò)結(jié)合，設(shè)計(jì)了TenrepNN模型。

在第2層，模型通過殘差預(yù)測神經(jīng)網(wǎng)絡(luò)，以基學(xué)習(xí)器在訓(xùn)練集產(chǎn)生的預(yù)測得分作為輸入，以訓(xùn)練集樣本的標(biāo)簽與各個基學(xué)習(xí)器預(yù)測得分之間的差值作為網(wǎng)絡(luò)的預(yù)期輸出，個基學(xué)習(xí)器共有個差值。通過預(yù)測每個基學(xué)習(xí)器的殘差，顯式地減小模型的預(yù)測偏差。

最后，將第1層基學(xué)習(xí)器產(chǎn)生的預(yù)測值與第2層神經(jīng)網(wǎng)絡(luò)擬合的每個基學(xué)習(xí)器的殘差相加取平均值，獲得該樣本對應(yīng)的自律性評分。

雖然在訓(xùn)練時需要先訓(xùn)練好第1層的基學(xué)習(xí)器，再計(jì)算殘差訓(xùn)練第2層的神經(jīng)網(wǎng)絡(luò)，但是在測試和正式使用時，輸入一條樣本，可以端到端地計(jì)算該樣本的預(yù)測分值，在面對批量的企業(yè)數(shù)據(jù)時，能夠快速獲得各個企業(yè)的自律性分?jǐn)?shù)。

圖5　三種基學(xué)習(xí)器的訓(xùn)練示意圖

4 實(shí)驗(yàn)與結(jié)果分析

4.1　算法評價指標(biāo)

4.1.1回歸任務(wù)評價指標(biāo)

企業(yè)自律性評價任務(wù)本質(zhì)是一個對企業(yè)自律性評分進(jìn)行擬合的回歸任務(wù)，可以通過常用的回歸學(xué)習(xí)評估指標(biāo)評價模型。本文使用均方根誤差（Root Mean Square Error， RMSE）評價模型效果。

RMSE是預(yù)測值與真實(shí)值的誤差平方根的均值，是均方根誤差（Mean Square Error， MSE）的算術(shù)平方根，真實(shí)值與模型預(yù)測值的差距越大，均方根誤差就越大，理想狀況下RMSE為0。

4.1.2企業(yè)自律性等級分類指標(biāo)

除了評價模型的回歸擬合能力，為了提高模型輸出的可解釋性，根據(jù)企業(yè)自律性評分分類企業(yè)，將所有企業(yè)劃分為5個等級，各個等級與企業(yè)自律性分?jǐn)?shù)的關(guān)系見表3。

根據(jù)模型擬合分?jǐn)?shù)與樣本真實(shí)分?jǐn)?shù)是否處于同一等級判斷模型是否產(chǎn)生了正確的輸出，并基于分類正確的數(shù)量計(jì)算準(zhǔn)確率（Accuracy），準(zhǔn)確率為正確分類的樣本個數(shù)占總樣本個數(shù)的比例：

表3　企業(yè)自律性等級劃分情況

4.2　模型超參數(shù)搜索與設(shè)置

4.2.1基學(xué)習(xí)器超參數(shù)網(wǎng)格搜索

對于XGBoost等樹模型，超參數(shù)較多且模型表現(xiàn)受部分超參數(shù)影響較大。為了防止第1層使用的3種樹模型因?yàn)槌瑓?shù)設(shè)置不當(dāng)導(dǎo)致性能下降，對模型效果影響較大的超參數(shù)進(jìn)行網(wǎng)格搜索，既節(jié)省參數(shù)搜索的時間又能使模型性能獲得最大程度的提高［23］。

根據(jù)不同超參數(shù)的取值要求，設(shè)置兩級參數(shù)搜索范圍。首先使用較大的步長在大范圍內(nèi)確定最優(yōu)參數(shù)所在的大致位置，再設(shè)置小的步長在大致位置附近精細(xì)搜索。經(jīng)過搜索，各個基回歸器的超參數(shù)設(shè)置見表4。

表4　基模型超參數(shù)設(shè)置

4.2.2殘差預(yù)測神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置

對于第2層的殘差預(yù)測神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)輸入為上層所有基學(xué)習(xí)器的預(yù)測分?jǐn)?shù)。第1層共使用3種機(jī)器學(xué)習(xí)模型，每種模型訓(xùn)練5個，共計(jì)15個基回歸器。網(wǎng)絡(luò)輸出是這15個學(xué)習(xí)器預(yù)測分值與真實(shí)分?jǐn)?shù)的殘差，使用反向傳播算法訓(xùn)練。網(wǎng)絡(luò)超參數(shù)設(shè)置如表5所示。

表5　殘差神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置

4.3　實(shí)驗(yàn)結(jié)果分析

4.3.1基學(xué)習(xí)器結(jié)果分析

為了驗(yàn)證3.2節(jié)使用自動機(jī)器學(xué)習(xí)框架選擇基層學(xué)習(xí)器的準(zhǔn)確性，使用邏輯回歸、嶺回歸、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)、CatBoost、LightGBM和XGBoost這7種機(jī)器學(xué)習(xí)模型擬合企業(yè)自律性評分?jǐn)?shù)據(jù)集，統(tǒng)計(jì)這些模型在測試集上的RMSE和企業(yè)自律性等級分類準(zhǔn)確率，結(jié)果如表6所示。

表6　單個模型在企業(yè)自律性評價數(shù)據(jù)集上的表現(xiàn)

樹模型由于容易產(chǎn)生隨機(jī)性，受訓(xùn)練數(shù)據(jù)樣本分布的影響較大且自身準(zhǔn)確度較高，適合用作集成學(xué)習(xí)的基學(xué)習(xí)器［24］。實(shí)驗(yàn)結(jié)果顯示，在數(shù)據(jù)集上表現(xiàn)較好的前3個學(xué)習(xí)器是CatBoost、XGBoost和LightGBM，與自動機(jī)器學(xué)習(xí)框架給出的結(jié)果相同。只有當(dāng)基學(xué)習(xí)器的效果較好且互相存在一定差異時，對多個基學(xué)習(xí)器集成才能獲得效果上的提升。

4.3.2雙層集成模型結(jié)果分析

為了與提出的殘差預(yù)測神經(jīng)網(wǎng)絡(luò)進(jìn)行對比，在第1層輸出上分別使用線性回歸、CatBoost、XGBoost、LightGBM和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)［25］這5種機(jī)器學(xué)習(xí)模型整合基學(xué)習(xí)器的輸出。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的隱藏層單元數(shù)為10，但輸出層維度為1，直接輸出樣本的自律性分?jǐn)?shù)。實(shí)驗(yàn)結(jié)果見表7。

表7　不同第2層模型下的實(shí)驗(yàn)結(jié)果

數(shù)據(jù)顯示，相較于線性回歸和樹模型，神經(jīng)網(wǎng)絡(luò)模型用于集成學(xué)習(xí)第2層時擬合效果更好。與表現(xiàn)次好的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，使用殘差預(yù)測神經(jīng)網(wǎng)絡(luò)的TenrepNN模型在均方根誤差上也降低了2.7%。特別地，當(dāng)神經(jīng)網(wǎng)絡(luò)模型直接應(yīng)用于原始特征時，效果比XGBoost等樹模型差；而在基學(xué)習(xí)器的輸出之上使用神經(jīng)網(wǎng)絡(luò)，效果優(yōu)于樹模型。XGBoost等模型用于第2層時，預(yù)測誤差相較于單層沒有明顯減少，甚至有所增加。無論是XGBoost等樹模型還是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，本文提出的殘差預(yù)測神經(jīng)網(wǎng)絡(luò)在所有指標(biāo)上的表現(xiàn)都更好。

擬合基學(xué)習(xí)器的殘差相較于直接擬合自律性分?jǐn)?shù)，網(wǎng)絡(luò)的輸出維度從1增大到基學(xué)習(xí)器的個數(shù)。當(dāng)某個學(xué)習(xí)器表現(xiàn)較差時，可以充分利用其他學(xué)習(xí)器輸出的預(yù)測信息，通過神經(jīng)網(wǎng)絡(luò)計(jì)算的殘差修正該學(xué)習(xí)器。采用殘差預(yù)測神經(jīng)網(wǎng)絡(luò)作為第2層，即使不同的樣本在某個基學(xué)習(xí)器上的預(yù)測得分相同，也會因?yàn)槠渌蠖鄶?shù)學(xué)習(xí)器的得分不同使得該網(wǎng)絡(luò)輸出的殘差有所區(qū)別，使模型最終能給出更準(zhǔn)確的預(yù)測結(jié)果。

此外，基于殘差的神經(jīng)網(wǎng)絡(luò)還增強(qiáng)了整個模型的可解釋性，當(dāng)模型接收一條數(shù)據(jù)后，可以查看殘差預(yù)測神經(jīng)網(wǎng)絡(luò)的輸出，確定各個基學(xué)習(xí)器的預(yù)測差值，并調(diào)整或再訓(xùn)練表現(xiàn)較差的基學(xué)習(xí)器。

4.3.3與自動機(jī)器學(xué)習(xí)結(jié)果的比較

自動機(jī)器學(xué)習(xí)框架AutoGluon在第1層共使用了13個不同的基學(xué)習(xí)器，在第2層使用了線性回歸整合第1層的輸出。

TenrepNN模型只使用了3種表現(xiàn)較好的基學(xué)習(xí)器，防止擬合效果差的模型影響最終輸出。從表8可以看出，TenrepNN模型在兩個指標(biāo)上的表現(xiàn)均超過了自動機(jī)器學(xué)習(xí)框架AutoGluon。

表8　所提模型與自動機(jī)器學(xué)習(xí)框架AutoGluon的比較

4.3.4殘差預(yù)測神經(jīng)網(wǎng)絡(luò)的消融實(shí)驗(yàn)

通過消融實(shí)驗(yàn)驗(yàn)證殘差預(yù)測神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的有效性。去掉第2層的殘差預(yù)測神經(jīng)網(wǎng)絡(luò)，使用第1層所有基學(xué)習(xí)器的平均得分作為最終預(yù)測，實(shí)驗(yàn)結(jié)果如表9所示。

表9　殘差預(yù)測神經(jīng)網(wǎng)絡(luò)的消融實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，相較于直接輸出基學(xué)習(xí)器輸出的平均值，使用殘差神經(jīng)網(wǎng)絡(luò)能夠通過建模第1層的輸出與真實(shí)值的殘差，降低預(yù)測評分的均方根誤差并提高自律性等級分類的準(zhǔn)確率，說明提出的殘差預(yù)測網(wǎng)絡(luò)能夠?qū)鶎W(xué)習(xí)器的預(yù)測值進(jìn)行有效的糾偏。

4.3.5與其他集成學(xué)習(xí)方法的比較

為了驗(yàn)證集成學(xué)習(xí)范式Adjusting的有效性，將提出的TenrepNN模型與其他集成學(xué)習(xí)方法在企業(yè)自律性評價數(shù)據(jù)集上進(jìn)行對比。

模型首先與Stacking和Bagging集成學(xué)習(xí)對比，為保證其他集成學(xué)習(xí)方法的實(shí)驗(yàn)效果，在Stacking基模型的設(shè)置上，仍然使用CatBoost、XGBoost和LightGBM這3種單獨(dú)表現(xiàn)最好的樹模型作為第1層的基學(xué)習(xí)器，第2層使用線性回歸做模型融合；在Bagging模型的設(shè)置上，由于Bagging集成要求只使用一種基學(xué)習(xí)器，故使用表現(xiàn)最好的CatBoost作為Bagging基學(xué)習(xí)器，輸出時將所有基學(xué)習(xí)器的預(yù)測分?jǐn)?shù)取平均。

除了Stacking和Bagging外，還選取了AdaBoost［26］和梯度提升決策樹（Gradient Boosted Decision Tree， GBDT）［27］兩種有代表性的集成學(xué)習(xí)模型對企業(yè)自律性評價數(shù)據(jù)集進(jìn)行擬合。AdaBoost是一種基于迭代的集成學(xué)習(xí)方法，它將關(guān)注點(diǎn)放在擬合誤差大的樣本上，提高困難樣本的訓(xùn)練次數(shù)并在最終集成時根據(jù)各個基學(xué)習(xí)器的誤差大小加權(quán)組合。GBDT也是一種應(yīng)用廣泛的集成學(xué)習(xí)方法，它的思想是在每一次迭代中使用損失函數(shù)的負(fù)梯度值作為當(dāng)前模型誤差值的近似，并利用這個近似值訓(xùn)練更高層模型。

AdaBoost和GBDT是Boosting集成學(xué)習(xí)的兩種典型代表。Boosting集成學(xué)習(xí)又叫提升集成學(xué)習(xí)，與Bagging和Stacking的思想不同，Boosting在訓(xùn)練過程中通過調(diào)整樣本權(quán)重或損失函數(shù)的方式串行組織各個基學(xué)習(xí)器，把多個基學(xué)習(xí)器疊加以減小模型總的預(yù)測偏差［18］。由于在Boosting中各個基學(xué)習(xí)器逐個串行訓(xùn)練，沒有考慮降低模型方差的影響，訓(xùn)練時間成本也較高。更重要的，面對企業(yè)自律性評價這種數(shù)據(jù)集規(guī)模較小的任務(wù)，Boosting容易受誤差值干擾導(dǎo)致預(yù)測不準(zhǔn)確。

在實(shí)驗(yàn)中，AdaBoost集成學(xué)習(xí)的基學(xué)習(xí)器也設(shè)置為單獨(dú)使用效果最好的CatBoost；而GBDT由于算法自身的限制，基學(xué)習(xí)器只能使用決策樹。5種集成學(xué)習(xí)模型的對比結(jié)果如表10所示。

表10　本文模型與其他集成學(xué)習(xí)方法的比較

由表10可知，本文設(shè)計(jì)的TenrepNN模型在企業(yè)自律性評價數(shù)據(jù)集上取得了優(yōu)秀的實(shí)驗(yàn)結(jié)果。在RMSE指標(biāo)上，本文模型優(yōu)于其他4種傳統(tǒng)的集成學(xué)習(xí)方法，并且本文模型的分類準(zhǔn)確率與表現(xiàn)最好的GBDT模型非常接近。

5 結(jié)語

為了評估企業(yè)的自律性，本文提出了雙層集成殘差預(yù)測神經(jīng)網(wǎng)絡(luò)（TenrepNN）模型，集成了3種基學(xué)習(xí)器降低模型的方差，設(shè)計(jì)殘差預(yù)測神經(jīng)網(wǎng)絡(luò)顯式地減小模型的偏差。具體地，模型在第1層通過自動機(jī)器學(xué)習(xí)選擇基類模型，使用采樣出的不同數(shù)據(jù)子集訓(xùn)練；在第2層，設(shè)計(jì)殘差預(yù)測神經(jīng)網(wǎng)絡(luò)，擬合第1層基學(xué)習(xí)器的輸出與真實(shí)標(biāo)簽之間的殘差，最后將基學(xué)習(xí)器的輸出與對應(yīng)的殘差相加再求均值。實(shí)驗(yàn)結(jié)果證明，本文提出的殘差預(yù)測神經(jīng)網(wǎng)絡(luò)在企業(yè)自律性評價數(shù)據(jù)集上的表現(xiàn)超過了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和XGBoost等樹模型。另外，與Stacking相比，本文提出的Adjusting集成學(xué)習(xí)范式更簡潔直接，與Bagging相比，更靈活準(zhǔn)確，然而它的有效性還需要在更多數(shù)據(jù)集上驗(yàn)證。由于企業(yè)自律性評價是一個典型的回歸任務(wù)，殘差學(xué)習(xí)的思想容易應(yīng)用；而對于分類問題，可以考慮使用兩個概率分布之間的距離代替殘差。在分類任務(wù)中的實(shí)際效果，仍有待進(jìn)一步的研究。

[1] 中國互聯(lián)網(wǎng)絡(luò)信息中心. 第50次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告［R/OL］. （2022-08-31） ［2022-04-22］.https：//www.cnnic.net.cn/NMediaFile/2022/0926/MAIN1664183425619U2MS433V3V.pdf.（China Internet Network Information Center. The 50th statistical reports on China’s internet development［R/OL］. （2022-08-31） ［2022-04-22］.https：//www.cnnic.net.cn/NMediaFile/2022/0926/MAIN1664183425619U2MS433V3V.pdf.）

[2] 盧加元，張曉東. 我國網(wǎng)絡(luò)文化市場分級監(jiān)管問題研究［J］. 江蘇商論， 2021（7）：23-26.（LU J Y， ZHANG X D. Research on classified supervision of China’s internet culture market［J］. Jiangsu Commercial Forum， 2021（7）： 23-26.）

[3] 張春霞，張講社. 選擇性集成學(xué)習(xí)算法綜述［J］. 計(jì)算機(jī)學(xué)報(bào)， 2011， 34（8）：1399-1410.（ZHANG C X， ZHANG J S. A survey of selective ensemble learning algorithms［J］. Chinese Journal of Computers， 2011， 34（8）：1399-1410.）

[4] GIJSBERS P， LeDELL R， THOMAS J， et al. An open source AutoML benchmark［EB/OL］. （2019-07-01） ［2022-04-22］.https：//arxiv.org/pdf/1907.00909.pdf.

[5] 張鈺. 中小企業(yè)財(cái)務(wù)預(yù)警與信用評分研究［J］. 經(jīng)濟(jì)研究導(dǎo)刊， 2021（30）：63-65.（ZHANG Y. Research on financial early-warning and credit scoring of small and medium-sized enterprises［J］. Economic Research Guide， 2021（30）：63-65.）

[6] 鄧大松，趙玉龍. 我國商業(yè)銀行小微企業(yè)申請?jiān)u分卡構(gòu)建及驗(yàn)證研究［J］. 投資研究， 2017， 36（5）：149-159.（DENG D S， ZHAO Y L. Research on the application card on small enterprise in the commercial bank［J］. Review of Investment Studies， 2017， 36（5）：149-159.）

[7] 陶愛元，吳俊. 基于DEA方法的我國上市中小企業(yè)信用評分研究［J］. 征信， 2014， 32（6）：52-56.（TAO A Y， WU J. Study on credit rating for China’s listed SMEs based on DEA method［J］. Credit Reference， 2014， 32（6）：52-56.）

[8] 盧悅?cè)剑怯⒔。?，? 基于評分卡模型下中小微企業(yè)的信貸決策［J］. 中國市場， 2021（27）：53-54.（LU Y R， RUI Y J， YUAN F， et al. Credit decision of SMEs based on score card model［J］. China Market， 2021（27）：53-54.）

[9] 秦曉琳. 中小企業(yè)借貸信用分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］. 北京：北京交通大學(xué)， 2019：49-56.（QIN X L. Design and implementation of credit analysis system for SME lending［D］. Beijing： Beijing Jiaotong University， 2019：49-56.）

[10] 姜正申，劉宏志，付彬，等. 集成學(xué)習(xí)的泛化誤差和AUC分解理論及其在權(quán)重優(yōu)化中的應(yīng)用［J］. 計(jì)算機(jī)學(xué)報(bào)， 2019， 42（1）：1-15.（JIANG Z S， LIU H Z， FU B， et al. Decomposition theories of generalization error and AUC in ensemble learning with application in weight optimization［J］. Chinese Journal of Computers， 2019， 42（1）：1-15.）

[11] ZHOU Z H. Ensemble Methods： Foundations and Algorithms［M］. Boca Raton， FL： CRC Press， 2012：47-50.

[12] WOLPERT D H. Stacked generalization［J］. Neural Networks， 1992， 5（2）： 241-259.

[13] 李珩，朱靖波，姚天順. 基于Stacking算法的組合分類器及其應(yīng)用于中文組塊分析［J］. 計(jì)算機(jī)研究與發(fā)展， 2005， 42（5）：844-848.（LI H， ZHU J B， YAO T S. Combined multiple classifiers based on a Stacking algorithm and their application to Chinese text chunking［J］. Journal of Computer Research and Development， 2005， 42（5）：844-848.）

[14] RASCHKA S. MLxtend： providing machine learning and data science utilities and extensions to Python’s scientific computing stack［J］. The Journal of Open Source Software， 2018， 3（24）： No.638.

[15] D?EROSKI S， ?ENKO B. Is combining classifiers with Stacking better than selecting the best one？［J］. Machine Learning， 2004， 54（3）： 255-273.

[16] BREIMAN L. Bagging predictors［J］. Machine Learning， 1996， 24（2）：123-140.

[17] AGARWAL S， CHOWDARY C R. A-Stacking and A-Bagging： adaptive versions of ensemble learning algorithms for spoof fingerprint detection［J］. Expert Systems with Applications， 2020， 146： No.113160.

[18] SAGI O， ROKACH L. Ensemble learning： a survey［J］. WIREs Data Mining and Knowledge Discovery. 2018， 8（4）： No.e1249.

[19] ERICKSON N， MUELLER J， SHIRKOV A， et al. AutoGluon-Tabular： robust and accurate AutoML for structured data［EB/OL］. （2020-03-13） ［2022-05-14］.https：//arxiv.org/pdf/2003.06505.pdf.

[20] DOROGUSH A V， ERSHOV V， GULIN A. CatBoost： gradient boosting with categorical features support［EB/OL］. （2018-08-24） ［2022-03-11］.https：//arxiv.org/pdf/1810.11363.pdf.

[21] KE G， MENG Q， FINLEY T. LightGBM： a highly efficient gradient boosting decision tree［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3149-3157.

[22] CHEN T， GUESTRIN C. XGBoost： a scalable tree boosting system［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016：785-794.

[23] KOMER B， BERGSTRA J， ELIASMITH C. Hyperopt-Sklearn： automatic hyperparameter configuration for scikit-learn［C/OL］// Proceedings of the 13th Python in Science Conference ［2022-04-22］.https：//conference.scipy.org/proceedings/scipy2014/pdfs/komer.pdf#：～：text=With%20this%20paper%20we%20introduce%20Hyperopt-Sklearn%3A%20a%20project，Scikit-Learn%20components%2C%20including%20preprocessing%20and%20classifi-%20cation%20modules.

[24] ZHANG L， SUGANTHAN P N. Benchmarking ensemble classifiers with novel co-trained kernel ridge regression and random vector functional link ensembles ［Research Frontier］［J］. IEEE Computational Intelligence Magazine， 2017， 12（4）：61-72.

[25] LIU W， WANG Z， LIU X， et al. A survey of deep neural network architectures and their applications［J］. Neurocomputing， 2017， 234： 11-26.

[26] DRUCKER H. Improving regressors using boosting techniques［C］// Proceedings of the 14th International Conference on Machine Learning. San Francisco： Morgan Kaufmann Publishers Inc.， 1997： 107-115.

[27] FRIEDMAN J H. Greedy function approximation： a gradient boosting machine［J］. The Annals of Statistics， 2001， 29（5）： 1189-1232.

TenrepNN：practice of new ensemble learning paradigm in enterprise self-discipline evaluation

ZHAO Jingtao1，2， ZHAO Zefang1，2， YUE Zhaojuan1， LI Jun1，2*

（1，，100083，；2，，100049，）

In order to cope with the current situations of low self-discipline， frequent violation events and difficult government supervision of enterprises in the internet environment， a Two-layer ensemble residual prediction Neural Network （TenrepNN） model was proposed to evaluate the self-discipline of enterprises. And by integrating the ideas of Stacking and Bagging ensemble learning， a new paradigm of integrated learning was designed， namely Adjusting. TenrepNN model has a two-layer structure. In the first layer， three base learners were used to predict the enterprise score preliminarily. In the second layer， the idea of residual correction was adopted， and a residual prediction neural network was proposed to predict the output deviation of each base learner. Finally， the final output was obtained by adding the deviations and the base learner scores together. On the enterprise self-discipline evaluation dataset， compared with the traditional neural network， the proposed model has the Root Mean Square Error （RMSE） reduced by 2.7%， and the classification accuracy in the self-discipline level reached 94.51%. Experimental results show that by integrating different base learners to reduce the variance and using residual prediction neural network to decrease the deviation explicitly， TenrepNN model can accurately evaluate enterprise self-discipline to achieve differentiated dynamic supervision.

enterprise self-discipline evaluation; ensemble learning paradigm; residual prediction neural network; explicit deviation correction; internet enterprise supervision

This work is partially supported by National Key Research and Development Program of China （2019YFB1405801）.

ZHAO Jingtao， born in 1998， M. S. candidate. His research interests include recommendation system， machine learning.

ZHAO Zefang， born in 1996， Ph. D. candidate. His research interests include natural language processing， sentiment analysis.

YUE Zhaojuan，born in 1984， Ph. D.， senior engineer. Her research interests include computing propagation， data mining.

LI Jun，born in 1968， Ph. D.， research fellow. His research interests include computer network， artificial intelligence.

1001-9081（2023）10-3107-07

10.11772/j.issn.1001-9081.2022091454

2022?09?30；

2022?12?15；

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019YFB1405801）。

趙敬濤（1998—），男，山東聊城人，碩士研究生，主要研究方向：推薦系統(tǒng)、機(jī)器學(xué)習(xí)； 趙澤方（1996—），男，山西臨汾人，博士研究生，主要研究方向：自然語言處理、情感分析； 岳兆娟（1984—），女，河南駐馬店人，高級工程師，博士，主要研究方向：計(jì)算傳播、數(shù)據(jù)挖掘； 李俊（1968—），男，安徽桐城人，研究員，博士，主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)、人工智能。

TP391.4

A

2023?01?05。