基于GA_Xgboost模型的糖尿病風(fēng)險(xiǎn)預(yù)測

張春富,王 松,吳亞東,王 勇,張紅英

(西南科技大學(xué) a.信息工程學(xué)院; b.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院; c.特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室,四川 綿陽 621010)

0 概述

糖尿病是一種嚴(yán)重危害人類身體健康的慢性病,是由于胰島素分泌不足或外圍組織對胰島素不敏感而引起的代謝性疾病,其以持續(xù)的高血糖狀態(tài)為特征,容易致使各種組織器官長期受損。

根據(jù)國際糖尿病聯(lián)盟(IDF)統(tǒng)計(jì),2017年全球糖尿病患者約有4.25億人,每11名成年人中就有1人患有糖尿病,每2名患者中就有1名未確診[1]。預(yù)計(jì)到2045年,全球?qū)⒂薪?億人患糖尿病。據(jù)統(tǒng)計(jì),2017年我國成年糖尿病患病人數(shù)達(dá)到1.14億,相應(yīng)醫(yī)療支出高達(dá)1 100億美元,超過130萬人死于糖尿病及其并發(fā)癥,其中41%以上的人年齡低于60歲,逐漸呈年輕化趨勢[1-2]。

糖尿病無法根治,且容易引發(fā)多種并發(fā)癥,為社會(huì)和家庭帶來沉重的經(jīng)濟(jì)負(fù)擔(dān)。全球每年用于糖尿病人群的醫(yī)療支出費(fèi)用為8 270億美元,占所有醫(yī)療支出的12%。目前糖尿病已經(jīng)嚴(yán)重影響到居民健康水平和經(jīng)濟(jì)的快速發(fā)展,糖尿病預(yù)測問題亟待解決。因此,本文針對糖尿病的臨床指標(biāo),結(jié)合Xgboost的預(yù)測優(yōu)勢和遺傳算法的搜索能力,建立GA_Xgboost預(yù)測模型,對血糖值進(jìn)行預(yù)測,確定高危人群并提前預(yù)警,輔助醫(yī)生進(jìn)行早期干預(yù),從而降低糖尿病發(fā)病率。

1 相關(guān)研究

目前,大量學(xué)者對糖尿病預(yù)測進(jìn)行了深入研究,構(gòu)建了許多預(yù)測模型。這些預(yù)測模型根據(jù)不同應(yīng)用場景而建立,對于推動(dòng)糖尿病的快速診斷進(jìn)而提高醫(yī)生診斷效率具有重要作用。

1.1 回歸模型

回歸模型是一種研究因變量和自變量關(guān)系的預(yù)測性建模技術(shù),該模型綜合考慮各種可能危險(xiǎn)因素,通常以多元回歸模型或Cox比例風(fēng)險(xiǎn)模型預(yù)測未來一定時(shí)間內(nèi)糖尿病的發(fā)病概率。

多元回歸模型是應(yīng)用較廣泛的一種方法,既可以用于個(gè)體糖尿病發(fā)病風(fēng)險(xiǎn)的預(yù)測,如文獻(xiàn)[3]建立的糖尿病視網(wǎng)膜病變預(yù)測模型,也可以用于群體糖尿病危險(xiǎn)因素的研究,如文獻(xiàn)[4]對我國農(nóng)村居民糖尿病患病因素的分析。多元回歸模型解釋性強(qiáng)但精度欠佳,不適用于大量指標(biāo)的預(yù)測。

Cox回歸模型以生存結(jié)局和生存時(shí)間為因變量,可同時(shí)分析眾多因素對生存期的影響,常用于醫(yī)學(xué)隨訪研究。文獻(xiàn)[5]用Cox回歸模型建立了適合中國人群的糖尿病風(fēng)險(xiǎn)預(yù)測模型,文獻(xiàn)[6]則用Cox回歸模型研究胰島素依賴型糖尿病患者的死亡率。然而Cox回歸模型要求對數(shù)據(jù)連續(xù)觀測且追蹤時(shí)間不宜過短,成本較高。

1.2 決策樹模型

決策樹作為從大規(guī)模數(shù)據(jù)中探索概念構(gòu)成的代表,是弱化模型結(jié)構(gòu)僅從數(shù)據(jù)出發(fā)構(gòu)建概念的典型。基于決策樹建立的預(yù)測模型,能對預(yù)測結(jié)果提供相應(yīng)的分析依據(jù)。文獻(xiàn)[7-8]采用決策樹建立了糖尿病臨床治療決策系統(tǒng),提高了糖尿病的診治效率。文獻(xiàn)[9-10]探索決策樹模型在糖尿病預(yù)測中的應(yīng)用,發(fā)掘糖尿病患病的得病風(fēng)險(xiǎn)規(guī)律。

實(shí)際上,決策樹作為一種模仿人類思考的建模思路,一般并不單獨(dú)用于模型的建立,而是以其為基函數(shù),根據(jù)集成思想建立預(yù)測模型。

1.3 支持向量機(jī)模型

支持向量機(jī)是一種建立在VC維的統(tǒng)計(jì)學(xué)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上的機(jī)器學(xué)習(xí)算法,通過核函數(shù)將輸入向量映射到高維空間,從而得到最優(yōu)分類超平面。文獻(xiàn)[11]建立了基于支持向量機(jī)的預(yù)測模型,探討環(huán)境因素和遺傳因素對2型糖尿病患病的影響。文獻(xiàn)[12-13]基于支持向量機(jī)分別建立了糖尿病前期篩查模型和標(biāo)準(zhǔn)化糖尿病診斷模型。

支持向量機(jī)具有解決小樣本學(xué)習(xí)、非線性、高維和泛化等問題的獨(dú)特優(yōu)勢,但對于高維數(shù)據(jù),它更多考慮通過核函數(shù)來解決,很少從物理降維出發(fā),耗費(fèi)大量的機(jī)器內(nèi)存和運(yùn)算時(shí)間。

1.4 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)是一種基于大腦和神經(jīng)系統(tǒng)研究而建立的計(jì)算模型。在這種模型中,大量節(jié)點(diǎn)之間相互聯(lián)結(jié)構(gòu)成網(wǎng)絡(luò),以達(dá)到處理信息的目的。文獻(xiàn)[14]以某綜合性醫(yī)院收集的調(diào)查資料為基礎(chǔ),探討改進(jìn)BP人工神經(jīng)網(wǎng)絡(luò)在2型糖尿病發(fā)病危險(xiǎn)因素中的應(yīng)用特點(diǎn)。文獻(xiàn)[15]將中醫(yī)指標(biāo)與臨床檢驗(yàn)指標(biāo)結(jié)合,探討神經(jīng)網(wǎng)絡(luò)在糖尿病并發(fā)癥建模上的應(yīng)用。文獻(xiàn)[16]基于神經(jīng)網(wǎng)絡(luò)建立了1型糖尿病患者胰島素注射量的查詢系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自組織、自適應(yīng)和容錯(cuò)能力,在處理非線性問題上具有獨(dú)特優(yōu)勢,但它在模型建立方面需要大量參數(shù),輸出結(jié)果難以解釋,解釋性欠佳限制了它在醫(yī)療領(lǐng)域的廣泛應(yīng)用。

2 糖尿病風(fēng)險(xiǎn)預(yù)測

2.1 GA_Xgboost模型

Xgboost(eXtreme Gradient Boosting)也稱為極端梯度提升[17],是一種通過Boosting思想將基函數(shù)與權(quán)重進(jìn)行組合形成的集成算法。Xgboost算法具有快速、高效、泛化能力強(qiáng)等優(yōu)點(diǎn),廣泛應(yīng)用于回歸和分類領(lǐng)域。

遺傳算法(Genetic Algorithm,GA)是模擬生物界的遺傳和進(jìn)化過程而建立的一種自適應(yīng)全局優(yōu)化概率搜索算法[18]。遺傳算法中種群的每個(gè)個(gè)體都是解空間上的一個(gè)可行解,通過模擬生物的進(jìn)化過程,從而在解空間內(nèi)自適應(yīng)地搜索最優(yōu)解。

Xgboost參數(shù)較多,調(diào)節(jié)繁瑣,且參數(shù)對算法的預(yù)測性能影響較大,需要對調(diào)參進(jìn)行優(yōu)化。據(jù)此,本文提出了GA_Xgboost模型,以多顆決策樹集成的Xgboost為基礎(chǔ),利用遺傳算法良好的全局搜索能力和靈活性來彌補(bǔ)Xgboost模型參數(shù)眾多、收斂較慢、易陷入局部最優(yōu)的缺陷,以真實(shí)值和預(yù)測值的均方誤差作為適應(yīng)度函數(shù)來優(yōu)化參數(shù),通過精英選擇策略保證每一輪的進(jìn)化結(jié)果最佳。

首先根據(jù)問題的復(fù)雜度設(shè)置初始種群數(shù)量、迭代次數(shù)、被優(yōu)化參數(shù)數(shù)量和每代被保留的個(gè)體數(shù),然后在限定范圍內(nèi)隨機(jī)生成P組參數(shù)值,若不滿足要求,則用這些參數(shù)組分別訓(xùn)練Xgboost模型并對測試集進(jìn)行預(yù)測,對預(yù)測結(jié)果計(jì)算均方誤差,從中保留M組優(yōu)秀參數(shù),對它們運(yùn)用遺傳算法進(jìn)行交叉、變異,從而產(chǎn)生新參數(shù),循環(huán)這個(gè)過程直到滿足停止條件為止。GA_Xgboost偽代碼如下:

輸入種群數(shù)量P,迭代時(shí)間J,參數(shù)數(shù)量N,優(yōu)秀個(gè)體數(shù)量M

輸出最優(yōu)參數(shù)組合

1.for i←1 to P do

2.Initialize (θi1,θi2,…,θiN)θi1,θi2,…,θiN

3.end for

4.while termination criterion not met do

5.The Train Set train Xgboost model

6.Predict the Test Set and calculate fitness value

7.Preserve the optimal parameters of M group according to fitness value

8.GA(P,J,N,M)

9.Produce new parameters

10.end while

2.2 模型構(gòu)建

糖尿病預(yù)測模型的設(shè)計(jì)思路如圖1所示,包含數(shù)據(jù)處理、數(shù)據(jù)探索以及數(shù)據(jù)擬合3個(gè)部分。整個(gè)過程采用Python語言實(shí)現(xiàn)。

圖1 糖尿病預(yù)測流程

2.2.1 特征工程

特征工程是一個(gè)把原始數(shù)據(jù)轉(zhuǎn)變?yōu)橛?xùn)練數(shù)據(jù)的過程,它的目的是獲取更好的訓(xùn)練特征,使得機(jī)器學(xué)習(xí)逼近模型上限。本文主要的特征工程有數(shù)據(jù)處理和數(shù)據(jù)探索。

原始數(shù)據(jù)主要包括體檢信息和個(gè)人信息,部分特征存在缺失值。刪除缺失值超過一半的乙肝類特征,用均值對缺失值較少的數(shù)值型特征進(jìn)行填充,對填充好的數(shù)據(jù)進(jìn)行l(wèi)og、歸一化等變換,如圖2所示,將不具有正態(tài)分布的特征變換成具有正態(tài)分布的特征,最后對特征兩兩之間進(jìn)行加減乘除組合,從而得到新特征,對新特征進(jìn)行交叉驗(yàn)證,若有提升則添加該特征。

圖2 血糖值log變換

圖2顯示了血糖值的log變換,橫坐標(biāo)代表血糖值,縱坐標(biāo)代表該血糖值的人數(shù)。血糖真實(shí)值主要分布在5和6之間,這種極端數(shù)據(jù)分布不利于建模預(yù)測,因此對其進(jìn)行l(wèi)og變換,使數(shù)據(jù)接近正態(tài)分布,以適用于預(yù)測任務(wù)及算法的需要。

2.2.2 參數(shù)優(yōu)化

Xgboost有7項(xiàng)主要參數(shù),不同參數(shù)有不同功能,這些參數(shù)設(shè)定是否合理,對于模型的好壞有重要影響。調(diào)參通常取決于經(jīng)驗(yàn)判斷和遍歷實(shí)驗(yàn),傳統(tǒng)方法效果不佳且缺乏理論依據(jù)。因此,本文基于遺傳算法進(jìn)行參數(shù)優(yōu)化,保留每次迭代的優(yōu)秀個(gè)體,在優(yōu)秀個(gè)體中進(jìn)行交叉、變異等操作,交換并產(chǎn)生優(yōu)秀基因,從而朝著全局最優(yōu)進(jìn)化。

根據(jù)遺傳算法的特點(diǎn),結(jié)合Xgboost的參數(shù)范圍以及糖尿病數(shù)據(jù)的問題性質(zhì)進(jìn)行相應(yīng)設(shè)定。設(shè)置初始種群數(shù)量為32,每個(gè)個(gè)體包含7個(gè)參數(shù),參數(shù)在待選范圍內(nèi)隨機(jī)生成;迭代100次,以均方誤差作為適應(yīng)度函數(shù),每次迭代根據(jù)適應(yīng)度值保留8個(gè)最優(yōu)個(gè)體;使用均勻交叉,隨機(jī)選擇一個(gè)參數(shù)進(jìn)行突變,這樣既保證了優(yōu)秀基因的交換,又能跳出局部最優(yōu)。由于遺傳算法隨機(jī)生成初始群體,具有一定的隨機(jī)性,因此通過多次實(shí)驗(yàn)?zāi)軌虼蟾怕收业浇鼉?yōu)甚至最優(yōu)參數(shù)。GA_Xgboost調(diào)參實(shí)驗(yàn)如圖3所示。

圖3 GA_Xgboost調(diào)參實(shí)驗(yàn)結(jié)果

通過進(jìn)行3次GA_Xgboost實(shí)驗(yàn),在迭代40次左右時(shí)效果均優(yōu)于默認(rèn)參數(shù),當(dāng)?shù)螖?shù)達(dá)到100時(shí),均方誤差均小于0.61。相比于默認(rèn)參數(shù),GA_Xgboost調(diào)參后的均方誤差有較明顯的提升。

2.3 實(shí)驗(yàn)結(jié)果分析

本文以天池競賽平臺提供的某三甲醫(yī)院2017年9月—10月的糖尿病數(shù)據(jù)為數(shù)據(jù)源,目標(biāo)是從乙肝、血常規(guī)、肝功能、腎功能等41個(gè)特征字段中預(yù)測血糖值,共計(jì)7 642條數(shù)據(jù),其中,6 642條用于訓(xùn)練,剩余數(shù)據(jù)用于測試。

經(jīng)GA_Xgboost調(diào)參實(shí)驗(yàn)后,當(dāng)前Xgboost最佳參數(shù)組合及參數(shù)解釋如表1所示。在最佳參數(shù)組合下,均方誤差為0.606,明顯優(yōu)于默認(rèn)參數(shù)下的0.628。

表1 Xgboost最佳參數(shù)及默認(rèn)值Table 1 Xgboost best parameters and default values

使用最佳參數(shù)組合對糖尿病血糖值進(jìn)行預(yù)測,圖4給出了1 000條測試數(shù)據(jù)的血糖預(yù)測值和真實(shí)值分布。可以發(fā)現(xiàn)位于5～8的常見值預(yù)測比較準(zhǔn)確,對于較大值的預(yù)測則有所偏差。原因可能在于訓(xùn)練過程中較大值出現(xiàn)的次數(shù)少,從而權(quán)重較小,導(dǎo)致模型趨向于預(yù)測常見值。

圖4 血糖預(yù)測值和真實(shí)值分布

Fig.4 Distribution of blood glucose prediction values and actual values

圖5給出了與糖尿病最相關(guān)的20項(xiàng)特征的重要性評估。結(jié)果顯示,對血糖值影響最大的變量依次為年齡、天門冬氨酸氨基轉(zhuǎn)移酶和甘油三酯。

圖5 特征重要性

研究結(jié)果表明,糖尿病的發(fā)病率隨著年齡的增長而增長,50歲之后的肥胖人士極易患糖尿病[19];天門冬氨酸氨基轉(zhuǎn)移酶的測定有助于判定肝細(xì)胞有無壞死及損傷程度;甘油三酯偏高會(huì)影響血糖代謝,高甘油三酯血癥與糖尿病發(fā)病密切相關(guān)[20]。此外,丙氨酸氨基轉(zhuǎn)移酶、尿素、尿酸、紅細(xì)胞計(jì)數(shù)等對血糖值都有較大影響,而性別、血小板體積、嗜酸細(xì)胞等因素對糖尿病沒有太大影響。

3 模型評估

為驗(yàn)證GA_Xgboost方法的有效性,在糖尿病風(fēng)險(xiǎn)預(yù)測中將GA_Xgboost模型與各常用模型進(jìn)行對比分析。

采用4項(xiàng)指標(biāo)評估算法優(yōu)劣,其中,MAE表示平均絕對誤差,MSE表示均方誤差,MAPE表示平均絕對百分比誤差,這三者用于評估真實(shí)值和預(yù)測值的差異,它們是回歸任務(wù)中最常用的性能指標(biāo),值越小代表預(yù)測越準(zhǔn)確。R-squared用于評估模型的解釋度,值越大模型解釋性越強(qiáng)。評價(jià)指標(biāo)具體公式如下:

(1)

(2)

(3)

(4)

各算法性能對比結(jié)果如表2所示。從表2中可以看出,在回歸問題上Xgboost預(yù)測精度優(yōu)于線性回歸、決策樹、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò),在解釋性方面不如線性回歸。經(jīng)過遺傳算法優(yōu)化的GA_Xgboost模型不僅提高了預(yù)測精度,而且在解釋性方面也有所增強(qiáng)。

表2 不同算法性能對比Table 2 Performance comparison of different algorithms

將GA_Xgboost與常用的調(diào)參方式進(jìn)行比較,驗(yàn)證其在精度和效率上的優(yōu)勢。

網(wǎng)格搜索是業(yè)界調(diào)參最常用的方法,其思想是窮舉搜索,在所有候選的參數(shù)中進(jìn)行遍歷,找到待選參數(shù)的最佳值,其缺點(diǎn)是耗費(fèi)時(shí)間長且只能在給定候選集中選擇。隨機(jī)游走(random walk)是一種全局優(yōu)化算法,根據(jù)大數(shù)定律,只要隨機(jī)的次數(shù)夠多,總能找到最優(yōu)或近優(yōu)參數(shù),其缺點(diǎn)是高度依賴初始值且隨機(jī)結(jié)果可能不一致。經(jīng)文獻(xiàn)[21]研究結(jié)果證明,在進(jìn)行參數(shù)優(yōu)化時(shí)隨機(jī)搜索比網(wǎng)格搜索更有效。遺傳算法的思想是優(yōu)勝劣汰,每次留下最佳的數(shù)個(gè)樣本,有一定的幾率發(fā)生交叉、變異從而產(chǎn)生新樣本,因此遺傳算法也是全局優(yōu)化算法。當(dāng)變異概率較大時(shí),遺傳算法會(huì)退化成隨機(jī)搜索。

GA_Xgboost與網(wǎng)格搜索調(diào)參、隨機(jī)游走調(diào)參以及Xgboost默認(rèn)參數(shù)進(jìn)行對比,結(jié)果如表3所示。其中,參數(shù)列表的順序?yàn)閷W(xué)習(xí)率、基學(xué)習(xí)器個(gè)數(shù)、最大樹深、最小葉子權(quán)重、懲罰項(xiàng)系數(shù)、訓(xùn)練數(shù)據(jù)占比和訓(xùn)練特征占比。

表3 Xgboost調(diào)參方式對比Table 3 Comparison of Xgboost parameter adjustment modes

表3使用MSE和運(yùn)行時(shí)間做評價(jià)指標(biāo),從表3可以發(fā)現(xiàn),網(wǎng)格搜索精度低且極度耗時(shí),隨機(jī)游走精度和運(yùn)行時(shí)間都居中,GA_Xgboost效果最佳。因?yàn)殡S機(jī)游走和遺傳算法都有一定的隨機(jī)性,增加迭代次數(shù)或者多次實(shí)驗(yàn)?zāi)軌虼蟾怕十a(chǎn)生較佳參數(shù)組合。

實(shí)驗(yàn)結(jié)果表明,GA_Xgboost在預(yù)測精度上優(yōu)于線性回歸、支持向量機(jī)等常用算法,在運(yùn)行時(shí)間和調(diào)參效果上優(yōu)于網(wǎng)格搜索和隨機(jī)游走方法。相比于Xgboost算法,GA_Xgboost在花費(fèi)一定時(shí)間的情況下,預(yù)測精度有明顯提升。

4 結(jié)束語

本文針對Xgboost算法存在參數(shù)眾多、收斂較慢的問題,結(jié)合遺傳算法全局優(yōu)化的優(yōu)點(diǎn),提出GA_Xgboost模型。實(shí)驗(yàn)結(jié)果表明,基于GA_Xgboost模型進(jìn)行的血糖值預(yù)測,精度優(yōu)于線性回歸、支持向量機(jī)等傳統(tǒng)算法,效率高于網(wǎng)格調(diào)參和隨機(jī)調(diào)參方法。雖然GA_Xgboost模型預(yù)測精度和調(diào)參時(shí)間都有所提高,但在實(shí)驗(yàn)過程中發(fā)現(xiàn),模型對于少數(shù)血糖值較大的記錄預(yù)測效果較差,運(yùn)行時(shí)間也不夠快,如何增加較大值的權(quán)重、降低調(diào)參時(shí)間有待進(jìn)一步研究。本文提出的GA_Xgboost模型還可以用于其他疾病的輔助診斷,該模型能夠識別和處理其他回歸預(yù)測和分類問題,下一步將結(jié)合Lasso方法對模型進(jìn)行優(yōu)化,利用Lasso回歸進(jìn)行正則化和特征選擇,以提高模型的預(yù)測精度。