基于數據挖掘的肝癌早期復發預測與閾值研究

劉海鈺，曲海成

（遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105）

0 引言

肝癌是威脅人類身體健康的主要惡性腫瘤之一，對其研究至今已有百年歷史。目前，根治肝癌最有效的手段是手術切除，而對于廣大患者而言，肝癌術后效果仍然欠佳，有報告指出肝癌在5 年內的復發轉移率可到40%～70%［1］。肝癌手術過后有兩個復發高峰，1 年內的復發定義為早期復發，之后的復發定義為晚期復發。

近年來數據挖掘技術發展迅速，醫學數據挖掘的目的是從大量的醫學數據中挖掘出潛在并且有效的知識、信息、模型、關聯和變化等，從而幫助醫生進行更加快速和準確的診斷［2］。通過利用大量病人的各項信息來進行分析并得出結論的方法在醫學界已經得到了廣泛認可。文獻［3］中探討了隨機森林算法在心血管疾病預測中的應用效果，并對其性能進行了評價；文獻［4］中以隨機森林算法為基礎，采用交叉檢驗和網格搜索尋找最佳參數，建立了心臟病預測模型；文獻［5］探討了隨機森林算法在產后抑郁影響因素的篩選和風險預測中的應用效果；文獻［6］利用機器學習方法構建心血管疾病的預測模型，對心血管疾病進行快速高效的預測；文獻［7］基于機器學習算法，對醫療數據進行了處理和分析；文獻［8］提出了基于Choquet 積分的數據挖掘模型的預測算法和模型組合的特征篩選方法，利用體檢數據對某一類疾病高血壓做預測，制定了基于大數據的疾病風險預測模型；文獻［9］采用基于機器學習的分類判斷算法，建立慢性阻塞性肺疾病分期模型；文獻［10］運用決策樹機器學習算法，建立慢性肝硬化疾病預測模型，得到了預測準確率達到98%肝硬化預測模型；文獻［11］通過構建機器學習模型，預測了腎病在人群中的流行程度；文獻［12］中將數據挖掘技術與機器學習算法相結合，對心臟病患者進行預測。

綜上所述，可見數據挖掘技術的應用面非常廣泛，在疾病預測方面的表現尤為突出。然而，關于肝癌早期復發預測問題上的研究卻相對較少。為此，本文從數據的篩選、數據的預處理、特征工程、建立預測模型以及模型評價中得出預測模型，使其能夠準確預測肝癌是否早期復發的結論，并經過數據分析得出了肝癌早期復發的最優閾值。

1 模型構建方法

1.1 網格搜索法

網格搜索（gridsearchCV）是一種指定參數值的窮舉搜索方法，也是機器學習中一種常用的調參方法。指定需要調整的參數，使其在指定的參數范圍內，通過遍歷所有組合選定參數，選擇能夠讓模型得到最優結果的那個參數組合作為最終結果。本項目應用網格搜索法，為GBDT 梯度提升樹選擇了兩個最佳參數：樹的數量（n _estimators）和學習率（learning_rate）。通過該方法可以得到最優的參數。但該方法進行的是一種窮舉操作，所以在時間耗費上會相對較長。本文實驗項目在n_estimators：［30，50，80，100］以及learning_rate：［0.1，0.05，0.01］范圍內確定了GBDT 的最優參數。

1.2 梯度提升決策樹

梯度提升決策樹（Gradient Boosting Decision Tree，GBDT），又稱做多重累計回歸樹［13］。其內部子樹為CART 樹，基于Boosting 算法集成思想提出，是機器學習、數據分析中最常見的預測模型方法之一。該算法選擇決策樹作為弱學習器?；貧w樹大致流程為：在每一次分支的時候尋找能夠實現最優分支的節點，作為分裂節點。在分類決策樹中使用的是基尼系數等，在回歸樹中使用的是均方誤差，直到分裂完畢或者滿足了一定的條件。CART 決策樹結構示意如圖1 所示。

圖1 CART 決策樹結構示意圖Fig.1 The Structural diagram of CART decision Tree

Boosting 算法：使用已經給出的弱分類器線性組合，生成一個表現出強性能的強分類器的過程［14］。通過使用多個弱分類器，訓練基分類器時采用串行方式，每個基分類器之間有依賴，其基本思路是將基分類器一個個疊加。每個基分類器在訓練時，對前一個基分類器分錯的樣本給予更高的權重。測試時，根據各個分類器的結果加權得到最終結果。

GBDT 分類算法屬于集成學習中的Boosting 算法。其原理是：將所有弱分類器結果的總和作為預測值，下一個弱分類器去擬合誤差函數對預測值的殘差（殘差就是預測值與真實值之間的誤差）。其中弱分類器的表現形式就是各棵決策樹［15］，算法如下：

假設訓練集樣本：D ＝｛(x1，y1)，(x2，y2)，…，(xm，ym) ｝，最大迭代次數為T，輸出的強學習器為f(x) 。則損失函數的表達為：

（1）初始弱學習器：

（2）對迭代次數t ＝1，2，…，T：

①對樣本i ＝1，2，…，m計算負梯度誤差：

②利用（xi，rti）（i ＝1，2，…，m），擬合一棵CART回歸樹，得到第t棵回歸樹。其對應的葉子節點區域為rtj（j ＝1，2，…，J）。其中J為回歸是t的葉子節點個數。

③對葉子區域j ＝1，2，…，T，計算最佳負梯度擬合值：

更新強學習器：

得到強學習器表達式：

2 預測模型構建

2.1 數據預處理

在進行實驗數據處理前，通過查看原始數據表，以此來確認數據表的格式、內容種類等信息，從而選擇合適的數據處理方式。本文選擇使用Excel 查看數據，可以發現數據是標準的行列式表格數據。其中包含表示ID、性別等信息的分類型變量，也有腫瘤數量、腫瘤大小等表示醫學指標的數值型變量。由于這些數據變量的類型過于冗雜，因此需要將這些冗雜的變量類型統一為可以直接輸入到預測模型中的連續型數值變量。部分預處理前的數據見表1。

表1 預處理前部分數據展示Tab.1 Partial data presentation before data preprocessing

2.1.1 數據清洗

數據清洗主要包括：將數據規范成合適的數據表現形式、去除空值、重復值、異常值、噪聲數據剔除等。其中包含兩方面的工作：一個是對數據進行異常值檢測，查看數據是否在合理范圍內變動，有無超出固定范圍的數據，是否有矛盾數據以及可以替換掉的多余數據；二是選擇合適的方式方法，來處理這些數據。

2.1.2 數據格式轉換

通過查看原始數據表可以發現，初始數據類型大多為float64 的浮點數格式，只有少量數據列為無格式類型object。其中包括性別（以0－1 值表達布爾數值），Child 分級（以字母A－B 表達分級分類），嚴重并發癥（以文本字符串表示內容）。對于這些非數值變量的數據列，需要將其轉換為合理的浮點數值。部分數據類型展示見表2。

表2 部分數據的數據類型Tab.2 The data type of partial data

2.1.3 數據異常值處理

識別異常值的方法主要有：基于統計學原理的散點圖、四分位圖、箱線圖、正太分布圖等方法；基于分布的異常點檢測：根據已有數據建立模型，基于模型對數據進行檢測，從而判斷數據是否異常；基于聚類的方法找出那些零散的不能歸為某一類別的數據，作為異常點等方法。

由表3 可以發現，數據中存在著大量的異常值。如：術前AFP 指標，其均值為1 000，而中位數僅為16，且75%分位點也僅有139.75，但最大值竟然達到了611 000這種極度不合理的大數值，說明該數據列中的一些數據在錄入時出現了錯誤，導致整個數據列的分布偏離了正常的分布。異常值由于數值問題，會在模型中產生極大的噪聲，導致對包含異常值數據的樣本預測難以繼續，同時在對包含異常值的數據列進行歸一化時也會出現分布不均的問題，因此需要采用合理的方式對異常值進行處理，降低其表達的信息量。

表3 部分異常值數據展示Tab.3 Partial outlier data display

在異常值檢測方面，本文采用了兩種方式：一是正態分布的假設檢驗。即出現偏離均值超過方差3倍的值屬于極小概率事件，記為異常值。但這種方式對于均值和方差均被顯著提高的數據列檢測效果不佳，易將一些數據漏算。第二種是計算數據分布的四分位點，認為比Q1 小1.5 倍的IQR或者比Q3大1.5 倍的IQR的值為異常值（Q1 為第一四分位數，Q3 為第三四分位數，IQR為四分位數極差，其值為Q3－Q1），將兩種方式相結合，即可最大程度的檢測出異常值。

2.1.4 數據缺失值處理

一部分數據由于某些原因，導致數據缺失，需要對這部分數據給予適當的處理。數據集中部分數據的缺失，不但增大了數據集的不確定性，也影響了算法的執行。缺失值產生的原因主要來自機械和人為因素。從缺失值的分布來看，可以分為完全隨機缺失、隨機缺失和完全非隨機缺失。從缺失值的所屬屬性上講，如果所有的缺失值都是同一屬性，那么這種缺失稱為單值缺失，如果缺失值屬于不同的屬性，則稱為任意缺失。部分特征數據缺失值情況統計見表4。

表4 部分特征缺失個數Tab.4 The missing number of partial feature

常用數據缺失值處理方法：

（1）置0 處理法：將缺失值置為0，這種方法實現起來比較簡單，但是容易造成較大的誤差。

（2）均值處理法：用某一列特征所具有數據的平均值填充這一列的空值。如果出現特征數據為非數據的形式，可以選擇頻次最高的數據作為數據的填充值。此種方法在數據挖掘中應用廣泛，方法便捷。

（3）最近鄰填充處理法：根據各種距離計算公式，計算兩個樣本之間的距離，確定空缺值所在的樣本與其最接近的樣本，對k個最接近的樣本加權平均得到空缺值所需的數據。

（4）模型填充：把缺失值作為新的標簽，基于已有的完整信息建立模型，對數據擬合，將訓練好的模型預測缺失值進行填補。常用隨機森林等擬合填充空值，線性回歸預測空缺值。但是該方法的空缺值過多將會影響最終的預測結果。

（5）刪除所有空缺值所在的屬性列值：這種方式適合空缺值較多、屬性多、被刪除的特征屬性具備較多空值的情況，否則將嚴重影響最終的預測結果。

在缺失值處理方法上，本文針對只有少量數據缺失的數據列采用了置0 處理法和均值處理法。如：腫瘤大小a、腫瘤數量等。對于像腫瘤大小c 這樣有大量數據均缺失的數據列，采用了直接刪除屬性列的方式。

2.1.5 數據歸一化

數據清洗以及缺失值處理后，由于各項指標的區間不同，其表達的特征維度也都不同。為了使各列數據對于預測結果的貢獻相同，模型訓練的參數處于同一量級，需要將特征進行放縮到相同量級，進行數據歸一化的結果就是將特征縮放到相同量級。

數據歸一化常用方法有如下兩種：

（1）最大最小標準化（Min－Max Normalization）

對數列x1，x2，…，xn進行變換：

則新數列y1，y2，…，yn∈［0，1］。其中，min｛xj｝為數列x中的最小值，max｛xj｝ 為數列x中的最大值。

（2）Z－score 標準化方法

則得到的數列y1，y2，…，yn均值為0，方差為1。

本文采用了最大最小標準化（Min－ Max Normalization）方法對數據進行歸一化處理。數據歸一化后的部分結果見表5。

表5 部分數據MinMax 數據歸一化結果Tab.5 Partial data Minmax data normalization results

2.1.6 特征工程

特征工程的目的，是探索特征對于預測任務的重要性及影響，從而提取更加有效，對結果影響更加顯著的特征，提高預測的穩定性、魯棒性，避免引入過多噪聲數據列。由于該數據集中包含了大量的特征，且在疾病預測的任務上許多醫療檢測指標都沒有實際的醫學意義的影響，因此需要對數據進行特征工程，提取更加有效的特征作為預測模型的輸入。

本文共采用了6 個特征工程的方法，來對數據進行操作。

（1）Pearson 相關系數：Pearson 相關系數是一種能夠幫助理解特征和響應變量之間關系的方法。該方法衡量的是變量之間的線性相關性。

（2）隨機森林（Random Froest）：隨機森林就是通過集成學習的思想將多棵決策樹組合在一起，其基學習器是決策樹。

（3）邏輯回歸（Logistic regression）：邏輯回歸主要思想是，根據現有數據對決策邊界建立回歸方程后，將回歸方程映射到分類函數上，實現分類。

在團場綜合配套改革中，十二師一〇四團15個社區新一屆“兩委”班子成員，在各級黨委的支持下，在上屆領導的幫助指導下，迅速轉變角色，積極開展工作，取得了可喜的成績。

（4）平均準確度減少（Mean accuracy reduction）：平均準確度減少是通過將某個特征隨機打亂，使其表達的信息紊亂，計算在此情況下模型預測準確度減少的比率，來判斷特征重要性的方法。平均準確度減少也是隨機森林特征工程方法中重要的度量方式，在實現時也使用隨機森林作為基準模型。

（5）遞歸特征消除（Recursive feature elimination）：遞歸特征消除的主要思想是，反復構建模型并選出最好或最差的特征，消除此特征，并不斷重復，直到所有特征都被遍歷，這個過程中特征的消除次序表示了特征的排序，因此這也是一種尋找最優特征子集的貪心算法。

（6）互信息與最大信息樹（Mutual information and maximum information tree）：通過尋找一種最優的離散化方式，將互信息取之轉換為度量方式，對不同變量之間的距離進行度量，從而判斷關系最密切的變量。

通過以上特征工程方法，可以得出腫瘤數量是最核心特征的結論。為了探索特征工程的有效性，本文采用了邏輯回歸模型，得到不同特征下評價指標的結果見表6。

表6 不同特征下評價指標結果Tab.6 Evaluation index results in different characteristics

從表6 可以看出，相比于其它特征，腫瘤數量是最核心的特征，其它特征的重要性并不高，甚至會是噪音，造成誤診。

2.1.7 樣本不均衡處理

數據不平衡是指在數據集中，不同類別的樣本數量差距很大。如：在病人是否得癌癥的數據集上，可能絕大部分的樣本類別都是健康的，只有極少部分樣本類別是患病的，這樣會給預測帶來極大地噪聲。為了消除這些噪聲，處理數據的過程，稱之為數據不平衡處理。數據不平衡處理的常用方法有重采樣、過采樣和欠采樣，使采樣的樣本標簽均衡；有類別加權，調整不同的標簽類別的權重來處理不平衡數據等。

本任務中，統計類別為0，即無早期復發，與類別為1，即早期復發的樣本比例，負樣本數量為787，正樣本數量為765，二者比值約為1 ∶1，說明數據相對均衡，無需進行數據不平衡處理。

2.2 模型構建

數據輸入時，需要將預處理好的數據轉換為模型可以接受的輸入形式。首先要讀取預處理好的數據，這里使用了文件存儲讀取的方式。由于數據中包含了許多隨訪時間未達到24 個月的未復發樣本，為保證數據分布的一致性，將其劃定為非早期復發并將其過濾掉。通過特征工程得到的特征排序，可以選定重要的特征來進行預測，避免引入過多的噪聲。最后，將處理好的數據轉換為NumPy 的數組形式，以便被預測模型接受并使用。

模型訓練部分使用sklearn 自帶的機器學習模型，選擇了邏輯回歸、隨機森林、SVM 支持向量機、GBDT 梯度提升樹4 種模型。

將這4 種機器學習模型采用準確率、精確率、召回率和AUC 4 個指標來評價，評價結果見表7。

表7 學習模型指標結果Tab.7 Learning model evaluation results

由于數據分布規則性較差，邏輯回歸和SVM 支持向量機表現相對較差。由表7 可以看出，集成學習模型、隨機森林和GBDT 梯度提升樹，在此任務上更加有效穩定，因此選擇這兩類模型來進行訓練與測試。

為了探索肝癌早期復發的閾值，設計了對閾值進行選擇的函數。通過設置不同的閾值，為數據進行重標簽，使用此閾值條件下的數據得到的AUC 分數結果作為該閾值的評價，來對閾值進行排序，得到最優的閾值。為了避免偶然性導致的結果不穩定，對每個閾值條件下的數據隨機排序，進行了復數次計算，將多次得分的均值作為最終結果。

3 實驗與結果分析

3.1 實驗數據描述

本次實驗分析所用到的原始數據是以xls 文檔的形式保存的，可以用Python 自帶的Pandas 處理。數據每一行表示一個病人的隨訪記錄，包含其基本信息以及檢測的各項指標；每一列表示一類相關信息，包括年齡、性別等基本信息和腫瘤數量等病歷信息與醫學檢測指標。數據基本描述見表8。

表8 數據的基本描述Tab.8 The basic description of the data

從中可以看出，數據共有1 734 行、47 列，患者基礎數據有3 列，基礎檢驗指標有39 列，腫瘤相關指標有4 列。由此可見，數據數量較多，可以用來預測的數據列龐大，正負樣本數量約為1 ∶1，數據相對平衡。

3.2 模型參數與驗證

機器學習模型需要進行調參來獲取較好的預測結果，本文選擇了網格搜索法來進行參數的搜索。在GBDT 模型中，主要搜索決策樹數量和學習率兩個參數；在隨機森林模型中，主要搜索決策樹數量和劃分標準兩個參數。最優參數的評價指標選擇了AUC數值，獲取到最優的參數后，使用五折交叉驗證的方式進行模型的訓練與測試。

在模型評價方面，選擇了準確率、精確率、召回率和AUC4 個指標進行評價。其中，準確率為預測正確數量的個數占總預測數量個數的比重；精確率為正確預測為正的數量占全部預測為正的數量比例；召回率為正確預測為正的數量占全部實際為正的數量的比例。AUC定義為ROC 曲線下的面積，這個面積的數值越接近1（數值不會大于1），則說明模型效果越好。其中對于疾病預測問題，AUC和召回率的結果更加有價值，更適合此問題的評價指標。本文最終選擇將AUC作為最主要評價指標。在GBDT 和隨機森林兩種模型中，最終選擇了GBDT梯度提升樹，并在0.05 的學習率、80 迭代次數的參數條件下進行驗證。

3.3 肝癌早期復發預測結果

GBDT 梯度提升樹在0.05 的學習率，80 的迭代次數的參數條件下。準確率、精確率、召回率和AUC4 個指標的結果見表9。

表9 模型測試結果Tab.9 Model test results

通過模型訓練與預測的結果可以看出，準確率的數值達到了0.695，說明正確預測的概率可以達到近70%；而精確率的數值達到了0.720，說明有72%的概率可以正確預測結果。本實驗采用的數據集正負樣本比例為1：1，不存在數據不平衡的情況，因此準確率則能較好的說明問題；召回率的數值達到了0.631，說明有63%的概率可以正確估計正樣本；而主要評價指標AUC的值達到了0.765 5，是一個較為不錯的數值。因此，可以大致認為，在肝癌早期復發預測問題上，此數據可以得出一個可信的結果。

本文從數據而非醫學的角度，對肝癌復發問題進行了預測研究。相對于傳統醫療手段（包括但不僅限于B 超檢查、增強CT 和核磁檢查等）的預測方法，本實驗僅依賴一份數據表便得出了極高準確度的預測結果，很大程度上節約了人力、物力、財力，對醫學上的病人是否會復發肝癌提供了一種簡單并且準確的判斷方式，對醫學上病人是否會復發的初步判斷，提供了強有力的手段。同時，數據并不會產生任何的環境污染和能源消耗，相對于醫學檢查來說，極大地節約了資源和保護了環境，符合綠色發展的觀念，具有非常深遠的意義。

3.4 閾值選擇結果

在各個閾值條件下，模型預測AUC的結果，整體呈現遞增趨勢，即閾值時間越靠后，預測的準確率越高，結果越可信。然而對于疾病預測這種特殊的任務，通常認為時間靠后導致病人就醫的成本顯著提升，因此簡單地以預測結果的可信程度作為閾值選擇的因素不符合現實。

為解決這一問題，本文選擇得分相對提升最大的時間作為閾值，即最優閾值應當滿足相比更小的閾值，得分提升盡可能大，而相比更大的閾值，得分降低盡可能小。經過反復實驗后，得到的最優閾值為12 個月的可能性最大，因此從數據的角度來看，肝癌的早期復發預測的閾值被設置為12 個月。

現代醫學上普遍將12 個月作為肝癌早期復發的閾值，而本文在大量實驗的基礎上，得出肝癌復發預測的最優閾值為12 個月的概率高達84.615%，不管是從醫學角度還是從數據角度，都說明了肝癌復發預測的最優閾值為12 個月的結論。這對現代醫學上肝癌早期復發的預測問題具有一定的參考和指導意義。如果在為病人問診時醫生能將這一因素的參考權重增大，就可能盡早發現病人的異常情況，從而輔助醫療決策，具有很強的實用意義和現實意義。

4 結束語

肝癌早期復發預測是肝癌術后護理的重要問題，本文應用數據挖掘技術，通過對數據進行缺失值補全，特征工程等處理，并搭建機器學習模型，對肝癌早期復發進行預測。實驗結果表明，本文應用的自動化數據挖掘技術，在疾病預測的準確性上實現了前沿的結果，可以為肝癌患者的預后診斷提供指導性意見。同時，本文探索的肝癌早期復發閾值是基于客觀數據得到的，可以為醫學視角下的肝癌復發病理研究提供幫助。

雖然本文在肝癌早期復發預測上準確率較高，但由于數據量與數據特征有限，在臨床應用上依然不可避免地存在著偏置性。通過擴大數據量，引入更加專業相關度更高的醫學指標，是后續研究重點關注的方向。