基于堆疊泛化學習模型的放射治療藥物劑量預測

劉彥忠，張惠玉，李炎閣，伊鑫海

基于堆疊泛化學習模型的放射治療藥物劑量預測

劉彥忠，張惠玉，李炎閣，伊鑫海

（齊齊哈爾大學 計算機與控制工程學院，黑龍江 齊齊哈爾 161006）

針對基于MRI的放射治療缺乏與CT電子密度直接相關的問題，提出了基于融合圖像特征提取和基于堆疊泛化的學習模型，建立了CT掃描特征的HU（Housefield Unit）單位值間接分配到MRI數據中的映射進行放射劑量預測．該學習模型分2層，第1層用于學習融合圖像多模態特征提取；第2層用于堆疊的泛化融合，使用CT掃描特征的HU值與MRI數據中的映射誤差最小．實驗表明，腦部區域中MRI的放射治療藥劑量預測質量比傳統方式提高10%～14%．

放射治療；劑量預測；堆疊泛化學習模型；MRI

目前，放射治療主要依賴于MRI（Magnetic Resonance Imaging）圖像，MRI圖像能夠提供腫瘤圖像的信息，包括骨骼、軟組織、血管等信息．實施僅MRI的放射治療工作流程具有挑戰性，因為磁共振強度與劑量規劃所需的CT電子密度沒有直接相關，因此放射治療的X射線三維放射劑量無法準確計算．

從MRI數據估計偽CT圖像的方法有２類：一類是基于圖譜的方法[1]，包含1組至少1對對齊的MR-CT圖譜體積，利用可變形圖像配準將MRI圖像配準到患者的MRI上，然后將變形應用到CT圖譜圖像上．這類方法已經證明了它們在制作真實的偽CT掃描中的有效性，然而該過程高度依賴于可變形配準的準確性，特別是在解剖學差異較大的患者之間．另一類是基于分割的方法[2]，MR圖像體素被分為不同的組織類別，如空氣、骨骼、脂肪和軟組織，然后每個組織類別被分配到一個特定的HU（Houssfield Unit）值，通常這類方法需要使用專門的MRI序列以包含更多的組織類型，顯然存在估值誤差．本文利用融合圖像特征的HU值間接分配到MRI數據中，融合圖像中含有CT圖像和MRI圖像的多源特征信息，估值預測的準確性會提高，即從融合圖像中提取的特征用作集成學習算法的輸入，該算法的學習訓練過程實質是從融合圖像特征到CT HU值的映射．

1　基于堆疊泛化學習模型

堆疊泛化理論[3]將多個簡單的函數或分類器堆疊構成深度網絡，從而得到更加復雜的函數或者更深層分類器，最終提升分類或預測的準確性．本文使用多元線性回歸（Multi-Line Regression，MLR）作為第２級堆棧學習器．MLR可以對具有一個依賴響應的２個或多個獨立預測變量的數據集進行建模，具體為

2　算法設計

針對放療放射劑量預測問題，提出一種基于堆疊泛化集成學習的預測算法，應用多模態融合圖像[7]，使用基于補丁的特征提取，融合和簡化學習方法進行預測．從T1加權（T1-w）和T2加權（T2-w）MRI圖像中提取紋理、形狀和空間特征，實現了兩級集成模型．第１級層由３個學習模型組成，第２級層構成堆疊的泛化融合．與僅進行MRI的放射治療中現有的集成方法不同，本文采用異構學習器來構建第１級集成模型，即NN，RF，KNN，MLR[8]用于堆疊．具體學習框架見圖1．

圖1 集成學習框架

2.1 基本思路

多數集成學習方法都嘗試學習MRI和CT值之間的復雜映射，并使用平均或加權平均來合并它們的預測．本文提出融合圖像和CT值之間的復雜映射的學習，具有綜合堆棧的集成方法在準確性和訓練時間之間提供了折衷方案．此外，通過學習這些預測和最終預測之間的適當映射，而不是僅僅取平均值來考慮一級學習器的輸出．

為了區分疊加和無限集成，本文堆疊引入第２級學習器，將第１級基礎學習器的輸出預測作為輸入特征，并學習這些特征與目標值之間的映射．而無限集成的概念是基于使用帶核的支持向量機學習所有可能假設的組合權值，這更適合于非線性學習問題．由于基礎學習器的輸出結果和目標的真實HU值具有相同的性質，因此可以將問題簡化為一個線性映射問題，通過引入一個由多元線性回歸表示的疊加層來解決．

2.2 基礎學習層

基礎學習層包括NN，RF，KNN作為基礎學習器，充分利用了它們的多樣性．基礎學習器的多樣性是構建性能集成模型的關鍵因素．

算法設計實現過程（見圖1）為：先將CT圖像和MRI圖像作為訓練數據輸入到集成學習框架中，分別采用方向梯度直方圖法（Histogram of Oriented Gradient，HOG）、局部二值模式法（Local Binary Patterns， LBP）、熵值法（Entropy）、圖像剪輯法（MAD）、結構設計法（Structure Design，SD）、均值法（Mean）、Gabor變換法[9]和坐標法進行多角度特征提取，將多角度特征送入基礎學習層，分別進行NN，RF，KNN的機器學習，將學習結果通過公式（1）的MLR泛化處理得到本文的預測模型，測試數據可以按照上述過程輸入，經過此學習過程可以預測出放射治療藥劑量．

3　評估指標

平均絕對誤差（MAE）直方圖可用于定位錯誤并檢查所有組織的HU估計是否存在偏差．將HU尺度劃分為每個大小為20 HU的連續非重疊Bin中，然后使用公式

同時，估計的偽CT圖像和實際CT掃描之間的相關性

4　實驗分析

設計實驗驗證堆疊泛化集成學習算法對放療中X射線放射劑量預測有效性．選取齊齊哈爾醫學院附屬二院患者的CT和MR源圖像，實驗硬件參數為處理器：Intel i7；GPU：NVIDIA 1080TI 11G；核心數量：8核；內存容量：16 GB DDR4；顯卡：8G RTX3070；軟件采用Python3.6．

4.1 數據預處理

4.2 仿真實驗

由于不同組織不同位置放療的放射劑量有差別，本文分別從軟組織、骨骼2方面進行預測實驗．

ES基礎學習和RF學習ME曲線分布見圖2．從圖2中看出，對于所有3種（pCT_b， pCT_rf， pCT_es）方法，MAE分布的第1個四分位數（25％）的MAE值都從0到250 HU．但是，第三、四分位數代表達到500 HU值的MAE值的75％．可以看出，所提出的方法將MAE值的25％顯著降低到了不到400 HU．

每位患者的MAE和ME值，以及整個組的平均值和SD見表1．結果表明，本文所提出的ES方法優于RF方法．另外，從基礎學習層轉移到堆疊泛化學習層模型可以顯著提高預測質量．例如：測試5在首次預測時的MAE值為152.19 HU．在MLR模型，MAE值減少為100.87 HU．與RF方法相比，本方法的平均MAE分別為（90.959±19.70）HU和（106.809±33.24）HU．

對于本文的ES方法、基礎學習器和RF方法，Correlation相關值分別為0.92，0.87，0.89．這表明使用本文所提出的方法估算的偽CT圖像與真實的CT掃描相關性最好．

圖2 基礎學習、RF學習和本文方法ME曲線分布

表1 預測變量的相關性

5　結語

本文提出了一種簡單有效的堆疊泛化學習方法，通過集成多元學習方式將融合圖像數據估算偽CT圖像，從而提高預測放療中的放射劑量HU的準確率．實驗結果表明，該方法預測質量較傳統方法提高10%～14%左右．但是，骨骼估計具有挑戰性，需要引入專門的MRI成像序列以增強骨骼的可視化效果．本文提出方法的局限性在于使用了不重疊的滑動窗口進行特征提取，對于低分辨率的偽CT圖像，其中的細節沒有得到很好的保存．未來考慮使用重疊的滑動窗口以保留上下文和細節．

[1] 戴于翔．基于深度卷積神經網絡的磁共振圖像重建算法研究[D]．南京：南京信息工程大學，2020．

[2] Emami H，Dong Ming，Nejad-Davarani S P，et al．Generating synthetic CTs from magnetic resonance images using generative adversarial networks[J]．Med Phys，2018，6（3）：15-24．

[3] 劉艷菊，王秋霽，趙開峰，等．基于卷積神經網絡的熱軋鋼條表面實時缺陷檢測[J]．儀器儀表學報，2021，42（12）： 211-219．

[4] Liu Yanju，Li Yange，Yi Xinhai，et al．Lightweight VIT Model for Micro-Expression Recognition Enhanced by Transfer Learning[J/OL]．Front Neurorobot，2022，16：922761．https：//doi.org/10.3389/fnbot.2022．

[5] 劉艷菊，伊鑫海，李炎閣，等．深度學習在場景文字識別技術中的應用綜述[J]．計算機工程與應用，2022，58（4）： 52-63．

[6] Yang M，Zheng H，Bai X，et al．Cost-Effective Adversarial Attacks against Scene Text Recognition[C]//2020 25th International Conference on Pattern Recognition（ICPR）．IEEE，2021：2368-2374．

[7] 郭淑娟，高媛，秦品樂，等．基于多尺度邊緣保持分解與PCNN的醫學圖像融合[J]．計算機工程，2020，3（2）：10-14．

[8] Litman R，Anschel O，Tsiper S，et al．Scatter：selective context attentional scene text recognizer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．2020：11962-11972．

[9] Radwan M A，Khalil M I，Abbas H M．Neural networks pipeline for offline machine printed Arabic OCR[J]．Neural Processing Letters，2018，48（2）：769-787．

[10] 梁嵐青，黃玉榮，孟玲玲，等．緩和醫療理念在頭頸部腫瘤患者放療期間的應用探索[J]．解放軍醫學院學報，2020， 41（5）：493-497．

Dose prediction of radiotherapy based on stacking generalization learning model

LIU Yanzhong，ZHANG Huiyu，LI Yange，YI Xinhai

（School of Computer and Control Engineering，Qiqihar University，Qiqihar 161006，China）

In view of the lack of direct correlation between CT electron density and MRI-based radiotherapy，a patch-based feature extraction based on fused image and a stacking generalization-based learning model to predict dose are proposed，which is established the mapping of HU（Houssfield Unit）value of CT scan features to MRI data．The learning model is divided into two layers．The first layer is used to learn the multimodal feature extraction from fused image．The second layer is used for the generalized fusion of the stack，and the mapping error is minimized between the HU values using the CT scan features and the MRI data．Experiments show that quality of dose prediction for brain tumor in radiotherapy with MRI in brain regions is 10%～14% higher than traditional methods．

radiotherapy；dose prediction；stack generalization learning model；magnetic resonance imaging

1007-9831（2022）08-0041-04

TP751

A

10.3969/j.issn.1007-9831.2022.08.009

2022-03-26

黑龍江省教育廳基本科研業務費科研項目（135309466）

劉彥忠（1971-），男，黑龍江齊齊哈爾人，副教授，碩士，從事像融合與醫學仿真研究．E-mail：15146692464@163.com