基于深度學習的病歷自動生成研究

摘要：針對醫生高強度的閱片和病歷撰寫工作耗時費力、重復枯燥，占用大量的工作時間等問題，提出了一種基于深度學習的病歷自動生成方法。利用預訓練的ResNet-101對X光影像數據的特征進行提取，將提取的特征輸入LSTM進行相對應的診斷結果的預測，進而實現病歷的自動生成。實驗結果表明，利用深度學習技術能生成較高質量的病歷。

關鍵詞：病歷自動生成;ResNet-101;深度學習;X光影像;LSTM

1引言及背景

隨著社會的不斷發展和生活水平的不斷提高，醫療技術也不斷發展豐富，普通 X 線攝影，計算機斷層掃描（CT），以及磁共振成像（MRI）的出現，極大提高了疾病的診斷率。但隨著醫院病人逐年增多，醫生的數量遠遠不足。如何使相對匱乏的醫療資源滿足人們對健康的需求，是當前迫切需要解決的問題。

隨著近年來深度學習和計算機硬件的飛速發展，醫學病歷的自動生成成為了近年來計算機與醫療圖像新興的交叉方向[1]。因此，通過深度學習的方法，使用計算機代替醫生進行機械的影像報告撰寫工作，這樣既避免了經驗不足的醫生在閱片診斷中產生的誤診情況，又使得更多的資深醫生可以從繁重的重復性工作中解脫出來，將更多的時間投入病人的診治中去。

2算法設計

本文先使用ImageNet預訓練的ResNet-101模型對病人的X光影像數據進行圖像特征提取;隨后講與影像對應的病歷進行預處理，包括構建字典，數據對齊，字詞向量嵌入等過程得到文本特征;最后將圖像特征與文本特征一同輸入LSTM網絡，對病歷進行預測。本文算法流程圖如圖1所示。

2.1圖像特征的提取

本文結合選取ResNet-101的方法來實現X光影像的快速特征提取。ResNet網絡在2015年被提出時以精妙的殘差連接極大增強了模型的圖像特征提取能力，并在ImageNet分類任務上獲得第一名。ResNet-101是指卷積層和全連接層合計101層的ResNet的改進網絡。通過在ImageNet數據集上進行預訓練，使得網絡具有很強的圖像特征提取能力。

2.2文本特征的提取

要對病歷中的文本進行特征提取，首先需要選取合適的詞向量生成模型將文本隱式轉換到文本特征空間。不同于經典詞向量生成模型，如Word2Vec，Glove，本文直接使用Embedding層進行詞向量的生成，這極大降低了詞向量的生成時間。此外，本文將英文病歷語料分為詞向量粒度和句向量粒度，使用不同的模型進行特征提取，隨后將其進行拼接，這使得生成得文本特征包含一定的上下文信息。

3實驗

3.1 實驗設計

為驗證本文算法，本文模型采用PaddlePaddle2.0進行實現，運行環境為Linux系統，V100-32G顯卡，32G內存。使用數據為印第安納大學胸部 X 射線數據集，該數據集包含 7，470 對X 射線圖像及其相應的診斷報告。訓練批次數量為32，學習率為0.001，將模型訓練50次，損失函數采用交叉熵損失函數。

3.2 實驗結果

如圖2所示，將一張X光數據送入訓練好的模型即得到訓練結果。

通過對比輸出結果與真實標注結果，不難發現，模型的輸出結果與真實標注語義上有所吻合，這說明模型學到了文本特征與圖像特征的映射關系。生成的文本較短，這可能是由于數據量較少使得模型學習能力不夠。

4總結

通過預訓練的卷積神經網絡有效提取圖像特征，應用Embedding層快速提取病歷的文本特征，最后通過LSTM網絡即能對病歷進行生成。本文論證了利用深度學習技術對X光圖像進行病歷生成的可行性

參考文獻：

[1]姜會珍，胡海洋，馬璉，趙從樸，張鋒，陳婕卿，曾可，王曉露，朱衛國.基于醫患對話的病歷自動生成技術研究[J].中國數字醫學，2021，16（10）：36-40.

作者簡介：徐鵬（1997-2），性別：男，民族：漢，籍貫：陜西省咸陽市，學歷：碩士研究生，單位：重慶交通大學信息科學與工程學院，研究方向：醫學影像處理 ?單位所在地和郵編：重慶市 400074