體檢報告數字化智能分析

李慧敏，張宏杰，劉復昌

(1.浙江省立同德醫院 檢驗科，浙江 杭州 310012；2.杭州圖檢智能科技有限公司，浙江 杭州 311100；3.杭州師范大學 信息科學與技術學院，浙江 杭州 311121)

隨著生活水平的不斷提高和人們健康意識的不斷增強，越來越多的人開始進行健康體檢。健康體檢是了解身體狀況、預防疾病的一種有效方法。但體檢報告中包含大量醫學詞匯和指標數據，非醫學人員無法全面直觀地了解報告中包含的信息，也無法快速得知體檢結果與歷年體檢結果的差異和快速獲取專業的醫療建議，導致不能全面發揮健康體檢的價值。據統計，2018年以來我國大城市工薪階層中大概超過70%的人身體處于亞健康狀態[1]。同時，我國也面臨著醫療資源分配不均等現狀[2]。

人工智能(artificial intelligence，AI)技術提供數據分析技術指標，具有彌補醫療資源短缺、協助醫生診斷等優勢[3]，AI技術輔助醫療已是大勢所趨。為更好地發揮健康體檢的作用和更好地改善人們的健康，將健康體檢與人工智能相結合，設計一款基于深度學習方法的體檢報告智能交互系統，幫助體檢者更便捷直觀地了解體檢結果、快速獲取專業的健康指導建議，即通過對人們的亞健康進行干預從而達到改善人們健康目的的體檢報告數字化智能分析系統，是當前比較有價值的一項研究和應用。

1 方法

1.1 體檢報告文本分割 U-Net(U型網絡)以其優秀的分割效果常用于醫療影像圖像分割[4-6]。本系統借助U-Net網絡進行體檢報告文字分割。本研究的數據集是從醫院獲取的1 000份體檢報告，通過從掃描的圖片中選擇1 500張包含要識別重要文字的圖片作為訓練數據集，使用Labelme軟件標記mask的形式對每行文字進行標記用于后續模型訓練。由于圖像分割是像素級操作，特別是文本區域分割，在文本間距較近的情況下容易出現錯誤。Yu等[7]提出一種新的卷積方式——空洞卷積[8]，空洞卷積主要作用是減小模型計算量提高網絡的性能。本文改進的U-Net 網絡將第一層中最后一個卷積操作替換成空洞值為1的空洞卷積。

1.2 體檢報告文本識別

1.2.1 生成訓練數據集(train datasets，TD) (1)語料庫獲取。體檢報告文本具有豐富的語義信息，且含有大量專業的醫學詞匯，無法通過隨機組合漢字的方式生成。所以通過目前合作者提供的1 500份體檢報告數據，對數據進行清洗整理，剔除無用重復信息，組成需要的語料庫共計119萬字符。(2)選取特定長度字符。語料庫中句子長度不一，生成訓練集時需要對每句進行分割合并，得到固定長度文本，每張圖像固定為10個字符。(3)選擇字體和字號。由于受到用戶手機鏡頭到報告的距離的影響，字號一般在18～24間變化。針對漢字和英文字符字體選擇等線字體。(4)添加噪聲與模糊處理。在用手機拍照生成圖像的時候，通過隨機添加噪聲和模糊濾波，來模擬用戶真實的拍照效果。生成得到30萬張體檢報告訓練數據集。

1.2.2 制作測試數據集(test datasets，TS) 首先將體檢報告用A4紙打印，然后使用手機拍攝30張體檢報告圖像，通過手工裁剪出含有體檢報告文本的區域300 張圖片，總計3 752個字符，作為測試例，稱為TS。本研究采用動態時間調整(dynamic time warping，DTW)的方法計算字符提取準確率。假設識別一張包含體檢報告文字的圖片，它的標簽為Q=“請注意口腔衛生”，而識別結果為C=“請注意口空衛”，虛線表示經過的路徑，矩陣中的數字則為到達該點累計的距離。圖片準確率為(7-3)/7=57.1%。對比百度光學字符識別(optical character recognition，OCR)、Tesseract以及兩層、三層、四層LSTM的CRNN網絡結果，如表1所示。體檢報告文本比較簡單，故而各個模型得到的準確率都較高。通過實驗得知，我們的方法(三層LSTM的CRNN)文字識別網絡具有較高的準確率和效率。

表1 模型識別指標對比

1.3 體檢報告智能交互系統 基于前面方法構建基于深度學習體檢報告智能交互系統，結合Jieba技術[9]對識別到的文本進行分詞和關鍵詞匹配，再在APP界面上進行展示與交互。點擊APP終端詞云可以獲取專業的健康建議。系統記錄體檢報告圖片，形成一個長期基于用戶體檢報告的健康建議報告，讓體檢者能夠對自身的健康有一個長期的監控。該APP的系統流程如圖1所示。

圖1 APP系統流程圖

系統實現。APP采用聯合應用(unite-application，Uni-app)框架，Vue是一個跨平臺的前端應用框架，開發者只需一次開發，便能得到發布到蘋果手機操作系統(input output system, IOS)、Android等平臺的軟件。所以前端采用Vue+Uni-app+Echarts實現，Echarts主要用來顯示體檢報告關鍵詞提取結果以及完成交互效果。服務器端采用Springboot框架，數據庫使用結構化數據庫語言(structure quest language，MySQL)。體檢者上傳圖片到服務器，服務器完成關鍵詞提取并存入數據庫中供歷史查詢，同時傳給前端進行詞云展示。

體檢報告關鍵詞提取分兩步驟：文本分詞與詞匹配。文本分詞，指將字符串按照特定的規則分割成詞的集合。中文分詞詞語之間沒有英文那樣的分隔符，且非常復雜，需要消除歧義，識別未登錄詞。本文使用開源Jieba分詞工具進行分詞。醫學名詞專業性強，往往是由多個簡單詞組成的組合詞，比如左側腦供血不足，此類詞語歸類于未登錄詞。Jieba對于未登錄詞采用了隱馬爾可夫模型[10](hidden Markov models，HMM)，模型使用了Viterbi[11]算法。Jieba分詞模式分為全模式、精確模式和搜索引擎模式三種。全模式盡可能地把所有詞都切分出來；精確模式試圖進行準確地切分詞；搜索引擎模式在精確模式基礎上對較長的詞語進一步切割。Jieba分詞還支持自定義詞典，需要新建基于前綴詞典dict.txt，在切分句子時把不能切分的詞語進行保留，該詞典中的詞語便是未登錄詞。在本系統中，由專業的醫生總結歸納了163個醫學詞匯記錄在前綴詞典 dict.txt 中，在分詞的時候保證不被切分。

1.4 關鍵詞健康數據庫建立 針對體檢報告上關鍵詞的專業性建議以及對應的癥狀和描述，主要來自于對第九版內科學、外科學、診斷學等人衛版醫學教材與網絡公開醫療資源的整理，已獲得100個關鍵詞的醫療建議，大致涵蓋了體檢常見疾病。

2 系統效果

2.1 登錄界面 登錄界面包括用戶名、密碼兩個輸入框。登錄界面如圖2所示。

圖2 登錄界面

2.2 交互界面

2.2.1 關鍵詞展示 體檢者將體檢報告圖片上傳到服務器，經一系列算法處理后可得到關鍵詞。前端可視化將關鍵詞展示到交互界面上。交互界面如圖3所示，點擊“心律失?！标P鍵詞，APP會使用灰底白字將針對的專業建議顯示出來。

圖3 交互界面

2.2.2 歷史體檢報告查詢 歷史查詢界面可以查詢體檢者過往的所有體檢報告關鍵詞提取記錄。圖4展示了從數據庫中檢索某一體檢者多年提交報告提取關鍵詞的結果，并用折線圖的形式展示多次體檢之間的差異，給予體檢者近年來身體狀態最直觀的動態變化。同時，點擊相應的點可以獲取對于上一次體檢報告新增的關鍵詞，圖4中可見，該體檢者在2019年12月體檢新增“肥胖”關鍵詞，系統會提示該體檢者需要注意合理飲食、減少攝入高糖高脂類食物、加強體育鍛煉等。

圖4 個人體檢報告關鍵詞歷史變化趨勢

2.2.3 醫療建議 系統測試了200份體檢報告，包含1 268個關鍵詞，系統提取到了1 192個，關鍵詞提取準確率為94%，準確度高，交互系統結果可靠。體檢報告的關鍵詞詞云效果如圖5所示，常見關鍵詞有“肥胖、結節、血脂高”等，點擊每個關鍵詞，智能交互系統會給出相應的專業醫療建議。下面是系統對體檢常見的三個疾病給出的醫療建議的文字描述細節。

圖5 界面識別關鍵詞顯示效果

“血糖升高”：在排除應激、藥物影響等短暫血糖波動的情況下，當血糖大于7.0 mmol/L時，請及時到醫院內分泌科就醫；當空腹血糖為6.1～7.0 mmol/L時，建議使用粗糧和蔬菜替代高糖、高脂類食物，加強體育鍛煉，肥胖者必須減重、戒煙戒酒、定期隨訪復查血糖，若血糖沒有改善請及時到醫院內分泌科就診。

“咽炎”：若有咽部干灼、疼痛或者聲音嘶啞的急性咽炎癥狀時，請及時到醫院耳鼻喉科就診；若僅表現為長期的咽部不適，干嘔等慢性咽炎癥狀時，建議多喝水、注意口腔衛生、避免辛辣食物、避免飲食過多和飯后就躺的習慣，必要時可使用咽喉含片。

“腎結石”：若有持續的腰背部等腎區疼痛或者血尿，請及時到醫院泌尿外科就醫；若體檢者無其他不適癥狀，建議多飲水、減少碳酸飲料的攝入、避免久坐等。

3 總結與展望

隨著我國人口老齡化進展以及亞健康和慢性病的增多，人們對健康的需求日益增加。自從2017年國家提出將人工智能應用到醫療行業以來，智能化醫療軟件和設備的研發成為醫療行業的一大熱點。

目前，人工智能在醫學影像的識別[12]、疾病的輔助診斷[13]、藥物的研發[14]等方面有了越來越多的研究與應用，但是人工智能在健康體檢方面的應用較少。目前大多數體檢者是根據體檢報告單的結果主動去醫療APP上查找某一指標的意義或者某一疾病的病因及醫療建議，且要主動去查找歷年體檢報告，自行比較后，才會發現每年體檢結果的變化，比較耗時耗力。顧東興等[15]設計的一款微信小程序，雖然將人工智能應用到體檢，簡化了體檢流程，開展了健康評估、疾病動態監測等服務，但該程序目前只適用于上海市體檢者，其他地區尚未開展。

本研究設計的一款體檢報告智能交互系統，可以幫助體檢者更直觀地解讀體檢報告，自動展示個人歷年體檢結果新出現的不同關鍵詞，并根據體檢所反映的健康問題直接快速提供專業合理的建議，不用體檢者自行發現與查找，非常高效且簡便。與顧東興等設計的微信小程序相比，無論體檢者在哪個城市，是否是在同一家醫院體檢，只要體檢者輸入體檢報告照片進入該交互系統，該系統就可以保存記錄，并自行比較歷年體檢變化和給出相應醫療建議及需要就診時給出就診科室建議等。

對于高血壓、糖尿病等慢性病，要長期監測血壓、血糖等指標的動態變化。目前該系統尚不能對同一指標數據進行跟蹤分析其歷年變化趨勢。同時，醫療大數據具有一定隱私性、安全性等。我們接下來將從以下方面對該系統進行完善：①通過對體檢者體檢報告各項指標的歷年數據進行大數據分析，挖掘出各項指標變化與疾病之間更多的潛在聯系，給體檢者提供更多更全面的醫療建議；②進一步完善健康數據庫，擴充更多類型的疾病關鍵詞的專業建議；③對該系統進行加密，保護體檢者隱私，確保數據安全。

綜上，該交互系統使體檢者不僅可以了解自身健康狀況、了解某一疾病的動態變化，還可以獲得科學的健康改進建議，做到疾病早發現、早干預、早治療，努力改善體檢者的身體健康，使體檢更有實際意義。