基于卷積神經網絡與長短期記憶網絡的醫學影像數據管理方法研究

黃江珊 高 娃 宿 靜 王偉麗

上海城建職業學院，上海，201415

海量醫學信息的數字化和就診流程的電子化，適應了人口迅速增多、老齡化趨勢加快、慢性病患者群體增長的社會現狀[1]。與此同時，醫學影像數據迅猛增長，醫學影像數據能夠為醫生的疾病診斷提供關鍵性的決策支持，但目前大多數的CT、MRI、X光片、B超、彩超等醫學影像信息只是經過簡單的儲存、提取和統計，用于滿足基礎的查詢檢索需求，而大量蘊含價值的醫學影像數據沒有被有效利用起來，造成嚴重的信息資源浪費，醫療工作者也很難從以往珍貴的患者影像中挖掘出更多有研究價值的信息，從而達到預測疾病的發展趨勢和發現其中隱含的規律等目標[2]。為此，本研究借助卷積神經網絡(Convolutional Neural Network，CNN)與長短期記憶網絡(Long-Short Term Memory，LSTM)，提出醫學影像數據管理的一般方法，將復雜的醫學影像通過模型的自動學習轉化為可供直接利用的文本診斷數據(病情描述和病情診斷)，采用統一的DICOM標準(Digital Imaging and Communication in Medicine，醫學數字圖像和通信)，在同一信息模態下關聯患者信息、病案信息，以期實現醫學影像數據的深度管理開發與利用，為后續的臨床病例診斷提供參考。

1 資料來源與方法

1.1 資料來源

醫學影像主要包括CT、MRI、X光片、B超、彩超等，多用于檢查人體的胸、腦、肺、乳腺、肝臟、甲狀腺等部位[3]，伴隨著醫學影像的生成，患者的姓名、年齡、性別、看診時間等文本信息等也會記錄保存下來。本研究中的患者信息包括：患者ID、姓名、性別、年齡、身份證號、家庭住址、聯系電話、就診時間、門診號碼、住院號碼、就診科室、檢查部位、檢查技術、初診疾病、影像信息、檢查結論等[4]。醫學影像及診斷信息常存儲于醫院不同類別的醫學影像數據庫及信息系統中，而本研究主要是基于江蘇大學附屬醫院信息科提供的醫學影像數據。

1.2 研究方法

本研究利用CNN-LSTM對醫學影像進行自主學習，以識別甲狀腺良性、惡性結節為例，具體過程包括：數據采集、數據加工、數據組織、數據的關聯存儲、數據應用5個階段，其中數據組織與數據的關聯存儲階段是本文重點。將經過CNN-LSTM提取過特征的海量影像數據有序組織，生成結構化的醫學影像描述和醫學診斷(標簽)，具體思路如圖1所示。

本研究采用深度學習中具有代表性、應用范圍最廣的CNN，融合主流處理時序數據的LSTM，利用CNN-LSTM即可挖掘低層次圖像特征并能有序組織這一特性對醫學影像進行自主學習，以識別甲狀腺良性、惡性結節為例[5]，對醫學影像及診斷信息進行組織管理，再將醫學影像、患者信息、病案信息以及病種信息關聯存儲，為醫學影像管理提供一般方法的同時，為醫學影像數據的進一步開發與利用提供了信息保障。

圖1 醫學影像數據結構化流程

2 結果

2.1 數據采集

在對醫學圖像進行數據處理前，為了使醫學影像的識別精度更高、實際操作更具有可行性，本研究選取患者甲狀腺結節部位的B超影像作為樣本數據。

從成像設備中采集到的醫學影像包含著大量的噪聲。為精準地分割、檢測甲狀腺結節，需要進行去除圖像中的噪聲，增強圖像中結節區域。基于江蘇大學附屬醫院信息科提供的醫學影像數據來源，在實驗數據準備階段，圖像數據集被分割為訓練集和測試集，以便最后得到識別模型的最佳參數[6]。首先，讀取甲狀腺結節的B超數據，包括至少5000張良性結節的圖像和至少5000張惡性結節的圖像；其次，對甲狀腺結節圖像進行預處理，進行圖像灰度化，并利用周圍像素點的灰度值去掉超聲圖像中醫生為測量結節相關量做的標記，利用高斯濾波去噪；最后利用灰度直方圖均衡化增強對比度，得到預處理后的增強圖像。

2.2 數據加工

選取需要訓練的醫學圖像，利用CNN自動學習分割出結節部分與非結節部分，結節部分就是感興趣區域，這個過程就叫做提取感興趣特征，接著并對結節形狀進行細化。首先選取經過預處理后的增強圖像10000張，包括良惡性結節各5000張。其次對每一張圖片，首先手動截取出結節部分與非結節部分，然后通過CNN訓練出適合甲狀腺良惡性結節識別的CNN-LSTM模型，模型結構如圖2所示。

圖2 CNN-LSTM混合模型結構

該混合模型是由13層卷積層、2層下采樣層組成的，卷積層的卷積核的大小分別為：第一層為13×13，第二層與第三層為5×5，其余各層為3×3。卷積層的步長分別是：前兩個卷積層是2，其余的都是1；下采樣層的大小都是3×3，步長都是2。

通過設計好的CNN的卷積層與下采樣層自動學習特征，并提取出特征，并利用這些提取好的特征結合Softmax函數自動識別出結節，確定好自動分割的模型。利用CNN自動分割所有甲狀腺的結節，即區分出結節區域與非結節區域，找到結節區域的邊界，并對分割出的結節形狀進行細化，即通過腐蝕、膨脹形態學算子進行填洞以及去掉與非結節區域的連接[7]。

最后利用步驟二得到的模型對所有的甲狀腺結節圖片進行自動分割，得到感興趣區域，即所有的良惡性結節。

2.3 數據組織

將自動分割出的感興趣區域平均分成P組，對數據進行歸一化，即自動分割出結節后，提取出這些結節的特征，對這些特征進行線性變化，使結果值映射到[0，1]。選出p-1組數據做訓練集，剩余一組做測試，通過CNN訓練出識別模型進行測試。

LSTM由若干個循環連接記憶塊構成，每個記憶塊都至少包含一個記憶細胞，同時還具有輸入門，消除門和輸出門這3個控制信息的開關[8]。記憶細胞具有記憶某一時間段信息的特點，因此LSTM通過記憶之前某一時刻的文本信息，可以充分學習事件上下文信息內在關系，以實現深入發掘信息文本序列中內在有序性的目的。

基于LSTM與Softmax分類器對提取后特征后的醫學影像進行結構化時序組織用于分類識別，將CNN分割與特征提取后的歸一化向量，作為全連接層后的LSTM的輸入。LSTM會充分挖掘圍繞醫學影像的抽象序列關系特征，將經過CNN標注后圖像生成的向量進行特征合并，組合生成具有時序特征的字符描述。最后將LSTM輸出的特征信息輸入Softmax分類器中，實現對疾病的分類識別，具體如圖3所示。

圖3 CNN-LSTM模型流程

在分類識別過程中，因為結節的良惡性作為結果互斥，不適合采用組合分類器，所以本文利用一種Softmax分類，該模型由logistic線性模型演化而來，logistic模型常用于處理兩類分類問題，而Softmax分類器主要用于解決類別數(c≥2)的多分類問題[9]。但由于本文案例中的甲狀腺結節只有良性、惡性之分，故采用只有兩分類的Softmax分類器，求解一個損失函數的最優值，Softmax分類器的類別數等于2。Softmax識別過程輸出一個概率值，當損失函數中的指示性函數的值為真時，結果為1，否則結果為0，將結果值映射到[0，1]。根據Softmax給出的概率可以得到將所有的結節區域與非結節區域區分開的一個概率圖。通過梯度下降方法就能得到屬于良性結節還是惡性結節的概率。重復進行測試，做對于P組數據，每次選出P-1組數據訓練，余下的做測試，得到識別模型的最佳參數，最終確定基于CNN自動識別甲狀腺結節良惡性的識別流程。

2.4 數據關聯存儲

采用CNN-LSTM模型對醫學影像進行組織管理，最終要通過某種媒介或載體存放挖掘過的醫學影像數據，還要實現對醫學影像數據、患者信息和病歷信息等文本數據的關聯儲存和管理，將醫學影像的智能識別與其他文本信息結合，為病情描述、病情診斷等結構化數據的形成提供數據保障。同時只有將數據關聯存儲好，才能讓醫學影像數據分析的價值得以實現，更好地服務于醫療和社會。

基于DICOM標準建立MIID(Medical Image Intelligence Database，醫學影像智能數據庫)，該標準是為了實現不同醫學影像設備之間的數據通信而制定的關于醫學圖像和相關信息領域的國際標準[10]。MIID是用來儲存大量醫學影像并可以進行調用、查詢等功能的系統，為實現圖像信息應用提供了基礎平臺，也是醫學影像存檔和通信系統、醫院信息系統和其他醫學影像信息系統的重要組成部分。MIID醫學影像智能數據庫是基于DICOM 標準，結合醫學影像存檔和通信系統設計搭建的。MIID是由DICOM 接口模塊、用戶接口模塊和醫學影像智能數據庫構建三部分組成。

2.4.1 接口模塊。DICOM 接口模塊輸入聯機的醫學影像，提供符合醫學數字影像通信標準DICOM的接口，實現各種醫學影像設備之間進行數據交換，例如：斷層攝影CT設備、核磁共振成像MRI設備、超聲波檢查設備、膠片數字化系統、視頻采集系統和醫院信息管理系統等。

2.4.2 用戶接口模塊。用戶接口模塊主要負責與醫院的門診系統、放射科成像系統、信息科內部的集成平臺等關聯起來，提供患者信息、病歷信息的錄入與查詢，醫學影像的顯示、檢索、歸類、處理，會診結果查詢等。

①影像歸檔。根據不同影像各自的類型，將輸入的醫學影像歸檔到對應的目錄下。

②影像檢索和查詢。根據患者姓名、身份證號、門診號碼、住院號碼、就診部位、檢查時間等檢索項進行檢索，查詢并顯示檢索后的信息。

③影像文件的處理。采集影像文件，可以實現影像的黑白翻轉、影像增強、任意放大裁剪、調節影像顯示模式等。對影像進行預處理、基于深度學習模型提取特征信息、識別分類影像文件。通過計算機網絡保存影像文件到智能影像數據庫。

④影像文件格式轉換。將B超、彩超等影像文件格式轉換成BMP、JPG、TIF等文件格式。

⑤病案信息、患者信息的錄入。伴隨著患者影像的生成，病歷信息、患者個人信息也應被一同錄入用戶接口，在數據庫內部實現彼此的數據關聯，利用唯一的主鍵將患者信息、影像信息等聯系在一起；

⑥影像、文本等信息的刪除。若發生錄入信息錯誤，圖像歸類失誤的情況時，可進行刪除操作，也可減少占用數據庫空間。

2.4.3 智能數據庫構建。采用統一DICOM通信標準，建立患者信息表、影像信息表、病案表和鏈接表，在智能數據庫中實現同一信息模態下影像信息與患者信息、病案信息的關聯，為后期醫療大數據的分析利用提供信息基礎。

①患者信息。DICOM標準中涵蓋了以數據元素的形式的各類數據。一個數據元素是由標簽(Tag)，值類型(Value Representation，VR)，值長度(Value Length)和值(Value Content)4個部分來組成[11]。設計數據庫表-患者信息表(Patient Table)，具體如表1所示。

表1 患者信息

②影像信息。不同格式的影像文件通過DICOM接口傳輸到智能影像數據庫，包括圖像編號、圖像UID、圖像類型、圖像寬度、圖像高度、窗位、窗寬、字節順序等。設計數據庫表-影像表(Image Table)，具體如表2所示。

表2 影像信息

③病案信息記錄的是病人每一次就診產生的病案記錄，設計數據庫表-病案表(Illness Table)，具體如表3所示。

表3 病案

④關聯信息。以BMP(Bit MaP)、JPG(Joint Picture Experts Group)、TIF(Tagged Image File Format)等格式影像、掃描儀生成影像為代表的影像信息、患者信息、生成的病案信息等關聯在一起加入到影像數據庫。

為了實現讓影像數據、患者數據、病案數據進行關聯，設計數據庫表-鏈接表(Link Table)，如表4所示，將影像UID、患者ID、病案ID關聯在一起，以便下一步的對醫學數據的開發與利用。

表4 鏈接

3 討論

借助CNN-LSTM對醫學影像進行有序化組織，將未標注的非結構化的醫學圖像轉化為結構化的文本數據，基于DICOM標準將影像數據與患者信息、病案信息、病種信息關聯起來，對非結構化形式的醫學影像數據進行有效管理與挖掘，為醫學影像管理提供一般方法的同時，為醫學影像數據的進一步開發與利用提供了信息保障。醫學影像數據應用主要包括智能醫療輔助診斷的推動與發展、醫學影像元數據格式與傳輸標準的規范、人類流行病的預測預防、個人健康檔案的構建這4個領域。

3.1 醫學影像數據可應用于智能醫療輔助診斷

近年來，國內外正處于人工智能醫療的風口，我國相關國家部門相繼出臺政策及措施鼓勵支持人工智能醫療的發展[12]。本研究在這此時代背景下，借助深度學習模型，深度開發利用醫學影像數據的有用價值，將訓練好的數據集與患者信息、病案信息、病種信息等多模態醫療數據關聯存儲在數據庫中，這為智能診斷輔助平臺實現對患者病情的智能診斷提供了信息保障，可以減少醫生讀片時間，提高醫生判定的準確率和工作效率，降低臨床漏檢率，協助醫生診斷；同時可以對疾病進行監控、預測、預防與診治，提早發現潛在疾病與易復發疾病，及時得到醫療救治。

3.2 醫學影像數據可應用于醫學影像元數據格式與傳輸標準的規范

本研究中的醫學影像、患者信息、病案信息以及病種信息的交互與關聯都是基于統一的DICOM標準，但目前不同承接商為了滿足不同醫院的信息需求，建設的業務模塊都是以分散的模式存在的，醫院各信息系統設計的標準不盡統一，很難實現同一醫院內或不同醫院間集成管理與資源的共享、共建。因此，統一醫療信息標準，規范醫療元數據格式十分重要，這不僅可以提倡多方參與標準管理工作，還可以完善醫療大數據標準管理平臺、促進醫療大數據標準體系的建立與施行。

3.3 醫學影像數據可應用于人類流行病的預測預防

人工智能在進行疾病的篩查和預測過程中，可以通過影像檢查結果中去發現疾病的端倪，從而實現對流行病的預測預防。通過統一的患者ID將患者信息、病案信息、病種信息與醫學影像信息四者關聯起來，利用海量醫療大數據優勢，其中涵括的患者年齡、地址、發病預兆、診斷結論等信息為后續疾病預測有著極大的借鑒作用。

同一醫院的歷史醫療數據或是不同醫院間某類疾病的醫療數據，對其加以整合利用，讓計算機工具主動學習醫療數據中蘊含的內在規律，訓練好的輔助診斷工具可以在對患者進行疾病診治時，察覺患者的潛在疾病風險，對易發生疾病加以預防，也可以培養居民個人健康習慣。

3.4 醫學影像數據可應用于個人健康檔案的構建

面向個人健康是未來醫療事業發展的重要方向之一，2009年我國衛生部發布試行數據集編制規范，其中對數據集元數據描述規則、數據元分類代碼進行了規范[13]。本研究對醫學影像等信息統一描述，規范其元數據格式，在數據采集過程中，對醫學影像及其醫療信息的采集標準進行了要求；在數據關聯存儲環節中，對各醫療數據的元數據命名作出統一規范。醫學影像數據管理方法的提出，有利于居民對自身的健康狀況、身體變化過程進行統一規范記錄，對社會個人來說，可以及時預防預測自身的健康狀況，抵抗患大病、慢性病風險；對于醫務工作者，可以為患者提供直接準確個性化的診治和預防醫療服務。

4 結論

目前醫學影像數據管理在實際應用層面，特別是在基層中小型醫院，仍因多種復雜因素，只是對醫療信息系統建設與管理的進一步完善或單一疾病醫學影像數據庫的構建進行研究[14]，不能實現對醫學影像數據的有效利用與開發，借助新興的CNN-LSTM，基于DICOM標準對醫學影像數據進行采集、加工、組織、存儲、利用，將其轉化為結構化的文本診斷數據，可進一步為非結構化醫學影像數據管理與智能診斷的有效結合提供信息保障，推動智能醫療事業的發展，同時也為醫學影像數據的管理提供一種一般方法。但本研究也存在著一些不足，深度學習方法的過程不可見，訓練時間過長，缺乏普適性，無法拆解出具體的智能化業務規則，而且高度依賴標注好的圖像數據；此外，臨床需求復雜，花費大量精力訓練好的數據不能完全保證精準度，若發生誤差，醫生再進行復檢，也是對醫療人力的一種消耗；因缺乏統一的質量評估框架，各大醫院采集到的數據存在著大量的噪聲[15]，建立行業類規范科學的醫學影像標準迫在眉睫。

國際上運用深度學習模型進行病情診斷處于應用起步階段，大多數公司的人工智能產品還處于研發打磨階段[16]。本研究從圖書情報領域出發，立足于對醫學影像數據的管理與利用，利用深度學習模型CNN-LSTM，以甲狀腺良惡性結節B超影像為例，將非結構化的醫學影像轉化為可直接利用的文本診斷數據，在同一模態下與患者信息、病案信息關聯起來，通過CNN自主學習特征的優勢，對海量的醫學圖像大數據進行加工與組織，再將訓練好的數據集儲存在MIID數據庫中，當未標注的醫學影像輸入輔助診斷系統中，可輸出結構化的文字病情診斷描述，這為醫學影像數據的管理提供了一般方法，也削減了醫生讀片時間，提高醫生判定的準確率和工作效率，降低臨床漏檢率，協助醫生診斷。