MPR 在人工智能肺炎輔助診斷系統(tǒng)中的研究與實(shí)現(xiàn)?

左其群

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 鎮(zhèn)江 212003）

1 引言

今年以來，隨著新冠病毒的突然爆發(fā)，肺炎的致死率逐漸上升，肺部疾病的早期篩查顯得尤為重要。2020 年1 月國家衛(wèi)生健康委員會(huì)將新型冠狀病毒感染引起的肺炎納入乙類傳染病，并按甲類傳染病管理［1~2］。各省市隨即啟動(dòng)重大衛(wèi)生事件一級(jí)響應(yīng)，實(shí)行嚴(yán)格的防控措施，當(dāng)前新冠肺炎已經(jīng)形成全球性衛(wèi)生事件。2 月，世界衛(wèi)生組織將新型冠狀病毒引發(fā)的疾病正式命名為新型冠狀病毒肺炎（Coronavirus Disease 2019，COVID-19）［3］。目前國內(nèi)疫情主要以輸入性病例為主，病例多見輕度和中度，因此需要快速準(zhǔn)確地定位早期肺炎病灶。

2 MPR 在肺炎輔助診斷系統(tǒng)的必要性及其優(yōu)勢(shì)

臨床中常用的醫(yī)學(xué)影像模態(tài)有多種［4］，包括電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT）、正電子發(fā)射計(jì)算機(jī)斷層顯像（PET-CT）等，不同模態(tài)的醫(yī)學(xué)影像適合觀察不同類型的生理病理信息，其中CT 影像作為計(jì)算機(jī)輔助醫(yī)療的重要媒介，承載了豐富的診療信息，在疾病診斷中不可或缺，是以非侵入式的方式取得內(nèi)部組織成像［5］，結(jié)構(gòu)清晰，成為閱片醫(yī)生診斷疾病、評(píng)估診療的重要工具。從胸部CT圖像中將病灶精準(zhǔn)地分離出來對(duì)于實(shí)現(xiàn)肺炎患者的早發(fā)現(xiàn)、早隔離、早治療有著重要的意義和價(jià)值。隨著科學(xué)技術(shù)的發(fā)展和醫(yī)學(xué)影像應(yīng)用的推廣，例如PACS系統(tǒng)，有越來越多的醫(yī)學(xué)影像需要醫(yī)生去解讀［6］，醫(yī)學(xué)影像閱片逐漸成為一個(gè)挑戰(zhàn)性的工作［7］，在此形勢(shì)下，基于人工智能的輔助診斷系統(tǒng)應(yīng)運(yùn)而生，但如何將三維重建影像和病灶篩查合理的匹配醫(yī)生的需求是一個(gè)值得研究的問題。

目前國內(nèi)常用的重建方法有多平面重建（Multi-Planar Reconstruction，MPR）、最大密度投影（MIP）、表面陰影遮蓋（SSD）［8］等。多層面重建是最基本的“三維”重建成像方法，是二維的圖像序列，和我們最熟悉的軸位圖像是一個(gè)“家族”的。MPR把體素重新排列，在二維屏幕上顯示任意方向上的斷面［9］。對(duì)于胸部1mm 至1.5mm 薄層圖像，多平面后重建提高了圖像分辨率和清晰度，更精確的辨識(shí)血管、胸膜、胸壁與病灶的關(guān)系。在胸部疾病的診斷中，應(yīng)用MPR 技術(shù)能夠拓寬診斷視角，從冠狀位、軸狀位與矢狀位多角度分析判斷病灶的邊緣特征是否與疑似病灶相吻合，從而方便閱片醫(yī)生快速定位病灶，比對(duì)病灶形態(tài)和征象，提高診斷的準(zhǔn)確性。

3 肺炎輔助診斷系統(tǒng)及MPR 閱片診療流程

由于醫(yī)院對(duì)醫(yī)療數(shù)據(jù)和系統(tǒng)安全性要求，目前AI 肺炎輔助診斷系統(tǒng)主要以兩種方式出現(xiàn)在閱片醫(yī)生的診療流程中。第一種方式是在CT技師拍攝完CT影像后，PACS系統(tǒng)［10］自動(dòng)將放射影像DICOM（Digital Imaging and Communications in Medicine）數(shù)據(jù)經(jīng)局域網(wǎng)傳輸至AI 肺炎輔助診斷系統(tǒng)，影像收取完畢后，系統(tǒng)服務(wù)調(diào)用卷積核按隊(duì)列依次處理DICOM 數(shù)據(jù)，并將計(jì)算結(jié)果展示在肺炎輔助診斷系統(tǒng)的前端界面，供醫(yī)生調(diào)閱，如圖1步驟1.1、1.2、1.3。另一種是在CT 設(shè)備上為肺炎輔助診斷系統(tǒng)獨(dú)立開放一個(gè)接口，主要的參數(shù)是AE_Title、IP，和Port，CT 機(jī)同時(shí)向PACS 和AI 肺炎輔助診斷系統(tǒng)自動(dòng)傳輸DICOM 影像，省略了PACS 或RIS 的傳輸過程，為閱片醫(yī)生調(diào)閱肺炎輔助診斷系統(tǒng)和MPR 影像信息節(jié)省時(shí)間，提高閱片診斷效率，有效降低假陽性和假陰性。如圖1步驟2.1、2.2。

圖1 閱片診療流程

4 MPR 在肺炎輔助診斷系統(tǒng)中的關(guān)鍵技術(shù)研究

AI 肺炎輔助診斷系統(tǒng)要廣泛投入應(yīng)用，除了培養(yǎng)閱片醫(yī)生的使用習(xí)慣外，還要為醫(yī)生建立完善的診療流程，形成一個(gè)閉環(huán)。而MPR 作為其中或不可缺的一環(huán)，主要涉及的關(guān)鍵技術(shù)如下。

4.1 嗅探RIS窗口的控件信息

據(jù)調(diào)查，醫(yī)生對(duì)于操作系統(tǒng)圖形界面要求較高，醫(yī)院為了方便醫(yī)生日常閱片，閱片工作站均裝載微軟旗下的Windows 系列。嗅探技術(shù)基于win?dows直接與窗口的“控件”交互，幫助閱片醫(yī)生自動(dòng)識(shí)別RIS窗口目標(biāo)患者ID信息，為打開肺炎輔助診斷系統(tǒng)做鋪墊。AutoIt 作為一門腳本語言發(fā)揮了至關(guān)重要的作用［11］，能夠比較自如地操控Windows系統(tǒng)中的控件，模擬Windows用戶的操作，根據(jù)Au?toIt 所識(shí)別到的控件信息打開編輯器，修改配置文件，建立閱片工作站與肺炎診斷系統(tǒng)連接的通道，完善閱片流程，如圖2。

圖2 配置文件

4.2 仿射變換創(chuàng)建NII格式

計(jì)算機(jī)斷層掃描輸出的為醫(yī)學(xué)數(shù)字成像和通信DICOM 格式，是醫(yī)學(xué)圖像傳輸和通信的國際標(biāo)準(zhǔn)（ISO 12052）［12］。在數(shù)以萬計(jì)的在用醫(yī)學(xué)成像設(shè)備中，DICOM是部署最為廣泛的醫(yī)療信息標(biāo)準(zhǔn)之一。它定義了質(zhì)量能滿足臨床需要且可用于處理、存儲(chǔ)、打印和傳輸醫(yī)學(xué)影像信息。DICOM 可以便捷地交換于兩個(gè)滿足DICOM3.0 標(biāo)準(zhǔn)的工作站之間，目前該協(xié)議被廣泛應(yīng)用于放射醫(yī)療、放射診療診斷設(shè)備（CT，核磁共振等）［13］。

越來越多的DICOM 應(yīng)用程序和分析軟件被運(yùn)用于臨床醫(yī)學(xué)，促使越來越多的編程語言支持DI?COM API 的框架。Python 語言支持DICOM 模塊，能夠完成基本DICOM 信息分析和處理的編程方法。應(yīng)用開源、跨平臺(tái)框架SimpleITK、Nibabel 讀取完整的DICOM 序列，返回圖像數(shù)組信息，簡化圖像處理流程和方法。其中SimpleITK 讀取數(shù)據(jù)是（X，Y，Z）顯示，Nibabel 讀取圖像是（Z，Y，X）顯示。使用Numpy庫下的方法transpose實(shí)現(xiàn)仿射變換，將CT 的坐標(biāo)信息由（X，Y，Z）轉(zhuǎn)置成（Z，Y，X），再通過Nifti1Image 方法輸入每個(gè)體素的取值信息和位置信息得到一個(gè)標(biāo)準(zhǔn)的參考空間，如下方代碼所示：

圖3 代碼示例1

在醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域，最重要的坐標(biāo)體系是解剖學(xué)空間坐標(biāo)體系（右手坐標(biāo)體系），由三個(gè)位面組成，包括冠狀面、橫斷面、矢狀面，用來描述標(biāo)準(zhǔn)的人體在解剖學(xué)上的位置［14］。常用的兩種坐標(biāo)軸 有LPS（Left，Posterior，Superior）和RAS（Right，Anterior，Superior），如圖5，將CT 圖像由圖像坐標(biāo)系旋轉(zhuǎn)到RAS 方向，統(tǒng)一所有數(shù)據(jù)方向，從而得到NIFITI 文 件 的 元 數(shù) 據(jù) 信 息。 aff2axcodes、ax?codes2ornt、ornt_transform、apply_orientation 為Nib?abel下的庫函數(shù)，下面的代碼實(shí)現(xiàn)該功能：

圖4 代碼示例2

圖5 RAS坐標(biāo)軸

4.3 仿射變換讀取NII文件

在處理醫(yī)學(xué)影像數(shù)據(jù)時(shí)，常用的Python數(shù)據(jù)讀取命令無法讀取NII 和NII.GZ 文件，所以需要應(yīng)用Nibabel庫，將NII或NII.GZ 格式的數(shù)據(jù)變成一般的數(shù)組數(shù)據(jù)，方便做數(shù)據(jù)處理。同理使用Numpy庫下的方法transpose 實(shí)現(xiàn)仿射變換，將NII 或NII.GZ 的數(shù)組數(shù)據(jù)轉(zhuǎn)置為RAS 坐標(biāo)系下的DICOM 影像數(shù)據(jù)，獲取頭文件信息，如下代碼所示，邏輯上如果為真，則重定向到RAS坐標(biāo)體系，或者直接獲取列表，不能簡單的假設(shè)形狀X等于形狀Y。

圖6 代碼示例3

4.4 WEB前端開啟MPR模式

人工智能肺炎輔助診斷系統(tǒng)基于谷歌內(nèi)核［15］（chrome），當(dāng)閱片醫(yī)生登錄PACS 報(bào)告系統(tǒng)書寫某患者的影像報(bào)告時(shí)，閱片助手自動(dòng)捕獲患者ID 且向AI服務(wù)器發(fā)送一個(gè)HTTP 請(qǐng)求，建立一個(gè)TCP 連接，默認(rèn)端口是80，以GET 請(qǐng)求方法獲取請(qǐng)求頭里的token 值，在瀏覽器中自動(dòng)打開含有該token 值的URL，如圖7，在請(qǐng)求攔截器位置向請(qǐng)求頭中添加認(rèn)證字段攜帶token 信息，服務(wù)器端就可以通過token信息查找用戶登錄狀態(tài)。Nginx 服務(wù)器［16］在80 端口監(jiān)聽客戶端發(fā)送過來的請(qǐng)求，一旦收到客戶端請(qǐng)求，服務(wù)器發(fā)送一個(gè)狀態(tài)行消息，客戶端瀏覽器收到反饋信息將診斷結(jié)果顯示在屏幕上。以某患者影像數(shù)據(jù)為例，單擊MPR按鈕進(jìn)入MPR模式，醫(yī)生根據(jù)AI 篩查出的病灶定位到該病灶位于胸部薄層橫斷面、冠狀面和矢狀面的最大徑層面，在橫斷面滑動(dòng)鼠標(biāo)滾輪查看病灶輪廓、密度、體積、直徑等信息，經(jīng)對(duì)比該病灶為左肺上葉實(shí)性結(jié)節(jié)，直徑為3mm，醫(yī)生即可在RIS 內(nèi)添加該病灶信息，完成報(bào)告，如圖8所示病灶信息，以箭頭標(biāo)識(shí)。

圖7 HTTP請(qǐng)求

圖8 左肺上葉實(shí)性結(jié)節(jié)

5 結(jié)語

一款面向固定受眾的肺炎輔助診斷系統(tǒng)的推出需要不斷的嘗試，前期的臨床實(shí)驗(yàn)加上后期的試用階段均需要長期投入，調(diào)查發(fā)現(xiàn)，MPR 在系統(tǒng)中能夠?qū)︶t(yī)院的閱片醫(yī)生形成一定的粘合度，幫助醫(yī)生快速定位病灶、顯示病灶輪廓，為進(jìn)一步判斷病灶良惡性和病灶類型做建設(shè)性的貢獻(xiàn)，因此MPR在肺炎輔助診斷系統(tǒng)上的研究與實(shí)現(xiàn)對(duì)于閱片醫(yī)生具有重要意義。

本文首先表明MPR 在人工智能肺炎輔助診斷系統(tǒng)中的必要性和優(yōu)勢(shì)，隨后介紹了MPR 及肺炎輔助診斷系統(tǒng)在醫(yī)院診療流程中的應(yīng)用場景，表明了MPR 在肺炎篩查中應(yīng)用的價(jià)值，之后詳細(xì)總結(jié)了MPR 在肺炎輔助診斷系統(tǒng)中應(yīng)用的關(guān)鍵技術(shù)，包括嗅探技術(shù)、NII 文件的轉(zhuǎn)換與讀取編碼實(shí)現(xiàn)、WEB 前端技術(shù)等，強(qiáng)調(diào)了閱片助手在診療流程中的核心作用。

平臺(tái)內(nèi)的MPR 模塊仍需改進(jìn)，渲染效果、調(diào)取速度、DICOM 數(shù)據(jù)的優(yōu)劣性、NII 文件的完整性，必將成為模塊優(yōu)化的制約因素。肺炎輔助診斷系統(tǒng)中的MPR 模塊在醫(yī)院更加復(fù)雜的應(yīng)用場景和更多醫(yī)療影像設(shè)備接入的趨勢(shì)下，呈現(xiàn)出愈發(fā)明顯的優(yōu)勢(shì)，其強(qiáng)大的重建能力可以在較短時(shí)間內(nèi)幫助閱片醫(yī)生完成病灶的篩查，在未來的放射診療領(lǐng)域的研究中十分具有競爭力。