高長曌,袁太興,崔晶蕾,李洪軍,王 輝,王中山,劉景鑫
1. 吉林大學中日聯誼醫院,吉林 長春 130033;2. 吉林省醫學影像工程技術研究中心,吉林 長春 130033
新 型 冠 狀 病 毒 肺 炎(Coronavirus Disease 2019,COVID-19)[1-3]疫情在全球持續升級,急需研發能夠遠程智能防控診斷的云服務平臺。疫情出現后,我們在吉林大學和吉林省科技廳的COVID-19疫情防控應急科技攻關項目的支持下,開展了突發疫情遠程智能防控診斷平臺研究。
首先確定研究目標,平臺必須迅速應用于突發疫情。醫生可進入平臺了解重點防護城市與地區疫情相關人員信息,瀏覽人員的影像信息。依托人工智能、機器學習、深度學習[4-6]等創新技術構建智能防控平臺,對CT、DR等影像進行智能化分析、處理,實現智能化實時監測預警防控工作。主要研究對象:CT、DR影像數據、影像設備相關參數和人工智能圖像處理算法。主要研究方法:平臺主要研究人工智能圖像處理算法,研究與OBS、COVID-19影像診斷接口對接方法,研究影像傳輸標準。
(1) 對 象 存 儲 服 務(Object Storage Service,OBS)。這是一個基于對象的海量存儲服務,為客戶提供海量、安全、高可靠、低成本的數據存儲能力。OBS系統和單個系統都沒有總數據容量和對象/文件數量的限制,為用戶提供了超大存儲容量的能力,適合存放任意類型的文件,適合普通用戶、網站、企業和開發者使用。OBS是一項面向Internet訪問的服務,提供了基于HTTP/HTTPS協議的Web服務接口,用戶可以隨時隨地連接到Internet的電腦上,通過OBS管理控制臺或各種OBS工具訪問和管理存儲在OBS中的數據[7]。此外,OBS支持SDK和OBS API接口,可使用戶方便管理自己存儲在OBS上的數據,以及開發多種類型的上層業務應用。
(2)人工智能醫學圖像處理。卷積神經網絡(Convolutional Neural Network,CNN)是機器學習研究中的熱點,在醫學圖像應用中具有一定價值。本文首先介紹了CNN基本原理,其次綜述了其在網絡結構的改進:在模型結構方面總結了CNN的11種經典模型,并以時間順序梳理發展進程;在結構優化方面從CNN的5個方面(輸入層、卷積層、下采樣層、全連接層以及整個網絡)總結研究進展。然后,對學習算法從優化和融合兩個方面進行歸納:在優化算法方面根據優化目的(提高準確率、防止過擬合、防止局部最值、提高收斂速度)梳理算法的進展;在方法融合方面分別從輸入層、卷積層、下采樣層、全連接層和輸出層共5個角度進行歸納。最后,將CNN映射到醫學圖像領域,結合計算機輔助診斷探討CNN在醫學圖像中的應用。本文對CNN進行了較為全面系統地總結,對CNN的研究發展具有積極意義。用CNN卷積神經網絡識別圖片,一般需要的步驟有:① 卷積層初步提取特征;② 池化層提取主要特征;③ 全連接層將各部分特征匯總;④ 產生分類器,進行預測識別[8-15]。
(3)圖像文件存儲。MongoDB是一個基于分布式文件存儲[16-19]的數據庫。Mongo最大的特點是它支持的查詢語言非常強大,其語法有點類似于面向對象的查詢語言,幾乎可以實現類似關系數據庫單表查詢的絕大部分功能,而且還支持對數據建立索引。
平臺架構主要分四層,第一層為用戶接入層,用戶可以通過電腦、手機、其它終端的方式通過互聯網登錄平臺應用平臺的相關功能。第二層為服務層,平臺提供存檔、閱片、診斷、共享、教育培訓、質控互認等服務。第三層為數據層,平臺訪問數據通過統一的接口訪問用戶數據、提供服務接口與其它系統對接。第四層為基礎設施層,提供平臺運行時需要的軟件、硬件的支持,圖1為平臺架構圖。

圖1 平臺架構圖
平臺主要有為五大系統組成:① 用戶系統,主要存儲用戶基本信息、檢查信息、診斷建議、查看影像;② CT、DR影像存檔服務;③ 影像的質控互認;④ COVID-19智能診斷;⑤ 影像共享數據庫。平臺組成部分圖,見圖2。

圖2 平臺組成部分示意圖
2.3.1 架構描述
平臺的架構分為五個部分:① 疫情數據上報;② CT、DR影像查看;③ 影像的互認共享;④ COVID-19智能診斷;⑤ 共享數據庫。海量的數據存儲與分析固然離不開對海量數據的存儲與處理,疫情人員的影像數據的存儲采用OBS進行存儲 。
平臺在MVC架構的基礎上改進增添了action層、復雜Model層,形成了多層架構,將前端、用戶行為、后臺、數據進行隔離。M是指業務模型,V是指用戶界面,C則是控制器,使用MVC的目的是將M和V的實現代碼分離,從而使同一個程序可以使用不同的表現形式。比如一批統計數據可以分別用柱狀圖、餅圖來表示。C存在的目的則是確保M和V的同步,一旦M改變,V應該同步更新,service層主要實現平臺核心的業務邏輯,dao層主要實現數據庫的操作,平臺采用面向接口的設計方式,完全可與其它第三方系統進行對接。平臺采用深度學習、人工智能技術結合自然語言處理工具對醫學領域中文、特定詞表和規則匹配,依托2016年國家重點研發計劃項目建立的醫學影像質控互認共享云平臺成果和影像互認共享數據庫中的海量數據,對通過質控互認平臺互認通過的影像、檢查報告中的檢查結論、知識圖譜中的詞匯的語法、語義,基于自然語言處理算法、深度學習算法,完成分詞、命名實體識別、關系提取處理過程從而實現結構化變量的輸出,進一步做標準化處理。人工智能技術處理CT、DR影像,輔助醫生進行診斷。平臺運行在華為、聯通、移動等國內巨頭云服務提供商、平臺安全性、數據的安全性得到了充分保障。
2.3.2 平臺模塊描述
平臺通過在現有的互聯網+大數據等技術,結合重大疾病應急防控診療流程,建立重大疾病應急防控診療云服務平臺(圖3),可通過手機、電腦等以瀏覽器、APP等訪問,為醫務工作者提供疾病防控、診斷、治療的功能,也為百姓提供防控科普知識,主要模塊描述如下。
(1)通知公告。公告主要用于及時對外宣布有關突發事件、最新動態、重要事項。
(2)組織機構。主要包括以下幾點:① 平臺簡介:介紹防疫機構的基本情況、優勢、提供的服務、研究內容等;② 專家介紹:介紹參與治療疫情的專家,幫助及時了解專家專長專項,有效發揮專家作用;③ 聯系我們:描述機構的聯系方式、傳真、郵箱、地理位置等信息。

圖3 COVID-19疫情防疫平臺圖
(3)教育培訓。提供線上職業技能培訓資源,疫情期間針對當前疫情的種類和特點進行線上職業技能培訓,預防常識。
(4)專題報道。以圖文的形式展示相關較高新聞價值的疫情、事件、問題。
(5)新聞動態。顯示國內外對與當前疫情、重大突發事件。
(6)標準規范。及時公布新出臺的關于突發事件、疫情的相關標準規范。
(7)影像診斷。上傳影像后通過調用WEBAPI接口調用通過人工智能分析診斷后的診斷結果。影像管理界面,見圖4。

圖4 影像管理界面圖
(8)查看影像。點擊查看影像,即跳轉到閱片系統中,并顯示對應的影像信息。
(9)用戶分享影像。用戶可以查看用戶分享給該醫生用戶的的影像信息,并以列表的形式顯示。
(10)撰寫報告。醫生可以填寫病人的診斷報告,完成對影像的報告撰寫。
2.3.3 相關代碼
COVID-19遠程智能防控診斷平臺代碼目錄結構圖如圖5所示,其他各層級代碼示意圖如圖6~8所示。
平臺部署上線后,與吉林省延邊州安圖縣醫院等多個醫院成功對接,接收到影像信息。如圖9所示,服務器存儲影像數據,經實驗驗證系統完全滿足需求,實現預期目標,系統可以快速處理異構結構化數據和非結構化數據、檢索、分析海量數據,具有較強的理論和實用價值,有利用疫情防護知識的宣傳,增強百姓防范意識,有效提高對疫情診斷的精準度、節省診斷時間,提高效率。

圖5 代碼目錄結構圖

圖6 API項目分層示意圖

圖7 API服務層代碼示意圖

圖8 COVID-19診斷接口代碼示意圖

圖9 服務器存儲影像數據
平臺現已上線,經驗證,系統完全滿足遠程智能診斷需求,可實現預期目標,系統最終的實現可以快速處理異構結構化數據和非結構化數據、檢索、分析海量數據,具有較強的理論和實用價值,有利于疫情防護知識的宣傳,增強百姓防范意識,有效提高對疫情診斷的精準度、節省診斷時間,提高效率,并通過數字影像分享功能,能夠使用戶與疫情診斷專家不受場地限制,可隨時隨地用移動設備和電腦完成有關工作,大大減少疫情傳染幾率。