基于iOS的病理圖像分析軟件的設計

周懿菲 陳煜龐 沈鴻龍 傅煒成 徐博宇

摘 ?要：隨著數字化病理學技術的不斷發展，計算機視覺與醫學影像領域吸引了越來越多的關注。社會經濟快速發展、工業化進程加快，我國患有腫瘤的人也日益增多，隨之而來的是病理醫生的巨大工作量，因此，計算機輔助醫生進行病理分析具有重要意義。文章介紹了一種全新的病理圖像分析系統，增加了其智能化的程度，具有更強的圖像分析和處理功能，并采用了交互性極好的iOS系統，實現了病理圖像的智能分析功能。

關鍵詞：iOS;軟件設計;病理圖像;神經網絡

中圖分類號：TP311 ? 文獻標識碼：A 文章編號：2096-4706（2021）12-0010-04

Abstract： With the continuous development of digital pathology technology， the field of computer vision and medical imaging has attracted more and more attention. With the rapid development of social economy and the acceleration of industrialization， the number of people with tumors in China is also increasing， followed by the huge workload of pathologists. Therefore， computer-aided pathological analysis is of great significance. This paper introduces a new pathological image analysis system， its intelligence has been enhanced， has stronger image analysis and processing functions， and IOS system with excellent interaction is adopted to realize the intelligent analysis function of pathological images.

Keywords： iOS; software design; pathological image; neural network

0 ?引 ?言

數字化病理學技術是一種新興發展中的醫療成像技術，它是一種把現代化的數字系統和傳統的光學放大器設備有機地結合在一起的技術。該技術利用全自動化的顯微鏡或光學放大系統組織切片進行掃描并采集以獲取高分辨率的數字圖像，圖像壓縮與內部存儲軟件將各組織切片進行了自動化的拼接和處理，生成一張張全數字化的切片（Whole Slide Image， WSI）。與其他傳統病理系統相比，數字化的病歷查詢系統可以利用其龐大的數字病理切片庫，使得病理研究人員對于病理切片的查詢提供了方便。數字化圖像使機器學習及輔助診斷成為可能，但病理圖像十分復雜，傳統的機器學習需要對切片特征進行手工提取，更需要花費大量人力對不同的問題進行不同的特征提取[1]。隨著近年人工智能尤其是卷積神經網絡（Convolutional NeuralNetworks， CNN）的發展，在病理圖像分析方面取得了巨大的成功。目前，已經研發成功并應用成熟的數字病理分析系統主要有美國APERIO公司的ScanScope - Digital Pathology Solutions系統、北京優納科技有限公司的賽睿系列（PRECICE）全自動數字切片掃描系統等。與此同時，國內也有多所高校、醫院以及醫療科研機構構建起數字病理切片系統可視化數據庫[2]并進行數字化病理圖像分析研究。

本文設計出一種病理系統圖像分析軟件，在模擬環境下運行可以對數字化病理圖像進行識別。

1 ?分類模型構建

近年來基于深度學習的概念，病理圖像診斷研究中大受歡迎的深度學習模型有VGGNet、GoogLeNet、ResNet和SE-ResNet四種[3]。其中GoogLeNet模型的Inception-v3是目前最先進的分類深度學習模型之一，該模型可將卷積進行分解并將一個較大的二維卷積拆分成兩個較小的一維卷積，以較少的參數獲得更好的結果。本文選擇Inception-v3網絡進行病理圖像的分類。

在收集到公開的癌癥數據集后首先將病理圖像進行預處理，將數字病理圖像切割成固定尺寸、倍率的圖像塊補丁。而后將每個顏色通道的圖像塊補丁的像素值進行計算以得到相應的均差與方差供后期使用，并通過后期處理得到相應的圖像塊補丁的分布符合高斯分布的數據分布。數據準備完成后構建一個病理圖像分類卷積網絡，通過融合注意力機制算法，使得不同尺度的特征轉換為具有相同分辨率和通道特征與不同尺度的權重值的學習同步進行。

首先，分別標注炎癥、淋巴增生和鼻咽癌的數字組織病理圖像切片，這些數字組織病理圖像將被切割為許多微細的補丁以減少每張圖片的尺寸，每個圖像塊補丁的尺寸為229×229×3（高度×寬度×通道），并按相應的比例劃分訓練集、驗證集和測試集。

通過預訓練好的深度學習模型（Inception-v3），反復且不斷訓練訓練集中的圖像塊補丁，并對其不斷微調使得模型性能得到進一步提升，最終該深度學習模型會在全連接層輸出相應分類概率的結果[4]。

具體來說，本文搭建一個神經網絡，并對其進行參數和設置的初始化，這些網絡初始化的參數會對神經網絡模型的訓練和設計產生影響。模型初始化參數設置如表1所示。

2 ?系統設計與實現

2.1 ?系統功能模塊設計

本系統主要為了幫助病理科醫生及病理切片審查的相關從業者對病理切片的審查診斷，其主要是通過上傳的組織切片影像經過圖像分割提取分析區域、卷積層網絡的語義分割模型等一系列算法研究對病理切片圖像進行分析，能大大加快相關從業者對閱片診斷的速度，為癌癥患者的救治爭取時間。本系統主要功能包括圖像分類預測、圖像標注、遠程會診、數據集添加等。經過對系統的需求分析，本系統的功能結構圖如圖1所示。

用戶登錄功能。包括用戶注冊、用戶登錄的功能。用戶注冊需驗證醫院單位并通過審核方可注冊成功，避免利用該系統獲取數據進行違法行為，用戶成功注冊后返回登錄界面進行登錄，進入到APP首頁中。

圖像分類預測功能。當用戶上傳需要預測的病理圖像后，圖像分類預測功能將基于用戶上傳的病理圖像基于分類模型對圖像進行病理預測，最終將預測結果顯示出來。預測的結果可供醫生作為影像分析的初步參考，同時也可以遠程共享給專家或其他醫生共同診斷分析。

圖像標注功能。用戶可上傳相關病理切片圖像，并在圖像標注功能上對圖像進行縮放、勾畫、文字說明、診斷結果錄音等，并可以修改圖像初步預測結果，將診斷結果及標注信息一并共享。

遠程會診功能。該功能主要通過ID匹配，當用戶想要進行遠程功能時，系統會自動生成響應的遠程ID與驗證碼，用戶可輸入需要進行遠程的用戶ID，而后被申請的用戶可收到遠程驗證，輸入遠程驗證后可遠程連接對方用戶，并進行在線遠程會診。同時，醫院與醫生也可以指定用戶ID進行新建會議或預約會議時間，系統會在對應預約的時間前30分鐘對會議室進行開放處理，為被邀請參加會議的醫生能夠準時開始會議提供了方便。

數據集添加功能。在卷積神經網絡的幫助下，病理圖像分析變得更為簡易精準，但還需要大量的數據去支持，世界上有大量的開源數據集，如由荷蘭拉德堡德大學和烏得勒支大學醫學中心提供的camelyon16數據集[5]，但各國人民的身體素質不盡相同，用戶可選擇將其單位所擁有的切片數據上傳至系統中為用戶提供更精確便利的預測結果。用戶可以添加自身單位的數據集或有需要的數據集，選擇用戶單位、ID、以及數據集類型后選擇數據集上傳，上傳成功后用戶數據集下新增所上傳的數據集。

個人中心功能。用戶可在個人中心查看歷史分析過的切片預測結果、歷史會診記錄、歷史標注等記錄，防止用戶誤退后導致信息丟失。也可以在個人中心更改個人相關資料，更新系統設置或手動升級系統應用程序。

2.2 ?系統工作流程設計

電子設備安全對于用戶來說是非常重要的一部分，iOS系統雖然比其他系統更為封閉，但這種封閉性也為用戶帶來了更高的安全性，當用戶進入到本系統的主頁面時，系統會詢問用戶獲取拍照或系統相冊權限，若用戶不選擇授權則系統中的圖像分類預測與標注等主要功能因無權進行圖片讀取分析而無法使用。當用戶授權后系統會對用戶的身份信息進行審核，審核通過后重新進入系統主頁面，即圖像分類預測界面，用戶可根據導航欄中標識選擇系統中的圖像分類預測功能，圖像標注功能以及遠程會診功能等。當用戶進入圖像分類預測功能時需要上傳擬分類識別的病理切片圖像并等待識別結果。識別結果出現后用戶可修改軟件初步分類預測結果，并自行選擇是否進行圖像標注功能，進入圖像標注功能后，用戶可根據自身需求對圖像進行標注。若不慎退出亦可進入歷史預測中選擇歷史切片圖像進行標注，同時也可選擇再次上傳病理圖像進行標注。當用戶進入遠程會診后可根據自身需求對歷史檢測或標注進行實時展示，方便會議人員進行遠程會診。本系統所設計的基于iOS的病理圖像分析軟件的總體工作流程圖如圖2所示。

2.3 ?分類模型訓練

TensorFlow是深度學習最流行的庫之一，它是一款輕量級的軟件，有強大的社區以及企業支持，其便捷、高效以及可擴展性收到了廣泛的歡迎，TensorFlow擁有多層級結構，可部署于各類服務器、PC終端和網頁，因此在對數字病理圖像進行預處理之后，我們對分類模型Inception-v3使用TensorFlow進行重新訓練。

首先創建一個病理圖片并載入hub module，參數中的module_spec為在用的圖像模型。如圖3所示。

然后提取圖片的特征向量到瓶頸層，返回值中的bottleneck_values為提取的瓶頸層。如圖4所示。

最后在瓶頸層后增加一個最終分類層，用于識別重訓的新圖片。返回值中包含了建立最終分類層所需的信息。如圖5所示。

3 ?結果與分析

通過對模型反復的訓練，訓練結果可得到相對應的結果，運用已有功能導入相關病理切片圖，并對其進行病理切片的識別功能進行結果預測，在此導入一張食管鱗癌的病理切片圖進行分析識別，其結果如圖6所示。

由圖6可以得出，在該識別功能中能夠對病理切片的特征進行分析判斷并返回相應結果與判斷。圖6中該病理切片圖的判斷結果包括對病理圖像的病因預測，以及根據相應特征分析得到的對應判斷依據。但由于癌癥病變的不穩定性，對于所上傳的病理切片的判斷并非全部準確，即存在預測誤差的情況，在后續過程中需通過更多的數據集訓練從而得到精準度更高的分析結果。

4 ?結 ?論

本文針對病理圖像分析需求日益增大導致病理科醫生人手不足的問題，設計了一種利用深度學習網絡對病理切片圖像進行分析的軟件。本文主要采用深度學習模型Inception-v3對病理切片特征進行識別。首先對病理圖像進行預處理，然后對提取到的有效區域進行圖像切割。在數據準備完成后采用卷積神經網絡的分類模型訓練方法，并采用tensorflow機器學習框架，對Inception-v3模型進行重新訓練。最后基于iOS平臺設計出病理圖像分析軟件，利用已訓練好的分類模型對數字病理圖像進行識別。實驗結果表明該模型能夠對病理切片的特征進行分析判斷并返回相應結果，與傳統手工識別相比能夠明顯提升病理圖像分析的效率。

參考文獻：

[1] 李俊薇.基于生成對抗網絡的病理圖像分析及應用 [D].南京：南京航空航天大學，2020.

[2] 葉美華，盛弘強，王怡棟，等.數字病理學的發展對醫學教育和臨床診斷的作用 [J].中華病理學雜志，2012，41（1）：66-68.

[3] 馬鑫，耿道穎.深度學習應用于病理圖像診斷的研究進展 [J].上海醫學，2020，43（5）：302-306.

[4] 刁頌輝.基于卷積神經網絡的數字組織病理圖像分類算法研究 [D].深圳：中國科學院大學（中國科學院深圳先進技術研究院），2020.

[5] 王睿喬.基于iOS手機客戶端的病理圖像分析軟件 [D].哈爾濱：哈爾濱工業大學，2019.

作者簡介：周懿菲（2000—），女，漢族，廣東增城人，本科在讀，研究方向：軟件工程;陳煜龐（2000—），男，漢族，廣東揭陽人，本科在讀，研究方向：軟件工程;沈鴻龍（2000—），男，漢族，廣東湛江人，本科在讀，研究方向：軟件工程;傅煒成（2000—），男，漢族，廣東云浮人，本科在讀，研究方向：軟件工程;徐博宇（1998—），男，漢族，廣東潮州人，本科在讀，研究方向：軟件開發。