基于改進的Faster R-CNN模型的異常鱗狀上皮細胞檢測

尹遠來　趙磊

摘 要：宮頸癌是目前世界上最常見的婦科惡性腫瘤，患者死亡率非常高。新柏氏液基細胞學檢測（TCT）是宮頸癌篩查的基本方法，病理醫生在顯微鏡下觀察子宮頸脫落的鱗狀上皮細胞，查看是否存在異常鱗狀上皮細胞進行診斷。TCT對宮頸癌的檢出率為100%，同時還可以發現部分癌前病變和微生物感染。目前國內的病理醫生只有10000人左右，而且培養周期長，需求缺口極大。本文使用經過病理醫生標注的數字病理圖像，訓練目標檢測模型。設計了基于FasterR-CNN的網絡結構改進的模型，引入了可形變卷積網絡和特征金字塔網絡，實現了對宮頸數字病理圖像進行自動識別，為臨床宮頸疾病診斷提供輔助參考。實驗結果表明，改進后的模型能快速收斂，在測試集上的測試結果mAP（meanAveragePrecision）可以達到0.29，已經基本滿足輔助病理醫生診斷的需求（實際醫院臨床使用的模型mAP為0.32）。

關鍵詞：非典型鱗狀細胞檢測;FasterR-CNN;可形變卷積網絡;特征金字塔網絡

【Abstract】Cervicalcanceristhemostcommongynecologicalmalignanttumorintheworld，withaveryhighmortalityrate.ThinprepCytologicTest（TCT）isthebasicmethodforcervicalcancerscreening.Pathologistsobservesquamousepithelialcellsshedfromthecervixunderamicroscopetoseeifthereareabnormalsquamousepithelialcellsfordiagnosis.ThedetectionrateofcervicalcancerbyTCTis100%，andsomeprecancerouslesionsandmicrobialinfectionscanalsobefound.Atpresent，thereareonlyabout10000pathologistsinChina，andthetrainingcycleislong，withahugedemandgap.Inthispaper，theobjectdetectionmodelistrainedbyusingdigitalpathologicalimageslabeledbypathologists.AnimprovednetworkstructuremodelbasedonFasterR-CNNisdesigned，andadeformableconvolutionalnetworkandafeaturepyramidnetworkareintroducedtorealizeautomaticdetectionofcervicaldigitalpathologicalimages，providinganauxiliaryreferenceforclinicaldiagnosisofcervicaldiseases.Theexperimentalresultsshowthattheimprovedmodelcanconvergerapidly，andthemeanAveragePrecisiononthetestsetcanreach0.29，whichhasbasicallymettheneedsofauxiliarypathologistsfordiagnosis（themodelmAPusedinactualhospitalclinicalpracticeis0.32）.

【Keywords】AtypicalSquamousCellsdetection;FasterR-CNN;DeformableConvoluationalNetwork;FeaturePyramidNetwork

作者簡介：尹遠來（1995-），男，碩士研究生，主要研究方向：計算機視覺;趙 磊（1964-），男，博士，教授，主要研究方向：計算機應用。

0 引 言

液基細胞學篩查是宮頸癌早期篩查的重要手段[1]。子宮頸細胞學篩查時，主要存在4種子宮頸異常鱗狀上皮細胞[2]，下文簡稱陽性細胞，分別是：ASC-US（未明確診斷意義的非典型鱗狀上皮細胞）、ASC-H（不排除高度病變的非典型鱗狀上皮細胞）、LSIL（低級別鱗狀上皮內病變細胞）、HSIL（高級別鱗狀上皮內病變細胞）。

陽性細胞的檢測屬于計算機視覺中的目標檢測問題。RetinaNet[3]、SSD[4]和YOLO[5]等一階段的算法雖然有很高的檢測速度，但是檢測精度相對較低。Ren等人[6]提出的FasterR-CNN在目標檢測任務上取得了良好效果，該算法被認為是二階段目標檢測任務中的代表性算法。因其在檢測精度和速度上都有良好的表現，所以本文基于FasterR-CNN的思想，設計了改進的FasterR-CNN網絡模型應用于陽性細胞的檢測，其改進體現在以下2個方面。一是引入了可形變卷積網絡（DeformableConvolutionNet，DCN），二是使用特征金字塔網絡（FeaturePyramidNet，FPN）用于解決小尺寸陽性細胞檢測精度低的問題。

DCN是由微軟亞洲研究院視覺計算組的Dai等人[7]提出的。在FasterR-CNN的卷積網絡部分中加入可形變卷積可以更好地提取各種形態的陽性細胞的特征，使得后續分類網絡和位置回歸網絡有更好的精度。FPN是由FacebookAI研究中心和康奈爾大學的Lin等人[8]提出的。對于一張圖像來說，引入FPN網絡可以使目標檢測網絡學習到多個尺度的語義信息，有效地提升小目標的檢測精度。

1 數據集與預處理

1.1 數據集

本文的實驗數據是使用來自寧波病理中心的病理切片，通過全自動數字切片掃描儀掃描獲得的數字病理圖像，共2297例含有陽性細胞的陽性樣本。病理圖像以KFB格式存儲，在文件夾中每個KFB文件都有一個同名的JSON文件。其中，KFB文件存儲的是宮頸脫落細胞的數字病理圖像，KFB格式的完整圖片視野如圖1所示。由圖1可看到用2.5倍率讀取的KFB全片圖像，JSON文件存儲的是由病理醫生標注陽性細胞的標注信息。由于全圖標注耗費太多時間，所以每個KFB圖像中都有由病理醫生自行選擇若干個尺寸不小于3000×3000像素的興趣區域（RegionofInterest，ROI），即圖1中綠色矩形框。一個ROI視野和一個細胞標注框如圖2所示，病理醫生只標注ROI中的陽性細胞。圖2中，標注的形式是矩形框，包括矩形框左上角坐標（x，y）和矩形框寬高信息（width，height），以及該矩形框所屬類別sub_class。在數據集所有KFB文件中，每一類陽性細胞的標注總個數統計如圖3所示。

1.2 預處理

數據預處理首先是從KFB文件中裁出所有20倍率下讀取的ROI，另存為JPEG格式的圖片。由于ROI的面積較大，而陽性細胞尺寸普遍較小，若直接將ROI放入網絡訓練，訓練得到的模型檢測效果不理想。所以本文采用滑動窗口的方式對ROI進行切割，將切割后的小圖作為訓練樣本進行訓練。切割尺寸為1500×1500像素，切割步長為750像素。切割方式如圖4所示。其次，訓練之前需要將圖像RGB每個通道的像素值進行歸一化。計算圖像每個顏色通道的圖像（image）所有像素灰度值的均值（mean）和標準差（std），應用公式（1）得到每個通道的標準像素灰度值，即：

2 模型網絡結構

2.1 FasterR-CNN網絡模型結構

FasterR-CNN模型的網絡結構如圖5所示。網絡分為2個主要部分，分別是：骨干網絡（Backbone）和區域推薦網絡（RegionProposalNetwork，RPN）。其中，Backbone是一個基礎的卷積神經網絡，對輸入圖像運用一系列卷積、ReLU激活、池化等操作后最終輸出一張特征圖，用于提取輸入圖像的特征。本文使用ResNet50作為整個檢測器的Backbone。由圖5可知，每個藍色的長方體代表一系列卷積模塊生成的特征圖，最后一層特征圖將被后續的RPN和全連接層共用。

RPN是FasterR-CNN核心組件，用來給后續的目標分類和預測框位置回歸網絡生成推薦區域。這是一個輸入為特征圖，輸出為候選框的全卷積神經網絡。訓練圖像輸入網絡，經過Backbone處理后，輸出一張高維度的特征圖。該特征圖與RPN共享，即將這張特征圖輸入到RPN中，進行3×3的卷積，卷積之前先做了一次padding=1的邊界填充操作，以此保證卷積后生成的RPN的特征圖（featuremap）與Backbone的特征圖有相同的尺寸。以該3×3卷積核的中心在RPN的特征圖上對應的像素點坐標為基準，生成3種寬高比的Anchor。本文使用的anchor_scale為8，這個參數指定了感受野的區域尺寸為8×8像素，將這些8×8像素的候選框按照卷積和池化操作的下采樣比例，對應回原圖像上，生成一系列候選框。這些候選框與陽性細胞的標注框（GroundTruth）進行IOU（IntersectionoverUnion）計算。本文規定：任一候選框與標注框的IOU大于0.7，則認為是正樣本，小于0.3的為負樣本，這些正負樣本將用來訓練RPN的分類功能，正樣本參與RPN推薦框回歸功能的訓練，負樣本則不參與。訓練好的RPN網絡將為后續的全連接層輸出精準的推薦區域。

2.2 FasterR-CNN結合圖像金字塔（FPN）的網絡結構

FPN是一種利用常規CNN模型來高效提取圖片中各維度特征的方法，圖6是在FasterR-CNN的基礎上增加了FPN模塊的網絡結構。此時整個網絡的特征提取部分被分成了2個過程，分別是：下采樣和上采樣加側連接。FasterR-CNN+FPN模型結構如圖6所示。

由圖6可知，圖像被傳入卷積模塊，進行常規的卷積、ReLU激活和池化等下采樣操作，不斷提取圖像中陽性細胞的語義信息，此過程可得到一系列大小不同的特征圖，把最后一層的特征稱為頂層特征。由于陽性細胞的病理形態都較小，頂層特征雖然保留了陽性細胞的語義信息，但是在下采樣的過程中，小目標的細節特征會被丟棄，導致模型對小目標的檢測精度很低。FPN模塊將頂層的小特征圖按照下采樣的倍率，利用最近鄰插值法自頂向下進行上采樣，生成一張與上一層特征圖尺寸一致的特征圖。側向連接將上一層經過上采樣后和當前層分辨率一致的特征，通過相加的方式進行融合，為了修正通道數的數量，將當前層進行1×1的卷積操作。再將融合后的每張特征圖輸入RPN網絡進行區域推薦，生成的推薦區域經過池化操作后傳入全連接層進行具體類別的分類和位置回歸。結合FPN使整體網絡不僅利用了頂層的語義特征，又利用了底層的高分辨率特征，最大限度提升了小目標的檢測效果。

2.3 可形變卷積網絡原理

本文在Backbone中添加可形變卷積模塊，以適應不同形狀的陽性細胞。標準卷積與可形變卷積示意如圖7所示。標準的卷積對未知形狀變化目標的建模存在固有缺陷，由圖7（a）看到的標準卷積模塊有固定的幾何結構。例如在同一個卷積層中，所有的卷積核的感受野是一樣的，但是由于不同位置可能對應著不同尺度和形變的物體，因此需要對尺度和感受野大小進行自適應進而做到精確定位。DCN基于一個平行網絡學習偏移量，不需要額外的標注信息。由圖7（b）看到，卷積核在輸入特征圖上的采樣點發生偏移，從而使得卷積模塊集中于感興趣的區域或者目標，進而使得卷積模塊更精準地提取到目標的特征。通過圖7（c）和圖7（d）可以直觀地看出，標準卷積只能以固定的結構獲取特征，包含了大部分背景的特征;而可形變卷積則可以完全捕獲目標形態，保證網絡提取到的特征更加地精準，提高網絡的識別精度。

3 模型訓練、預測與評估

3.1 實驗環境與損失函數

本文實驗是在64位Ubuntu16.04操作系統環境下的服務器上進行的，服務器配置見表2。

3.2 網絡訓練過程

本文中使用了A、B、C、D表示不同的模型。A模型是FasterR-CNN網絡模型，B模型是單獨加入DCN的FasterR-CNN，C模型是單獨加入FPN的FasterR-CNN，D模型是同時加入FPN和DCN的FasterR-CNN。4個模型使用相同的數據和訓練參數，采用的優化器都是SGD（隨機梯度下降），初始學習率為0.0025。

整體網絡訓練流程如圖8所示。由圖8可以看到，訓練樣本首先被輸入到Backbone，輸出一張Backbone特征圖。此處的Backbone是由ResNet50在ImageNet數據集上訓練得到的參數初始化的。該特征圖經過一個卷積模塊后，繼續被輸入到RPN中。此時在Anchor機制作用下，生成大量的Anchor，這些Anchor與GroundTruth進行IOU操作，篩選出等量的正負樣本，用于訓練RPN的分類網絡，正樣本用于訓練RPN的預測框回歸網絡。這個過程中會根據公式（3）產生的損失值，通過反向傳播機制，優化RPN的參數。接下來使用上一輪訓練獲得的RPN參數，進行下一輪的訓練迭代，經過Backbone的特征圖，使用初步訓練的RPN推薦Region后，進行分類和預測框回歸，此處在GroundTruth的作用下同樣會產生損失值，這部分反向傳播后用來優化Backbone的參數。由于DCN和FPN都

不需要額外的損失函數進行優化，所以這兩個模塊與檢測模型共用同一個損失函數，進行DCN中像素偏移量的訓練。如此循環訓練后，網絡會得出優化好的Backbone和RPN參數。

各個模型訓練時的損失值下降情況如圖9所示。從圖9中可以看出，4個模型在訓練初期，損失值 都有比較大的震蕩幅度，但是在經過5000次迭代以后，總體呈現了比較穩定的下降趨勢，40000次迭代后逐漸趨于平穩，說明模型已經收斂，訓練完成。模型D收斂后的損失值可以達到0.15左右，優于其他三個模型，訓練效果良好。

3.3 網絡測試與評估

標注信息不參與模型預測過程，只參與模型評估過程。將一張測試圖像輸入網絡，經過訓練好的骨干網絡提取特征，再將特征圖輸入到區域推薦網絡，輸出推薦區域，最后將推薦區域的特征圖輸入到后續的具體分類網絡和檢測框回歸網絡，輸出細胞的具體分類和檢測框。圖10展示的是改進后的模型對測試集樣本中4類陽性細胞的檢測樣例圖。其中，綠色的框為模型檢測結果，標記了陽性細胞的類別和識別置信度，分別是（ASC_US，0.85）、（ASC_H，0.79）、（LSIL，1.00）、（HSIL，0.62）;紅色框為標注框，是病理醫生對該細胞的標注類別。

檢測指標的定義見表3。由于目標檢測任務不僅需要考慮檢測框中的目標是否準確，還需要考慮檢測框是否檢測到足夠全的目標，所以本文使用的模型評價指標是mAP（meanAveragePrecision），即各個類別AP的平均值。某個類別的AP值為該類別的P-R（Precision-Recall）曲線與橫縱坐標軸圍成區域的面積。查準率（precision）和查全率（recall）的數學定義如公式（5）和公式（6）所示：

precision= TP TP+FP ，（6）

recall= TP TP+FN .（7）

precision表示模型檢測出的真正陽性細胞數與所有被檢測為“陽性”的細胞數的比值;recall表示被檢出的真正陽性細胞數與所有測試圖片中醫生標注的所有陽性細胞數的比值。目標檢測任務通常使用一個置信度confidence∈[0，1]來表征模型對檢測框中陽性細胞的置信度。可以自行設置一個置信度閾值（threshold），當某個檢測框的置信度大于該閾值時，模型才認為該檢測框為有效檢測框。顯然，如果threshold太高，模型的檢測會非常嚴格，導致模型檢測出的陽性細胞基本都是真實的陽性細胞，那么precision就會很高。同時，由于篩選條件過于嚴格，會漏檢一些置信度比較低的真陽性細胞，導致recall變低。同理，threshold過低時，雖然recall很高，但是precision很低，所以precision和recall是一對在threshold的作用下互斥的指標。評價一個檢測模型的效果，是能夠找到一個合適的threshold閾值，使得precision和recall達到一個平衡的狀態，這樣的模型檢測效果即準確又全面。P-R曲線即是以precision和recall這兩個變量做出的曲線，橫縱坐標分別為recall和precision。在本實驗測試環節中，使用訓練好的模型對14873張測試圖像進行檢測，取0到1（包括0和1）的置信度閾值，取值間隔為0.1。研究得到的P-R曲線如圖11所示。由圖11可知，從左到右第一個點和第二個點分別是閾值為0和0.1時對應的precision和recall值，以此類推，計算出11個閾值下的precision和recall值繪制P-R曲線。某一類陽性細胞的AP值即為對該類的PR曲線進行積分運算得到的數值。圖11中的折線與坐標對角線（粉色實線）相交的點，即為precision和recall達到兼顧狀態的平衡點，此時的threshold可以兼顧模型的查準率和查全率。由此可見，PR曲線的面積越大，AP越高，平衡點對應的precision和recall就越高，檢測模型訓練效果越好。

各個模型在測試集（14873張）上的各類陽性細胞的AP值和mAP值見表4。

4 結束語

基于改進后的FasterR-CNN的異常鱗狀上皮細胞檢測，其過程包含數據格式轉換、數據預處理、創建實驗數據集，設計基于FasterR-CNN結構不同的網絡模型、訓練不同的網絡模型并進行評估和預測。針對陽性細胞的不規則形狀和小尺度這兩個檢測難點，設計增加了DCN模塊和FPN模塊的檢測網絡。實驗數據表明，改進后的網絡也可以收斂，并且提高了模型的mAP指標，對陽性細胞有良好的檢出效果。本文實驗所用算法訓練所得的模型，已經被應用在北京協和醫院、濰坊市人民醫院等三甲醫院的病理科，并得到了病理醫生的普遍認可。

參考文獻

[1] 尤牧.宮頸液基細胞學檢查（TCT）聯合HPV篩查癌前期病變和早期宮頸癌的臨床作用分析[J].名醫，2020（13）：89-90.

[2]龔平，張玲，趙廷寬，等.液基細胞學檢查在宮頸病變篩查中的應用[J].長江大學學報自然科學版：醫學（下旬），2014，11（24）：40-41，4

[3]LINTY，GOYALP，GIRSHICKR，etal.Focallossfordenseobjectdetection[C]//2017IEEEInternationalConferenceonComputerVision（ICCV）.Venice，Italy：IEEE，2017：2999-3007.

[4]LIUW，ANGUELOVD，ERHAND，etal.SSD：Singleshotmultiboxdetector[M]//LEIBEB，MATASJ，SEBEN，etal.EuropeanConferenceonComputerVision，LectureNotesinComputerScience.Cham：Springer，2016：21-37.

[5]REDMONJ，DIVVALAS，GIRSHICKR，etal.Youonlylookonce：Unified，real-timeobjectdetection[C]//IEEEConferenceonComputerVisionandPatternRecognition.LasVegas：IEEE，2015：779-788.

[6]RENS，HEK，GIRSHICKR，etal.Fasterr-cnn：Towardsreal-timeobjectdetectionwithregionproposalnetworks[C]//AdvancesinNeuralInformationProcessingSystems.Montreal：dblp，2015：91-99.

[7]DAIJ，QIH，XIONGY，etal.Deformableconvolutionalnetworks[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.Venice，Italy：IEEE，2017：764-773.

[8]LINTY，DOLLRP，GIRSHICKR，etal.Featurepyramidnetworksforobjectdetection[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Honolulu，HI，USA：IEEE，2017：2117-2125.