基于SSN的數據集預處理框架

劉 瑯，徐中偉，梅 萌

(同濟大學 電子與信息工程學院，上海 201804)

0 引 言

隨著卷積神經網絡的發展，計算機檢測癌細胞成為了可能。但由于病理學數據集是由專門的醫學機構提供的，不同機構所給出病理圖片的染色狀態卻不盡相同，這就對計算機輔助診斷(computer-aided diagnosis，CAD)帶來了一定的影響。Cho等[1]的研究表明，圖片分類這種數據驅動類型的工作，數據集的質量對于模型的分類精度有著直接的影響。因此，在訓練之前，對數據集進行精細的預處理就顯得尤為重要。

現存的染色預處理算法可以分為3大類。第一類為基于顏色匹配的方法，如Liu等[2]提出的通過縮小原圖片和目標圖片在各個通道上的距離完成顏色的匹配。但該方法沒有考慮到單個圖片中由于染料本身帶來的顏色差別，會存在顏色錯誤映射的情況。

第二類方法主要針對特定染色區域進行反卷積，如Alsubaie等[3]提出的染色反卷積算法，該方法需要知道整張切片圖像(whole slide image，WSI)中每種染色的參考染色矢量(reference stain vector，RSV)。由于需要人工介入，這些基于RSV的手動估計算法的應用規模受到了限制。

第三類方法為染色分離法，在這種方法中，每一個通道被單獨分離開來進行染色。Bojnordi等[4]提出了一種基于色相-飽和度-密度(hue-saturation-density，HSD)的顏色模型，對于每一個染色類別單獨進行色度和密度分布的轉換。但該方法沒有將切片組織結構的空間特征考慮在內，且目標參考圖片需要由組織病理學領域的專家進行挑選。

針對這些問題，本文提出了一種基于染色風格歸一化算法(stain style normalization，SSN)的組織病理學數據集預處理框架，該框架提取圖片的內容特征和風格特征構建損失函數，搭建圖片轉換網絡和損失函數網絡對大量圖片進行訓練，將數據集中的圖片轉換到和目標圖片相同的染色分布。

1 基于SSN的數據集預處理框架

1.1 預處理框架

整個框架如圖1所示。該框架搭建了一個由圖片轉換網絡和損失函數網絡構成的風格轉換網絡。在訓練階段，固定一張染色圖片為目標染色圖片(即風格圖片)，對大量不同的內容圖片進行訓練，將目標染色圖片的染色紋理編碼在模型的權重之中；在運行階段，利用已經訓練好的、權值固定的染色遷移模型，將編碼好的染色風格紋理快速覆蓋到輸入的內容圖片上，完成染色風格的歸一化操作。由于模型的權重在訓練階段已經固定，在運行時，可以快速的對大量內容圖片進行染色風格的歸一化處理，具有較高的實時性。

圖1 基于SSN的組織病理學數據集預處理框架

1.2 染色風格歸一化算法

該框架中的染色風格歸一化算法是受到Gatys等提出的圖片風格遷移算法[5]的啟發。圖片風格遷移是指，將一張圖片的風格遷移到另一張圖片上，同時保留該圖片原有的內容信息。其中，提供風格紋理的圖片稱為目標風格圖片(簡稱風格圖片)，提供內容信息的圖片成為目標內容圖片(簡稱內容圖片)。輸出的圖片既保留了內容圖片的結構信息，又有著風格圖片提供的風格紋理[6]。

用圖片風格遷移的思想，可以較好解釋本文提出的染色風格歸一化算法：在一個染色狀態各不相同的組織病理學數據集(如圖2所示)中，選定一張染色分布狀態較好的病理學圖片作為目標風格圖片，數據集中剩余的其它所有圖片均視為內容圖片。對這些內容圖片逐個進行染色風格遷移，那么輸出的圖片既包含了目標染色圖片的風格信息(即染色分布)，又保留了原內容圖片的內容信息(即組織病理學樣式)，這樣，整個數據集的染色狀態便趨于統一，實現了染色風格的歸一化處理。

圖2 不同染色狀態的病理學圖片樣例

1.3 風格轉換網絡

風格轉換網絡(style transform net)結構如圖3所示，該網絡由兩部分組成：圖片轉換網絡(image transform net)[7]和損失函數網絡(loss network)[8]。首先，將圖片輸入到圖片轉換網絡中，將輸出的圖片作為風格化的初始圖片，輸入到損失函數網絡，聯合目標內容圖片和目標風格圖片構建損失函數，通過梯度下降法不斷尋找損失函數的最小值，訓練圖片轉換網絡。

圖3 風格轉換網絡

1.3.1 損失函數網絡

損失函數網絡[8]包含4個卷積塊，10個卷積層。在一個用于提取圖片特征信息的卷積神經網絡中，隨著網絡層次的不斷深入，這些卷積層提取到的特征信息也有所不同，

根據特征信息重建后的圖片也隨之改變，它們從一個個具體的像素點轉變成了一種更加抽象的、代表著圖片內容和紋理信息的特征[5]，如圖4所示。我們可以從視覺上直觀的看出高維特征和低維特征在表達圖片信息時有著不同的側重。我們把側重于表達物體間排列關系的特征稱為內容特征，側重于表達圖片整體紋理的特征成為風格特征。

圖4 重建圖片在不同網絡層次的表達[5]

(1)內容特征

從圖4中對內容圖片的重建可以看出：對于內容特征，低層的特征信息只是準確地還原輸入圖片中的各個像素點，而高層的特征信息則更側重于輸入圖片中各個物體間的排列關系，不會限制單個像素之間的位置。考慮到進行染色風格轉化時，正是需要保持原內容圖片中各個物體的排列關系、打破單個像素之間的約束從而達到風格化的目的，因此我們選取損失函數網絡高層(ReLU3_3)的特征信息來表示圖片的內容特征。

(2)風格特征

而對于風格特征，這里使用了一種原本被Gatys等[9]用于圖片質地合成的算法[10]。該算法的主要目的是抓取圖片的紋理信息，具體做法如下：在每一個block的最高層提取圖片的特征信息，這些特征信息包含了卷積核在不同空間上映射出的特征響應，使用該方法可以較好提取出靜態的、多維度的特征。從圖4中對風格圖片的重建可以看出，每一個block提取出的特征信息都能較好保留原圖的色彩紋理和局部結構，圖片內容的整體排列關系則被丟棄。因為圖片中整體的排列關系已經通過內容特征進行抓取，所以風格特征只用專注圖片的顏色紋理即可。因此，我們選取在每一個block的最高層(ReLU1_2、ReLU2_2、ReLU3_3、ReLU4_3)的特征信息來表示圖片的風格特征。

關于損失函數的構建，早期的方法使用的是基于像素的損失函數[9]，即計算兩張圖片像素之間的歐氏距離。但這種方法只能抓住圖片間單個像素的差異，無法捕捉圖片之間整體的感知差異。這里使用的損失函數是一種基于整體視覺感知的損失函數[11]，我們稱之為感知損失函數(perceptual loss),它不再專注于圖片單個像素之間的差異，而是更加關注圖片整體呈現出的視覺感官上的差異，即圖片內容所表達出的語義差異[12]。經過預訓練的損失函數網絡已經可以學習編碼圖像的感知語義信息。而這些高級的語義信息正是損失網絡用來衡量圖片間風格差異和內容差異所需要的。

有了內容特征和風格特征，我們便可以構建內容損失函數和風格損失函數，兩者加權之和為最終的損失函數[5]：

(1)內容損失函數

當我們進行圖像風格遷移時，必須保證生成的圖像在內容上與原內容圖像一致。因此，要找到一個能夠衡量兩張圖片在內容上的差異的參數，在優化的過程中對該參數進行約束。內容損失(content_loss)就是衡量原圖像與內容圖像在內容上差異的一個重要指標。我們在損失函數網絡的 ReLU3_3層提取圖片的高維特征作為內容特征，通過約束生成圖像和內容圖像在該層輸出特征圖的均方誤差(means square error，MSE)，可以使二者在 ReLU3_3層上輸出相似的結果[5]，從而保證生成圖像和內容圖像在 內容上的一致性。計算公式如下

(1)

其中，y′是輸入圖像，也就是生成的圖像，y是內容圖像，φ代表損失函數網絡，φj(y)指的圖像y輸入到該網絡以后的第j層的特征圖，j在這里指的是ReLU3_3層，CjHjWj是第j層輸出的特征圖的尺寸。

(2)風格損失函數

圖片之間的風格差異是通過風格損失(style_loss)來衡量的[9]，我們使用Gram矩陣來定義風格損失。該矩陣的計算方法為：矩陣中某點坐標(c,c′)對應的值，就是特征圖的第c張和第c′張圖對應元素相乘，求和后除以CjHjWj的值，即

(2)

根據生成圖像和風格圖像在ReLU1_2、ReLU2_2、ReLU3_3、ReLU4_3輸出特征圖的Gram矩陣之間的MSE來縮小生成的圖像與風格圖像之間的風格差異。

1.3.2 圖片轉換網絡

如表1，圖片轉換網絡[7]可以分為3個部分：降維層、殘差層和升維層。

表1 圖片轉換網絡結構

先降維后升維主要有兩個目的：第一，可以減小計算量。假設卷積核的大小是3×3，通道數為C，輸入圖片的大小為C×H×W,如果不進行下采樣，進行卷積需要9HWC2次乘加運算；若是將卷積核的通道數提升至D×C個，輸入圖片的大小為DC×H/D×W/D，同樣是9HWC2次運算，即在同樣的計算代價下，網絡變得更大了。第二，有效感知面積的增加[11]。通過下采樣后，每一塊區域連接的前一層的區域變大了，即輸出圖片中的單個像素點在上一層有著更大的有效感知視野。如此一來，單位面積下的像素所捕獲的上一層的信息量就越大，下一層的圖片就可以更好保存上一層圖片的信息。大的信息量意味著生成風格化圖片的每一個局部區域都是由上一層圖片中更大面積的區域計算得到的，輸出風格化圖片的區域連續性更強。

降維層和升維層都是由3層卷積層構成的，其中兩個stride不為1的卷積層是為了對圖片上/下采樣。這里以降維層為例，輸入圖片大小為256×256，第一個卷積層kernel size為9×9，stride為1，不改變輸入圖片的大小，通道數提升到32；第二個卷積層kernel size為3×3，stride為2，通道數提升至64，特征圖的寬和高縮小為原來的二分之一；第三個卷積層kernel size為3×3，stride為2，通道數提升至128，特征圖的寬和高縮小為原來的四分之一，即64×64。

升維層和降維層中間堆疊了5個殘差塊(residual block)。殘差塊的提出原本是為了解決網絡的退化問題[13]。這里的目的是為保持圖像在轉換過程中前后的相關性，從而保證生成的圖像不會和原內容圖像有著較大的差異[8]。這樣一來，輸出的圖片就不會偏離原始輸入，原始圖片的特征結構也在輸出圖片中得到保留。由于在圖片風格轉化的過程中，生成圖片的大部分結構信息都是從先前圖片那里獲得的，因此殘差網絡非常適用于這種轉換。

2 染色歸一化模型的訓練

實驗環境配置見表2。

表2 實驗環境配置

在訓練圖片轉換網絡時，需要不斷調整風格權重與內容權重，二者的比值直接影響了最終生成圖片的染色程度[11]。在進行染色風格遷移時，若風格權重和內容權重之比取的太小，就無法較好學習到風格圖片的染色紋理，圖片的染色風格改變較少，整個數據集就無法達到理想的染色歸一化效果；若風格權重和內容權重之比取的太大，組織病理學圖片就會逐漸趨于模糊，失去其原有的結構和紋理(即病理樣式)，這樣的圖片已經丟失了病理信息，失去了其醫學價值。

圖5(a)為風格權重和內容權重的比值設置過大時，生成的病理樣式模糊的圖片。其中，左邊為目標染色圖片，即理想情況下的染色狀態；右邊第一行是染色狀態不一致的原始數據集，為輸入；右邊第二行是根據目標圖片進行染色歸一化后的圖片，為輸出。我們可以看到，輸出的圖片十分模糊，已經失去了原有的內容結構信息。經過不斷測試，最終將風格權重style_weight設置為104，content_weight設置為102時，能在不改變病理學樣式的情況下，得到較為染色效果較為理想的病理圖片，如圖5(b)所示：輸出的圖片染色分布狀態相似且清晰地保持了其原有的組織病理學樣式。通過該方法，我們將整個數據集中的圖片都輸入到染色遷移模型中，批量進行染色風格歸一化操作。

圖5 不同風格內容權重比時輸出的染色圖片

訓練階段和運行階段的染色遷移時間對比見表3。由于訓練是預先完成的，對時間的容忍程度較大，不需要具備實時性；運行階段的速度達到了192 FPS，具有較高的實時性，可以應用于實際醫學工作中大規模數據集的批量歸一化預處理操作。

表3 訓練時間和運行時間對比

3 染色歸一化效果的驗證

3.1 實驗思路

圖6展示了實驗部分的主要工作：首先，使用本文提出的SSN算法對原有的14 000余張組織病理學數據集進行預處理，處理后的數據集記為數據集2，未處理的數據集記為數據集1。實驗主要分為兩個部分。

圖6 實驗思路

實驗1：色彩空間的對比。將數據集1和數據集2中的圖片映射到不同的色彩空間，對比兩個數據集中圖片顏色的分布情況。

實驗2：模型分類指標的對比。為了驗證染色風格歸一化后的數據集是否能提高模型的分類精度，分別使用數據集1和數據集2對同一網絡進行訓練，得到兩個不同的模型，分別記為模型1和模型2，對比這兩個模型在測試集上輸出的各種分類指標的優劣。根據控制變量法的思想，兩個模型除了輸入的數據集有差異外，其它因素均保持一致。在這里，圖片分類網絡由5層卷積層和一個全連接層構成。

3.2 數據預處理

首先，對數據集進行歸一化和標準化處理。圖像標準化可以把原始數據的不同特征映射到同一尺度，計算時對每一列數據，分別減去其均值，并除以其方差。經過標準化處理后的數據均值為0，方差為1，符合正態分布。對于歸一化來說，這里采用的是最大最小值歸一化，其目的是在保持原數據結構不變的情況下，將其縮放到0～1之間。

然后，將數據集劃分為訓練集、驗證集和測試集，三者的比例為9:1:4。經過不斷測試，最終模型的超參數設置如下：學習率1.5×10-4，batch size設置為64，采用Adam優化器，激活函數選取ReLu，Epoch為100。

3.3 實驗評價指標

實驗1的評價指標主要是圖像中點的集中/分散程度，以此來判定數據集在不同顏色通道上的分布情況。

實驗2的評價指標主要為ROC(receiver operating characteristic)曲線、AUC(area under the curve)面積，以及Accuracy、Precision、Recall和F1Score等。ROC曲線，又稱為受試者工作特性曲線，是通過將輸出樣本的概率分別作為分類的門限閾值，得到一系列False Positive和True Positive的值，將這些值連起來得到的曲線，點取的越密集，曲線越平滑。AUC，即ROC曲線下的面積，是一個小于1的值，它表明了分類器預測的正樣本高于負樣本的概率。Accuracy、Precision、Recall和F1Score的定義如下

(3)

(4)

(5)

(6)

其中，True Positive(TP)為真正例，將正樣本預測為正類的數量；True Negative(TN)為真負例，將負樣本預測為負類的數量，False Positive(FP)為假正例，將負樣本預測為正類的數量，False Negative(FN)假負例，將正樣本預測為負類的數量。

3.4 實驗結果分析

3.4.1 實驗1

圖7為數據集1和數據集2在RGB通道上顏色分布的對比。我們計算每張圖片RGB這3個通道的數值(取值0～255)，每組數值對應著三維坐標系中的一個點。遍歷整個數據集，即可得到如圖7所示的顏色分布。我們可以發現，右圖中點的分布比左圖更加密集，R、G、B這3個坐標的取值范圍都更小，這表明歸一化后的數據集在RGB通道上有著更加集中的色彩分布。類似的，我們將圖片轉化到HSL(Hue、Saturation、Lightness)通道，即可得到圖8所示的HS通道顏色分布對比圖。圖像的HSL，即色相、飽和度、亮度，是一種將RGB色彩模型在圓柱坐標系中表示的方法。這里我們取色相H和飽和度S兩個維度來繪制圖像，繪制極坐標是為了更好展示圖像的色相和飽和度分布情況。極坐標系的角度代表色相H，半徑代表飽和度S，H和S的取值范圍分別為0～360和0～1。從圖中我們可以看出，就飽和度的分布情況來說，數據集2和數據集1并無太大差別；但是對于色相，數據集2比數據集1更加集中，這表明歸一化后的數據集在HS通道上的色彩分布更加集中。

圖7 RGB通道顏色分布對比

圖8 HS通道顏色分布對比

圖7和圖8的結果從不同的色彩空間驗證了，本文提出的SSN數據集預處理框架，縮小了數據集單個圖片之間的色彩差異，使數據集在不同色彩空間上的顏色分布更加集中。

3.4.2 實驗2

圖9為訓練過程中損失函數和分類精度隨訓練次數的變化曲線。其中，圖9(a)對應模型1，圖9(b)對應模型2。我們可以看到，在整個訓練過程中，雖然訓練損失、驗證損失有小幅震蕩，但最終收斂到一個較小值，衡量分類能力的各個參數隨訓練次數的增加而穩步提高。模型1和模型2在訓練時并未表現出明顯的差異。

圖9 訓練過程中參數隨訓練次數變化曲線

圖10為測試階段ROC曲線的對比。其中，圖10(a)對應模型1，圖10(b)對應模型2。ROC曲線越接近左上角，表明分類器的分類能力越好。我們可以看到，模型2得到的ROC曲線比模型1更接近左上角，有著更大的曲線下面積，二者的AUC分別為0.9835和0.9943。這表明模型2所得模型有著更高的TP和更低的FP，分類能力更優。

圖10 模型1和模型2測試階段的ROC曲線

圖11和圖12分別為模型1和模型2在測試集上輸出的混淆矩陣。通過混淆矩陣可以判定模型的分類能力，聚集在對角線上的元素越多，說明模型正確分類的圖片越多。可以看出，模型1在4518張測試圖片中，得到True Positive 2301張，True Negative 1926張，分類的準確率為93.56%；模型2在4518張圖片中，得到True Positive 2389張，True Negative 1970張，分類的準確率為96.48%，相較于模型1提高了約3%。

圖11 模型1在測試集上輸出的混淆矩陣

圖12 模型2在測試集上輸出的混淆矩陣

表4為訓練階段模型1和模型2模型的指標對比?？梢钥闯?，模型2的訓練損失和驗證損失均低于模型1，說明模型2的收斂情況更優。對于AUC、Accuracy、Precision、Recall和F1Score等參數，模型2均比模型1高出約0.5%～1%，說明訓練階段模型2的學習情況要優于模型1。

表4 訓練階段模型指標對比

表5為測試階段模型1和模型2的指標對比。我們可以看出，相較于模型1，雖然模型2的AUC指標提升只有1.08%，但在識別圖片的Accuracy上高出了2.93%，Precision高出4.24%，Recall高出2.10%，F1Score高出3.15%，即模型2在圖片分類評價指標的各種參數上均比模型1高出約3%以上。這也驗證了本文提出的組織病理學數據集預處理框架的有效性，它的確能提高數據集的質量，為圖片分類網絡帶來更好的分類效果。

表5 測試階段模型指標對比/%

表6和表7分別為模型1和模型2的分類報告。從這兩張表中我們可以更詳細看到兩個模型分類能力的差別。不論是對于類別0還是類別1中的圖片，模型1的Precision、Recall和F1Score均低于模型2；在宏平均(macro average)和加權平均(weighted average)參數上，模型2仍比模型1高出約3%。

表6 模型1模型的分類報告

表7 模型2模型的分類報告

綜上，模型2有著更低的訓練損失，更理想的混淆矩陣，能夠輸出更多正確分類的圖片，在AUC、Accuracy、Precision、Recall和F1Score等參數上，均高于模型1。這是因為本文提出的SSN預處理框架，能夠縮小圖片之間的染色差異，使整個數據集的染色分布趨于統一，該框架提高了數據集的質量，帶來了更好的分類結果。

4 結束語

為了解決組織病理學數據集染色差異導致模型分類精度下降的問題，本文提出了基于SSN算法的組織病理學數據集預處理框架。該框架構建了一個風格轉換網絡，對醫學數據集進行染色歸一化處理，縮小了圖片之間的染色差異。在實驗部分，在不同的色彩空間觀察處理前后數據集的色彩分布情況，并設置對比實驗，分別采用處理前后的數據集對同一網絡進行訓練，得到兩個不同的模型，從訓練損失、驗證損失、測試精度、AUC面積等參數定量分析染色歸一化帶來的影響。實驗結果表明，經過該框架處理后的數據集，色彩分布更加集中，使用處理后的數據集訓練得到的模型，在醫學圖片的良性、惡性檢測工作中有著更高的識別精度。未來可以考慮擴大該框架的應用范圍，將其應用到不同領域的數據集預處理操作中。