基于圖像金字塔與NLM的冷凍電鏡圖像增強方法

何 睦， 李 軍， 鄭新科， 鈕 焱

（湖北工業大學計算機學院，武漢 430068）

0 引 言

由于成像技術與樣本制備等原因，冷凍電鏡成像的質量極差，圖像信噪比極低。人工從極低信噪比的圖像中挑選定位所有的顆粒圖像（生物大分子投影區域）費時費力，也會引入人為的偏見，因此大量自動化或半自動挑選方法逐漸被開發出來用于顆粒挑選。

目前常見的顆粒挑選方法有模板匹配法、圖像分割法、深度學習方法等。模板匹配法有ApplePicker［1］、KLT picker［2］等，模板匹配法通過計算模板與圖像待檢測窗口之間的相關分數，來判斷區域是否為顆粒或背景噪聲，其模板可以是人工挑選或者模擬的顆粒和噪聲。圖像分割法有AutoCryoPicker［3］、SuperCryoPicker［4］等，一般使用圖像分割技術從經過圖像增強處理的冷凍電鏡圖像中分割背景與顆粒。由于近年來深度學習的卓越表現，大量深度學習方法被用于顆粒挑選，有SPHIRE-crYOLO［5］、基于UNet的方法［6］等等，深度學習方法通過訓練深度學習網絡或模型，使其具有區分背景與顆粒的能力，實現顆粒挑選。

由于冷凍電鏡圖像信噪比極低，一些冷凍電鏡圖像的增強方法被提出來以提高圖像信噪比，如協方差維納濾波（Covariance Wiener Filtering，CWF）［7］、基于NECM的聚類方法［8］等，但這些方法大都用于對已經挑選出的單顆粒圖像去噪，并不適用于含有眾多顆粒與背景的整幅冷凍電鏡圖像。此外，基于CNN的去噪［9］、基于測地距離的去噪［10］等方法可用于去除整幅冷凍電鏡圖像的噪聲，前者需要構建復雜的模型與龐大的訓練數據集，后者去噪所需時間極長，難以在顆粒挑選階段得到有效的使用。

本文提出一種基于圖像金字塔與非局部均值（Non-Local Means，NLM）去噪的方法，用于增強冷凍電鏡圖像中顆粒與背景的特征，提高顆粒區域與背景區域的區分度，以便于后續的顆粒挑選流程。

1 圖像增強原理與方法

本文提出的基于圖像金字塔與非局部均值去噪的方法用于增強冷凍電鏡圖像，總體流程如圖1所示。

本文在對電鏡圖像使用非局部均值去噪的方法去除圖像噪聲后，使用離散余弦變換（Discrete Cosine Transform，DCT）矯正圖像背景，并對圖像下采樣獲得下級圖像。對下級圖像再次使用上述的去噪、背景矯正、下采樣獲得下級圖像，循環此過程直至圖像尺寸至設定值。上述循環過程中得到的尺度逐次減小的背景矯正后圖像，形成圖像金字塔中分辨率逐步降低的每一級。對金字塔每一級圖像進行直方圖變換和上采樣后獲得相同尺寸圖像，最后將上采樣結果圖像融合，即獲得最終的增強圖像。

1.1 非局部均值（NLM）去噪算法

自然圖像中存在大量相似區域，冷凍電鏡圖像也是如此，圖像中的顆粒區域之間、背景區域之間都存在相似性，非局部均值去噪算法基于圖像的這種特性，充分利用圖像的冗余信息，對相似區域進行加權求和，達到去除圖像噪聲的目的［11］。設含噪聲的圖像為f（x，y），對圖像中的每個像素點使用非局部均值去噪算法如下式：

式中：D/2為像素點f（x，y）領域搜索半徑；w（x，y，u，v）為鄰域內像素點f（x，y）與像素點f（u，v）之間的相似度權重；g（x，y）為去噪后的圖像中像素點f（x，y）的像素值。w（x，y，u，v）的計算式為

式中：h為一個基于噪聲的標準差的濾波平滑參數；V（x，y）、V（u，v）分別為像素點f（x，y）與像素點f（u，v）的鄰域相似度計算塊；V（x，y）-V（u，v）2為2個鄰域圖像塊的歐氏距離，其計算如下式：

式中：d為相似度計算塊的直徑，V（x，y，i，j）、V（u，v，i，j）分別為2個相似塊對應位置的像素值。

1.2 離散余弦變換（DCT）與背景矯正

在處理冷凍電鏡圖像過程中，圖像經過多次處理后，冷凍電鏡圖像中的亮度不均會變得更加明顯并影響到后續處理，因此需要對圖像做背景矯正處理。Jin等［12］將基于離散余弦變換的背景矯正方法應用于液晶顯示面板缺陷檢測領域，而冷凍電鏡圖像與顯示面板缺陷類似，目標區域與背景區域之間的差異較小，因此也可將離散余弦變換應用于冷凍電鏡圖像的背景矯正過程：

（1）二維離散余弦變換。對于尺寸為m×n圖像f（x，y），二維離散余弦變換如下：

式中：C（u，v）為DCT變換后的DCT系數矩陣；（x，y）、（u，v）為圖像f像素的坐標，x與u的范圍為0至m-1，y與v的范圍為0至n-1。

（2）系數矩陣濾波。在DCT的系數矩陣C（u，v）中，低頻部分為圖像能量集中的部分，圖像比較平坦，一般為背景；高頻部分為圖像變化比較劇烈的區域，一般為邊界。因此，對系數矩陣C（u，v）使用一個低通濾波器，再經過離散余弦變換的逆變換過程即可得到圖像的近似背景。低通濾波器如下：

式中：uth、vth分別為u、v方向的閾值，本文中2個閾值均取3；CLP（u，v）為低通濾波后的DCT系數矩陣。

（3）逆變換獲取背景。使用二維離散余弦變換的逆變換（Inverse Discrete Cosine Transform，IDCT）獲得近似背景圖像

（4）背景圖像矯正。原始圖像f（x，y）與背景圖像fBx，( )

y矯正圖像式如下：

式中：fsub（x，y）為原始圖像減去背景后獲得的矯正圖像，fnorm（x，y）是對矯正圖像進行歸一化處理后的圖像。背景矯正前后對比如圖2（a）和（c）所示，通過對比，可以發現經過背景矯正后，圖像整體背景亮度變得更為均衡，使得圖像中各個區域中顆粒與背景的分布狀態相近，便于后續統一地處理。

1.3 圖像直方圖變換

冷凍電鏡圖像經過圖像非局部均值去噪和背景矯正后，背景中仍然存在部分區域亮度過高，或者部分背景區域與顆粒區域區分度較差，如圖2（a）所示。本文采用直方圖變換法矯正圖像，抑制亮度過高區域，提高整體背景亮度，同時使顆粒區域的亮度降低，增加顆粒與背景之間的區分度。通過對冷凍電鏡圖像的觀察統計分析，本文提出的直方圖變換公式如下：

式中：f（x，y）為變換前圖像；fHT（x，y）為變換后圖像；smax為變換后亮度的最高值；μ為變換前背景像素分布的均值；k為控制變換函數圖像的坡度的系數。經實驗得出，設置smax＝230、μ＝110、k＝20較為合適，變換函數的曲線如圖2（b）所示。背景矯正后圖像用于構建圖像金字塔，故直方圖變換前圖像與背景矯正后圖像相同，直方圖變換前后圖像對比如圖2（c）和（e）所示，圖像直方圖對比如圖2（d）和（f）所示。由圖可知，變換后圖像背景像素值更加集中，顆粒像素值也趨于一致。

1.4 圖像金字塔

對圖像循環去噪、背景矯正和下采樣等處理，目的是為了構建多尺度圖像的金字塔。圖像金字塔是由一系列不同尺度不同分辨率的圖像依次堆疊形成的金字塔形結構，可以表示圖像在多個尺度下的信息。

本文用于冷凍電鏡圖像中顆粒挑選的圖像增強方法，更注重顆粒在整個圖像中的位置信息，即關注于顆粒整體部分，而非顆粒詳細結構。所使用的圖像金字塔主要是利用不同分辨率下，圖像包含的信息側重有所不同，高分辨率圖像包含圖像的細節信息，低分辨率圖像則側重于整體信息。對于一些尺寸較小的顆粒而言，結構的細節部分與整體難以區分，經過多次處理后的圖像丟失細節過多而造成顆粒投影圖像過于模糊。因此，本文方法保留了圖像金字塔中高分辨率的圖像。

對于有t層圖像組成的圖像金字塔形成圖像集合fΩ＝｛fz（x，y）｜z＝1，2，…，t｝，對每一層使用的圖像上采樣后，上采樣結果圖像與原始圖像具有相同的尺寸，圖像最終融合式如下：

式中，upsampling（fz（x，y））表示對圖像fz（x，y）的上采樣。

圖像金字塔、上采樣、融合過程如圖3所示。其中圖3（a）為冷凍電鏡圖像，圖3（b）為構建的圖像金字塔結構，圖3（c）為金字塔中每層圖像上采樣形成的圖像集，圖3（d）為疊加融合的最終增強圖像。

2 實驗圖像與評價方式

2.1 冷凍電鏡圖像數據

本文使用的圖像數據源有2類：①利用生物大分子三維結構投影得到的模擬電鏡圖像；②冷凍電鏡拍攝的原始電鏡圖像。使用的三維結構文件為生物大分子的斷層掃描圖像，所有的數據文件都來自于存放冷凍電鏡圖像與斷層掃描圖像的公開存儲庫EMDB［13］，使用的4個代表性斷層掃描圖像文件編號為EMD-2660［14］、EMD-2824［15］、EMD-3137［16］、EMD-3645［17］。原始的冷凍電鏡圖像數據來自于存放冷凍電鏡原始數據的公開存儲庫EMPIAR［18］，使用的原始冷凍電鏡圖像數據集編號為EMPIAR-10028［14］、EMPIAR-10017［15］、EMPIAR-10033［16］、EMPIAR-10089［17］，斷層掃描圖像文件是由上述原始電鏡像數據集經過顆粒挑選和三維重構形成的，原始電鏡編號順序與上述斷層掃描圖像文件編號順序對應。

由于沒有無噪圖像為參照，直接使用原始冷凍電鏡圖像做圖像增強處理，使得客觀評價圖像增強質量難以進行。利用生物大分子的三維結構文件合成模擬電鏡圖可以獲得清晰的無噪聲圖像，便于客觀上對比圖像增強效果。本文生成模擬電鏡圖像過程分為3步：①對三維結構進行隨機投影獲得生物大分子不同角度的投影圖像；②在空白圖上生成隨機生成間距大于分子平均直徑的點，隨機選擇投影圖像放置各點處，從而獲得干凈的無噪聲的冷凍電鏡圖像；③對干凈無噪圖像添加噪聲，獲得最終的模擬電鏡圖像，如圖4所示。

對原始冷凍電鏡圖像分析可以發現，無顆粒的背景噪聲區域與有顆粒的區域之間像素分布差別極小，這是由于原始冷凍電鏡圖像信噪比極低，可以認為圖像基本都是噪聲。為了獲取更為逼真的冷凍電鏡圖像噪聲，將原始冷凍電鏡圖像的像素進行隨機打亂，形成本文使用的噪聲圖像，其中未完全打亂的微小粒狀區域也可作為對原始圖像中雜質的模擬。根據冷凍電鏡成像原理，冷凍電鏡噪聲多為高斯加性噪聲，對干凈圖像IR添加噪聲IN的公式如下：

式中：α為噪聲比例；IS為合成的帶有噪聲的模擬電鏡圖像。最終形成的模擬電鏡圖像與原始冷凍電鏡圖像類似，顆粒區域為亮度較低的暗塊，背景亮度較高。

2.2 評價參數

冷凍電鏡圖像的增強處理是為了提高圖像中顆粒區域與背景區域的區分度，保留圖像的主要特征，使得增強后圖像與無噪聲圖像具有較高的相似度，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似度（Structural Similarity，SSIM）來衡量經過圖像增強的圖像與干凈無噪聲圖像之間的相似度。

PSNR是一種基于均方誤差（Mean Squared Error，MSE）的評價指標，常用于評估壓縮視頻或圖像信號重建的質量，一般情況下，較高的PSNR值表示重建的信號質量越好。對于尺寸為m×n圖像f（x，y）和重建圖像g（x，y），均方誤差MSE的計算方式如下：

峰值信噪比PSNR的計算如下：

式中：Imax為圖像中可能的最大值，本文圖像像素數據為8 bit無符號整數，故Imax＝255。

結構相似度SSIM是綜合2個圖像在亮度、對比度和結構3個因素的相似度參數，SSIM值越大表示2個圖像相似度越高。對于圖像f（x，y）和圖像g（x，y），兩者之間的SSIM計算方式如下：

式中：γl、γc、γs分別為3種因素的權重，通常三者均取1；lu（f，g）、co（f，g）、st（f，g）分別為圖像f（x，y）和g（x，y）在亮度、對比度和結構上的相似度參數，計算式如下：

式中：μf、μg分別為2個圖像的均值，表示圖像的亮度信息；σf、σg分別為2個圖像的方差，表示圖像的對比度；σfg為2個圖像的協方差；c1、c2、c3為避免分母為0的常數，對于像素數據為8 bit無符號整數的圖像，一般默認c1＝（0.01×8）2，c2＝（0.03×8）2，c3＝c2/2。

3 實驗結果與分析

3.1 去噪方法對比

在構建圖像金字塔時需要選取合適的去噪方法，以使顆粒區域與背景區域能夠快速有效地去除噪聲。對冷凍電鏡圖像使用維納濾波（Wiener Filter，WF）［7］、K-SVD［19］、BM3D［20］、WNNM和NLM方法進行去噪處理。對1張尺寸為2 048×2 048的冷凍電鏡圖像去噪結果（局部）與所用時間如圖5所示。

上圖5可知，WF與K-SVD方法去噪效果不太理想，而NLM、BM3D與WNNM去噪效果較好，但NLM方法消耗時間遠小于后2種方法，處理速度是后兩者處理速度的10倍以上。對于顆粒挑選步驟而言，重要的是去除噪聲并保留顆粒主要形狀信息，細節在此階段并非重點。選用NLM去噪方法能夠快速有效的去除圖像噪聲并保留顆粒區域主要信息。

3.2 不同比例噪聲增強對比

在干凈的冷凍電鏡圖像中添加不同比例噪聲形成一組模擬電鏡圖像，使用本文方法對模擬圖像進行圖像增強處理前后直觀對比如圖6所示（以EMD-3137的模擬圖像為例），圖6（a）從上到下、從左到右噪聲比例α依次為0、0.1、0.2，…，0.8。圖6（b）中左上角圖為無噪圖，其余為子圖（a）對應位置圖像經本文圖像增強處理后的結果。

由圖6可直觀看出，經過圖像增強處理后，可輕易區分圖中顆粒區域均能與背景區域。特別是對于噪聲比例0.6、0.7、0.8的圖像，從帶噪圖像中區分顆粒與背景較為困難，而經過處理后顆粒與背景區分很明顯。

為了減小圖像亮度對評價方法的影響，以更好地評價圖像增強效果，這里對無噪圖像、帶噪圖像、增強圖像均進行二值化處理。本文使用的二值化方法為基于最大類間方差的Otsu方法，圖6（c）為原始圖與帶噪圖像的二值圖，圖6（d）為原始圖與增強圖像的二值圖。由二值圖可直觀看出，經過本文圖像增強處理后，背景中的噪聲大部分得以清除，背景與顆粒更易區分。

對二值圖計算的PSNR與SSIM結果對比如圖7所示，PSNR和SSIM值越高表示效果越好。由圖可知，在噪聲比例較大（0.5～0.9）時，處理后的圖像PSNR和SSIM均有明顯地提升。由于使用了圖像金字塔，在多次下采樣后圖像丟失部分細節結構，在噪聲比例較小（0.1～0.3）時，處理后圖像的PSNR和SSIM結果比處理前結果更低或相近。而冷凍電鏡圖像的特點就是信噪比極低，低噪聲比例的情況并不影響本文方法對冷凍電鏡原始圖像的處理。

3.3 原始冷凍電鏡圖像增強對比

為了驗證本文方法在原始冷凍電鏡圖像上的效果，實驗在4種原始冷凍電鏡圖像數據集各取1張圖像為樣本。由于冷凍電鏡圖像尺寸過大，所以此處截取圖中部分區域用于展示。原始冷凍電鏡圖像區域如圖8（a）中①所示，從左到右各列依次為EMPIAR-10028、EMPIAR-10017、EMPIAR-10033、EMPIAR-10089圖像的部分區域。

使用本文方法處理后圖像為圖8（a）中④。圖8（a）中②為AutoCryoPicker中對冷凍電鏡圖像增強方法的處理結果，③為SuperCryoEMPicker中增強方法的處理結果，其中③是②的一種改進，在圖像增強處理后加入簡單線性迭代聚類（Simple Linear Iterative Clustering，SLIC），兩者預處理冷凍電鏡圖像所取得的效果目前最好。

圖8（b）為圖8（a）各對應圖二值化后的結果，其中①和④使用的Otsu方法。由于對比增強處理結果的圖像同樣使用Otsu方法，二值化的結果非常糟糕，效果遠低于本文方法，故增強處理方法二值化結果對比使用文獻對應的分割方法。從圖8中可以看出，本文方法的增強效果更加明顯，二值圖像也更加完整。

3.4 模擬冷凍電鏡圖像增強對比

從模擬的冷凍電鏡圖像中主觀地選取與原始圖像噪聲水平相近的圖像作為樣本，使用不同的圖像增強方法，計算增強后相應圖像的PSNR和SSIM。選取EMD-2660、EMD-2824、EMD-3137、EMD-3645的4種模擬電鏡圖像噪聲比例依次為0.6、0.6、0.7、0.8。截取的模擬圖像如圖9（a）①所示，從左到右順序與圖8一致，②、③、④分別為AutoCryoPicker法、SuperCryoEMPicker法和本文方法的增強結果對比。圖9（b）為（a）中對應位置圖像二值化結果。通過觀察圖8與圖9，可以發現本文增強方法與對比方法在處理真實圖像與模擬圖像時結果類似，本文增強方法效果更為明顯，用于顆粒挑選的二值圖也更為完整地保留了顆粒圖像。

3.5 圖像增強結果對比

3.5.1 PSNR與SSIM結果對比

在模擬圖像上使用對比方法與本文方法，對增強圖像計算PSNR和SSIM結果如表1所示。由于圖像亮度的影響，帶噪圖像的PSNR值比增強圖像的更高，不能準確評價準確結果，此處僅對比3種準確圖像的PSNR結果也僅做參考。

表1 帶噪圖像與增強圖像PSNR與SSIM結果對比

根據表中PSNR和SSIM對比中，本文方法在EMD-2660、EMD-2824、EMD-3645的模擬圖像中取得最高值，在EMD-3137模擬圖像中SSIM的結果0.540 3雖不是最高，但與最高值0.546 4差距很小。從對4種圖像處理的平均結果來看，本文方法處理后的圖像的平均PSNR為12.514 0，平均SSIM為0.605 5，結果在整體上優于對比方法。

由于處理后圖像與原圖整體亮度相差較大，直接計算處理后圖像的PSNR和SSIM并不能完全說明圖像增強的效果。對原圖和增強圖像進行二值化的結果計算PSNR和SSIM，數據如表2所示。

從表2中PSNR的對比可知，本文方法在4種圖像處理上均取得最佳結果。在SSIM的對比中，除了在EMD-3137模擬圖像中本文方法結果0.852 3略低于SuperCryoEMPicke的0.858 4，在其余3種模擬圖像中，本文方法均取得最好結果。在4種圖像的平均PSNR和SSIM中，本文方法結果分別為13.168 7和0.857 6，均優于對比方法。

表2 帶噪圖像與不同增強圖像經過二值化后PSNR與SSIM結果對比

3.5.2 顆粒數目對比

對圖8中4種原始圖像（局部）結果可獲得的顆粒數量對比可知，4種原始電鏡圖像中存在的顆粒數量依次為7、38、18、7，文獻［3］中的增強方法結果可辨識顆粒數7、38、18、7，文獻［4］中的增強方法結果可獲得顆粒數目為6、6、13、1，本文方法結果可辨識顆粒數7、38、18、7。

對圖9模擬圖像（局部）結果分析，4種模擬電鏡圖像中存在的顆粒數量依次為8、24、5、11，文獻［3］中的增強結果可辨識顆粒數8、24、5、10，文獻［4］中的增強方法結果可獲得顆粒數目為8、12、5、5，本文方法結果的顆粒數8、24、5、11。

從顆粒數目對比可知，對于大尺寸顆粒圖像，3種方法都可以很好地得到保留所有顆粒，對小尺寸顆粒，文獻［3］中方法與本文方法可以保留所有顆粒，但文獻［3］的增強結果中仍然存在大量噪聲，后續需要更為復雜的分割清理方法才能得到較好的結果。文獻［4］中方法加入SLIC是為了便于后續分割，但結果并不理想，可能需要較復雜的參數優化才能取得較好的結果。

通過本文方法模擬不同噪聲比冷凍電鏡圖像的處理結果對比，以及與最新相關文獻中圖像增強方法對原始冷凍電鏡圖像與模擬電鏡圖像的對比，本文方法對冷凍電鏡圖像的增強效果非常顯著，在去除圖像噪聲的同時，突出了圖像顆粒的主要形狀特征，使圖像中顆粒與背景更加容易區分，有助于后續對冷凍電鏡圖像分割獲得顆粒圖像。

4 結 語

本文提出的基于圖像金字塔與NLM去噪的冷凍電鏡圖像增強方法，通過圖像金字塔中的多尺度多分辨率圖像信息與NLM方法高效的去噪效果，實現了冷凍電鏡圖像進行增強處理。并由冷凍電鏡圖像增強實驗表明：本文使用的圖像增強方法較其他方法能夠獲得更顯著的增強效果，更夠有效地增強顆粒特征，使顆粒與背景之間的區分度更高。在后續的研究中，可根據圖像中顆粒的尺寸對算法參數和流程做進一步優化，以獲更好的增強效果。