基于多尺度快速非局部平均濾波的超聲圖像去斑算法

雷露露，周穎玥*，李馳，王欣宇，趙家琦

基于多尺度快速非局部平均濾波的超聲圖像去斑算法

雷露露1，2，周穎玥1，2*，李馳1，2，王欣宇1，2，趙家琦1，2

（1.西南科技大學 信息工程學院，四川 綿陽 621010； 2.特殊環境機器人技術四川省重點實驗室（西南科技大學），四川 綿陽 621010）（*通信作者電子郵箱zhouyingyue@swust.edu.cn）

超聲成像因其便捷、廉價、無輻射等優點被廣泛應用于臨床診斷中，然而圖像中的斑點噪聲可能對臨床診斷或后續圖像分析產生不利影響。作為一種典型的去噪技術，在利用非局部平均濾波（NLMF）對超聲圖像進行去斑時，會存在時耗高、濾波參數不易設置等不足，因此，提出一種多尺度快速非局部平均濾波（MF-NLMF）算法用來去除超聲圖像的斑點噪聲。首先提出快速非局部平均濾波（F-NLMF）算法，利用互相關濾波技術減少運算時耗；接著設置多種窗口參數獲得多幅去斑結果，而模型參數值可根據窗口尺寸自適應調節；最后將多幅去斑結果進行融合得到最終的去斑圖像。實驗結果表明：在相同實驗條件下，與傳統NLMF算法相比，F-NLMF算法的運算時間至少減少了96.04%；而MF-NLMF算法與迭代貝葉斯非局部均值濾波（IBNLMF）等算法相比，去斑圖像的峰值信噪比（PSNR）值、特征相似度測度（FSIM）值、對比度噪聲比（CNR）和信噪比（SNR）分別提高了0.73 dB、0.011、0.000 5、0.001 6以上。

斑點噪聲；非局部平均濾波；多尺度；自適應；快速濾波

0 引言

超聲成像是觀察人體內部組織器官的有效技術，與其他醫學影像成像方式相比，超聲成像具有無創、無損、廉價、方便、實時等優點，被廣泛應用在醫學診斷中，尤其是孕婦胎兒成長狀況的檢查［1］。然而像所有相干成像方法一樣，由于成像過程的固有缺陷，超聲圖像存在斑點噪聲［2］污染，從而降低了超聲圖像的質量，給臨床診斷以及后續的圖像特征提取和識別造成了不利的影響。因此，抑制超聲圖像中的斑點噪聲并保留圖像中的重要細節是十分必要的。

針對超聲圖像的斑點抑制問題，學者們已經提出許多方法，這些方法可分為六類：局部自適應濾波、基于偏微分方程的濾波、基于小波變換的濾波、基于非局部平均的濾波、基于深度學習的去斑方法和混合去斑法。經典的自適應濾波去斑方法包括Lee濾波［3］、Frost濾波［4］、Kuan濾波［5］、自適應中值濾波［6］等，雖然這類方法具有較低的算法復雜度，但它們往往是在損失一定的邊緣細節的基礎上去除斑點噪聲。基于偏微分方程的濾波方法包括各種形式的各向異性擴散［7-10］去斑方法，這些方法能在一定程度上避免原始圖像的模糊，但涉及迭代運算，計算比較復雜［11］。基于小波變換［12-13］的多尺度去斑方法有硬閾值法、軟閾值法等，它們的去斑效果良好，但在細節保持能力上仍有限。基于非局部平均濾波（Non-Local Means Filter， NLMF）的去斑方法充分考慮了圖像中充滿著豐富的冗余信息，采用非局部加權平均的方式對圖像去斑，該類方法簡單、易操作，但存在速度較慢、參數設置不靈活的問題。隨著深度學習技術在信號處理領域的廣泛應用，一些學者利用神經網絡模型去除圖像斑點噪聲，也取得了非常不錯的效果，然而該技術在網絡模型訓練的過程中需要用到大量的圖片，因此操作起來具有一定的復雜性。混合去斑方法是將多種圖像先驗融合到一個去斑模型中，例如將非局部相似與稀疏表示［14］或低秩先驗［15］結合形成去斑模型，這類方法也取得了較好的去斑效果，但是在模型求解時用到了復雜的優化方法，并且有一定量的參數需要設置。

1 斑點噪聲模型

超聲圖像在形成的過程中由于高頻波在不同聲阻抗的組織之間的邊界處發生了部分反射和透射，形成了一系列相干波，這些相干波互相干涉，從而產生了散斑噪聲［16-17］。通常認為斑點噪聲是一種乘性噪聲，并服從瑞利分布［18］。然而，為了提高圖像的質量，超聲成像儀在輸出之前對射頻信號進行一系列的標準處理，例如非線性放大、對數壓縮、低通濾波、插值等運算，這些操作可能改變了原始信號的統計特性［19］。目前，常用的斑點噪聲模型如下：

2 NLMF技術

3 MF?NLMF算法

3.1 快速非局部平均濾波算法

如前所述，NLMF算法在進行超聲圖像斑點噪聲去除時，由于在計算圖像塊之間的相似距離時存在大量重復運算，使算法的運行速度不夠快，所以本文首先提出了一種快速非局部平均濾波（Fast Non-Local Mean Filter， F-NLMF）算法，利用互相關濾波對算法進行加速。

這樣就形成了快速非局部平均濾波算法。

3.2 MF-NLMF算法

在實驗時發現：圖像塊之間的相似度與匹配區域的大小和噪聲強度有關。如圖1所示：圖（a）是噪聲強度為5的模擬斑點噪聲圖像，選取圖像中兩個不同位置的像素點，并以該像素點為中心，設置尺寸大小不同的圖像塊，如圖（b）、圖（c）所示，再分別計算每個圖像塊與其相鄰圖像塊之間的相似距離，結果如表1所示。可以看出：匹配區域的大小和噪聲強度都影響著相似距離的大小，這也直接影響到去斑效果。針對這個問題，本文根據窗口參數和噪聲強度對濾波參數進行自適應調整。同時通過實驗還發現：窗口大小（匹配區域和搜索區域大小）和噪聲強度都會影響去斑效果，若選擇單一的窗口區域，則去斑后的圖像會缺失較多的邊緣細節。為此本文設置了不同窗口區域大小，利用多尺度的方式將得到的不同效果的去斑結果圖進行融合，以此來獲得更佳的去斑效果，具體如下。

圖1 模擬斑點噪聲圖像及其不同位置不同尺寸的圖像塊示意圖

表1 不同圖像塊尺寸下的相似距離d值

由上述可知：相似距離因噪聲強度和匹配區域的變化而改變，這使得相似權重發生變化，最終算法的去斑效果受到影響。為了減緩相似權重因噪聲強度和匹配區域的不同而帶來的改變，得到去斑效果較好的結果圖，本文對相似權重計算公式中的衰減參數進行相應的設置。通過大量實驗，最終將衰減參數設置為：

得到個濾波結果后，本文將其進行融合，利用如下加權平均處理的方式得到最終去斑圖像：

4 實驗結果與分析

4.1 圖像質量評價標準

為評價所提算法去除超聲圖像斑點噪聲的性能，本文使用了四種圖像質量評價標準，包括峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）、特征相似度測度（Feature SIMilarity index， FSIM）、對比度噪聲比（Contrast-to-Noise Ratio， CNR）和信噪比（Signal-to-Noise Ratio， SNR）。

2）FSIM：是一種結構相似度測度，用來測試兩幅圖像之間的特征相似性。FSIM主要以相位相似度和圖像梯度相似度來度量局部結構的重要性，在評價質量分數階段，將相位相似度作為權值，增大了與人眼視覺感知的相關性，是一種較好的質量評估方法，具體計算參見文獻［26］。

3）CNR和SNR：這兩個指標主要用于在無參考圖像時做圖像質量評價，而本文研究的對象是超聲圖像，實際臨床中是沒有理想參考圖像的，因此需要用CNR和SNR進行去斑后的圖像質量評價，相應的計算公式如下：

圖2 測試圖像示例

4.2 F-NLMF實驗結果與分析

表2 不同算法對帶斑點噪聲的“頭部”幻影圖像的去斑速度比較

4.3 MF-NLMF實驗結果與分析

為了定量評價本文MF-NLMF算法在去除斑點噪聲上的性能，利用圖2，將MF-NLMF算法與各向異性擴散去斑法（Speckle Reducing Anisotropic Diffusion， SARD）、斑點抑制雙邊濾波法（Speckle Reducing Bilateral Filter， SRBF）、傳統塊模式非局部均值濾波法（Traditional Blockwise Non-Local Mean Filter， TBNLMF）、優化貝葉斯非局部均值濾波（Optimized Bayesian Non-Local Means Filter， OBNLMF）、權重細化非局部均值濾波法（Weight Refining Non-Local Mean Filter，WRNLMF）和IBNLMF進行對比。

4.3.1 “頭部”幻影圖像斑點噪聲去除實驗

4.3.2 仿真超聲圖像去斑實驗

針對圖2（b）的Field_Ⅱ仿真超聲圖像采用7種去斑算法進行斑點噪聲去除，由于篇幅限制，本文僅展示“囊腫”仿真超聲圖像的去斑結果，如圖4所示。從圖中可以看出：SRAD、SRBF、TBNLMF算法所獲得的去斑圖像中剩余了較多的斑點噪聲，背景區域不光滑；WRNLMF、IBNLMF以及本文所提算法斑點噪聲去除得較為干凈，而本文MF-NLMF算法的結果圖中目標區域的邊界更加平滑，背景區域更加均勻。

圖3 時各算法對含斑噪聲“頭部”幻影圖像的去斑結果

表3 不同算法對帶斑點噪聲的“頭部”幻影圖像進行去斑的結果

為更加客觀地對去斑結果進行比較分析，本文采用無參考圖像的質量評價標準CNR和SNR進行結果評價。如圖4（a）所示，本文手動選取出3對目標區域和背景區域，且每一對中的目標區域和背景區域是相鄰的，即圖中用紅色矩形框圈出的部分，然后計算不同去斑圖像相應三對區域的CNR值和SNR值，結果如表4所示。從中可以看出：無論選擇哪個區域，本文MF-NLMF算法得到的目標區域的CNR值和SNR值都是最大的，即去斑圖像質量最好。

圖4 不同去斑算法對Field Ⅱ仿真“囊腫”超聲圖像的去效果

表4 不同算法對Field Ⅱ仿真“囊腫”超聲圖像的去斑定量結果 單位： dB

4.3.3 真實超聲圖像去斑實驗

為評估本文MF-NLMF算法對真實超聲圖像的去斑效果，本文對3張真實超聲圖像進行了去斑處理，如圖5所示。可以看出：本文方法不但可以消除絕大多數斑點噪聲，而且去斑圖像中器官內部區域較為干凈，各器官的邊緣分界較為清楚，這將有利于醫生基于原始超聲圖像和去斑超聲圖像對病情的輔助診斷。

綜上所述，本文MF-NLMF算法對模擬斑點噪聲圖像、Field Ⅱ仿真超聲圖像和真實超聲圖像的去斑效果都較好。F-NLMF快速濾波算法的去斑速度至少為傳統NLMF算法的25.25倍，在此基礎上提出的MF-NLMF算法雖增加了一定的去斑次數，但去斑效果得到了較明顯提升，并且MF-NLMF算法的時間消耗仍比其他去斑算法的時耗要少，獲得了去斑效果和時間性能的最佳平衡。

5 結語

本文充分挖掘了經典NLMF算法在超聲圖像斑點噪聲去除上的潛力，針對原始NLMF算法在時間復雜度和參數設置上的缺陷，對NLMF算法中時間耗費最多的圖像塊之間相似度計算上進行優化，充分利用互相關濾波，減少了大量重復運算，從而形成了快速算法；同時對NLMF算法中的衰減參數和窗口參數進行了巧妙設置，提出了一種多尺度非局部平均濾波算法MF-NLMF，對多種窗口參數下的非局部平均濾波結果進行加權平均處理，而且衰減參數根據窗口參數的不同而自適應設置，從而融合了多種窗口參數下的濾波結果。

通過對模擬斑點噪聲圖像、仿真超聲圖像和真實超聲圖像進行去斑測試，并與其他典型的超聲圖像去斑算法進行比較，結果表明：本文MF-NLMF算法在速度和去斑效果上都有明顯優勢，較傳統NLMF算法速度提高了，PSNR值較其他去斑方法至少可以提高0.73 dB。將本文算法用于實際臨床超聲圖像的去斑，可以為醫生的診斷提供一定的輔助作用。

[1] 鄭淵悅，徐銘恩，王玲. 改進權值非局部均值超聲圖像去噪［J］. 中國圖象圖形學報， 2017， 22（6）：778-786.（ZHENG Y Y， XU M E， WANG L. Improved weighted non-local means ultrasonic image denoising algorithm［J］. Journal of Image and Graphics， 2017， 22（6）：778-786.）

[2] 沈民奮，陳婷婷，張瓊，等. 醫用超聲圖像散斑去噪方法綜述［J］. 中國醫療器械信息， 2013， 19（3）：17-22.（SHEN M F， CHEN T T， ZHANG Q， et al. The review of speckle denoising in medical ultrasound imaging［J］. China Medical Device Information， 2013， 19（3）： 17-22.）

[3] 江勇，張曉玲，師君. 極化SAR改進Lee濾波相干斑抑制研究［J］. 電子科技大學學報， 2009， 38（1）：5-8.（JIANG Y， ZHANG X L， SHI J. Speckle reduction for polarimetric SAR images by improved Lee filter［J］. Journal of University of Electronic Science and Technology of China， 2009， 38（1）： 5-8.）

[4] 楊婧瑋，李賀，王智超. 改進Frost算子在SAR圖像斑點噪聲抑制中的應用［J］. 測繪科學技術學報， 2009， 26（4）：280-282， 287.（YANG J W， LI H， WANG Z C. Application of SAR image de-speckling method based on improved Frost filer［J］. Journal of Geomatics Science and Technology， 2009， 26（4）： 280-282， 287.）

[5] AKL A， TABBARA K， YAACOUB C. An enhanced Kuan filter for suboptimal speckle reduction［C］// Proceedings of the 2nd International Conference on Advances in Computational Tools for Engineering Applications. Piscataway： IEEE， 2012： 91-95.

[6] LOUPAS T， McDICKEN W N， ALLAN P L. An adaptive weighted median filter for speckle suppression in medical ultrasonic images［J］. IEEE Transaction on Circuits and Systems， 1989， 36（1）：129-135.

[7] MA X S， SHEN H F， ZHANG L P， et al. Adaptive anisotropic diffusion method for polarimetric SAR speckle filtering［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2015， 8（3）： 1041-1050.

[8] RAMOS-LLORDéN G， VEGAS-SáNCHEZ-FERRERO G， MARTíN-FERNáNDEZ M， et al. Anisotropic diffusion filter with memory based on speckle statistics for ultrasound images［J］. IEEE Transactions on Image Processing， 2015， 24（1）： 345-358.

[9] PERONA P， MALIK J. Scale-space and edge detection using anisotropic diffusion［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1990， 12（7）：629-639.

[10] YU Y J， ACTON S T. Speckle reducing anisotropic diffusion［J］. IEEE Transactions on Image Processing， 2002， 11（11）： 1260-1270.

[11] 付曉薇，楊雪飛，陳芳，等. 一種基于深度學習的自適應醫學超聲圖像去斑方法［J］. 電子與信息學報， 2020， 42（7）：1782-1789.（FU X W， YANG X F， CHEN F， et al. An adaptive medical ultrasound images despeckling method based on deep learning［J］. Journal of Electronics and Information Technology， 2020，42（7）：1782-1789.）

[12] OVIREDDY S， MUTHUSAMY E. Speckle suppressing anisotropic diffusion filter for medical ultrasound image［J］. Ultrasonic Imaging， 2014， 36（2）： 112-132.

[13] ZHANG J， LIN G K， WU L L， et al. Speckle filtering of medical ultrasonic images using wavelet and guided filter［J］. Ultrasonics， 2016， 65： 177-193.

[14] JIANG J， JIANG L W， SANG N. Non-local sparse models for SAR image despeckling［C］// Proceedings of the 2012 International Conference on Computer Vision in Remote Sensing. Piscataway： IEEE， 2012： 230-236.

[15] ZHANG Y S， ZHAO Y C， JI K F， et al. SAR image despeckling by iterative non-local low-rank constraint［C］// Proceedings of the 2016 Progress in Electromagnetic Research Symposium. Piscataway： IEEE， 2016： 3564-3568.

[16] COUPE P， HELLIER P， KERVRANN C， et al. Nonlocal means-based speckle filtering for ultrasound images［J］. IEEE Transactions Image Processing， 2009， 18（10）： 2221-2229.

[17] SUDEEP P V， PALANISAMY P， RAJAN J， et al. Speckle reduction in medical ultrasound images using an unbiased non-local means method［J］. Biomedical Signal Processing and Control， 2016， 28： 1-8.

[18] 劉春明，張相芬，陳武凡. 基于小波的醫學超聲圖像斑點噪聲抑制方法［J］. 中國醫學物理學雜志， 2006， 23（5）： 364-367， 394.（LIU C M， ZHANG X F， CHEN W F. Wavelet-based method for speckle reduction in medical ultrasound image［J］. Chinese Journal of Medical Physics， 2006， 23（5）： 364-367， 394.）

[19] 方宏道，周穎玥，林茂松. 基于貝葉斯非局部平均濾波的超聲圖像斑點噪聲抑制算法［J］. 計算機應用， 2018， 38（3）：848-853， 872.（FANG H D， ZHOU Y Y， LIN M S. Speckle suppression algorithm for ultrasound image based on Bayesian nonlocal means filtering［J］. Journal of Computer Applications， 2018， 38（3）：848-853， 872.）

[20] 胡靜波. 改進的中值濾波去噪算法分析［J］. 信息技術， 2011， 35（8）：32-33， 36.（HU J B. Analysis of improved median filtering de-noising algorithm［J］. Information Technology， 2011， 35（8）：32-33， 36.）

[21] ZHAN Y， DING M Y， WU L X， et al. Nonlocal means method using weight refining for despeckling of ultrasound images［J］. Signal Processing， 2014， 103： 201-213.

[22] ZHOU Y Y， ZANG H B， XU S， et al. An iterative speckle filtering algorithm for ultrasound images based on Bayesian nonlocal means filter model［J］. Biomedical Signal Processing and Control， 2019， 48： 104-117

[23] 邢笑笑，王海龍，李健，等. 漸近非局部平均圖像去噪算法［J］. 自動化學報， 2020， 46（9）：1952-1960.（XING X X， WANG H L， LI J， et al. Asymptotically non-local average image denoising algorithm［J］. Acta Automatica Sinica， 2020， 46（9）：1952-1960.）

[24] JENSEN J A. Simulation of advanced ultrasound systems using Field Ⅱ［C］// Proceedings of the 2nd IEEE International Symposium on Biomedical Imaging： Nano to Macro. Piscataway： IEEE， 2004： 636-639.

[25] Field Ⅱ simulation program ［EB/OL］. （2012-04-30）［2021-02-19］. http：//field-ii.dk/？examples/cyst_phantom/cyst_phantom.html.

[26] 張中興，劉慧，郭強，等. 結合非局部低秩先驗的圖像超分辨重建概率模型［J］. 計算機輔助設計與圖形學學報， 2021， 33（1）：142-152.（ZHANG Z X， LIU H， GUO Q， et al. Super-resolution reconstruction using probability model combined with nonlocal low-rank prior［J］. Journal of Computer-Aided Design and Computer Graphics， 2021， 33（1）：142-152.）

Speckle removal algorithm for ultrasonic image based on multi-scale fast non-local means filtering

LEI Lulu1，2， ZHOU Yingyue1，2*， LI Chi1，2， WANG Xinyu1，2， ZHAO Jiaqi1，2

（1，，621010，；2（），621010，）

Ultrasound imaging is widely used in clinical diagnosis because of its advantages of convenience， low cost and non-radiation， however， speckle noise in the image may adversely affect clinical diagnosis or subsequent image analysis.As a typical denoising technology， when using Non-Local Means Filter（NLMF）for speckle removal of ultrasonic image，there will be shortcomings such as high time consumption and difficulty in setting filtering parameters. Therefore， a Multi-scale Fast Non-Local Means Filter （MF-NLMF） algorithm was proposed to remove speckle noise of ultrasonic image. A Fast NLMF （F-NLMF） algorithm was first give out to reduce the computing time by using the mutual correlation filtering technique. Then multiple window parameters were set to obtain multiple speckle removal results， and the model parameters were able to be adjusted adaptively according to the window size. The final speckle removal image was obtained by fusing the multiple speckle removal results. Experimental results show that under the same experimental conditions， the F-NLMF algorithm reduces the computing time by at least 96.04% compared with the traditional NLMF algorithm. Compared with other six algorithms such as Iterative Bayesian Non-Local Mean Filtering （IBNLMF）， the proposed MF-NLMF has the speckle removal image with the Peak Signal-to-Noise Ratio （PSNR） value improved by more than 0.73 dB， the Feature SIMilarity index （FSIM） value increased by more than 0.011， the Contrast-to-Noise Ratio （CNR） and Signal-to-Noise Ratio （SNR） values raised by more than 0.000 5 and 0.001 6 respectively.

speckle noise; Non-Local Means Filter (NLMF); multi-scale; adaptive; fast filter

This work is partially supported by National Natural Science Foundation of China （61401379）， Key Research and Development Project of Science and Technology Department of Sichuan Province （2021YFG0383）， LongShan Academic Talent Research Support Program of Southwest University of Science and Technology （17LZX648， 18LZX611）.

LEI Lulu， born in 1997， M. S. candidate. Her research interests include image restoration.

ZHOU Yingyue， born in 1983， Ph. D.， associate research fellow. Her research interests include image processing and analysis.

LI Chi， born in 1998， M. S. candidate. His research interests include digital image processing.

WANG Xinyu， born in 1997， M. S. candidate. His research interests include artificial intelligence.

ZHAO Jiaqi， born in 1998， M. S. candidate. His research interests include artificial intelligence.

TP391.41

A

1001-9081（2022）06-1950-07

10.11772/j.issn.1001-9081.2021040620

2021?04?20；

2021?07?01；

2021?07?20。

國家自然科學基金資助項目（61401379）；四川省科技廳重點研發項目（2021YFG0383）；西南科技大學龍山學術人才科研支持計劃項目（17LZX648， 18LZX611）。

雷露露（1997—），女，四川廣安人，碩士研究生，主要研究方向：圖像恢復；周穎玥（1983—），女，四川馬爾康人，副研究員，博士，主要研究方向：圖像處理與分析；李馳（1998—），男，四川成都人，碩士研究生，主要研究方向：數字圖像處理；王欣宇（1997—），男，四川德陽人，碩士研究生，主要研究方向：人工智能；趙家琦（1998—），男，四川成都人，碩士研究生，主要研究方向：人工智能。