圖像中值濾波算法上的軟硬件優化

李龍華 王肅國

摘 ?要：針對傳統的中值濾波軟件處理速度慢，無法達到圖像處理高實時性要求的特點。文獻中提出了基于FPGA的快速中值濾波算法，充分結合硬件的高實時性和軟件的調度復雜性，同時采用流水線結構，使圖像中值濾波處理的實時性得到提高。文章對已有的算法進行改進，簡化了硬件結構，而又不失圖像處理的實時性。該算法通過仿真驗證，得出算法在圖像中值濾波處理中的可行性，能夠滿足實時性要求。

關鍵詞：中值濾波;實時性;FPGA;硬件結構;仿真驗證;可行性

中圖分類號：TP391.41 ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）21-0097-04

Software and Hardware Optimization of Image Median Filtering Algorithm

LI Longhua，WANG Suguo

（Shandong Vocational Institute of Fashion Technology，Taian ?271000，China）

Abstract：Aiming at slow speed of software processing for the traditional median filtering，unable to meet the characteristics of the high real-time requirements of image processing. The literature proposed the FPGA-based fast median filtering algorithm，taking full advantage of high real-time hardware and software scheduling complexity，along with adopting a pipelined structure，so that improve the processing of real-time of image median filtering. The article improves existing algorithm，simplifies the hardware structure，and does not lose the real-time image processing. The algorithm is verified by simulation，and the feasibility of the algorithm in the image median filter processing is obtained，and it can meet the real-time requirements.

Keywords：median filtering;real-time;FPGA;hardware structure;simulation verification;feasibility

0 ?引 ?言

物聯網是當今世界的一大研究熱點，摒棄了原來只研究軟件算法，或者只研究硬件結構的學科研究單一性的問題，真正地將軟硬件結合實現快速中值濾波算法，以交叉學科的形式落實到計算機教學中。隨著越來越多高職院校相繼開設物聯網技術（包含校企合作）等專業，以山東服裝職業學院為例，開設物聯網技術（中興校企合作專業），使得高職學生對于物聯網有了一個全方位的了解學習機會。采用軟硬件結合的方式，在軟件算法實現過程中，引進硬件方案，從而加速軟件算法實現的過程，提高算法效率。學生在學習物聯網專業知識之初，對物聯網技術有個簡單的認識，及對軟硬件結合解決軟件算法效率較低問題有個初步的了解，故本文以中值濾波算法在軟硬件結合技術方面做出研究，引起學生對物聯網的學習興趣。

在高職物聯網應用技術專業的技術類課程教學中采用中值濾波算法處理圖像為切入點，利用軟硬件結合優化算法，可極大提高學生學習程序的興趣，感受算法的魅力，增進其對專業的了解。因此在物聯網應用技術教學中，應用軟硬件協同優化圖像中值濾波算法具有理論意義和實踐意義。文章在傳統的中值濾波算法的基礎上，引入軟硬件協同，采用基于FPGA技術設計，并減少算法在硬件結構設計上的投入。同時，又能滿足在圖像處理中實時性的要求。相比其他的濾波技術，既能有效的消除脈沖噪聲和椒鹽噪聲，又可以較好的保持圖像的邊緣信息[1]。

1 ?中值濾波原理

1.1 ?中值濾波的基本原理

采用合理算法去除圖像噪聲是一種有效的方法[2]。中值濾波（Median Filtering）是一種非線性的圖像處理技術，能有效地抑制圖像中的噪聲。相關原理是對圖像中的所有像素值的整個區域進行數值排序，找出該值域的中位值，當作該像素鄰域的輸出值，參與圖像的呈現。在這種算法中，最大像素值及最小像素值在算法實施過程中不再作為像素輸出。因而，該算法能夠在圖像的平滑操作中，有效地過濾尖銳噪聲，例如常見的椒鹽噪聲等。算法的數學表達如下：

g（x，y）=median{f（x-i，y-j）};（i，j）∈S ? （1）

式（1）中g（x，y）和f（x，y）分別為處理后及原圖像中的像素值，S為窗口，可以是線性、正方形、十字形等窗口[3]。

1.2 ?傳統的中值濾波算法分析

傳統的算法排序是采用冒泡法對像素值比較排序，對于一個像素值為n的窗口，采用冒泡法，要進行以n2的數量級的排序。與此同時，采用冒泡法[4]，需要產生第（n+1）/2個大值時方能產生一個中值，所以都要經過若干個時鐘周期才能產生一個中值。以3×3窗口為例，采用中值濾波純軟件算法，需要冒泡排序36次。采用5×5，7×7等窗口時，過程將會十分繁瑣，根本無法滿足圖像處理實時性的要求。

針對傳統算法在實時性要求較高的工程中無法滿足需求的不足，文獻中提出基于FPGA的快速中值濾波算法，該算法S選為矩陣模版，以三值排序模塊為基礎[5]。先在每行內進行排序，再進行列排序，最后在主對角線上的像素進行取中值。以3×3矩陣的模板窗口為例進行分析。行內排序需要9次。同理，列排序也需要9次，最后的取中值運算需要3次。再者，比較次數的多少決定了所需三值排序模塊的多少。通過上述分析可知，得到一個3×3的中值，需要進行21次比較，7個三值排序模塊。

2 ?改進中值濾波算法

2.1 ?算法分析

以文獻[5]中FPGA的中值濾波算法為基礎，本文對此進行改進。再次降低算法的比較次數，所需三值排序模塊的數量進一步減少，從而使硬件模塊化設計進一步簡化。具體過程如表1、表2、表3所示。

其中的中值就是a3**，b2**，c1**三者之間的中間值，具體分析如下。

對三個表的操作如下：第一步，對表1中的每行數值并行處理，即對三個數值從小至大排序，得表2。第二步，根據排序操作，可得出，其中a2*，b2*，c2*為所在行中值。然后，以這三個中值按從小到大順序，對表2數據進行行間排序，產生表3。

對表3進行分析得出中值，首先排除一定不是中值的點。a1**，a2**顯然不是中間值，如果這兩個值為中值，其中比其大的值不超過四個。以a2**為例，因為對表1進行的排序是從小到大的，所以a3**比它大。又因為對表2的排序是行間按從小到大的排序，所以b2**，c2**也比它大，自然b3**，c3**也要比a2**大，所以a2**不可能是最大值。同理a1**也不可能是。c2**，c3**顯然也不是中值，c2**為例，根據數據處理的方法，得出小于c2**的數有五個，分別是a3**、b1**、b2**、b3**、c1**。同理可得出c3**也不是所需中值。

剩下的五個值a3**、b1**、b2**、b3**、c1**中就包含了我們所需要的中值，因為b1**、b2**、b3**已有順序，進而無需重復參與排序。按照插入排序的方式，只要a3**、b2**、c1**進行排序并取出其中的中間值，即為我們所要求的。

算法復雜度分析，第一步并行方式對行內數值排序，比較9次，第二步各行中值比較，比較3次，第三步對三個數值進行比較排序，比較3次。由此得出，本文改進算法需要15次比較，比文獻[5]中的算法減少了6次。比較次數的降低，從而使三值排序模塊的使用個數減少。改進的中值濾波算法只需5個三值排序模塊就能夠實現。在硬件結構的設計上，可以達到簡化的目的。本文算法與純軟件、文獻[5]算法的具體比較如表4所示。

2.2 ?改進中值濾波算法的設計

此算法的設計分為兩大部分：一是模塊產生部分，二是對產生的模塊進行取中值部分。模塊產生部分即為N×N窗口生成模塊，將帶有噪聲的圖像的像素以窗口形式進行呈現，參與中值濾波算法中去。文章采用3×3窗口，因此需要3×3窗口。對產生的模塊進行取中值部分，對已產生的3×3窗口像素進行取中值操作，用于完成中值濾波算法。

2.2.1 ?3×3窗口生成模塊

原理框圖如圖1所示。

圖1中包括7個移位寄存器R1～R7，兩個先進先出的存儲器FIFO1與FIFO2，FIFO用來存儲一行的數據[2]，使9個數據輸出排列呈如表1所示的3×3模板所對應的圖像數據[6]。像素值輸入，就相當于一個3×3的窗口掃過整個圖像，得到圖像中的全部像素。

2.2.2 ?中值濾波設計

改進中值濾波模塊示意圖如圖2所示。

C為三個數值排序模塊[7]，M1，M2，M3是已經過上一周期各行排序后的中間值為基準，進行排序產生的新模塊。分別以模塊M1的最大值，模塊M2中間值，模塊M3的最小值做為C31的輸入值進行排序，輸出median。

快速中值濾波算法的實現就是以三點排序的模塊為單位，由圖2可以看出，此算法利用5個排序模塊，比文獻[5]中算法實現所需模塊數目減少了2個，達到硬件結構設計簡化的目的。再加上時序的合理安排，采用流水線實現模式，最終達到處理所需要的效果。

由上可知，三值排序模塊是快速中值濾波算法的一個基礎，實現此三值排序模塊的流程圖如圖3所示。

其中R1存放a1與a2中較大的值，R2存放兩者中較小的值，然后再將R1、R2與R3進行比較，從而對三者進行最終排序[7]。將9個數以行為單位分成三組，進行并行處理，為9個數值的排序取中值縮短了時間，提高算法的處理效率。

3 ?改進中值濾波算法的仿真

3.1 ?Quartus II與Modelsim的仿真

通過使用Quartus II 11.0和ModelSim SE 6.5a進行仿真驗證，可得到如圖4所示的仿真圖形。

由圖可以看到，時鐘clk上升沿有效，復位信號rst_n有效。這里采用了流水線處理方法，流水線處理[8]是提高組合邏輯設計處理效率和吞吐量最常用的方法。如流程圖2所示，采用流水線處理方法，雖然第一次輸出有較長的的延時，當經過若干個周期的延遲后，可以每個周期產生一個結果。本算法中采用三級流水線結構，經過三個周期后，產生了第一個結果，之后的每個時鐘周期都可以產生輸出值，這樣大大地增加了系統的吞吐量。再者，這種流水線的設計方式解決了系統工作頻率的瓶頸問題，提高了系統的帶寬以及資源利用率。

3.2 ?ModelSim與Matlab進行聯合仿真

為了節省仿真時間，筆者采用Link for ModelSim組件進行軟硬件協助仿真[9]，這種仿真方式縮小了算法同硬件實現之間的鴻溝，縮短了仿真驗證的時間，且簡單易行。通過對加入椒鹽噪聲的cameraman圖片的處理，并與文獻[5]中的處理效果進行比較，可以發現處理的效果大致相同。但是，在硬件部分上，該算法的硬件結構得到了進一步簡化，節約了硬件資源，也為此系統的設計提供了方便。

4 ?結 ?論

物聯網技術是一門軟硬件協同工作的技術，屬于交叉學科。在高職院校引入物聯網技術專業，相對高職學生而言，從技術和理論上是一種比較新的事物，從接觸專業開始就應該有一個全面的了解。高職院校的物聯網教學，需要采用以點帶面的教學方式，找到適當的課程切入點，使學生能夠更形象的了解學科組成結構等方面的知識。因此文章為更好實現對物聯網應用技術的教學工作，提高學生學習物聯網技術的積極性，通過對現有的中值濾波算法進行軟硬件協同優化，與單純的算法實現相比，實時性有很大的提高，其處理穩定性與可靠性有所改善。同時又增加與文獻[5]的比較，在不影響快速實現中值濾波算法效率下，又對硬件結構做出優化，節省了硬件投入。不僅可以更好地滿足物聯網中圖像中值濾波算法簡單、高效的特點，同時，也對學生了解物聯網技術設計的靈活性，了解物聯網技術具有廣闊的應用前景有很大的幫助。

參考文獻：

[1] 韓團軍.快速中值濾波算法研究及其FPGA硬件實現 [J].電子器件，2017，40（3）：697-701.

[2] 沈學利，王肅國.基于FPGA的改進型中值濾波算法研究 [J].微電子學與計算機，2014，31（1）：21-24.

[3] 馬麗圓，常錦才.一種迭代的自適應中值濾波算法 [J].軟件，2020，41（9）：69-71.

[4] 張海生.FPGA在圖像處理系統設計與仿真中的應用研究 [J].電子世界，2020（21）：155-156.

[5] 李新春，趙璐.基于中值濾波算法濾波器的FPGA實現 [J].計算機系統應用，2011，20（9）：82-85+72.

[6] 趙亮，劉鵬，王曉曼，等.基于FPGA快速中值濾波算法的硬件實現 [J].長春理工大學學報（自然科學版），2018，41（5）：97-100+115.

[7] 仙云森.基于FPGA的圖像處理算法研究及硬件設計 [D].大連：大連理工大學，2008.

[8] 潘松，黃繼業，潘明.EDA技術實用教程——Verilog HDL版：第4版 [M].北京：科學出版社，2010.

[9] 夏宇聞.Verilog數字系統設計教程：第2版 [M].北京：北京航空航天大學出版社，2008.

作者簡介：李龍華（1988—），女，漢族，山東泰安人，助教，碩士，研究方向：計算機網絡技術;王肅國（1987—），男，漢族，山東濟寧人，助教，碩士，研究方向：計算機應用技術。