基于Otsu和FMM方法的風洞試驗圖像修復

江濤，李強，陳蘇宇，常雨，張扣立

中國空氣動力研究與發展中心 超高速空氣動力研究所，綿陽 621000

隨著空氣動力學試驗研究的深入和光學測試技術的進步，越來越多的光學測試技術應用到風洞試驗中[1-4]，圖像的數據量大、信息直觀。但受光學系統器件或試驗條件的影響，如相機噪聲、物理損傷、流場雜質等，圖像中常會存在一些破損或無關信息等缺陷，會影響試驗圖像的處理和分析。

以紋影技術為例，紋影儀是風洞試驗常用的流動顯示設備，紋影圖像是風洞試驗的重要數據之一，分析紋影圖像是數據分析的重要工作內容，可獲得許多流場結構方面的信息[1-3,5]。紋影光路中的各光學元件都會直接影響紋影圖像的質量，因此有很高的材料和加工要求[1-2]。但光學元件脆弱，通常難以長期保持完好。較典型的是風洞試驗段觀測窗上的光學玻璃，在高速氣流和異物的作用下，表面會出現許多局部破損。玻璃的損傷會在紋影圖像中體現為大小和形狀各異的黑斑，這些多余而有害的信息，影響對圖像的后期處理和分析。對光學元件進行加工修復或更換，可從根本上解決上述問題，但時效性和經濟性差，而且修復加工可能會減薄光學元件的厚度，縮短其使用年限。又如，一些使用多幅圖像(包括單臺相機多次采集和多臺相機單次或多次采集)的測試方法，例如溫敏漆(Temperature Sensitive Paint, TSP)、壓敏漆(Pressure Sensitive Paint, PSP)技術[6-8]等，需要布置圖像標記點以開展圖像的校正和配準，或者安裝傳感器作為光學測試方法的對比和參考，這些圖像標記點和傳感器測點也引起了圖像信息缺失。同時，TSP和PSP技術還會遇到因局部發光涂層脫落、污染等原因產生的信息缺失或失真等問題[8]。可見，圖像缺陷是光學測試技術在風洞試驗應用中面臨的實際問題。

數字圖像修復技術在2000年由Bertalmio等明確提出[9]，之后發展迅速[10-12]。圖像修復是圖像處理領域的一個重要部分，是利用圖像中的已知信息，按照一定規則對某些區域進行修正，可以修補圖像的損壞部分，恢復圖像的完整性，或者去除圖像中不需要的元素，使圖像更加合理和真實。數字圖像修復技術可大致分為基于紋理結構的圖像修復和基于非紋理結構的圖像修復兩類，前者主要用于填充圖像中大塊丟失的信息，后者主要用于修復小尺度的圖像破損[11-12]。

經過多年研究發展，數字圖像修復技術已應用于氣象云圖、醫學影像、物聯網、文物保護等領域[10,13-14]。受此啟發，數字圖像修復技術應當也可以應用到風洞試驗中。對數字圖像修復的算法研究較多，但使用中還需要操作者人為指定待修復區域[11]，存在隨機性大和耗時長的不足，不利于實際應用。本文以紋影圖像為例，根據此類圖像缺陷的特點，提出完整的圖像修復流程，選擇合適的算法，以期實現紋影圖像缺陷的自動識別和修復，獲得一種使紋影圖像信息完整的技術手段，并作為其他風洞光學測試技術圖像修復的參考。

1 圖像缺陷的特征及修復流程

圖1為有缺陷的紋影圖像。顯然，此缺陷屬于小尺度的圖像破損，分析可知缺陷的主要特征為：① 離散分布于紋影視場內，大小及形狀各異；② 核心區域的灰度值低，與模型的灰度值相近；③ 邊緣處的灰度梯度變化較大，與附近圖像對比明顯。

根據上述特征，缺陷可被視為離散存在于明亮視場內的局部極小值區域，可設計圖像修復的流程為：① 確定待處理區域；② 缺陷識別；③ 缺陷修復。其中，缺陷識別這一步驟將實現圖像待修復區域自動識別的功能。據此，可分別使用合適的算法開展圖像的修復。

圖1 紋影圖像

2 算 法

2.1 圖像分割算法

圖像修復的前兩個流程均需要進行圖像分割。一是確定待處理區域時，將模型與紋影視場以外的區域排除，避免修復處理時破壞模型外形，并減少計算量，加快修復速度；二是缺陷識別時，取一定尺寸的圖像塊進行圖像分割以識別和確定缺陷的位置、尺寸和形狀。

圖像分割是將圖像劃分成若干個互不相交的小區域的過程，常用的圖像分割方法很多，如：基于閾值的圖像分割方法、模糊方法、邊緣檢測方法、特征空間聚類方法等[15-17]。基于閾值的方法計算簡單、分割效果好[18]。其中，Otsu算法[19]是一種性能、穩定性和成功率均較高的方法，在一定條件下不受圖像對比度與亮度變化的影響，應用廣泛[20-23]。

記圖像各點的灰度i={1, 2, …,L}，灰度值為i的像素的數量為ni，總像素數量N=n1+n2+ … +nL，各灰度值的比例pi為：pi=ni/N。假設以灰度值k為閾值將圖像分割為目標C0和背景C1兩類，C0中i={1, 2, …,k}，C1中i={k+1,k+2, …,L}，則有

目標部分像素占比ω0為

(1)

目標部分灰度均值μ0為

(2)

背景部分像素占比ω1為

(3)

背景部分灰度均值μ1為

(4)

圖像總灰度均值μT為

(5)

ω0ω1(μ1-μ0)2

(6)

2.2 圖像修復算法

小尺度圖像破損的修復一般采用基于非紋理結構的圖像修復方法。該類方法是將待修復區域附近的已知信息按一定方式從區域邊界向內擴散來實現圖像的修復。信息的擴散過程通常是通過求解高階偏微分方程予以控制，需要大量的迭代運算，因此圖像修復的速度很慢，實用性不夠理想[11,24-25]。本文使用快速行進方法(Fast Marching Method, FMM)[26]來進行圖像的修復。基于FMM的圖像修復方法最初由Telea提出[27]。該方法將圖像待修復區域視為水平集，先利用快速行進方法確定修復路徑，使用方向、距離和水平集等權值對鄰域像素進行加權平均，然后沿著等照度線進行平滑估計，從待修復區域的邊緣向內逐步推進，直到所有像素被修復[24-26]。FMM的修復速度較快，對紋影圖像缺陷這類離散區域修復的適用性較好[24-25]。

修復原理如圖2所示，Ω為圖像待修復區域，?Ω為該區域的邊界。假定p為?Ω上的一點，圍繞p取一個小鄰域Bε(p)，q為Bε(p)內的一點，p點的修復即由鄰域像素Bε(p)來決定，對Bε(p)中的點進行加權平均來估算p點的灰度值I(p)，即

(7)

圖2 修復原理

加權函數w(p,q)采用切線方向N(p)來評價已知鄰域像素點與缺失像素點的相關程度，即保證距離p點法線方向越接近的像素點對p點的貢獻越大。權函數定義為

w(p,q)=dir(p,q)·dst(p,q)·lev(p,q)

(8)

式中：

其中：dir(p,q)為方向因子，保證距法線方向越近的像素對p點修復的貢獻越大；dst(p,q)為幾何距離因子，保證距p點越近的已知像素對修復的貢獻越大；lev(p,q)為水平集距離因子，保證距待修復區域邊界越近的已知像素對修復的貢獻越大；d0和T0分別為距離參數和水平集參數，一般取值為1；T為Ω中的點到邊緣?Ω的距離。

由圖2可見，像素可分為3類：

1) Boundary。待修復區域邊界?Ω上的點，T= 0，其T值將被更新。

2) Known。?Ω外已知區域的像素，其T值和灰度值I已知。

3) Inside。?Ω內部的像素，其T值和灰度值I未知。

FMM就是對待修復區域內的點解Eikonal方程：

(9)

令D±x、D±y分別為x方向和y方向的差分，方程的穩定解為

max(D-xT,-D+xT，0)2+

max(D-yT,-D+yT,0)2=1

(10)

式中：

由式(9)和式(10)求出Ω內部所有點到?Ω的距離T，然后按照T由小到大的路徑進行修復。

3 圖像修復試驗

以圖1為例進行修復，檢驗本文流程和算法的可行性和有效性。

3.1 圖像分割試驗

待處理區域確定和缺陷識別的結果分別如圖3和圖4所示。為取得較理想的修復結果，可對圖像進行多次修復，圖3和圖4僅為第1次進行分割的結果。

圖3 待處理區域確定

圖4 圖像缺陷識別(部分結果)

3.2 圖像修復試驗

圖5為圖1經多次修復后的結果，可見缺陷明顯減少，而模型和流場結構未受影響。圖5中剩余的缺陷還可繼續予以修復。

圖5 圖像修復結果

4 評估與驗證

4.1 修復前后對比

圖6為圖1和圖5之間的差異，由兩圖直接相減得到，代表圖1中被修復的缺陷。圖6中沒有連續或大片的像素，表明圖像修復僅處理了離散的信息，沒有影響紋影圖像中的模型和波系結構。

圖6 圖像修復前后對比

4.2 應用驗證

選取圖7對本文的圖像修復方法進行應用驗證。相對圖1，其缺陷尺寸更小、更密集。缺陷識別、修復結果及修復前后對比如圖8～圖10所示，可見圖7的缺陷得到了有效修復，且圖中的模型和波系結構沒有受到影響。

圖7 有缺陷的紋影圖像

圖8 圖7缺陷識別結果

圖9 圖7修復結果

圖10 圖7中存在的缺陷

4.3 定量評估

為定量評估圖像修復的影響，選取沒有缺陷的圖像人為添加了13個缺陷(見圖11)進行圖像修復和對比分析。圖像的分辨率為607 pixel×468 pixel，缺陷共1 040個像素。

圖11 添加缺陷的圖像

圖像修復前后的像素變化見表1，可見修復后的灰度值與原始灰度值十分接近，如表2所示，約90%的灰度差異不大于3、約99%的灰度差異不大于6。雖然修復像素的數量多于添加缺陷的像素數量，但絕大部分像素的灰度差異很小，且數量對于整幅圖像而言是極少的，故并未對圖像整體造成明顯影響。圖像原有的部分噪聲在修復中被處理也是像素數量增多的原因之一。因此，可以認為圖像修復技術能將缺陷圖像修復至與原始圖像相當的水平。

表1 缺陷及圖像修復前后的像素數量與灰度值

表2 灰度差異分布

5 結 論

1) 經數字圖像修復技術處理，紋影圖像的缺陷明顯減少或得到削弱，可將缺陷圖像修復至與原始圖像相當的水平。

2) 圖像修復的信息是客觀合理的，沒有破壞或改變模型形狀和流場結構等關鍵信息，對非缺陷區域和圖像整體的影響極小。

3) 在風洞試驗中引入數字圖像修復是可行的，圖像修復方法具有通用性，也可根據不同圖像的特點選用不同的算法，推廣運用于其他光學測試技術，如修復TSP和PSP技術中的標記點、涂層脫落或污染產生的暗區等。