基于單演小波分析的微小運動放大技術研究*

陸淵平 沈艷霞

（江南大學物聯網技術應用教育部工程研究中心 無錫 214122）

1 引言

微小運動視頻放大技術能夠展現肉眼無法識別的運動。小到呼吸時的胸腔起伏脈搏跳動，大到橋梁樓宇在風中的晃動，對這些不明顯的運動進行放大具有監測預防的作用，因而在建筑、醫療、機械監控等領域都具有重要意義。2005 年，Liu 等提出了一種微小運動增強方法［1］，基于物體運動軌跡的光流法，視角跟隨流體改變，對視頻幀進行校準后進行聚類跟蹤，再人為分割出圖像運動層，提取放大的部分渲染放大。該方法需要精確的軌跡跟蹤和人工干預，實際應用場景有限。

2012 年Wu 等提出了一種基于歐拉視角的歐拉視頻放大技術（EVM）［2］，EVM將視角固定為整幅圖像，觀察像素點在時空下的變化。將圖像分解為不同空間尺度，應用帶通濾波器提取感興趣像素變化，放大運動后重建圖像。但EVM 算法并沒有考慮到噪聲干擾，放大目標頻帶內微小運動的同時也導致噪聲被放大。為此，Wadhwa 等在2013 年提出了一種基于相位的歐拉視頻增強算法（PBVM）［3］，將圖像金字塔從空域轉換到頻域，得到像素點的幅值和相位信號，對其中相位信號放大，由于不改變幅值分量，基于相位的歐拉視頻增強算法支持更大的放大倍數且可以抑制視頻噪聲。在最近的研究中，連續小波變換被應用于基于相位的歐拉視頻放大，Ali 等提出了一種基于小波分解的實時運動放大算法［4~5］，采用了基于Haar 族小波和自適應中值濾波器，得到了低噪聲高清晰度的放大結果。

以上運動放大算法大多是在拉普拉斯金字塔分解基礎上在濾波過程和圖像預處理過程加以優化，傳統的多尺度小波分解的局限性在于有限方向分解，只能得到有限方向的小波分解系數，提取特征信息時存在冗余［6］。為此本文考慮將小波多尺度分析和單演分析結合，利用單演信號平移旋轉不變性性質構造各向同性單演小波。Freeman等此前提出的快速金字塔分解也是一種便捷的多尺度分析方法［7］，相比之下單演小波分析具有更明確的物理意義，濾波器結構簡潔具有更快速的實現方式。算法極大提升視頻幀分解重構速度，同時設計了大幅度運動濾波，有效抑制了非線性場景下大幅運動帶來的噪聲，對于非線性場景同樣適用。

2 單演小波運動放大算法

2.1 單演變換

單演信號是解析信號在二維空間上各向同性的擴展，是旋轉不變的二維解析信號［8］。相較于傳統解析信號，單演信號在處理局部特征時，將區域內希爾伯特能量最大值處計作主導方向，再沿該方向進行一維希爾伯特變換得到幅度相位信息，因此單演信號具備平移和旋轉不變性，在去噪時可以克服小振動角度導致的毛刺現象。

首先對視頻序列進行單演變換得到信號的三元數表示。一維解析信號是通過對一維輸入信號進行希爾伯特變換得到的復數化函數。一維輸入信號自身作為復數實部，希爾伯特變換作為虛部，轉換為極坐標表示可得到局部幅值和相位信息：

希爾伯特變換是構建解析信號的關鍵，一維希爾伯特變換可看作對信號進行90°相移的全通濾波器，傳遞函數定義為

希爾伯特變換的二維拓展是Riesz 變換，也稱為單演變換，與希爾伯特變換類似，在二維中其頻率響應為-jω/||ω|| ，可視為一對具有傳遞函數的濾波器組［9］。對輸入圖像信號f(x),x?R2，其Riesz變換表示為

兩個濾波器組合后的復Riesz變換算子的傅立葉響應表示為

其中f?(ω)表示圖像信號f(x)的二維傅立葉變換，復Riesz變換時域表示為

單演信號定義為輸入信號和輸入信號沿x軸以及y軸的希爾伯特變換結果三個分量的表示：

圖像單演信號的局部幅值表示為

瞬時相位ξ和局部方向θ可由下式得到：

2.2 小波分解與重建

單演小波本質上是利用多重調和樣條和分數階微積分算子［8］，結合復Riesz 變換和小波變換得到。圖像通過復Riesz變換得到式（8），對得到的單演信號三元數分別進行小波分解得到小波系數，實現過程如圖1。

圖1 單演小波變換實現過程

定義分數階Laplace 算子(-?)α，α?R+是2α階的各向同性微分算子［9］，定義其傅立葉域表示為

多重調和樣條是分數階Laplace 算子的樣條函數。定義s(x)?L2(R2) 是γ階多重調和樣條?γ(x)的采樣函數，它滿足：

式中s[x]=s(x)|x=k是s(x) 的整數采樣，?γ(x)的傅立葉響應為

定義分數階Laplace樣條小波ψ(x)［10］：

式中γ>，?2γ是2γ階插值算子，D是下采樣矩陣。樣條小波的基函數可表示為

式中i,k分別表示尺度系數和位移系數。將原信號經單演變換后進行各向同性小波分解，可得到γ階Riesz-Laplace小波即單演小波：

輸入圖像信號f的單演小波系數可表示為

式中ψi,k表示小波濾波器，ωi[ ]k表示徑向小波系數，r1,i和r2,j分別表示復Riesz 小波變換后的小波系數實部和虛部。

為確定單演小波的主導方向需要用到結構矩陣Ji(k)［10］：

式中ν[l]表示計算窗口中心對稱加權數列，定義單演信號在窗口ν中希爾伯特變換平均值最大的方向作為局部主導方向：

經向量μ=(cosθ，sinθ)單位化處理后，信號在θ方向通過一維希爾伯特變換得到：

將其表示為解析信號形式可以寫成：

從而可推得幅度Ai[k]和相位ξ：

單演小波重建包含結構相同的小波逆變換和Riesz 逆變換，以小波逆變換為例，圖2 給出了逆變換流程圖。圖1 中可看出，小波分解過程因為下采樣導致輕微冗余，在重建過程通過子帶回歸輸出標準下采樣小波系數，回歸標準小波基實現精準重建。

圖2 單演小波重建過程

以一維信號式（23）為例進行放大，傅立葉分解得到：

對頻率ω處的子帶其相位ω(x+θ(t))包含運動信息，將根據傅立葉位移定理通過修改相位可以控制運動。對式（23）進行幅度濾波和時域帶通濾波后得到子帶相位：

將式（24）乘以放大倍數α得到放大后的子帶信號：

所有子帶疊加重建后得到輸出信號：

即說明微小運動δ(t)放大到(1+α)δ(t)。類似的，通過式（21）、（22）可得到不同尺度下幅度和相位信號，改變信號希爾伯特域分解系數的相位，不改變幅度也可以在時域中移動信號，視頻序列中邊緣的任何微小運動對應該邊緣希爾伯特變換系數相位的顯著變化［12］。

3 實驗結果和分析

實驗環境為Windows 10 系統，i5 8500b 處理器，40G 內存，Radeon Pro 570X 4G 顯卡，驗證對象選用起重機，嬰兒和手腕3 組典型示例視頻［8］。視頻參數由表1 給出，使用Matlab 2017b 進行算法設計仿真和數據分析。圖像小波分解階數越高，邊緣信息越豐富，但當層數超過一定程度后會造成信息冗余，經實驗中不同分階數下的圖像質量對比，選擇分解層數γ=3 時圖像質量和處理速度達到最優。三組對比實驗如圖3~5。圖中給出了單演運動放大后的視頻幀和時空切片下的細節表現，表2量將歐拉法EVM，基于相位放大法PBVM，快速相位放大法Fast-PBVM 和本文介紹的單演小波算法在處理時間，結構相似性SSIM，峰值信噪比PSNR和圖像質量分數四個方面進行對比。圖像質量分數指標是從人的感知度量角度來計算，質量分數范圍1~10，值越高，圖像質量越好［13~14］。峰值信噪比PSNR 用來度量圖像處理后相較原圖的失真程度，PSNR 越大說明放大圖像和參考圖像越接近，說明噪聲越少。結構相似性是用來度量兩張圖像相似程度的參數，數值為1時表示兩張相同的圖像，為0時表示完全不同的圖像。峰值信噪比和結構相似性數據取嬰兒視頻每間隔30 幀圖像對比結果的平均值。表2 給出了不同放大算法下嬰兒視頻的質量分數，峰值信噪比和結構相似性數值對比。

表1 實驗視頻數據

表2 運動放大算法耗時比較

表3 嬰兒視頻放大算法比較

圖3 起重機運動放大結果

圖5 手臂脈搏運動放大結果

對比實驗結果，在嬰兒視頻中可以看到本文方法幾乎沒有偽影，且通過時空切片可以觀察到嬰兒胸部起伏已被明顯放大。在存在大幅度運動噪聲的起重機晃動視頻中，本文的方法仍能保持較低偽影，畫面依舊清晰。通過實驗數據量化比較，基于單演小波的放大算法在質量分數，峰值信噪比和結構相似性幾組對比實驗中都優于傳統運動放大算法。

4 結語

現有運動放大算法大多是在拉普拉斯金字塔分解基礎上在濾波過程和圖像預處理過程加以優化。本文從相位提取角度提出了一種新的基于單演小波分析的放大算法，單演信號不僅能表示局部相位幅度信息還有方向信息，而單演小波能更好地在多尺度表示圖像的幅度、相位和方向信息，與圖像金字塔分解方法相比具有更明確的物理意義，濾波器結構簡潔具有更快速的實現方式。實驗結果表明，基于單演小波分析的微小運動放大算法相較于現有幾種放大算法，視頻處理時間更短，圖像質量和信噪比更高，具有良好的放大效果。本文是在平穩運動條件的假設下進行，對于非平穩運動對象，運動頻率在時空下呈非線性變化，可考慮建立參數化數學模型進行時頻分析進一步研究。