圖像幾何校正算法和反混疊綜述

李偉

（四川大學計算機學院，成都610065）

0 引言

幾何形變的圖像校正問題廣泛的活躍在計算機視覺、醫學、材料物理等各領域研究過程中。圖像來自于不同的設備、不同時間的拍攝、不同角度的拍攝，這樣都會產生圖像的形變問題。不管圖像識別、圖像拼接、圖像匹配，還是比較前沿的物體識別、目標跟蹤、人臉識別領域，還是遙感圖像處理、材料形變問題、醫學圖像配準問題，多個領域都涉及圖像幾何校正問題。圖像的幾何形變的校正過程，本質上對形變圖像和標準之間建立坐標映射的過程。圖像的幾何形變分為一般的仿射變換、單應變換、扭曲變換。根據各類變換的復雜程度，可采取的模型校正方法也不同。

對于估計圖像校正的映射關系，一般總的來說分為兩種方式，擬合或者插值。擬合類的模型，通知多個對應坐標關系，利用最小二乘法的方式進行擬合參數，如最常用的多項式擬合。插值類的模型，選擇合適的插值基函數，通過基函數的組合滿足已知坐標映射關系。

在醫學影像領域，由于醫學類圖像的特殊性，它將圖像形變分為了剛性和非剛性形變。圖像配準，解決的是原圖像和目標圖像之間的空間關系的擬合，而根據人體不同器官、結構的組成，擬合的方式有所不同。對于人體骨骼結構圖像和頭部，基于它們的不易變形性，采樣剛性配準進行校正。對于肝臟、胸、腹這些部位的圖像，容易發生變形，需要進行非剛性配準。剛性配準主要是解決的是醫學圖像在尺度、旋轉、平移的變化，由于人體骨骼結構的相似性，很難發生較大尺度的變形，所以通過一般的仿射變換可以校正為正常圖像。而對于圖像非剛性的變形問題，由于某些器官圖像如腹部圖像，形變程度較大，為了有效地還原像素點的位置，基于B樣條的插值算法和薄板樣條配準成為醫學非剛性配準的有效模型。

圖1數據的擬合和插值

圖2醫學圖像形變

普通鏡頭拍攝過程中，由于拍攝角度、拍攝視角、拍攝時間的不同，對同一拍攝點的拍攝圖像也有差異。這些差異有些來源于鏡頭本身的畸變如桶形畸變、枕形畸變，也有來自于拍攝角度偏差的透視畸變。對于常用的桶形畸變和枕形畸變，常用多項式模型進行擬合獲取形變參數。透視畸變，一般通過單應估計的方式，進行單應變換參數估計（本質也是一種多項式擬合）。在單應變換估計過程，一般不通過最小二乘的方式，而采用多個四點對進行多個單應矩陣估計。暴力的搜索出可能存在的多個單應矩陣，選取最優的單應矩陣作為透視畸變矯正的映射。

圖3鏡頭畸變

更復雜的圖像形變或者扭曲，多項式擬合是常見的方式。N次多項式，從理論上而言，可以擬合任意的復雜映射關系。通過多項式的方式，是解決復雜扭曲形變校正的最簡單、最直接的方式。

圖像作為二維的信號存在，遵循信號處理的一般流程。信息在采樣過程中，根據奈奎斯特采樣定律，當采樣頻率大于原始信號最大頻率的2倍，就能完全恢復。當采樣頻率小于原始信號頻率的2倍時，信號就會混入虛假的低頻信息，也稱之為混疊現象。圖像在計算機系統中，作為離散的像素點進行顯示，本質是經過了采樣的過程。在進行映射變換時候，圖像經歷了重采樣過程，也就是經歷了從離散像素到插值連續再到圖像再次采樣顯示的過程。重采樣的不充分勢必造成圖像信號的混疊，圖像內容顯示的錯亂。在一般圖像幾何校正的過程中，圖像必然會出現混疊現象。在進行圖像映射過程中，考慮抗混疊是一個必然的流程。

1 校正模型

1.1 一般流程

預處理：對圖像的灰度、光照、噪聲等進行預處理，降低灰度、光照、噪聲等原因造成的圖像特征誤差，為下一步特征提取提供好的基礎條件。

特征提取：圖像特征的提取分為手工方式和自動提取兩種方式。圖像的手工標注特征點，像書本的邊界點，道路的交叉點等，重復性的工作且費時間，嚴重依賴于人的主觀性。自動化校正中，通過自動提取圖像特征進行配準。自動化圖像配準又分為基于圖像區域特征配準、基于圖像點特征的配準和基于圖像線特征的配準。基于圖像區域特征的配準，找到兩圖像之間相關系數最大的建立映射關系。基于圖像點特征和線特征的配準，它特征提取依靠算子卷積獲取圖像特征，常用的特征提取算子有Harris算子、Susan算子、Log算子、Canny算子。

特征匹配：通過特征提取根據找到的圖像特征找出兩圖之間相似度最大的進行匹配，從而生成一批點對。

變換模型估計：通過點對的關系，找出合適的模型，估計點對之間的映射關系。

坐標變換和插值：由于圖像是離散的像素點構成，獲取對應的像素值不一定在原形變圖像中。需要通過映射關系，插值獲取校正后的標準圖像像素值。

流程中缺失了一個重要步驟，抗混疊處理。一般流程中，之間進行插值映射，獲取校正后的圖像，在經歷了重采樣之后，勢必會有混疊現象。文獻[1]中詳細講述了圖像信號在重采樣之后發生的信號混疊現象。本文在插值流程中加入抗混疊處理。標準的抗混疊是利用窗函數進行卷積操作，通過高斯核進行卷積操作，抑制高頻信息在采樣過程中的影響。

1.2 校正模型

最小二乘法：最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。

圖4圖像校正流程

尺度變換：圖像的放大、縮小變化

旋轉變換：圖像繞著中心軸旋轉

平移變換：圖像整體像素平移變化

仿射變換：醫學圖像中的剛性變換，是平移、旋轉和縮放的組合，又稱仿射變換。通過式（1-3）三者組合成一個大變換矩陣，可以用來校正發生剛性形變的圖像。

進一步的推算，可得：

不難發現，tx、ty參數控制仿射變換中的平移變化，C1,C2,C3,C4控制圖像的放縮、旋轉。

圖像的仿射變換一共六個參數，需要至少3個點對才可以求解出參數。通過3個以上點對建立方程，基于最小二乘法求解其最佳參數可以得到仿射變換矩陣。

單應變換：又稱投影變換，齊次坐標下非奇異的線性變換。單應變換一共8個自由度，至少需要四個點對才可以計算參數。

進一步，可得：

單應矩陣的HRk表示矩陣的第k行。矩陣的第三行的元素絕對值為1，所以9個參數，8個自由度。

非線性模型：線性模型，非線性模型都是把直線映射為曲線，適用于全局形變的圖像形變問題。常用的非線性模型為多項式模型和B樣條模型。多項式模型，通過多項式函數擬合需要的映射關系，根據多項式函數的次數的不同，擬合出的映射關系精度不同。次數越高，對點對的擬合程度越高，當次數越高映射的失真率越高。

F表示把圖像從形變狀態恢復的任意非線性二元函數，常見的二次多項式的寫法可以寫成：

多項式模型廣泛用于各類圖像的幾何校正過程，使用范圍廣，也是最普遍的圖像校正方法。利用多項式模型，可以模擬出圖像的仿射、單應變換（當次數為1時就是線性變換）。多項式模型的缺點也很明顯，對于復雜的形變而言，精度不夠提高次數來進行擬合會造成估計的模型與實際偏差過大，模型失真。

所以在醫學圖像領域，尤其是涉及到醫學圖像的剛性形變校正中，B樣條模型得到了廣泛的應用。B樣條模型，本質上也是（8）所示找出一個非線性的函數。

B樣條模型，是基于基函數的理念。根據基函數的組合，構成一個大的非線性映射函數。常用的B樣條是三次B樣條。次數太低的校正效果達不到精度要求，次數太高計算困難且容易過擬合。

圖像的抗混疊措施：圖像的混疊產生的原因是信號欠采樣的結果，采樣頻率的不充分引起恢復后的信號產生混疊現象。解決混疊的常用手段有：提高采樣頻率；抑制高頻信息。對于圖像重采樣而言，受限于圖像成像的像素點分布影響，標準采樣頻率不好改變，所以圖像的反混疊主要是抗高頻信號為主。現階段，抗混疊在圖像幾何校正過程中一直被忽略。而混疊問題，基于圖像的離散性，重采樣必然會造成混疊現象。在圖像幾何校正過程中，加入混疊環節是必要的關鍵環節。本文在圖像的最后環節加入了混疊環節。

2 評價標準

（1）相似性：根據形變校正后的浮動圖像和標準圖像之間的相似性進行判斷：

其中，xm、ym分別為浮動圖像平均像素強度、參考圖像平均像素強度。xi、yi為浮動圖像和參考圖像每個像素強度。當CC值為1時，表示兩圖像之間相關性為1，表示圖像完全相同；當CC值為-1時，兩圖像相關性為-1，表示圖像完全相反；CC值越接近1，表示圖像校正效果越好。

（2）互信息：本質也是一種衡量兩圖像之間像素相關性的一種計算。

其中，P( x,y)為聯合分布函數，p1(x)、p2(y)為邊際分布函數。當兩個圖像完全對齊的時候，互信息最大。當互信息最大時，表示兩圖像不確定性達到最小值；當互信息為0時，表示兩圖像完全獨立、無關。

相似性評價標準適合于同一物體由于圖像獲取條件的差異或物體自身發生的小的改變而產生的圖像序列，而互信息評價標準適合性更強，多種形變校正下均可以作為判別標準，且廣泛用于醫學圖像配準領域。

3 結語

圖像的幾何校正問題廣泛存在于計算機視覺、醫學圖像、材料物理、地理系統等各個研究領域，圖像的幾何校正問題，是一個基本理論范疇的研究問題。目前對于非線性的校正問題，還沒有通用的模型可以統一解決圖像各類復雜的形變問題。本文對常見的幾種形變進行概況，通過常用的幾種模型校正的方式，可以為校正復雜的幾何形變問題提供一個有效的解決方式。同時，在原有的圖像幾何校正流程中，加入的抗混疊的步驟，規范了圖像在校正過程中的科學性。