基于坐標變換的快速高精度圖像拼接算法

劉凌云，羅 敏，陳志楚，吳岳敏

（湖北汽車工業學院 電氣與信息工程學院，十堰 442002）

目前視覺檢測技術在工業的各個領域都有著廣泛的應用，基于工件影像的幾何量測量手段和方法也得到了快速的發展，各種影像測量儀層出不窮[1-5]。但對幾何尺寸的視覺測量研究主要集中在微小尺寸的檢測和測量方面[6]，對于較大零件幾何尺寸的綜合檢測，則很少采用機器視覺，其主要原因在于當前主流CCD器件像素級相對于測量精度僅在10-3數量級，難以一次獲得大視場、高分辨率圖像。文獻[7]將圖像拼接技術應用到大尺寸機械零件的視覺測量中，但所提出的測量方法也僅僅適用于表面具有條形紋理的機械零件。文獻[8]中嘗試將位姿變換方法應用到圖像拼接算法實現圖像之間的精確配準，但該算法中序列圖像焦平面映射的數學模型較為復雜，映射變換時間開銷較大。

本文在文獻[8]的基礎上，借助改進的攝像機標定方法對攝像機的位姿進行調整找正，提出了一種基于向后映射的圖像歸一化焦平面重采樣算法以實現像素點的等精度映射及消除影像畸變，同時通過合理規劃攝像機移位采像的運動軌跡，提出了一種基于坐標變換的快速高精度圖像配準算法，用以解決光學測量系統視場大小與測量精度的矛盾問題。

1 基于后向映射的圖像歸一化焦平面重采樣算法

為了保證測量平面上的物面成像清晰且等精度成像，在攝像機采像時要求其光軸與測量平面保持垂直，并且采用與測量平面（Zw=0）平行的歸一化焦平面（即無畸變虛擬攝像機的成像平面）作為投影平面，將實際成像平面上的圖像映射到投影平面上，如圖1所示。

圖1 圖像無畸變焦平面投影的數學模型Fig.1 Mathematical model of undistorted imagging mapping to focal plane

假設世界坐標系｛W｝的XW/YW軸位于測量平面上，坐標原點OW為攝像機坐標系｛C｝的Z軸與測量平面的交點，則齊次變換矩陣可以用參數θ表示為

由小孔成像數學模型可知：

式中： f、ξ、SX、SY、u0、v0均為攝像機內參；θ、ZC為攝像機外參，θ為坐標系｛W｝與｛C｝對應X軸之間的夾角，ZC為光心在攝像機坐標系｛C｝中Z軸上的投影坐標。

由于虛擬攝像機坐標系｛C′｝與世界坐標系｛W｝姿態相同且與Z軸重合，則測量平面上的坐標點（XW、YW、ZW）與其在虛擬攝像機｛C′｝中的成像坐標（u′、v′）滿足關系式：

其中：ZC′為光心在虛擬攝像機坐標系｛C′｝中 Z軸上的投影坐標，由投影平面上所設定的圖像分辨力δ確定；u0′、v0′為光學中心在映射圖像中的坐標。

由式（2）、式（3）可得從實際成像坐標（u、v）到投影坐標（u′、v′）的映射關系式如下：

式（4）采用從投影平面到成像平面的坐標位置映射關系，建立圖像無畸變焦平面向后映射數學模型，這種后向映射法不會產生計算浪費問題且方便采用高精度插值算法來實現。

根據圖像平面映射變換所需分辨力δ（單位：m/pixel）按式（5）確定參數 ZC′的值：

其中，Col是寬度為Wid（單位：m）的映射區域在虛擬攝像機中所成圖像的列寬（單位：像素）

2 攝像機采像軌跡規劃及圖像拼接算法

為了保證攝像機相鄰2次采集圖像經映射變換后的圖像能實現無縫拼接，現對攝像機采像路徑進行特定規劃如下：設任意第 i、j（其中 i=1，2，3……，j=i+1）相鄰2次移位采像，攝像機僅作相對于世界坐標系｛W｝的X軸或Y軸單軸向平移，移動量為tj，如圖2所示。

圖2 攝像機移位采像圖像拼接示意Fig.2 Stitching schematic diagram of images acquisited in the process of moving to the camera

在對每次采集圖像進行映射變換時，限定光學中心的圖像坐標（u0′，v0′）為映射圖像的中點，則第 j次投影圖像區域大小（高度 Hj′/寬度 Wj′，單位：像素）滿足遞推關系式：

針對第 j次采集圖像，以式（7）確定的參數（u′0j，v′0j）及式（1）確定的外參矩陣，在式（6）所確定的映射區域內按照式（4）進行映射變換，獲得圖像區域大小為（Hj′，Wj′）的第 j次投影圖像，則對第 i、j次投影圖像只需簡單對接即可實現映射圖像的無縫拼接。

3 實驗與結果

實驗中采用攝像機相對于標準測試板進行移位采像獲取圖像序列，并利用上述算法進行圖像拼接、對完整成像中的特征小孔的孔間距進行檢測，以此來驗證該算法的有效性。實驗硬件平臺如圖3所示，以小型十字滑臺臺面為檢測平臺，攝像機借助于雙自由度角度微調裝置安裝在Z軸滑臺上，通過Z軸旋轉手柄調整物距；X/Y軸旋轉手柄控制滑臺臺面移動從而實現攝像機的移位采像。

圖3 實驗硬件平臺Fig.3 Experimental hardware platform

3.1 攝像機找正及參數標定

為了確保攝像機光軸垂直于測量平面，并獲得攝像機內外參數，采用了如下實驗方法及步驟：

1）采用張氏標定算法對視覺測量系統進行標定，獲得攝像機的內參矩陣M1/外參矩陣M2；

2）將外參矩陣M2進行歐拉角序列變換，獲得繞固定坐標系的X軸、Y軸、Z軸的轉角γ、β、α；

3）調整雙自由度微調裝置，使其俯仰及偏轉角依次減小 β、γ；

4）再次對視覺測量系統進行標定，直至所獲得的 β、γ均小于閾值 ε（其中 ε＜＜1），則可認為攝像機光軸垂直于測量平面，即找正完成。否則返回步驟2。實驗中所獲得的攝像機內參如表1所示。

表1 攝像機內參標定結果Tab.1 Camera internal calibration results

平面標靶坐標系相對于攝像機坐標系的變換矩陣為

則：外參 ZC=30.130757+1.5=31.630757 mm，其中1.5 mm為標靶的厚度；

5）沿十字滑臺的X軸（即世界坐標系｛W｝的X軸向）適量移動臺面，使攝像機先后2次對測量平面上同一特征點進行采像，先后獲得特征點圖像坐標分別為（ux1，vx1），（ux2，vx2），則坐標系｛W｝與｛C｝對應X軸之間的夾角可由公式得到。

3.2 實驗結果

在保證攝像機位姿不變的情況下，使加工中心的滑臺依次沿X軸正向、Y軸正向、X軸負向作3次移動，每次移動量15 mm，并依次對測量平面上的標準測試板 （由7行7列個小孔組成，小孔半徑0.9375 mm，相鄰孔間距3.75 mm）進行局部采像4次，采集的圖像序列如圖4所示。

圖4 攝像機依次移位采集的圖像序列Fig.4 Acquisited image sequences during camera moved successively

取完整圖像的分辨率 δ=3.42292×10-5m/pixel，初始投影圖像區域大小為500×500，則由遞推公式（6）、（7）可知，后續2幅投影圖像區域大小均為500×500，光學中心的圖像坐標為（249.5，249.5）。將上述4幅采集圖像按式（4）進行映射變換，并進行無縫拼接得到像素大小為1000×1000的完整圖像如圖 5（a）所示。

為檢測拼接精度，在完整圖像中進行子像素輪廓提取，如圖5（b）所示，在完整成像的4個不同區域分別獲得 9 個小孔圓心 Dij（i=1，2，3，4； j=1，2，…9；i為圖幅區域，j為圓點標號）。對其圖像坐標進行提取如表2所示。

圖5 拼接后的完整圖像Fig.5 Final mosaic image

表2 特征點圖像坐標測量結果Tab.2 Image coordinates measuring results of feature points 單位：（pixel）

圖6為橫向或縱向相鄰2個圖幅區域之間標號相同的2小孔圓心的間距數據圖，橫坐標X表示圓點標號，縱坐標Y表示孔間距。通過數據分析可知，測量誤差約為±0.006 mm。

圖6 橫向或縱向相鄰圖幅區域同標號孔的孔間距數據Fig.6 Spacing data graph between the same label holes along the horizontal or vertical adjoining area

4 結語

文中提出的基于坐標變換的完整成像映射方法，采用從投影平面到成像平面的坐標位置映射關系，建立了圖像無畸變焦平面向后映射數學模型，這種向后映射法不會產生計算浪費問題且方便采用高精度插值算法來實現。基于2D標定模板位姿檢測的攝像機找正方法能精確保證攝像機光軸垂直于檢測平臺。對攝像機采像時的軌跡合理規劃，致使圖像映射變換算法中的遞推外參矩陣計算簡單、累積誤差小且精度高；又由于將光學中心坐標限定在映射圖像區域的中心位置，保證了序列投影圖像均是以光心為中心的小區域，能實現投影圖像的等精度拼接。所提出的圖像拼接算法解決了視覺系統分辨率與視場之間的矛盾問題，實現了大尺寸機械零件的視覺綜合測量。其測量精度基本滿足機械零件二維尺寸精密測量的要求。

[1]黃偉瓊.基于機器視覺的影像測量系統的研究與設計[D].廣州：華南理工大學，2012.

[2]劉一，胡曉東，鄧淑娟，等.基于圖像拼接的微表面三維測試系統開發[J].電子測量技術，2008，31（9）：100-102.

[3]蔡勇，秦現生，張雪峰，等.多攝像機視覺檢測大范圍布置方法及其數據拼接[J].中國機械工程，2011（16）：1984-1987.

[4]祁曉玲，趙霞霞，靳伍銀.基于機器視覺的軸類零件幾何尺寸測量[J].組合機床與自動化加工技術，2013（1）：65-67，73.

[5]楊光.基于機器視覺的精密零件尺寸檢測關鍵技術研究[D].沈陽：沈陽理工大學，2014.

[6]鄧小峰.基于機器視覺的零件識別和測量系統研究[D].南京：南京航空航天大學，2014.

[7]何博俠，張志勝，徐孫浩，等.大尺寸機械零件的機器視覺高精度測量方法[J].中國機械工程，2009，20（1）：5-10.

[8]劉凌云，羅敏，方凱.基于圖像拼接的尺寸精密檢測算法研究[J].制造技術與機床，2012（11）：106-110.

中國工業企業盈利能力呈現分化

一項新的研究發現，受重工業疲軟以及國有企業境況不佳的拖累，去年中國工業企業的盈利能力下滑至2003年以來的最低水平，而持續的產能過剩可能給利潤率帶來持久下行壓力。

研究公司牛津經濟研究院（Oxford Economics）的亞洲經濟負責人高路易（Louis Kuijs）發現，中國官方工業調查的約32.8萬家公司——包括所有國企以及年銷售額超過2000萬人民幣的非國有企業的平均利潤率，從近年高點——2010年的7.6%下滑至2015年的5.8%。

然而，這一整體數字掩蓋了不同類型企業之間的巨大差異。高路易表示，去年，國有企業很可能延續了自2010年以來資產回報率下滑的趨勢，而非國有企業的資產回報率似乎保持得較好。

這種差異部分源于這樣的現實，即采礦、鋼鐵、其他金屬及化學品等遭受重創的行業——都受到房地產市場疲軟的影響——大量集中了中央或地方政府控制的國有企業。

這些資本密集的行業內部，窘境已經顯現。例如，鋼鐵企業的平均利潤率已從2010年3.9%的近期高點下滑至去年的0.8%。化工企業的平均利潤率從2010年的7.7%下滑至去年的5.3%，“其他金屬”企業的平均利潤率則從2010年的5.6%下滑至2.7%。

高路易預計，未來這種艱難境況很可能將持續。“在遭受重創的行業，就業崗位已經大幅削減。盡管如此，由于投資水平仍居高位，工業產能擴張依舊太快，這將壓低利潤前景。”

總的來說，自2014年初至2015年底的兩年時間里，工業部門削減了約390萬個就業崗位，包括87.3萬個煤礦業崗位以及53.3萬個鋼鐵業崗位。

但問題在于，雖然減員數量巨大，產能過剩的情況依然突出。中國歐盟商會 （European Chamber of Commerce in China）最近發布了一份評估報告，認為中國鋼鐵、鋁、水泥、煉油、平板玻璃及造紙等行業的產能利用率在65%至85%之間。該商會估計，自2008年以來，所有這些行業的產能利用率都出現了大幅下滑。

以鋼鐵業為例。官方計劃未來5年削減1億至1.5億噸產能。但這一巨大數量僅占當前總產能的10%至15%，這意味著在這項5年目標實現后（如果能實現），很可能還要繼續削減更多產能。