無拼接盲區的圖像拼接光學布局及系統設計

孫愛平，雷旭峰，李澤民，楊紹明，余海虹，康麗珠，龔楊云，汪陳躍

無拼接盲區的圖像拼接光學布局及系統設計

孫愛平，雷旭峰，李澤民，楊紹明，余海虹，康麗珠，龔楊云，汪陳躍

（北方夜視科技集團有限公司，云南 昆明 650223）

現有的圖像拼接系統具有拼接盲區的缺陷，對于監控系統會造成觀察盲區，形成信息缺失，對監控安全造成威脅。本文為了消除圖像拼接系統的拼接盲區，提出了一種新的無拼接盲區的圖像拼接布局型式。首先，對具有拼接盲區的圖像拼接布局型式與無拼接盲區的圖像拼接布局型式的優缺點進行分析；其次，以3個非制冷長波紅外攝像機圖像拼接系統為例，對非制冷長波紅外攝像機鏡頭進行設計分析；最后，為了得到比較好的拼接圖像，對待拼接的紅外攝像機的畸變提出相應的處理措施。

圖像拼接；拼接盲區；畸變；錯影

0 引言

在民用領域為了對關鍵場所進行實時、全面地監控，在軍用領域為了對特定空域的實時搜索跟蹤，進行監控及搜索跟蹤的攝像機不但需要具有比較大的視場，也需要具有足夠的分辨能力。廣角攝像機能夠獲得足夠的視野，但是畸變很大，造成圖像嚴重扭曲，不利于觀察搜索，同時廣角攝像機的焦距較短，其分辨能力不夠[1]。人們自然考慮使用圖像拼接技術將多個攝像機采集的圖像拼接成一幅完整的、超分辨率的全景圖像以增加觀察者的視野[2]。圖像拼接技術[3-5]是指將多幅具有重疊區域的圖像，拼接成視角寬闊的大場景圖像的技術。拼接后的圖像最大程度地與原始圖像接近，失真盡可能小，沒有明顯的縫合線[1]。目前該技術在軍民領域得到廣泛的應用，是計算機視覺研究的熱點[6]。

現階段進行圖像拼接的攝像機的像面中心不重合，多個攝像機進行圖像拼接時，在圖像拼接視場內有不能被探測到的區域稱為圖像拼接盲區。圖像拼接盲區對監控搜索系統而言會形成信息缺失，造成安全隱患。本文針對圖像拼接過程中出現的拼接盲區，提出一種解決圖像拼接盲區的光學布局型式，并以3個非制冷長波紅外攝像機為例進行圖像拼接，說明采用此光學布局型式的圖像拼接樣機能夠消除拼接盲區。

1 圖像拼接光學布局型式分析

進行圖像拼接需要兩個及以上具有相同性能的攝像機，按照一定的排列方式進行組合，形成一組采集原始圖像的拼接攝像機組。常見的拼接攝像機組排列方式如圖1所示，即各個待拼接攝像機的像面中心位于同一個圓弧上，并且待拼接攝像機沿圓弧圓心旋轉一定角度。單個攝像機水平視場為1，為了形成拼接圖像，需要相鄰兩個攝像機之間具有一定的重疊視場2，相鄰兩個攝像機形成的水平拼接視場為21－2。重疊視場邊緣光線的相交點到拼接鏡頭之間具有一定的觀察盲區（如圖1陰影區域所示），在此區域內的目標不能夠被探測器探測到。在使用過程中，特別是跟蹤監控運動目標時，目標進入盲區會造成目標丟失，形成安全隱患。此種拼接布局具有結構簡單的優點，同時具有觀察盲區的遺憾。常見于遠距離監控拼接系統。

圖1 具有拼接盲區的拼接布局示意圖

為了觀察到拼接視場內盲區的場景，一種方式是增加額外的攝像機觀察盲區內場景，這相應的需要增加整個圖像拼接系統的成本；另一種是設計一種沒有拼接盲區的拼接布局型式。如果使拼接系統各個攝像機的像面中心相重合，此時整個拼接系統所觀察的場景是無拼接盲區存在的，如圖2中(a)圖所示。由于探測器和攝像鏡頭具有一定尺寸，圖2中(a)圖的布局型式造成探測器和攝像鏡頭的重疊，在結構布局上是無法實現的。在圖2中(a)圖拼接布局的基礎上進行改進，形成圖2中(b)圖的分離拼接布局型式。圖2中(b)圖拼接布局型式中加入反射鏡，改變入射光線的方向，使探測器和攝像鏡頭的相對位置發生改變，避免了探測器和攝像鏡頭的重疊。入射到反射鏡邊緣光線的延長線都相交于像面中心，即圖2中(b)圖拼接布局型式沒有拼接盲區的存在。加入到入射光路中的反射鏡會遮擋部分光線，形成漸暈。圖2中(b)圖拼接布局型式沒有拼接盲區是其最大的優點，但是具有布局復雜、裝調難度大、具有一定量漸暈的缺點。圖2中(b)圖拼接布局型式可使用于對觀察視野要求比較高的系統，如駕駛輔助系統及近距離監控系統等。

本文依據圖2中(b)圖的拼接布局型式設計了一款使用3個非制冷長波紅外攝像機進行無盲區圖像拼接的超大視場監視系統。

圖2 無拼接盲區的拼接布局示意圖

2 設計實例

2.1 設計參數

監控系統需要晝夜都能夠工作，則對應攝像機可采取不受光照度影響的、經濟性較好的非制冷長波紅外攝像機。從使用性及安全性考慮監控系統需要在不同工作溫度下、無需調焦既能夠觀察到清晰的場景圖像，因此圖像拼接系統中的單個非制冷長波紅外攝像機鏡頭采取光學被動式消熱差設計型式。3個非制冷長波紅外攝像圖像拼接系統設計參數如表1所示。

2.2 非制冷長波紅外攝像機鏡頭設計分析

光學被動式消熱差光學設計基本原理在孫愛平[7]、白瑜[8]等相關論文中已有詳細論述。由于所采用的紅外攝像機鏡頭視場大，F數小，采取四片式的設計型式。紅外材料種類偏少，價格昂貴，并為了滿足消熱差的要求，選取線膨脹系數較小的Ge材料（＝5.8×10－6/K）、線膨脹系數較大的IG6材料（＝21.2×10－6/K），與鏡筒Al材料（＝23.6×10－6/K）配合進行光學被動式消熱差設計。傳統折射式、光學被動消熱差系統為了滿足消色差和消熱差要求，至少需要3種以上的紅外材料[9]，衍射光學元件其特殊的光學特性可作為第3種光學材料，因此在紅外攝像機鏡頭光學被動消熱差設計中加入衍射面。由于紅外攝像機鏡頭為大視場、小相對孔徑的大像差系統，需要校正與視場、孔徑有關的軸向球差、垂軸球差、軸向色差、垂軸色差、慧差、場曲、畸變7種像差及對應的高級像差。4個透鏡所提供的變量數量不足以校正這7種像差及高級像差，故需要引入非球面，增加變量個數來校正像差，以期達到比較好的設計效果。

非制冷長波紅外攝像機鏡頭光學布局型式如圖3所示。使用ZEMAX軟件進行像質優化，由于紅外攝像機鏡頭為大視場、小F數的大像差系統，點列圖（主要是小像差系統評價用）不作為像差評價的依據，采用更接近實際的調制傳遞函數MTF進行像質評價。圖4為非制冷長波紅外攝像機鏡頭在中心頻率點30lp/mm處，常溫（20℃）、低溫（－40℃）、高溫（60℃）的MTF曲線。在3個溫度點下MTF曲線在中心頻率點30lp/mm處對比度均在0.4以上，成像質量較好。圖5為非制冷長波紅外攝像機鏡頭的場曲與畸變曲線，最大畸變為9%，滿足設計要求。

表1 拼接系統設計參數

圖3 非制冷長波紅外攝像機鏡頭光學布局型式

圖4 非制冷長波紅外攝像機鏡頭在各個溫度點下的MTF曲線

圖5 非制冷長波紅外攝像機鏡頭場曲及畸變曲線

該紅外攝像機鏡頭的焦深為±2(f/#)2＝±24.2mm，所設計的紅外攝像機鏡頭工作在－40℃～＋60℃溫度范圍內時，離焦量在一個焦深以內，如表2所示，則此光學被動消熱差紅外攝像機鏡頭在整個工作溫度內均能清晰成像。

表2 非制冷長波紅外攝像機鏡頭離焦量表

2.3 三個非制冷長波紅外攝像機圖像拼接分析

3個具有相同參數的紅外攝像機按照前文圖2中(b)圖所示進行結構布局。單個紅外攝像機水平視場為42°，在進行圖像拼接時相鄰紅外攝像機水平向重合視場為3°，拼接后水平視場為120°，按圖2中(b)圖所示布局型式進行圖像拼接沒有拼接盲區。由于單個紅外攝像機具有一定的畸變，造成圖像的變形，在圖像拼接時會造成拼接圖像不連續。如圖6所示，相鄰紅外攝像機進行圖像拼接時以點為拼接基準點，由于畸變的影響，造成拼接后圖像中點的不重合、拼接圖像不連續，形成拼接圖像的錯影現象，拼接效果不好。對此在進行圖像拼接前對紅外攝像機所成圖像進行畸變校正，使紅外攝像機所成圖像沒有畸變或者畸變很小，消除或減小畸變影響。對紅外攝像機圖像畸變進行處理后再進行圖像拼接，可形成一幅超大視場、連續的拼接圖像。

圖6 圖像拼接前相鄰紅外攝像機網格畸變示意圖

紅外攝像機圖像畸變未校正時由于畸變影響，拼接圖像區域有錯影現象，如旗桿、樓房分開形成錯影，如圖7所示。因此在進行圖像拼接前需要對紅外攝像機所成圖像進行畸變校正。

3 結論

本文介紹了實現無拼接盲區的一種圖像拼接型式，并以此為基礎設計了一款3個非制冷長波紅外攝像機實現無拼接盲區的圖像拼接系統。為了得到比較好的拼接效果，提出在圖像拼接前進行畸變校正處理的要求。通過圖像拼接樣機演示驗證了無拼接盲區的圖像拼接效果，為以后實現無拼接盲區的圖像拼接監視系統的設計提供參考。

[1] 姚偉, 胡茂海, 秦晅, 等. 改進的基于特征點匹配的圖像拼接算法[J]. 紅外技術, 2010, 32(5): 288-290.

YAO Wei, HU Maohai, QIN Xuan, et al. Improved Image Mosaic Algorithm Based on Feature Point Matching[J]., 2010, 32(5): 288-290.

[2] 趙向陽, 杜利民. 一種全自動穩健的圖像拼接融合算法[J]. 中國圖像圖形學報, 2004, 9(4): 417-422.

ZHAO Xiangyang, DU Limin. An Automatic and Robust Image Mosaic Algorithm[J]., 2004, 9(4): 417-422.

[3] 曹俊杰, 封靖波，蘇志勛. 全景圖像拼接算法[J]. 大連理工大學學報, 2003, 43(21): 180-182．

CAO Junjie, FENG Jingbo, SU Zhixun. A panoramic image mosaic algorithm[J]., 2003, 43(21): 180-182.

[4] 陳志昂, 徐曉剛, 徐冠雷. 圖像拼接技術研究[J]. 計算機科學, 2015, 42(11): 160-164.

CHEN Zhi’ang, XU Xiaogang, XU Guanlei. Research on Image M osaic Technology[J]., 2015, 42(11):160-164.

[5] 商磊. 基于改進SIFT算法的圖像配準研究[D]. 成都: 電子科技大學, 2011.

SHANG Lei. Research on Image Registration on Improved SITF Algproved[D]. Chengdu: University of Electronic Science and Technology of China,2011.

[6] 李尊, 申小萌, 苗同軍. 對比度閾值自適應的SIFT圖像拼接算法[J]. 紅外技術, 2017, 39(10): 946-950.

LI Zun, SHEN Xiaomeng, MIAO Tongjun. Image Mosaic Based on Contract Threshold Adaptive SIFT Algorithm[J]., 2017, 39(10): 946-950.

[7] 孫愛平, 龔楊云, 陳忠, 等. 大孔徑、大視場輔助駕駛儀紅外鏡頭無熱化設計[J]. 紅外技術, 2013, 35(10): 617-622.

SUN Aiping, GONG Yangyun, CHEN Zhong, et al. Athermal Design of a Large-aperture, Wide-field Assisting Pilot Infrared Lens[J]., 2013, 35(10): 617-622.

[8] 白瑜, 楊建峰, 馬小龍, 等. 長波紅外光學系統無熱化設計[J]. 紅外技術, 2008, 30(10): 583-586.

BAI Yu, YANG Jianfeng, MA Xiaolong, et al. Athermalization of Long-wavelength Infrared Optical System[J]., 2008, 30(10): 583-586.

[9] 齊雁龍, 段萌, 姜成舟, 等. 8～12 μm折/衍混合監視系統無熱化設計[J]. 紅外技術, 2009, 31(11): 676-679.

QI Yanlong, DUAN Meng, JIANG Cheng-zhou, et al. Design on Athermal Infrared Refractive-Diffractive Hybrid Surveillance System at 8-12 μm[J]., 2009, 31(11): 676-679.

圖7 畸變校正前拼接圖像效果圖

Optical Layout and System Design of Image Mosaic Without Splice Blind Area

SUN Aiping，LEI Xufeng，LI Zemin，YANG Shaoming，YU Haihong，KANG Lizhu，GONG Yangyun，WANG Chenyue

(North Night Vision Science and Technology Group Co.Ltd., Kunming 650223,China)

Existing image mosaic systems exhibit the defect of blind area, which causes blind spots in the monitoring system, leads to information loss, and poses a threat to monitoring security. In order to eliminate the mosaic area resulting from the processing by the image mosaic system, a new mosaic pattern without splicing the blind area is proposed in this work. First, the advantages and disadvantages of the image stitching layout patterns with and without stitching blind areas are analyzed. Second, using the image mosaic of the images obtained from three uncooled longwave infrared cameras as an example, the design and analysis of the uncooled longwave infrared camera lens is carried out. Finally, in order to obtain a better stitched image, a corresponding treatment measure is provided for the distortion of infrared cameras.

image mosaic，splice blind area，distortion，overlapping images

TN216

A

1001-8891(2020)05-0456-05

2018-06-25；

2020-04-07.

孫愛平（1980-），男，碩士，工程師，研究方向為光學系統設計。E-mail：50973525@qq.com。