考慮廣角鏡頭畸變的精確目標識別距離估算

劉光偉，蔡 毅,2，陳東啟，王嶺雪

專欄：〈紅外光學系統〉

考慮廣角鏡頭畸變的精確目標識別距離估算

劉光偉1，蔡 毅1,2，陳東啟1，王嶺雪1

（1. 北京理工大學 光電學院，光電成像技術與系統教育部重點實驗室，北京 100081；2. 中國兵器科學研究院，北京 100089）

人臉識別和車牌識別是智慧安防領域的重要內容。人臉和車牌的特征尺度小、細節豐富，對成像系統的空間分辨力有較高要求，需要較大規模的探測器和高傳函、小畸變的光學鏡頭。然而，安防系統又要求廣域監控，需要使用視場大但具有一定畸變的廣角鏡頭。因此，設計既能精確識別人臉和車牌目標、又能廣域監控的成像系統時，應將精確目標識別作為約束來權衡高空間分辨力和大視場的性能指標以及估計識別距離。在這樣的應用需求下，本文提出了像素面密度對精確目標進行統一描述，并提出了考慮廣角鏡頭徑向畸變的精確目標識別距離估算方法，通過對存在旋轉和平移的人臉和車牌目標進行計算驗證，結果表明：考慮徑向畸變后實際識別距離較理論識別距離近，且人臉和車牌平移距離分別為1m和2m時，實際與理論的識別距離差異高達34.2%和27.5%。

識別距離；廣角鏡頭；徑向畸變；目標識別；像素面密度

0 引言

人臉識別[1-3]和車牌識別[4-5]是智慧安防[6]領域的重要內容，尤其在新冠肺炎防控形勢下，人臉識別技術更是與非接觸、高靈敏的紅外測溫結合，在人流量較密集的車站、商超、醫院和學校等場所迅速檢測出體溫異常人員并通過人臉識別確認人員身份，為疫情防控提供精準數據和智能支持。人臉和車牌的特征尺度小、細節豐富，對成像系統的空間分辨力有較高要求，需要較大規模的探測器和高傳函、小畸變的光學鏡頭。然而，安防系統又要求廣域監控，需要使用視場大但具有一定畸變的廣角鏡頭。廣角鏡頭的焦距通常介于13～38mm之間，短于標準鏡頭但長于魚眼鏡頭，對角視場角一般為60°～118°，水平視場角約為50°～110°[7]，優點是視場大、景深大，缺點是圖像存在徑向畸變。徑向畸變[8-9]會改變圖像中目標的幾何形狀和大小，在畸變較大的圖像區域會影響目標識別距離的估算。約翰遜準則[10-11]是描述光電成像系統探測性能的經典判據，主要適用于距離較遠的多類目標的識別，例如區分人的性別和車輛的類型，但不涉及人員身份和車牌號這種精細信息的識別。隨著智能化技術的發展，精確識別人臉、車牌等精細目標已經成為智能攝像頭、智慧安防系統的基本功能。因此，需要將精確目標識別作為約束來權衡高空間分辨力和大視場的性能指標以及估計識別距離。為此本文提出了像素面密度對精確目標進行統一描述，并提出考慮廣角鏡頭徑向畸變的精確目標識別距離估算方法，通過對存在旋轉和平移的精確目標進行計算驗證。

1 人臉和車牌等精確目標的描述和識別指數

我國[12-13]使用像素數描述人臉（face）和車牌（license plate），并提出識別人臉和車牌的指數，如表1所示，規定人臉瞳孔間距占30個像素以上、車牌水平長度占100個像素以上時可以認清（identification）人員身份和車牌號；歐盟[14]和英國[15]分別使用單個像素對應的目標長度和目標-屏幕比（target-screen ratio, TSR）描述人（person）目標，歐盟規定認清人的識別指數應大于4mm/像素，英國則規定TSR應大于100%，如表1所示。

表1 識別標準與識別指數

智能目標識別主要由計算機完成，不需要顯示在顯示器上由觀察者識別，且顯示器有多種尺寸和分辨率，故英國的TSR的實際操作性較差。我國和歐盟識別指數的本質是每個像素對應目標的水平長度，但實際上圖像傳感器每個像元對應的是真實物理空間的二維區域，而不是水平線段。因此，本文提出使用像素面密度（單位為pixels/m2）描述人臉和車牌。根據我國成年人面部尺寸和機動車號牌的標準[16-17]，可知男性瞳孔間距為60mm，女性瞳孔間距為58mm，小型汽車號牌尺寸為440mm×140mm，將我國和歐盟的識別指數標準換算到最小像素面密度，如表2所示，其中還給出了探測、識別和認清人時所需的像素面密度。對于人目標，探測（detection）定義為能夠確定有人存在；識別（recognition）定義為能夠高度確認目標一定是人，且能分清是成人還是兒童、是男人還是女人；認清（identification）定義為能夠看到人的頭部、軀干、四肢等細節，但不一定能認清人臉并確認人的身份。從表2可看出，人臉識別的本質是認清人的面部細節后確認人的身份，因此其所需的像素面密度是認清人的4倍。人臉和車牌識別在文字上雖然使用“識別”二字，但探測等級上相當于“認清（identification）”。

表2 識別人臉、車牌和人所需的最小像素面密度

2 考慮徑向畸變的識別距離估算

在使用約翰遜準則的遠距離目標識別中，與距離相比，廣角鏡頭徑向畸變的影響可以忽略不計，也不需要嚴格考慮目標與相機之間的位置關系。相對地，人臉和車牌識別屬于近距離精確目標識別，識別這些精確目標時需要考慮識別所需最小像素面密度，因此，定義精確目標識別距離為該目標成像后對應的圖像像素面密度等于識別所需最小像素面密度時目標與相機之間的距離。精確目標識別需要考慮鏡頭畸變、目標與相機之間的位置關系，故需要建立目標、相機和圖像的坐標系，并進行三者之間的坐標轉換。

2.1 光學鏡頭徑向畸變建模

光學鏡頭的徑向畸變是光線的彎曲程度在透鏡邊緣大于透鏡中心導致的，造成的圖像畸變以透鏡中心為原點，距離原點越遠，畸變程度越大。徑向畸變有兩類，長焦鏡頭的枕形畸變和廣角鏡頭的桶形畸變，畸變示意圖如圖1所示。本文主要討論廣角鏡頭的桶形畸變。

建立徑向畸變的數學表達式為：

式中：(x,y)為不考慮徑向畸變的理論像素點坐標；(xd,yd)為考慮徑向畸變的實際像素點坐標；r為極徑，表示理論像素點與中心點的歐式距離；k1、k2、k3為徑向畸變系數，廣角鏡頭取k1、k2兩項即可滿足對徑向畸變模型的擬合要求。

2.2 目標、相機和圖像像素坐標系以及引入廣角鏡頭徑向畸變的坐標轉換

正面對人臉和車牌目標進行識別時效果最佳，目標偏轉角度越大則識別效果越差，因此，將目標正面作為標準面來等效目標，以標準面中心為原點建立目標坐標系o-o-o；以相機中心為原點，光軸方向為軸建立相機坐標系c-c-c；以圖像左上角為原點建立圖像像素坐標系-。目標、相機和圖像像素坐標系示意圖如圖2所示。

圖2 坐標系構建

相機坐標系固定不動，改變目標坐標系，利用歐拉角(,,)描述目標相對于相機的旋轉關系，其中、、分別表示目標繞o軸、o軸和o軸正向沿順時針方向旋轉的角度。取值不影響目標成像后的像素面密度，故將其置為0。將歐拉角(0,,)轉換為旋轉矩陣以進行齊次坐標運算，轉換公式為：

利用平移向量(t,t,t)描述目標相對相機的平移關系，其中t、t、t分別表示目標沿c軸、c軸和c軸正向移動的距離。考慮式(2)的旋轉和平移，目標坐標轉換為相機坐標的公式為：

式中：(o,o,o)為目標坐標點；(c,c,c)為相機坐標點。由于相機坐標系c-c-c的原點在相機中心，所以本文討論的目標在水平和垂直方向的平移距離代表著目標偏離相機中心的距離。亦即對于相機視場，在視場中心的目標平移距離小，離視場中心越遠其平移距離越大。實際應用中，相機視場內通常有多個目標，使用廣角鏡頭后視場增大，可包含的目標數量更多，但由于廣角鏡頭畸變的影響，處于視場邊緣的目標通常有較大的變形。為便于將公式變量與實際應用結合，需要注意的是本文中目標平移距離均代表實際應用中目標偏離相機中心的距離。

減少相機坐標點的維度，將其轉換到距離相機為單位1的平面上，對相機坐標歸一化，得到：

將式(1)的徑向畸變引入式(4)，用(d,d)代替(,)作為包含徑向畸變的歸一化相機坐標。

相機內參矩陣描述相機坐標到像素坐標的平移與縮放轉換關系，內參矩陣為：

式中：(f,f)為相機在和方向上的像素焦距，(c,c)為相機主點位置。

引入廣角鏡頭徑向畸變的相機坐標轉換到像素坐標的公式為：

式(3)～式(6)可將精確目標成像到圖像上且可知其占據的像素數，進而得到精確目標對應的像素面密度。將平移向量中z的值從0開始逐漸增大，計算出精確目標在不同t下對應的像素面密度，當像素面密度值等于識別該精確目標所需最小像素面密度時，對應的t即為該精確目標的識別距離。

3 人臉和車牌識別距離估算

3.1 估算流程

考慮廣角鏡頭徑向畸變的精確目標識別距離估算流程為：

①利用旋轉矩陣和平移向量的式(3)將目標坐標轉換到相機坐標；

②利用式(4)歸一化相機坐標并引入徑向畸變；

③利用式(5)的內參矩陣和式(6)將包含徑向畸變的相機坐標轉換為像素坐標；

④計算目標在圖像上占據的像素數和對應的像素面密度；

⑤通過判斷實際計算的像素面密度是否大于表2中的識別指數來估算識別距離。

3.2 估算結果

人臉和車牌識別需要的最小像素面密度分別為267289pixels/m2和51984pixels/m2，以FLIR公司型號為BB2-08s2的相機中含有的典型徑向畸變值1＝－0.6，2＝0.35作為畸變系數，估算不同視場角和分辨率的廣角相機對存在旋轉和平移的人臉與車牌目標的實際識別距離，并與不考慮畸變的理論識別距離進行比較。

廣角鏡頭水平視場角約為50°～110°，圖像傳感器長寬比例通常為16:9，常用分辨率與對應像素數有1280×720（1M）、1920×1080（2M）、2560×1440（4M）和3840×2160（8M）這4種。目標相對相機不存在旋轉與平移，改變相機水平視場角和分辨率，得到的人臉與車牌識別距離數據如表3所示。

固定相機分辨率為1920×1080，視場角為80°，討論人臉和車牌目標存在旋轉的情況。首先目標只繞軸旋轉一定角度，其次目標同時繞軸和軸旋轉相同角度。不同旋轉角度下識別距離如圖3所示。

表3 識別距離與視場角和分辨率的關系

圖3 識別距離與旋轉角度的關系

由表3和圖3知，其他條件不變時，識別距離隨視場角增大而減小，隨分辨率增大而增大，隨目標旋轉角度增大而減小，且當目標同時沿兩軸旋轉時，識別距離的下降程度更大。旋轉角度小于70°時，能夠有效識別目標并進行距離估算，當旋轉角度較大甚至達到90°時，將無法有效識別目標。上述情況下，目標相對相機不存在平移，故目標成像在徑向畸變程度很小的圖像中心，此時考慮徑向畸變得到的實際識別距離與不考慮徑向畸變得到的理論識別距離基本相同，差異不超過1cm。

固定相機分辨率為1920×1080、視場角為80°，保證目標均處于相機視野內，討論目標相對相機存在平移時的識別距離。不同平移距離下的識別距離如圖4所示，其中實線表示考慮徑向畸變的實際情況，在圖例中用字母d表示，虛線表示不考慮徑向畸變的理論情況，灰色平面表示識別人臉或車牌目標對應的最小像素面密度，曲線與平面交點的距離坐標值即為最遠識別距離。

徑向畸變大小與極徑長度相關，極徑越長，徑向畸變越大。識別距離與極徑長度的關系如圖5所示，其中實線表示考慮畸變的實際情況，在圖例中用字母d表示，虛線表示不考慮畸變的理論情況。

從圖5可看出，不考慮徑向畸變的理論識別距離不受目標平移影響，人臉識別距離始終為2.22m，車牌識別距離始終為5.02m。考慮徑向畸變后，平移距離越大，極徑越長，可識別距離越近。因為平移距離越大，目標成像位置距圖像中心越遠，徑向畸變造成的成像壓縮程度越大，從而使圖像上目標的像素面密度減小，只有距離靠近才能再次滿足像素面密度要求，這也符合存在徑向畸變后可識別距離會變近的實際情況。人臉和車牌在不同平移距離下的識別距離差異如表4所示。當平移距離為1m時，人臉和車牌實際與理論識別距離差異分別為0.76m和0.26m，相差比例分別為34.2%和5.2%。當車牌平移距離為2m時，識別距離差異為1.38m，相差比例高達27.5%。可見當平移距離較大時，徑向畸變對識別距離影響也很大。

圖4 像素面密度與平移距離的關系

表4 實際識別距離與理論識別距離的差異

圖5 識別距離與極徑的關系

徑向畸變對存在平移和旋轉車牌成像后所占據的像素區域大小影響如圖6所示，其中虛線框代表不考慮徑向畸變的理論情況，實線框代表考慮徑向畸變后的實際情況。中間黑色框對應的車牌不存在旋轉和平移，左上方紅色框只存在平移，左下方青色框存在平移但平移距離較紅色框短，右上方紫色框存在平移和繞軸的旋轉，右下方藍色框存在平移和同時繞、軸的旋轉。

圖6 徑向畸變效果

從圖6可知，徑向畸變的特性使得只有當物體存在平移時，畸變的存在才會影響目標成像后對應的像素區域大小，進而改變像素面密度。根據前面的分析，引入旋轉之后，會疊加上旋轉對像素面密度的影響。同樣的，改變相機分辨率和視場角，也會在平移對像素面密度改變的基礎上再疊加額外的影響因素。利用本文提出的方法，可以估算出考慮徑向畸變后的實際識別距離，并得到與理論識別距離之間的差異。

4 結論

本文提出了像素面密度對人臉和車牌進行統一描述，并設計了考慮廣角鏡頭徑向畸變的精確目標識別距離估算方法。該方法首先建立徑向畸變的數學模型，并以目標、相機和圖像像素坐標系為基礎，將徑向畸變引入到目標、相機和像素坐標系統的轉換公式中，從而反映出徑向畸變對目標成像后對應像素面密度的改變。通過對存在旋轉和平移的人臉和車牌目標的識別距離進行估算，并與不考慮徑向畸變的理論識別距離進行對比。結果表明：該方法能夠解決存在徑向畸變的廣角相機對精確目標識別距離進行估算的問題，得到的實際識別距離相較于理論識別距離更加符合實際，其中人臉和車牌平移距離分別為1m和2m時，實際與理論的識別距離差異高達34.2%和27.5%，這表明考慮徑向畸變對精確目標識別距離的估算至關重要。

綜上，廣角鏡頭應用于智慧安防監控系統時，雖然視場角增大、可包含的目標數量增多，但與位于視場中心的目標相比，位于視場邊緣的目標的像素面密度會減小，識別距離也會減小。因此，智慧安防領域的工程人員應關注廣角鏡頭畸變對目標識別距離的影響，尤其對于視場邊緣的目標，可采用超分辨力技術、增加用于訓練神經網絡的畸變圖像樣本數量等方法來提高精確目標的識別率。

[1] Taskiran M, Kahraman N, Erdem C E. Face recognition: past, present and future (a review)[J]., 2020, 106: 102809.

[2] DING C, TAO D. A comprehensive survey on pose-invariant face recognition[J]., 2016, 7(3): 37.

[3] WANG Zhenzhou, ZHANG Xu, YU Pingping, et al. A new face recognition method for intelligent security[J]., 2020, 10(3): 852.

[4] Ahmed A U, Masum T M, Rahman M M. Design of an automated secure garage system using license plate recognition technique[J]., 2014, 6(2): 22-28.

[5] Baran R, Rusc T, Fornalski P. A smart camera for the surveillance of vehicles in intelligent transportation systems[J]., 2016, 75(17): 10471-10493.

[6] CHUNG Y N, LU T C, HUANG Y X, et al. Applying image recognition technology to intelligent security management systems[C]//(AIIE 2015), 2015: 117-120.

[7] Abramkina D E, Khatsevich T N. Analysis of optical systems of extremely wide-angle lenses for digital cameras[J]., 2020, 6(1): 3-10.

[8] Juarez-Salazar R, ZHENG J, Diaz-Ramirez V H. Distorted pinhole camera modeling and calibration[J]., 2020, 59(36): 11310-11318.

[9] WU F, WEI H, WANG X. Correction of image radial distortion based on division model[J]., 2017, 56(1): 013108.

[10] Johnson J. Analysis of image forming systems[C]//, 1958, 513(513): 761.

[11] Leachtenauer J C. Resolution requirements and the Johnson criteria revisited[J]., 2003, 5076: 1-15.

[12] 中國國家標準化管理委員會. 公共安全人臉識別應用圖像技術要求: GB/T 35678-2017[S]. 中國標準出版社, 2017.

Standardization Administration of the People's Republic of China. Public Security Face Recognition Application Technical Requirements for Face Images: GB/T 35678-2017[S]., 2017.

[13] 中國國家標準化管理委員會.機動車號牌圖像自動識別技術規范: GA/T 833-2016[S]. 中國標準出版社, 2016.

Standardization Administration of the People's Republic of China. License plate of motor vehicle of the People’s Republic of China: GA/T 833-2016[S]., 2016.

[14] European Committee for Electrotechnical Standardization. Video surveillance Systems for Use in Security Applications - Part 4: Application Guidelines: UNE-EN 62676-4-2015[S]., 2014.

[15] Tony Mansfield.:[M]. UK: Home Office Scientific Development Branch, 2014: 4-12.

[16] 中國國家標準化管理委員會. 成年人頭面部尺寸: GB/T 2428-1998[S]. 中國標準出版社, 1998.

Standardization Administration. Head-face Dimensions of Adults: GB/T 2428-1998[S]., 1998.

[17] 中國國家標準化管理委員會. 中華人民共和國機動車號牌: GA 36-2018[S]. 中國標準出版社, 2018.

Standardization Administration. License Plate of Motor Vehicle of the People’s Republic of China: GA 36-2018[S]., 2018.

Distance Estimation for Precise Object Recognition Considering Geometric Distortion of Wide-angle Lens

LIU Guangwei1，CAI Yi1,2，CHEN Dongqi1，WANG Lingxue1

(1.,,,100081,; 2.,100089,)

Face and license plate recognition are crucial aspects in the field of intelligent security. A high-spatial-resolution imaging system with a large-format detector and low-distortion optical lens is requiredfor recognizing small-scale features and rich details in faces and license plates. However, security systemsneed to monitor wide area, which requires a wide-angle lens with a wide field of view,but with some distortion. Therefore, precise target recognition should be used as a constraint to balance the high spatial resolution and wide field of view when designing an imaging system that canrecognize details and monitor a wide area. Under such application requirements, an evaluation index based on pixel areal density is proposed. With the aid of this evaluation index, a distance estimation method for precise object recognition, considering the radial distortion of the wide-angle lens, was designed. Rotated and translated faces and license plates were used to demonstrate the estimation method. The results indicate that the recognition distance with radial distortion is less than that without radial distortion. When the translation distance is 1m and 2m, the difference between the actual recognition distance and the ideal recognition distance is 34.2% and 27.5%, respectively.

recognition distance, wide-angle lens, radial distortion, object recognition, pixel areal density

TN211

A

1001-8891(2021)12-1158-08

2021-02-01；

2021-03-08.

劉光偉（1995-），男，湖南婁底人，碩士研究生，主要從事全景成像和圖像處理的研究。E-mail：bitlgw@126.com。

王嶺雪（1973-），女，云南石屏人，副教授，博士，主要從事紅外成像、圖像處理和紅外光譜等方面的研究。E-mail：neobull@bit.edu.cn。

前言：紅外光學系統是紅外光電設備的眼睛，位于紅外光電設備的最前端，是紅外光電設備最重要的組成部分之一，其性能的好壞直接決定著紅外光電設備的整機性能。由于紅外光學系統具有被動成像、不易被干擾、識別偽裝能力強、可全天時工作、探測靈敏度高等優點，因此廣泛應用于光電偵察、航空航天、空間遙感、精確制導、火災搜救、電力巡檢、醫學檢查等領域。

紅外光學系統涉及光學理論，像差理論，光機優化，光學材料，紅外器件，光學制造，集成測試等多個領域，隨著科學技術的快速發展，紅外光學系統向著多次成像結構，多視場，大相對孔徑，寬溫度范圍，多波段，一體化，小型化，集成化，輕量化等方向發展。

為了促進科研人員在紅外光學系統領域交流的最新成果，2021年12期，《紅外技術》推出了“紅外光學系統”專欄，共收錄8篇學術論文，內容涉及二次成像結構的中波紅外折反射式光學系統設計，大相對孔徑的長波紅外變焦無熱化光學系統設計，制冷型中/長紅外a雙波段一體化全反射式光學系統設計，考慮廣角鏡頭畸變的精確目標識別距離估算，機載小型化中波紅外連續變焦光學系統設計，紅外探測器集成光學系統低溫評價方法研究等，涉及領域較廣，旨在集中反映報道紅外光學系統領域的新動態和發展趨勢，為相關科研人員和廣大讀者提供學術價值參考，為紅外光學系統的研究發展提供一些新的思路。

最后，感謝專欄論文所有作者的卓越貢獻。

——白 瑜