類圓柱標簽等效階梯柱面展開方法

劉千，許敏，徐首帥

工藝與裝備

類圓柱標簽等效階梯柱面展開方法

劉千1,2,3,4，許敏1,2,4，徐首帥1,2,4

（1.中國科學院沈陽自動化研究所，沈陽 110016；2.中國科學院機器人與智能制造創新研究院，沈陽 110169；3.中國科學院大學，北京 100049；4.遼寧省智能檢測與裝備技術重點實驗室，沈陽 100179）

針對半徑不等的類圓柱標簽的全表面展開問題，提出類圓柱標簽等效階梯柱面展開方法。提取4個視角下圖像中的類圓柱標簽最小外接矩形，根據提取結果建立位姿估計模型。基于微積分的化曲為直的思想，結合標簽的位姿和各視角的輪廓，建立等效階梯的類圓柱標簽3D點云。利用雙線性插值法對點云進行渲染，并通過NCC算法進行圖像拼接，最終實現半徑不等的類圓柱標簽全表面展開。類圓柱棋盤格標簽仿真模型與某品牌口香糖標簽全表面展開實驗表明，文中提出的算法較傳統算法具有較高的精度，針對1號模型，在軸、軸方向上的方差分別為1.37像素和0.58像素。類圓柱標簽等效階梯柱面展開方法可以有效地實現類圓柱標簽全表面展開，為后續的標簽檢測提供基礎。

標簽檢測；類圓柱標簽展開；等效階梯模型；圖像拼接

柱狀標簽在商品識別和商品售賣環節起到了重要的作用，應用機器視覺技術對瓶裝標簽表面進行檢測時，或對標簽表面字符進行識別時，通常需要首先恢復其360°全表面圖像，常用的方法有利用線陣相機加旋轉機構、搭建折反射系統、使用特殊鏡頭和使用多面陣相機的方法。

應用線陣相機一般需要設計相應的旋轉機構，使標簽能以幾何軸心為中心旋轉，再配合編碼器等設備控制線陣相機采集圖像，由此可恢復圓柱標簽360°全表面圖像。Ali等[1]利用線掃描相機并使用步進電機帶動圓柱物體旋轉，實現了圓柱物體的全表面展開。由于線掃描相機的分辨率高，可以獲得高質量圓柱物體的表面展開圖，但是旋轉掃描標簽的速度不能滿足工業上標簽檢測的要求。

應用折反射系統一般需要設計圓錐面或球面反射鏡，并通過反射成像得到圓柱標簽全景圖。吳玉 媚[2]設計了凹面反射鏡獲取環形全景圖像的柱形物體成像系統。折反射系統可以快速恢復圓柱標簽的全表面圖像，但是該系統結構過于復雜，反射鏡的質量也會對成像產生影響，此外，該系統對標簽的位置要求較為嚴格，因此不適用于容易發生震動的生產線上。

單個特殊鏡頭可以放置在圓柱標簽的上方獲取圓柱標簽的全景圖，通過擬合圓柱標簽的頂部的圓和底部的圓從而確定標簽的位姿，最終實現圓柱標簽的360°全表面展開[3]。特殊鏡頭可以不借助反射鏡等額外配件實現圓柱全表面的快速展開，但是該方法只適用于一定大小的物體，并且物體可移動范圍較小，不適用于有震動的工業生產線。

應用多面陣相機方法一般需要同時獲取圓柱標簽不同角度的圖像，從而獲得標簽表面的全部信息。再對不同角度的標簽圖像進行柱面校正，常用的校正方法有2D柱面反投影[4]和3D點云插值的方法[5]。2D柱面反投影方法一般需要建立柱面和平面之間幾何映射模型。Zhang等[6]利用3個相機環繞鋼絲，并建立了柱面反投影模型，實現了鋼絲全表面展開。Lin等[7]利用4個相機對稱環繞飲料瓶標簽，并建立柱面反投影模型，實現飲料瓶標簽的全表面展開。許會等[8]通過建立柱面反投影模型，并對藥瓶標簽進行二次校正，實現了標簽的全表面展開。2D柱面反投影模型簡單，可以快速實現圓柱標簽展開。該模型通常需要物距和半徑等實際物理參數，一旦這些參數發生改變，展開結果也會受到影響。3D點云插值的方法一般需要建立圓柱標簽的3D點云，通過相機的成像模型并結合圖像的像素信息對點云進行渲染，最終實現圓柱標簽全表面展開。Xu等[9]利用環繞圓柱標簽的4個相機建立標簽的3D點云，通過對點云的渲染實現圓柱標簽的全表面展開。此方法的結果不受標簽移動影響，但是不能實現半徑不規則的類圓柱標簽全表面展開。

針對半徑不規則變化的類圓柱標簽校正問題，孫衛紅等[10]通過對蠶繭輪廓進行擬合，并以輪廓的寬度作為柱面反投影模型的參數，實現了蠶繭表面的展開。該方法可以解決類圓柱標簽校正問題，但以成像后的標簽輪廓作為柱面反投影的參數會引入誤差。

文中設計一種四相機圖像采集系統，通過獲取類圓柱標簽不同角度的圖像并提取標簽區域的最小外接矩形，構建類圓柱標簽位姿估計模型。再結合類圓柱標簽中心軸和類圓柱標簽輪廓點生成類圓柱標簽的3D階梯點云模型。最后利用圖像坐標和點云坐標的映射關系，并用雙線性插值算法對點云進行渲染，實現類圓柱標簽的全表面展開。

1 標簽圖像采集裝置設計

為了快速獲取類圓柱標簽的全表面展開圖，設計類圓柱標簽圖像采集裝置，見圖1。4個CCD工業相機以90°增量環繞被檢測物體，并同時采集圖像。

2 類圓柱標簽圖像展開算法

2.1 位姿估計

2.1.1 多相機標定

圖1 類圓柱標簽圖像采集裝置

2.1.2 求解圓柱標簽中心軸線

對于圓柱標簽，可利用4個視角下標簽輪廓建立幾何關系模型，求解其位姿。幾何模型見圖2。

2.1.3 求解類圓柱標簽中心軸線

由于類圓柱標簽半徑無規則變化，所以無法用2.1.2節方法求解標簽的中心軸線。文中通過提取標簽輪廓的最小外接矩形解決類圓柱標簽問題。首先對圖像進行預處理：灰度化、濾波、二值化、邊緣提 取[13]，并提取標簽輪廓的最小外接矩形，見圖3，則該問題就轉化為求解圓柱標簽中心軸線問題，故可用2.1.2節方法進行求解。

2.2 生成類圓柱標簽的3D點云模型

2.2.1 等效階梯類圓柱標簽模型

2.2.2 生成類圓柱體的3D點云

圖2 圓柱標簽位姿估計模型幾何示意

圖3 類圓柱標簽最小外接矩形位姿估計

圖4 類圓柱標簽切分示意

圖5 類圓柱標簽階梯3D模型轉換示意

2.3 類圓柱標簽表面展開

根據標簽點云和相機成像模型，可以得到點云和像素之間的映射模型，從而利用雙線性插值算法對點云進行渲染，最終實現類圓柱標簽的全表面展開。其中，由于標簽放置的位置不固定，所以每個相機觀察的3D點的范圍會發生變化。參考Xu等[9]確定每個標簽點的歸屬問題。

3 結果與分析

3.1 實驗材料

文中通過仿真模型對算法結果進行量化，并實現某品牌口香糖標簽全表面展開。實驗采用的工業相機為映美精DFK23G455，工控機硬件為16 G內存，Core i7-8700 3.2 GHz，圖像處理軟件包為OpenCV。

3.2 實驗步驟

在仿真平臺中，利用文中算法（算法1）分別對2種不同的類圓柱標簽模型進行全表面展開，模型見圖6a和圖7a，展開結果見圖6b和圖7b。參考曹濟英等[14]，將相鄰角點間距的方差作為算法評價標準，結果見表1。

3.3 對比實驗

3.3.1 不同模型下3種展開算法結果對比

參考文獻[10]中的變徑柱面反投影展開算法（算法2）和等徑柱面反投影算法（算法3）對1號模型和2號模型進行全表面展開，結果見圖8和圖9。這里將1號模型和2號模型的輪廓分別擬合成直線和二次曲線。

圖6 1號類圓柱棋盤格標簽模型全景展開結果

表1 類圓柱棋盤格標簽模型全景展開方差

圖8 1號類圓柱棋盤格標簽模型在2種算法下展開結果

圖9 2號類圓柱棋盤格標簽模型在2種算法下展開結果

為保證對比實驗的可靠性，文中算法提取單 相機下的模型表面展開圖。對比結果見表2和 表3。

結合表2和表3可以發現，對于不同的模型，算法1在軸方向和軸方向上的展開結果都要優于算法2和算法3。

3.3.2 不同物距下3個算法展開結果對比

在不同的物距下，采用1號模型，對比3個算法的展開結果，結果見圖10。結合圖10可以看到，不同物距對3個算法的展開效果并沒有太大的影響，但是在不同物距下，算法1的展開精度均高于算法2和算法3。

表2 1號類圓柱棋盤格標簽在3種算法下的展開方差

表3 2號類圓柱棋盤格標簽在3種算法下展開結果的方差

3.3.3 不同行和不同列在3個算法下展開結果對比

結合圖11可以得知，在算法2和算法3的展開結果中，行角點和列角點在軸方向和軸方向并不能完全筆直展開。對于算法1展開結果，棋盤格中角點距離的方差不會因位置變化而發生劇烈的變化。產生這種問題的原因在于算法2和算法3并沒有結合類圓柱標簽的實際參數進行建模，但是結合實際參數又會造成參數過多，限制了工業應用。算法1有效地解決了此問題。

3.4 實物標簽全表面展開

根據文中方法，對某品牌口香糖的全表面標簽進行展開，標簽圖像見圖12a。為了防止光照影響，采用歸一化互相關算法(NCC)[15—16]對不同角度的標簽展開圖進行拼接。展開結果見圖12b。

圖10 1號類圓柱棋盤格標簽模型在3種算法下展開結果的方差變化曲線

圖11 1號類圓柱棋盤格標簽模型在3種算法下展開結果的行列方差變化曲線

圖12 口香糖標簽全景展開

4 結語

文中在4個相機像素坐標系下，通過提取類圓柱標簽的最小外接矩形，建立了標簽的位姿估計模型。再通過提取標簽圖像的輪廓點集，在世界坐標系下，生成類圓柱標簽的3D點云。最后利用雙線性插值對點云進行渲染，實現類圓柱標簽的全表面展開。

通過類圓柱標簽仿真模型和某品牌口香糖的包裝瓶對文中方法進行驗證，實驗結果表明，文中提出的方法相對于傳統的柱面反投影和變徑柱面反投影算法具有更好的展開效果。

參考文獻：

[1] ALI M A H, MAILAH M, TANG H H, et al. Visual Inspection of Cylindrical Product's Lateral Surface Using Cameras and Image Processing[J]. International Journal of Mathematical Models and Methods in Applied Sciences, 2012, 6(2): 340-348.

[2] 吳玉媚. 柱形物體360°環視裝置設計方法研究[D]. 哈爾濱: 哈爾濱工業大學, 2016: 5-6.

WU Yu-mei. Study on Design Method of 360° Imaging Device for Cylindrical Object[D]. Harbin: Harbin Institute of Technology, 2016: 5-6.

[3] ULRICH M, STEGER C. A Camera Model for Cameras with Hypercentric Lenses and Some Example Applications[J]. Machine Vision and Applications, 2019, 30(6): 1013-1028.

[4] 彭紅星, 宋鴻陟, 鄒湘軍, 等. 柱面全景圖生成技術的研究與實現[J]. 計算機工程, 2010, 36(09): 208-211.

PENG Xing-hong, SONG Hong-zhi, ZOU Xiang-jun, et al. Research and Implementation of Cylindrical Panorama Generation Technology[J]. Computer Engineering, 2010, 36(9): 208-211.

[5] 尤磊, 唐守正, 宋新宇. 基于圓柱面投影的樹干表面重建算法[J]. 林業科學研究, 2016, 29(6): 812-819.

YOU Lei, TANG Shou-zheng, SONG Xin-yu. An Algorithm of Stem Surface Reconstruction Based on Cylindrical Projection[J]. Forest Research, 2016, 29(6): 812-819.

[6] ZHANG J, WANG S. Obtaining Unfolded Image for Surface of Wire Rope Based on Image Processing and Splicing[J]. Journal of Failure Analysis and Prevention, 2020, 20(2): 425-431.

[7] LIN J, LIAO Q, HE B, et al. Label Inspection of Approximate Cylinder Based on Adverse Cylinder Panorama[C]// 2013 International Conference on Optical Instruments and Technology, Beijing, 2013.

[8] 許會, 劉慧芳, 陸昊, 等. 一種曲面藥瓶標簽校驗方法關鍵技術[J]. 沈陽工業大學學報, 2019, 41(3): 286-291.

XU Hui, LIU Hui-fang, LU Hao, et al. Key Technology of Checking Method for Curved Surface Label of Medicine Bottle[J]. Journal of Shenyang University of Technology, 2019, 41(3): 286-291.

[9] XU J, CHEN C, XIE H, et al. Cylindrical Product Label Image Stitching Method[C]// 2017 2nd IEEE International Conference on Computational Intelligence and Applications (ICCIA), Beijing, 2017: 331-335.

[10] 孫衛紅, 廖藝真, 梁曼, 等. 蠶繭表面圖像等效階梯柱面展開[J]. 中國圖象圖形學報, 2020, 25(3): 498-506.

SUN Wei-hong, LIAO Yi-zhen, LIANG Man, et al. Cocoon Surface Image Equivalent Ladder Cylinder Expansion[J]. Journal of Image and Graphics, 2020, 25(3): 498-506.

[11] ZHANG Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[12] 張澤魯, 許敏, 陳帥. 基于機器視覺的柱狀標簽拼接算法研究[J]. 包裝工程, 2020, 41(17): 221-228.

ZHANG Ze-lu, XU Min, CHEN Shuai. Cylindrical Label Stitching Algorithm Based on Machine Vision[J]. Packaging Engineering, 2020, 41(17): 221-228.

[13] COPE R K, ROCKETT P I. Efficacy of Gaussian Smoothing in Canny Edge Detector[J]. Electronics Letters, 2000, 36(19): 1615-1617.

[14] 曹濟英, 陸高勇, 李勃, 等. 一種靈活的柱面反投影算法[J]. 哈爾濱工業大學學報, 2016, 48(11): 75-82.

CAO Ji-ying, LU Gao-yong, LI Bo, et al. Flexible Cylindrical Back-Projection Algorithm[J]. Journal of Harbin Institute of Technology, 2016, 48(11): 75-82.

[15] 劉桂雄, 蔡柳依婷, 王博帝. 機器視覺檢測圖像拼接配準技術研究進展[J]. 激光雜志, 2019, 40(11): 1-6.

LIU Gui-xiong, CAI Liu-yi-ting, WANG Bo-di. Overview of Image Stitching Registration in Machine Vision Detection[J]. Laser Journal, 2019, 40(11): 1-6.

[16] 劉正瓊, 萬鵬, 凌琳, 等. 基于機器視覺的超視場工件識別抓取系統[J]. 機器人, 2018, 40(3): 294-300.

LIU Zheng-qiong, WAN Peng, LING Lin, et al. Recognition and Grabbing System for Workpieces Exceeding the Visual Field Based on Machine Vision[J]. Robot, 2018, 40(3): 294-300.

Equivalent Ladder Cylinder Unfolding Method of Quasi-Cylinder Label

LIU Qian1,2,3,4, XU Min1,2,4, XU Shou-shuai1,2,4

(1.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 2.Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China; 3.University of Chinese Academy of Sciences, Beijing 100049, China; 4.Key Laboratory on Intelligent Detection and Equipment Technology of Liaoning Province, Shenyang 100179, China)

The work aims to propose a method for equivalent ladder cylinder unfolding of quasi-cylinder label image to solve the problem on whole surface unfolding of quasi-cylinder labels with unequal radii. Firstly, the minimum bounding rectangles of quasi-cylinder label of images from four perspectives were extracted. A pose estimation model was established according to the result extracted. Based on the quasi-cyl' idea of turning curve into straight, the equivalent ladder quasi -cylinder label 3D point cloud was established in combination with the label pose and outline from different perspectives. Finally, the method of bilinear interpolation was used to render the point cloud to get quasi-cylinder label unfolding results of unequal radii through image stitching with NCC algorithm. The quasi-cylindrical checkerboard label simulation models and the whole surface unfolding experiment of the chewing gum label showed that the proposed algorithm had higher accuracy than the traditional algorithms. For model 1, the variance in the-axis and-axis directions was 1.37 pixels and 0.58 pixels respectively. In conclusion, the equivalent ladder cylinder unfolding of quasi-cylinder label can effectively achieve whole surface unfolding of quasi-cylinder label, providing a good experimental basis for the subsequent label detection.

label detection; quasi-cylinder label unfolding; equivalent ladder model; image stitching

TP391

A

1001-3563(2022)01-0210-09

10.19554/j.cnki.1001-3563.2022.01.027

2021-10-15

中國科學院戰略性先導科技專項（C類）（XDC04000000）；遼寧省重點研發計劃（2020JH2/10100023）；中國航發自主創新專項資金（ZZCX-2018-035）；王寬誠教育基金會、遼寧省“興遼英才計劃”（XLYC2002055）

劉千（1998—），男，中國科學院大學碩士生，主攻機器視覺。

許敏（1982—），男，博士，副研究員，主要研究方向為機器視覺和圖像處理技術。