基于傾斜雙目相機的視覺對位技術研究

董永謙，王增琴

( 中國電子科技集團公司第二研究所，山西 太原030024)

隨著工業4.0 時代的到來，全球工業制造行業迎來了智能制造時代[1]。智能制造的實質是實現超越人腦智力的制造。這種超越所依賴的是新一代人工智能技術，其中包含了機器視覺技術[2]。因此隨著智能制造的不斷推進，工業自動化中機器視覺技術的地位愈發重要。

機器視覺可實現非接觸測量，對于操作者與工件都不會產生任何損傷；具有較寬的光譜響應范圍，擴展了人眼的視覺范圍；可以長時間穩定地測量、分析和識別，提高了系統的可靠性。因此，機器視覺系統的應用領域越來越廣泛，分布于工業、農業、國防、交通、醫療、金融甚至體育、娛樂等行業。

基于傾斜雙目相機的視覺對位技術是實現快速對位，精度達到0.01 mm 以下，實現人工無法滿足的生產需求。因此，開展基于傾斜雙目相機的視覺對位技術研究，通過傾斜圖像校正技術、標定技術、模板匹配技術、對位計算的研究，實現快速準確對位。

1 LTCC 熱切工藝

多層基板制造工藝流程包括打孔、印刷、疊片、層壓、熱切、燒結等工藝，熱切是多層基板制造中關鍵工序之一，是通過計算機編程，并自動精確控制伺服系統對層壓后帶有標識的多層生瓷坯體在一定加熱溫度條件下快速、高精度的切割，使其成為單件。

由于多層生瓷坯體的材質較軟而且有一定黏性，在多層生瓷坯體通過加熱的鎢鋼刀體進行切割時，為了保證切割元件的精度和一致性，并且不損傷內置元件，熱切過程需要實現高精度的控制，如圖1 所示。

圖1 多層生瓷坯體

熱切流程如圖2 所示，主要包含上料、運動間隔、自動對位、熱切和下料等，其中移動間隔、自動對位、熱切是重要過程。

傾斜雙目相機的視覺對位主要是完成多層生瓷片坯體熱切前的自動對位，是保證多層生瓷坯體高精度高速熱切的基礎，直接關系著熱切結果好壞，是熱切機的關鍵技術之一。對位精度要求是Y 軸±0.01 mm，θ 軸±0.005°。

圖2 熱切機切割流程圖

2 傾斜雙目相機視覺對位系統設計

2.1 硬件設計

雙目相機視覺對位系統硬件主要有圖像采集卡、面陣相機、遠心鏡頭、環形LED 光源、運動控制單元、工控機等，如圖3 所示。面陣相機是數據采集、傳輸的前端設備；千兆高速以太網傳輸接口，保證大量圖像數據的實時、快速傳送。依據圖像的對比度和清晰度調整環形LED 光源亮度，保證圖像檢測清晰、準確、快速。

圖3 視覺系統結構框圖

為保證視覺對位精度，選用200 萬像素相機。相機的像素尺寸是4.4 μm×4.4 μm，分辨率是1 600×1 200。由于標記尺寸是0.2 mm×1 mm，如果選用1.2 倍的鏡頭，不僅縮小了視野，而且單個像素的尺寸減小為3.6 μm×3.6 μm，這樣圖像處理的精度達到10 μm，滿足對位精度要求。最終采集的熱切圖像效果如圖4 所示。

圖4 熱切圖像

雙目相機視覺對位系統安裝結構如圖5 所示。由于每個多層生瓷坯體都有兩組對位標記，熱切機采用兩套相機和兩套光源進行采集圖像。由于受到刀架的影響，相機安裝在刀架兩側并偏離垂直方向一定角度，固定在由伺服電機驅動模組實現左右運動的兩個獨立X 軸上。不同厚度的多層生瓷坯體可通過調節手動滑臺以達到調整物距的目的。多層生瓷坯體通過真空吸附固定于工作臺上。

圖5 視覺系統安裝結構圖

2.2 軟件設計

由于相機傾斜了一定角度使得采集圖像存在傾斜，從而影響圖像處理的精度，造成對位成功率下降，因此圖像預處理時需要進行圖像傾斜校正。本文采用了準確度高、抗干擾能力比較強的投影變換。

為了獲得圖像坐標系與世界坐標系之間的關系，獲取相機畸變參數進一步提高對位精度，本研究采用9 宮格運動和旋轉運動進行標定，一鍵即可實現標定流程，方便簡便。

對位過程中各相機采用模板匹配方法獲取標記的中心點。為了提高對位精度，防止相機傾斜導致的圖像模糊參與模板匹配，對位時要求調整物距使得標記所在位置必須清晰可見，并且設定模板區域為圖像清晰可見位置。對位過程中，結合標定結果，快速計算平移和旋轉的偏移量，并控制熱切機運動，直到對位成功。對位流程如圖6 所示。

3 標定

3.1 標定原理

雙目視覺對位系統[3]是通過相機提取標記中心坐標，計算標記偏移坐標，最后轉換為運動偏移量實現對位。在系統計算標記偏移過程中，相機標定[4]是圖像坐標與世界坐標的紐帶，所以相機標定結果會影響系統對位精度。

圖6 圖像處理流程圖

世界坐標系是一個三維直角坐標系，以其為基準可以描述相機和待測物體的空間位置，可以根據實際情況自由確定。

相機坐標系也是一個三維直角坐標系，原點位于鏡頭光心處，x、y軸分別與相面的兩邊平行，z軸為鏡頭光軸，與像平面垂直。

圖像坐標系是以圖像中心為坐標原點，x、y軸平行于圖像兩邊，可以用(x、y)表示物體P的坐標值(單位是mm，代表該像素在圖像中的位置)。相機標定采用了九宮格運動和旋轉運動，結合運動控制，一鍵實現標定過程，詳細標定過程如圖7所示。

九宮格運動是工作臺沿著田字格走9 個點，dx與dy均為1 mm，然后回到田字格中心，記錄每次移動的位置，同時相機進行圖像采集、處理，對視野內的同一個標記點進行記錄，從而計算出相機畸變；相機坐標系與機械坐標系間的角度關系θ，相機像素個數與實際距離間的對應關系為K，如圖8 所示。

圖7 標定流程圖

圖8 相機坐標系與機械坐標系間角度關系

畸變一般可以分為兩大類，包括徑向畸變和切向畸變。徑向畸變來自于透鏡形狀，切向畸變來自于相機的組裝過程。

由于標記點間距離dx與dy的值已知，且為1 mm，而相機9 點標定移動時相機可獲取標記中間移動值為Di，那么相機像素個數與實際距離間的對應關系K的計算公式為：

旋轉運動是在相機坐標系下，拍攝到正向與反向旋轉點，根據旋轉點位置關系，通過三點擬合圓，可以算出相機坐標系與機械坐標系之間的位置偏移量，如圖9 所示。

圖9 坐標系間的位置偏移關系

3.2 目標位置獲取

標定完成后，為提高準確性，保持多層生瓷坯體位置不動，此時切割一刀并獲得一條淺淺的刀痕。邊緣提取得到刀痕上下邊緣后，計算刀痕Y 向中心，如圖10 所示，記錄此位置并作為目標位置。

圖10 刀痕圖像

4 對位

4.1 傾斜校正

由于相機的傾斜安裝使得圖像發生畸變，投影變換可實現圖像的傾斜校正。

投影變換是將圖片投影到一個新的平面。通用變換公式為：

u，v是原始圖片左邊，對應得到變換后的圖片坐標x，y，其中x=x'/w＇，y=y＇/w＇。

4.2 模板匹配

每個相機采用模板匹配方法獲得標記的中心點。模板匹配包含模板創建和模板匹配。

模板創建和模板匹配均采用了圖像金子塔模型，圖像金字塔是一種以多分辨率來解釋圖像的結構，如圖11 所示，通過對原始圖像進行多尺度像素采樣的方式，生成N 個不同分辨率的圖像。把具有最高級別分辨率的圖像放在底部，以金字塔形狀排列，向上是一系列像素個數逐漸減少的圖像，一直到金字塔的頂部只包含一個像素點的圖像。

模板創建的流程如圖12 所示。由于相機傾斜安裝，景深只有不到1 mm，視場中圖像部分是模糊的，如圖4 所示。為了保證模板匹配的準確度，模板區域選擇圖像清晰部分，如圖13 所示。模板創建時，要設置合適的金字塔層數，以保證最高層的金字塔至少有10～15 個像素，且模板的形狀依舊保存，這樣既可保證搜索速度，又可保證匹配的成功率。

圖11 圖像金字塔

圖12 創建模板流程圖

圖13 模板區域位置

模板匹配的流程如圖14 所示，為了保證匹配的成功率，模板匹配的搜索區域通常為整個視場，與模板創建的區域尺寸和位置是完全一樣的。模板匹配過程中，金字塔層級越小提取到的特征越多，對應的識別時間越久，準確度越高。

4.3 對位計算

每次對位開始時，要先獲取平臺的當前位置，以便圖像處理后計算平臺的移動量。兩個相機采用模板匹配的方法進行獲取對象輸出點，即對象中心。如圖15 所示，對象的兩個標記中心連線的中點為m，目標的中心連線的中點M，沿著X方向與Y方向平行移動，達到一致前的距離為Δx、Δy；以對象間的中點m為軸進行旋轉，對象連線ab 與目標連線AB 相平行時，所形成的角度即為Δθ。Δx、Δy、Δθ 就是對象與目標的偏移量，由于相機固定于X軸上，X 軸進行Δx偏移量運動時，相機位置發生變化，從而影響標定結果，降低對位精度，因此對位過程中只進行Y 軸、θ 軸偏移量運動。對位過程中，如果偏移量小于對位精度閾值（Y 軸：±0.01 mm，θ軸：±0.005°），則對位成功，否則對位失敗，繼續進行對位。具體對位過程，如圖16 所示。

圖14 模板匹配流程圖

圖15 對象與目標的偏移計算

圖16 對位流程圖

5 運行結果及分析

該軟件在熱切中實際運行，對位效果良好。對位的設置界面如圖17 所示。

經過連續兩周的實際運行，將軟件測量的對位結果與其他對位軟件的結果進行對比，測量結果的誤差在2%以內，達到了實際生產過程中的要求。

圖17 對位結果圖

6 結束語

基于傾斜雙目相機的視覺對位系統已經在設備中得到推廣應用，達到了用戶生產使用要求，實現了自動化視覺對位，而且其通用性強，可以拓展應用到其他相關雙目視覺對位領域中。相信在未來的工業發展中，隨著視覺對位系統發展的進一步完善，它將在實際應用中扮演更加重要的角色。