基于3D視覺制鞋自動成型關鍵技術研究*

鐘治魁

（泉州華中科技大學智能制造研究院，福建泉州 362000）

0 引言

中國不僅是制鞋大國，全球較大的鞋業制造基地，而且也是全球較大的鞋類產品消費市場。2019年中國鞋類產量為135 億雙左右，約占全球產量的56%[1-3]。制鞋是勞動密集型制造，隨著國內勞動力成本的上升，中國傳統手工制鞋業逐漸失去了優勢。但隨著中國制鞋行業眾多要素特別是人力成本的不斷上升，國際貿易環境日趨復雜多變，制鞋產業開始向東南亞等地快速轉移，我國鞋業面臨的國際競爭不斷加劇，產量占世界的份額已經連續數年呈下降趨勢[4-5]。因此，提升制鞋成型自動化來突破傳統勞動密集型制鞋的現狀顯得尤為重要。

由于制鞋工藝的復雜性，目前多數工藝采用人工完成，其中打磨和噴膠工藝是制鞋成型工藝中影響制鞋質量最重要的因素之一，占用人工最多，花費工時最長，且膠水中的化學物質對人體健康有一定的影響[6]。因此，制鞋成型迫切需要引入機器視覺等先進技術解決傳統人工涂膠、打磨等工藝。

隨著機器視覺技術飛躍發展，尤其在3D視覺成像技術方面[7]，通過3D 傳感器獲得物體的三維信息，利用點云處理技術提取鞋材的關鍵信息，結合工業機器人實現制鞋成型過程中的噴膠和打磨等工藝，解決現有人工打磨、噴膠存在的問題，不斷實現機器代替人工的過程。如何設計合理的3D視覺制鞋成像測量系統，提取鞋材的關鍵信息，以及基于3D視覺工藝技術的研究，是制鞋自動成型的關鍵。

1 制鞋成型測量系統

本文研究的測量系統主要針對制鞋成型中段的3D視覺關鍵技術研究，鞋材經過復雜多種的工藝，如打磨、噴膠等，最終完成制鞋成型過程。制鞋成型3D視覺測量系統包括成像系統、光條提取、標定等內容。測量系統的性能直接影響鞋材輪廓數據獲取的速度和精度，間接影響制鞋成型工藝，最終影響制鞋成型質量。因此，如何搭建制鞋成型3D視覺測量系統至關重要。

通過對激光三角測距技術的研究，設計符合制鞋成型掃描的測量系統，根據鞋材成型成像需求，提出一種基于嵌入式的制鞋成像系統方案和一種基于FPGA 實現光條提取算法的研究。

1.1 激光三角測距技術

激光三角法測量系統主要由激光光源、透鏡和光敏傳感器組成[8]，其中激光器可分為點激光、線激光和其他形式激光。通過激光照射被測物體表面，然后在某一個方向的成像面上觀察反射光斑的位置，從而計算出激光光條在成像平面的位置。根據入射光與被測面法線之間的關系可將測量系統分為直射式和斜射式兩大類[9]，其原理如圖1和圖2所示。激光測量具有精度高，抗干擾能力強等特點，非常適合應用于制鞋成型掃描。

圖1 直射式激光三角法

圖2 斜射式激光三角法

1.2 成像系統設計

為了設計方面，采用基于直射式激光三角測距技術，考慮直射式測量視野的局限性，以及鞋材形狀及成型工藝的要求，引進Scheimpflug 測量原理，如圖3所示，即在光路設計時成像平面旋轉一個固定角α。

圖3 Scheimpflug測量光路

常用3D視覺掃描測量的方式是通過計算機集成相機API 獲取每一幀全幅圖像，經過每幀圖像處理，獲取測量數據，由于數據經過網絡傳輸，掃描速率受到很大的影響，且這種方案成本也較高[7]。

基于制鞋成型工藝，提出一種更適合制鞋成型的3D掃描成像系統，如圖4所示，掃描系統框架包括兩部分：成像軟件和成像硬件。其中成像硬件由CCD、處理器、機器人或輸送線和光學系統組成。處理器采用一種基于ARM+FPGA 微處理器的嵌入式三維重建系統圖像采集平臺，ARM 通過CCD 采集圖像，經過FPGA 處理，將數據發送成像軟件進行顯示和處理，構建三維重建系統，通過成像軟件的操作來控制嵌入式三維重建系統的工作，實現整個三維重建系統的軟件操作性。

圖4 掃描成像系統框架

圖5 成像軟件

基于ARM+FPGA 的嵌入式平臺，軟硬件兼容性高，系統集成化程度高，硬件平臺所占的空間比較少，而且系統內核源碼較小，系統通過裁剪比較精簡，實際的開發周期短，適合用于需要實時性處理的場景中。FPGA架構的導入，彌補ARM 算力不足的問題，同時為后續點云處理算法的研究提供硬件支持。

1.3 基于FPGA光條提取算法實現

光條提取是3D 視覺成像中的關鍵，提取質量直接影響三維重建精度[10]。本文基于FPGA提出一種鞋材掃描成像的光條提取算法，算法流程如圖6所示，通過逐行讀取圖像信息，圖像預處理、圖像處理。圖像預處理包括高斯濾波、中值濾波和膨脹濾波，主要作用是濾除圖像的高斯噪聲、椒鹽噪聲濾，消除高斯濾波與中值濾波對于邊界灰度值的影響。根據光條算法，基于FPGA 平臺設計的光條提取電路如圖7所示。

圖6 FPGA光條提取算法流程

圖7 FPGA光條提取電路

圖像二值化過程采用固定閾值的方式，實現圖像二值化預處理，為了克服噪點過大對灰度重心法的干擾，在圖像二值化后對圖像進行腐蝕與膨脹運算。通過計算二值化后圖像每行灰度的重心來獲取光條位置的坐標，利用坐標轉換獲得三維空間點。

基于FPGA 內建光條提取系統可被抽象為5 個模塊，模塊與模塊之間的連接關系以及數據傳輸如圖8所示。

圖8 FPGA光條提取系統模塊

節點1：表示AXI接口FPD模塊通過總線，將ARM中DDR4所存的圖片數據傳輸到讀控制器緩沖FIFO的過程。

節點2：表示讀控制器將圖片數據從緩沖FIFO讀出，并將其作為光條提取算法的數據輸入的過程。

節點3：表示將光條提取算法的運算結果（光條水平位置）傳輸到寫控制器緩沖FIFO的過程。

節點4：表示寫控制器將緩沖FIFO 中的運算結果寫入片內BRAM 的過程，最后ARM 只需要通過AXI 接口LPD模塊就可以訪問片內BRAM讀取數據了。

2 鞋面點云配準技術

點云配準技術是通過一定的算法或統計學規律，利用計算機計算兩塊點云之間的錯位，達到兩片點云自動配準效果，其實質是把在不同的坐標系中測量得到的數據點云進行坐標變換，以得到整體的數據模型。常用的配準技術有一對點云配準、對應估計、對應關系去除、變換矩陣估算、迭代最近點點位算法和采樣一致性初始對齊算法等[11-12]。

2.1 ICP配準算法

在精匹配算法中，最近迭代點（Iterative Closest Point，ICP）算法是使用最廣泛的算法[13]。ICP 算法由Besl 和Mckay 在1992年提出，是一種基于自由形態曲面的匹配算法。ICP 算法的目的是求得旋轉變換R和平移變換T，使得目標點云經過R、T變換后能夠與參考點云最大限度重合。ICP 是基于最小二乘法的最優匹配算法，通過重復尋找最近點對、計算變換矩陣、應用變換矩陣的迭代過程，直到滿足點云間距離和最小或其他限制條件（如最大迭代次數、距離和變化幅度）。

ICP 算法的實現：已知目標點云P，坐標為{pi,i=1,2,…,np}，源點云Q，其坐標為{qi,i=1,2,…,nq}，按照一定的約束條件，找到最鄰近點，計算最優的匹配參數R和T（R為旋轉矩陣，T為平移向量），通過式（1）計算誤差函數E，使其最小。

ICP 配準是一個不斷迭代，直到收斂的過程。第k次迭代過程，尋找Q與點云P距離最近的點云，設其坐標為{Qki,i=1,2,…,np}和{Pki,i=1,2,…,np}，由對應點計算Pk與Qk之間的變換矩陣Rk、Tk，并對點云Pk應用新變換，直到點云P和點云Q之間的平均距離小于給定值τ，即滿足迭代收斂要求。具體迭代步驟如下：

（1）目標點云P中取點云Pki∈P(i=1,2,…,np)；

（2）源點云Q中搜索Pki對應點Qki∈Qk，使得最小，k++；

（3）計算旋轉矩陣Rk與平移向量Tk；

（4）計算Pk+1，如式（2）：

（5）計算dk+1，如式（3）：

總之，“以人為本”的教育管理精髓可以詮釋為：點亮人性的光輝，回歸生命的價值，尊重個性的豐富發展，共創人類的繁榮和幸福”[4]。教育管理者只有重視弘揚被管理者的個性，尊重人性，才能培養真正的人。因此，管理者轉變管理理念、注重管理的人本化、關注人性的回歸已經成為教育管理改革的主旋律和時代最強音。

若dk+1＞τ，返回步驟（2），直至dk+1＜τ或者達到設置的迭代次數為止（k＜mmax），鞋面點云配送迭代流程如圖9所示。

圖9 點云配準算法流程

2.2 基于配準算法鞋面軌跡提取技術

制鞋成型生產過程中，鞋面因材質、樣式等，導致鞋面的款式復雜、多樣，在實現自動化過程中變得更加復雜，如何結合3D視覺掃描實現不同款式的生產也是研究的關鍵問題，基于對配準算法的研究，提出一種鞋款模板提取方法，建立不同鞋款的模板數據，并通過配準糾正生產過程中的誤差，以某鞋碼為例，具體步驟如下。

（1）貼黑色美紋紙：將鞋面貼上一層黑色美紋紙，完全包裹整個鞋面。

（2）第一掃描鞋面：將貼好的鞋面，通過3D掃描測量系統，采集鞋面輪廓數據M，作為鞋面配準的點云模板數據。

（3）劃線：將步驟（1）貼好的鞋面與同碼鞋底進行貼合，沿著鞋底的輪廓，在鞋面上畫出相應的輪廓線，輪廓線顏色必須與鞋面顏色保證較大的對比度。

（4）貼白色美紋紙：根據步驟（3）畫出的輪廓線，沿著輪廓線，貼上白色美紋紙。

（5）第二次掃描：設置合適的掃描參數，使得掃描只成像白色美紋紙輪廓，采集相應的點云輪廓N，如圖10所示。

圖10 噴膠軌跡提取效果圖

（7）配準修正軌跡：通過實時掃描鞋面輪廓，獲取點云O，點云M與O進行配準獲得配準矩陣，如圖11所示，以此來修正步驟（6）提取的噴膠軌跡模板。如果實際視覺引導效果較差，重新回到步驟（6），優化軌跡，直到達到生產要求。

圖11 鞋面點云配準

3 基于聚類算法的鞋底打磨軌跡提取

鞋底打磨軌跡提取技術的研究，基于本文研究的3D掃描測量系統，掃描獲取鞋底的輪廓信息，提出基于聚類算法的打磨軌跡提取方法，具體步驟如下。

（1）鞋底掃描數據預處理，計算鞋底的中心點坐標，將該中心點坐標對應的法向量作為基準法向量V1。

（2）指定K值，對于鞋底點云，通過其K個近鄰點計算其法向量V2，K的取值范圍為：75 ≤K≤85，計算法向量V2與基準法向量V1的夾角θ，如式（4）所示。

（3）設定閾值θ1（25°≤θ1≤35°），將小于θ1的坐標點組成點集A，將A作為鞋底底部的點云數據，。

（4）以L間距對鞋底側邊的點云進行等分分割，L的取值范圍為：0.5 mm ≤L≤1.5 mm，得到多個子點集，分別計算各子點集的最高點坐標和最低點坐標，最低點坐標群組成點集B，得到鞋底打磨的軌跡坐標。

（5）取各子數據的最高點坐標和最低點坐標的平均值，并將平均值坐標組成點集C，計算點集C的面法矢，將面法矢的方向作為工具的Z向矢量，Cn到Cn+1的方向作為對應點集C內的第n個點的X向矢量，通過Z向矢量和X向矢量求出第n個點對應的Y向矢量，并根據X、Y和Z向矢量求出第n個點對應的工具姿態歐拉角。

計算工具姿態歐拉角：設X向矢量為(nx,ny,nz)、Y向矢量為(ox,oy,oz)和Z向矢量為(ax,ay,az)，通過式（5）計算工具姿態歐拉角RPY(φ,θ＇,φ)：

式中：c為余弦函數；s為正弦函數。

（6）計算每一個軌跡坐標與點集C中各點之間的距離，取最小距離的點所對應的工具姿態歐拉角作為該軌跡坐標對應的工具姿態，以此類推，遍歷所有的軌跡坐標，得到鞋底打磨的軌跡路徑，軌跡規劃路徑包括各軌跡坐標及其對應的工具姿態，打磨軌跡提取效果如圖12所示。

圖12 打磨軌跡提取效果

4 結束語

根據制鞋中段成型工藝研究，基于嵌入式、點云處理、光學測量等技術，設計并搭建了嵌入式制鞋成型測量系統，實現制鞋成型鞋材的三維重建；基于FPGA 光條提取算法電路設計，提升了鞋材三維重建速率，也為后續HDR 算法的實現做技術鋪墊；鞋面點云配準技術的研究，提出基于ICP 配準的鞋面噴膠視覺引導方法，解決鞋面款式復雜、多樣等生產問題；通過聚類算法的研究，提出基于聚類算法的鞋底打磨軌跡提取算法，實時生成鞋底打磨軌跡，提升打磨效率。本文通過對面向制鞋成型的3D視覺關鍵技術研究，加快實現制鞋自動成型的步伐。