基于散亂點云的飛機蒙皮縫隙識別算法

李紅衛，戴佳佳，謝 乾，汪 俊+

(1.航空工業西安飛機工業(集團)有限責任公司，陜西 西安 710089； 2.南京航空航天大學 機電學院，江蘇 南京 210016)

0 引 言

隨著飛機制造向智能制造方向發展的趨勢，高精度的數字化測量技術在飛機制造領域得到廣泛的應用[1,2]，是飛機制造過程中的關鍵技術之一。飛機蒙皮是飛機氣動外形及承力、傳力結構體系的重要組成部分[2]。該類零件具有厚度薄、剛度弱、易變形、尺寸大[2]等結構特征。蒙皮通過鉚接、螺接等形式與飛機機體骨架連接，由于裝配過程中鉚釘的應力作用，導致蒙皮縫隙的測量結果與設計不相符，這是對飛機飛行性能影響較大的關鍵因素之一[3]，因此對于蒙皮接縫的識別是機身自動化檢測的基礎和必要步驟。

目前對于蒙皮縫隙的檢測多采用手持非接觸式設備進行測量，而縫隙識別仍采用人工辨別。但隨著機器人技術的快速發展，機械臂等機器人設備能夠進行部分重復性工序，有效減少人力的消耗，在制造領域得到廣泛的應用。結合機械臂的檢測過程中，針對檢測目標的自動化識別是必不可少的步驟之一，對于蒙皮縫隙的識別是飛機機身智能化檢測的重要前提。

本文結合機械臂與三維激光掃描設備，研究飛機蒙皮特征提取和對縫識別等內容。主要創新點在于提出基于散亂點云的蒙皮對縫識別方法，研究點云的內在幾何規律，設計三維點云的張量投票方法以及強化決策機制的多直線擬合算法，高效解決飛機蒙皮對縫自動化識別的效率問題。

1 相關工作

近幾年相關檢測技術在我國航空制造業進行了一定的研究與探索，也取得了一定的成績，大多采用非接觸式測量方式。根據采用設備的不同，已有的非接觸式測量又分為基于線結構光的方法和基于三維掃描儀的方法。

余飛翔等將飛機縫隙特征視作為蒙皮的邊緣特征進行提取，利用鄰域搜索方法進行曲率信息的計算，從而識別測量點，并進一步擬合直線[3]。許大帥和杜福洲結合結構光視覺技術和iGPS測量系統實現了階差間隙的實時動態測量，在線結構光測量設備進行飛機蒙皮對縫測量的同時，iGPS跟蹤測量的位置，并將測量結果和位置信息轉換為全局坐標系中，實現飛機蒙皮對縫的動態測量[4]。

嚴成等開發了基于三維點云的縫隙測量系統，通過激光設備獲取蒙皮對縫點云數據，構建蒙皮對縫間隙、階差的數學模型[2]。陳松林等利用光柵投影技術同時獲取散亂點云和二維圖像，在圖像上提取對縫區域，根據二維圖像與三維點云之間的對應關系，將圖像上的對縫區域定位到三維點云上，從而實現三維點云的對縫區域提取，并進一步實現三維空間中間隙階差的測量[5]。張洪瑤等提出一套飛機蒙皮自動化檢測系統，通過機器人和三維激光掃描儀的結合，對飛機蒙皮模型對縫間隙與階差測量方法進行深入研究，建立了對縫的縫寬與階差的數學模型，實現飛機蒙皮對縫區域的自動定位、檢測和分析，實現對縫的高效率、高精度的自動化檢測與分析[6]。

國外對于蒙皮接縫測量技術的研究已進入實際工程應用階段，配套研發相應的間隙測量設備，受到測量領域的大量推廣和應用，其中包括飛機裝配檢測的應用，一定程度上提高飛行器的生產效率與制造精度。國外的相關研究已與產業相結合，生產了專業的數字化測量設備用于對縫間隙和階差的測量[7,8]，例如英國Third Dimension Software公司的激光間隙槍GapGun應用在汽車制造行業，測量車身的間隙；加拿大LMI Technologies公司的線激光輪廓傳感器Gocator系列產品使用投影激光線進行高分辨率掃描、測量和控制，美國LAP公司生產的ANTARIS系列產品多應用在工業制造中。這類產品通常是手持的方式進行測量，雖然測量結果準確，但是單次測量只能得到一次測量數據，存在測量的局限。

現有的研究以及已成型的測量設備，多采用線結構光的檢測模式，而線結構光通常一次只能從一個角度采集一次數據進行接縫間隙和階差的測量計算，計算速度較快、精度較高，但對于飛機蒙皮接縫來說，因飛機機體尺寸大、剛度小、易變形，單次的蒙皮接縫測量數據的具有一定的“偶然性”，測量結果往往不能作為最終的測量結果，而同時人工手持設備進行測量的方式則提高了人力成本和時間消耗，在一定程度上不能滿足生產需求。本文針對效率問題，提出利用三維點云進行蒙皮接縫檢測，能夠一定程度上減少測量數據的“偶然性”，提高后續蒙皮對縫檢測效率。

2 算法概述

本文結合機械臂和三維掃描儀設備，對飛機蒙皮零件分別進行掃描，并通過三維點云數據采集、特征提取、建模分析等技術處理，實現快速、精準的對縫自動化、智能化識別，提升飛機蒙皮對縫檢測的技術能力。

本文的目標是從原始點云數據中識別縫隙點。通過三維掃描儀設備掃描捕獲的真實點云數據中，僅有一小部分點能夠作為有效的縫隙區域點云，大部分數據點為噪聲和離群點[2]，針對大量的噪聲點和離群點，本文首先分析散亂點云的數據分布，運用點云數據的幾何信息構造點云張量，并通過鄰近點進行張量投票，隨后利用張量分解后的顯著性值進行對縫區域的提取。這樣的對縫區域中仍存在少量離群點，且這些離群點與縫隙點十分相近，兩者之間的相似度較高，對這類離群點的排除具有較大的技術難度。

為進一步識別精細的縫隙點，本文采用多模型擬合的方法對接縫區域的點集進行多直線擬合。將擬合直線上的點視為對縫點，其余點均視為離群點。同時針對多條直線，還需考慮偽離群點對擬合過程的影響。本文算法基于迭代的方法逐步擬合直線，并結合強化決策機制實現優化擬合的結果。

具體流程如圖1所示。

3 算 法

本文利用機械臂搭載掃描設備進行飛機蒙皮數據的采集。原始點云數據往往包含大量孤立點，可能會對本文的算法產生一定的影響，前期預處理主要采用雙邊濾波的方法，刪除這些孤立點。同時結合k-鄰近算法和PCA主成分分析法計算點云數據的法向量，以便為后面的識別算法提供更豐富的幾何信息。下面詳細介紹本文的算法內容。

3.1 縫隙區域提取

根據本文的研究目標，定義蒙皮表面縫隙點所在區域為對縫區域，除此之外的區域為非對縫區域。對縫區域主要由縫隙點與少量離群點組成，非對縫區域的數據點均為離群點。其中僅有一小部分點能夠標記為有效的對縫區域。本文首先通過分析散亂點云的數據分布，結合點云的幾何信息構造點云張量，并利用張量投票和張量分解后的顯著性值構造閾值進行對縫區域的提取。

3.1.1 張量投票原理

張量投票理論是一種計算機視覺和機器學習的感知編碼法，對噪聲數據具有較強的魯棒性，通過各點的張量及其鄰近點的信息傳遞來提取數據中隱含的幾何結構[9]，近年來被廣泛應用在三維數據特征提取中。張量投票算法[9]主要由張量描述、張量投票及張量分解3部分組成。主要是利用三維數據的幾何信息構造的各離散點的張量矩陣，隨后通過該矩陣向周圍的鄰近點進行信息投票。投票完成后，每個離散點都記錄著從鄰近點所獲取的幾何信息。這些幾何信息使得張量投票理論能夠進行數據結構特征的推理。

本文提出一種基于張量投票的三維點云對縫特征標定方法。該方法充分利用原始點云數據中含有的幾何信息，計算各點的張量，每個張量都編碼各點與其相鄰點之間的基本幾何信息；隨后進行投票并分解獲取特征值，并設定閾值，根據特征值與設定閾值之間的比較進行三維點云的對縫區域標定。

3.1.2 對縫區域標定

定義輸入數據為離散點云P，對于P中的任意一點pi(x,y,z)， 獲取點pi的k鄰近點集N(pi)。 計算各點的張量，由鄰近點pj對點pi進行投票，定義投票結果為Ti，公式[9]如下

Ti=∑ci(I3-(rTei)2)

(1)

通過張量投票計算Ti，然后利用式(2)獲得其特征值

(2)

根據三維的橢圓球來解析張量分解后的3個分量，如圖2所示，其中棒張量分量由e1構成，對應空間平面法向，其顯著性值(λ1-λ2)代表點pi所屬平面的傾向度；板張量分量由e1e2構成，對應空間直線的切向，其顯著性值(λ2-λ3)表示該點所屬直線的傾向度；e1e2e3構成球張量分量，對應角點，其顯著性值λ3表示所屬角點的傾向度。設定閾值ε針對顯著性值進行過濾，具體公式如下

(3)

圖2 張量分解對應的橢圓球

將ωi設為各點的權值，結合實際點云數據權值的分布與式(3)，設置閾值ε，權值大于等于閾值的點定義為對縫區域的點，反之則該點隸屬于非對縫區域，即為離群點。其中閾值的設置主要根據實際數據張量投票的計算結果。

張量投票能夠在存在嚴重噪聲的情況下快速的檢測出特征點，能夠獲得蒙皮點云數據中點集的局部固有結構。因此，通過張量投票算法，能夠獲得了含有對縫結構的局部點云數據。但是由于點云數據的不均勻分布特點，該局部點云中仍然存在少量的離群點，如圖3所示，其中虛線框中均為離群點，橢圓中表示對縫形狀中也存在部分離群點。接下來需要進一步精細精準提取對縫點。

圖3 含有對縫形狀的縫隙區域

3.2 縫隙點識別

通過上述技術處理，我們利用原始點云數據內在幾何屬性能夠捕獲縫隙的形狀特征。為了盡可能多地獲得精確識別的有效判斷信息，從張量投票中捕獲的點來進行縫隙點的識別分類，根據同一類別的縫隙點即隸屬于一條直線的幾何屬性，結合多模型擬合方法進行多條直線的擬合，以此精確識別縫隙點。

3.2.1 對縫點定義

通過提取縫隙區域，可以有效降低其它區域點集對縫隙點識別過程的影響，能夠獲得較為準確的縫隙點。上述方法獲得的對縫區域包含內點所屬的對縫形狀的直線部分，以及少量的離群點。對縫形狀由待識別的縫隙點組成，為準確識別這些縫隙點，分析對縫形狀的幾何屬性，縫隙點之間隸屬于同一條直線的概率較大，且至少需要進行兩條直線的擬合，因此對縫直線擬合可視為多模型擬合問題。

當數據中存在多個模型時，針對當前指定的模型，其它模型的內點雖然不屬于離群點，但因不符合當前模型的分布規律，被稱之為當前模型的偽離群點[10]，如圖3所示。偽離群點與離群點同樣對特定模型具有一定程度的干擾性，增加了縫隙點精確識別的難度。

3.2.2 基于強化決策的識別

本文采用一種強化決策機制進行多模型擬合[11]。模型變量的選擇可以看作是一個決策，多模型的擬合是由一系列決策組成的過程，通過獎勵機制可以有效地優化決策過程。

設D∈3為對縫特征點集，特征直線擬合的目標是找到一個最相似的直線模型，且對縫形狀中至少包含兩條對縫特征直線，因此至少需要擬合兩條直線，設M為多模型的并集，即M=∪i=1nMgθi， 其中n為擬合模型的總個數，Mgθ是由給定的參數規則g定義的模型，而參數規則g由變量θ獲得。特征直線擬合算法主要步驟如下：

(1)初始化：設置參數的初值，包括擬合模型總個數n，隨機初始化變量 (θ1*,θ2*,…,θn*)， 迭代次數itermax；

(2)迭代判斷：若迭代次數iter≤itermax則重復步驟(3)至步驟(6)；

(3)單模型擬合：若i

(4)隨機選點：隨機選擇2個點，計算該直線參數f(x,y,z)；

(6)參數更新：當內點個數發生變化，即Num(q(1),q(2),…,q(n))>Num(θ1*,θ2*,…,θn*)， 當前計算獲得的內點的個數大于上一次迭代的變量的個數，則 (θ1*,θ2*,…,θn*)=(q(1),q(2),…,q(n)) 更新內點數。

由于對縫區域點云所屬兩條直線的間隙較小，非常容易將兩條直線擬合為一條直線，因此本文采用迭代的形式逐步排除離群點。在擬合一條直線后，計算各點到該條直線的距離，根據距離值設定閾值進一步區分離群點和內點，距離值小于設定閾值的點為內點，反之則為離群點。隨后拋出屬于該直線的內點，利用余下的點進行下一條直線的擬合。以此循環迭代，直至最終擬合直線的個數達到預設值。

4 實驗分析

為驗證本文算法的可靠性和有效性，本文進行了飛機蒙皮對縫直線識別實驗。首先通過機械臂持高精度掃描儀在飛機的縫隙區域進行掃描操作，得到真實的點云，圖4展示了UR機械臂持掃描儀在飛機模型表面獲取的蒙皮對縫的真實數據。其中圖4中使用的機械臂負重為5 kg。從圖4中點云數據的分布可直觀判斷，對縫區域的點具有較為明顯的線條特征，將該數據作為本文算法的輸入，進行對縫直線特征的自動識別，以此來驗證本文算法對散亂點云數據的可實施性。

圖4 蒙皮縫隙與真實掃描點云數據 注：圖4中的飛機為飛機模型，并非真實的飛機

針對同一項掃描任務，若采用人工手持掃描儀進行數據采集，則至少需要安排2名～3名人員來進行這一步驟，需要花費時間約為30 min，其中由于人工掃描的不便，工作人員需要全程高度參與掃描過程；而采用機械臂持掃描儀采集數據則最多只需要1人即可，前期掃描路徑的規劃算法由本項目組其它人員進行開發，加載該算法耗時較短(1 s之內)可忽略不計，機械臂掃描所需時間約為20 min，但是在機械臂掃描過程中，并不需要工作人員的高度參與，工作人員只需在后端監控掃描數據是否完整即可，也可以同時做其它的任務。相較于人工手持的掃描方式，通過機械臂采集數據的方式明顯較少了人力的消耗，時間上也能并行作業。

4.1 縫隙區域提取結果

散亂點云的縫隙區域的提取過程如圖5所示，根據點云張量計算方法計算輸入點云的張量，并進行張量投票和張量分解，將獲得的顯著性值根據式(3)計算得到該點的權值。

圖5 散亂點云對縫區域提取過程

如圖5所示，將各點的權值轉化為該點的灰度值進行可視化顯示，顏色從白色到黑色分別表示權值從0到1的變化趨勢，點的顏色越深說明該點的權值越大。同時點的權值分布圖右邊的條狀圖為不同顏色對應的點個數的分布結果。如圖5(a)所示，將各點的顯著性值直接相加的結果賦為各點的權值，并進行歸一化操作，圖5(c)為利用式(3)計算的本文的權值的分布結果。對比圖5(a)與圖5(c)，圖5(c)中灰色的區域明顯大于圖5(a)中的灰色區域，且圖5(a)右側的條狀圖中點多數分布在中間區域，而圖5(c)右側的條狀圖表明點的分布靠近白色，同時圖5(c)中對縫區域要略小于圖5(a)中的對縫區域，大部分的非對縫區域點的權值要小于對縫區域點的權值。對縫區域的收縮有利于標記對縫區域的點，具體標記結果如圖5(b)和圖5(d)所示。圖5(b)為根據圖5(a)中的權值進行對縫區域提取的結果，圖5(d)為根據圖5(c)中的權值進行對縫區域提取的結果，對比圖5(b)和圖5(d)，圖5(b)中的提取結果含有較多的離群點。視覺上直觀對比圖5(c)與圖5(d)，可確認對縫區域提取這一操作已經排除了大量的噪聲和離群點。

4.2 縫隙點識別結果

縫隙點識別過程如圖6所示，運用多模型擬合算法進行縫隙點的準確識別。圖6(a)為輸入的原始點云數據，圖6(b)為對通過張量投票計算之后的圖6(a)的縫隙區域的識別結果，并將該結果作為模型擬合的輸入，逐步迭代優化來判斷各直線的所屬內點，并根據最小二乘擬合直線，計算歸于同一條直線的模型參數。如圖6(c)所示，將識別的縫隙點擬合后的黑色直線表示為識別結果，同時具體的直線量化結果見表1。

圖6 對縫識別過程

由于本文中采用的數據為三維掃描儀獲取的飛機蒙皮縫隙處的真實散亂點云，縫隙點沒有對應的人工標注。但是由于縫隙點在飛機蒙皮上均隸屬于縫隙直線，可以根據縫隙點與縫隙直線的關聯特征來評判縫隙點的識別結果。因此本文引入直線度[12]的概念來評定擬合直線的精度，具體公式[12]如下

直線度=max(Δi)-min(Δi)

(4)

其中，Δi為縫隙點到直線的距離，空間直線的點向式方程[13]為

(5)

其中，m,n,p為擬合直線在各方向上的系數，x0,y0,z0為該直線上的已知點。

表1 對縫直線擬合精度

如圖7所示，針對同一點云數據，本文方法與文獻[14]提出基于Hough變換的直線檢測算法進行對比。其中圖7(b)與圖7(c)分別為基于Hough變換方法的直線檢測結果和擬合直線的結果。從圖中可以看出，該方法雖然能夠檢測對縫直線，但是同時也相應的有一定的誤檢測結果，且誤檢結果會嚴重干擾對縫直線的識別。對比文獻[14]，本文的識別結果不存在明顯的誤檢，能夠清晰識別對縫直線。

利用所有被識別為縫隙點的點集進行直線的擬合，并計算直線度。若直線度越大，則表明該直線上存在某一點距離該直線較遠，而根據縫隙點隸屬于同一條直線的屬性，距離擬合直線較遠的點不應該是縫隙點，由此可進行縫隙點識別結果的判定，因此直線度越小，識別結果越好。針對上述擬合的兩條直線進行精度評定，具體如表1所示。獲得的擬合直線參數與空間直線點向式方程參數一致，說明本文擬合直線的正確性與可靠性，直線1和直線2的內點個數分別為166和153，而基于Hough變換直線檢測提取的內點數為156和146，均低于本文方法識別的點個數。根據式(4)計算兩條直線的直線度，表1中兩直線的直線度較小，直線度越小，說明各個縫隙點越接近于擬合直線。本文方法計算的直線度均低于基于Hough變換方法得到的直線的直線度。

圖7 本文與文獻[14]的結果對比

5 結束語

本文提出了一種基于散亂點云的飛機蒙皮對縫識別算法，針對機器人與三維掃描設備獲取的飛機蒙皮散亂點云數據，引入張量投票理論，充分利用點云數據的內在幾何信息，快速剔除大量噪聲點和離群點，隨后進行縫隙點的精準識別，建立對縫直線方程，為飛機蒙皮縫隙點的識別計算構建數學模型，再進一步根據模型進行飛機蒙皮對縫的直線擬合。實驗結果表明，本文提出的方法能夠實現一次測量完成三維掃描區域飛機蒙皮所有對縫的自動定位和高效率、高精度的自動識別與提取。