一種礦山地面應急救援井內表面視覺檢測方案

李 韜

（長安大學工程機械學院，陜西 西安 710064）

隨著科學技術發展和國家愈發重視煤炭生產安全，我國眾多高校和企業紛紛踏入礦山應急救援技術研究的大門。礦山應急救援技術發展到現今，鉆孔救援是礦山救援中一項實用的應急救援技術，特別是大鉆孔救援技術已成功應用于礦山救援。但是，在發生礦難事故后，地面救援隊臨時鉆孔得到一個較大口徑的礦井作為應急救援井，該救援井的所有參數均未知，這對后續展開的救援工作是一個不小的挑戰和隱患。而在礦難救援事故中，救援時間是最為珍貴的，所以能夠花費最少的時間得到救援井的各項參數，并且檢測中不能對被救人員產生二次傷害，保證救生艙能夠順利進入地下才是關鍵。而在非接觸式無損檢測中，機器視覺檢測技術的應用已經非常廣泛。與其他檢測技術相比較，視覺傳感器能夠提供豐富的感知信息，既能提供救援井的實時照片、視頻，又能通過圖像處理得到救援井內表面的形變情況，為礦山救援的指揮決策提供及時有效的信息。其次，視覺傳感器相對其他傳感器來說體積小，在布置上也更為靈活。通過提升旋轉云臺的過程中拍照救援井的內表面，然后對所得到照片進行圖片的拼接，從而得到救援井內表面的全部信息，以便于判斷救生艙能否順利通過救援井，而不會發生救生艙卡殼的意外事故，達到提高救援效率的目的。這對地面應急救援技術朝著可視化、智能化的發展有著重要的研究意義。

1 方案設計及儀器選型

1.1 方案設計

對于礦山救援計劃，對鉆孔產生的救援井井壁的測量，主要分為接觸式和非接觸式。接觸式傳感器在測量井壁時會收集點信息，所以如果需要所有的信息，就需要在井壁上放置大量高密度傳感器，這會增加井壁的功耗，還會降低逃生艙的平穩性。相反，傳感器布置的數量少，井壁上的信息嚴重缺乏，救援不會有效。該方案是一種有效的輔助手段，鑒于這些缺點，決定使用非接觸式傳感器來測量。有各種類型的非接觸式距離傳感器，例如紅外傳感器、激光位移傳感器和深度相機。近年來，與其他距離傳感器相比，深度相機在各個領域越來越受歡迎。鑒于本實驗環境中排氣室的直徑較小，過多的傳感器不僅會占用較大的體積，而且消耗大量電能，決定采用掃描測量的方法作為參考。這樣不僅可以減少傳感器數量，而且可以測量完整、詳細的井壁信息，測量精度高[1]。

1.2 儀器選型

深度相機通過確定的測量平面確定為測量儀器。根據深度相機的功能原理，一般可以分為三種：TOF、RGB雙筒望遠鏡和紅外結構光。下面比較三種原理的深度相機的參數，可以看到如表1的展示[2]。

表1 深度相機參數對比

考慮到礦井救援井的實際工作環境，基于結構化紅外光的深度攝像頭比基于TOF和RGB雙筒望遠鏡的深度攝像頭精度更高，功耗更低，不易受基于結構化紅外光的深度攝像頭光影響，選用紅外結構光。

結構光深度相機主要有Intel Realsense、Enshape、Mantis Vision、primesense、Obi中光等系列。根據技術的不同，結構光深度相機一般可以分為IR+紅外單目矩陣投影和IR+紅外矩陣雙目投影。雙目紅外+投射紅外網格匹配結構光+雙目立體融合，鑒于礦井救援井的工作環境，音效更好，應急救援艙的直徑更小，需要深度攝像頭的深度探測距離，下限越低越好。且與上面提到的結構光深度相機相比，Intel Realsense D435i不僅滿足上述所有要求，而且由于體積小，成像效果出色，基本可以滿足救援工作的需求和適用救援環境，這就是在這里使用Intel Realsense D435i作為救援井測量設備的原因[3]。

2 圖像特征點檢測與匹配

2.1 特征點檢測

特征點提取常用于圖像處理和機器圖像處理，是圖像分析和識別的前提。特征點提取主要是通過尋找圖像中的灰度發生根本變化位置，然后用圖像在場中的位置來描述特征點。本實驗方案中選取的特征點識別為SIFT識別。SIFT （Scale-Invariant Feature Transform）由David Lowe于1999年首次發表，2004年對該算法進行了細化和總結。處理和機器圖像處理具體算法如下[4]：

1）構建尺度空間，使用2D高斯函數和圖像像素卷積，對每個圖像平面進行高斯模糊和二次采樣，構建高斯金字塔，對每組的功能進行區分，得到金字塔-高斯差值。

2）在尺度空間中尋找極值，在DOG尺度空間中尋找不同組圖像平面中的極值，比較不同平面中的極值。

3）尋找終點和關鍵點方向，使用亞像素插值尋找空間中的終點，消除邊緣反應，利用圖像梯度尋找周期的主方向。

4）根據特征點周圍像素的方向確定特征點描述符，結果為128維特征向量。

2.2 特征點匹配

快速最近鄰搜索算法（FLANN對應法）是一組算法。查找大型數據集和大型特征的最近鄰，它不受Locality Sensitive Hash的影響。搜索過程包括尋找記錄幀之間的一致性，交互過程包括在一組最接近的相鄰幀描述符集中尋找另一個幀。包括隨機KD樹算法、首選搜索K-means樹算法等。可以通過調整基于FLANN的匹配器參數來提高其準確性。處理大數據集時效果比使用蠻力匹配方法更好，適用于不同的需求。對于浮點描述符，K-D-tree算法通常用于快速搜索，而對于二進制描述符，LSH算法通常用于匹配[5]。

由于本次實驗要求速度快，工作環境下浮井特征少，需要降低前一算法的誤差率。綜合以上兩種對應計算的優缺點，筆者選擇FLANN配對方法作為特征點的配對算法。

3 圖像拼接

3.1 圖像變換模型

圖像變換模型旨在實現兩幅圖像之間的高效記錄，并在兩幅圖像之間的點之間建立準確的變換關系。兩幅圖像之間的幾何畸變在模型變換中產生了近乎無限的變換關系。在常見的圖像處理中，圖像變換模型一般包括剛性變換、仿射變換和投影變換。這里使用的投影變換可以將合成圖像投影到新的視野中，透視變換可以建立圖像之間的關系。射影變換的關系矩陣由方程（1）給出。

井壁的照片，如圖1所示，通過這種投影變換，根據公式（3）對左圖像進行仿射變換，得到右圖像的變換矩陣。根據投影變換矩陣，兩幅圖像可以具有精確的投影變換關系[7]。

圖1 相鄰井壁圖

3.2 圖像融合

圖像融合是圖像拼接的最后一個重要步驟。拼接兩幅或多幅圖像后，針跡中重疊區域形成圖像之間的空間運動或投影變換引起的針跡和重影，在針跡重疊區域中成為更平滑、更自然的圖像。該圖選擇了逐步開啟和關閉平均的方法。逐步開啟和關閉方法的基本原理是為幾張要合并的圖像設置一定的權重，并通過確定的權重將合并后的圖像相加。具體操作如圖2所示，假設區域A屬于圖像，區域C屬于圖像，區域B屬于圖像和圖像的重疊區域。由于圖像之間存在明顯的亮度差異，為了使合并圖像的亮度變化均勻自然，消除拼接的影響，建議對重疊區域B采用漸進開/關方法。則在接近區域A處，圖像權值較大，在接近區域C處，圖像權值較大。融合表達式如式（4）所示[8]。

圖2 算法示意圖

式中，d1(x,y)+d2(x,y)=1，假設圖像融合區域處的寬度為W，dist1(x,y)表示點(x,y)到區域A和區域B的距離。權值d1(x,y)計算公式如式（5），從公式中可以看出，為了實現圖像融合區域的平滑過渡，權重隨著像素位置的變化而線性變化。

如圖3所示，融合圖像實質上代表了圖像記錄后相鄰井壁圖像的融合。照片的主要信息都保留了下來，但是組裝還是沒有進行很好的處理，拼接處的兩邊還是有明顯的明暗對比，從圖可以看出拼接處是一體的，在淡入淡出過程中進入淡入淡出后拼接圖像的重疊部分，圖像比較平滑，沒有識別出亮度的差異，拼接的效果比較令人滿意。

圖3 拼接圖像

4 結論

筆者針對救援井暗黑的工作環境，基于救援井實驗平臺進行了特征點提取算法對比實驗，對比得出SIFT算法在弱光環境下提取效果最佳。提出了一種SIFT算法，使得在時耗相近的情況下，特征點提取數目增多。選用FLANN算法對相鄰井壁圖像進行特征匹配。針對在弱光環境下的救援井井壁圖片采用漸入漸出法進行圖像融合，拼接效果更佳；引入全景圖像拼接過程，在變形部分獲得更好的排水坑壁面拼接畫面。