一種基于Mask－RCNN 的轉轍機工作組件低復雜精準測距算法

孔令凱，劉志鋼，魏麗麗，楊鄭龍，張 華

（上海工程技術大學城市軌道交通學院，上海 201620）

0 引 言

軌道交通軌旁設備、如轉轍機等，對軌道交通的安全運營起著重要作用。 轉轍機一旦發生故障，輕則影響運行效率，重則發生嚴重的列車脫軌事故。轉轍機在日常使用中不可避免地會發生磨損、老化等問題，因此更需要及時檢察和維護。 自動開閉器動靜接點組的動接點接入深度決定了轉轍機能否正常工作。 如果接入深度達不到標準要求，接觸深度不良會造成電路故障和一些嚴重后果；如果接入深度過大，不但會加速簧片老化的過程，并且會造成滾輪落底不轉動。 目前，開閉器的檢查仍需人工參與。由于開關機結構復雜，檢驗人員需要大量的專業知識和檢測經驗，并且檢驗方法難以推廣。 以上這些原因都導致了開閉器的維護和保護效率低下。 通過基于機器視覺的轉轍機動靜節點打入深度研究，可以極大程度地減少維修工作強度，提高地鐵維護過程中的工作效率。

基于機器視覺的接入深度測量包括關鍵位置定位和距離轉換兩個步驟。 定位結果的準確與否對最終測距有直接且重要影響。 而實際使用中的現場環境往往存在著各種對圖像的不良影響，因此需要算法能降低，甚至消除復雜環境產生的干擾從而達到精準定位。 在距離轉換中，由于圖像不可能完全正面拍攝，因此考慮圖形畸變以及在不同型號中尋找出合適的錨定標尺是提升精度的必要方式。

1 相關工作

1.1 有關研究

人工智能技術在數據驅動建模方面取得了很大進展［1］，同時利用自動測量方法測量動接點和靜接點的接入深度可以很大提高測量效率。 自動檢測方法主要是非接觸式檢測，不會影響設備的表面變形和磨損。 目前，常用的非接觸式距離檢測方法主要有超聲波檢測方法［2－3］、激光檢測方法［4］、基于立體視覺的測量方法、機器視覺測量方法等。 超聲波和激光探測方法要求被測物體表面具有較高的反射率。 如果物體表面的反射率不符合標準，測量效果就會很差。 基于立體視覺的攝像機測量技術對攝像機的數量和安裝條件要求更為嚴格。 但是，轉轍機的現場條件不能滿足上述方法的要求，上述測距方法不適用于自動開閉器動靜接點組打入深度的檢測。 因此，選擇了機器視覺測量方法。

研究早期，張凱等學者［5］就提出了利用BP 神經網絡和PNN 來診斷道岔故障。 其后孫迪鋼［6］對BP 神經網絡進行修改，提高了對于轉轍機故障檢測的準確性與穩定性。 李超等學者［7］提出基于Canny算子對轉轍機缺口進行檢測，通過邊緣檢測算法得到缺口位置，并得到缺口實時位置，但其僅針對固定型號轉轍機且截取的焦點區域是預先設定好的，并無法實施全型號使用，且使用條件較為苛刻，無法在實際中范圍覆蓋使用。 Tao 等學者［8］提出采用Yolo目標檢測算法對轉轍機間隙進行檢測并計算間隙尺寸，其方法通過針對間隙的檢測很好地覆蓋各種型號的轉轍機，在可行性方面取得了重大進步，具有極高的參考價值。 但其功能可拓展型不足。 邢顥等學者［9］在轉轍機缺口檢測中，相較于Tao 直接Yolo 算法，其研究是通過采用改進的輕量級的Yolo 網絡對缺口進行定位，但是依舊沒有在本質上改變拍攝缺口圖片的難度以及考慮現場復雜環境。 Yin 等學者［10］提出的雙層Mask－RCNN 檢測算法，通過2 次Mask－RCNN 網絡，在一定程度上提高了定位精度，但是卻成倍地增加了計算量導致計算時間過長、且一個訓練模型僅針對一類轉轍機，無法統一實現轉轍機所有型號的識別。 然而，這些方法著重關注在特征提取，在正常的環境中可能結果理想，但是在復雜的實際實用當中會存在許多的異常情況，例如地鐵隧道中拍攝的圖像可能存在區域曝光或者由于拍攝角度問題導致圖像傾斜，上述方法既不能針對復雜環境進行準確識別，也不能正確計算傾斜圖像的接入深度［11］。 因此，需要一個適用于多型號的通用算法。

為了克服上述不足，本文提出了一種基于Mask－RCNN［12－13］的轉轍機工作組件低復雜精準測距算法來檢測轉轍機自動開閉器動靜接點接入深度以便降低維保人員的工作強度，推進智能化運維進程，并為其他小目標分割算法的研究提供指導思想。首先，通過二次分割對轉轍機關鍵點圖像中的目標區域進行識別和定位。 然后，提出引用雙線性插值算法和擬合線性距離變換來矯正傾斜圖像并計算接入深度距離，完成圖像形變中非線性距離映射關系的換算。 最后，通過實驗驗證方法：與專業維保人員進行討論后，實驗認定算法結果與游標卡尺讀數數值在正負1 mm內為有價值的讀數，將多組圖像輸入算法后的結果與游標卡是標準讀數進行對照，獲得有價值讀數的數量。 實驗能在99%以上的圖像中獲取有價值的讀數，表明實驗算法穩定，可以應用于不同型號轉轍機多角度拍攝并具有準確、快速、魯棒性強等優點。 可以極大降低對于現場檢修人員的專業需求，提高工作效率。

本文的主要創新點如下：

（1）提出一種適用于現階段全型號轉轍機的測距方法，用于復雜拍攝環境中的精確定位。

（2）提出一種基于神經網絡的精確分割算法。采用二次分割，通過神經網絡與傳統交互迭代精細分割算法結合，并通過一系列的圖像處理技術，提高復雜現場場景使用中的精度。

（3）提出圖像矯正技術在軌道交通檢測方面的應用。

1.2 Mask－RCNN 與高斯混合模型算法

1.2.1 Mask－RCNN

Mask－RCNN 主要用于物體檢測與實例分割。首先，輸入一幅想處理的圖片，然后進行對應的預處理操作，或者預處理后的圖片；然后，將其輸入到一個預訓練好的神經網絡中（ResNeXt 等）獲得對應的feature map；接著，對這個feature map 中的每一點設定預定的ROI，從而獲得多個候選ROI；接著，將這些候選的ROI 送入RPN 網絡進行二值分類（前景或背景）和BB 回歸，過濾掉一部分候選的ROI；此后，對這些剩下的ROI 進行ROIAlign 操作（即先將原圖和feature map 的pixel 對應起來，然后將feature map 和固定的feature 對應起來）；最后，對這些ROI進行分類（N類別分類）、BB 回歸和MASK 生成（在每一個ROI 里面進行FCN 操作）。

研究中，在Fast R－CNN 的基礎上拓展了在每個感興趣區域（ROI）上添加了一個分割掩碼的分支，并與Fast R－CNN 中現有的分類分支、邊界框回歸分支并行。 掩碼分支是一個卷積網絡，取ROI 分類器選擇的正區域為輸入，并生成對應的掩碼。 掩碼分支應用于所有ROI 的小型FCN。 以像素到像素的方式進行分割掩膜的預測。 通過掩碼分支僅增加了少量的計算，卻得到了更加明顯直觀的實驗效果。

1.2.2 高斯混合模型

算法利用了圖像中的紋理（顏色）信息和邊界（反差）信息，只要少量的用戶交互操作即可得到比較好的分割結果。 算法在框選出目標區域后，將框外區域認定為背景區域，將選框內區域視作前景區域，再通過計算前景和背景的高斯模型，對每個像素的RGB值帶入單個的高斯模型進行計算，選取最大的作為該像素的歸屬，稍后再建立一個圖，對該圖求最小割，循環直至收斂，由此判斷選框內的前景區與背景區。

2 基于Mask－RCNN 的轉轍機動靜接點組接入深度算法

2.1 基于Mask－RCNN 的交互迭代二次精分割

圖像在輸入Mask－RCNN 網絡時，會將圖片像素重置成預設好的固定大小，而手機保存圖片的時候會存在差異，因此，在將圖像輸入網絡之前，對圖片的大小長寬進行比對判斷是否需要旋轉，最終以長小于寬的圖片比例輸入到網絡中，以減小重置像素大小時對結果準確度的影響。 此處需用到的數學公式為：

其中，l表示圖片的長，b表示圖片的寬。

通過Mask－RCNN 網絡，加載預先訓練好的權重模型進行預測，最終得到關鍵位置的預測區域。圖1（a）是由手機現場拍攝的轉轍機動靜接點圖，圖1（b）為Mask－RCNN 網絡結果輸出圖。 之后對關鍵點預測區域進行灰度處理與二值化閾值處理，將子圖轉換成黑白圖像后容易找到掩膜并形成最小包裹圓區域。 研究給出的數學公式具體如下：

圖1 單Mask－RCNN 結果Fig. 1 Single Mask－RCNN Results

其中，i表示圖中某個像素點；Ri、Gi、Bi分別表示i點的紅、綠、藍像素值；a1、a2、a3分別為R、G、B像素的權重，一般情況下分別為0.299、0.587、0.114；Yi表示i點的最終灰度值。 可由如下公式計算其值：

二值化中，設置一個灰度閾值，大于閾值的區域呈現黑色，小于閾值的點呈現白色。

為了方便觀察，Mask 生成的掩膜與原圖在圖中進行重疊，如圖2 所示。 新掩膜覆蓋的區域與關鍵點區域有較好的覆蓋，但在實驗中研究發現，對于一些水平有所傾斜的圖片，僅此定位方式不能完好地定位出關鍵點圓心。 這里，圖2（a）為在圖像中對關鍵點區域進行裁剪，圖（b）為擴展黑色像素后的小圖裁剪。

圖2 像素擴展Fig. 2 Pixelexpansion

對于轉轍機來說，單憑借Mask－RCNN 網絡不能滿足精度需求，因此為了能更加完整地分割、定位好關鍵點所在的位置，對于第二次的分割，提出了分步結合法，在粗定位得到關鍵點位置之后，進行子圖分割，并在子圖中進一步確認關鍵點的位置。 該方法分為以下5 個步驟：

（1）將第一步中生成的最小包圍圓各自作為參考點，以圓心為坐標截取預定大小的小圖，該圖為后續二次分割的子圖。 但是為了防止分割出過多的區域導致分割失效，需要先將原圖進行像素擴展，結果表明在原圖周圍擴展200 個黑色像素點是有效的預防手段。 可以看到所有的子圖中均完整包含關鍵點的所有區域。

（2）在步驟（1）分割出的子圖中，以第一步找到的初步位置信息為前景信息，用高斯混合模型（GMM）來對前景建模，并自動從邊緣開始，把不是螺栓區域的標為背景標簽。 利用聚類算法，將各自模型中像素分列不同的模型樣本中，利用各自樣本，估計高斯模型內的參數，并將可能的前景、背景代入到BGM 或FGM 中計算，選擇概率最大的高斯模型，此后結合構建好的高斯模型（區域項）與邊界項，構建圖模，最后利用最大流算法對未知區域進行重新分配并更新Mask，以此降低誤判前景為背景的概率，重復迭代直至將前景分割。

（3）將Mask 網絡生成的掩膜與步驟（2）中生成的掩膜在圖中進行疊加，得到置信度較高的關鍵點區域，并對此區域的疊加掩膜進行邊緣精修：分割步驟中僅針對圖3 中螺栓進行分割，因此對螺栓大致形狀進行預先設定，將形狀與2 次疊加后的最終掩膜進行比對并添補空缺，經過迭代最小填補，直至掩膜形狀與所需分割的螺栓形狀重合，此時迭代完成，輸出最終分割結果。

圖3 二次分割后掩膜Fig. 3 Mask after secondary division

通過比較可以發現，此方法比單Mask 網絡進行定位能更加完整地分割出螺栓區域。

2.2 根據頂點映射的圖像還原矯正

對于第二步中，2 次分割后疊加的掩膜圓心，是后續計算接入深度的重要依據，但由于在圖像拍攝中，產生的傾斜都可能導致圓心在圖像中的位置與實際中的相對位置有偏差，因此需要對圖像以關鍵點區域進行校正，在實際使用中，6 個關鍵點呈橫排平行，豎排平行關系，即可通過6 個關鍵點的位置，根據實際中的相對位置關系，映射出可信度較高的還原圖像。

采用頂點映射的方式：

其中，[x′，y′，w′]為矯正像素；[u，v，w] 為待矯正像素；為透視變換仿射矩陣。矯正前圖像至矯正后圖像的變化效果，如圖4 所示。

圖4 圖像校正前后結果Fig. 4 Results before and after image correction

轉轍機自動開閉器側面圖如圖5 所示。 從圖5中可以看出矯正后能明顯地改善由于拍攝角度不正導致的圖像傾斜。

圖5 轉轍機自動開閉器側面圖Fig. 5 Side view of automatic switch switch

2.3 高精度的等比例非線性計算

轉轍機側面圖見圖5，動螺栓的動作路徑為弧形運動，因此在二維平面中，動靜接點接入深度與動螺栓的位置存在一定的非線性關系。 首先，需要獲取圖像距離與真實距離的關系，首先多選取兩排靜螺栓之間的距離為錨定標尺，在實際使用過程中，靜螺栓的作用是負責將自動開閉器固定在轉轍機底座上，因此，選取靜螺栓之間的距離為錨定標尺對測距來說更加可靠且適用面廣。 通過第一步的定位分割與第二步的還原矯正，研究得到了2 排靜螺栓之間、動靜螺栓之間的像素距離。 然后通過與實際測量的靜螺栓之間的真實距離進行比例換算，得到動靜接點螺栓的真實距離：

其中，Ddj、Djj表示動靜接點螺栓，2 排靜接點的真實距離，Pdj、Pjj表示動靜接點螺栓，2 排靜接點的像素距離。 通過等式得到動靜接點螺栓真實距離Ddj。

最后，在得到動靜螺栓真實距離后，通過預置好的擬合距離函數，將動螺栓與靜螺栓的位置距離作為輸入，機器自動判斷動螺栓最近的靜螺栓位置，通過擬合函數的計算，得到動靜接點組接入深度。 在擬合位置函數的過程中，研究發現3 階函數的擬合度最高，可將最大誤差控制在1 mm之內。 因此，這里選擇3 階函數：

其中，D為轉轍機動靜接點組接入深度，a、b、c、e為三階函數擬合出的結果。

2.4 算法流程

本部分將介紹算法流程，具體流程如圖6 所示，整體流程分為3 步。

圖6 算法流程Fig. 6 Flowchart of the algorithm

第一步，基于Mask－RCNN 的交互迭代二次精分割：將待測圖像輸入到Mask－RCNN 網絡進行定位與分類，得到所需要的動靜接點螺栓區域，在區域上對原圖像進行小范圍切割，得到6 個包含螺栓區域的小圖像，并在小圖像區域以粗定位產生的掩膜作為前景，通過算法進行第二次分割，最后將2 次分割結果進行疊加與修整。

第二步，根據頂點映射的圖像矯正：經過二次的分割，已經得到了一個置信度較高的螺栓區域，由于螺栓在實際應用呈矩形分布，可以通過對螺栓區域在原圖像中的位置，對圖像區域進行校正，以較少拍攝角度傾斜對實驗結果的影響。

第三步，高精度的等比例非線性計算：在進行校正后的圖像中，通過差值與等比例放大即可得到每個像素點對應的實際坐標，并與錨定的標尺推斷出實際動靜接點的接入深度。

在Mask－RCNN 網絡的基礎上，通過將其結果進一步分割、定位并與圖像矯正還原技術相結合，解決了復雜地鐵環境與實際使用過程中人為因素對的圖像中小目標關鍵點精確定位的影響，提高了測距算法定位精度并減少了計算時間。

3 實驗結果

3.1 實驗環境

Windows 10 專業版64 位； CPU 是Intel i7－8700 @ 3.2 GHz； GPU 是NVIDIA RTX 3080；深度學習框架為Tensorflow－gpu 2.5.0；內存32 G；并且編程語言是Python 3.6。

3.2 數據集的構建

本文數據集使用的數據圖片均來自上海申通地鐵有限公司現場拍攝的轉轍機自動開閉器。 由于現場拍攝的圖片尺寸不同，因此需要對圖片進行必要的旋轉和裁剪，為了方便模型的建立，并將圖片尺寸固定成960?1 280 大小。 數據集的圖像源于不同的場景與不同員工拍攝，圖像差異性很大，因此，準確的定位與訓練具有挑戰性。 訓練數據集由上海地鐵現有的6 種轉轍機型號各400 張組成。 為了真實地模擬拍攝條件不佳的特殊工況作業環境，在數據集的選擇當中做了一些挑選，并將特殊環境如角度傾斜、亮度過暗較多地加入在數據集中。

本文測試集設有6 小組測試集，每組50 張轉轍機圖片，采用本文提出的方法收集定位的結果，并通過非線性距離映射關系的結果與實際距離得到轉轍機自動開閉器關鍵點的定位精度。

實驗采用遷移學習方法，并使用coco 數據作為預訓練模型，縮短模型收斂所需時間。

本實驗通過交并比（IoU） 作為判斷依據，在判斷候選框anchor 為正樣本與負樣本為例，假設設定閾值為0.6，則計算每個參考框與正確標注之間的IoU，如果超過0.6，則判定為正樣本，否則為負樣本，其中正確標注是在訓練圖像標簽中Mask 的左上角和右下角的坐標中得到

其中，boxanchor是錨參考框，boxGT是Ground Truth 定位結果分析。

6 個關鍵點定位是后續接入深度計算的重要依據，通過計算中間橫排2 點與上下排在y軸上的相對位置關系，即可以通過預設好的擬合函數，得到動靜接點接入深度。

動靜接入深度準確度在本文中設定為：測量輸出數值與實際人工讀數的數值偏差在0.1 cm 之內為讀數正確。 共設置6 個樣本組，每個樣本組50 張圖，接入深度準確數據見表1。 雙分割矯正網絡準確度如圖7 所示。

表1 雙分割矯正網絡測量誤差表Tab. 1 Measurement error table of double － split correction network

圖7 雙分割矯正網絡準確度Fig. 7 Accuracy of double split correction network

由于最后接入深度準確度與關鍵點圓心定位呈正相關，說明定位對實驗結果會產生重要影響，表1分別給出了方法對開閉器關鍵點位置的定位結果。因為YOLO 與Mask－RCNN 在目標定位算法中較為常用，所以用其來做比較，增加本文可信度。

圖8 分別給出了3 種方法對轉轍機自動開閉器動靜接點定位的結果。 在圖8 中可以直觀看到，YOLO＼MASK－RCNN 在定位準確度5 mm 范圍內上沒有太大差異，分別為，在定位準確度1 mm 范圍內，本文算法要優于這2 種參考算法，且在計算時間方面，本算法也已經達到了很快的檢測速度。

圖8 定位功能對比圖Fig. 8 Positioning function comparison diagram

4 結束語

在本文中，通過定位算法計算轉轍機自動開閉器動靜接點接入深度。 首先進行粗定位Mask－RCNN 定位，生成掩膜，再在粗定位基礎上，對子圖進行二次分割、定位，提高了關鍵目標的定位精度，通過圖像矯正技術提高了動靜接點接入深度的計算精度。 結果表明，本定位算法可以高效、準確地自動定位、計算出開閉器動靜接點的接入深度。 算法的研究更好地促進了軌道交通行業維護自動化、降低了維護人員的工作強度，也為今后的維護巡檢工作提供新的思路。 該方法適用于所有類型的轉轍機，因為選擇的關鍵點是自動開閉器的固定螺栓，所有開閉器的結構都是如此。 對于夜間曝光或者傾斜圖片的各種復雜實際情況，該方法都能提高最終結果的準確性、抗干擾性和通用性。

本文方法還要在如下2 方面進行改進：

（1）對框架環境要求苛刻，不方便改動升級。

（2）Mask－RCNN 訓練前需要產生大量標簽手動，訓練效果與標簽制作有關。