電梯制動輪轉角檢測圖像識別技術研究

馮雙昌 劉曦晨 周奇才

1上海市特種設備監督檢驗技術研究院 上海 200062 2同濟大學 上海 201804

0 引言

現有的制動器檢測裝置基于不同的工作原理，對能夠反映制動性能的參數進行檢測[1]。黃四彬[2]利用紅外熱成像儀檢測制動器溫度情況，從而判斷電磁鐵是否工作在正常溫度范圍內。若溫度過高，電磁鐵吸力會下降，電梯帶閘運行將導致制動閘瓦嚴重磨損，制動性能下降。這種方法操作簡單，但只能通過檢測溫度來間接判斷制動器是否工作在正常狀態。韓郡業等[3]采用高精度位移傳感器來檢測制動閘瓦間隙和制動輪磨損情況，得到的數據能夠較為準確地反映制動器當前的磨損情況，從而判斷當前的制動性能，但傳感器安裝要求較高，且需要定期調整傳感器，以避免因安裝松動導致精度下降。電梯鋼絲繩在制動過程中的滑移量綜合反映了電梯的制動能力和曳引能力，文中基于圖像識別已經開展了電梯鋼絲繩滑移量的檢測[4]。

電梯在制動過程中的轉動角度是反映制動器制動性能的重要參數，轉動角度越小，制動性能越好。本文提出基于圖像識別開展電梯制動輪轉動角度檢測技術研究，通過提取制動輪邊緣點，對提取到的邊緣點進行擬合，計算得到制動輪邊緣在圖像平面的方程。再結合制動輪在世界坐標中的方程和通過標定得到的相機內參，反解出相機的外參。通過檢測制動輪邊緣處貼好的標志，利用外參矩陣將標志的坐標變換到世界坐標，即可求出當前制動輪的轉動角度，實現非接觸測量。

1 檢測系統的設計

該電梯制動輪轉動角度檢測系統由工業攝像機、工業路由器、計算機和監視器3部分組成。如圖1所示，電梯制動器的控制柜發出制動信號后，不僅控制電梯制動器的制動，同時輸入到計算機，通知計算機制動已經開始。計算機收到制動信號后發出控制信號，通過工業路由器，對工業攝像機發出控制信號，控制工業攝像機采集圖像。工業攝像機采集到電梯制動過程中的圖像信息，再通過工業路由器發送到計算機，由計算機進行緩存并開始計時。當超過指定的時間tmax時，計算機發出控制信號，控制工業攝像機停止采集圖像。

圖1 電梯制動輪轉動角度檢測系統

工業攝像機一般幀率較高，數據量較大，現有的圖像處理算法難以對其進行實時處理，故上述過程中，工業攝像機采集到的圖像首先進行緩存，而非直接進行處理。同時根據電梯的工作特點：電梯運行時并一直在制動，只在某些較短的時間段（制動時）數據量較大，因此，無需一直采集，可對采集到的數據先緩存、后處理。對于支持緩存的工業攝像機，無需考慮該過程。時間tmax指人為設定的最大圖像采集時間，該時間一定要比制動器的最大制動時間長，可設置為最大制動時間的1.2倍。

使用圖像識別技術對工業攝像機的擺放位置要求較低，只要使制動輪處于相機視野中央即可，無需使相機光軸和制動輪的圓輪廓面垂直，如圖2所示，圖中左側為電梯制動器，右側為工業攝像機。以制動輪轉軸為z軸、水平方向為x軸、鉛錘方向為y軸，建立坐標系，稱為世界坐標系xw-yw-zw，該坐標系與制動器底座保持相對靜止。以工業攝像機光軸為z軸，并以與光軸垂直于鏡頭中心的平面為x-y平面（x方向可任意選取，一般以相機結構輪廓為基準），得到一個坐標系，稱為相機坐標系xc-yc-zc，該坐標系和相機保持相對靜止，且跟隨相機一起運動。

圖2 相機與制動輪的相對位置和坐標系

2 圖像算法

圖像算法需要完成的功能包括：根據從工業攝像機采集到的圖像數據，計算得到電梯制動輪在制動過程轉動的角度。整個算法的處理過程大致分3步：輪廓提取與擬合、參數求解和轉動角度計算。該算法首先提取圖中制動輪邊緣的輪廓，并使用橢圓方程擬合。再根據得到的橢圓方程，結合制動輪的真實尺寸、以及通過標定得到的相機內參，計算求解出相機外參。最后根據相機外參矩陣將圖中識別到的標志物反變換回世界坐標，根據該世界坐標的變化從而求出制動輪當前的轉動角度。

2.1 輪廓提取與擬合

制動輪輪廓提取與擬合是通過圖像處理提取出制動輪外輪廓邊緣點的坐標，并通過最小二乘法擬合得到制動輪輪廓在圖像坐標系中的方程。該過程分為3步：輪廓提取、建立參數方程、最小二乘法擬合。

2.1.1 輪廓提取

以圖3a所示的鼓式制動器為例，綜合使用Sobel梯度算法、顏色過濾、梯度方向過濾、形態學處理等方法，可得到制動輪輪廓的厚邊緣，再與Canny算法的結果求交集，得到制動輪輪廓的單像素邊緣，完成輪廓提取。

使用Sobel算子，需先將圖3a所示的圖像轉換為灰度圖，然后進行高斯模糊，去除噪聲的影響，得到圖像I(u，v)分別進行u、v方向的梯度計算，然后將u、v方向的梯度組成梯度向量，求模。即

得到圖像在任一點（u，v）處梯度的模后，對其規范化，使其值域落在[0，255]的范圍內，便于后續篩選，即

式（2）中方括號代表高斯函數（向下取整）。對該函數取閾值T＜f(u，v) ＜Tmax，得到二值圖Bgrad，如圖3b包含了很多不屬于制動輪邊緣的點。對這個二值圖中的點進行進一步篩選，對Bgrad中每個點在原圖I(u，v)相同坐標處周圍的顏色進行統計。對于Bgrad中的某個點A的坐標為（u0，v0），在I(u，v)中以（u0，v0）為中心n×n像素的區域內，若滿足HLS顏色空間內顏色值在hmin＜h＜hmax且smin＜s＜smax范圍內的點的數量大于nmin且小于nmax，則保留點A，否則從Bgrad中去除，得到一個新的二值圖B1，如圖3c所示。該二值圖即為顏色、梯度閾值綜合過濾的結果。其中n=13、hmin=17、hmax=255、smin=96、smax=104、nmin=30、nmax=120。 這 些參數的選擇和相機參數以及制動器、現場條件影響，需根據實際情況進行測試得到。

根據第一步得到的B1，包含兩條邊緣線：制動器的內邊緣和外邊緣，兩條邊緣線上梯度的方向范圍不同，通過梯度方向過濾，保留需要的外邊緣。在u-v平面內，取B1中梯度方向角在(-arctank，arctank)范圍內的點，即滿足

得到一個新的二值圖B2，如圖3d所示，即為梯度方向過濾后得到的結果。

B2殘留有不屬于邊緣的細小干擾點，可用算法去除這些細節：統計B2中所有不為零的點的鄰域（例如以該點為中心13×13方形區域），計算該區域中不為零的點的數目，當數目大于一定的閾值（例如30）時，則這個中心點保留。當小于閾值時，該中心點去除（賦值為0），則可除去孤立的局部細節得到B2，如圖3e所示。

Brm去除了B2中的非邊緣細節，也去掉了一部分邊緣點。需要通過式（4）進行邊緣復原

迭代到Xfinal時，可較好復原邊緣同時不會再次引入不需要的非邊緣細節。該 final值可通過實際測試獲得最佳效果，本例中使用的是15。

Xfinal中的邊緣較厚，不利于計算，需要進行邊緣細化。使用Canny邊緣檢測算法對I進行處理，得到整個圖像的單像素邊緣二值圖Bcanny，最后，通過將X15和Bcanny求交集得到細化后的邊緣二值圖Bedge，如圖3f所示。

圖3 制動輪輪廓提取

2.1.2 輪廓擬合

進行輪廓擬合首先需要得出制動輪輪廓在圖像坐標系u-v中所滿足的參數方程。已知制動輪輪廓在世界坐標系xw-yw-zw下是一個圓。從世界坐標到圖像坐標，需要經歷2次變換：透視變換和仿射變換（不考慮相機畸變，因為畸變已經通過相機標定消除）。其中透視變換的公式為

相機仿射變換的公式為

其中仿射變換參數fx、fy、cx、cy只和相機自身的參數有關，與相機的位置無關，稱為內參。

由于制動輪輪廓在世界坐標下的方程（圓方程）需要經過以上2次變換才能得到u-v平面內的方程，使參數方程變得十分復雜。而相機內參在相機標定期間就能確定，且不會隨相機位置改變而改變，故可令

通過式(7)可將u-v平面內提取到的輪廓點集{(ui，vi)}變換為坐標點集{(pi，qi)}，然后計算p-q平面內滿足的方程，可減小計算量。

設制動輪輪廓在世界坐標下滿足的關系式為

通過式(5)和式(8)可求出p、q分別滿足關系式

對式(9)進行變換，得

呂楊的故事，圈里面大家應該都聽了不少，尤其是2017年8月20日，他登頂侍酒師大師的消息從倫敦傳來，各個版本的報道和祝福紛至沓來，在圈中傳為佳話。過去一年的各大酒展和活動中，也越來越多地見到他的身影。然而，成為大師這一年，他又有哪些變化？誰又最有機會成為我們中國熱土上下的一位大師？

將式(10)合并，消去θ，得到Ap2+Bq2+Cpq+Dp+Eq=1的方程，為二次曲線，因二次曲線中的封閉圖形只有橢圓，故該方程為橢圓。可以對該橢圓用最小二乘法進行擬合，求出A、B、C、D、E5個參數。

根據上述得到的{(pi，qi)}(i=1、2、…、n)，可得矛盾方程組為

即Ax=b形式，該方程的最小二乘解為x=A+b。圖4a是將前面提取到的制動輪邊緣點集{(ui，vi)}進行變換得到的{(pi，qi)}繪制在左邊系中，橫坐標為p，縱坐標為q。與圖像坐標系有所不同，故輪廓方向與前面相差90°。圖4b是對{(pi，qi)}進行輪廓擬合后的結果，可以看出，使用最小二乘法能較好地擬合這些點。

圖4 輪廓擬合

2.2 參數求解

通過輪廓擬合，能求出A、B、C、D、E5個參數。需要使用這些參數，反解出相機外參矩陣（即式(5)中的矩陣T），T總共包含12個參數，但并非都是自由參數，其中所有rij組成一個旋轉矩陣，為單位正交矩陣，只有3個變量。故T可寫為

式中：Rx(α)、Ry(β)、Rz(γ)分別為坐標系繞自身x、y、z軸旋轉括號中角度的旋轉矩陣。在世界坐標下，制動輪的輪廓是一個橢圓，無論輪廓沿zw如何轉動，最后在圖像坐標系中都能得到相同的橢圓方程。因此，參數γ可以任取，這里取γ=0。將該矩陣中的參數分別代入式(12)、式(13)中的rij。

然后將得到的p、q關于α、β、γ和t1、t2、t3的表達式代入到Ap2+Bq2+Cpq+Dp+Eq=1中，得到新的二次曲線方程該二次曲線就是制動輪輪廓在世界坐標系下的方程，也就是半徑為R的圓方程，其中A＇、B＇、C＇、D＇、E＇、F＇分別滿足

通過橢圓的5個參數只能列出5個方程，求解出一組符合方程（14）的參數，可通過旋轉變換獲得γ在任意值下的通解。

通過式（14）反解出α、β、t1、t2、t3，需要求解一個非線性方程組，該方程組沒有公式解。但可通過梯度下降法逼近參數，得到近似解。構造一個損失函數

并利用rmsprop梯度下降算法，進行梯度下降，直到En低于一個給定的閾值Tn，Tn可以根據實際情況測試獲得滿意的結果。計算出α、β、t1、t2、t3，的近似值后，可求出外參矩陣T＇。

為了測試這種方法的效果，可以使用T＇，利用式(5)和式(6)將制動輪在世界坐標下的方程變換到u-v坐標下，與原圖像輪廓進行對比。但并不能很好地比較真實參數與計算參數之間的差異，因此，不使用原輪廓，而是在的圓周上取等距的點，使用程序模擬的真實外參矩陣T和計算得到的T＇，將其變換到u-v，得到2組點，并對比這2組點的差異。如圖5所示，圖5a是所有點的圖像，圖5b是取圖5a中一部分放大得到的，使用真實參數T將圓上等間距點變換到u-v上的點形狀為o，而使用T＇變換得到的點形狀為x。通過圖5a可以看到2個參數計算得到的點基本處于同一橢圓輪廓上，而通過圖5b可以看到，2參數計算得到的點還會有偏差。該偏差正如前述，是使用γ=0造成的角度偏差。

圖5 真實參數與計算參數的差異對比

對T＇中旋轉矩陣參數部分再進行沿z軸方向的旋轉可消除該偏差，設T＇的旋轉矩陣為R＇，T的旋轉矩陣為R，則有

根據式(12)可知R12=0，因此有計算得到γ，代入式(16)得到的Rc就非常接近事先給定的參數T的旋轉矩陣R，利用Rc得到Tc，再重復前面的比較過程，將圓周上等距的點分別以T和Tc作為外參矩陣，變換到u-v平面。如圖6所示，經過調整后，兩參數矩陣變換得到的點幾乎重合（o形點是T變換下的點，x形點是Tc變換下的點）。

圖6 調整后兩參數矩陣的差異對比

實際的計算過程中，T無法事先得到，因此不可能通過計算γ來調整T＇，但這一步并不是必須的，γ不同只是角度的基準不同，而對于圓輪廓而言，角度基準可任取，只需要在一次計算過程中，使用相同的角度基準就能得到正確的轉角。

3 轉角計算

1）識別標志物坐標

在進行角度計算時，首先要在制動輪上接近邊緣的地方做一些等間距的標記，有些制動輪自帶可識別的標志物，如圖7所示，制動輪邊緣的螺釘可以作為標志物。

圖7 制動輪上的標志物

最簡單的標志物識別方法是使用帶特殊顏色的標志物，通過顏色識別定位出標志物在圖中的坐標。因制動輪并不是完全處于相機視野下，會出現部分遮擋的情況，需要設定多個標志物。標志物間距的確定需要根據制動輪的轉速和相機的幀數，為滿足采樣定理，2個標志物出現在同一個標志物所經的實際內，相機至少要拍攝2幀以上。一般可設定4個標志，每2個標志之間相隔1/4圓弧。

2）計算旋轉角度

得到標志物在圖像中的坐標后，首先使用式（7）和T＇的逆矩陣T＇-1，將圖中所有標志物在圖像坐標系u-v下的坐標(ui，vi)變換成世界坐標系xw-yw-zw下的坐標(xi，yi)。然后根據

計算得到當前幀夾角θ（設當前幀為第k幀），由于每幀可能不止檢測到一個標志物，故得到夾角的集合Sk={θk,i:i=1,2,…}，同樣，對于第k+1幀，得到另一個集合Sk+1={θk+1,i:i=1,2,…}，構造一個新的集合

因標志物相隔1/4圓弧，相鄰2幀制動輪轉角必須小于1/8圓弧，從集合Ak,k+1中找出所有小于π/4的值。這些角近似相等，都等于相鄰2幀的轉角，對這些篩選出的角度求平均值，作為第k幀到第k+1幀的轉角Δk，k+1，假設制動過程總共有n幀圖像，總轉角為

4 結語

本文結合多種圖像處理方法，提出了提取制動輪邊緣的算法，并根據相機成像模型，對圓輪廓的相機成像方程進行推導，并結合梯度下降法，提出了方程參數優化的方法。每次制動輪制停結束后，該系統都要通過新提取到的輪廓邊緣對參數重新進行優化，使得該系統能適應環境的變化。使用非接觸測量使制動器不需要通過破壞性的改裝即可安裝本系統。但制動輪邊緣提取依賴于制動輪上特定的顏色。對不同的制動輪，可能需要手動調整閾值才能使用。該系統可用于電梯制動性能的長期監控，并且能保證不會因為位置的微小變化而降低精度。