頭戴式攝像機變電站防誤操作圖像識別

黑穎頓

(云南電網公司電力科學研究院,昆明 650217)

頭戴式攝像機變電站防誤操作圖像識別

黑穎頓

(云南電網公司電力科學研究院,昆明 650217)

為了滿足變電站智能防誤的需求,提出了一種基于圖像識別方法的變電站防誤操作智能識別系統。利用頭戴式攝像機獲取變電站現場的實時視頻圖像,基于尺度不變特征變換對標志牌以及操作目標進行智能識別,實現對操作人員定位,防止走錯間隔。采用隱馬爾科夫模型對采集到的操作人員手部軌跡進行匹配識別,結合操作票判斷操作人員是否有誤操作行為發生。本文詳細介紹該系統的組成和實現方法。通過變電站內的現場測試驗證了所提出方法的有效性。

防誤操作；SIFT變換；HMM模型；圖像識別；軌跡識別

0 前言

變電站是電力系統的重要生產場所,變電運行操作是電力系統工作中的重要環節,其直接關系到整個電網的安全穩定運行。由于變電站內隔離刀閘、斷路器、接地刀閘等設備眾多,如果操作人員操作不當,極易出現誤操作行為。變電站人員的誤操作行為是電力系統中頻繁發生的惡性事故,錯誤的電氣操作往往導致大面積停電、設備損壞、人身傷亡,并可能對電網造成永久性故障[1-2]。變電運行的惡性電氣誤操作是一個困擾電力部門多年的問題

盡管變電站內電氣操作的規則和步驟已經非常細化和完善,但誤操作事故還是頻頻發生。現階段的防誤手段主要包括：對操作人員的管理培訓,防誤裝置的管理使用,設備標識的定期檢查。這些方法過于依賴操作人員的主觀能動性,智能化程度較低,不能從根本上防止誤操作事故的發生。

采用計算機視覺技術達到客觀防誤的效果,是一種新的防誤手段,與傳統方法相比該類方法對操作人員依賴性較低。該類方法通過移動視頻設備采集現場信息,通過智能算法分析和理解操作行為,利用計算機代替人眼實現對操作過程的智能監控。目前陳峰等[3]設計實現了穿戴式移動音視頻交互系統,該系統對操作行為進行監控和錄像,并且實現了站內的語音通信,但該系統無法對操作行為進行智能分析,依然需要人員進行監視。樂健等[4]開發的變電站防誤操作系統,則通過對變電站內標志牌進行識別,防止操作人員走錯間隔,該系統僅實現定位功能,對操作人員的后續操作無法進行監控。

本文針對上述系統的缺點,結合計算機智能視覺技術,提出一種變電站防誤操作的圖像識別方法。采用頭戴式攝像機獲取變電站現場的實時視頻圖片,基于SIFT變換對標志牌以及操作目標進行智能識別,采用HMM模型對采集到的操作人員手部軌跡進行分析與識別,進而通過后臺操作系統對操作人員進行指導與糾錯,從根本上防止誤操作的發生。通過對某變電站采集的現場圖像進行測試,結果驗證了本文所提方法的有效性。

1 系統總體結構

本文提出的變電站防誤操作智能識別系統的整體結構如圖1所示。

圖1 系統總體結構

整個系統按照工作流程可分為4個部分：

信息采集部分通過頭戴式攝像機采集現場的實時圖像。包括各操作間隔的標志牌圖像、各操作柜內的電氣單元圖像、操作人員的操作圖像等,為后續的圖像處理提供原始信息。

無線傳輸部分采用3G無線網絡將采集到的實時圖像信息通過終端設備發送到后臺服務器進行后續處理。傳輸延時小,平均延時小于3秒,并且終端設備內配備SD卡,可進行圖像的本地儲存,防止圖像在傳輸過程中丟失信息。

智能識別部分通過圖像識別算法對后臺服務器接收到的圖像進行處理和識別。主要進行三類識別：標志牌識別、操作目標識別、操作軌跡識別。標志牌識別通過匹配標志牌圖像,對操作人員的位置進行定位,防止操作人員走錯間隔。操作目標識別通過匹配柜內圖像對操作目標進行識別定位,獲得操作目標的實時位置,而且通過匹配分合閘內圖像信息自動識別開關分合情況。操作軌跡識別通過對操作人員的手部軌跡進行識別,實現對操作行為的智能理解和分類,防止誤操作行為的發生。

后臺處理部分負責系統的后續操作,主要包括以下功能：語音通信、圖像儲存、實時報警、智能解鎖。語音系統通過外置的耳麥實現與操作人員的實時交流,當接收到報警信號時,對操作人員進行語音提示；語音系統還可實現操作人員與監控室的實時通信,對于現場發生的復雜情況,可讓專家人員對操作人員進行語音指導。圖像儲存功能將后臺服務器接收到圖像信息和語音信息與五防系統產生的操作票信息進行配對保存在后臺服務器上,方便事后的查看和分析。實時報警功能在操作人員處于錯誤區間或者做出錯誤操作行為時,將向后臺服務器和終端設備發出告警信號。智能解鎖功能與變電站五防系統結合,當采集到的圖像匹配成功后,可實現對相應門禁、開關和按鈕的智能解鎖。

2 基于SIFT變換的目標識別

尺度不變特征變換 (SIFT)變換[5-6]是一種提取局部特征的算法,其基于尺度空間對圖像縮放、旋轉、亮度變化保持不變性,對視角變化、仿射變換、噪聲等也保持一定程度的穩定性。因此,在圖像的識別、目標跟蹤定位等方面得到了廣泛的應用。

2.1 尺度不變特征變換算法原理

尺度空間的圖像是利用一組連續的高斯卷積核與原圖像進行卷積生成的。一幅二維圖像I(x,y),其在不同尺度空間下的表示L(x,y, σ)可由圖像I(x,y)與高斯核G(x,y,σ)的卷積得到。由不同的高斯核卷積得到的高斯圖像兩兩相減生成高斯差分尺度空間 (DOG scalespace),即：

尺度不變特征變換主要包含4個步驟：

1)檢測尺度空間極值點：為了尋找尺度空間的極值點,每一個采樣點要和它所有的相鄰點比較,看其是否比它的圖像域和尺度域的相鄰點大或者小。如圖2所示,中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較,以確保在尺度空間和二維圖像空間都檢測到極值點。

2)關鍵點方向分配：利用關鍵點鄰域像素的梯度方向分布特性,為每個關鍵點指定方向參數,使算子具備旋轉不變性。

圖2 高斯差尺度空間

式中：m(x,y)為 (x,y)處梯度的模值, θ(x,y)為(x,y)處梯度的方向,L所用的尺度為每個關鍵點各自所在的尺度。

3)特征點描述子生成

首先將坐標軸旋轉為關鍵點的方向,以確保旋轉不變性。在以關鍵點為中心的8×8的窗口內,分成4個4×4的小塊,在每個4×4的小塊上計算8個方向的梯度方向直方圖。繪制每個梯度方向的累加值,即可形成一個種子點,如圖4所示。

實際計算過程中,為了增強匹配的穩健性, Lowe建議對每個關鍵點使用4×4共16個種子點來描述,這樣對于一個關鍵點就可以產生128個數據,即最終形成128維的SIFT特征向量。SIFT特征描述符對光照、噪聲、旋轉和尺度都具有良好的不變性。

圖3 SIFT特征向量

4)特征點匹配：SIFT的匹配算法是通過計算兩個特征點描述子之間的歐氏距離得到的。采用SIFT特征向量的歐式距離作為兩幅圖像中SIFT特征點的相似性判定度量,將具有最小歐式距離的兩個SIFT特征點匹配起來。一個特征點可能存在多個相似匹配點,為了減少由此引起的誤匹配問題,可先比較最近鄰和次近鄰特征點距離之比,當比值小于閾值,則接受該匹配點對,否則丟棄。降低閾值,可以減少SIFT匹配點對的數目,增加匹配的穩定性。

2.2 圖像配準

通過SIFT變換得到兩幅圖像特征點之間的匹配關系,根據匹配點對構建圖像序列之間的變換矩陣,即兩幅圖像之間存在投影變換H：

式中：投影變換矩陣H的自由度為8,p= (x,y)與q=()是匹配的特征點對。根據上式可用4組最佳匹配求出矩陣H的8個自由度參數。為消除匹配過程中有可能存在的錯誤匹配點,本文采用RANSAC方法來求得變換矩陣H。

RANSAC估計算法的步驟如下：

1)從N個候選匹配特征點對中隨機選取4個點對建立方程組,解出變換矩陣H的8個未知參數。

2)計算其余(N-4)個特征點經過變換矩陣H的變換,與它的候選匹配點之間的距離dv。

3)若dv小于某一閾值,則該候選特征點為內點,否則為外點。這里內點是指正確匹配的特征點對。

4)統計在此變換矩陣下內點的數量。

5)再選另外4對候選匹配點,執行步驟1)到4),重復若干次后,選擇具有內點數量最多的集合作為最佳內點集合。在此最佳內點集合下的變換矩陣H的8個參數值作為參數估計的最優值。

據此,求出了兩幅圖像之間的坐標轉換關系,即變換矩陣H。根據坐標轉換關系將一幅圖像變換到另一幅圖像上,實現兩幅圖像之間點的對應。

2.3 目標識別

目標的識別主要包括兩類：一種是標志牌的識別,另一種是操作目標的識別。標志牌的識別將通過攝像頭獲得的當前間隔的標志牌與目標標志牌進行匹配識別,準確判斷操作人員的實時位置,防止誤入非工作區間,若操作人員走錯間隔,則系統發出報警信號,提示操作人員；若操作人員處在正確的間隔,則允許操作人員進行后續操作。操作目標的識別則將現場采集到的柜內圖像與標準圖像之間做匹配,通過在標準圖像上對操作目標進行定位,對應獲得操作目標的實時位置。其中對開關、斷路器等操作柜的識別,可通過匹配分合閘內圖像信息自動識別開關分合情況,即識別 “分”“合”“1”“0”等分合閘信息圖像。獲得操作目標位置后,即可追蹤操作人員的手部位置,獲取其手部運動軌跡進行行為分析。

3 基于軌跡識別的誤操作檢測

變電站惡性誤操作事故主要包括：帶負荷拉、合隔離開關,帶電掛 (合)接地線 (接地刀閘),帶接地線 (接地刀閘)合斷路器 (隔離開關),誤入帶電間隔等。觀察統計變電站內的這些誤操作可知,這些操作大部分都是手部運動,本文通過對操作人員手部進行跟蹤,根據手部的動作和相對于操作目標的運動軌跡,可對操作行為進行匹配識別,進而防止誤操作的發生。目前軌跡識別分類的方法主要有隱馬爾科夫模型和神經網絡[7]。本文采用隱馬爾科夫模型對操作人員的手部軌跡進行匹配識別。

3.1 軌跡的提取

為了獲得操作人員的操作軌跡,首先需要進行手部分割,得到手部輪廓。本文采用基于膚色的檢測方法實現手部分割,即通過將RGB空間轉換為YUV空間,轉換公式為：

根據膚色對應的顏色矢量即可方便的完成手部分割。獲得手部輪廓后通過下式獲得手部質心：

式中：(xc,yc)為質心坐標,(xi,yi)為輪廓上的像素點坐標,n為手部輪廓上的像素點總數。根據質心坐標,將手部的輪廓點的坐標轉換成為以質心位置為原點的極坐標系,然后分析輪廓曲線中的局部最大值,映射得到手指的位置。通過追蹤手指的位置變化,得到手部的運動軌跡。獲得軌跡后,需要對軌跡進行編碼,通過計算軌跡相鄰點之間位移,得到運動方向編碼,組成手勢運動向量特征。

3.2 基于HMM的軌跡識別

隱馬爾科夫模型 (Hidden Markov Model, HMM)是在馬爾科夫鏈的基礎上發展起來的,它是一種雙重隨機過程,其一為馬爾科夫鏈,用于描述狀態的轉移；另一個隨機過程描述狀態和觀測值之間的統計關系。本文采用從左到右結構的多觀察值離散HMM[8]對操作人員的手部軌跡進行匹配識別。

3.2.1 HMM模型的初始化

模型由三個元素組成,即λ=(π,A,B ),則給定狀態集S={s1,s2,…,sN},初始化狀態轉移矩陣A,設定狀態i只能返回到本身或轉移到i+1狀態,即：

其中aNN=1,其他aij=0.5。對于初始概率密度π,設定π1=1,πi=0,i≠1。對于觀察概率矩陣B則有：

這樣就完成了一個初始化的HMM模型。

3.2.2 HMM模型訓練

本文采用Baum-Welch算法調整模型參數,使得觀測序列的概率最大。設有L個觀察序列O(l),l=1,…,L,此時

使用多個觀察序列進行HMM訓練,則參數的重估公式為：

式中：

為了估計出對于觀察值序列的最優HMM模型,設定閾值C,當時,即得到訓練出的HMM模型,否則令重復上述步驟,直到收斂。

3.2.3 操作軌跡識別

操作軌跡的識別實際上是在已經訓練好的HMM模型中選出一個能夠最好描述觀察序列的模型。根據軌跡樣本序列O=O1,O2,…,OT,對于模型庫中的模型集λ={λ1,λ2,…,λn},計算樣本序列對于這些模型的條件概率利用Viterbi算法,根據最大似然公式,最大的軌跡模型即為樣本軌跡的識別結果。

后臺系統得到HMM模型識別得出的結果后,若操作軌跡無法識別,則通過語音系統提示操作人員中止該操作,重新進行該次操作行為。若得到操作結果,則將該結果與操作票內容進行比對,若比對結果錯誤,系統發出報警信號,語音系統提示操作人員正確操作；若比對結果無誤,則語音系統允許操作人員進行該操作,智能解鎖該操作目標。

3.3 隔離開關等的操作識別

對隔離開關、接地線等的操作識別,需將操作棒或絕緣棒的輪廓提取出來,對棒頭位置進行定位,將棒頭位置與對應目標位置進行匹配,即可完成識別。首先根據式5利用操作棒對應的顏色區間,排除不必要的背景信息。然后采用高斯混合模型進行運動目標檢測,提取操作棒的二值輪廓。

高斯混合模型對圖像的每個像素點在時間域內的變化用K個高斯分布來模擬。即：

式中：K為高斯分布個數,ωi,t為第i個高斯分布的權值,μi,t和Σi,t為第i個高斯分布的均值和協方差矩陣。根據隔離開關分合情況,判斷棒頭位置,當隔離開關處于分狀態時,合隔離開關應自下而上操作,棒頭位置為操作棒最高點,分隔離開關操作則相反。圖7給出了合隔離開關操作的圖像檢測結果。

4 實驗結果

4.1 目標識別結果

對國內某110 kV變電站現場采集到的視頻圖像進行處理和識別。在該變電站共采集到15張標志牌圖像,利用SIFT變換對標志牌進行匹配識別,所有圖片均能正確識別,識別率為100%。

對操作目標的識別實驗,選取了7個操作柜內的37個操作目標進行識別,所有操作柜內圖像均能進行正確匹配,其中35個操作目標能準確匹配,準確率為94.6%,剩余2個操作目標由于其位置較高,圖像不清晰,得到的匹配點較少,其中還有一些誤匹配點,導致對目標的定位有一定偏差,但不會影響軌跡識別的準確性。

在分合閘內圖像識別中,我們隨機選取了40張 “分”“合”“1”“0”的現場圖像進行識別。39張圖像信息能得到準確識別,識別率為97.5% .剩余一張由于采集位置遠,目標較小,圖像不清晰,導致匹配點數少而識別失敗,被判別為無法識別。在該種情況下,語音系統會提示操作人員近距離采集圖像信息。

4.2 軌跡識別結果

對操作軌跡的匹配識別,我們隨機選擇了2個操作柜內的7個操作目標進行實驗,通過訓練出的HMM模型對操作軌跡進行識別,每個目標重復進行20次操作行為。操作行為按照變電站規范操作要求進行操作,每次操作均需由視頻下方進入視頻區間,直接對目標進行操作,操作完成后手部需退出視頻區間。對于一些無法識別的復雜的手部軌跡,我們對其進行簡單的變換,保留其首末兩點,以這兩點之間的直線來代替該軌跡,以避免由于個人操作習慣造成的實驗誤差。

識別結果如表1所示。總共140次測試行為中,有130次行為能得到準確識別,識別率為92.9%,剩余的10次行為被判別為無法識別的軌跡。測試結果與真實情況接近,能夠對絕大部分的操作行為準確識別,并且有較小的誤警率。在隔離開關、接地線等的操作實驗中,選取了兩種行為各20次,共40次操作行為,實驗結果均能準確識別棒頭位置,進行準確匹配。

表1 軌跡識別結果

5 結束語

本文提出一種變電站防誤操作的圖像識別方法,將目標識別算法與手部運動軌跡匹配識別算法相結合來判斷是否有誤操作行為發生。該方法首先利用SIFT變換對標志牌進行識別,對操作人員進行定位來防止走錯間隔,將SIFT變換與軌跡識別算法相結合,實現對操作行為的識別和分類。這種方法在很大程度上提高了變電站誤操作行為的識別率,能夠及時有效的防止誤操作行為的發生。

基于上述圖像識別方法,本文設計了一套變電站防誤操作智能識別系統,結合現有的五防系統,可實現對變電站內操作行為的智能管理,對提高變電站內的操作安全性具有重大意義。

[1] 梁廣,張勇軍,凌毅,等.變電運行人因事故分析的擬REASON模型 [J].繼電器,2008,36(3)：23-26.

[2] 周鄴飛,梁鋒,許祖鋒.基于三態拓撲計算的變電站防誤操作研究 [J].電力系統保護與控制,2011,39(18)：145-149.

[3] 陳鋒,施俊.穿戴式移動音視頻交互系統在電力生產中的應用 [J].華東電力,2009,37(9)：1514-1516.

[4] 蔡偉,樂健,靳超,等.變基于視頻識別技術的變電站防誤操作系統的研究 [J].電力系統保護與控制,2011,39 (12)：112-116.

[5] LOWE D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004, 60(2)：91-110.

[6] 汪道寅.基于SIFT圖像配準算法的研究 [D].中國科技大學,2011：23-40.

[7] 潘奇明,周文輝,程詠梅.運動目標軌跡分類與識別[J].火力與指揮控制,2009,34(11)：79-83.

[8] 蔡金錠,鄢仁武.ARMA雙譜分析與離散隱馬爾可夫模型在電力電子電路故障診斷中的應用 [J].中國電機工程學報,2010,30(24)：54-60.

Research on Image Recognition Method of Substation Anti-mal-operation Based on Head-camera

HEI Yingdun
(Yunnan Electric Power Research Institute,Kunming 650217,China)

A substation anti-mal-operation intelligent identification system based on image recognition method is proposed in order to meet the needs of substation intelligent anti-mal-operation.The real-time video image of substation site is captured by headcamera,the scale invariant feature transform is used to recognize the signboard image and the operation target,and it can determine whether the working staff has accessed to the proper bay.The movement trajectory of the hand is matched and recognized by building the Hidden Markov Model,and it can distinguish whether there exist anti-mal-operation by referring to the operation order.The composition and realization method of the system is introduced in this paper.The results by the site tests in substation were presented to verify the effectiveness of the proposed method.

anti-mal-operation；scale invariant feature transform；hidden Markov model；image recognition；trajectory recognition

TM63

B

1006-7345(2015)01-0096-06

2014-10-31

黑穎頓 (1987),男,碩士,云南電網公司電力科學研究院,研究方向為變電運行 (e-mail)yndzhyd＠163.com。