基于Open CV圍欄合規性擺放檢測方法研究

余萍， 宋祥宇

(1.華北電力大學電子與通信工程系， 保定 071003； 2.華北電力大學河北省電力物聯網技術重點實驗室, 保定 071003)

隨著生產力的提高，社會的不斷進步，中國電力工程建設行業蓬勃發展。然而中國的電力工程建設行業仍有很大的發展空間，但追求快速發展的同時更不能忽略安全問題[1]。統計數據顯示，中國施工事故占比僅次于交通事故，事故數量占比13.46%，傷亡人數占比23.13%[2]。因此，施工場地安全監督工作為重中之重，施工場地的安全圍欄擺放規范性是其中重要管控目標，但施工或改造現場復雜、施工場地種類多且變化性大，只靠人力很難對所有施工場地實現全程跟蹤管控，因此借助圖像處理技術實現分析監控拍攝圖片，自動判斷工地圍欄擺放是否符合規范，對進一步保證施工安全減少安全隱患具有較高現實意義。

近年來，電力系統發展迅速，電力施工現場數量大幅度增加，電力施工現場綜合管控水平也正在提升，可視化應用逐漸普及，施工現場監控數量增加，然而花費大量人力物力財力實現的施工現場監控普及，對于其得到的海量施工現場圖像以及視頻信息的利用率卻十分低。大多數情況下，各個施工現場的施工細節還需要工程監理現場發現，并且在監控畫面中，由于實時性以及清晰度的限制，單單靠人為觀看監控對于施工現場中某些潛在的隱患不能做到立即發現并提醒，過多的細節難免造成錯看與漏看的情況，存在造成嚴重工程施工事故的隱患，而此時可視化設備的作用只剩下調用事發時期錄像，而監控錄像也存在覆蓋周期，不能永久保存，因此目前已普及的電力施工現場的可視化管控信息存在資源閑置與浪費的現象，由監控收集的海量圖像資源無法得到充分的利用。

為提高電力系統信息可視化管控的效率與可靠性，郭瑋等[3]根據電力信息系統的場景空間分布進行三維建模，提出了包圍盒概念，通過計算相關事件與左右包圍盒之間的相關概率并結合采集數據與測量值之間的關系對于電力信息系統運行狀態進行估計，提高了電力信息系統的計算速度與管控精度；戴永東等[4]提出了一種基于雙視卷積神經網絡的輸電線路自動巡檢算法，利用兩個視角可見光圖象對輸電線路上常見缺陷進行識別，并通過無人機巡檢進行檢測，進一步實現了電力系統與可視化設備的融合與應用；付奎等[5]提出了一種基于可升級矢量圖形(scalable vector graphics，SVG)的可視化技術在電力系統中的應用，在地理接線圖與單線圖方面運用，將數據信息轉化為二維或三維的圖像信息，實現了相關設備運行狀態數據信息的直觀展示，并能夠準確提供圖元定位，大大提高了電力系統中可視化管控水平。

在一個圍欄群中，如果兩片單獨的圍欄如果沒有連接上，就會有一個“缺口”， 在對于施工現場圍欄擺放的合規性研究中，圍欄擺放是否合規的重要判斷依據就是“缺口”的數量，若一個圍欄群內，當“缺口”數量小于等于1時，規定該圍欄群為合規擺放；若“缺口”數量大于1個時，則說明該圍欄群不只存在一個進入施工現場的入口，這就大大增加了無關人員或者動物靠近、進入具有一定風險的施工現場的可能性，也就存在了造成可避免工程事故的可能[6]。

現采取Open CV 和C++結合的研究方法對施工現場圍欄圖片進行處理，使用一系列圖像處理算法進行排列組合判斷圍欄群是否存在缺口，通過對比度增強與色彩提取操作將電力施工現場圖片中圍欄部分進行粗略提取，修改目標部分像素值，然后經過閾值分析實現圖象的二值化，使之將目標圍欄部分與背景進行完全區分，進一步采用膨脹腐蝕算法[7-8]在不影響檢測結果的前提下將背景中無關小型區域進行忽略。再通過連通區域算法[9-11]將不同連通區域分配不同標簽(label)作為區分。為了增加邊界區分效果，采用邊緣提取算法[12-13]進行處理。接著使用區域生長算法[14-16]，通過從種子點進行生長實現背景與圍欄部分的分割，實現缺口存在性的判斷，區分為存在缺口圖象以及無缺口(即為合規擺放圍欄)圖象，然后針對存在缺口的圍欄圖像進一步進行缺口識別，關于圍欄缺口針對性訓練Haar特征分類器，通過對于圖片中圍欄缺口的檢測以及數量的統計，進一步對于該圍欄群是否合規進行判斷。

1 提取圍欄并判斷缺口存在性

施工現場圍欄圖片冗余信息較多，圍欄部分占比較小，相對應說明背景部分占比更大，這對于圍欄部分的提取造成極大的難度，因此需要對施工現場圖片進行一系列的圖像處理操作，盡量消除無關信息，加強有效信息，簡化后續擺放合規性步調，進一步減少判斷難度并提高判斷準確度。算法設計流程圖如圖1所示。

圖1 算法設計流程圖Fig.1 Algorithm design flow chart

圖2 對比度增強處理前后的顏色提取結果Fig.2 Color extraction results before and after contrast enhancement

1.1 圍欄提取

在圖像處理中，由于獲取的圖像質量不好，需要通過對比度增強來提升圖片質量，主要解決的是由于圖像灰度級范圍較小造成的對比度較低的問題，作用是使圖像的灰度級范圍放大，從而讓圖像更加清晰。在實驗中，由于背景中會有大面積的部分與所需要的圍欄部分像素值相似，這就會導致在后續對于圍欄提取的過程中，無關背景像素點與目標像素點無法區分甚至一起被提取出來，對識別提取效果造成極大的誤差。因此，在這里對圖像首先采取對比度增強處理，使得色彩區分較為明顯，減免背景無效像素點對圍欄色彩提取的影響。然后通過圍欄的顏色特征對于圍欄部分進行提取，將圍欄部分替換為像素值為255的白色，以便后續處理使用。圖2為對比度增強前后的結果以及圍欄色彩提取的結果差異，可以看出，圖像增強后再進行色彩提取，背景中消除了許多細微的以及提取過程中產生影響的像素點或者像素區域，達到了優化提取效果的目的。

對進行過色彩提取的圖像進行閾值分析操作，對于圖像中的像素，已經被提取出來像素點的灰度級設定為255(白色)，因此可以將閾值設置為254，直接剔除一些低于該閾值的像素，分割出所需要的目標，最終結果如圖3所示，灰度值為255的像素點全部保留，其余部分全用灰度值為0(黑色)代替，便實現了圍欄部分的初步提取。

圖3 閾值分析結果Fig.3 Threshold analysis result

1.2 判斷缺口存在性

在本實驗中，雖然對于背景無關像素數量已經進行過削減，但是小部分無關像素的影響還是難以排除。通過膨脹腐蝕操作，將背景中被誤提取出來的干擾像素區域進行腐蝕，背景部分相應進行膨脹，相對應的代價就是會使得目標圍欄部分也會得到一定程度的腐蝕，但是該程度的腐蝕并不會影響圍欄部分的連通性，反而對于背景無關像素的消除效果顯著。圖4為膨脹腐蝕操作結果圖：通過膨脹腐蝕操作以后的圖像，目標圍欄部分將更加突出，有效區域與無關區域之間的區分也更加明顯，同樣也在一定程度上解決了了圖像處理過程中，各個體圍欄區域區分不夠明顯，單個區域不夠突出的情況。

圖4 膨脹腐蝕操作結果Fig.4 Dilatation corrosion operation results

連通區域一般是指圖像中具有相同像素值并且位置相鄰的前景像素點組成的圖像區域。而連通區域分析是指將圖像中的各個連通區域找出并標記。通俗的理解就是：一個連通區域是由具有相同的像素值的相鄰像素組成的像素集合，因此可以通過“相同像素值”以及“相鄰像素”這兩個條件在圖像中尋找連通區域，對于找到的每一個連通區域，賦予其一個唯一的標識作為與其他連通區域的區分。袁小翠等[17]提出了一種基于空間鄰域連通區域標記法的點云離群點檢測，以連通區域標記算法作為基礎，構建某點云的連通域，完成所有點遍歷后標記停止，小于閾值的點被看作是離群點，該方法對于不同情況下的離群點檢測準確率有較大提升。

為了增強連通區域分析后的處理效果，在連通區域分析前增加一步輪廓提取操作，通過對于目標圍欄部分使用線條將輪廓框選出來，便能使得各連通區域之間區分更加明顯，非連通區域間存在明顯邊界進行區分，同時使用連通區域算法對于不同連通區域賦予不同標簽。輪廓提取與連通區域分析結果如圖5所示：由上至下分別為輪廓提取結果、連通區域分析ColorImg和連通區域分析LabelImg。

圖5 輪廓提取、連通區域分析算法結果Fig.5 Contour extraction, connected area analysis algorithm results

經過上述處理的圖像，原本相互連通部分融合成為一個部分，未連通部分存在明顯區分。因此，可以通過判斷圖像是否被分為多個部分對于缺口的存在性進行判斷。王筱涵等[18]針對血管界面存在凹陷導致傳統分割算法種子點選取時會產生位置偏移的情況，提出了一種基于最小生成樹的種子點選取算法，利用前一幀圖像產生隨機點構建最小生成樹，計算該樹重心作為當前幀的種子點，最后利用區域生長算法進行血管截面視頻分割。夏永泉等[19]針對腹部電子計算機斷層掃描(computed tomography，CT)中對比度低，肝臟形狀不規則等因素而產生的圖像分割困難的問題，提出以質心作為區域生長種子點的分割方法，既解決了區域生長算法需要手動選取種子點的問題，又保證了種子點選取位置的準確性。說明區域生長算法在醫學方面應用較為成熟，對于目標物體的分割效果較好。利用區域生長算法，對于連通區域分析結果中的LabelImg進行處理，種子點通過算法自動選取在提取出來的圍欄群的任意一個部分中，將結果與LabelImg進行對比，如果結果與LabelImg中擁有同樣完整的圍欄部分，那么說明圍欄部分完全連通，該圍欄群無缺口，若結果只能得到部分的圍欄，則說明圍欄部分并未全部連通，該圍欄群有缺口存在，需要進入下一步分析。區域生長算法判斷圍欄群是否完全連通結果如圖6所示。可以看出，以圍欄中任意一點作為種子點進行生長，只生長出部分圍欄就結束操作，說明圍欄部分并未連通如圖6(b)與圖6(c)所示，至少存在1個缺口。圖7中，生長結果與原圖圍欄部分完全相同，說明圍欄部分完全連通，不存在缺口。到此，就可以進入下一步關于缺口數量的判斷，進而得到圍欄擺放是否合規的結論。

圖6 區域生長前后結果圖對比1Fig.6 Comparison of results before and after regional growth 1

圖7 區域生長前后結果圖對比2Fig.7 Comparison of results before and after regional growth 2

2 識別圍欄缺口并統計數量

在Open CV的代碼庫中，保存了很多已經訓練好的Haar分類器，如圖8所示，各文件分別為人眼、戴眼鏡的人眼、貓臉、人體、微笑等事物識別分類器文件列舉。

圖8 Open CV已訓練好的分類器文件Fig.8 Open CV trained classifier file

因此，根據實際情況以及現有資源的情況，訓練圍欄缺口識別分類器用于對施工現場圖像圍欄部分的缺口進行檢測。

2.1 圍欄缺口檢測

該分類器原理如圖9所示，即Haar-like特征+AdaBoost+Cascade級聯=目標圍欄缺口Haar分類器。

Junaidy等[20]使用類Haar 特征方法和局部二值模式方法進行實時人臉檢測。Haar-like特征作為圖像特征具有便捷性、高效性等特點，它是基于矩形區域相似計算強度差異性，換句話說：這個區域的一個特征值等于白色區域像素和與黑色區域像素和之差，依據此特征值可以用來區分目標區域與非目標區域。圖10為特征矩形示意圖。

圖9 分類器原理示意圖Fig.9 Schematic diagram of the classifier principle

由于只具備單個特征的分類器過于簡陋，其檢測結果甚至不如隨機判斷的效果好。所以采用CART的決策樹形式用來構成分類器十分必要，單節點的最基本分類器可以通過訓練進行優化，變為具有更高的分辨力的分類器，也就是弱分類器。從圖11中可以看出，在分類的應用中，CART決策樹中的每一個非葉子節點都代表著一種特征判斷，每一個路徑表示一種判斷結果的輸出，每一個葉子節點則表示一種類別，即是否屬于圍欄缺口。

每一個Haar-like特征的選擇與排列過程，都可以看成是一個新的弱分類器提升的階段，稱為Boosting算法。通過改進而來的自適應推進算法Adaboost是一種迭代方法，提供了一種有效的學習算法和強大的邊界泛化性能。Freund等[21]通過Haar特征與Adaboost算法進行結合，提出了一種用于組合偏好的高效提升算法。同時為了提高識別速度，需要將一個圖像子窗口中包含的大量的Haar-like特征通過Adaboost進行特征選擇，利用Adaboost選擇少量重要特征構建一個強分類器，即在訓練過程中重點保留少數關鍵特征而排除掉大量的可用特征。強分類器組成示意圖如圖12所示。單個強分類器能達到的識別效果有限，為了能夠提高正確率，訓練多個強分類器進行組合使用，劉禹欣等[22]通過Haar-like特征雙閾值Adaboost實現人臉檢測，其中同樣采用了多個強分類器進行級聯的方式。

A～H為特征矩形編號圖10 Haar-like的特征矩形Fig.10 Haar-like characteristic rectangle

圖11 深度為3的弱分類器CART決策樹形式Fig.11 CART decision tree form of weak classifier with depth of 3

假設有一個強分類器，99%的目標窗口可以通過即正確識別，同時50%的非目標窗口也能通過即錯誤識別，假設有20個同樣準確率的強分類器級聯，那么最終的正確檢測率為98%，而錯誤識別率為0.000 1%，最終實現了在不會大幅度影響檢測正確率的前提下，大幅度降低誤識率，這就是Cascade級聯的作用。要求訓練的單個強分類器的準確率需要足夠高。通過Cascade級聯多個強分類器最終形成本研究所需圍欄缺口分類器。級聯分類器工作原理如圖13所示所有待檢測子窗口作為第一個分類器的輸入參與判決，若某子窗口通過第一個分類器的判決，將繼續進入下一級強分類器進行判決，反之沒有通過第一個分類器的判決，則該子窗口直接被拒絕，退出檢測過程，該子窗口將不會再作為輸入進入到后續強分類器的檢測中。通過Cascade級聯可以進一步篩選被錯誤識別的子窗口從而降低誤識率。實現目標圍欄缺口分類器的構建。

1、2、3所在框圖分別為該級聯分類器種第一、第二、第三個分類器圖12 強分類器組成示意圖Fig.12 Schematic diagram of strong classifier composition

圖13 級聯分類器工作原理Fig.13 Working principle of cascade classifier

2.2 實驗過程及結果分析

2.2.1 實驗過程

本實驗流程圖如圖14所示。實驗所需樣本集為兩部分：正樣本集和負樣本集，正樣本為被檢測物體，即“缺口”部分，通過對電力施工現場圍欄圖片人為判斷“缺口”部分進行截圖得到。為了使得正樣本中關于“缺口”識別的特征更加明確，截圖范圍為“缺口”部分與形成該“缺口”的少量圍欄部分，如圖15所示，并且正樣本尺寸必須一致，根據訓練樣本官方推薦最佳尺寸，圖15尺寸設置為24×24像素，建議訓練樣本為灰度圖，此處對于該建議持保留意見，在后續研究中進行進一步實驗以確定。

實驗正負樣本來源為電力施工現場圖片截圖，由于類似帶有圍欄的電力施工現場圖片極其有限，

圖14 實驗過程流程圖Fig.14 Experimental process flow chart

24×24像素圖15 施工圖片截圖選取正樣本范圍Fig.15 Select the scope of the positive sample of the screenshot of the construction picture

而滿足研究拍攝角度的圍欄照片更是少之又少，所以在有限的資源中，努力將可用正樣本進行提取，對于負樣本，包含了施工人員、施工地面、施工大樓、草地、土地、臺階等一系列與識別目標無關的物體，增加了負樣本涵蓋范圍的廣泛性以及豐富性。但是因為正樣本數量的限制，最終制作正樣本數目為35，負樣本數目為103，并準備76張完整的施工現場圍欄圖片作為測試樣本集進行該方法的研究。

樣本創建完畢，下面便按照實驗流程圖進行后續分類器訓練操作。最終輸出圍欄缺口分類器xml文件。

2.2.2 實驗結果及分析

使用Visual Studio 2017調用上述圍欄缺口分類器xml文件，實現施工現場圖片中圍欄缺口的檢測與識別，同時在程序中增加對于識別框數量的統計，使用循環判斷語句對于圍欄缺口數量進行判斷，當識別框數量大于1時，輸出“該圍欄群擺放不合規”反之輸出“該圍欄群擺放合規”字樣，作為對于該圍欄群擺放合規性檢測結果輸出，識別結果如圖16所示。

從圖16中可以看出，在“缺口”數量本該為2的施工圍欄圖片中，檢測出7個缺口，并且在許多非圍欄部分也給畫出了識別框，識別結果較差，誤差較大。而且對更多訓練樣本進行測試結果均與上圖類似，問題集中在兩個方面：①識別框數目太多；②識別框不能完全集中于圍欄部分，在邊界背景等無關像素處也有識別框的出現。而好的方面在于，在顯示出來的所有識別框中，圍欄真正的“缺口”部分是存在識別框的，表明“缺口”可以識別。

識別混亂的原因在于圍欄“缺口”特征不明顯，識別范圍不能集中在圍欄部分的原因也在于：①同時負樣本無關物體種類不夠豐富；②正樣本集對于圍欄本身的特征提供得不夠明顯。

3 結果優化

3.1 負樣本集篩選與重建

解決上述問題需要從正負樣本兩方面進行，為了解決識別范圍不能集中于圍欄部分的問題，需要增加負樣本集中物體的種類，同時需要保證正負樣本集數目的比例。所以將負樣本集重新進行篩選與重建，將相似類型以及區分較小的圖片刪除，并增加之前未包含的無關物體種類，重新進行圍欄缺口Haar分類器訓練，并對新訓練出的分類器文件進行調用，重建負樣本集后識別結果如圖17所示。

藍色框為圍欄缺口檢測框圖17 重建負樣本集后識別結果Fig.17 Recognition result after reconstruction of negative sample set

由圖17可以看出，檢測缺口數量依然為7，但是所有圍欄“缺口”的識別框都集中在圍欄部分，背景非圍欄部分不存在識別框，說明對于上面提出的識別框不能完全集中于圍欄部分以及對于背景的誤識別問題的解決方法有成效。已經可以完成“缺口”的掃描與識別范圍都固定在圍欄部分，如何進一步將圍欄“缺口”準確的識別出來，就是下面要解決的另一大問題。

3.2 正樣本集篩選與重建

對比所有誤識別框可以得到：首先，肯定正樣本集的有效性，所有識別框圈選范圍內都存在相似的特征：即所有識別框內都包含圍欄邊界或者圍欄主框架部分，所有識別部分都可以分為左右兩邊框以及邊框中間部分，并且在測試樣本的實驗中，同樣能夠發現非圍欄部分的誤識別框中也存在相似上述特征。該識別結果說明，當前版本分類器可以總結出部分“缺口”特征。由于“缺口”本身是一個十分抽象的概念，“缺口”種類豐富，背景多樣性豐富，導致難以使用通用的標準或者語言對“缺口”進行描述，而對圍欄擺放合規性的研究重點在于圍欄“缺口”的識別，需要通過圍欄對于“缺口”進行特征賦予，因此“缺口”識別過程不能拋棄掉電力施工圍欄特征而單獨完成，二者應相輔相成，共同完成相應特征的總結以及分類器的訓練。

要將電力施工圍欄與“缺口”特征相結合，電力施工圍欄最明顯的特征是標準的黃色背板以及黃黑色條紋，該特征也是電力施工圍欄設計的一大標準，因此，為了突出表現出電力施工圍欄色彩這一特征，對正訓練樣本的處理只執行縮放而不執行灰度圖轉換過程，即使用彩色符合條件的正樣本進行訓練，用以增強圍欄“缺口”特征，同時在正樣本集的創建過程中，統一對于兩側圍欄保留部分的形態以及面積占比，重建正樣本集后重新訓練圍欄缺口Haar分類器，然后調用分類器對施工現場圍欄圖片進行識別，識別結果如圖18、圖19所示。

由圖18、圖19可知，所訓練的圍欄缺口分類器能夠準確檢測出存在缺口的圍欄群中缺口的位置并框選，統計缺口數量，進行該圍欄群擺放是否合規的判斷，圖19、圖18分別呈現了圍欄群擺放合規、不合規的兩種檢測結果。另外，將本文算法第一部分判斷缺口存在性這一步驟中判斷為無缺口的圖片，使用該分類器進行檢測，同樣可以得到該圍欄群無缺口、擺放合規的判斷，如圖20所示。因此，本研究中訓練的圍欄缺口分類器能夠成功實現電力施工現場圖片中圍欄群中缺口的檢測以及合規性的判斷。

藍色框為圍欄缺口檢測框圖18 重建正樣本后圍欄不合規擺放識別結果Fig.18 Recognition results of non-compliant fence placement after reconstruction of the positive sample

藍色框為圍欄缺口檢測框圖19 圍欄合規擺放識別結果一Fig.19 Recognition result 1 of fence compliant placement

圖20 圍欄合規擺放結果2Fig.20 Recognition result 2 of fence compliant placement

4 結論

基于Open CV首次進行圍欄擺放合規性檢測方法研究，采用C++與Open CV相結合的方式，首先通過一系列圖像處理算法對于圖象進行預處理后結合連通區域分析算法以及區域生長算法實現圍欄部分的提取與圍欄群缺口存在性初步判斷。

接著通過將Haar-like特征與AdaBoost算法和Cascade級聯相結合，訓練一個用于檢測圍欄缺口的分類器用于進一步缺口數量檢測。對實驗結果進行分析總結，根據出現不同的問題對于訓練過程進行不同程度的優化，得到最終版本的圍欄缺口分類器文件，并使用C++語言通過Visual Studio 2017編譯器對于該分類器文件進行調用，用于圍欄缺口的檢測，并且根據檢測結果，自動統計圍欄缺口數量并對于該圍欄群擺放是否合規進行判斷。最終得到較好的識別結果。研究結果為基于可視化的工程管控應用方面提供了新思路，同樣在對于圍欄缺口這種特征模糊物體的識別也提供了新的研究方向,同時填補了圍欄擺放合規性識別領域的空白。但是本研究依然還有可以完善的地方，如在此基礎上增加樣本數據量進一步提高泛化能力，同時還可以補充不同樣式的圍欄缺口的識別研究。