基于計算機視覺的幕墻開啟窗檢測方法

盧佳祁， 姚志東*， 莊浩然

(1.中冶建筑研究總院(深圳)有限公司， 深圳 518055； 2.深圳市建筑幕墻智能檢測工程技術研究中心， 深圳 518055)

近年來，當城市遭遇臺風等強風天氣時，因未關閉開啟窗所導致的開啟窗吹落事件屢見不鮮，嚴重危害了人身安全與公共安全。2017年5、6月份，深圳市建筑門窗幕墻學會對既有幕墻的調研中發(fā)現(xiàn)，窗扇尺寸大于1 m2幕墻項目都出現(xiàn)過窗扇墜落現(xiàn)象，其中多數(shù)是在刮臺風時窗扇沒有鎖閉被吹掉?！恫Ａ粔こ碳夹g規(guī)范》(JGJ 102—2003)[1]中12.1.4規(guī)定：“6級以上風力時，應全部關閉開啟窗”，而臺風的瞬時風力可達10級以上，2018年的臺風“山竹”最大風力甚至達到了17級，在10級風力的作用下，開啟窗單個撐擋承受的拉力約為3 500 N[2], 遠超《建筑門窗五金件 撐擋》(JG/T 128—2007)[3]規(guī)定的：“開啟扇撐擋開啟到預設位置，承受窗扇開啟方向1 000 N的力、關閉方向600 N的力”，因此，在強風壓作用下，處于開啟狀態(tài)的開啟窗撐擋等五金件極易發(fā)生斷裂與失效，是開啟窗脫落的主要原因。因此，在強風天氣下，及時發(fā)現(xiàn)并關閉開啟窗對于幕墻建筑的安全管理至關重要。

在臺風來臨前，物業(yè)等樓宇管理部門一般都采用人工巡檢的方法觀察開啟窗是否關閉，然而這種檢查方法有較大弊端：①對于高層建筑或者整個園區(qū)的樓宇檢查的工作量較大，效率較低；②檢查的實時性無法保證，開啟窗可能隨時被打開；③在樓宇外進行檢查時，無法馬上確認開啟窗所對應的業(yè)主房間號，也就無法及時通知相應的業(yè)主關閉開啟窗。因此，有必要建立一套開啟窗啟閉狀態(tài)安全監(jiān)測系統(tǒng)。深圳市福田區(qū)住建局所建立的“福田區(qū)既有建筑智慧管理系統(tǒng)”，在對開啟窗的管理上，通過對每扇開啟窗部署物聯(lián)網電子傳感器感知開啟窗的開關狀態(tài)，并通過無線網絡將信息傳給管理系統(tǒng)，在臺風來臨前，管理人員可以通過系統(tǒng)查詢未關閉的開啟窗，并及時通報給相關業(yè)主關閉開啟窗，極大提高了管理效率。據(jù)深圳市福田區(qū)住建局統(tǒng)計，2018年“山竹”臺風吹落了福田區(qū)多棟建筑開啟扇，而該管理系統(tǒng)投入使用至今，無一扇開啟扇被吹落。但是，這種部署大量傳感器的方式需要投入的設備成本與維護成本較高，經濟性較差。

近年來，數(shù)字圖像處理技術與深度學習技術在建筑的智能運維上發(fā)揮了重要作用，實現(xiàn)了“降本增效”的目的，如建筑的缺陷檢測[4]與故障分析診斷[5]等問題。

文獻[6]通過圖像識別窗口開啟大小分析對室內溫度的影響，該方法首先使用透視變換對樓宇外立面進行圖像校正，再通過分析開啟窗區(qū)域像素值判斷窗口開啟區(qū)域，然而，該方法在使用透視變換校正時，采用人工選取參考點的方式，自動化程度有待提升，此外，窗口狀態(tài)識別的誤差主要來源于像素閾值的選取，其識別的魯棒性也有待進一步提升。文獻[7]通過深度學習的目標檢測網絡模型Faster-RCNN(faster region convolutional neural network)[8]對開啟狀態(tài)開啟窗的側面與底部開口間隙進行識別，并獲得了比較高的精度，然而該方法需要在室內進行圖像采集，無法批量識別大量開啟窗狀態(tài)。

現(xiàn)提出一種基于計算機視覺與深度學習技術的幕墻開啟窗檢測方法，使用采集的樓宇外立面的全景圖像，基于語義分割卷積神經網絡[9]輸出的掩碼圖像，可自動提取用于外立面圖像校正的參考點，使用分類卷積神經網絡[10]判斷校正幕墻外立面各固定位置開啟窗開閉狀態(tài)，建立開啟窗的圖像位置與房間號映射關系表，便于快速確定開啟窗房間位置，為了提高夜間弱光環(huán)境的識別精度，還采用了光照增強的方法提高了圖像質量。

1 幕墻外立面感興趣區(qū)域提取

1.1 幕墻外立面圖像數(shù)據(jù)處理

采用廣角照相機從樓宇底部采集外立面的全景影像，相機與外立面的垂直距離不宜過近，否則無法采集到開啟窗開啟狀態(tài)的有效特征信息。為了提高模型的泛化性與魯棒性，需要采集一定數(shù)量的外立面圖像作為模型訓練集與測試集，同時對數(shù)據(jù)樣本進行標注，標注的結果是一張二值化圖像，其中外立面區(qū)域像素值為255，其他區(qū)域像素值為0。該數(shù)據(jù)集包含不同時間段、不同天氣與不同光照條件下的數(shù)據(jù)。

1.2 基于U-Net的幕墻外立面掩碼區(qū)域提取

獲取幕墻外立面掩碼區(qū)域的描述如下。

(1)使用訓練圖像樣本及標簽，基于U-Net[11]語義分割卷積神經網絡進行模型訓練，由于原始圖像分辨率較高，為了提高模型訓練效率，將圖像縮小成512×512分辨率。U-Net是一種編解碼結構的全卷積網絡，輸出的掩碼圖像與輸入圖像同尺寸相同。“跳層連接”將相同尺寸的淺層特征圖與深層特征圖進行疊加融合，通過淺層紋理特征與深層抽象特征融合的方式可以提高分割區(qū)域的精細度。

(2)將原始圖像進行預處理后，輸入到訓練好的U-Net神經網絡中，輸出幕墻外立面掩碼圖像，所構建的U-Net外立面語義分割網絡模型如圖1所示。輸出的特征圖經過Sigmoid激活函數(shù)后輸出[0,1]的值，再乘以255轉換成一張與輸入圖像大小相同的灰度圖像。

1.3 幕墻外立面畸變校正

由于攝像頭位于建筑底部，高層建筑位置越高，物距越遠目標就越小，將采集的原始幕墻外立面的畸變圖像校正成正常比例的圖像有兩個目的：①由于遠離鏡頭的建筑外立面在圖像中尺寸較小，不利于目標檢測模型的識別，通過圖像校正還原了建筑外立面的正常比例，間接放大了遠離鏡頭的外立面尺寸，突出了開啟窗特征，可提高開啟窗識別的準確性；②有效排除非玻璃幕墻外立面的背景信息，提高后期開啟窗識別精度。

Conv(·)為卷積，卷積操作有5個參數(shù)，分別是輸入通道數(shù)、輸出通道數(shù)、卷積核尺寸、卷積步長與填充像素； Up_Conv(·)為反卷積，參數(shù)含義與Conv(·)相同，用于上采樣；BN(·)為卷積層批歸一化操作； Droupout(·)為卷積層隨機失活的正則化操作；LeakyReLU(·)為卷積層激活函數(shù)圖1 幕墻外立面感興趣區(qū)域分割網絡模型Fig.1 Segmentation network model of the region of interest on curtain wall

1.3.1 基于Harris的幕墻外立面角點檢測

首先將1.2節(jié)得到的掩碼圖像進行放大，放大的尺寸應接近原始圖像尺寸，放大成4 500×4 500分辨率，同時將原始圖像尺寸也調整成放大后的掩碼圖像尺寸，這樣操作可以保證圖像質量，有利于提高后續(xù)開啟窗識別精度。

由于得到的掩碼圖像排除了大部分干擾角點信息，因此可以輕松準確地找出期望的角點坐標。在掩碼圖像上使用Harris算法檢測每個檢測幕墻外立面的4個角點，Harris 角點檢測分為如下4個步驟[12]。

步驟1計算掩碼圖像的Harris矩陣M，其計算公式為

(1)

式(1)中：I(x,y)為圖像中(x,y)點的像素值；w(x,y)為基于二元高斯函數(shù)的窗口函數(shù)。

步驟2計算角點度量值c，其計算公式為

c(x,y)=det(M)-k[trace(M)]2

(2)

式(2)中：det(·)為行列式算子；trace(·)為矩陣的跡；k為常量，取0.04。

步驟3保留c(x,y)大于閾值T的點。選擇的高斯窗口尺寸為9×9，閾值T=qmax[c(x,y)]，其中q為控制閾值系數(shù)，q=0.01。

步驟4由于分割的掩碼圖像的4個角點非標準角點，類似曲率半徑很小的圓弧，因此，真實角點周圍會檢測到多個角點，采用K-means++[13]聚類法對得到的所有角點的位置坐標(x,y)進行聚類，要求聚為4類，最終聚類的4個中心點為外立面的4個角點坐標，圖2為幕墻外立面角點檢測結果示意圖。

1.3.2 基于透視變換的幕墻外立面畸變校正

透視變換[14]是計算機視覺常用的扭曲圖像透視校正方法，可通過透視變換矩陣H將圖像從一個視平面(x,y,1)面投影到另一個視平面(x′,y′,1)，可表示為

(3)

利用1.2.1節(jié)檢測到的4個角點坐標和預設的4個標準參考點坐標求出透視變換矩陣H，標準參考點的設定應盡量還原正常外立面的比例。對調整后的原始圖像按照式(3)進行校正。示例中存在兩個幕墻外立面，因此，兩個外立面需要分別通過透視變換矩陣H1和H2進行各自的變換校正，將校正后圖像進行裁剪，即為幕墻外立面感興趣區(qū)域圖像，圖3為幕墻外立面校正示意圖。

從圖3可以看出，校正后的幕墻外立面感興趣區(qū)域中的開啟窗排列分布規(guī)則，對于特定的建筑，開啟窗在圖像中位置與大小是已知的，因此，可以直接根據(jù)預先標注的區(qū)域裁剪出每個開啟窗圖像，再通過分類卷積神經網絡判斷出開啟窗的開閉狀態(tài)。未采用如YOLOV4(you only look once version 4)[15]等的目標檢測算法來定位開啟窗位置的原因在于：原始圖像尺寸太大，導致模型參數(shù)過多，一般計算機硬件難以支撐，縮小圖像又會減小清晰度，影響檢測精度[16]。

圖2 掩碼圖像角點檢測Fig.2 Detecting corners of mask image

圖3 幕墻外立面校正Fig.3 Curtain wall facade correction

2 幕墻開啟窗檢測

2.1 數(shù)據(jù)預處理

在校正后幕墻外立面圖像上，對所有開啟和關閉狀態(tài)的開啟窗區(qū)域進行裁剪，并將裁剪后的圖像縮放成64×64分辨率，將開啟狀態(tài)的開啟窗作為正樣本，關閉狀態(tài)開啟窗作為負樣本，正負樣本比例設為1∶1。

2.2 夜間圖像增強

為了提高夜間的識別效果，采用文獻[17]的方法對夜間采集的圖像進行增強處理，該方法優(yōu)化了圖像局部對比度，增強了低強度像素，同時又避免了高強度像素的極度增加，方法具體步驟描述如下。

步驟1首先使用對數(shù)縮放函數(shù)對黑暗圖像進行處理得到圖像I1，該函數(shù)可以估計出人類視網膜所實現(xiàn)的效果，可表示為

(4)

式(4)中：X為輸入圖像。

步驟2將圖像X重新輸入到一個指數(shù)函數(shù)中得到圖像I2，該函數(shù)可以改進局部對比度，同時削弱圖像中的高強度像素。

I2=1-exp(-X)

(5)

式(5)中：exp為指數(shù)函數(shù)。

步驟3將I1和I2通過對數(shù)圖像處理模型LIP(logarithmic image processing)組合起來得到圖像I3，使I3具有I1和I2兩者特性。

(6)

式(6)中：λ為控制增強過程的常數(shù)，避免出現(xiàn)不合適的像素強度，這里將λ設為3。

步驟4此時，I3的亮度仍然較低，需要進一步增強以突出更多的細節(jié)特征，這里采用改進的雙曲正割分布的累積分布函數(shù)CDF-HSD(cumulative distribution function of hyperbolic secant distribution)提高圖像黑暗區(qū)域亮度得到圖像I4。

I4=erf{αarctan[exp(I3)]-0.5I3}

(7)

式(7)中：erf為誤差函數(shù)；α為控制增強量，α越大亮度越高，取α=5。

此時I4的像素值分布仍然被限制在有限的動態(tài)范圍內，而且圖像看起來很白。因此，采用歸一化函數(shù)線性縮放像素值。

(8)

式(8)中：I5為最終的圖像增強結果。

圖4 圖像增強前后對比Fig.4 Comparison of before and after the image enhancement

幕墻外立面圖像增強效果如圖4所示，盡管增強后的圖像與白天采集的圖像質量仍有一定差距，但圖像的邊緣特征明顯增強了，有利于提高后續(xù)開啟窗識別精度。

2.3 基于卷積神經網絡的開啟窗狀態(tài)分類

使用訓練圖像樣本及標簽，基于ResNet-18[18]卷積神經網絡進行模型參數(shù)訓練。ResNet采用了殘差跳躍結構，解決了由于網絡加深所導致的梯度彌散的問題，使模型更加容易訓練，ResNet-18與其他模型相比，其速度和準確性上具有良好的性能，ResNet-18網絡結構如圖5所示，包含有17個卷積層(包含8個跳躍連接)、全局平局池化層Avgpool、全連接層fc和Sigmoid層，最終輸出開啟窗狀態(tài)，這些層的基本原理詳見文獻[19]。

圖5 基于ResNet-18的開啟窗狀態(tài)分類網絡模型Fig.5 The architecture of theResNet-18-based window status classification module

2.4 開啟窗檢測結果

檢測之前，在校正后的幕墻外立面圖像上，對每個開啟窗位置進行標注，開啟窗位置記為[X1,Y1,X2,Y2]，4個參數(shù)代表框選開啟窗的矩形框的左上角橫縱坐標和右下角橫縱坐標，同時對每個開啟窗位置綁定房間號，建立開啟窗的圖像位置信息與房間號映射關系表。檢測時，根據(jù)標注的開啟窗矩形框將每個開啟窗裁剪出來，并統(tǒng)一縮放成64×64分辨率，然后批量輸入到訓練好的開啟窗狀態(tài)分類模型中，得到每個開啟窗的開閉情況，同時給出開啟狀態(tài)開啟窗所對應的房間號。

3 試驗與分析

3.1 實驗設置

3.1.1 數(shù)據(jù)集制作

本實驗針對廣東省深圳市南山區(qū)某寫字樓的一側幕墻外立面使用帶有廣角鏡頭的可見光相機采集了500張圖像，其中350張作為訓練集，50張作為驗證集，100張作為測試集，一張幕墻外立面圖像含有開窗258扇，每幅圖像經過微調后的分辨率為4 500×4 500。首先需要對數(shù)據(jù)集進行標注，標注的數(shù)據(jù)集分為如下兩類。

(1)對幕墻外立面圖像進行標注，標注的結果為外立面的掩碼圖像，用于U-Net語義分割模型的訓練。為了提高模型的泛化能力，使用透視變換、直方圖均衡化、加高斯噪聲、隨機遮擋等方式進行數(shù)據(jù)增強[20]。由于顏色特征非必要特征，將訓練圖像進行灰度化，即轉換成單通道圖像。

(2)對開啟窗圖像進行標注，標注的結果為開啟窗的開閉類型，用于ResNet-18分類模型的訓練。共有80 000張樣本，其中60 000張樣本作為訓練集，驗證集與測試集各10 000張，其中正樣本(開啟狀態(tài))40 000張，負樣本(關閉狀態(tài))40 000張，圖像縮放成64×64分辨率，為了增強模型的泛化性，同樣需要對樣本進行數(shù)據(jù)增強，增強方式包含：左右翻轉、色調飽和度亮度(hue & saturation & value，HSV)變化、轉灰度、gamma變換、加高斯噪聲與隨機遮擋等。

3.1.2 試驗環(huán)境

試驗的計算機程序基于Pytorch深度學習框架與OpenCV計算機視覺庫，使用Python編程語言實現(xiàn)。計算機試驗環(huán)境：CPU采用Intel(R)Xeon(R)3106，GPU采用NVIDIA Quadro 5000，操作系統(tǒng)為Win10。

3.1.3 模型訓練

U-Net卷積神經網絡訓練時，采用Adam優(yōu)化器，每次訓練的樣本數(shù)batchsize=32，初始學習率為0.001；ResNet-18卷積神經網絡采用Adam優(yōu)化器，batchsize=64，初始學習率為0.001；由于兩個神經網絡模型的輸出函數(shù)均為Sigmoid激活函數(shù)，因此訓練使用的損失函數(shù)使用二元交叉熵損失函數(shù)。訓練時，當損失函數(shù)輸出的損失值趨于穩(wěn)定時，將學習率降低為0.000 1繼續(xù)訓練，當驗證集準確率不再升高時保存訓練好的模型參數(shù)。

3.2 有效性評估試驗

3.2.1 評價指標

U-Net語義分割網絡模型采用交并比IOU作為評價指標，ResNet-18分類網絡模型采用精確率P、召回率R、F1值作為評價指標，指標計算公式分別為

(9)

(10)

(11)

(12)

式中：A和B分別為標簽掩碼圖像與語義分割圖像的面積；A∩B表示兩者的交集面積；A∪B表示兩者的并集面積；TP、FP和FN分別為分類結果的真陽數(shù)、假陽數(shù)和假陰數(shù)；P為正樣本被正確歸類數(shù)量與被歸類為正樣本數(shù)量的比值；R為正樣本被正確歸類的數(shù)量與實際正樣本數(shù)量的比值；F1為P和R的綜合評價指標。

3.2.2 試驗結果

圖6舉例展示了白日陰天場景與黑夜場景兩種光照下的外立面語義分割效果，圖6(a)為白日陰天場景原圖，圖6(d)黑夜場景亮化后圖像，從圖6(b)、圖6(c)與圖6(e)、圖6(f)為圖6(a)與圖6(d)對應的標簽圖像、分割圖像，可以看出，語義分割的魯棒性較高，可以有效提取外立面的掩碼圖像。最終評價指標分別為IOU=94.12%,由于這里只針對指定幕墻建筑進行訓練，因此像素歸類精度較高。

基于ResNet-18的幕墻開啟狀態(tài)分類模型評價指標如表1所示?？梢钥闯觯滋礻幪靾鼍昂秃谝箞鼍白R別精度均達到了較高水平，黑夜亮化場景相比于白天陰天場景精度略低，而黑夜未亮化場景精度最差。開啟窗錯誤識別結果示例如圖7所示，錯誤的識別結果均由于開啟窗開啟范圍過小而誤識別成了關閉狀態(tài)，黑夜場景下，雖然進行了亮化增強，但部分開啟窗開啟區(qū)域依然比較模糊，誤識別情況也就更加突出。

該方法的運算時間如表2所示，方法中比較耗時的步驟包括：亮化增強、開啟窗剪裁、U-Net語義分割與ResNet-18分類，其他步驟時間可忽略不計，上述4個步驟耗時1.01 s，表明該方法可以有效保證開啟窗狀態(tài)檢測的實時性。

圖6 基于U-Net的幕墻外立面分割結果Fig.6 Segmentation result of curtain wall facade based on U-Net

表1 分類模型評價結果Table 1 Evaluation results of the classification model

圖7 開啟狀態(tài)誤識別為關閉狀態(tài)Fig.7 The open state is misrecognized as the closed state

表2 運算時間Table 2 Operation time

4 結論

提出一種基于計算機視覺與深度學習技術的幕墻開啟窗檢測方法，用于大風天氣來臨前指導管控人員及時發(fā)現(xiàn)并關閉開啟窗。得出如下結論。

(1)基于U-Net語義分割法提取的外立面掩碼區(qū)域圖像，有利于準確地對外立面圖像進行畸變校正。

(2)基于ResNet-18的卷積神經網絡可以對開啟窗開閉狀態(tài)進行準確判斷。

(3)亮化增強法可以改善夜間開啟窗狀態(tài)識別準確率。

(4)下一步可通過超分辨率重建的方法進一步提高圖像質量，進一步提升夜間識別精度。

(5)對于開啟窗開啟范圍較小而導致的誤識別問題，下一步需要增加小范圍開啟窗的訓練數(shù)據(jù)量，使模型更多地學習這類樣本并提高對這類樣本的辨識度。