溫室通風設備狀態(tài)監(jiān)測系統(tǒng)設計與試驗

秦琳琳 黃云夢 吳 剛 石 春

(中國科學技術大學信息科學技術學院， 合肥 230027)

0 引言

近年來，我國設施農(nóng)業(yè)發(fā)展迅速。截止到2019年初，全國大中拱棚以上設施面積達3.7×106hm2，占世界設施園藝面積的80%；連棟溫室面積9.99×105hm2，占全國設施面積的27%；我國有現(xiàn)代化玻璃溫室9 000 hm2，僅次于荷蘭(10 800 hm2)。溫室環(huán)境監(jiān)控系統(tǒng)是提高溫室作物產(chǎn)量、降低勞動力成本的關鍵技術。隨著傳感器[1-2]、計算機控制[3]、網(wǎng)絡通信[4-5]以及物聯(lián)網(wǎng)[6-7]等技術的快速發(fā)展，智能監(jiān)控系統(tǒng)逐漸被應用到溫室監(jiān)控領域[8-9]。研究基于移動終端的農(nóng)業(yè)遠程監(jiān)控方案[10-11]極大地方便了用戶對溫室環(huán)境的遠程監(jiān)控。現(xiàn)有系統(tǒng)大多以環(huán)境監(jiān)測為主[12-14]，一些實現(xiàn)自動控制功能的系統(tǒng)允許管理員遠程監(jiān)測控制狀態(tài)[15]，但無法干預自動控制過程、選擇控制方法或切換手動自動控制，一些系統(tǒng)缺少溫室現(xiàn)場視頻圖像信息[16]和先進算法的嵌入[17]。

溫室智能監(jiān)控系統(tǒng)具有全面感知、信號穩(wěn)定傳輸和智能應用的優(yōu)點，且系統(tǒng)易于擴展、應用性強，能協(xié)助溫室進行環(huán)境控制，實現(xiàn)作物優(yōu)質(zhì)、高產(chǎn)[18-19]。然而，溫室中很多設備無位置反饋裝置，其運行以時間為基準，在使用過程中可能導致設備實際位置與控制系統(tǒng)識別記憶位置產(chǎn)生偏差。因此，需要對溫室內(nèi)設備的狀態(tài)進行監(jiān)測，以防止設備因錯誤操作而出現(xiàn)故障。目前，溫室通風設備主要采用齒輪齒條開窗機構、手動及電動卷膜機構、強制通風系統(tǒng)和環(huán)境風機等，其中，齒輪齒條開窗機構結構簡單、消耗動力小，應用最為普遍。溫室降溫設備主要用于夏季溫室內(nèi)溫度的調(diào)節(jié)，主要包括室內(nèi)外遮陽裝置、濕簾、風機、噴淋降溫設備和空調(diào)降溫設備。

目標檢測即從視頻圖像中獲取運動目標。作為計算機視覺技術中一個重要的分支，目標檢測已取得了飛速發(fā)展。根據(jù)攝像頭在采集視頻圖像的過程中是否發(fā)生移動，可將目標檢測分為靜態(tài)背景下的目標檢測和動態(tài)背景下的目標檢測。前者采集到的視頻是由固定攝像頭拍攝，背景不變化或者變化較慢，只有前景會發(fā)生變化；后者采集到的視頻是由可移動的攝像頭拍攝，監(jiān)控時背景和前景都會發(fā)生變化。本研究溫室內(nèi)攝像頭固定，可采用靜態(tài)背景下的目標檢測算法，算法主要包括幀間差分法、背景差分法、光流場、混合高斯模型、邊緣檢測算法等[20-22]。本文研究幀間差分法和自相關函數(shù)法、背景差分法和Canny邊緣檢測圖像識別技術在溫室設備狀態(tài)檢測中的應用，其中，幀間差分法和自相關函數(shù)法用于風機停轉狀態(tài)的檢測，背景差分法和Canny邊緣檢測算法用于天窗開度狀態(tài)的檢測，并比較不同目標檢測算法的實時性和準確性。在前期研究的基礎上[23-24]， 對基于Android平臺開發(fā)的溫室遠程監(jiān)控系統(tǒng)進行功能擴充和系統(tǒng)完善。

1 系統(tǒng)總體設計

系統(tǒng)由現(xiàn)場監(jiān)控模塊、服務器和Android客戶端組成，如圖1所示。

1.1 現(xiàn)場監(jiān)控模塊

現(xiàn)場監(jiān)控模塊采用C/S架構，監(jiān)控軟件通過CANOpen協(xié)議和基于分布式CAN總線的溫室數(shù)據(jù)采集與控制系統(tǒng)通信[25]。輸入模塊接收傳感器采集的溫室內(nèi)外環(huán)境因子，將數(shù)據(jù)發(fā)送到CAN總線。輸出模塊通過CAN總線接收來自現(xiàn)場監(jiān)控軟件的控制信號，控制繼電器的動作調(diào)控設備。現(xiàn)場監(jiān)控模塊還具有視頻監(jiān)控等多種實用功能。

1.2 服務器

MySQL數(shù)據(jù)庫服務器是遠程監(jiān)控子系統(tǒng)和現(xiàn)場監(jiān)控模塊通信的橋梁。現(xiàn)場監(jiān)控模塊將處理過的實時環(huán)境數(shù)據(jù)、設備狀態(tài)信息以及設備控制日志等存儲到數(shù)據(jù)庫中。

1.3 Android客戶端

Android客戶端具有用戶注冊管理、實時環(huán)境數(shù)據(jù)監(jiān)測、設備遠程控制、視頻監(jiān)控等功能。遠程監(jiān)控子系統(tǒng)將數(shù)據(jù)庫中存儲的信息展示給遠程用戶，實現(xiàn)用戶對溫室設備的遠程控制。

2 設備狀態(tài)檢測

溫室控制系統(tǒng)主要由開關設備和可連續(xù)控制但無位置伺服反饋的設備構成，設備(如天窗、風機、濕簾、遮陽網(wǎng)等)狀態(tài)一般為開關量。由于溫室中很多設備無反饋裝置，如天窗的位置控制(以時間為基準)，其實際位置與預期位置可能存在差別。另外，溫室自動控制可能產(chǎn)生錯誤的操作，導致軟件中的設備狀態(tài)與設備實際狀態(tài)不符合，造成無法控制或者硬件設備損傷。因此需要對溫室內(nèi)設備狀態(tài)進行監(jiān)測。

試驗溫室內(nèi)安裝有海康威視DS-2CD3212D-15型紅外網(wǎng)絡攝像頭，位置固定，根據(jù)紅外攝像頭獲取溫室內(nèi)部風機和天窗的視頻信息，對采集的視頻信息進行處理，獲取風機轉停狀態(tài)和天窗開度狀態(tài)，以防因設備故障等造成對農(nóng)業(yè)生產(chǎn)的影響。根據(jù)風機和天窗的特點與實際情況，選用幀間差分法和自相關函數(shù)法檢測風機狀態(tài)，背景差分法和Canny邊緣檢測方法檢測天窗狀態(tài)。圖2為攝像頭視頻序列中風機停止和某個風機運轉時的圖像，圖3是視頻序列中天窗開度分別為0%、50%、100%時的圖像。

2.1 風機停轉狀態(tài)檢測

2.1.1幀間差分法及其應用

幀間差分法是求出圖像序列中相鄰兩幀或多幀圖像像素間的差分，并通過設定一定的閾值將其轉換為二值圖像，利用視頻圖像相鄰幀之間相關性較強的檢測原理，來確定運動目標的方法。在背景靜止的情況下，此方法有較好的效果。

記視頻序列中第n幀和第n-1幀圖像為fn和fn-1，兩幀對應像素點(x,y)的灰度記為fn(x,y)和fn-1(x,y)，將兩幀圖像對應像素點的灰度進行相減，并取其絕對值，得到差分圖像Dn，計算式

Dn(x,y)=|fn(x,y)-fn-1(x,y)|

(1)

設定閾值T1，逐個對像素點進行二值化處理，得到二值化圖像Rn為

(2)

式中T1——幀間差分法二值化閾值

其中，灰度為1的點即為前景(運動目標)點，灰度為0的點即為背景點。

幀間差分法算法實現(xiàn)簡單，程序設計復雜度低，對光線等場景變化不太敏感，能夠適應各種動態(tài)環(huán)境，穩(wěn)定性好。但是不能提取出對象的完整區(qū)域，只能提取出邊界，可能出現(xiàn)“空洞”現(xiàn)象和“假多目標”現(xiàn)象。

攝像頭在溫室內(nèi)位置固定，因此背景靜止。試驗表明，風機正常運行時轉速不是攝像頭采樣頻率的整數(shù)倍。利用視頻序列中第n幀與第n-1幀、第n幀與第n+1幀、第n-1幀和第n+1幀差分后再得到的二值化圖像，通過統(tǒng)計二值化圖像中前景點的個數(shù)綜合判斷第n幀對應的風機狀態(tài)，即得到的3個二值化圖像中有任意圖像中前景點個數(shù)大于設定閾值時，即判斷此時風機運轉，否則風機停止。圖4為風機運轉中得到的二值化圖像。

從圖4可以看到，當風機運轉時，幀間差分法能夠清晰地檢測到風機。而當風機停止時，得到的二值化圖像中無風機。

通過統(tǒng)計二值化圖像中前景點的個數(shù)判斷風機狀態(tài)。針對一天中的光線不同，攝像頭采集圖像背景不同，需要分情況設定二值化的閾值。首先，判斷背景圖像是白天還是夜晚，采用的方法為先得到白天時背景圖像的灰度圖，設置二值化閾值為200，得到二值化圖像。統(tǒng)計不包含邊界的小部分區(qū)域的像素(黑色像素為0，白色像素為255)判斷白天或夜晚，若像素之和大于10%，則判定為白天，設置差分圖像的二值化閾值為90，否則設置差分圖像的二值化閾值為15。統(tǒng)計風機所在區(qū)域的二值化圖像中像素之和，若是白天，大于5%，則判斷風機轉動；若是夜晚，大于2%，則判斷風機轉動。

2.1.2自相關函數(shù)法及其應用

自相關函數(shù)法是描述信號X(t)在任意兩個不同時刻1、2的取值之間的相關程度。互相關函數(shù)給出了在頻域內(nèi)2個信號是否相關的一個判斷指標，把兩測點之間信號的互譜與各自的自譜聯(lián)系起來。它能用來確定輸出信號多大程度來自輸入信號，對修正測量中接入噪聲源而產(chǎn)生的誤差非常有效。將信號的概念移植到圖像處理之中，使得對風機轉停的判斷從概念上變成了對兩幅圖像灰度相關性的檢驗。

自相關函數(shù)法是利用連續(xù)兩幅圖像，若風機不轉，則連續(xù)取兩幅圖像必然相差不大，相似度很高；若風機轉動，則連續(xù)取兩幅圖像相差較大，相似度很低。連續(xù)從監(jiān)測視頻中取兩幅圖像a、b并截取風扇的部分，并將它們轉換成灰度圖。對其進行中心化

(3)

其相關性計算式為

(4)

acent——圖像a風扇部分中心化值

bcent——圖像b風扇部分中心化值

r——圖像a、b風扇部分相關性

取閾值為T2，當r>T2，風機不轉；當r≤T2時，風機轉動。

圖5為風機運轉中截取的風扇部分。

根據(jù)幀間差分法判斷白天還是晚上，對于白天設置閾值T2為0.9，即當相關性大于0.9時，判斷風機為停止，相關性小于0.9時為轉動。對于夜晚設置閾值T2為0.993。

選取時長分別為32、28、14、11 s的4段視頻，分別采用幀間差分法和自相關函數(shù)法進行風機狀態(tài)檢測。表1為不同檢測算法所需時間。

表1 風機狀態(tài)檢測的不同算法運行時間Tab.1 Execution time of different algorithms for fan state detection

根據(jù)表1中4段不同時長的視頻段不同算法檢測風機狀態(tài)所需時間，自相關函數(shù)法比幀間差分法實時性好，幀間差分法檢測監(jiān)控視頻中的目標風機平均每幀耗時約37 ms，自相關函數(shù)法檢測監(jiān)控視頻中的目標風機平均每幀耗時約33 ms，都能夠快速檢測出風機狀態(tài)。

2.2 天窗開度狀態(tài)檢測

視頻監(jiān)控系統(tǒng)主要使用固定攝像頭對場景進行監(jiān)控，場景固定，在智能化視頻監(jiān)控系統(tǒng)中，背景差分法是一種重要的運動目標分割方法[26]。背景差分法是目前運動分割中最常用的一種方法，但是需要構建一幅背景圖像，背景圖像不包含運動目標。邊緣提取方法也稱為邊緣檢測算子。Canny邊緣檢測算子在處理受高斯噪聲污染的圖像中效果良好，很快得到普及[27-28]。利用背景差分法和Canny邊緣檢測方法對天窗開度狀態(tài)進行檢測。對比兩種檢測方法的準確性、運行時間等性能。

2.2.1背景差分法及應用

背景差分法基本思路是通過輸入圖像與背景圖像進行比較的方法檢測運動目標，核心是將序列圖像當前幀與背景圖像做減法運算。由于運動物體和背景在灰度或色彩上存在差別，相減后所得結果中每一像素和一個預先設定的閾值相比較，如果這個像素大于設定的閾值，則判定被監(jiān)控的場景中存在運動物體，從而得到運動目標。

如不考慮噪聲n(x,y,t)的影響，視頻幀圖像I(x,y,t)可以看作是由背景圖像b(x,y,t)和運動目標m(x,y,t)組成，即

I(x,y,t)=b(x,y,t)+m(x,y,t)

(5)

在實際應用中，由于噪聲的影響，式(5)不能得到真正的運動目標，而是由運動目標區(qū)域和噪聲組成的差分圖像d(x,y,t)，即

d(x,y,t)=I(x,y,t)-b(x,y,t)+n(x,y,t)

(6)

以下兩個假設為前提條件：①在靜態(tài)背景下，外界的光照條件不變并且不考慮噪聲的情況下，視頻圖像序列的背景保持不變。②在目標可視的情況下，目標與背景的灰度之間存在一定的對比度。采用最常用的閾值分割方法，得到運動目標，即

(7)

式中T3——背景差分法二值化閾值

背景圖像差分法其原理和算法設計簡單，可以根據(jù)實際情況確定閾值進行處理，所得結果直接反映了運動目標的位置、大小形狀等信息，能夠得到比較精確的運動目標信息。但同時也存在受光線、天氣等外界條件變化的影響較大。

將某一時刻天窗關閉時的圖像作為背景圖像。采用背景差分法得到二值化圖像，如圖6所示。

在二值化圖像中取x=360這一列，測出開度為0%、50%、100%時所對應的天窗邊沿所在的位置y分別為218、168、118。進行線性化，得到天窗開度A和天窗邊沿所在位置y的關系為

(8)

通過背景差分法可以準確地檢測天窗邊沿的位置，從而判斷天窗開度。

2.2.2Canny邊緣檢測算法及應用

邊緣檢測原理是檢測出圖像中所有灰度變化較大的點，而且這些點連起來構成若干線條，稱之為圖像邊緣。

Canny邊緣檢測算法及其描述如下：

(1)利用高斯濾波器對圖像進行濾波，消除圖像中的噪聲。Canny邊緣檢測算子屬于線性濾波方法，需要先對圖像進行平滑濾波。Canny邊緣檢測算子采用的濾波函數(shù)是高斯函數(shù)的一階微分，能在噪聲抑制和邊緣檢測之間取得較好的平衡。

(2)進行一階微分。Canny邊緣檢測算子通過計算像素點的梯度增強圖像，計算圖像的梯度，并將梯度分類為垂直、水平和斜對。輸出用于在下一步中計算真正的邊緣。

(3)對梯度進行“非極大抑制”。利用上一步計算出的梯度方向，檢測某一像素在梯度的正方向和負方向上是否為局部最大值，如果是，則抑制該像素(像素不屬于邊緣)。其是一種邊緣細化技術，用最急劇的變換選出邊緣點。

(4)對梯度取兩次閾值。Canny邊緣檢測算子通過對梯度按閾值取舍方法檢測邊緣，用兩個分別稱為低通閾值和高通閾值的閾值T1和T2，把梯度小于T1的像素灰度設為0，得到圖像1。把梯度小于T2的像素灰度設為0，得到圖像2。由于圖像2的閾值較高，噪聲較小，但損失了有用的邊緣信息，而圖像1的閾值較低，保留了較多信息。因此可以在圖像2的基礎上，以圖像1為補充連接圖像邊緣。

將Canny邊緣檢測算法應用于天窗開度檢測，圖7為開度50%、100%時得到的檢測圖像。同樣利用開度和天窗邊沿所在位置的關系，判斷天窗開度。

選取時長分別為52、34、26、24 s的4段視頻，分別采用背景差分法和Canny邊緣檢測算法進行風機狀態(tài)檢測。表2為不同檢測算法所需時間。

表2 天窗狀態(tài)檢測的不同算法時間Tab.2 Execution time of different algorithms for vent state detection

根據(jù)表2中4段不同時長的視頻段不同算法檢測天窗狀態(tài)所需時間，背景差分法檢測監(jiān)控視頻中的天窗狀態(tài)平均每幀耗時約37 ms，Canny邊緣檢測算法檢測監(jiān)控視頻中的天窗狀態(tài)平均每幀耗時約107 ms，背景差分法實時性比Canny邊緣檢測算法好。

3 異常告警

采用圖像檢測算法對風機和天窗的狀態(tài)進行檢測，當出現(xiàn)檢測結果與計算機內(nèi)部狀態(tài)不一致、設備故障以及溫室內(nèi)溫度異常、出現(xiàn)極端天氣等狀況下需要異常告警機制，保證設備安全以及溫室內(nèi)作物的正常生長。

3.1 方案

溫室環(huán)境因子或者設備出現(xiàn)異常狀況時，利用微信發(fā)送平臺飛鴿快信，推送消息到管理員的微信。

3.2 應用

建立飛鴿快信管理員群，通過掃描二維碼訂閱公眾號飛鴿快信，能夠接收告警消息。圖8為建立的飛鴿快信管理員群。

圖9為設備檢測狀態(tài)和計算機內(nèi)部狀態(tài)不同時收到的設備告警信息，圖10為風速過大沒有關閉天窗時的告警信息。通過信息提醒管理員溫室內(nèi)設備出現(xiàn)問題或者設備狀態(tài)需要調(diào)控，可以通過現(xiàn)場查看或者攝像頭遠程查看設備，及時控制設備。

4 系統(tǒng)應用試驗

4.1 試驗材料與方法

試驗溫室位于中國科學技術大學西區(qū)信息科學技術學院，面積82 m2，東西長12.2 m，南北跨度8.2 m，檐高4.9 m，頂高6.2 m。溫室內(nèi)安裝有溫濕度傳感器、太陽輻射儀器、CO2濃度傳感器，室外設有小型氣象站，包括溫濕度傳感器、太陽輻射儀器、風速風向傳感器用于測量環(huán)境參數(shù)。溫室環(huán)境調(diào)控設備包括風機、天窗、內(nèi)遮陽網(wǎng)和濕簾等。本系統(tǒng)應用在該試驗溫室中。

圖11為Android客戶端界面，分為環(huán)境、控制、系統(tǒng)和個人4個標簽頁，通過點擊Tab實現(xiàn)切換。

4.2 試驗結果與分析

4.2.1風機狀態(tài)檢測結果

設備狀態(tài)檢測試驗在該試驗溫室內(nèi)進行，時間為2020年1月2—5日，共4 d時間內(nèi)對風機狀態(tài)進行了實時監(jiān)測，如圖12所示。采樣時間為1 min，檢測時間為1 min，每天采樣次數(shù)為1 440次。

根據(jù)表3幀間差分法和自相關函數(shù)法檢測風機狀態(tài)的準確度，對于本試驗溫室風機狀態(tài)檢測，兩種目標檢測算法都能夠較準確地檢測出風機的狀態(tài)，幀間差分法準確度不小于99.58%，自相關函數(shù)法準確度不小于98.75%，幀間差分法的準確度略高于自相關函數(shù)法。根據(jù)實時運行結果，幀間差分法每幀耗時30 ms，自相關函數(shù)法每幀耗時27 ms，自相關函數(shù)法的實時性更好。

表3 風機狀態(tài)檢測算法準確度Tab.3 Accuracy of fan state detection algorithm

4.2.2天窗狀態(tài)檢測結果

設備狀態(tài)檢測試驗在該試驗溫室內(nèi)進行，時間為2020年1月9—11日，共3 d時間內(nèi)對天窗狀態(tài)進行了實時監(jiān)測，如圖13所示。采樣時間為1 min，檢測時間為1 min，一天中采樣次數(shù)為1 440次。

根據(jù)表4分析背景差分法和Canny邊緣檢測算法的準確度，背景差分法和Canny邊緣檢測算法都能夠較準確檢測出天窗的狀態(tài)，準確度不小于99.58%，Canny邊緣檢測算法的準確度略高于背景差分法。根據(jù)實時運行結果，背景差分法每幀耗時18 ms，Canny邊緣檢測算法每幀耗時24 ms，背景差分法實時性優(yōu)于Canny邊緣檢測算法。

表4 天窗狀態(tài)檢測算法準確度Tab.4 Accuracy of vent state detection algorithm

5 結論

(1)根據(jù)現(xiàn)代溫室的管理需求，設計了現(xiàn)代溫室智能監(jiān)控系統(tǒng)。系統(tǒng)由現(xiàn)場監(jiān)控模塊、服務器和Android客戶端組成，每個部分相對獨立，具有較高的應用性、可擴展性和可維護性。Android客戶端具有實時環(huán)境數(shù)據(jù)顯示、歷史數(shù)據(jù)查詢、設備控制、實時視頻監(jiān)控等功能。系統(tǒng)便利性好，不受時間地域限制，用戶可以在具備網(wǎng)絡覆蓋的條件下通過手機對溫室進行監(jiān)控。

(2)利用溫室內(nèi)攝像頭監(jiān)控設備狀態(tài)，采用幀間差分法和自相關函數(shù)法判斷風機停轉，采用背景差分法和Canny邊緣檢測方法識別天窗開度，實現(xiàn)了設備狀態(tài)監(jiān)測，解決了無位置伺服反饋設備難以獲取其精確狀態(tài)的問題。具有異常告警機制，當設備出現(xiàn)異常狀況或者溫室內(nèi)環(huán)境信息異常時，系統(tǒng)自動向用戶發(fā)送消息。

(3)采用圖像檢測對溫室內(nèi)的風機和天窗設備進行狀態(tài)檢測，由于溫室內(nèi)攝像頭只有一個，且位置固定故只能監(jiān)控風機和天窗兩種設備，對于遮陽網(wǎng)和濕簾沒有進行狀態(tài)檢測。后續(xù)研究可以通過增加攝像頭對溫室內(nèi)其他設備進行狀態(tài)檢測，以及通過圖像處理的方法對溫室內(nèi)植物的生長狀況、病蟲害狀況進行監(jiān)測。