基于計算機視覺的家居安防監控機器人的設計

劉雯景 陳志鵬

（廣東海洋大學 廣東省湛江市 524088）

1 引言

機器人行業多應用于工業生產中，更多是應用于代替人工進行機械化重復工作從而降低人工成本。可進行隱患檢測的機器人常常被應用于工廠中或者是危險區域作業的特種機器人，如化工廠中用于檢測可燃氣體泄漏的工業機器人、火災現場滅火機器人、案發現場拆彈機器人等。目前國內居家安全隱患檢測機器人尚未普及，用于安全隱患方面的設備多以非智能的獨立模塊為主，如火焰傳感器模塊、煙霧傳感器模塊、可燃氣體傳感器模塊等等。而對于室內監控，往往使用的是監控攝像頭，但使用監控攝像頭往往會以固定在特定高度的方式來對室內換進行監控，多數不攜帶智能識別技術或所攜帶的智能識別技術水平較低。不少學者也提出了家用監控機器人的設計理念，用于對家庭環境中可燃氣體的檢測、煙霧氣體檢測、以及防盜檢測等[1][2]。但多由于技術上智能化程度較低，實用性較差，難以在市面上進行推廣。因此，本文設計一款家居安防監控機器人，除了利用高精度的傳感器來檢測家居可燃氣體濃度、煙霧濃度、室內溫濕度等[2]，還利用高清攝像頭實時采集圖像，通過分析圖像來檢測室內可能存在的安全隱患問題，譬如通過識別火焰及時發現可能發生的火災[3][4]，并將信息上報至安卓手機端進行報警。

2 系統總體設計

2.1 總體設計目標和需求

（1）機器人應當能實時接收和處理姿態傳感器的數據，并將處理后的數據發送給電機驅動模塊來精確控制電機的轉向和轉速，從而實現自平衡運動。

（2）在可自平衡運動的基礎上，機器人應具有一定的室內隱患監測功能，一方面可通過傳感器模塊實時采集室內環境參數；另一方面通過圖像采集模塊對室內環境進行采樣和分析，譬如通過識別圖像中的火焰來預報火災。

（3）機器人還應該具有一定的通訊能力，用戶可以通過手機終端實時查看機器人所采集的室內環境情況，如果發現隱患機器人應及時提醒用戶。機器人需要滿足的技術參數由表1所示。

表1：技術參數的設計目標

2.2 總體設計方案

基于圖像識別系統的雙輪自平衡監控機器人主要的設計環節包括五部分，控制電路部分、運動算法部分、視覺分析部分、通訊協議部分、上位機監控部分。各部分具體關系如圖1所示。

圖1：設計框架各部分關系圖

機器人開機后，首先會對自身設備進行初始化，如相關傳感器的啟動、圖像傳輸系統的初始化、機器人的姿態由不穩定趨向穩定等。初始化完畢后，機器人按照具體設定的路線進行運動，在運動過程中機器人的圖像傳輸系統會實時捕獲周圍環境的數據，與此同時，機器人所攜帶的陀螺儀傳感器也會實時對機器人姿態進行糾正，使得機器人能不斷直立穩定地前進。當圖像傳輸系統獲取到圖像數據后，便將原始圖像數據發送至PC 端對圖像進行深度處理。經過PC 端的圖像識別后，PC 端會在圖像中框出出現火情的位置并將相關災害信息發送至上位機監控部分，同時也會發送機器人的有關傳感器數據，用戶得以查看室內安全隱患情況。具體的操作流程圖如圖2所示。

圖2：機器人工作流程圖

3 系統實現

3.1 控制電路部分

控制電路主要負責機器人的自平衡雙輪運動、對傳感器數據進行處理、加工、發送、以及接收用戶發送的數據等功能。該部分主要由五大模塊組成：主控模塊、電源模塊、傳感器模塊、電機驅動模塊，各模塊之間的相互作用如圖3所示。主控模塊為機器人的核心部分，主控模塊中所采用的主控芯片為ARM Cortex-M3 內核STM32F103C8T6 的32 位微控制器芯片，擁有64KB 程序存儲器、20KB 隨機存取存儲器，多個IO 口及多種通訊接口；芯片較小但功能強大，可大大節約主控電路板中電路所占用面積，使得電路更加緊湊，性價比極高。電源模塊主要負責機器人的供電、穩壓以及電源電量的監控。電源模塊由3 部分組成：12V 轉5V 穩壓電路、5V轉3.3V 穩壓電路、電源電量反饋電路。由于主控芯片的灌電流和拉電流均不足以驅動電機，并且電機的轉動所產生的感應電動勢會使得主控芯片擊穿，為了提高主控芯片的驅動能力，并且更好地保護主控電路，因而需要電機驅動電路來間接控制電機的轉動。本設計采用內含大電流MOSFET 組成H 橋結構的TB6612FNG 作為電機驅動芯片，可在同一時間驅動自平衡機器人的兩個電機，可持續輸出1.2A 電流，滿足機器人正常運作所需的電流大小。該芯片性能高、體積小、散熱好。傳感器模塊使得機器人對自身以及外界具有一定的感知能力，所感知的數據用于自身運動的反饋或用于室內環境檢測。本文設計的機器人的傳感器模塊主要由包括姿態傳感器電路、煙霧傳感器電路、溫濕度傳感器電路、轉速傳感器電路。

圖3：電路控制部分各模塊間作用圖

3.2 運動算法部分

一般機器人的運動方式由以下幾種：履帶式、輪式、腿式、雙輪自平衡式。雙輪自平衡式相對于履帶式以及輪式而言，行動更為靈活，占地面積更小，機器人可適應各種狹窄而復雜的環境，而相對于腿式而言，即便沒有達到腿式的靈活程度，但是在設計難度上可大大降低，成為了室內監控機器人的最佳運動方式。

雙輪自平衡的工作原理源于倒立擺的控制原理，其系統是非線性、強耦合、多變量和自然不穩定的系統，是檢驗各種控制理論的理想模型。由于室內環境復雜，空間較為狹窄，傳統的四輪機器人相對于雙輪自平衡結構而言，占地面積以及體積更大，對地形變化的適應能力相對較差。雙輪自平衡結構通過兩輪的差動輸入可以實現零回轉半徑和U 型回轉等優點，運動方式更加靈活[5]。

PID 控制是現如今最通用的控制方法，大多數的閉環控制均采用此算法或該算法的變形來控制[6]。PID算法，便是比例、積分、微分，只需確定好三個重要參數（比例常數KP、積分常數KI、微分常數KD），即可得到對應每個時間點的誤差所對應的輸出。PID 算法的原始公式見公式（1）：

其中u(t)為算法的輸出，Kp 為積分系數，e(t)為當前時刻誤差，Ti、Td 分別為積分時間常數、微分時間常數，T 為采樣周期。

自平衡機器人的自平衡運動算法的最終輸出為電機驅動所輸出的電流大小以及極性。運動算法的核心是PID 算法，對于自平衡機器人穩定平衡運動，算法上使用了三套不同的PID 算法，由直立環、速度環、轉向環來分別對各自不同種類的偏差做出電機驅動電流上的不同類型的反饋。三閉環PID 的參數調整時，必須以不影響機器人自身穩定為基礎。將最終算出的直立環、速度環、轉向環的各自占空比大小直接相加，自平衡機器人便穩定直立運行，在不同地形、不同初始角度、不同負載重心的情況下也可以輕松自行找到重心從而實現姿態的自適應。

3.3 視覺分析部分

視覺分析部分負責將來自圖像傳輸系統的原始圖像進行深度加工，對環境內的火焰進行識別，檢測出環境內是否有火情的發生，以及火災發生所在圖像中的位置，并在圖像中表示出，以便用戶查看以及提醒用戶火情的發生。

視覺分析部分對圖像的執行流程如下：PC 端接收到來自圖像傳輸系統的原始圖像數據，圖像處理算法先對原始圖像進行特征的初步提取，計算出圖像中與火焰特征最吻合的圖像所在的區域位置及大小，并截取該位置的圖像。為了提高圖像檢測的準確性以及實時性，將截取的圖像輸入到神經網絡中，并通過神經網絡對圖像進行進一步分析，以便區分出火焰以及與火焰特征相近的其他物體（如燈光），提高圖像檢測的準確率。視覺分析部分具體執行流程如圖4所示。

圖4：視覺分析執行流程圖

在軟件實現上，首先通過調用OpenCV 庫讀取圖像傳輸系統中的原始圖像，使用cv2.cvtColor 方法將圖像映射到HSV 域。隨后使用cv2.inrange()方法通過設定的最低、最高HSV 閾值獲得圖像的掩膜，將圖像中符合火焰特征的亮度、飽和度、色調閾值范圍的像素全部置1，閾值范圍外的像素全部置0，進而完成圖像二值化，得到圖像中的符合火焰特征的具體區域。調用cv2.findContours方法提取出圖像中白色區域的輪廓并選中最大輪廓，并由cv2.minEnclosingCircle 得到最大外接圓的中心坐標以及半徑，確定火焰所在的區域大小以及具體位置。最后根據該位置截取圖像，以便后續圖像分類操作的進行。在進行圖像特征提取后，將初步篩選的圖像輸入至以神經網絡為基礎的模型中進行數據擬合，從而將圖片中的物體分類為火焰或者是其他物品。本設計神經網絡的構建基于Keras 庫，為順序模型，模型層數依次為12 層，除最后一個激活函數為softmax 函數用于神經網絡輸出歸類外，其余均為relu 函數。

3.4 通訊協議部分

自平衡監控機器人的通信協議部分是將機器人其余各部分相聯系的紐帶，通信協議部分所設計的范圍主要有主控系統中異步串行通信、圖像傳輸系統的傳輸協議。由于圖像傳輸系統中部分功能和異步串行通信集成于上位機監控部分中，因而兩者并不能完全分離。機器人以異步串行通信的方式通過藍牙將上位機監控系統與機器人主控系統相連接進行數據通信，用于上位機監控系統對機器人的實時控制以及機器人自身的有關傳感數據的發送至上位機監控系統供用戶查看。圖像傳輸系統獲取圖像后以Wi-Fi 的方式利用UDP 協議進行圖像數據的傳輸，供PC 端對原始圖像的處理與識別，并且再利用該方式將處理后的圖像以及相關數據發送至上位機監控系統以便用戶對室內環境的監控以及相關數據的掌握。各系統之間的通信關系如圖5所示。

圖5：各系統之間的通信關系

3.5 上位機監控部分

上位機監控系統主要用于用戶對機器人的狀態的監控、對環境狀況的監控以及查看室內空間圖像的相關信息，以便機器人對用戶匯報有關室內隱患信息以及體系用戶做好相關措施。上位機監控系統部署于安卓平臺，一共有4 個頁面，分別為主界面、機器人控制頁面、室內監控畫面、機器人狀態數據頁面。上位機監控系統各個頁面效果如圖6所示。

圖6：狀態數據頁面

4 總結與展望

本文設計的智能家居安防機器人包括硬件底層設計、控制算法設計、視覺算法設計以及安卓監控設計，經過大量的實驗以及實地操作，機器人能夠很好地實現既定功能，并且對用戶設定的監控任務能夠高效地完成。但該設計仍存在一些待完善和改進和的地方：

（1）基于計算機視覺的隱患檢測的種類欠缺，本設計僅僅考慮火焰的檢測，在以后的研究當中還可以考慮盜賊入室、室內人員發生意外等的檢測功能；

（2）機器人是按照既定路線在運動，尚未加入避障算法以及室內定位，機器人的運作效果有所欠缺；

（3）機器人的數據通信方式有待升級，機器人的通訊部分的研究現停留于局域網通訊范圍，未能實現真正的物聯網設備，用戶的體驗也只是停留于局限的區域范圍。