嵌入式AI視覺套件在中學創客活動、機器人活動中的應用研究

孟憲超

摘 要：本文研究主旨是將嵌入式AI視覺套件與樹莓派結合，形成一套可兼容Arduino、能力風暴、樂高等主流控制器的視覺傳感器;可以讓學生用該傳感器做自己熟悉硬件的人工智能方面的開發。

關鍵字：樹莓派;創客教育;機器人教育;Arduino;計算機視覺

1、研究背景：

近年來，機器人教育、創客教育在中小學生教育中越來越普及，無論是Arduino、樹莓派這類開源硬件，還是樂高、能力風暴這類教育機器人產品對于人工智能（AI）的教學應用幾乎沒有，隨著AI逐漸滲入到我們生活的方方面面，對于中小學生學習AI的重要性逐漸突顯出來[1]。所以是否能設計一款兼容性好的人工智能設備讓同學們在自己熟悉的硬件上學習人工智能、做人工智能應用開發，是我們研究該項目的基本思路。

2、該研究應用的科學依據和創新點

2.1嵌入式AI視覺套件的應用研究使用了，項目教學法：教師設置創客項目，學生組建團隊完成該項目，以此來學習計算機程序設計：python編程方法。黑箱實驗法：在硬件方面，使用Intel的MA245X卷積神經網絡加速芯片，讓計算機視覺識別檢測本地化運算成為可能。在軟件方面利用網絡中開源的圖像檢測的模型，提前由教師搭建運行該模型通用的環境，學生可以很容易的調用該模型中API接口，比如學生檢測人臉，學生使用設備直接調用對應的人臉檢測API接口，就可以取得檢測結果。利用學生現有平臺，將設備檢測結果傳遞給學生熟悉的主控設備，利用GPIO數字口的高低電平方式進行信息傳遞。

2.2該項目的創新點

IntelMovidiusMA245X卷積神經網絡（CNN）加速芯和攝像頭組成的嵌入式AI視覺套件結合樹莓派組成一套視覺傳感器，其基本原理是攝像頭將捕捉到的畫面，通過內嵌模型（具有人臉檢測、人臉識別、物體識別、場景學習等）運算后反饋給樹莓派，樹莓派將這些視覺信息變為數字信號通過GPIO、串口、Wifi、藍牙等形式傳遞給Arduino、樂高、能力風暴等主控設備。

3、AI視覺套件應用研究的實施過程：

3.1方案構思

IntelMovidiusMA245X卷積神經網絡（CNN）加速芯和攝像頭組成的嵌入式AI視覺套件結合樹莓派組成一套視覺傳感器，其基本原理是攝像頭將捕捉到的畫面，通過內嵌模型（具有人臉檢測、人臉識別、物體識別、場景學習等）運算后反饋給樹莓派，樹莓派將這些視覺信息變為數字信號通過GPIO、串口、Wifi、藍牙等形式傳遞給Arduino、樂高、能力風暴等主控設備[2]。

材料清單：

樹莓派，Intel的MA245X卷積神經網絡加速芯片、攝像頭、10.1寸液晶屏、基本計算機外設、各類教育機器人平臺（Arduino、樂高、能力風暴），3D打印機。

3.2在樹莓派上搭建模型最簡系統

硬件方面的搭建：

方案一：嵌入式AI視覺套件與樹莓派zero-w的組合，特點：體積小巧，使用環境多樣，但運算能力有限，進行多線程程序運行時卡頓明顯。如圖1

方案二：嵌入式AI視覺套件與樹莓派3B+與10.1寸顯示器的組合，可視化的操作非常方便，運算能力相對方案一有了很大的提升，但體積過大，兼容性不如方案一。

3.3模型運行的驗證，參數調整和記錄

搭建號硬件與軟件環境后，我們在樹莓派上應用python進行編程，調用模型中的人臉檢測模型，設計一個小程序：智能臺燈，具體功能為，當攝像頭檢測到人臉時，設置樹莓派GPIO數字口為高電平，點亮LED，未檢測到時，LED熄滅。如圖2

3.4設計項目，開發與Arduino、EV3、能力風暴等主控設備的接口

模型驗證成功后，我們制作一根可以連接樹莓派與能力風暴主控的數字信號線，連接后進行測試。

如圖3當檢測到人臉時，在主控五號端口上的值由0變為2710。模型驗證成功。

4、項目的使用情況和進一步完善的設想

目前該項目在學生的兩項設計中得到應用：

4.1智能工具箱的應用，功能簡介：使用視覺傳感器結合能力風暴主控設計一個可檢測人臉并進行跟隨功能的移動工具箱，并且工具箱配備指紋鎖，達到隨用隨取，用完即放、專人專用的目的。

4.2學校大門預警機器人的應用，功能簡介：通過視覺傳感器結合Arduino設計一款可檢測突發情況的預警設備，通過視覺傳感器場景學習功能，讓設備學習校門口日常正常場景，當異常場景出現時，設備做出警報，并向相關部門發送警報信息。

參考文獻

[1]楊剛.創客教育：我國創新教育發展的新路徑[J].中國電化教育，2016（3）：8-13.

[2]盧宏濤，上海交通大學計算機科學與工程系，上海，，盧宏濤，etal.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理，2016.

[3]柴煒，賈雯杰.基于計算機視覺的智能機器人設計[J].硅谷，2011（7）：51-51.