Mind+結合XEduHub開發AI交互作品

謝作如 邱奕盛

摘要：在圖形化編程工具Mind+和通用AI推理庫XEduHub的支持下，中小學生使用簡短的代碼就能設計出有趣的AI交互作品。本文在介紹Mind+和XEduHub的同時，分析了AI交互作品的核心環節，指出作品可以由感知輸入、智能處理和執行呈現三個部分組成，希望為中小學開展AI教育提供新的思路。

關鍵詞：Mind+；XEduHub；AI交互作品

中圖分類號：G434 ?文獻標識碼：A ?論文編號：1674-2117（2024）11-0088-03

學習AI要從體驗開始，青少年只有體驗過AI，才可能對其產生濃厚的興趣。為此，學校的AI學習空間（實驗室、功能教室等）的展示區域或者科普走廊都會部署一些有趣的AI交互產品，讓學生在體驗中了解AI的能力，激發學習興趣。有條件的學校還會選擇采購和定制企業開發的AI交互作品，以追求更好的展示效果。

那么，中小學生能不能和老師一起設計一些有趣的AI交互作品呢？顯然，自己動手豐衣足食，設計作品的過程就是學習的過程，也是解決真實問題的過程。仔細觀察企業開發的AI交互作品，會發現背后的技術并不復雜，無非是將輸入后的信息經過模型推理再通過屏幕輸出。有了XEduhHub，目標檢測、物體分類、關鍵點檢測等AI技術的門檻就有所降低，加上Mind+的支持，小學生也有能力開發出不錯的交互作品。

AI模型推理工具XEduHub簡介

XEduHub是一個通用AI模型推理工具，既是XEdu項目的核心組成部分，又是一個可以獨立安裝的Python庫（庫名為XEdu-python）。XEduHub不僅支持XEdu系列工具訓練得到的模型，還內置了常見的AI模型，如人體關鍵點檢查、80種物體目標檢測、OCR等，只要選擇某一任務，即可自動從云端下載相應的模型，如圖1所示。

XEduHub設計了“工作流”（Workflow）的方式來實現模型推理。每一次應用AI模型推理，數據都經歷了輸入模型、預測推理、輸出結果三個階段，就像是物料（數據）經過生產流水線加工后產出半成品一樣。在XEduHub中這一次推理流只需要兩行代碼，第一行代碼是通過指定task名稱來確定使用何種模型構建工作流，第二行代碼是輸入數據并得到推理結果輸出。如果想要處理多組數據，只要靈活使用第二行代碼即可（如圖2）。

在使用XEduHub來處理較復雜問題的時候，往往需要多個模型進行聯動，這時，“工作流”可以看作不同模型之間的數據流動。例如，當畫面中有多個人像時，需要先進行多人的目標檢測以確定每個人所在的位置，然后將檢測到的數據傳入關鍵點識別模型，從而對每個人像進行關鍵點識別，最終得到每個人的關鍵點坐標數據。

在Mind+中安裝XEduHub

Mind+集成了各種主流主控板及上百種開源硬件，支持人工智能與物聯網功能。Mind+擁有實時、離線和Python三種編程模式，其中Python模式同時支持圖形化和代碼編寫程序，適合初學者。

Mind+支持第三方插件，進入插件管理頁面，在聯網情況下搜索“XEdu”即可找到插件。安裝插件后，再通過庫管理工具安裝“xedu-python”（XEduHub的pip包名稱）。需要注意的是，在安裝過程中，WARNING提醒內容可以忽略，同時，為了獲得更穩定、更強大的模型部署使用體驗，需要及時更新“xedu-python”庫。經過上述的操作后，XEduHub的積木就出現在Mind+主界面的左邊了，如圖3所示。

Mind+的最大優勢是加入了GUI界面設計、物聯網和開源硬件交互功能。GUI界面可以使用unihiker庫，物聯網使用SIoT庫，而開源硬件庫為pinpong庫。這些庫為設計交互作品的天馬行空想法提供了技術支持。以下頁圖4為例，幾行代碼就實現了對畫面中人像的關鍵點繪制。

經典AI交互作品的分析和創意

經典的AI交互作品往往會實時采集現場數據，經過AI推理后，再輸出呈現在終端上。作品可以由感知輸入、AI推理、輸出呈現三個部分組成。感知輸入的常用設備有鼠標、鍵盤、攝像頭、麥克風、雷達掃描儀，還有各類傳感器，AI推理可以用XEduHub實現，而輸出呈現可以借助顯示器、揚聲器等實現，還可以利用pinpong模塊連接開源硬件，如LED、蜂鳴器、舵機等執行器都可以成為交互作品的組成部分。

對于僅僅用鼠標鍵盤和顯示器交互的作品，學生已經司空見慣。軟硬結合顯然能夠讓交互作品妙趣橫生。如下頁圖5所示，當結合物聯網協議后，智能家居的各個產品也能夠加入到交互作品之中。借助SIoT、HASS等軟件，智能家居產品也可以與普通電腦聯通，在本專欄中已經有多篇文章對其進行了介紹，歡迎閱讀。

在了解XEduHub的功能后，將“感知輸入”“AI推理”“輸出呈現”這三大環節靈活組合，學生們就能設計出各式各樣的創意AI體驗作品來。例如，用人的情緒（微笑值）控制一個真實的指針，把攝像頭中的動物轉換為馬賽克效果，用攝像頭采集人體關鍵點來操控一個提線木偶，等等。當學生做虛擬鼓掌動作的時候，就能真的發出熱烈的掌聲，學校的AI實驗室將會成為一個快樂的游樂場。

總結與反思

借助XEduHub，用簡潔的代碼就能快速調用多種模型，再經過學生的創意疊加，就能自由組合出各種有趣的項目。相比于采購企業開發的AI體驗項目，自行設計更有挑戰性。建議老師們將設計交互作品作為AI課程的大作業，定時將優秀的作品展示出來。這樣的AI課程才是真實有趣的，是能吸引學生、能解決真實問題的跨學科學習課程。當然，教師還要鼓勵學生在常見模型的基礎上加入自己訓練的模型，設計出更復雜的AI項目，讓作品的交互更加精彩。

本研究為2022年度上海市自然科學基金面上項目“基于多模態數據融合的在線學習認知模型及優化研究”（項目編號：22ZR1421300）的階段性研究成果。