人工智能發(fā)芽土豆分揀機(jī)

姜孝春　楊萍

選題背景

《新一代人工智能發(fā)展規(guī)劃》將人工智能發(fā)展提升至國家戰(zhàn)略層面，明確指出要完善人工智能教育體系，在中小學(xué)階段設(shè)置人工智能相關(guān)課程。《義務(wù)教育信息科技課程標(biāo)準(zhǔn)（2022 年版）》中提出了對人工智能教育的具體要求。然而，縱觀世界各國對于基礎(chǔ)教育階段的人工智能教育尚未形成完整的體系，缺少系統(tǒng)、科學(xué)的課程內(nèi)容，更沒有配套的軟件平臺和硬件形成合力，導(dǎo)致目前相關(guān)教學(xué)難以有效組織和實施。

人工智能是發(fā)展新質(zhì)生產(chǎn)力的重要引擎，中小學(xué)人工智能教育不應(yīng)僅停留在體驗層面，應(yīng)當(dāng)結(jié)合最新的人工智能技術(shù)，深入剖析技術(shù)原理，加強(qiáng)應(yīng)用與實踐，以達(dá)成新課程標(biāo)準(zhǔn)的目標(biāo)，培養(yǎng)具備創(chuàng)新思維和實踐能力、能夠解決真實問題的新時代青少年。

本文以發(fā)芽土豆分揀問題為導(dǎo)向，圍繞數(shù)據(jù)、算法和算力——人工智能的三大基石同頻共振，開展人工智能知識、技能與創(chuàng)客教育相結(jié)合的大單元教學(xué)設(shè)計。通過貼近學(xué)生生活案例激發(fā)學(xué)生的學(xué)習(xí)興趣，在實踐中系統(tǒng)學(xué)習(xí)人工智能知識和技能，掌握利用人工智能解決真實問題的完整流程和方法。

課程設(shè)計

課程目標(biāo)

學(xué)生基于真實情境學(xué)習(xí)人工智能圖像分類技術(shù)，通過數(shù)據(jù)集制作、模型訓(xùn)練、模型推理等一系列實踐活動，體驗運(yùn)用人工智能技術(shù)解決真實問題的流程。通過學(xué)習(xí)和實踐模型轉(zhuǎn)換，使用開源硬件實現(xiàn)圖像分類應(yīng)用部署，掌握多模態(tài)交互的一般流程和方法，完成人工智能發(fā)芽土豆分揀機(jī)的制作。在項目實踐中，提高學(xué)生對人工智能的興趣，培養(yǎng)人工智能創(chuàng)新思維和問題解決能力，進(jìn)行項目優(yōu)化、改進(jìn)和創(chuàng)新。

學(xué)情分析。

學(xué)生對人工智能技術(shù)有一定的興趣和基礎(chǔ)知識，但缺乏實踐經(jīng)驗和動手能力，需要通過具體項目將原理與實踐相結(jié)合，提高學(xué)生的創(chuàng)新思維和問題解決能力。

課程內(nèi)容。

本課程緊扣人工智能的三大基石——數(shù)據(jù)、算法和算力展開，通過真實情境問題引導(dǎo)學(xué)生探索人工智能圖像分類技術(shù)和硬件部署操作。課程從引導(dǎo)學(xué)生采集多樣化的土豆圖像數(shù)據(jù)開始，學(xué)習(xí)對圖像進(jìn)行分類用以構(gòu)建數(shù)據(jù)集。學(xué)生根據(jù)任務(wù)需求選擇合適的算法訓(xùn)練圖像分類模型，進(jìn)行模型推理并評價模型性能，通過實踐調(diào)整訓(xùn)練參數(shù)，不斷提升模型性能。最終學(xué)生通過模型轉(zhuǎn)換與硬件應(yīng)用部署，利用“行空板”等開源硬件實現(xiàn)多模態(tài)交互。

課時安排。

本單元共分8 個課時，內(nèi)容涵蓋了人工智能圖像識別技術(shù)的全流程。具體課時安排和學(xué)習(xí)內(nèi)容見圖1。

教學(xué)準(zhǔn)備

本單元適合在具有一定創(chuàng)客加工條件的計算機(jī)房進(jìn)行，需要使用到的軟件如下。

浦育平臺：基于上海人工智能實驗室的在線教育平臺提供的Jupyter Notebook 運(yùn)行環(huán)境和算力資源，具備數(shù)據(jù)集制作、模型訓(xùn)練、模型轉(zhuǎn)換等功能，方便學(xué)生學(xué)習(xí)和實踐人工智能圖像識別技術(shù)。

Mind+：圖形化編程工具，支持行空板等開源硬件和Python 程序調(diào)試運(yùn)行，提供圖像識別、語音輸出、超聲波檢測、舵機(jī)控制等功能，方便學(xué)生將模型部署到開源硬件，實現(xiàn)人工智能發(fā)芽土豆分揀機(jī)的多模態(tài)交互和程序調(diào)試。

需要使用到的硬件如下。

行空板：采用微型計算機(jī)架構(gòu)的國產(chǎn)開源硬件，自帶Linux 操作系統(tǒng)和Python 運(yùn)行環(huán)境，集成了LCD 彩色觸摸屏、Wi-Fi、麥克風(fēng)等多種常用傳感器和豐富的拓展接口，支持接入攝像頭、揚(yáng)聲器等外設(shè)和超聲波傳感器、舵機(jī)等開源硬件。行空板使用方便，預(yù)裝了常用的Python 庫，也可以快速安裝人工智能運(yùn)行庫，同時支持Mind+ 等圖形化編程工具，是一款理想的中小學(xué)人工智能教學(xué)和實踐創(chuàng)新開發(fā)工具。

超聲波傳感器：判斷是否有需要分揀的土豆，進(jìn)而開啟攝像頭進(jìn)行圖像識別。

舵機(jī)：可以控制角度的電機(jī)，用于驅(qū)動分揀機(jī)的運(yùn)動，實現(xiàn)土豆分揀。

土豆：用于分揀的土豆，需要有一定數(shù)量和比例的發(fā)芽土豆和不發(fā)芽土豆，方便學(xué)生進(jìn)行數(shù)據(jù)集的制作和分揀機(jī)的測試。

實施過程

本單元以發(fā)芽土豆分類為實際問題，引導(dǎo)學(xué)生從認(rèn)識圖像分類算法到制作數(shù)據(jù)集，使用XEdu 工具進(jìn)行模型訓(xùn)練、模型推理和硬件部署，最終利用多模態(tài)交互技術(shù)實現(xiàn)項目迭代和交流展示，全面體驗人工智能項目開發(fā)和制作的全過程。

人工智能模型基石：數(shù)據(jù)集制作與優(yōu)化

數(shù)據(jù)集制作是訓(xùn)練有效圖像分類模型的基礎(chǔ)，在課時2 的任務(wù)中，學(xué)生通過參與制作和完善高質(zhì)量的數(shù)據(jù)集，體驗圖像分類數(shù)據(jù)集制作的一般流程。在本單元的教學(xué)中著重強(qiáng)調(diào)數(shù)據(jù)集的多樣性、準(zhǔn)確性和質(zhì)量對模型訓(xùn)練的重要程度，這些因素直接影響到模型的性能和后續(xù)課程的實施。

明確分類問題需求后，收集數(shù)據(jù)并整理和完善數(shù)據(jù)集，解決發(fā)芽土豆識別問題需準(zhǔn)備發(fā)芽、不發(fā)芽土豆的二分類數(shù)據(jù)集。教師鼓勵學(xué)生參與到數(shù)據(jù)采集過程中，在家里選擇合適的發(fā)芽和未發(fā)芽土豆，通過智能手機(jī)拍攝圖片，每個學(xué)生都親身參與到數(shù)據(jù)采集的過程。根據(jù)訓(xùn)練要求，數(shù)據(jù)需要批量預(yù)處理，步驟包括圖像裁剪、調(diào)整大小和增強(qiáng)對比度，通過這些操作提高制作數(shù)據(jù)集的準(zhǔn)確率。我們的基礎(chǔ)數(shù)據(jù)集包含近1 800 張圖片，大約按照8 ∶ 1 ∶ 1 的比例劃分為訓(xùn)練集（trainning_set）、驗證集（val_set）和測試集（test_set）3 個文件夾，其中訓(xùn)練集1 429 張圖片（不發(fā)芽土豆956 張、發(fā)芽土豆478 張）、測試集180 張圖片、驗證集179 張圖片。

教學(xué)過程中引導(dǎo)學(xué)生深入實際思考問題，例如為什么不發(fā)芽土豆的圖片數(shù)量要遠(yuǎn)多于發(fā)芽土豆圖片數(shù)量？通過設(shè)置懸念激發(fā)學(xué)生的興趣和求知欲，讓學(xué)生在后續(xù)實踐中更加細(xì)心觀察思考尋找原因，明白不發(fā)芽土豆容易誤識別為發(fā)芽，有部分原因是土豆圖片的背景雜亂造成的，反思數(shù)據(jù)集的制作，并進(jìn)一步深入思考在設(shè)計土豆分揀結(jié)構(gòu)中要設(shè)計相應(yīng)的解決方案。如何高效地采集這些數(shù)據(jù)集圖片？實踐中通過手機(jī)拍攝動態(tài)視頻，再使用PotPlayer 軟件自動批量截取符合訓(xùn)練需求尺寸的JPEG 格式圖像，或者使用Python 程序提取幀再批量處理，這些方法都大大提高了數(shù)據(jù)集制作的效率。

人工智能訓(xùn)練實戰(zhàn)：模型訓(xùn)練與優(yōu)化探索

模型訓(xùn)練部分是人工智能教學(xué)的重要環(huán)節(jié)。課時3 與課時4 的任務(wù)目標(biāo)是讓學(xué)生理解并實踐如何通過機(jī)器學(xué)習(xí)處理和分析數(shù)據(jù)訓(xùn)練模型。教學(xué)中詳細(xì)介紹模型訓(xùn)練的步驟，包括選擇合適的算法、數(shù)據(jù)集、設(shè)置訓(xùn)練參數(shù)、執(zhí)行訓(xùn)練過程及評估模型性能。使用XEdu 工具實踐操作發(fā)芽土豆圖像分類模型的訓(xùn)練，讓學(xué)生通過優(yōu)化超參數(shù)調(diào)整，不斷提升模型性能，在此過程中深入理解數(shù)據(jù)、算法、算力對模型訓(xùn)練的重要作用。

發(fā)芽土豆圖像分類模型訓(xùn)練教學(xué)實踐在上海人工智能實驗室浦育平臺上進(jìn)行，通過創(chuàng)建一個“人工智能工坊”XEdu Notebook 編程項目進(jìn)行。模型訓(xùn)練流程包括：①導(dǎo)入MMEdu深度學(xué)習(xí)庫；②根據(jù)任務(wù)需求實例化模型；③配置模型訓(xùn)練參數(shù)，如訓(xùn)練輪數(shù)、學(xué)習(xí)率、批量大小等；④使用發(fā)芽土豆圖像數(shù)據(jù)集開始訓(xùn)練模型，觀察訓(xùn)練過程，找出最佳權(quán)重文件；⑤使用最佳權(quán)重文件為預(yù)訓(xùn)練模型繼續(xù)訓(xùn)練，微調(diào)參數(shù)使模型達(dá)到更好的效果，以適應(yīng)發(fā)芽土豆圖片的分類任務(wù)。

在實踐教學(xué)過程中學(xué)生使用浦育平臺XEdu 工具在CPU 版和GPU 版服務(wù)器運(yùn)行環(huán)境切換，在相同參數(shù)條件下感受CPU 與GPU不同的算力對訓(xùn)練效率的影響。在訓(xùn)練參數(shù)教學(xué)環(huán)節(jié)可采用分組實驗，對比訓(xùn)練輪數(shù)、學(xué)習(xí)率、批量大小等不同參數(shù)對模型訓(xùn)練效果的影響。學(xué)生通過實踐操作從頭訓(xùn)練模型和使用預(yù)訓(xùn)練模型訓(xùn)練，觀察模型性能變化，從而理解預(yù)訓(xùn)練模型訓(xùn)練具有提高模型性能、節(jié)省訓(xùn)練時間和計算資源、增強(qiáng)模型泛化能力、遷移學(xué)習(xí)能力等優(yōu)點。訓(xùn)練出的模型權(quán)重文件準(zhǔn)確率達(dá)到98.324%，學(xué)生在數(shù)據(jù)集制作到模型訓(xùn)練的完整過程中感受算法、算力和數(shù)據(jù)相互支撐、相互促進(jìn)，共同推動模型性能的提升。

模型推理：人工智能實踐的關(guān)鍵一步

模型推理是將模型訓(xùn)練成果轉(zhuǎn)化為人工智能應(yīng)用的橋梁。課時5 的目標(biāo)是將模型訓(xùn)練的成果應(yīng)用于解決真實問題——推理土豆圖片發(fā)芽或未發(fā)芽的可能性。學(xué)生將學(xué)習(xí)如何運(yùn)用訓(xùn)練好的模型進(jìn)行實際推理的方法和操作流程，并深入理解模型推理的原理與應(yīng)用價值。

使用模型推理識別發(fā)芽土豆圖像的教學(xué)同樣在浦育平臺XEdu Notebook編程項目進(jìn)行，模型推理流程包括：①加載模型，學(xué)生導(dǎo)入必要的庫、實例化模型，并加載之前訓(xùn)練好的模型；②推理數(shù)據(jù)準(zhǔn)備，學(xué)生重新拍攝或搜索獲得不同土豆的照片（不同于數(shù)據(jù)集的圖片），將圖片上傳到項目文件用于模型推理；③執(zhí)行推理，學(xué)生指定圖片并啟動推理過程，模型將根據(jù)學(xué)習(xí)結(jié)果對輸入圖片進(jìn)行分類，判斷其是否發(fā)芽；④推理結(jié)果解析，學(xué)生對結(jié)果進(jìn)行分析，觀察模型在不同情況下的表現(xiàn)，分析誤判分類的原因，從而進(jìn)一步理解模型的性能與局限性。

模型推理過程是圖像分類技術(shù)的核心，學(xué)生面對真實問題，親身參與體驗圖像分類從理論知識到模型應(yīng)用，通過實踐獲得成功開發(fā)人工智能的喜悅。同時，面對諸如背景復(fù)雜的土豆圖片出現(xiàn)誤判的情況，深入思考如何改進(jìn)模型，如何設(shè)計土豆分揀機(jī)結(jié)構(gòu)，以適應(yīng)復(fù)雜的真實問題挑戰(zhàn)。

多模態(tài)交互應(yīng)用：人工智能發(fā)芽土豆分揀機(jī)部署實踐

多模態(tài)交互是一種融合多種感官信息的交互方式，為學(xué)生提供更豐富、更有趣的學(xué)習(xí)體驗。在本課程中，將模型轉(zhuǎn)換為onnx格式并部署到行空板上，通過超聲波傳感器實現(xiàn)物體的識別，進(jìn)一步啟動外接攝像頭采集土豆圖像進(jìn)行圖像識別，運(yùn)用圖像、文字和語音輸出檢測結(jié)果。學(xué)生通過人工智能發(fā)芽土豆分揀機(jī)的模型部署和開源硬件交互，深入探索多模態(tài)交互在人工智能項目中的應(yīng)用方法與實踐操作。

人工智能發(fā)芽土豆分揀機(jī)使用行空板作為硬件平臺，行空板自帶Linux 操作系統(tǒng)和Python 運(yùn)行環(huán)境，集多種常用傳感器和豐富的拓展接口，支持接入攝像頭、舵機(jī)等開源硬件。行空板自帶pinpong 庫，可用于超聲波物體檢測和舵機(jī)控制，也可以快速安裝人工智能運(yùn)行庫。教學(xué)中使用行空板終端pip 命令安裝所需的庫，比如onnxruntime 庫支持onnx 模型的運(yùn)行，pyttsx3 庫實現(xiàn)離線文字轉(zhuǎn)語音功能等。需要注意的是，在安裝庫的過程中需要使用網(wǎng)絡(luò)，可以通過電腦連接行空板，打開Wi-Fi 連接無線網(wǎng)絡(luò)再安裝。

行空板支持Mind+ 等圖形化編程工具，Python 不熟練的學(xué)生也可以使用圖形化編程完成傳感器與舵機(jī)的程序調(diào)試，再將圖形化程序轉(zhuǎn)化為Python 代碼，在教師的指導(dǎo)下完成與onnx 模型轉(zhuǎn)換生成的圖像識別程序進(jìn)行融合，最終完成人工智能發(fā)芽土豆分揀機(jī)的程序編寫。通過程序控制實現(xiàn)人工智能發(fā)芽土豆分揀機(jī)的幾個關(guān)鍵功能：①使用超聲波傳感器判斷土豆是否進(jìn)入識別區(qū)域，并控制圖像識別的啟動和停止；②使用外接攝像頭獲取實時圖像并輸入到模型中進(jìn)行識別；③使用行空板自帶顯示屏顯示圖像和文字結(jié)果；④將識別結(jié)果以語音形式輸出到音箱；⑤使用外接舵機(jī)對識別好的土豆進(jìn)行分揀。人工智能和多模態(tài)交互實踐不僅提高了學(xué)生的編程能力和創(chuàng)新思維，也為人工智能技術(shù)在實際場景中的應(yīng)用提供了有益的參考。

學(xué)習(xí)成果

本課程在8 年級部分班級開展了教學(xué)實驗，項目經(jīng)歷了多次迭代，并對教學(xué)進(jìn)行優(yōu)化。本單元的教學(xué)設(shè)計重在引導(dǎo)學(xué)生學(xué)習(xí)和運(yùn)用人工智能技術(shù)解決真實問題，項目涵蓋了人工智能圖像識別技術(shù)的全流程，包括數(shù)據(jù)集制作、模型訓(xùn)練、模型推理、模型轉(zhuǎn)換、模型部署等，讓學(xué)生能夠全面、清晰地了解和掌握人工智能圖像識別技術(shù)的原理和方法，明確運(yùn)用人工智能技術(shù)解決真實問題的思路。

學(xué)生成功地將訓(xùn)練完成的模型轉(zhuǎn)換并部署到硬件平臺，實現(xiàn)了多模態(tài)交互的功能，包括超聲波檢測、圖像分類、語音輸出、舵機(jī)控制等，提升了學(xué)生對人工智能應(yīng)用創(chuàng)作的良好體驗。項目具有一定的可拓展性，可以根據(jù)實際情況進(jìn)行創(chuàng)新，訓(xùn)練新的模型實現(xiàn)其他物品的分類。

學(xué)生在模型訓(xùn)練方面展現(xiàn)出了極高的熱情和創(chuàng)造力，在理論學(xué)習(xí)和實踐操作中都有了明顯的進(jìn)步。他們不僅掌握了人工智能的核心技術(shù)，還學(xué)會了如何將這些技術(shù)應(yīng)用于解決實際問題。這些學(xué)習(xí)成果將為他們未來在人工智能領(lǐng)域的深入學(xué)習(xí)和發(fā)展奠定堅實的基礎(chǔ)。

反思與提高

本單元的教學(xué)展示了如何利用人工智能技術(shù)解決實際問題的完整流程，從理論到實踐的轉(zhuǎn)化過程清晰而完整。豐富的教學(xué)活動不僅加深了學(xué)生對人工智能技術(shù)的理解，也鍛煉了他們運(yùn)用人工智能技術(shù)解決真實問題的實踐操作能力。

在未來的教學(xué)中，我們將在以下幾個方向進(jìn)行探索與優(yōu)化：

項目可以嘗試使用更先進(jìn)的數(shù)據(jù)集制作方法，如使用視頻拍攝加程序抽幀批量獲取圖片、批量處理、結(jié)合數(shù)據(jù)清洗提高數(shù)據(jù)集的質(zhì)量和數(shù)量，提高模型的準(zhǔn)確率。

項目可以嘗試使用更優(yōu)化的模型訓(xùn)練方法，使用預(yù)訓(xùn)練模型等技術(shù)進(jìn)一步提高模型的訓(xùn)練效果和效率，降低模型的訓(xùn)練成本和時間。

項目可以嘗試使用更簡化的硬件搭建，使用更易用的外設(shè)和連接線接入攝像頭、揚(yáng)聲器、超聲波傳感器等，簡化硬件的搭建過程和難度，提高硬件的穩(wěn)定性和可靠性。

我們也將持續(xù)關(guān)注學(xué)生的反饋，不斷調(diào)整和優(yōu)化教學(xué)方法，確保教學(xué)活動的有效性和趣味性。為學(xué)生提供更豐富、更高質(zhì)量的人工智能學(xué)習(xí)體驗，激發(fā)中小學(xué)生對人工智能技術(shù)的興趣和熱情，培養(yǎng)學(xué)生的人工智能創(chuàng)新思維和問題解決能力，為人工智能創(chuàng)新教學(xué)貢獻(xiàn)一份力量。