一種可用于人工智能基礎教學的輕量級神經網絡推理模型的構建方法

中圖分類號：G434文獻標識碼：A論文編號：1674-2117（2025）13—0027-04

雖然神經網絡的訓練需要大量算力，但神經網絡訓練獲得的推理模型往往可以部署到資源受限的設備上，TinyML（TinyMachineLearning，即輕量化機器學習）作為這一理念的杰出代表，在基礎教育場景中展現出了較為重要的意義：基于TinyML的系統能夠以小型開源的電子開發板為硬件載體，以較低成本實現多樣化的智能互動，使得機器學習模型以更靈活的方式進入課堂，以TinyML形式部署的系統能夠讓優質教育資源以低成本形式惠及偏遠地區，縮小城鄉、區域間的教育資源差距；基于TinyML的系統可能成為學習者在實踐中初步體驗微控制器編程、嵌入式系統開發和人工智能相結合的平臺，促進了跨學科素養的培養，通過融合計算機科學、電子工程、數學等多領域知識，激發學生的創新思維與綜合應用能力。值得一提的是，TinyML在實現這些教育價值的同時，還具有顯著的低碳環保效益，基于神經網絡的人工智能模型的訓練和運行需消耗較多能源，產生較高的碳排放，而TinyML可以將模型部署在資源受限的低功率邊緣設備上，其耗電量相比傳統設備大幅降低，并且，TinyML本地數據處理方式無需將數據發送到服務器，減少了數據傳輸過程及服務器處理過程中的能耗與碳排放。

然而就當前情況而言，對于一般的與人工智能相關的教學實驗的組織來說，TinyML的部署仍然有較多困難，其中，軟、硬件環境兼容以及模型格式轉換等技術問題較為突出。不同的硬件平臺和軟件框架之間可能存在兼容性問題，導致模型無法正確運行或性能下降。同時，將訓練好的模型轉換為適用于邊緣設備的特定結構，也常常需要專門的技術、工具及特殊的流程。

神經網絡的輕量化對TinyML至關重要，它使模型能在資源受限設備上高效運行，滿足低花分類機。這個分類機接受鳶尾花的花萼的長度和寬度、花瓣的長度和寬度這四個特征數據，并給出鳶尾花種類的結果。用于訓練的數據即知名的鳶尾花數據集。下面給出具體的構造過程。

神經網絡的搭建、訓練和測試

在該神經網絡訓練完成后，可以得到推理模型的數據，一般來說，為了能夠讓模型運行在其他設備上（如樹莓派、行空板等嵌入式設備），需要將推理模型轉換為ONNX格式的推理引擎。但也有更多小型邊緣設備不能直接運行ONNX格式的推理引擎，這時，就需要將推理模型轉換為更純粹的不依賴于特定庫的代碼。雖然目前已有較多此類轉換工具，但在使用上仍然有較高難度，本文推薦一種較為簡單的方法，就是首先生成推理模型的權重和偏置數據列表，然后要求生成式人工智能不依賴神經網絡相關的庫，基于權重和偏置列表中的數據來生成一個推理程序。

功耗、快速響應等需求。常見的將神經網絡輕量化的方法有剪枝、量化、知識蒸餾等，簡單來說，剪枝通過去除不必要或冗余的神經元連接來控制模型大小和計算量，量化用較低比特數表示數據，知識蒸餾將復雜模型的知識傳遞給輕量模型。筆者將目光主要聚焦于較容易實現的量化的方法，已有實驗證明，即便用低至8位的數據進行神經網絡訓練，也能達到較好的效果2，但要對常用的開源神經網絡框架的訓練數據進行位數的設定，存在一定的技術門檻，由于將訓練后得到的較高精度的數據進行量化，操作相對簡單，也能夠使得推理模型達到較好表現，所以本文給出一種構造可在低功率邊緣設備上運行神經網絡推理模型的過程，考慮到作為入門案例的簡便性，初步目標是構造一個移動的、不需要連接網絡就能運行的基于神經網絡的鳶尾

可以借助常用的神經網絡框架，快速構造神經網絡，對于簡單的分類問題，如鳶尾花分類，搭建三層的全連接網絡即可。相關代碼可借助生成式人工智能生成，如告知其需要生成的神經網絡有4個輸入神經元、20個隱藏層神經元、3個輸出神經元，并使用ReLU激活函數來降低計算負擔。生成式人工智能有非常大的概率能夠快速產生出可正常運行的神經網絡搭建、訓練和測試的代碼。圖1顯示的是一種基于TensorFlow框架的神經網絡結構。

圖2顯示了一種鳶尾花分類推理模型的權重和偏置數據列表，其中有四組列表，分別是：第1層神經元（也即輸入層神經元）的輸出權重、第1層神經元的偏置值（也可以看成是第2層神經元的激活閾值）、第2層神經元（也即隱藏層神經元）的輸出權重、第2層神經元的偏置值（也可以看成是第3層神經元，也即輸出層的激活閾值）。圖2顯示了這四個列表的結構，當然，列表中的數據的具體值對讀者來說并非是重要的，因為每一次訓練得到的數據都有可能不同。

假設最終的目標是生成可以在MicroPython上運行的推理模型，則必須要求生成式人工智能在生成代碼時，放棄諸多人工智能及統計方面的庫，而要將庫函數的功能轉換為更純的代碼（考慮到MicroPython內置了math庫，所以允許生成式人工智能使用這個庫）。圖3是某生成式人工智能工具生成的推理代碼（限于篇幅，沒有顯示全部的權重和偏置數據），可以看出，實現一個全連接的神經網絡推理，代碼還是相當簡單的（盡管如此，經實際測試發現，為了讓某些生成式人工智能工具了解使用者的意圖，仍然需要較細致地描述根據權重和偏置數據進行推理預測的過程，否則就可能生成無法得到正確結果的代碼，對此，教師可在教學中預先提供關鍵的推理代碼，相信隨著人工智能技術的進一步提升，不久以后這些就不再會成為阻礙）。

輕量級神經網絡推理模型的量化

到現在為止，這個鳶尾花分類推理模型已經能夠在很多支持MicroPython的邊緣設備上運行了，然而，還需要考慮到條件更為嚴苛一些的情況，如邊緣設備的硬件的計算能力更弱，或者需要構建某個解決更為復雜問題的包含更多神經元的推理模型。所以，有必要測試一下對權重和偏置數據進行量化后，推理模型的表現。假設對所有數據四舍五入僅保留2位小數（如圖4），這樣就使得這個推理模型能夠在單精度的硬件設備上運行，經測試發現，推理成功率仍然保持在驚人的 90% 以上。

某些設備可能并不默認支持浮點數，如低成本的FPGA芯片，這時候，也可以將數據由浮點數量化

將上述輕量級神經網絡模型部署到邊緣設備上，除了需要考慮設備的資源限制（如內存和處理能力），還需要考慮另外一些關鍵要素，如應用場景、用戶輸入輸出界面的設置、軟件開發環境的限制等。

雖然說，電子開發板可以借助物聯網接口或串口傳輸數據，但在支持物聯網或串口傳輸數據的環境中，邊緣設備自行進行推理運算的真實性和必要性反而被削弱了，人們有時候希望邊緣設備具有不依賴外部設備的自主的實時響應和智能決策能力，如長期的無人的自然環境監測設備、有一定醫療保健用途的可穿戴設備、惡劣電磁環境中的自動化機械等。另外還需要考慮到，邊緣設備實現人工智能應用，其數據處理能力是有限的，因此對人工智能的初學者來說，實現類似于可識別幾種特定聲音的簡單語音助手、用多個光敏傳感器來分辨簡單圖案的智能小車，或者鳶尾花分類這樣的玩具型任務，都是較容易開展落實的項目。

邊緣設備的輸入輸出界面通常是有限的，所以需要通過精巧的布局來充分利用電子開發板板載操作界面。以圖6所示的掌控板為例，筆者用觸摸鍵P來更換鳶尾特征，按鈕A用于特征數值增加，按鈕B用于特征數值減少，觸摸鍵T用于觸發推理過程并顯示推理結果。由于顯示屏幕有限，將輸入和顯示的數據均以整數的形式顯示。

考慮到相當多的初學者更習慣于圖形化積木式的編程環境，可以先按積木式的方式搭建用戶操作和顯示計算結果的框架，預留出進行推理的函數接口，然后將積木式的代碼轉換成MicroPython代碼，并將封裝好的推理代碼粘貼到相應函數中即可。

結語

在實際教學中，教師可以靈活地運用以上輕量級的神經網絡推理模型的構造過程，既可以將最終成果作為交互體驗的教具，也可以設置框架，讓學習者經歷構造這個裝置中的某幾個關鍵過程，或者將這個構造過程作為某個自主的研究性學習的參考資料，學習者可在此基礎上進行修改和擴充，構造出自己特有的人工智能應用。

參考文獻：

[1]高楊，曹杰，段鵬松.神經網絡模型輕量化方法綜述[J].計算機科學，2024，51（S01）.11-21. [2JWangNChrandDetaTningeuraletwoksithitatigintmberJarxiv

[3]TimDettmers.8BitAppoximationsforParalelsminDeepLeaming[J].arxiv：151104561，2015.e