基于YOLOv5的特殊兒童預后康復水平評估技術研究

摘 要：特殊兒童群體在某些方面與普通兒童存在差異，在臨床治療中往往難以完全治愈。隨著醫療水平的不斷發展，社會對特殊兒童問題的關注度日益提高。然而，在評估特殊兒童的恢復水平時，存在耗時長且客觀性不高的問題。針對這一問題，從深度學習、機器學習、YOLOv5算法等方法入手，對特殊兒童面部表情和行為姿態的檢測展開介紹；提出運用機器視覺、卷積神經網絡和實驗等方法，檢測特殊兒童面部表情、行為姿態等特征，并將其與恢復水平建立聯系，從而為特殊兒童的預后康復水平提供一種新的、客觀的評估技術。

關鍵詞：特殊兒童康復；卷積神經網絡；機器學習；YOLOv5算法；機器視覺；面部檢測

中圖分類號：TP389.1 文獻標識碼：A 文章編號：2095-1302（2025）07-00-07

0 引 言

在當前社會背景下，特殊兒童的康復治療和個性化教育問題日益突出。特殊兒童是指在身體行為、情感認知或言語等方面與普通兒童存在顯著差異的兒童，例如自閉癥兒童、言語障礙兒童、智力障礙兒童等。據《中國教育報》報道，我國14歲以下的特殊兒童已超800萬，其中有近350萬自閉癥兒童和100多萬唐氏綜合癥兒童。據第二次全國殘疾人抽樣調查顯示，我國0～6歲精神殘疾兒童約11.1萬人，占0～6歲兒童總數的1.10%。其中，由自閉癥導致的精神殘疾兒童占36.9%，且該群體的數量近年來逐漸上升[1]。這些特殊兒童在社交、學習和生活技能方面都面臨嚴峻的挑戰，因此需要特殊的康復治療和教育來幫助他們發揮潛力，確保他們能接受與正常兒童一樣的教育。

在特殊教育領域中，政府已加大了對特殊兒童教育的投入，提供了更多的資源和政策支持，具體見表1。

國務院為優化特殊兒童教育環境，相繼發布了《“十四五”特殊教育發展提升行動計劃》《“十四五”殘疾人保障和發展規劃》等重要政策。在特殊兒童教育領域，個別化教育倍受人們重視，其核心是在教育過程中關注每個特殊兒童的身心發展[4]。然而，我國特殊兒童康復工作起步較晚，專業康復機構和人員數量嚴重不足，醫療人員常“心有余而力不足”，并且在對特殊兒童的評估過程中容易受到主觀影響。所以，在特殊兒童個別化教育過程中，需要引入更有力、客觀的技術支持，也有越來越多的研究團隊致力于特殊兒童預后評估技術的研發和應用。

研究表明，特殊兒童往往伴有特定的面部表情和行為姿態[5]。以自閉癥患者為例，其在臨床上有三個核心表現：社會交往與語言交流存在障礙、興趣范圍狹窄以及動作行為重復刻板（如圖1所示）。此外，還有三個常見的伴隨表現，即智力障礙、精神癥狀、癲癇[6]。在行為動作方面，患者的特點是，對于感興趣的事物，他們能保持數十分鐘甚至數小時的興趣而不厭倦，并且十分關注玩具的某一非主要特征，如玩具熊的絨毛[7]。他們經常頑固地堅持日常活動程序，例如每天食用相同的飯菜，在固定的時間和地點大小便，睡覺僅使用相同的被子和枕頭等。一旦這些行為活動程序發生改變，他們就會焦慮不安、不愉快、哭鬧，甚至出現反抗行為。部分患者還會有重復刻板的動作，如拍手、捶胸、轉圈、舔墻、跺腳等[8]。這部分特殊兒童大多拒絕與人交往，但容易接受電子設備等模擬環境帶來的信息[9]。其面部表情、行為姿態具有較為統一、重復性強的特征，所以用人工智能來評估他們的恢復水平是一種有利的方法。

計算機視覺與深度學習的發展為特殊兒童的康復和教育領域帶來了新的發展機遇。計算機視覺可通過分析特殊兒童的面部表情、行為姿態等特征[10]，實現對他們康復水平的預測和評估，這有助于提高評估的客觀性和準確性，從而為特殊兒童的康復和教育提供更精準的支持[8]。此外，該技術的應用還能推動特殊兒童康復和教育領域的創新、發展與應用。

在國內，華中師范大學國家數字化學習工程技術研究中心基于人機交互游戲和多模態感知技術開發出了一套新型學習系統。該系統旨在滿足自閉癥兒童的需求，可對自閉癥進行有效篩查，并能依據不同兒童的情況制定不同計劃，從而滿足他們不同的學習需求[9]。此外，北京聯合大學特殊教育學院運用科大訊飛聽見語音轉寫系統為聽障學生授課，這有助于聽障人士通過文字感受世界并與人交流[11]。

在國外，特殊兒童的康復領域有多個研究團隊取得了極為重要的突破。例如，文獻[12]研發出智能導學系統，可助力聾啞兒童進行詞匯學習；牛津大學計算機科學系的團隊開發出名為“LipNet”的新型人工智能系統，這一系統能幫助聽障患者通過讀唇實現“聽見”的可能。

除此之外，特殊兒童康復方面也不斷涌現出具有突破性的商業化應用。例如，有企業已開發出基于機器視覺的嬰幼兒面部表情分析系統，該系統借助攝像頭捕捉并分析嬰幼兒的面部表情，從而監測嬰幼兒實時表情，進而評估他們的情感表達能力和情緒穩定性。這可為醫務人員和家長提供及時反饋與建議，有助于制定更具針對性的康復計劃。

然而，當前很少有面向所有類型特殊兒童的相關技術能夠實現對兒童的準確評估和個別化教育。特殊兒童類型分化復雜，在評估時，要從多方面了解其個體情況，會耗費大量時間和精力，并且目前個性化教育還不能滿足不同特殊兒童的教育需求。所以，客觀、快速地評估特殊兒童并制定合理、精確的教育方案，是當下急需解決的問題。

本項目以智護兒童為初心，以機器視覺為核心技術研發智能系統。在這樣的背景下，該系統能夠捕捉特殊兒童（如自閉癥、智力障礙、發育遲緩、唐氏綜合征、腦癱兒童）的面部表情和肢體動作特征，以康復水平作為評估標準，生成恢復水平結論，同時給出跟進康復治療的建議。這一系統實現了對特殊兒童預后恢復水平的智能評估和分析，能夠滿足特殊兒童干預效果評估、家庭康復治療、日常監護等需求，為特殊兒童提供有針對性、科學全面的指導和支持，從而促進他們的全面發展，幫助他們融入社會。

該項目將為特殊兒童的預后康復水平評估提供一種新的技術手段，具備突破傳統人工評估方法的優勢。醫學和康復領域的專業人士能夠借此技術更準確地了解和評估特殊兒童的發展情況，為他們的康復提供有效的指導和支持。

1 技術路線

1.1 數據采集與預處理

首先，需要采集處于不同恢復階段的特殊兒童的面部圖像和姿態信息等圖像數據；然后對其進行預處理，包括去噪、對齊、裁剪和歸一化等操作，以確保數據的質量和一致性。文獻[13]中總結了人類的6種基本表情，即開心、驚訝、恐懼、憤怒、厭惡、悲傷，后來又加入了中性表情。基于此，項目使用LabelIMG圖片標注工具對大量圖片進行標注和分類，標注的內容包括開心、驚訝、恐懼、憤怒、厭惡和中性表情，以及揮手、打、轉圈、跳等動作。本文以圖2所示的表情“contempt”為例。在LabelIMG中導入需要標注的圖片，添加類別“contempt”，選擇要標注的區域后就會自動生成相應的XML格式文件。重復上述步驟，對所有表情圖片逐張進行標注。

圖片標注好后，對圖片集進行劃分，得到所有表情的訓練集、驗證集和測試集。所需動作的數據集與上述步驟一致。由于項目將運用YOLOv5算法，因此需把標記好的圖片從XML格式轉換為YOLO格式，并把轉換后的圖片存放在labels文件夾中。在每個YOLO格式的標注文件中，每行表示一個標注框，包括lt;class， indexgt;（類別索引）、lt;x_centergt;及lt; y_centergt;（標注框的中心像素在圖片中的位置）、lt; widthgt;及lt;heightgt;（標注框的寬和高）。這一過程為后續的特征提取和模型訓練提供了有標注的數據集。

同時，采用一些簡單易行且針對性強的測試題對特殊兒童進行檢測，以便將有潛在學習、行為等問題的個體從兒童群體中區分出來[14]。本項目歸納了特殊兒童的行為特征，發現大部分特殊兒童的問題可歸為認知能力與專注記憶能力這兩方面，所以本文將從這兩方面來設置題目，兩者各占總分的50%。此外，一些信度和效度已得到證實的測量表有助于本項目更科學地設置題目，如可評估兒童社交能力的《社交反應量表》《孤獨癥診斷觀察量表》等。一些特殊教育發達的國家在特殊兒童鑒別方面積累了諸多寶貴經驗，這也有助于本項目構建對特殊兒童恢復水平進行評估的有意義的測試題庫[14]。

圖3為部分測試題目。題目在設置時應保證形式多種多樣，語句力求簡明扼要，確保在兒童的認知范圍內。要排除與答題無關的因素，也不能遺漏答題所依據的必要條件，要避免使用生僻字詞[14]。本項目設置測試得分在86～100分內，可認為恢復水平為A；在71～85分內，可認為恢復水平為B；在56～70分內，可認為恢復水平為C；得分在55分以下的，可認為恢復水平為D。

1.2 特征提取與模型訓練

YOLOv5是一種基于卷積神經網絡的目標檢測算法。它把圖像劃分為不同的網格單元，在每個單元里預測目標的位置和類別，再依據預測框與真實框之間的IoL值篩選目標框，以此達成目標檢測。YOLOv5的卷積層采用滑動窗口的方法對輸入圖像進行卷積操作，從而有效地捕捉圖像中的局部特征，而這些被捕捉到的特征能夠用于后續的分類、回歸或者其他任務。

在訓練之前，需要依據實際情況對配置文件中的參數進行修改。具體而言，將參數nc（類別數）修改為6（在動作訓練中nc為3），將names修改為{Anger，Contempt，Fear，Happy，Neutral，Suprise}（動作相關的則為{Wave，Jump，Fight}）。同時，在模型配置文件中設定batch-size為2，訓練迭代次數（epochs）為100，用于訓練和驗證的圖像大小（imgsz）為640，并且采用CPU來進行模型訓練。

項目根據實際需要選用YOLOv5s模型，其結構為輸入-骨干-頸部-頭部-輸出，其原理圖如圖4所示。YOLOv5s是YOLOv5系列中較小的模型，其所含的參數和計算量均較少。

在輸入端，Mosaic數據增強會隨機選取4張圖片，通過縮放、裁剪的方法對圖片進行拼接，增加了模型中的小目標，加大了數據多樣性[15]。同時，還會進行BN（Batch Normalization）操作，對輸入的每個batch進行標準化處理，即計算數據的均值和標準差；再對數據進行歸一化處理，使均值和標準差分別為0、1，數據變換為正態分布，從而使數據分布更加穩定[16]。

在訓練過程中需要對batch的數據進行逐一訓練，但在預測過程中通常是輸入一張圖片進行預測，此時batch-size為1，若再通過前面提到的方法計算均值和方差則毫無意義。因此，在每次迭代的過程中，BN層會不斷計算每個batch的均值和方差，并使用移動平均的方式來記錄統計出的均值和方差并保存。batch-size的取值須為2n，最小值為2。通常來說，batch-size的數值越大，BN計算得到的均值和方差就越接近整個數據集的均值和方差，效果也就越好。

在YOLOv5中，初始錨框的計算被嵌入到整個訓練代碼里。每次訓練開始前，該算法會依據不同的數據集，自適應地計算出不同訓練集中的最佳錨框值。此外，在算法里，自適應圖片縮放要求將原始圖片統一縮放到一個標準尺寸，自適應地添加最少的灰色邊框（114， 114， 114）后，再將其輸入檢測網絡中[17]。現以YOLO算法常用的416×416尺寸為例，對圖5中尺寸為800×500的圖片進行縮放。

已知原始縮放尺寸為416×416，除以原始圖像的尺寸后得到縮放比例，兩個縮放系數分別為0.52和0.83，選擇較小的縮放系數0.52，同時乘以寬和高后得到尺寸為416×260的圖片。再計算需要填充的灰邊數值，先由416減去260得到原本需要填充的高度為156，然后通過取余數的方式，即np.mod（156，32），得到28個像素，除以2可知圖片高度兩端各需填充14個像素。

骨干網絡（Backbone）負責提取圖片的特征并傳遞給后續的分類和回歸模塊。它包括Focus結構和CSP結構。Focus結構是用于特征提取的卷積神經網絡，其過程如圖6所示。為降低計算量，可將輸入的608×608×3圖像沿水平、垂直方向切片成4個子圖。對每個子圖進行卷積操作，然后將其堆疊起來，形成304×304×12的特征圖。最后，經過一次具有32個卷積核的卷積操作，使其變為304×304×32的二倍下采樣特征圖。Focus結構能夠在保證較高特征提取效果的同時，降低計算復雜度。

CSP（Cross Stage Partial）結構采用了CSPDarknet53用于構建骨干網絡，它具有范圍更廣、訓練速度更快、識別更準確的優點。它將輸入特征圖一分為二，一部分經過卷積網絡，另一部分直接進行下一層的處理，最后將兩部分特征圖拼接作為下一層輸入。

Neck是一種中間特征提取網絡，包含SPP操作和PAN模塊。它能夠將不同層次的特征圖進行特征融合，生成帶有多尺度信息的特征圖，進而提高模型的檢測能力。具體而言，SPP（Spatial Pyramid Pooling）操作是利用三種不同大小的池化核對輸入特征進行最大池化，之后將結果拼接，輸出特征向量。在PAN（Path Aggregation Network）模塊里，采用的是自上向下的特征金字塔結構。該結構運用多尺度特征融合的方法，先把輸入的特征圖分解為不同尺寸的子圖，然后融合這些子圖的特征信息，將高層次的特征信息傳遞到低層次的特征圖上。如此一來，便能得到更具代表性的特征，提高模型的準確性[18]。

最后，YOLOv5s采用CIOU_LOSS作為bounding box的損失函數，該函數同時考慮了GT框與檢測框的重疊面積、中心點距離和長寬比三個因素[19]。Head目標檢測頭用于對特征圖進行多尺度目標檢測，通過非極大值抑制算法NMS（Non-Maximum Suppression）刪除有高度重疊部分的邊界框，進而篩選出具有代表性的邊界框，顯著提高檢測速度。

該模型具有較強的學習能力，它通過對大量數據進行訓練，能從輸入的特殊兒童圖像數據的特征表示中學習到特殊兒童的發展水平和規律。經過上百次的迭代訓練，模型優化了權重和偏置參數，減小了預測結果與真實值之間的差，進而能夠準確預測特殊兒童的發展水平。

1.3 模型測試結果與分析

在目標檢測中，可以通過分析不同參數之間的關系得到該模型的檢測性能。圖7（a）、圖7（b）、圖7（c）、圖7（d）依次為表情模型訓練的F1曲線圖、PCC（Precision-Confidence Curve）圖、RCC（Recall-Confidence Curve）圖和PRC（Precision- Recall Curve）圖。

F1分數是分類衡量標準，其值介于0到1之間，為精確率和召回率的調和平均數，數值越大表明模型的檢測效果越好。F1曲線圖以置信度為橫坐標，F1分數為縱坐標，它能夠反映模型訓練時F1值的變化情況以及模型的訓練效果。

PCC是置信度閾值-精確率曲線圖。在該圖中，橫坐標表示置信度，縱坐標表示精確率。若曲線向左上方彎曲，則意味著在較低置信度下能達到較高的精確率，此時模型的檢測效果較好；反之則不然。

RCC即置信度閾值-召回率曲線，其橫坐標表示置信度，縱坐標表示召回率。在該曲線中，曲線越靠近右上角，意味著在過濾低置信度的預測框之后所獲得的召回率越高，也就表明模型的性能越好。

PRC即精確率-召回率曲線圖，其橫坐標為召回率，縱坐標為精確率。在該曲線中，越靠近右上角，表明模型在預測時越能同時確保高精確率和高召回率，其預測效果也就越好。

在分析模型檢測結果時，為評價訓練效果，通常會結合PRC圖與mAP值。綜合上述內容，可以從圖中分析出，模型在預測“Happy”這一表情時效果最佳。

通過應用訓練好的模型可以檢測出表情以及動作。表情檢測圖如圖8所示；動作檢測圖如圖9所示。

2 模型運用與預后評估

2.1 數據收集與評估標準

為收集檢測數據，項目首先采用ONNX模型把YOLOv5模型轉換為標準的ONNX格式，然后將其部署到樹莓派4B上。最后把樹莓派4B與STM32F103C8T6開發板相連，利用串口發送數據。如此，在識別表情、動作之后便可發送串口數據并計數，流程如圖10所示。

系統在識別到表情、動作時，可以對其進行計數，此種方式能夠反映一定的康復水平，在一定程度上能夠代替以往針對特殊兒童的繁瑣人工觀察。

通常，發育正常的6歲兒童已具備較好的基本面部表情理解能力。特殊兒童在康復過程中，如果能積極地用表情表達自己的情感和需求，那么他們的恢復水平相對較好；相反，如果他們長時間保持沉默或持續同一表情，那么他們的恢復水平可能會較差。例如，自閉癥兒童可能無法很好地理解他人的情感表達，因此他們的面部表情種類可能會較少，甚至單一；智力障礙兒童可能無法準確地表達自己的情感，因此他們的面部表情可能會較為模糊和混亂。在接受康復治療后，他們會逐漸學會更好地控制自己的情緒，面部表情也會變得更加自然和豐富。

根據已有研究，從面部表情效性的角度出發，表情可被分為正性維度和負性維度。其中，“開心”屬于正性表情，“恐懼”“憤怒”和“厭惡”屬于負性表情，“中性”屬于中等表情，“驚訝”屬于歧性表情（在很大程度上受其呈現前后面部表情效價的影響[13]）。本項目依據此結論開展了一個實驗，在5 min內，以26名測試者正常聊天時四類面部表情的出現次數作為評估特殊兒童康復的標準之一，每10 s計數一次。

測試結果累積柱狀圖如圖11所示。通過分析可知，在正常放松狀態下，人在聊天時出現正性表情和中性表情的次數較多，出現負性表情和歧性表情的次數較少，甚至可能不出現。出現正性和中性表情次數的平均值均為13次，而出現負性和歧性表情的次數最大值分別為4次和5次，最小值都為0。

因此，可以設定：在檢測特殊兒童的面部表情時，其正性和中性表情出現次數越接近平均值，則表明恢復情況越好；其負性和歧性表情出現次數在最大值與最小值范圍內，則表明恢復情況越好；越偏離此范圍，恢復情況越差，具體見表2。

在動作方面，根據艾賓浩斯的無意義音節實驗結果，可認為反復一個動作數十次即為刻板行為[19]。同時結合測試題得分對特殊兒童數據進行預后評估，并劃分級別，具體見表3。

表2和表3的實際數值應結合實際進行調整。這可以幫助醫務人員和教育工作者更好地了解特殊兒童的康復情況，并提供針對性的康復建議和教育計劃。

2.2 系統開發與應用驗證

項目開發了微信公眾號，旨在將研究成果應用于特殊兒童教育和康復的實際環境。在這個過程中，可以把對特殊兒童的檢測結果上傳至系統，再結合題目測試結果，就能生成推薦治療方案。為確保研究成果的實用性和可行性，所有功能都要在測試后進行驗證和優化。

該系統具有實時性、便捷性和隱私性的特點，可應用于特殊兒童教育與康復的真實場景。它能提供準確、快速的預后評估結果。并且，依據實際應用中的反饋和需求，該系統得以優化和改進。通過多次性能測試與實驗驗證，其技術的準確性和可靠性不斷提高，從而為康復方案的制定以及個性化教育提供有針對性的指導和支持。

3 結 語

特殊兒童的教育和康復需求日益增多。傳統的康復評估方式存在不少問題，例如評估過程繁瑣、結果不夠精確等。本項目針對這些問題研發出了智能評估系統。該系統在一定程度上填補了市場上特殊兒童康復訓練智能評估產品的空白，為特殊兒童的康復提供了全新的解決方案。這一系統既減少了評估所需的時間與人力成本，又能讓康復訓練更具針對性，從而取得更好的效果。

參考文獻

[1] 謝曉丹，盧斌. 對廣州市海珠區龍鳳街幼兒園兒童進行孤獨癥及多動癥初篩與干預研究[J]. 特別健康，2021（32）：120-121.

[2] 國務院.國務院關于印發“十四五”殘疾人保障和發展規劃的通知[J].中華人民共和國國務院公報，2021（22）：25-38.

[3] 程凱.推進適齡殘疾兒童和少年教育全覆蓋[J].中國特殊教育，2021（7）：3-5.

[4] 肖非.關于個別化教育計劃幾個問題的思考[J].中國特殊教育，2005（2）：8-12.

[5] 郝丹詩，劉姝，秦陽陽，等.孤獨癥譜系障礙患兒家庭早期干預研究的范圍綜述[J/OL].中國兒童保健雜志，1-6[2025-02-19].http：//kns.cnki.net/kcms/detail/61.1346.R.20250217.1725.010.html.

[6] 郝偉，陸林.精神病學[M]. 8版. 北京：人民衛生出版社，2018：228-229.

[7] 趙梅菊，鄧猛，雷江華.綜合干預對提高自閉癥兒童社會適應能力的研究[J].鄭州師范教育，2012，1（5）：17-18.

[8] 譚依琳，王翠艷.人工智能在特殊兒童個別化教育的應用研究[J].綏化學院學報，2020，40（7）：126-129.

[9] 李輝.自閉兒童智能機器人產品設計研究[J].電子技術與軟件工程，2022（16）：103-107.

[10] 劉清泉，張亞飛，李華鋒，等.基于協作低秩分層稀疏和LC-KSVD的人臉表情識別[J].傳感器與微系統，2017，36（11）：56-59.

[11] 余萍，杜尚榮.教育信息化2.0時代的師生溝通問題研究[J].教學與管理，2020（30）：10-13.

[12] 郭利明，楊現民，段小蓮，等.人工智能與特殊教育的深度融合設計[J].中國遠程教育，2019（8）：2-3.

[13] 郭文斌.自閉癥譜系障礙兒童面部表情識別的實驗研究[D].上海：華東師范大學，2013.

[14] 韋小滿.特殊兒童心理評估[M].北京：華夏出版社，2006.

[15] 郭磊，王邱龍，薛偉，等.基于改進YOLOv5的小目標檢測算法[J].電子科技大學學報，2022，51（2）：251-258.

[16] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning（ICML'15）. JMLR.org， 2015： 448-456.

[17] 李丹.基于YOLOv5的Logo檢測神經網絡[D].哈爾濱：黑龍江大學，2021.

[18] 秦昌輝.基于深度學習的行人跟蹤算法研究[D].綿陽：西南科技大學，2021.

[19] 廖杉.孤獨癥譜系障礙患者重復刻板興趣行為的定量研究[D].重慶：重慶醫科大學，2020.

收稿日期：2024-05-10 修回日期：2024-06-12

基金項目：2023年江蘇省大學生創新創業訓練計劃項目（20231365 4028Y）

作者簡介：丁俞心（2003—），女，研究方向為嵌入式開發、深度學習。

張 馳（2002—），男，研究方向為嵌入式開發、深度學習。

朱文馨（2002—），女，研究方向為傳感器技術、物聯網技術。

張國梁（2003—），男，研究方向為財務管理。

李 豪（2001—），男，研究方向為財務管理。

崔艷軍（1987—），女，高級工程師，研究方向為計算機技術、機器視覺。

朱 葉（1994—），女，助教，研究方向為財務分析。