融合語音和腦電的智慧病房控制系統①

蔡旭剛, 王 磊, 王 帆, 李俊廷, 潘家輝

(華南師范大學 軟件學院, 佛山 528225)

我國醫療衛生市場龐大, 醫護人員工作負荷重情況突出, 據中國國家衛生健康委員會發布的《2019年我國衛生健康事業發展統計公報》顯示[1], 2019全國醫療衛生機構總數達1007 545個, 全國醫療衛生機構床位880.7萬張, 醫院醫師日均擔負診療7.1人次和住院2.5床日.伴隨著新冠疫情與高新科技的沖擊, 醫療衛生行業模式正加快從傳統化、數字化、信息化走向智能化[2].醫院病房作為醫院醫療產業的核心支柱, 其智能化程度與病人舒適指數、醫護負荷指數、醫療資源分配合理指數、管理運作效率指數等密切相關.物聯網、5G通信、云計算、大數據等高新技術在醫療病房等傳統行業的應用已是智能化時代背景下的大勢所趨, 以“互聯網＋醫療”的智慧病房協同控制控制系統是當今醫院醫療產業信息化研究與建設的熱點方向[3].

課中是教師組織活動，學生參與活動，是學生展示交流、協作討論、解疑釋問和完成作業等充分實現知識內化的過程，具體實施方案如圖2 所示。

智能控制的核心在于控制機制的有效性、健壯性、實時性、簡易性與可維護性.在傳統病房以醫護為核心的人工服務機制中, 緊急呼叫與控制機制多為人工服務.應對眾多患者的不同需求, 醫護工作負荷沉重, 尤其是應對言語障礙(Language Disorder Syndrome,LDS)、脊髓損傷(Spinal Cord Injury, SCI)、肌萎縮性脊髓側索硬化癥(Amyotrophic Lateral Sclerosis, ALS)等生活能力較弱的病患, 難以做到針對不同病患的個性化服務, 且醫護查房工作經常出現“觀察查房”現象,對病人護理與治療缺少溝通交流, 病患缺失修養與治療所需求的幸福感與舒適感[4].同時病患醫療必要生理數據獲取需要消耗醫護大量工作時間進行日常記錄,病房安全需要定時檢查維護, 尤其對于負壓病房等高要求醫護病房, 大量的數據記錄與機械人工預警極大浪費專業安全人員的精力與時間.

本文提出一種融合語音與腦電信號的智慧病房控制系統.語音交互方面, 基于STM32微控制器(Micro-Controller Unit, MCU)與SYN7318離線非定向語音識別模塊對語音信號識別分類并轉化為控制指令, 利用TCP/IP協議遠程傳輸生理與安保數據完成云端被動預警控制; 腦電交互方面, 基于一種波峰波谷特征的波形檢測算法對眨眼動作進行識別并轉化控制指令.最后,融合語音控制的高效性、腦電控制的自然性和遠程終端控制的準確性設計一種互補性融合的多模態智慧病房控制系統.

本文的主要貢獻如下:

采用先進的水性配方Penguard E33 WF、Jotatop AY20 WF、Penguard E99 WF以高品質水性樹脂為原材料，VOC含量極低（小于80 g/L），可有效避免涂裝過程中對現場施工人員的健康損害。

(1) 根據離線語音模塊的語義特性適配傳輸速率并設計傳輸協議, 對語音信號進行指令轉換, 完成語音交互控制.

(2) 根據腦電采集設備采集的腦電數據格式, 設計腦電信號傳輸協議, 并基于腦電信號生理特征設計一種基于波峰波谷特征的眨眼波形檢測算法, 對輸入的信號進行起始點檢測、分幀、去噪等預處理, 經過特征提取和分析實現眨眼波形檢測, 最后適配眨眼特性,設計一種眨眼緊急呼叫機制, 完成腦電緊急呼叫.

可是，沒過多久，兒媳婦單位因為上了什么新項目，每天很晚才到家，回來的時候寶寶都睡了，這樣一來，老伴就沒有自己的時間了，我干啥只能單獨行動，為他們做好后勤工作。雖然偶爾也會跟兒子發發牢騷，但兒媳婦和兒子說了兩句好話，我們也就乖乖地服從了。

1 國內外研究現狀

1.1 腦電控制研究現狀

近年來, 很多國家和組織都致力于開發實用且可靠的人機交互系統, 如語音交互系統[5]、單一開關系統、眼球追蹤系統[6]等輔助系統, 但是對于那些完全喪失外周神經肌肉控制能力與語言溝通能力的人來說,這些輔助系統很難使用或者無法使用, 需要借助另一種自然性更高的輔助系統, 即基于腦機接口(Brain-Computer Interface, BCI)技術的新型輔助系統.通過侵入式或非侵入式腦電信號監測技術, 將大腦中神經電信號能實時、準確地通過BCI系統轉換成可被計算機識別的命令或操作信號, 為大腦與外部世界提供直接的交流方式.

(2) 分析語音命令的語義結構進行譯碼識別.

1.2 語音控制研究現狀

相對于其他交互方式而言, 語言是人類交往中最基礎、最便捷的交流方式, 伴隨著人工智能的突飛猛進, 自動語音交互(Automatic Speech Recognition,ASR)技術已初步實現計算機與人類之間的語音交流,基于此項技術, 學者對語言交互的應用場景展開了研究.Portet等[17]開發了一種針對老年人的家庭自動化語音控制系統——SWEET-HOME, 并評估了使用者及家屬對該技術的接受程度.該研究表明, 語音交互技術具有解決老年人和殘障者日常生活需求的巨大潛力, 比其他侵入性腦機控制解決方案更容易被接受.Jadczyk等[18]實現了一個具有語音功能的醫療自動化平臺CardioCube, 可以從患者那里收集醫療數據, 并將其用于進一步的分析.此語音交功能有效提高了用戶操作系統的便捷性, 無論是患者還是醫護人員都對該系統給予了很高的評價.Peng等[19]使用Google Home,Raspberry Pi和Smart Bluetooth Socket構建智能家居控制系統, 通過機器學習算法融入應用程序為用戶提供新型智能家庭服務.在該系統下, Google Home識別用戶的語音命令, 然后將指令通過藍牙傳輸到Raspberry Pi進行家電的控制.毛博等[20]基于深度學習方法提出DeepHome智能家居管控模型, 能夠基于家居環境數據預測智能設備工作狀態, 并依照預測結果調整相應設備, 實現對智能家居的自動化統一管控.在真實環境數據集下, 對設備狀態的預測準確率達到了98.9%.許建國等[21]為醫院病房智能監護系統的設計提出一種基于物聯網和Android技術的解決方案.該系統由移動智能終端SDA、ZigBee模塊、A10平臺、服務器等部分構成.

近年來, 智慧病房控制系統的升級改造一直在進行, 語音、腦機接口、物聯網等交互技術在智慧家居、智慧醫療等場景取得了長足進步, 每年有大量的研究論文、專利和演示系統發表與涌現, 但實際應用仍存在諸多問題.

(1) 病房交互技術中缺乏豐富、準確、實時的控制指令.目前大部分醫院病房中護理與交互依舊是“端到端” 的人力完成, 極少涉及語音交互技術與腦機交互技術在病房場合的應用, 歸其原因, 語音交互系統與腦機交互系統要控制復雜對象, 需要從語音信號或腦電信號中產生多個相互獨立的控制信號, 且這些控制信號要具有良好的準確性和實時性.目前的語音交互系統大多數利用大數據技術進行在線識別, 語音數據的上行傳輸和識別結果的下行傳輸需要花費一定時間,產生時延, 應用于病房的智慧控制缺乏控制的實時性,且語音識別對所需要的噪音環境要求較高, 在噪聲很大的環境下, 其精準度受到極大影響; 在腦機交互方面,目前的非侵入式腦機接口能提供的獨立控制信號還非常有限, 大多局限于一維控制和較少類別(一般2類或者3類)的腦電信號檢測.即使出現了少數多維/多類系統, 也基本上是一維、二維控制信號和二分類系統的擴展, 造成腦機交互系統性能和應用上有很大的局限性.

(2) 模態單一, 結合語音和腦電的多模態控制研究很少.目前一些醫療病房領域采用的智慧控制方式多為單一模態控制, 無法覆蓋病房內全部患者的服務要求.控制方式中語音控制與腦電控制分屬兩種模態控制, 兩種模態控制方式各具有其優勢特色, 應對不同特征患者, 各自擁有自己差異化應用解決方案, 目前結合語音交互的高效性與腦電交互的自然性, 發揮各自差異化應用特點, 形成一款互補式的融合控制機制進行主動與被動控制, 仍然處于學術與市場的初探階段.

2 系統總體設計

本系統將物聯網技術、語音識別技術和與腦機接口技術相結合, 以傳統的病房護理為場景, 構建以輔助預警及智能護理為主要功能的智慧病房控制系統, 該控制系統結構總圖如圖1所示.

圖1 智慧病房控制系統結構

語音識別交互模塊能夠滿足病患在病房的基本控制需求與交互服務.系統中語音識別依托SYN7318非定向離線語音芯片, 首先采集病房內病患語音信號, 信號經由預處理后提取相應語音信號特征, 對其進行離線數據庫比對, 最后識別出語音中的病患控制指令, 完成語音交互功能, 包含語音控制、離線語音聊天、語音定時、語音呼叫、音頻播放等功能.

本次實驗分為語音交互實驗和眨眼識別實驗.實驗環境基本設備: 基于樹莓派4B腦電分析模塊, Linux環境下, 以PyCharm工具為平臺, Python 3.8版本; 基于STM32F103系列的云端管理與控制模塊和顯示播報模塊; HNNK腦機智能生命環; Android 5.0以上的智能手機終端.

顯示播報模塊利用無線通信技術與云端管理與控制模塊進行遠程信息傳輸, 將病房患者的交互需求與緊急呼叫進行可視化顯示與實時動態語音提醒.

因此，就業角度的人工智能樂觀派，恐怕很難成立。這意味著，人工智能將粉碎人類有史以來的重復性勞動和生活樣態。

腦電采集與分析模塊接收HNNK腦機智能生命環原始腦電信號, 對信號進行眨眼波形檢測, 以提供腦電控制指令緊急報警.遵照腦電信號本身生物電特性進行濾波降噪, 將降噪后的連續腦電信號進行起止點檢測與目標字符段進行劃分, 最終腦電數據經由一種基于波峰波谷特征的波形檢測算法進行眨眼識別, 利用患者多次眨眼信號作為緊急告警指令, 實現緊急報警功能.

3 語音識別交互模塊核心技術

為了實現病患人機離線語音交互功能, 語音識別處理是不可或缺的一環.有效的語音識別處理能將病患語音模擬信號實時轉化為相對應的語音特征指令,并對后續系統控制提供最正確的指令特征信息.同時病房環境中識別病患語音信號能使最終所執行的控制指令更具準確性和實用性.

在對語料進行加工的時候，需要注意一下以下原則：第一，適量性。在對語料進行加工的時候，講究適量原則，建立“學生友好”原則，信息不要太多，信息太多，反而會讓學生產生“畏難”情緒，不利于激勵學生繼續學習。第二，開放性原則。語料是不斷變化的，是有生命的，是活動的，因此，語料的加工要隨時增補一些貼近時代的語料。第三，教育性。語料的加工處理要具備一定的教師育人目的，給學生帶來正能量，幫助學生不斷進步與提高。

為實現語音信號的實時與準確識別必須完成下列任務:

(1) 適配通信速率去保障通信傳輸準確性;

隨著相關研究推進, 腦機接口技術的含義進一步得到外擴, 腦機接口技術不再局限于實現對用戶大腦狀態的檢測, 還用于實現大腦對外部設備的控制.四肢癱瘓患者利用侵入式BCI控制機械臂完成手部伸手動作與抓取動作[7,8], 此種控制方法備受患者青睞.但安全性一直是困擾侵入式BCI發展的主要問題, 相比之下,非侵入式BCI擁有更安全、更簡易、更普適的控制優勢.目前, 多名學者與研究團隊將BCI控制應用到輪椅中[9,10], 用于解決SCI、ALS患者行動不便的問題.Jafri等[11]提出了一種基于無線腦電接口(Wireless Brain-Computer Interface, WBCI)技術的高可移植性智能家居系統, 通過P300腦機接口范式選擇家電設備并完成后續的控制操作.考慮一定比例患者由于文化、學科等因素導致無法操作單一類型BCI系統[12].因此,“混合型”BCI系統可為患者在不同的方法中提供最優的BCI控制, Edlinger等[13]提出了一種基于P300與SSEVP多模態的融合控制范式, 能夠在虛擬智能家居環境中完成高精度的工作.Chen等[14]結合增強現實技術、計算機視覺技術和穩態視覺誘發電位-BCI技術,設計并實現了雙臂控制系統.除腦電控制之外, 多名研究學者將眼電信號與腦電信號進行融合, 使系統擁有更高的使用效率和更廣的應用范圍[15].Venkataramanan等[16]采集水平通道與垂直通道的眼電信號, 經由偽影和干擾電弧處理, 進行眨眼檢測, 并將眨眼信號應用于醫院二級報警系統控制.

3.1 語音識別交互系統結構

語音識別交互系統架構包括硬件、接口、協議、功能、模式5層, 如圖2所示.

考慮到國外經濟發展水平、市場化程度、社會信用約束及法律約束條件等不同，因此，對國外的一些金融產品、金融技術不能搞簡單的“拿來主義”，一定要系統地完成中國化、本土化的再改造過程。否則，中國的社會經濟發展很可能會遇到不能承受之重。例如，2016年年初照搬美國證券市場的熔斷機制，不僅未達到穩定市場的目的，反倒進一步加劇了市場恐慌。

圖2 語音識別交互系統架構

硬件與接口層以STM32F103C8T6主控器為核心,OLED顯示屏、硬件驅動電路、離線語音識別單元、無線通信單元和外圍硬件電路為輔, 依托模擬信號采集傳感器讀取相關數據, 對STM32F103C8T6主控單元GPIO引腳進行復用配置提供上層數據傳輸接口.在協議層依托硬件與接口層機械、電子功能部分特性, 規定通信過程中的通訊邏輯、統一收發雙方的數據打包與解包標準, 確定雙方通信信道與連接方式, 保障雙方有序通信, 準確完成數據獲取.功能層依托協議層與硬件接口層, 完成語音交互、數據傳輸、指令融合和外部控制等模塊功能.應用模式層規定頂層模式, 合理組織調用業務邏輯功能與常用功能, 對系統支持功能進行合理的整合與調配, 保持系統的合理性、有效性和穩定性.

3.2 語音交互指令獲取

(1)波特率選擇

波特率指數據信號對載波的調制速率, 它用單位時間內載波調制狀態改變次數來表示, 單位為Baud.比特率指單位時間內傳輸的比特數, 單位b/s[22].STM32F103C8T6 主控HSE高速外部時鐘信號采用8M晶振為基頻, 經過鎖相環倍頻達到72 MHz主頻,以保障系統穩定運行.其USART1/USART2外設時鐘分別來源于APB2/APB1總線時鐘, 最大頻率為36 MHz/72 MHz, 最大支持4.5 Mb/s, 考慮SYN7318所支持的4800 Baud、9600 Baud、57 600 Baud和115 200 Baud 4種波特率、串口10位傳輸字符格式, 對雙方通信設備通信速率、波特率誤差、通信距離綜合考慮進行如表1所示比較, 最終選擇115 200 Baud為通信傳輸波特率.計算通信速率為式(1), 計算波特率與誤差為式(2)和式(3):

其中,I代表比特率;STx/Rxbaud 代表波特率,N代表每個符號負載的信息量, 由于STM32F103C8T6中單個調制狀態對應1個二進制位, 比特率等于波特率.

3) 設計一種基于波峰波谷特征的波形檢測算法進行眨眼波形檢測.

表1 通信速率與誤差比較表

其中,Serror代表波特率誤差率,Sbase為設置波特率,Sreal為實際波特率.

(2)命令幀解析

SYN7318以“幀頭+數據區長度+數據區”格式與MCU主控通信, 其語音命令幀格式如表2所示.

綜合考慮燈樁建設周期（通常1年）、總投資、勘察設計時間及成本等因素，結合燈樁建設選址位置，根據不同的地質條件，選擇幾個代表性的地質類型進行勘察，同類型燈樁勘察設計互相借鑒，以此類推，編制燈樁標準化勘察報告。

表2 語音命令幀格式表

幀頭設定“0xFD”為設備雙方串口通信識別初始字節, 占用一個字節; 數據長度使用兩個字節進行標識,發送與回傳指令最大長度不大于4096 B; 數據區為包含命令字節、命令參數與待發送文本, 命令字節使用1 B選擇模式, 同時確定對應模式具體功能, 識別模式命令參數字節長度不定, 通常為5 B, 包含匹配度(1 B)、詞條ID (2 B)、命令ID (2 B), 其余模式命令參數為無,待發送文本為存儲語音合成詞條的編碼字節和回傳類型, 字長根據語音合成文字長度設定, 字節長度小于等于4 KB, 根據其字節接受特性與實際通信測試, 同一幀數據中, 每個字節之間的發送間隔不能超過15 ms;幀與幀之間的發送間隔必須超過15 ms, 考慮通信質量不被影響, 至少留出2 ms時延長余量, 即幀與幀發送間隔大于17 ms.且在發送過程中, 發送命令幀嚴格控制4096 B, 超過4096 B會導致發送失敗.

3.3 語音指令分級編碼

對SYN7318通信傳輸速率與通信協議匹配后,MCU具備與語音模塊雙向通信的能力.為完成人性化的語音交互功能, 將離線語音模塊所支持的語音功能高效的綜合利用, 還需要對語音指令進行分級編碼傳入語音、腦電與云端控制融合模塊, 防止指令混傳, 造成功能混亂.編碼規則如表3所示.

表3 語音指令編碼規則表

編碼規則采取16位二進制編碼方式, 通過藍牙HC-05近距離逐字節傳入控制系統進行分析識別, 傳輸時間間隔為2 s, 語音指令編碼長度為7位, 其狀態編碼表示當前數據是否為有效語音指令; 模式編碼為一級詞條編碼, 確定要選擇的語音交互模式或控制指令; 詳細功能編碼為當前已選模式下的具體語音功能.將語音指令進行編碼化設計, 根據其編碼規則進行表達與關聯, 確保語音指令的準確性, 避免指令間的識別沖突, 方便后續離線語音詞條的添加與刪除, 降低復雜度.

4 腦電獲取與分析模塊核心技術

腦電控制模式針對肢體殘疾且語言能力受損的特殊看護病人, 提出一種根據眨眼動作完成控制與緊急呼叫的解決方案.其中, 眨眼波形識別處理是不可或缺的一環.有效的眨眼識別處理能將病患眨眼動作準確識別并轉化為眨眼特征指令, 對后續腦電緊急呼叫提供最準確的指令特征信息.為此腦電控制與緊急呼叫必須完成下列任務:

(1) 眨眼波形識別.

1) 根據HNNK腦機智能生命環傳輸協議解析并獲取原始腦電信號;

廣西與越南陸海相通，居于中國—東盟的地理中心，在我國面向東盟的經貿合作格局中享有極為明顯的區位優勢與非常重要的戰略意義。與廣西一河之隔的越南則是東盟經濟發展潛力巨大的重要成員國，極有可能成為21世紀全球新的制造中心。根據商務部的相關統計，廣西檢驗檢疫局簽發往越南的中國—東盟自貿區優惠原產地證書在全國檢驗檢疫系統中居首位。

由嘯叫產生的原理可知，門頁與車體之間或兩門頁之間產生的縫隙導致了車廂內出現刺耳的嘯叫聲。以下是導致車門與車體及兩門頁間出現縫隙的幾種原因：

2) 根據生物電特性對腦電信號進行濾波降噪, 將降噪后的連續腦電信號進行起止點檢測, 對目標字符段進行劃分;

其中,fCK為USART 時鐘,OVER8代表16倍過采樣, 用0表示,USARTDIV代表一個存放在波特率寄存器(USART_BRR)的一個無符號定點數.其中DIV_Mantissa[11:0]位定義USARTDIV的整數部分, DIV_Fraction[3:0]位定義USARTDIV的小數部分, 波特率的誤差正是由于對小數部分的取整賦值所造成.

在進行石油裝備企業績效管理工作的開展中，應該針對績效管理工作的開展制定專門的協作機制，也就是在進行績效管理過程中，針對績效管理工作的開展將對應的績效管理工作控制協調好，保障在控制協調過程中，能夠按照石油裝備企業的發展去調整對應的績效管理工作。這種現象是我國當前的石油裝備企業管理中最為直接的一項管理表現，就是在績效管理工作的控制中，對于績效管理的理念協調不夠完善，很多人不能夠明確績效管理的重要性，對于企業自身管理能力提升具有重要的影響。同時在石油裝備企業的績效管理中，對于績效協作管理理念的傳輸在部門與部門之間的流通是存在不同的，所以其對應的影響也是不同的[2]。

(2) 腦電指令轉換.

設計一種腦電緊急呼叫機制, 通過用戶多次眨眼動作觸發遠程腦電緊急呼叫.

4.1 腦電獲取與分析處理系統流程

腦電控制與緊急呼叫是本系統的一個重要功能,其流程框圖如圖3所示.

圖3 腦電緊急呼叫流程圖

用戶首次使用該功能, 首先需要多次眨眼校準, 待眨眼評分大于80后進入動態采集檢測部分, 如非首次使用, 可跳過此環節.眨眼校準完成后, 進入實時眨眼判別環節, 基于樹莓派4B每隔16 ms進行一次生命環數據讀取, 每次讀取20 B數據(包含8 ms時間間隔的4 B腦電數據), 并繪制其為實時腦電波形.在腦電波形圖中, 信號的幅值隨眨眼動作的進行而改變, 為此采用含有n個元素的波形向量(X=[x1,x2,x3,···,xn-2,xn-1,xn]xi)進行表示, 其中xi為波形上的某一點幅值,兩個相鄰向量點之間的時間間隔Δt為8 ms, 由此組成的波形向量以腦電信號的生物電特征為基本判別標準對腦電信號進行起始段檢測與分幀、濾波等預處理.最終根據眨眼操作完成控制與緊急呼叫.

4.2 腦電信號預處理

(1)起始段檢測與分幀

根據腦電信號的非平穩特征, 即從整體來看其特征與表征本質特征的參數均為隨機變化, 具有時變特性.但在一個短時間內, 其特性基本保持不變即相對穩定, 因而可以將其看作一個準穩態過程, 即具有短時平穩性.后續分析要進行“短時分析”[23].樹莓派以8 ms的間隔時間進行數據點存儲形成波形向量, 在實際測試中, 眨眼波形的數據點遠遠小于未眨眼數據點, 避免浪費大量數據處理的時間, 有效捕獲有眨眼動作波形,需要對腦電信號進行起始段檢測, 以排除非眨眼動作的無效腦電信號, 提高眨眼識別處理的準確度與效率.

本設計中采用移動平均法來動態檢測活動段, 根據眨眼動作時, 腦電信號幅值產生波動的特點, 采用短時間信號幅值均值為預測值, 實際腦電信號幅值與預測值相減, 差值大于閾值(閾值取值以經驗值為標準)的點為基本起始點.其數學表達式如式(4)所示, 其中xk為下一個時期腦電信號的預測值,n為移動平均的時期個數,xk-1,xk-2,xk-3等為前幾期的實測腦電信號幅值.xreal為下一個時期實測腦電信號幅值,Tbegin為起始點檢測差值經驗閾值.式(5)中,S=1(S=0)表示檢測到眨眼起始點(未監測到眨眼起始點), 注意采用的移動平均法為簡單移動平均法, 每個時期腦電信號幅值權重都同為1.

在實時腦電信號動態處理過程中, 在起始點確定后, 為再次減少眨眼識別的數據量與運算量, 排除腦電信號中非眨眼動作的噪音干擾, 增強數據的有效性與準確性, 對數據分幀是一個重要環節, 眨眼動作的起始端確定后, 還需確定眨眼動作的終止端.

(2) 抗噪音實驗

圖4 眨眼動作實驗統計圖與概率密度函數圖

(2)濾波

腦電信號在采集過程中容易收到周圍環境和自身生物電因素的干擾, 因此要對分幀后的腦電信號進行濾波去噪處理, 為后續的眨眼波形識別與處理提供可靠的數據支撐.本設計中采用0-10 Hz Butterworth低通數字濾波器對波形數據進行低通濾波[16], 最終原始波形經過分幀、加窗、濾波后的波形如圖5所示.

圖5 原始波形經過起始段檢測、分幀、濾波結果圖

4.3 特征提取與眨眼檢測

通過眨眼信號和非眨眼信號對比, 如圖6所示.眨眼信號存在明顯波峰波谷(先波峰后波谷)特點.根據這種差異, 提出了一種基于波峰波谷特征的波形檢測算法.將預處理后的波形被轉換成能量波形后檢測其波峰與波谷(tvalley與tpeak), 并計算波峰波谷間隔時間(d=tvalley-tpeak) 和能量積累(e=(Vt)2,Vt表示t時刻當前信號的電壓值), 提取此眨眼信號特征閾值(Dmin、Dmax和E)進行眨眼波形檢測, 其波形檢測公式如式(6)所示.

圖6 眨眼與非眨眼EOG信號波形

其中,b=1表示檢測到眨眼動作;b=0表示未監測到眨眼動作.

待眨眼動作識別處理完成, 將識別分類情況傳入腦電緊急呼叫機制, 當接受到眨眼動作為“真”情況下激活3 s定時函數, 并記錄眨眼次數blink_num, 3 s內如果眨眼動作次數超過3次, 將眨眼緊急呼叫指令發送至控制系統, 反之眨眼次數清零(防止自然眨眼所導致緊急呼叫), 等待下次眨眼動作激活.具體眨眼緊急呼叫機制處理如式(7)所示.

5 系統實驗

云端管理與控制模塊負責預警控制.病房相關安全數據與醫患常規測量數據經由TCP/IP協議傳入云端, 以便安保人員與醫護人員檢測與記錄, 并基于閾值形成一種被動控制方式.

從某種意義上來說，師生關系應該是平等的。我們通常習慣于把學生置于接受教育的一方，而很多時候，學生也可能成為我們的老師。“教學相長”，說的就是我們在教育教學的過程中不斷總結反思，而后在改進中不斷進步的結果。對大家來說，每一個教育難題都是一次有益的考驗，通過了這個考驗，你就自動升級。

5.1 語音交互實驗

語音交互是本設計的核心控制技術之一, 下面分別對語音交互中的語速適應性識別、抗噪音能力以及識別距離進行實驗, 探究其對語音交互識別的影響.本次實驗人員為4名男性(平均年齡23.6), 實驗地點為華南師范軟件學院302實驗室.3項實驗均采用不超過20個音節的短句進行實驗檢測.

(1) 語音語速識別實驗

探究不同語速對語音識別所造成的影響.4名實驗人員在環境噪音為安靜(20-40 dB), 交互距離長度為0-0.5 m, 語種為標準普通話進行不同語速實驗.根據人的發音速率特性[24]及國家標準[25], 人在正常交流情況下發音速率在4.0 sps左右.為此本實驗將語速分為2.7 sps、3.2 sps、4.0 sps、5.3 sps和 8.0 sps 5 個等級, 每名實驗人員進行50次語音交互, 最終計算平均語音判決時間和識別準確率.

根據經驗所得, 人類絕大部分眨眼時間在0.8 s以內(100個數據點), 在此基礎上對3名正常人(平均年齡23.7)與運動功能受損但眼部功能完好的5名病患共8人進行實驗統計, 我們以160次眨眼動作腦電數據進行分析, 被試者絕大部分眨眼時間集中在44-66(0.352-0.544 s)之間, 眨眼動作持續時間實驗統計圖與概率密度函數圖如圖4所示, 其均值為56.7375, 我們規定起始端到終止端設置為眨眼識別 “窗口”, 一次“窗口”為一個眨眼動作識別數據幀, 幀長為57.最終的處理腦電數據為57個元素的波形向量(X=[x1,x2,x3,···,x55,x56,x57]).

探究不同環境噪音對語音識別所造成的影響.本次以現實環境噪音為根據, 環境噪音等級劃分為3個等級, 分別為安靜(20-40 dB)、較吵鬧(40-60 dB)、吵鬧(60-80 dB), 4名實驗人員在語速為正常語速(4.0 sps),交互距離長度為0-0.5 m, 語種為標準普通話的基本前提下, 分別50次進行不同環境噪音下進行實驗, 計算平均語音判決時間和識別準確率.

監管工作在國內的公路工程項目建設施工的質量安全工作中發揮著重要作用，但是實際上國內的工程監管體系發展尚不夠成熟與完善，使其在具體落實的過程中出現許多問題。首先，施工單位對監管工作缺乏全面深入認識，其所落實的監管工作內容僅限于現場監督施工人員的施工情況，卻忽略了設計與技術交底、施工組織設計、質量安全檢查保證等環節的監管職責，在很大程度上影響著公路工程建設施工中對質量安全的監管工作成效。

(3)識別距離實驗

探究不同識別距離對語音識別所造成的影響.本次實驗4名實驗人員在語速為正常語速(4.0 sps), 噪音環境為初級(20-40 dB), 語種為標準普通話的基本前提下及將距離分為4個等級, 近(0-0.5 m)、中(0.5-3 m)、遠(3-5 m)、超遠(5 m以上)進行不同距離分別進行25次實驗, 并計算最終平均語音判決時間和識別準確率.

(4)實驗總結

綜合表4、表5、表6結果所得, 語速在3.2-4.0 sps,識別距離0.5 m以內且噪聲分貝在40 dB以下時, 識別準確度保持在98%以上.但語速過快導致采樣缺失與識別時間過長, 隨之識別錯誤與識別超時數量增加, 識別準確率下降.同時外界環境噪音的大小與識別準確率成反比, 隨著噪音的增加, 外界噪音被誤判為人為語音引起音頻采集混亂, 識別錯誤數與識別超時數隨之增加, 準確率下降.識別距離的增加, 同樣會導致準確率下降.考慮現實常規應用環境, 病房內環境噪聲規定最高為45 dB[26], 識別距離為3 m之內, 語音交互識別平均判決時間小于1 s, 識別準確率93%以上, 完全滿足現實需求, 能夠投入實際應用.

表4 語速適應性實驗

表5 抗噪音實驗

表6 識別距離實驗

5.2 眨眼識別實驗

眨眼識別實驗旨在檢測系統從腦電波形中識別眨眼動作的能力.在本實驗中, 使用HNNK智能腦機生命環收集腦電數據, 然后基于本文提出的一種基于波峰波谷特征的波形檢測算法進行實時數據處理.實驗人員共10人, 6名健康受試者進行了18項試驗,4名患有眼疾的患者進行了14項試驗.每個試驗包含30幀, 共檢測960幀.選取信息檢索和統計學分類領域中廣泛應用的兩個度量值: 召回率(recall)和準確率(accuracy), 用于評價結果質量; 選取精確率(precision)來反映預測的眨眼中真正眨眼樣本所占的比重.

據統計, 眨眼識別性能結果如表7所示, 健康受試者的準確率, 召回率和精確度分別為94.3%, 90.6%和92.1%, 而患者的準確率, 召回率和精確率分別為82.9%,77.9%和72.7%.

表7 算法性能結果 (%)

從檢測過程來看, 隨著眨眼動作的幅度增加, 健康受試者和眼疾患者的眨眼波形識別率都會上升.但同時也增加由設備的抖動引起的噪聲, 導致精度降低.因此, 尋找眨眼動作幅度的平衡點是十分必要的.

6 結論

本文針對醫療信息化中重要建設目標之一——智慧病房系統, 提出一種融合語音和腦電的多模態智慧病房控制系統.該系統采用語音、腦電和手機終端多模態信號作為系統控制源, 擴大了系統的使用受眾, 有效改善了當前智慧病房系統中存在的用戶身體條件要求過高、受眾有限的問題.通過將物聯網控制、語音識別應用到病房護理場景, 引入了基于語音的電器控制功能.該功能從患者角度出發, 深入挖掘其在治療護理時期實際需求, 有效提高了患者在病房中的自理能力.這一設計出發點, 打破了以往智慧病房設計從醫院護理者出發的固有思路, 值得未來智慧病房設計規劃借鑒.

對PM2.5進行組分分析，如圖3所示。結果表明，本站點環境PM2.5中，水溶性離子所占比重最大，且NO3->SO42->NH4+> Cl- > K+ > Na+ >Ca2+ > Mg2+，其中二次無機離子SNA共占總離子濃度的81.5%，這表明了大氣二次污染較為嚴重。

本文提出的智慧病房控制系統, 能夠提高病房護理中醫護工作效率, 滿足病患的護理中的基本訴求.系統未來可以從以下兩個方面完善優化:

(1) 豐富腦電控制功能.本文采用腦電信號進行告警, 驗證了腦電信號在病房護理中的可行性.但是控制功能單一, 未來可以結合病房控制需求設計刺激范式,形成一套豐富的腦電控制系統.

(2) 采用基于自然語言處理的人機對話系統, 提升系統語音交互的智能性.本文系統的語音交互功能, 需要對固定語音詞條的“回復”語音進行提前錄入, 這就導致語音交互過程中人機對話的單一性, 交互的弱智能性.無法實現生動流暢的語音聊天、隨機多媒體點播任務, 因此與高智能化的人機對話結合是系統智能化不可或缺的一步.