交互式視音頻在智能采摘機器人自動化系統中的應用

劉 瑜

(重慶能源職業學院,重慶 402260)

0 引言

在果實生產作業過程中,水果的采摘是最耗時費力的一個環節,其作業時間密集、作業強度大、費用高,人工采摘費用甚至要占水果生產總成本的50%～70%。為了保證果實能夠適時采摘,降低人工勞動強度和費用,引入了采摘機器人。采摘機器人是針對水果和蔬菜,通過編程能完成這些作物的采摘、輸送、裝箱等相關作業任務的具有感知能力的自動化機械收獲系統。采摘機器人的設計核心是定位和識別,在進行作業時需要不傷害果實和植物進行準確的定位和采摘。如果在采摘機器人作業時能夠實現遠程端和采摘機器人交流交互,對于采摘機器人準確定位和高效完成采摘任務具有重要的意義。

1 交互式視音頻及其在采摘機器人系統上的應用

在傳統的英語教學過程中,黑板的作用往往是單向的,老師單向地將知識寫在黑板上,學生單向地從黑板接收知識。隨著互聯網技術的不斷發展,多媒體數字化視音頻教學被應用到教學過程中,并出現了新的交互式平臺白板。白板支持學生、老師之間的交流互動,可以允許學生之間、學生和老師之間進行對話,呈現給學生可視化的教學內容,包括視頻、音頻、圖像和動畫等,有利于英語教學靈活生動的教學情境創設,使生硬的英語學習變得輕松而愉快。

例如,在學習this is ourclassroom時,可以利用白板為學生插入教師和學校的新風貌圖片,特別是貼近學生生活的;然后,讓學生之間相互展開討論;最后,教師將討論結果進行匯總,鼓勵學生用英語描繪教師的場景和畫面,讓學生體會到學習的樂趣。在教學home時,可以利用白板呈現學生自己制作的各種房間的圖片,讓學生繪聲繪色的描述展示自己的home;最后教師將學生的表現進行匯總,采用信息反饋的方式對表現出色的學生進行獎勵,鼓勵更多的同學參與到互動學習中。

隨著農業技術的不斷發展,采摘機器人被應用到農業生產過程中,為了實現采摘機器人的自主作業,需要采用智能化技術對采摘機器人的控制系統進行設計。在一些容易破損果實的采摘過程中,機器人除了要對果實進行精準定位,還需要利用監測反饋的方式對機器人的作業質量進行監測,這就需要遠程端和機器人的交流互動。以草莓采摘機器人為例,其作業場景如圖1所示。

圖1 草莓采摘機器人采摘過程示意圖Fig.1 The picking process sketch of strawberry picking robot

在機器人對草莓進行采摘時,由于草莓容易破損,在采摘過程中要對采摘機器人進行實時監測。借鑒交互式視音頻英語學習過程,采用信息交互反饋的形式,采摘末端將采摘質量反饋給遠程監控端;當采摘質量下降時,遠程監控端對采摘人發出控制指令,調整其作業的姿態,實現遠程端和采摘機器人的交互交流。

采摘機器人交互式訓練過程如圖2所示。借鑒交互式視音頻英語學習過程,在對采摘機器人進行訓練時,還可以利用教師機器人對采摘作業的軌跡進行規范化,將規范化的作業軌跡和實際的作業軌跡進行對比,得到規范化作業軌跡和實際作業軌跡的偏差,并將偏差反饋給機器人控制系統,通過不斷的學習,最后提高機器人定位的精度,提高作業質量。

圖2 采摘機器人交互式訓練過程Fig.2 The interactive training process of picking robot

2 采摘機器人視音頻交互傳輸系統設計

為了實現遠程端和采摘機器人的交流交互,首先需要構建通信網絡,在作業規模較小的地區可以采用WiFi通信的形式。在遠程端控制人員通過WiFi網絡連接到采摘機器人內置的WiFi模塊,WiFi接收到控制信號后傳送給控制中心,控制中心將指令發送給控制電路,使采摘機器人執行各種指令。安裝在采摘機器人端的傳感器和攝像頭可以將遠程視音頻信息傳送給遠程端,遠程端根據采摘機器人的實時作業情況,發出新的控制指令,使采摘機器人執行新的任務?；赪iFi的采摘機器人作業流程如圖3所示。

圖3 基于WiFi的采摘機器人作業流程Fig.3 The work flow of picking robot based on WiFi

通過WiFi通信,采摘機器人可以將作業采集圖像傳輸給遠程控制端,遠程控制端可以根據實際作業情況,發出控制指令;但是,受到采摘作業環境的影響,要想提高采摘機器人的通信質量,還需要通過一定的算法消除各種干擾信號。ZF-DFE(迫零判決反饋均衡檢測算法)是一種非常高效的信號檢測算法,利用該算法可以去掉信號成分中的干擾信號。在檢測過程中采用分量檢測的方法,首先檢測x信號分量x1,在保證該信號沒有干擾后再繼續檢測信號分量x2。在檢測時,需要將信道矩陣H進行QL分解,則

H=FTS

(1)

其中,S為K×K的下三角矩陣;F為K×K的正交矩陣。

(2)

將WiFi檢測器接收到的信號y與F相乘得

y′=Fy=F(FTSx+n)=Sx+Fn

(3)

由于F為正交矩陣,因此不會對噪聲產生增強的效果,則

(4)

其中,xl表示信號分量,除以skk得到

(5)

當k=1時,則

(6)

由此可以得到x1的估計值。

當k>1時,則

(7)

為了使信號檢測算法更加準確,采用V-BLAST算法對其進行改進。在進行信號檢測之前,首先根據信號干擾對信號進行排序,其表達式為

y′=H-1y=x+H-1n

(8)

對信號進行排序后,首先受到干擾信號影響最小的y′的分量先被檢測出來。干擾信號分量是公式(8)中H-1的向量中的最小值對應的k1,將信號的干擾去掉后便可以檢測出原信號,其表達式為

(9)

y(2)=H(2)x+n

(10)

根據干擾信號的排序,去掉干擾信號后,再對下一個信號分量進行檢測。當沒有干擾信號后,停止檢測。通過信號檢測,可以有效地去掉信號分量中的干擾信號,從而提高WiFi通信的質量。

3 采摘機器人視音頻傳輸交互性實驗測試

采摘機器人視音頻交互的的目的是為了遠程控制端更好的控制采摘機器人,以提高采摘機器人的作業質量和效率。如果采摘機器人能夠直接識別語音信號,會大大提高機器人的控制效率。如果將一個語音信號看作時間序列,則其可以采用隱馬爾可夫模型(HMM)進行表征;語音信號通過去噪聲干擾后,通過數字化處理進行端點檢測,然后通過訓練識別輸出。采摘機器人語音識別訓練過程如圖4所示。

圖4 采摘機器人語音識別訓練過程Fig.4 The speech recognition training process of picking robot

在進行采摘機器人語音識別訓練時,可以采用一些參數的觀察值對HMM參數進行估計,如概率密度函數及狀態轉移概率等。參數估計用于語音信號的識別,其識別流程如圖5所示。

語音識別過程中,首先對采集接收到的信號進行數字化處理,通過端點檢測去掉信號中的噪聲;然后,采用DSP技術對信號的特征進行提取,將特征信號與訓練信號進行對比后,識別出遠程端發出的信號是什么控制指令;最后,采摘機器人將控制指令傳送給控制單片機,單機通過控制電路控制采摘機器人的動作。語音信號的傳輸需要通過WiFi網絡,WiFi集成板如圖6所示。

采用WiFi通信時,采摘機器人上的WiFi集成板可以通過USB直接獲取監測到的視頻信號,通過無線網絡發送給遠程端;遠程端將控制語音信號傳送給WiFi模塊,由WIFI模塊傳送給控制中心。在進行交互性試驗測試時,首先對WiFi的通信傳輸距離和傳輸速度與其他的通信傳輸形式進行了對比,得到了如表1所示的結果。

表1 不同通信形式性能對比Table 1 Performance comparison of different communication forms

對不同通信形式的傳輸距離和通信速率進行對比發現,采用WiFi網絡具有傳輸距離相對長、傳輸速度快的優點,進一步對通信網絡的誤碼率進行了測試,得到了如表2所示的結果。

表2 信噪比誤碼率對比Table 2 The comparison of signal-to-noise ratio and error rate

由表2可知:隨著信噪比的增大,誤碼率呈下降趨勢,與實際情況相符合。由對比結果可以看出:對于音頻交互傳輸,本次采用的WiFi網絡具有更低的誤碼率,對于語音信號的識別準確性更高,可以滿足采摘機器人通信需求。

4 結論

為了提高采摘機器人的智能化水平,在其自動化系統的設計上引入了交流交互功能。通過WiFi網絡,采摘機器人可以將作業視頻傳輸給遠程端,遠程端根據作業情況對采摘機器人發出語音指令,從而提高機器人的作業質量。為了驗證方法的可行性,設計了采摘機器人自動化系統,并對系統的通信性能進行了測試,結果表明:采摘機器人自動化系統可以實現遠程端和采摘機器人執行端的交流交互,且語音指令識別的準確率較高,對于提高采摘機器人的智能化水平具有重要的現實意義。