基于語音和手勢的人車交互系統(tǒng)

基于語音和手勢的人車交互系統(tǒng)

雖然目前無人駕駛汽車得到迅速發(fā)展，但是這些車輛與人的交互靈活性以及用戶對行駛路線的控制等問題尚未解決。對此，提供了一種基于語音和手勢的人車交系統(tǒng)用于解決上述問題。

該人車交互系統(tǒng)執(zhí)行指令分為以下幾個步驟：①進行用戶身份識別；②通過識別用戶手勢指向的車輛周圍環(huán)境的“興趣點”（POI）提取POI，并識別語音指令提取語義來創(chuàng)建命令。如果提取POI階段的結(jié)果是不明確的，則用戶可根據(jù)汽車反饋系統(tǒng)給出的反饋信息重新發(fā)送指令。如果沒有歧義，則根據(jù)上一步創(chuàng)建的命令信息來計算和更新無人駕駛汽車的行駛路徑；③根據(jù)外部多種傳感器捕獲的駕駛環(huán)境信息來評估這條新路徑的可行性。如果該可行性分析確定計算出的路徑不能在安全條件下執(zhí)行,或不符合某些交通規(guī)則，則人車交互系統(tǒng)將不會執(zhí)行該命令，并將通過汽車的反饋系統(tǒng)將其傳達給用戶。否則，系統(tǒng)將執(zhí)行命令并遵循新路徑進行無人駕駛行駛。

其中，POI識別方法是語音和手指方向被汽車內(nèi)部傳感器識別。基于語音的觸發(fā)器由麥克風陣列捕獲,并傳輸?shù)秸Z音引擎子系統(tǒng)進行處理。同時，手勢指向的序列由基于飛行時間（ToF）的攝像頭捕獲,并發(fā)送到手勢引擎去處理，用于形成指向矢量的骨骼關(guān)節(jié)坐標。該矢量與車輛的行駛方向形成一個角度，由GPS傳感器給出。

基于語音和手勢的人車交互系統(tǒng)，通過合理的外部POI識別方法、新的路徑可行性分析、基于用戶對話的反饋系統(tǒng)等手段，很好地解決了現(xiàn)存的問題。

Pablo Sauras-Perezr et al. SAE 2017-01-0068.

編譯：馮達