AI大模型在新能源汽車智能座艙中的多模態交互研究

摘要：人工智能技術的快速發展為新能源汽車智能座艙多模態交互帶來了新的機遇。基于AI大模型，針對智能座艙多模態信息的高效處理與融合問題展開研究。提出一種多模態信息采集與大模型處理一體化的系統架構，并對語音、視覺、手勢等多種交互模式進行了分類，在此基礎上，重點探討了語音-視覺協同處理、手勢-語音融合識別等多模態融合算法，給出了多模態特征提取流程。進一步地，從實時性、準確性、魯棒性等角度對智能座艙交互系統進行了優化和應用適配。研究表明，采用AI大模型進行多模態融合可顯著提升智能座艙的人機交互體驗，實現更加自然、高效、準確的人車交互。

關鍵詞：AI大模型；新能源汽車；智能座艙；多模態交互；深度學習

中圖分類號：U469.7" 收稿日期：2024-12-17

DOI：1019999/jcnki1004-0226202502014

1 前言

隨著新能源汽車產業的蓬勃發展，以及消費者對車載交互體驗的日益重視，智能座艙已經成為新能源汽車的核心競爭力之一。通過多模態交互技術，智能座艙可以實現語音控制、手勢識別、人臉識別等多種人機交互功能，極大地提升駕乘體驗，然而，由于車內環境的復雜多變性，以及多模態信息的異構性，傳統的人機交互方法在智能座艙應用中面臨諸多挑戰。以深度學習為代表的人工智能技術取得了突破性進展，其中，大規模預訓練語言模型（如BERT、GPT-3等）展現出了強大的語義理解和知識泛化能力，為多模態交互領域帶來了全新的研究視角。本文擬探討如何將AI大模型應用于新能源汽車智能座艙多模態交互，構建更加高效、自然、智能化的人車交互系統，為智能汽車發展提供新的思路。

2 智能座艙多模態交互系統架構

2.1 多模態信息采集框架

多模態信息采集框架包含一系列異構傳感器，如麥克風陣列（語音）、RGB攝像頭（視覺）、紅外攝像頭（手勢）、觸控屏（觸覺）等，可以全方位地感知駕乘人員的行為狀態，各類傳感器采集的多模態信息通過車載以太網匯聚到中央控制器，實現數據的統一管理和調度。與分布式架構相比，該集中式采集框架可以顯著提升系統響應速度和資源利用率。

2.2 AI大模型處理機制

在中央控制器中，搭載了基于AI大模型的多模態交互引擎，對多源異構的感知數據進行聯合建模和深度理解。首先利用卷積神經網絡（CNN）等模型對圖像、視頻等數據進行特征提取，然后通過大規模預訓練語言模型（如BERT）對語音、文本等數據進行語義編碼，再通過自注意力機制實現不同模態特征的融合，與傳統的淺層多模態融合方法相比，該機制充分挖掘了模態內和模態間的語義關聯，大幅提升了多模態理解的精度[1]。

2.3 交互模式分類

基于多模態融合引擎，本文將智能座艙交互劃分為以下三種主要模式：a語音交互：駕乘人員通過語音指令控制車內功能，如導航、空調、音樂等，系統通過語音合成技術提供反饋，該模式自然便捷，是智能座艙的基本交互方式。b視覺交互：通過面部表情識別、注視點跟蹤等視覺分析技術，捕捉駕乘人員的意圖和情緒變化，從而提供個性化的信息推薦和服務。c手勢交互：通過手勢識別技術，實現非接觸式控制，如調節車窗、天窗等，該模式可以降低肢體殘障人士的駕駛難度[2]。

3 多模態融合算法

3.1 語音-視覺協同處理

為解決復雜環境下語音識別的準確度問題，本文提出了一種語音-視覺協同處理算法，首先利用唇語識別技術，通過高速攝像機捕捉駕駛員的唇部運動序列，再使用3D CNN模型提取唇語的時空特征，包括唇形、口型變化等信息，同時，采用基于注意力機制的聲紋識別模型，對麥克風采集到的語音信號進行特征提取，得到語音的身份特征，反映說話人的個體特征。

將唇語特征和語音特征輸入到協同注意力網絡中進行融合，該網絡包含多層交互式注意力模塊，通過Q、K、V計算實現跨模態特征的交互，自適應地調整兩類特征的權重分配，使其能夠相互借鑒、補足，融合后的多模態特征再通過一個分類器，實現對喚醒詞和語音指令的識別。

實驗結果表明，該語音-視覺協同處理算法能夠顯著提升復雜場景下的喚醒詞識別和語音指令分類的準確率，尤其在汽車噪聲、背景音樂等干擾較大的環境中，相比傳統單模態方法可提高15%以上，展現出很好的環境魯棒性。該算法對駕駛員的口音、音色等變化也有較強的適應能力，可用于個性化的車載語音交互系統[3]。

3.2 手勢-語音融合識別

針對手勢識別易受光照、遮擋等因素干擾的問題，本文提出了手勢-語音融合識別算法，首先通過紅外攝像頭采集手勢圖像，利用手部關鍵點檢測算法定位21個手部關節點。然后將關節點坐標序列輸入到3D ResNet中提取手勢的時空特征，捕捉手勢在空間結構和時間變化上的discriminative patterns。通過車載麥克風陣列采集語音信號，采用conformer模型對語音進行建模，conformer是一種結合CNN和transformer的語音識別模型，利用卷積模塊建模局部信息，通過self-attention學習全局上下文語義。

在語音識別任務上取得SOTA效果，通過該模型提取語音的上下文相關性特征，在手勢-語音融合階段，首先對兩種特征在時間步上進行對齊，然后利用多頭注意力機制實現cross-modal交互，并行地計算手勢特征為query、語音特征為key和value的注意力分布，同時計算語音特征為query、手勢特征為key和value的分布。

實現兩個方向的跨模態語義融合，融合后的特征通過一個輕量級的分類器，實現對10類車載手勢的識別，實驗結果表明，與單獨使用RGB攝像頭的方法相比，引入紅外通道可提升手勢識別在弱光環境下的準確率。與單模態方法相比，手勢-語音融合算法可顯著提升車載手勢的平均識別率8%以上，在遮擋、大尺度變化等情況下的魯棒性也有明顯改善，同時，所采用的融合策略相比特征級拼接，可以更充分地挖掘兩種模態信息的互補性[4]。

3.3 多模態特征提取

為進一步增強模態間的語義關聯，本文構建了一種通用的多模態預訓練模型MM-Bert，模型采用transformer的encoder-decoder結構，其中encoder端包含三個獨立的self-attention塊，分別用于建模語音、視覺、文本特征。在每個模態的embedding層和transformer層引入對齊損失，并基于不同模態在token級別、隱藏層狀態、注意力分布等方面保持一致性，從而實現模態間的特征對齊。

在decoder端，采用類似GPT的因果語言建模方式，通過掩碼自注意力機制和前饋網絡，實現對跨模態語義映射的自回歸學習，模型以文本作為輸入和輸出，中間通過cross attention與各模態的encoder輸出交互，實現不同模態信息向文本域的遷移和融合。采用大規模多模態語料對模型進行預訓練，使其掌握語音、視覺、文本信息的統一語義表示。在智能座艙領域構建了問答、對話、推薦等下游任務數據集，并在此基礎上對模型進行微調。

實驗結果表明，MM-Bert相比單模態預訓練模型如BERT、wav2vec等，可取得10%以上的性能提升，充分體現了多模態協同學習的優勢。此外，還開展大量的可解釋性分析，發現MM-Bert能夠自動學習不同模態間的重要語義關聯，如語音-文本的語義對齊、視覺-文本的區域詞匯對應等。這些知識可顯著促進下游任務性能的提升，后續將探索更大規模的多模態預訓練，如引入更多模態類型、采用更深的網絡結構等，進一步提升模型的泛化和適應能力，用于指導智能座艙交互系統的設計[5]。

4 交互系統優化與應用

4.1 實時性能優化

智能座艙對交互響應的實時性要求較高，需在有限算力下實現模型推理加速。可采用兩階段的模型壓縮方法：在離線階段，通過知識蒸餾將大模型的知識遷移到小模型，選擇性保留關鍵特征，知識蒸餾可看作教師模型到學生模型的知識提煉過程，通過最小化二者軟化后輸出的KL散度，使學生模型以更小的參數量實現與大模型相近的性能。在線階段，可進一步通過模型量化、剪枝等方式壓縮模型體積，比如采用8-bit定點數取代32-bit浮點數表示，可大幅降低模型存儲空間；采用基于稀疏度的filter剪枝，可去除大量貢獻較小的卷積核，降低計算開銷，同時，還可使用tensor-RT、NCNN等加速庫對模型進行推理優化，通過kernel融合、op細化、顯存優化等進一步提速。

例如，某智能座艙語音助手采用conformer模型，為實現端側實時推理，首先通過專門設計的蒸餾損失函數，將345M的教師模型知識遷移到一個18M的學生模型中，蒸餾后語音識別準確率降低不超過1%，在此基礎上，采用8-bit整數量化表示，將模型體積壓縮到原來的1/4。在推理階段采用tensor-RT的FP16計算和kernel自動調優，以及batch size動態調整等方式，將平均響應時延從12 s降到300 ms以內，實測表明，整套模型壓縮和加速方案在性能損失很小的情況下，可將響應延遲降低至原來的1/4左右，滿足了實時語音交互的苛刻要求。

4.2 交互準確度提升

智能座艙對交互的準確度要求很高，而車內噪聲、口音等因素會給語音、視覺等模態的感知和理解帶來較大干擾。為提升交互準確度，可針對性地構建車載場景的大規模數據集，采集覆蓋多種噪聲、方言、角度光照的語音、圖像數據，通過數據增強擴充樣本多樣性，并在這些數據上對模型進行微調，從數據和模型角度增強系統魯棒性；可利用多模態信息的互補性，研究跨模態的語義融合、對齊方法，以語音-視覺為例；可將面部特征作為輔助信息融入聲學模型中，實現唇語校準；也可利用文本將語音和圖像語義對齊，實現語義層面的信息互補，此外，在決策層面可利用貝葉斯理論，對不同模態的識別結果進行聯合判決，得到更可靠的結果。

例如，某智能座艙交互系統為提升語音喚醒的準確率，專門收集了1 000 h車內自發語音，覆蓋高速、停車、交談等典型場景，并通過添加汽車噪聲、混響、口音等方式進行數據增強，獲得5 000 h數據。利用對比學習算法在該數據集上預訓練聲學模型，然后在喚醒詞數據上微調，可將平均喚醒率從92%提升到97%以上，進一步地，該系統在喚醒階段融合了面部特征，通過判斷嘴唇運動是否與喚醒詞匹配來輔助判決，將誤喚醒率降低40%。還引入了遷移學習和自適應學習機制，讓模型能根據新用戶的聲紋在線調優，并且對當前環境噪聲進行自適應，實現更個性化、更魯棒的語音交互。

4.3 場景適應性研究

為增強智能座艙交互系統的環境適應性，需要深入理解和建模不同駕駛場景的特點，不同場景下，駕駛員的行為習慣、交互意圖差異較大，環境噪聲、光照變化劇烈。因此需捕獲場景特征，實現情景感知交互。一種思路是通過多傳感器數據融合，構建場景理解模型，采集車內外環境的視頻、音頻、車速、位置等多維語境數據，通過時空特征學習獲得場景embedding。之后將場景embeddings作為context送入交互模型中，引導intent understanding、槽位填充等任務，實現場景自適應。同時，還可利用增量學習和持續學習范式，使模型能根據駕駛員的交互日志數據不斷finetune，從而對個人習慣和偏好形成更準確的刻畫。也可利用car-cloud協同的計算架構，通過邊-云協同進行模型的在線調優和知識進化。

例如，某車企為提升語音助手的適應性，在車端部署了輕量級的語音意圖理解模型，并在云端存儲了海量用戶交互日志大模型，系統每天定期將車端數據上傳云端，用于更新云端大模型。同時車端模型也定期從云端拉取新的checkpoint，實現增量學習，此外，該系統還引入了場景理解模塊，通過車內視頻、音頻、車況數據學習駕駛場景表征，供語音助手提供場景化服務，比如在導航場景下，用戶習慣使用“前面/再過兩個路口”等指代性指令。而在泊車場景下，則傾向于使用“車位有空嗎”“旁邊車離我太近了”等描述性指令，語音助手通過場景感知，對這些不同風格的查詢進行自適應理解，并給出符合場景的回復。實車評測表明，該方案可將場景相關query的意圖識別準確率提升8%，交互自然度顯著提升。

5 結語

本文面向新能源汽車智能座艙，探索了融合AI大模型的多模態交互技術，通過集中式的系統架構設計、跨模態的語義融合建模、面向場景的自適應優化，構建了高效、準確、多樣的人車交互范式。隨著自動駕駛技術的逐步成熟，智能座艙將承載更多的信息娛樂和移動辦公功能，對多模態交互提出更高要求，下一步將聚焦駕駛行為理解、情感計算、虛擬助手等前沿方向，并研究車路云一體化的群智感控新模式，推動智能汽車與智慧交通的協同發展，為人車路云高效協同、智能出行帶來更大想象空間。

參考文獻：

[1]穆廷相新能源汽車智能座艙域控制器技術創新與發展趨勢[J]汽車知識，2024，24（12）：43-46

[2]黃若晴，王榮慶汽車智能座艙多模態人機交互設計研究綜述[J]時代汽車，2024（23）：133-135

[3]葉偉我國汽車智能座艙呈現三大特點[N]中國高新技術產業導報，2024-11-04（11）

[4]耿展，肖飛云，馬巖樞基于駕駛安全需求的汽車智能座艙系統技術發展現狀及未來趨勢探究[J]汽車實用技術，2024，49（20）：33-38

[5]鄧建明，龔循飛，于勤，等基于AI大模型的新能源汽車智能座艙多模態交互技術研究綜述[J]汽車文摘2019（2）：1-6

作者簡介：

傅平，女，1982年生，高級工程師，研究方向為汽車智能座艙技術研發。