駕駛員視線識別技術研究

關鍵詞：駕駛員視線識別；計算機視覺；智能座艙；產業(yè)生態(tài)；標準體系中圖分類號：U471.3 收稿日期：2025-04-10 DOI： 10.19999/j.cnki.1004-0226.2025.06.004

Abstract：Withthecontiuousadvancementofcomputervisiontechnologyandsmartcarcabins，drivergazerecognitiontechnolo gyhasecomeanindispensablecomponentinhumandrivingproceses.Thispaperthoroughlyexplores theiterativeevolutionofdriver gazerecognitiontechnologyfromtraditionalcomputervisionmethodstodeepleaing-drivennewparadigms.Itystematicallyutlines keyplayersacrosstheupstreamnddownstreamsgmentsofterentindustryhainongwithteirladingcompaesinestigates relevantdomesticandinterationalstandardsandframeworksasellastestingandcertificationprocesses.Thestudysimultaneously summarizescurrnttechnicalchalengesandfuturedevelopmentrendsindrivergazerecognitiontechnologyResearchconcusionscan provide theoreticalreferences for subsequent smartcabin technologyupgrades and industry standard establishment.

KeyWords：Drivergaze recognition;Computer vision;Deep learning;Industrial ecosystem;Standard system

1前言

隨著智能網(wǎng)聯(lián)與計算機視覺技術的不斷發(fā)展，駕駛員視線識別技術在汽車智能座艙中得到了廣泛的應用。此技術通過攝像頭識別人臉并計算人臉關鍵點，確定出駕駛員視線方向，實時監(jiān)測駕駛員的行為狀態(tài)和視線方向，判斷駕駛員是否處于視線分心的駕駛狀態(tài)，并及時對分心駕駛員進行提醒，避免發(fā)生交通事故。本文將從視線識別的算法、成熟的設備、標準與測試技術等方面綜合分析駕駛員視線識別技術，旨在為駕駛員視線識別方向提供參考。

2核心算法與技術路徑

2.1傳統(tǒng)計算機視覺方法

基于幾何特征的算法1：通過提取眼球關鍵點來構建視線方向模型。通過定位瞳孔中心，借助眼瞼輪廓，可以大致地推算出眼球的轉動方向。如用高精度圖像處理算法，在不同的條件下準確地識別到瞳孔邊緣，為視線方向估計提供關鍵數(shù)據(jù)。

HOG+SVM方法：方向梯度直方圖（HOG）能夠精準地捕捉到眼部區(qū)域細微的紋理變化（圖1），再將得到的特征數(shù)據(jù)輸入至支持向量機（SVM）分類器，借此對駕駛員注視區(qū)域進行有效地分類。

3D頭部姿態(tài)估計：采用先進的FaceAlignmentNet-work[3]（FAN）系統(tǒng)，精確捕獲頭部姿態(tài)（圖2），與已知的眼球相對模型相結合，模擬出三維空間從而推算視線方向。這一方法著重考慮了頭部轉動對視線的影響，提高了視線方向估計的準確性，能更好地捕捉到復雜行駛環(huán)境下，駕駛員頭部頻繁活動的情況。

主動紅外成像：在暗光環(huán)境下，常規(guī)攝像頭難以捕獲到駕駛員面部特征，借助紅外技術可以有效地緩解這一狀況，通過近紅外光可以有效地讀取到眼部的信息。以Tobii的眼動儀方案為例，其以近紅外光源布局與高靈敏度傳感器組合，確保能在夜間或低光照條件中也可以準確地追蹤到駕駛員的視線。

2.2深度學習驅動的新范式

端到端視線估計主要借助于如ResNet[4]、Eficient-Net[5等（圖3、圖4）卷積神經(jīng)網(wǎng)絡工具（CNN），通過其強大的圖像特征自動提取能力，只需將眼部的圖像輸入到網(wǎng)絡中，模型就可以自動地學習眼部外觀與視線方向的映射，最終以屏幕坐標形式輸出出來。如GazeNet、iTracker等模型，經(jīng)過大量的駕駛場景中眼部圖像的相關數(shù)據(jù)，在實際應用中也可以展現(xiàn)出極高的準確性和實用性。

考慮到駕駛員在駕駛任務的過程中視線會有連續(xù)性并有著動態(tài)變化的特點，時空特征融合技術結合了循環(huán)神經(jīng)網(wǎng)絡（RNN）或Transformer架構[6]處理連續(xù)幀數(shù)據(jù)，能夠有效地識別到注意力轉移。NVIDIADRIVEIX^[7] 系統(tǒng)運用該技術，能夠做到實時地分析駕駛員視線聚焦點的轉移情況，并依此判斷駕駛員是否因為分心脫離正常的行駛狀態(tài)，并及時地發(fā)出報警。

部分研究認為依靠著單一的眼部視線信息判斷駕駛員狀態(tài)存在一定的局限性，通過多模態(tài)學習，融合了多個傳感器的數(shù)據(jù)來提升系統(tǒng)的魯棒性。如奔馳的At-tentionAssist系統(tǒng)，將頭部姿態(tài)、方向盤握力、車速等信息與視線數(shù)據(jù)進行統(tǒng)一整合，當車速較高且方向盤長時間未經(jīng)受力調整，駕駛員視線偏離時，系統(tǒng)會認定駕駛員處于疲勞或分析狀態(tài)，并觸發(fā)相應警告。

2.3前沿技術挑戰(zhàn)

在車載環(huán)境中，車規(guī)極芯片的算力相對有限，而實現(xiàn)視線識別的算法需處理大量的高清圖像數(shù)據(jù)，若降低算法的復雜度使其符合車規(guī)級芯片的算力又會極大地影響識別的精度。故為了視線在車載設備上能夠實時運行視線識別算法，模型壓縮技術尤為重要。如MobileNet[8]等輕量化模型，通過優(yōu)化網(wǎng)絡結構、減少參數(shù)數(shù)量，通過細化的方式在保證精度達到一定水準的情況下，大幅降低所需的計算量，使其能夠適配于TITD4等車規(guī)級的芯片，滿足部分車輛對駕駛員視線實時監(jiān)測的要求。

不同種群的眼部特征亦有明顯的區(qū)別，亞洲人常見的深色虹膜、窄雙眼皮等特征與歐美人群的特征有著很大區(qū)別。若數(shù)據(jù)訓練的模型基于單一地區(qū)，在跨區(qū)域應用時就極易出現(xiàn)偏差。使用合成數(shù)據(jù)對數(shù)據(jù)群進行補充訓練或預訓練可以有效豐富模型的特征庫，提高車機對不同種群眼部特征的適應性，減少部分因數(shù)據(jù)偏差所導致的識別誤差。

3產業(yè)鏈生態(tài)與主要參與者

3.1核心算法供應商

在駕駛員視線識別技術領域，國內外供應商借助不同的技術優(yōu)勢在全球汽車產業(yè)布局中占據(jù)重要地位。

國際市場中，作為駕駛員視線識別先行者的德國企業(yè)BOSCH[9]，以其\"開放協(xié)同\"的核心策略，結合本土的車企需要和全球資源，推動DMS從高端配備到普及化發(fā)展，其首創(chuàng)的“視線追蹤 + 生物特征識別”方案（圖5），可以實時地監(jiān)測駕駛員是否有疲勞、分心等狀態(tài)，并通過觸覺反饋、預警分級等機制提升行車安全。基于此，BOSCH已與全球20余家車企展開深度合作，其DMS解決方案覆蓋高端車型至15萬元級別普及型市場。BOSCH與騰訊聯(lián)合開發(fā)的智能座艙平臺給出了“視線交互 + 生態(tài)服務”的閉環(huán)體驗，推進技術已落地；與比亞迪合作的“天神之眼”系統(tǒng)，將DMS集成在中階智駕方案，通過80-150TOPS算力平臺，實現(xiàn)高速領航、記憶泊車等功能的標準化搭載。

瑞典企業(yè)Tobiio作為行業(yè)的領軍企業(yè)，其在歐洲市場高端市場占有率超過 30% ，Tobii旗下的GLASSES3眼動儀精度極高（圖6），能夠準確地采集到駕駛員眼部的細微動作及視線變化，搭配其配套的軟件開發(fā)包，很大程度上便利于車企開發(fā)其視線識別功能。這一整套解決方案在國際內高端車型中應用廣泛，如沃爾沃的“疲勞監(jiān)測預警系統(tǒng)\"就搭載了Tobii的技術，車機監(jiān)測到駕駛員的視線偏離時，即刻會發(fā)出警告音，從而保障駕駛安全。

澳大利亞的SeeingMachines[1]則更專注于對駕駛員狀態(tài)的監(jiān)測技術，其研發(fā)的Facesoft算法可以精準地識別到駕駛員視線、頭部姿態(tài)等信息，在商用車領域應用廣泛。

SmartEye同樣實力出眾，其核心產品Aurora通過采用先進的多攝像頭融合感知技術，能夠從多個角度能夠全面地捕捉到駕駛員面部和眼部信息，從而提供精準豐富的數(shù)據(jù)支持。

在國內市場中，我國眾多的企業(yè)借助智能網(wǎng)聯(lián)汽車的高速發(fā)展，在駕駛員視線識別技術方面也取得了長足的進展。商湯科技（圖7）研發(fā)的SenceAutoDMS[12]方案將視線追蹤技術與智能駕駛場景深度融合，現(xiàn)已經(jīng)應用于哪吒S等車型中。虹軟科技（圖8）專注于優(yōu)化算法以及芯片適配，其針對高通8155芯片優(yōu)化的低功耗視線追蹤算法，在確保準確性的情況下有效降低能耗，已經(jīng)與奇瑞、理想、長城等車企達成合作，并在奇瑞風云T8等車型上廣泛運用，有力地推動了駕駛員視線識別技術在國產汽車中的應用與發(fā)展。

3.2車企落地應用

在智能網(wǎng)聯(lián)汽車領域，駕駛員監(jiān)測系統(tǒng)的應用愈發(fā)廣泛，眾多的車企借助其提升駕駛安全性與用戶體驗，新勢力車型與傳統(tǒng)車型中均有體現(xiàn)。

新勢力車企在DMS上不斷創(chuàng)新，蔚來ET7的DMS[13]系統(tǒng)采用自研的NOMI系統(tǒng)結合商湯科技先進的算法，不但能夠提示基礎的視線偏離預警，還創(chuàng)新性的實現(xiàn)分屏提醒。當駕駛員在導航過程中脫離導航區(qū)域，車輛會自動地暫停視頻播放，并在儀表盤或中控屏上以醒目的分屏提示關注路況，借此提升駕駛專注度。小鵬G9則搭載了德賽西威的DMS設備，結合視線追蹤系統(tǒng)，優(yōu)化AR-HUD投影位置，根據(jù)駕駛員視線適時調整抬頭顯示信息的投影角度和位置，減少因頭部的轉動帶來的視野盲區(qū)。復雜路況下，駕駛員通過抬頭顯示可以清晰地看到車速、導航等信息，駕駛體驗得到極大改善。零跑T03配備了DFM的疲勞駕駛預警系統(tǒng)，通過結合車內攝像頭監(jiān)測駕駛者面部表情和眼部閉合狀態(tài)等因素，從而判定駕駛員是否有疲勞或分心行為，并及時報警，避免意外發(fā)生。

傳統(tǒng)車企也積極地引入了DMS技術來提升車輛智能化水平，提升用戶體驗。寶馬iX采用瑞典SmartEye公司的技術實現(xiàn)“注視喚醒\"功能，當駕駛員聚焦于中控屏時，車輛中控系統(tǒng)自動從低功耗待機狀態(tài)下喚醒，簡化操作流程，提升智能座駕交互的便捷性，從用戶反饋顯示該功能讓車輛啟動和操作更加流暢自然。豐田雷克薩斯的“駕駛員監(jiān)控”系統(tǒng)通過監(jiān)測駕駛員視線停留時長，結合了車速、駕駛時長等因素，全面地判斷駕駛員當前狀態(tài)是否適宜繼續(xù)駕駛，處于疲勞駕駛風險狀態(tài)時，會通過座椅震動、語音提示等多個方式提醒駕駛員進行休息。沃爾沃EX90[14]搭載了先進的駕駛員感知系統(tǒng)，被《時代》雜志評為2024年最佳發(fā)明之一。沃爾沃借助該系統(tǒng)，通過高精度的傳感器以及先進算法，實時地監(jiān)測駕駛員的心率、呼吸頻率、眼部活動等關鍵性的生理狀態(tài)和駕駛行為。在高速公路場景下，若監(jiān)測到駕駛員疲勞，不僅會通過聲音、燈光進行警告，還會自動地調整車速和車道便于駕駛員進行休息。

4標準體系與測試認證

4.1標準體系

標準體系的建立有助于規(guī)范駕駛員視線識別技術行業(yè)的發(fā)展，對保障駕駛安全，推進行業(yè)進程有著重要意義。國內外分別制定了一系列的嚴格標準（表1），從不同維度上對駕駛員監(jiān)測系統(tǒng)進行規(guī)范，有力地推動了駕駛員視線識別技術的優(yōu)化與應用。

在國際上，ISO26262《道路車輛功能安全》[15]從功能安全角度對DMS系統(tǒng)提出了嚴格的要求，規(guī)定其需要達到ASIL-B級功能安全等級，這意味著故障率需要控制在極低的水平，即每10億h故障次數(shù)小于100次。

為滿足這一標準，BOSCH等核心算法供應商不斷地改進算法，提高其穩(wěn)定性和準確性;車企也在硬件選型上和設計上更加謹慎，增加硬件的冗余設計，確保視線識別系統(tǒng)在各種情況下都可以穩(wěn)定可靠地運行，避免因為系統(tǒng)故障所引發(fā)的安全事故。歐盟（EU）2023/2590[16]作為強制性標準（圖9），具有重要的影響力。其要求新車必須配有DMS，且在車速高于 70km/h 的測試條件下，DMS必須能夠自動激活。

NCAP 2024^[18] 規(guī)程將視線偏離預警也納入了主動安全評分體系，并且在ADAS總分中占比達 10% ，將駕駛員視線識別視為車輛主動安全評分的重要部分。

國內對于駕駛員視線識別技術的標準建立也收效顯著，GB/T41797—2022[17]重點關注于DMS對于駕駛員行為狀態(tài)的快速監(jiān)測能力（圖10），其明確規(guī)定在駕駛員出現(xiàn)系統(tǒng)監(jiān)測行為后的1.5s內，車機需要監(jiān)測到，要求其檢出率和準確率大于或等于 95% 。這一標準對于駕駛員因疲勞駕駛等原因所導致的風險至關重要。C-

4.2測試方法論

實驗室基準測試采用了高精度仿生機械眼來模擬駕駛員眼部的運動，在可控的環(huán)境下驗證視線識別算法的基礎性能。通過比照不同的光照、頭部姿態(tài)等參數(shù)，測試算法的準確性與穩(wěn)定性。

實車場景驗證測試則包含了各種極端條件，如車輛在進出隧道時所瞬間產生的強弱光變化，夜間低光行駛等環(huán)境，同時也考慮了駕駛員的多種可能，包括佩戴墨鏡、口罩等遮擋面部部分區(qū)域的特殊情況，在實際道路行駛中，檢驗實現(xiàn)識別系統(tǒng)的可靠性與適應性，能確保其能夠應對復雜多變的駕駛環(huán)境。

虛擬仿真測試主要利用Carla、Prescan等工具模擬生成暴雨、逆光的數(shù)字場景，能夠在短時間內模擬出大量的復雜路況，可以有效加快測試周期。通過虛擬測試，可以提前發(fā)現(xiàn)系統(tǒng)潛在問題，降低研發(fā)成本，提升產品迭代的效率。

5技術挑戰(zhàn)與未來趨勢

5.1現(xiàn)存瓶頸

隨著車內攝像頭的廣泛運用，數(shù)據(jù)隱私問題引起廣泛的關注，歐盟GDPR要求車內攝像頭需要提供物理遮擋設計，如特斯拉Model3配備了可滑動的蓋板，車企一方則被要求在滿足行車安全監(jiān)測的同時保護駕駛員的隱私，另一方面要從技術層面加強數(shù)據(jù)加密，訪問控制等措施，嚴禁采集的駕駛員眼部數(shù)據(jù)被濫用。

在車輛的長期使用中，用于視線識別的硬件設備易受到震動、溫度、濕度等復雜的環(huán)境變化導致設備老化或故障。硬件出現(xiàn)的問題會直接干擾到眼部圖像的采集質量，導致實現(xiàn)識別時無法準確獲取數(shù)據(jù)，導致嚴重影響識別的精準度。同時，硬件分布廣泛，維修與更換成本高、難度大，在保障車輛正常使用的同時及時發(fā)現(xiàn)并反饋、修復硬件問題，將會是可預見的一大難關。

5.2演進方向

以華為的鴻蒙座艙為參考，未來的智能座艙將會融合手勢控制、語音交互，以視線識別為核心構造多模態(tài)交互矩陣，駕駛員通過眼神、語音、手勢等簡單的指令就可以與車輛的智能系統(tǒng)進行交互，實現(xiàn)更加便捷和高效的駕駛體驗，推動智能座艙向更加舒適化智能化的方向發(fā)展。

車規(guī)級芯片的算力提升是未來的必然趨勢，通過算法、編譯器、架構設計的三方深度結合，在軟硬件方面進行極致優(yōu)化，以面對更復雜的路面情況。通過大量數(shù)據(jù)來驅動自動化驗證，不斷地提升計算密度與能量效率，找到其最優(yōu)平衡點。以地平線征程6芯片為參考，其是專為車載場景設計的前沿芯片。基于統(tǒng)一的BPU納什計算架構，展現(xiàn)了卓越的性能優(yōu)勢，其算力高達560TOPS，是國內首款覆蓋從低到高全階智能駕駛需求的系列型車載智能計算方案。它不僅為當前的駕駛輔助功能提供了更為可靠的支持，也給未來高階智能駕駛功能的實現(xiàn)奠定了堅實的硬件基礎。如比亞迪“天神之眼C\"高階智駕三目版就搭載了地平線征程6系列計算方案，不論在高速上的高速行駛還是在復雜的城市道路中穿梭，都能借助征程6芯片的強大算力，為用戶提供精準穩(wěn)定的安全保障。

通過建立駕駛員注意力習慣模型，車輛通過不同駕駛員的駕駛習慣不同自適應調整警告的閾值，對于經(jīng)驗豐富的駕駛員可以適度放寬條件，對于新手駕駛員或容易疲勞人群則提高敏感度，實現(xiàn)個性化的駕駛輔助。

6結語

駕駛員視線識別技術正在經(jīng)歷從輔助安全功能向智能座艙核心的范式躍遷，研究表明基于MobileNet的輕量化模型與地平線征程6芯片的協(xié)同優(yōu)化，有效地解決了車載算力的約束問題，使視線追蹤延遲技術達到了實時性；產業(yè)生態(tài)層面，BOSCH、商湯科技等頭部企業(yè)通過\"算法-傳感器-計算平臺\"垂直整合，使得DMS模塊成本下降，加速技術在中端車型的普及；標準體系層面，歐盟（EU）2023/2590與中國C-NCAP2024的協(xié)同推進，催生了“仿生機械眼 +Carla 仿真\"的驗證模式，測試的效率顯著提升。現(xiàn)仍存在涵蓋合成數(shù)據(jù)的多民族訓練集的不足，車規(guī)級芯片與算法的協(xié)同程度低，數(shù)據(jù)隱私保護的標準化體系不完善等問題，這些問題將在未來實現(xiàn)突破。

參考文獻：

[1]王鑒，張榮福.基于可變形卷積的單幀圖像眼球定位追蹤[J].光學 儀器，2021，43（6）：26-31.

[2]宋曉琳，鄔紫陽，張偉偉.基于陰影和類Haar特征的動態(tài)車輛檢測 [J].電子測量與儀器學報，2015，29（9）：1340-1347.

[3]Adrian B，Georgios T.How far are we from solving the2Damp;3D face alignment problem？（and a dataset of 230，Ooo 3D facial landmarks） [C]//2017 IEEE International Conference on Computer Vision：ICCV 2017，Venice，Italy，2017：745-1490.

[4]HeK，Zhang X，Ren S，etal.Deepresidual learning for image recognition[C]//2O16 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2016.

[5]Tan Mingxing，LeQV.EfficientNet：rethinking modelscalingforconvolutional neural networks [C]//36th International Conference on Machine Learning：ICML 2019.Long Beach，California，USA，2019： 10691-10700.

[6]Vaswani.Attention is allyou need［J].arXiv e-prints：arXiv：1706. 03762，2017.

[7]NVIDIA.適用于自動駕駛汽車的高性能車載計算[EB/OL].[2025- 04-10].https：//www.nvidia.cn/self-driving-cars/in-vehicle-computing/.

[8]Howard.MobileNets：efficient convolutional neural networks for mobile vision applications[J].arXiv e-prints：arXiv：1704.04861，2017.

[9]Company overview.Bosch[EB/OL].https：//www.bosch.com/company/.

[10]眼動追蹤的世界領先者，注意力計算的開拓者[EB/OL].[2025- 04-10].https：//www.tobi.cn/.

[11]Seeing Machines [EB/OL].[2025-04-10].htps：/seingmachines . com/.

[12]商湯絕影智能座艙-智能座艙系統(tǒng)[EB/OL].[2025-04-10]. https：//www.sensetime.com/cn/product-detail？categoryId= 32859amp;gioNav=1.

[13]蔚來 ET7-引領變革_蔚來 ET7-NIO[EB/OL].[2025-04-10]. https：//www.nio.cn/et7.

[14]2024-A year of choice and change of the new and known[EB/OL]. [2025-04-10].Retrieved https：//www.volvocars.com.cn/zh-cn/news/ culture/2024-a-year-of-choice-and-change-of-the-new-andknown.

[15]ISO 26262：2018 Road vehicles - Functional safety[S].

[16]Commission Implementing Regulation （EU）2023/2590 of 15 November 2023 laying down the detailed test procedures and technical requirements for the type-approval of advanced driver distraction warning（ADDW） systems[S].

[17]GB/T 41797—2022 Driver attention monitoring system － Performance requirements and test methods [S].

[18]China Automotive Technology and Research Center.China New Car Assessment Program（C -NCAP） 2024[S].