車載眼動追蹤技術應用集成系統開發

賈文偉 張成陽 殷玉恩

摘 要：眼動追蹤技術[1][6]是當代心理學研究的重要技術，廣泛運用于實驗心理學、應用心理學、工程心理學、認知神經科學等領域。當人的眼睛看向不同方向時，眼部會有細微的變化，這些變化會產生可以提取的特征，計算機可以通過圖像捕捉或掃描提取這些特征，從而實時追蹤眼睛的變化，預測人的狀態和需求，并進行響應，達到用眼睛控制設備的目的。本研究結合眼動追蹤識別技術，研究在車載方面的應用，實現了追蹤駕駛員眼球動作控制智能后視鏡的開啟和關閉的功能。

關鍵詞：眼動追蹤； 頭部姿態識別； CAN總線通訊； 紅外攝像頭

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1005-2550（2019）01-0046-07

Abstract： The lower swing arm， the upper swing arm， the toe tie rod， the longitudinal arm and the sub-frame in the E-type multi-link rear suspension are flexed by the finite element software Hypermesh.They are imported into ADMAS/Car software for multi-body dynamics modeling and simulation analysis. The simulation results are compared with the experimental results. The analysis shows that the combination of different rigid-flexible components has a great influence on the change of toe angle.

Key Words： Eye-Tracking； Head Pose Recognition； CAN Bus Communication； Infrared Camera

1 前言

眼動追蹤技術是當代心理學研究的重要技術，廣泛運用于實驗心理學、應用心理學、工程心理學、認知神經科學等領域。當人的眼睛看向不同方向時，眼部會有細微的變化，這些變化會產生可以提取的特征，計算機可以通過圖像捕捉或掃描提取這些特征[2]，從而實時追蹤眼睛的變化，預測人的狀態和需求，并進行響應，達到用眼睛控制設備的目的。本系統采用眼動追蹤技術追蹤駕駛員眼球的變化，實時監測駕駛員的注視方向。通過監聽分析汽車CAN總線數據得到汽車的運行狀態（車速、檔位），實現了眼動追蹤技術控制汽車后視影像系統，擴大了駕駛員駕駛汽車時的視野，提高了駕駛的安全性。

本系統旨在研究掌握眼動追蹤技術在汽車上集成的技術應用規范和建立通用眼動算法測試驗證平臺。本文將從眼動追蹤系統集成層面，從系統設計、硬件設計、結構設計、問題分析等方面進行闡述。

2 系統架構

本系統采用北汽紳寶C80為改裝平臺，完整準確的車型設計數據保證了系統總體設計方案的可行性，包括總線接口設計、攝像頭模組結構設計、系統布置方案設計等。紅外攝像頭模組采用主動紅外補光，保證眼動識別系統白天和黑天都能正常工作，使得系統應用場景更廣，實用性更強；攝像頭模組和工控主機的結構設計綜合考慮了安裝位置和安裝方法，滿足眼動追蹤系統對攝像頭模組位置的要求，方便系統安裝調試，保證系統工作的可靠性；眼動追蹤系統通過紅外攝像頭[3][7]實時傳輸駕駛員的眼部特征圖像給算法處理主機，眼動追蹤算法識別駕駛員的“眼神”。算法識別到駕駛員意圖通過車內后視鏡觀測車后情況時，算法處理主機發送指令給系統控制板，系統控制板結合車輛運行狀態自動控制車內智能后視鏡打開。本系統硬件模組包括攝像頭及照明模塊、接口控制板、算法工控主板和后視影像系統，軟件模塊包括眼動追蹤算法軟件、工控主機邏輯控制軟件、接口控制板總線接口軟件。系統整體架構如圖1：

3 系統設計

3.1 攝像頭及補光模組設計

攝像頭模組安裝在試驗車紳寶C80中控臺臺面上，攝像頭及補光模組的結構設計考慮了攝像頭角度、補光燈照射角度、以及方便安裝等因素，外觀見圖2。

攝像頭及補光模組內部主要包括攝像頭模組及紅外補光、LED指示燈板、USB視頻傳輸主板和對外接口板。詳見圖3、圖4：

攝像頭模組的關鍵器件是圖像傳感器，本系統攝像頭模組的圖像傳感器旋轉安森美AR0135AT， 該器件的主要技術參數如表1：

攝像頭模組選用上?？剖肋_設計的車載攝像頭，其設計框圖如圖5，實物如圖6。

攝像頭圖像數據傳輸選擇Cypress Usb3.0傳輸芯片方案。紅外LED選擇三顆OSRAM的850nm波長的紅外LED。LED驅動芯片選擇TI的LM3409驅動芯片。該

驅動芯片既可以通過PWM調制LED的發射強度，也可以通過模擬電位計手動調節紅外LED的發射亮度。本系統采用PWM方式調節LED的發射強度。驅動芯片的典型電路如圖7：

3.2 工控主機方案

工控主機運行眼動追蹤算法軟件及邏輯控制軟件，采用了英特爾NUC迷你電腦，型號NUC5I7RYH（如圖 8）。主要參數：Intel Core i7處理器，8GB DDR3內存，2 x USB3.0接口。該主機能夠滿足本系統的對處理速度及接口的要求。

工控主機、總線接口控制板和電源模塊集成在同一個控制盒內[8]，設計的控制盒的結構方便安裝布置，內部結構方便主機，控制板和電源的固定，控制盒與外部的接口設計也方便插拔。電源模塊負責把車載12V電源轉換為19V電源給工控主機供電?？刂坪械耐庥^如圖9，內部結構如圖10：

3.3 控制板方案

控制板的功能是連接汽車CAN總線，監聽汽車總線數據通過運算得到汽車運行狀態數據，通過串口把數據傳輸給工控主機，同時它還接收工控主機的命令，控制車內智能后視鏡的打開和關閉。除了數據命令的上傳下達，它還輸出PWM信號控制補光模塊的開關以及補光強度的調節。其功能框圖如圖11：

主控板的電源選用英飛凌的TLE4275D汽車級IC。CAN收發器選擇符合車規要求的NXP 芯片TJA1055（電路如圖12）。主控MCU選擇瑞薩車規級RL78/F1x系列芯片，其內部功能及外設接口如圖13：

LED1和LED2是主控MCU的兩個通用輸入、輸出端口，可以分別控制兩個LED指示燈的亮、滅。LED1為綠色指示燈，LED2是紅色的指示燈，若系統上電正常工作，則紅色的指示燈LED2被點亮，綠色的指示燈LED1處于熄滅狀態；當系統檢測到駕駛員注視內后視鏡區域一定時長后，會觸發點亮綠色的指示燈LED1。

控制板的串口用來與工控主機通訊，雙方通過RS232串口線連接。控制板的串口電平轉換芯片選擇美信半導體的MAX232系列芯片，具體電路如下圖14：

3.4 后視影像系統

本系統后視影像系統選擇凌度智能后視鏡（圖15），其安裝布置示意圖如圖16。通過控制后視影音系統的后視攝像頭的LED電源電路，實現對其內置顯示屏的后視影像功能的開關控制。通常情況下，后視攝像頭的LED電源線是接到倒車燈的兩端，當駕駛員掛上倒車檔位時，倒車燈電源接通，同時后視倒車攝像頭的LED被點亮。同時后視鏡主機獲取到該信號，觸發倒車輔助功能，顯示屏顯示后視攝像頭的影像。本系統利用控制板的輸出信號觸發該功能，控制原理如圖17：

3.5 眼動追蹤算法

本系統采用供應商提供的眼動追蹤算法，包括人臉關鍵點對齊[4]、頭部姿態的估計、眼睛定位算法、視線方向分類算法等算法模塊。本項目開發環境為VS2015，輔助開源庫有opencv3.1，供應商提供的眼動算法庫libEyeGaze.dll，使用方法參考相關眼動追蹤算法說明及調用示例。

本項目供應商提供的視線追蹤[5]算法需要前期進行訓練，供應商提供算法訓練軟件及方法。訓練階段結束后會得到訓練數據庫（train.xml），把該數據庫加載到眼動追蹤算法軟件中，算法軟件就可以追蹤訓練時眼睛注視的方向。測試人員訓練數據庫時，需坐在駕駛座上采集各個角度注視車內后視鏡的數據，算法訓練軟件提取特征值得到該使用場景的訓練數據庫。

4 系統測試

4.1 系統部署

本系統電源和CAN總線信號通過汽車OBD診斷接口獲得。系統結構件部署安裝主要有三個：后視影像系統，眼動攝像頭，主機控制器；安裝位置如圖 18，眼動攝像頭②布置在中控臺面上，攝像頭和補光燈方向朝向駕駛員；后視影像系統①安裝在車內后視鏡上；主機控制盒③部署在副駕駛雜貨箱內。各個部件的連接線采用防火高溫膠布包裹，插接件選用車規級帶鎖扣的插接件，保證連接的可靠性。系統部件線束連接示意圖見圖19：

4.2 測試用例設計

測試用例分為幾類：正常功能測試，防誤動作測試，頭部距離測試以及車輛狀態測試。系統部分功能測試用例如下表2（附后）。

5 結論

本文所述的眼動追蹤技術應用集成系統平臺，能夠測試標定眼動追蹤識別技術的功能及性能。工控平臺方案完全滿足眼動追蹤算法軟件對運算速度的要求，紅外攝像頭的性能參數也完全滿足眼動追蹤算法對圖像分辨率和幀率的要求，本系統為測試不同供應商的眼動追蹤算法提供了公共平臺，通過本系統的開發提高了后續眼動追蹤算法的測試驗證效率，推動了眼動追蹤技術的車載應用進程，為進一步提高汽車的智能化水平，讓汽車更懂駕駛員提供了一種技術可能性。本系統所實現的眼動追蹤技術車載功能，增強了車內后視鏡的用途，車內后視鏡除了觀察后排座椅情況外，還有就是觀察車輛后面的情況，但通過后車窗玻璃觀察車后情況視線有些受阻，本系統改善了這種情況。

參考文獻：

[1]陳慶榮，周曦，韓靜，等.眼球追蹤：模式、技術和應用[J].實驗室研究與探索，2012，31（10）：10-15.

[2]劉瑞安.單攝像機視線跟蹤技術研究[D].天津大學，2007.

[3]周鋒宜.基于視頻圖像處理的視線追蹤技術研究[D].北京理工大學，2015.

[4]徐國慶.在線模板的人臉特征點對齊[J].計算機工程與設計，2013，34（11）：4021-4026.

[5]遲健男，王志良，張闖.視線追蹤[M].機械工業出版社，2011.

[6]佚名.汽車加入眼球追蹤技術 注意力不集中就熄火[J].農業裝備與車輛工程，2016（10）：68-68.

[7]宮德麟.基于單目視覺的視線跟蹤技術研究[D]. 北京理工大學，2016.

[8]劉亮.基于因特爾感知計算技術的眼球追蹤系統設計與實現[D].東南大學，2015.