一種車載智能A柱盲區(qū)顯示系統(tǒng)

曹盛福，王宇鵬，張 凱，梁利平

（合肥工業(yè)大學 電氣自動化工程學院，安徽 合肥 230002）

隨著社會的快速發(fā)展，車輛越來越多，各類 交通事故有愈演愈烈的趨勢。導致交通事故發(fā)生的因素是多方面的，其中，對交通事故嚴重程度影響最大的是機動車風險因素[1]，如車輛自身結構不合理、汽車性能不達標等，而A柱盲區(qū)的存在則是車輛自身結構不合理的主要體現(xiàn)之一。A柱是風窗玻璃與前車門之間的連接柱，其主要作用在于支撐車體結構，但也使得駕駛員前側視線受到嚴重的影響，產生視覺盲區(qū)，帶來安全隱患。

針對A柱盲區(qū)問題，王智杰等[2]通過超聲波收發(fā)模塊和紅外感應模塊對A柱盲區(qū)范圍內探測的信號進行處理，并通過發(fā)光二極管（Light Emitting Diode, LED）燈條對駕駛員進行預警；許彥平[3]提出一種結合雙目相機人眼精準定位、空間轉換與透視變換等技術的汽車A柱盲區(qū)可視化車載顯示裝置，在滿足汽車A柱剛度的前提下改善駕駛員視野；廖術娟[4]基于“電子透明”理念，研究了基于數(shù)字信號處理（Digital Signal Processing, DSP）的汽車A柱盲區(qū)消除系統(tǒng)，滿足了駕駛員對安全性和舒適性的要求。本文提出的基于視覺傳感器和視線追蹤技術的車載智能A柱顯示系統(tǒng)是針對A柱盲區(qū)問題的一種新的解決方法，研究了雙目與頭部位置坐標系統(tǒng)一方案，并給出統(tǒng)一坐標后通過何種算法指令外部攝像頭隨動，以期真實呈現(xiàn)A柱遮擋區(qū)的影像在顯示器上，讓A柱近似的透明化。整個系統(tǒng)具有較高實用性。

本文著重于A柱盲區(qū)顯示系統(tǒng)全系統(tǒng)的研究，對設備的選型和安裝給出了建議和參考案例，并對實驗數(shù)據(jù)進行了簡要分析，具有一定的科學和工程價值。

1 系統(tǒng)工作原理

本系統(tǒng)采用在A柱位置安裝一個形狀大小與A柱相同的顯示屏，顯示駕駛員被A柱阻擋的視野影像的方式解決A柱盲區(qū)問題。其中，盲區(qū)視野影像由安裝在車輛左后視鏡處（對于絕大多數(shù)車輛，這可以看成是A柱所在的位置）的攝像頭拍攝得到，并通過藍牙模塊傳遞給車內顯示屏。

在A柱位置固定的情況下，駕駛員頭部移動或視角變化會導致盲區(qū)區(qū)域不同（如圖1所示），因此，要求顯示屏能夠根據(jù)駕駛員頭部位置和視角的改變，實時動態(tài)地調整顯示駕駛員被A柱阻擋的視野；由于顯示屏上的影像直接由攝像頭拍攝獲得，影像的調整可以通過利用舵機控制攝像頭旋轉來實現(xiàn)。

圖1 駕駛員頭部位置與盲區(qū)區(qū)域的關系

分析攝像頭旋轉的角度和駕駛員頭部位置與視角的關系。由圖1可見，左側A柱盲區(qū)實際上是一個扇形區(qū)域，其夾角約為6.8°，且會隨著車速的變化產生小幅度的改變[5]；其中心線即駕駛員頭部位置與其在A柱上注視點連線的延長線。由于攝像頭被安裝在左后視鏡，近似為A柱所在位置，因此，只要使攝像頭拍攝方向始終跟隨上述連線延長線方向，就可以使顯示屏實時顯示A柱盲區(qū)視野。

為了獲取上述延長線方向（角度），如圖2所示，可以在汽車平面上建立直角坐標系。之后，只要利用視覺傳感器獲取駕駛員頭部位置坐標a，利用視線跟蹤設備獲取駕駛員注視點坐標b，就可以計算出這兩點連線與坐標系Y軸的夾角c，即駕駛員頭部位置與其在A柱上注視點連線的夾角。驅動舵機控制攝像頭旋轉到該角度，就完成了對影像的智能控制。

圖2 坐標系示意圖

基于以上設想，可將系統(tǒng)分為數(shù)據(jù)采集與處理、圖像控制與顯示兩個模塊。其中，數(shù)據(jù)采集與處理模塊又分成注視點獲取、頭部位置獲取以及數(shù)據(jù)處理三個子單元。注視點獲取單元獲取駕駛員注視點信息a，頭部位置獲取單元獲取駕駛員頭部位置信息b，數(shù)據(jù)處理單元接收這兩組信息并進行處理，得到攝像頭應當旋轉的角度c并將其傳送給圖像控制與顯示模塊；圖像控制與顯示模塊連接攝像頭和顯示屏，并進行圖像的處理和傳輸，同時，舵機接收來自數(shù)據(jù)采集與處理模塊的數(shù)據(jù)c并與攝像頭相連，控制攝像頭的旋轉。系統(tǒng)整體框圖如圖3所示。

圖3 系統(tǒng)整體框圖

2 主要設備介紹

2.1 視覺傳感器

視覺傳感器是頭部位置獲取單元的主要組成設備，用于檢測駕駛員位置并輸出其中心坐標，本系統(tǒng)選擇MU視覺傳感器。

MU視覺傳感器是一款內置深度學習引擎的圖像識別傳感器，體積小巧，含有多種視覺算法，功能強大。該傳感器可以檢測識別多種目標物體，例如：顏色檢測、球體檢測、人體檢測等，識別人體時不需使用者佩戴任何設備；檢測結果（尺寸、坐標等）可通過通用異步收發(fā)傳輸器（Universal Asynchronous Receiver/Transmitter, UART）方式進行輸出；內置算法均在本地處理，無需聯(lián)網(wǎng)就可進行圖像識別；適用于Arduino開發(fā)平臺，算法修改方便。圖4和表1分別列出了MU視覺傳感器實物圖及部分功能/參數(shù)。

圖4 MU視覺傳感器

表1 MU視覺傳感器部分參數(shù)

2.2 視線跟蹤設備

視線跟蹤設備用于注視點獲取單元檢測駕駛員視線信息，輸出其在顯示屏上的注視點坐標，本系統(tǒng)選用的是Tobii眼動儀。

Tobii眼動儀是一款遙測式視線跟蹤設備，其可以準確記錄人們視線焦點所在的位置，且其體積較小，重量輕，非常適合安裝于汽車中，對汽車內部結構造成的影響極小。此外，本設備對是否佩戴眼鏡具有極強的兼容性，對被試者的頭動和不同光線條件具有高度容忍性，且性能優(yōu)良，價格實惠。圖5和表2是Tobii眼動儀實物圖以及部分技術參數(shù)。

圖5 Tobii眼動儀

表2 Tobii眼動儀部分技術參數(shù)

2.3 攝像頭

為保證影像的清晰度和流暢度，攝像頭選用的是S330USB免驅工業(yè)攝像頭，圖6和表3是攝像頭實物圖和主要產品參數(shù)。

表3 S330工業(yè)攝像頭主要參數(shù)

圖6 S330工業(yè)攝像頭

2.4 顯示屏

由于不同汽車的A柱形狀、尺寸略有差異，因此，對于不同汽車，需要為之專門定制合適的顯示屏。考慮到大多數(shù)A柱區(qū)域為矩形，使用了市面上一種28.65 cm×18.47 cm（12.6寸）帶魚顯示屏來進行模擬實驗。圖7和表4分別列出了顯示屏實物圖和主要產品參數(shù)。

圖7 帶魚顯示屏

表4 帶魚顯示屏主要產品參數(shù)

3 系統(tǒng)實現(xiàn)

3.1 系統(tǒng)硬件組成

3.1.1 車外部分

車外部分包括攝像頭、舵機、藍牙模塊和電源。其中攝像頭與舵機固定連接并安裝在左后視鏡位置，舵機初始角度為0°，此時攝像頭拍攝方向為車輛正前方。藍牙模塊與舵機連接，作用是接收控制信息控制舵機旋轉。電源為車外模塊供電。藍牙模塊和電源的安裝要求是不阻礙舵機轉動和攝像頭拍攝。

3.1.2 車內部分

車內部分包括MU視覺傳感器、Tobii遙測儀、顯示屏、樹莓派開發(fā)板、Arduino UNO開發(fā)板（后簡稱UNO開發(fā)板）、藍牙模塊和電源。

顯示屏安裝于A柱位置，要求形狀大小貼合A柱，并且不產生額外的盲區(qū)。樹莓派開發(fā)板、UNO開發(fā)板、藍牙模塊及電源安裝在顯示屏背面，要求盡量減小空間占用、不遮擋顯示屏畫面、不產生額外的盲區(qū)。

Tobii眼動儀的工作原理[6]是通過攝像頭獲取人的眼部圖像和視野場景圖像，提取相關的特征參數(shù)進行計算分析。具體地說，其視線追蹤功能由標定和測量兩個主要環(huán)節(jié)組成：輸入信號為連續(xù)的眼部圖像和視野場景圖像或真實的視線標定空間，先經(jīng)過標定獲得注視點與眼動特征之間的映射模型，再實時提取眼動特征代入映射模型中即可得到注視點估計坐標，最后將此坐標與視野場景圖像或真實的注視點平面進行匹配即可實現(xiàn)視線跟蹤的功能。根據(jù)獲得的注視點坐標和眼動特征即可計算出所需的視線信息。工作原理如圖8所示。

圖8 Tobii眼動儀工作原理示意圖

結合Tobii眼動儀的工作流程可知，需將其安裝在車內儀表盤位置，攝像頭正對駕駛員面部。然后進行眼動儀的標定：將Tobii眼動儀與顯示屏連接，使用者依次注視顯示屏上顯示的五個校準點，設備內置算法將會開始進行校準工作，校準完成后，Tobii眼動儀就可用于獲取駕駛員在該顯示屏上的注視點位置。

MU視覺傳感器安裝在駕駛員正上方，傳感器攝像頭正對駕駛員頭部；通過杜邦線與UNO開發(fā)板連接，如圖9所示分別是傳感器接線示意圖和實物圖。

圖9 視覺傳感器接線圖與實物圖

由于采用Arduino開發(fā)平臺，希望識別的是駕駛員頭部中心坐標，按照產品說明書，需采用以下步驟初始化該傳感器：

1）設置Address地址：由于采用UART輸出模式，需使用0X00作為廣播地址；

2）設置Output模式：選擇信號輸出類型為UART通訊類型，完成后上電；

3）版本校驗：查詢相關寄存器來判斷固件是否與手冊要求的一致，若不一致可能導致寄存器功能或算法不同；

4）設置硬件和算法參數(shù)：產品維庫中具有視覺傳感器識別人體位置坐標所需的庫文件和程序代碼；

5）數(shù)據(jù)輸出。

3.2 算法設計與實現(xiàn)

3.2.1 坐標系統(tǒng)一

為了利用駕駛員頭部位置坐標a和注視點坐標b計算攝像頭旋轉角度c，需要將視覺傳感器和遙測儀輸出坐標的參考坐標系進行統(tǒng)一。方便起見，對圖2所示參考系進行更改，使其原點位于顯示屏左上角、X軸平行于顯示屏上邊沿，作為統(tǒng)一坐標系，如圖10所示。

圖10 統(tǒng)一坐標系

假設駕駛員頭部位置坐標a=(x1,y1)。在未對視覺傳感器的算法進行更改時，傳感器輸出坐標的參考系的原點在穿過傳感器平面中心的法線上，X軸平行于傳感器中軸線。為此，在正式將傳感器用于測量駕駛員頭部坐標之前有以下幾步工作要完成：

1）安裝傳感器時，調整其軸線平行于顯示屏上邊沿；

2）安裝完成后，調整算法識別物體類型為球體，將球體置于顯示屏左上角，測得傳感器此時的輸出坐標，將其作為偏置量添加到算法輸出量上；

3）改變應用在視覺傳感器的算法，使其識別對象為人體。

完成上述工作后，視覺傳感器開始工作，如圖11所示，傳感器檢測到目標物體時，輔助LED燈將閃爍藍燈，串口輸出坐標值。

圖11 傳感器工作和串口輸出示意圖

經(jīng)過上述調整，視覺傳感器輸出的坐標就是(x1,y1)，表5展示了改變視覺傳感器算法前后、測量同一組點位置坐標時，傳感器坐標輸出的變化情況（偏置量為(50,-50)）。

表5 增加偏置量前后的坐標輸出

假設駕駛員注視點坐標b=(x2,y2)。由于遙測儀輸出的坐標以顯示屏平面為參考系、顯示屏左上角為原點，由空間幾何可知，x2就是其輸出的X軸坐標，y2=0。

3.2.2 舵機控制

當視覺傳感器和遙測儀將測得的a、b坐標傳送給UNO開發(fā)板，UNO開發(fā)板內的算法將其轉換為攝像頭應當旋轉的角度，并通過藍牙模塊控制位于車外的舵機旋轉相應角度。

基于圖5所示的統(tǒng)一坐標系，利用坐標a= (x1,y1)、b=(x2,0)，通過幾何知識易于求得旋轉角度可用如下公式求得

隨機抽取幾組實驗數(shù)據(jù)如表6所示：

表6 部分實驗數(shù)據(jù)

聯(lián)系控制舵機的原理[7]，設置一個50 Hz即20 μs的脈沖寬度調制（Pulse Width Modulation, PWM）信號，舵機轉動角度和在一個信號周期內高電平持續(xù)時間有關，將c通過公式(c·11)+500轉化為500～480的脈寬值，則每轉動1°，對應的高電平是11 μs。使舵機接口保持相應時間的高電平（單位為ns）就可以驅動舵機到相應角度c。舵機控制部分的流程圖及代碼如圖12、圖13所示。

圖12 舵機控制流程圖

圖13 舵機控代碼

視覺傳感器及視線跟蹤設備的輸出頻率較高，因而系統(tǒng)的響應速度主要取決于舵機，由于本系統(tǒng)控制舵機的脈沖寬度調制信號頻率為 50 Hz，為了使其能夠穩(wěn)定運行，使用延遲函數(shù)令舵機轉動周期為200 ms，即控制攝像頭一秒鐘改變角度5次，顯示屏顯示畫面隨之一同改變。

經(jīng)測試，在上述算法的控制下，舵機帶動攝像頭旋轉，顯示屏上的畫面較好地反映了駕駛員視野盲區(qū)情況，但由于舵機轉動頻率上限不高，畫面有一定的抖動感，這可以通過選擇更好的舵機控制算法來改善，這里便不再深入探討。

3.2.3 圖像顯示

由于市場常見攝像頭的成像分辨率通常是固定的，并且其設定分辨率難以適配本系統(tǒng)所應用的長條顯示屏，因而需要將具有圖像處理能力的單片機與攝像頭的通用串行總線（Universal Serial Bus, USB）輸出口相連接，并將其傳輸?shù)膱D像信號進行剪裁成適配長條屏幕的尺寸。實現(xiàn)該過程由兩套方案可供選擇：

方案1：使用stm32的數(shù)據(jù)中心管理接口（Data Center Manageability Interface, DCMI）的裁剪功能，對攝像頭輸出的像素點進行截取，不需要的像素部分不被DCMI傳入內存，從硬件接口一側丟棄。

方案2：使用基于Linux系統(tǒng)的樹莓派卡片機進行剪裁。在Linux環(huán)境下安裝mplayer多媒體工具（sudo apt-get install mplayer），可以使用內置的zoom指令指定成像窗口大小，或是直接引用gedit～ /.mplayer/config，zoom=yes指令實現(xiàn)全屏播放，但是該方案雖然可以在不降低圖像清晰度的情況下使攝像頭成像覆蓋屏幕，但是會導致成像失真；也可以直接拉伸成像窗口，這樣可以避免圖像失真，但是會降低攝像頭的成像清晰度，對攝像頭的像素要求較高。

由于在方案實現(xiàn)時，樹莓派的Linux系統(tǒng)使得操作更加簡便，并且其更加強大性能使成像的刷新率更高，因而，推薦選取樹莓派微型電腦進行圖像處理。

當完成對攝像頭的輸出圖像處理后將信號通過樹莓派的高清晰度多媒體接口接口輸出至驅動板實現(xiàn)信號格式轉換，使之在長條屏幕上完成成像即可。

4 結論

本文設計了一款能夠智能顯示駕駛員被A柱所阻擋的視野的車載智能A柱盲區(qū)顯示系統(tǒng)，它通過視覺傳感器獲取駕駛員頭部位置坐標，通過視線跟蹤設備獲取駕駛員注視點坐標，結合A柱位置和結構，利用幾何關系求解出駕駛員盲區(qū)所在位置及攝像頭應當旋轉的角度；再結合舵機控制的原理，控制舵機旋轉攝像頭以調整覆蓋在A柱上的顯示屏的顯示畫面，近似地達到使A柱相對于駕駛員透明化的效果。

作為一款車載安全裝置，本系統(tǒng)獨立于車體結構之外，從顯示屏到傳感器的所有設備均可根據(jù)具體車型需要，設計合適的尺寸和外形，在不對車體造成任何損害的前提下，保證所有功能的正常實現(xiàn)。由于顯示屏具有外形、尺寸的可變性，該系統(tǒng)幾乎適用于任何具有A柱盲區(qū)問題的車型，包括但不限于私家車、公交車、工業(yè)用車等。

該系統(tǒng)創(chuàng)造性地利用二維平面中駕駛員頭部位置、注視點坐標以及A柱位置，實時推算出駕駛員當前視野盲區(qū)區(qū)域，在顯示屏上顯示出最貼近與實際的盲區(qū)視野，達到A柱近似透明化的效果。它使用的各種傳感器設備的精度和處理速度足以滿足低速轉彎（此時A柱盲區(qū)影響最為顯著）時，駕駛員對盲區(qū)視野的實時性需求。