一種復雜光照下列車司機人臉自適應圖像增強方法

江躍龍 黃震

摘? 要：針對列車高速行駛過程中，進入隧道后低光照和出隧道后的高光照圖像，分別采取低光照和高光照圖像增強方法進行處理，增強列車司機人臉圖像陰暗區域，提出一種復雜光照下列車司機人臉自適應圖像增強方法并進行了研究，實驗結果表明，在復雜光照下列車司機人臉自適應圖像增強方法能有效提高人臉檢測成功率，降低誤檢率，為后續研究AdaBoost算法進行人臉精準檢測，提取Haar特征以及積分圖訓練弱分類器和訓練強分類器奠定一定基礎。

關鍵詞：圖像增強;低光照;直方圖均衡化;人臉檢測率

中圖分類號：TP391.4? ? ? 文獻標識碼：A 文章編號：2096-4706（2021）05-0103-05

An Adaptive Image Enhancement Method for Train Drivers Face under

Complex Illumination

JIANG Yuelong，HUANG Zhen

（Guangzhou Railway Polytechnic，Guangzhou? 510610，China）

Abstract：In the process of high-speed train driving，the low illumination and high illumination images after entering and leaving the tunnel are processed by low illumination and high illumination image enhancement methods respectively to enhance the dark area of the train drivers face image. An adaptive image enhancement method for train drivers face under complex illumination is proposed and studied. The experimental results show that the adaptive image enhancement method for train drivers face under complex illumination can effectively improve the face detection success rate and reduce the false detection rate，which lays a foundation for the follow-up study of AdaBoost algorithm for accurate face detection，Haar feature extraction and integral image training of weak classifier and strong classifier.

Keywords：image enhancement;low light;histogram equalization;face detection rate

0? 引? 言

2020年受疫情影響，中國軌道交通基礎設備建設發展現狀及趨勢將逆周期調節回升，截至2021年，全國（不含港澳臺）共有44個城市開通運營城市軌道交通線路233條，運營里程7 545.5公里，車站4 660座，實際開行列車2 528萬列次，完成客運量175.9億人次，進站量109.1億人次[1]，按目前情況發展來看，“十四五”新增運營里程和列車車次相比“十三五”將再上一個臺階，城軌市場仍處于增量階段。從我國人口布局來看，城市軌道交通發展潛力巨大。軌道交通的快速發展，為人民日常出行和日常生活提供了很大便利，軌道交通是我國國民經濟的命脈和交通運輸的骨干網絡，它促進了經濟發展，同時，對列車的運營安全提出了更嚴格和更高的要求。

列車司機在駕駛中打盹睡覺、疲勞駕駛都屬于嚴重違章駕駛行為，是鐵路規章制度中嚴禁的，對列車司機的疲勞檢測關鍵是軌道交通列車駕駛室內攝像頭采集的列車司機圖像，對列車司機圖像進行預處理，其中主要使用的方式是基于非線性平滑技術的中值濾波處理和光照補償處理。采用非線性平滑技術的中值濾波法，主要作用是消除列車司機圖像中存在的噪聲[2]，采用直方圖均衡化處理的方法（實質是對圖像中所有像素點的灰度級進行調整變換）進行光照補償，實現增強列車司機圖像對比度（Image Contrast）。

1? 列車行駛過程中的復雜光照

由于列車行駛過程中外界環境是復雜的，在軌道交通列車駕駛室內拍攝的列車司機圖像采集后對比度偏低、列車司機圖像光線偏暗、灰度動態范圍亮度差和收縮等方面的問題，導致列車司機的圖像出現質量模糊以及退化嚴重的現象，為了在保持列車司機圖像的原始圖像不受影響，針對移動目標檢測、目標識別、列車司機圖像特征提取等后續圖像處理的要求，通過列車司機圖像人臉動態范圍的擴展提升畫面質量、亮度和視覺效果，使得增強后的列車司機圖像更符合人眼視覺體驗，有利于AI機器視覺分析和處理。

在列車行駛過程中復雜光照通常含有強烈太陽光照射、在隧道中光線較為昏暗，若列車司機長時間處于強光以及昏暗的外界光照環境下看行車路況對于列車司機行駛是一項巨大挑戰，也是極為不安全的。在白天行車過程中，隧道的視野環境通常是外亮內暗環境;夜間行車過程中，隧道的視野環境通常是外暗內亮。

當列車行駛在進出隧道時，列車司機的眼睛都會因突然的光線昏暗漸變到強光變化而出現短暫性的視覺失明，形成了視覺盲區和“視覺白區”。當列車行駛在隧道行駛過程中，列車司機不但要承受光線的變化，而且視線、視野肯定受限，所以列車司機高速駛出隧道時，系統應盡可能自適應調節駕駛內的燈光強弱調節，保持駕駛內外可以提供給列車司機一個舒適行車環境。

2? 圖像增強的傳統主流方法

采集駕駛室內列車司機人臉圖像過程，由于列車行車過程速度很快，環境條件復雜，所以有可能會產生外界噪聲干擾攝像頭所采集列車司機人臉數據信息的圖像，也有可能會在嵌入式處理器采集列車司機人臉圖像信息的過程中產生噪聲干擾。

根據列車司機人臉圖像的噪聲與信號的相關性，可將其表示為：Y（x，y）表示輸入原始圖像數據，F（x，y）表示圖像信號，S（x，y）表示司機圖像在列車行駛過程中產生的噪聲。

傳統攝像頭采集圖像信息的過程中產生主要有以下幾種噪聲：

（1）加性噪聲，該噪聲通常是指散彈噪聲或熱噪聲，不管有沒有信號存在，它都是始終存在。其與輸入圖像信號數據沒有關聯，它可表示為Y（x，y）=F（x，y）+S（x，y）;如信道噪聲以及攝像機在正常采集列車司機圖像時嵌入式智能攝像頭掃描圖像將產生熱噪聲、散彈的加性噪聲。

（2）乘性噪聲，此類噪聲將是一種圖像在獲取、傳輸或處理過程中，通過乘法加入相關信號的隨機噪聲，其與原始的圖像信號有關系，乘性噪聲對原始圖像的干擾比較嚴重，通常乘性噪聲的圖像是表示為Y（x，y）=F（x，y）+S（x，y）F（x，y），在實際應用過程中難以有效地對帶有乘性噪聲的原始圖像數據處理，因為乘性噪聲起伏較劇烈，均勻度也較低。

（3）量化噪聲，該類噪聲在傳統的現代通信編碼中，從已調信號中恢復信號的過程后，恢復的信號與原始傳輸信號之間的差異是由于信號幅度與時間之間量化或在模數轉化ADC量化過程引入量化失真的噪聲，該類量化失真與輸入圖像信號沒有關系，而是信號在量化過程產生量化誤差，而直接反映到信號接收端的現象。

在列車在行駛過程中，采集的列車司機人臉以及駕駛室的圖像應該盡可能消除或減少噪聲，可將輸出列車司機的圖像灰度級數增大到一定程度，使得司機圖像中局部細節看起來清晰，可以有效地解決因列車司機圖像的灰度級范圍小導致圖像對比度較低的問題。

而傳統的圖像處理增強和無損優化圖像常用幾種方法，如水平翻轉、隨機錯切變換、隨機翻轉角度、直方圖正規化、直方圖均衡化（Histogram equalization）、自適應直方圖均衡化（AHE）、線性變換、Gamma校正、線性變換、基于HSV空間的彩色圖像增強方法、同態濾波器、直方圖均衡化、對比度拉升等。

近年來國內外研究使用傳統低照度圖像處理增強主流處理方法主要有：

（1）低照度的艦船圖像增強研究，田江麗等[3]提出對低照度圖像建立Retinex模型，建立圖像光照基礎模型，引入低照度艦船圖像，獲得圖層光照分布狀態，通過亮度進行調整來濾除圖層噪點目的。

（2）李慶忠等[4]提出了基于并聯殘差網絡的低照度圖像增強算法，為了解決低照度圖像亮度低、對比度低、信息丟失嚴重、顏色失真等問題，其核心思路是將交替殘差模塊與局部全局殘差模塊進行并聯，運用改進的損失函數計算測試集損失，不斷調整網絡參數。

（3）張超等[5]提出一種基于動態場景估計的自適應圖像增強算法，利用拉普拉斯算子來銳化圖像細節，構建不同場景下的圖像灰度映射函數，通過動態場景估計數據來調整圖像灰度和對比度。

（4）馬悅等[6]基于深度學習的低照度圖像增強方法，提出了一種基于深度學習的端到端神經網絡，其主要思想是通過空間和通道雙重注意力機制來抑制色差和噪聲，用來引導網絡細化冗余的色彩特征。

3? 列車司機駕駛室的圖像噪聲處理

利用人工智能+賦能對列車司機的疲勞狀態進行判斷之前，列車司機駕駛室的圖像噪聲處理是至關重要的環節，目前對圖像噪聲處理主要有以下幾種處理方法：

（1）極大值和極小值濾波，該方法一種比較保守的圖像處理手段，其原理就是選取排序周圍像素和中心像素點的值，然將中心像素點值與最小和最大像素點值進行比較，如果該中心點的像素點值與最小值相比還要小，那么替換中心像素點值為最小值，如果中心像素與最大值相比還要大，那么替換中心像素為最大值，這樣處理可以有效率過濾灰度值比較低的信號噪聲。極大值濾波可以表示為：Maximum（F）=

max[F（x+n，y+p）]，其中，（x，y）屬于A，（x+n，y+p）是定義在圖像上的橫坐標、縱坐標，（n，p）是定義在運算的模板A上的坐標。

一個Ker（A）矩陣為3×3的最大最小值濾波如圖1所示。

排序以后為6，8，9，11，12，13，14，15，中心像素：36，最大值和最小值濾波后，中心像素值分別為：15和6。

（2）均值濾波是典型的線性濾波算法，也被稱為線性濾波，是圖像處理中較為常用的算法，其采用的主要方法為鄰域平均法，即用幾個像素灰度的平均值來代替每個像素的灰度，從頻率域層面上來看均值濾波是一種高頻信號將會被過濾的低通濾波器，因此，它可以很好地消除列車司機圖像的尖銳噪聲問題，從而很好實現平滑圖像，具有速度快，算法簡單等優點。理想的均值濾波主要思想是用每個像素值和它周圍的像素點值計算出來的平均值替換原來的圖像中每個像素值。據通常是3×3的矩陣，如圖2所示。

以圖2矩形中X中心為中心像素，中心像素周圍有八個像素，計算九個像素點的平均值，替換X中心的像素值。

圖片中一個方塊區域（3×3矩陣）內，中心點像素點值為全部點像素點值加權平均值。均值濾波就是對于整張原始圖片進行上面的操作。

式中，處理后圖像在該點上的灰度值為g（x，y），M為該模板（3×3矩陣）中包含當前像素在內的像素值總個數。

均值濾波由于本身存在著固有的缺陷，可以有效抑制加性噪聲，只能輕微的減弱它，但其容易引起原始圖像模糊，所以它不能很好地保護原始圖像細節問題[7]，針對原始圖像去噪的同時也破壞了原始圖像的細節部分，使得圖像變得模糊，不能很好地去除圖像的噪聲點。

（3）中點濾波，結合統計排序和求平均，對于隨機分布噪聲工作得很好，如高斯噪聲或均勻噪聲。

（4）中值濾波，在“最小絕對誤差”準則下的最優濾波法，通過對鄰域內像素按灰度排序的結果決定中心像素的灰度，將周圍像素和中心像素排序以后，取中值。在一連串數字：{3，2，4，6，7，9，10}中，數字6就是這串數字的中值。由此我們可以應用到圖像處理中，在圖像中取3×3的矩陣，該矩陣有九個像素點，我們將九個像素點進行排序：1，3，11，13，18，22，27，29，41，最后將這個矩陣的中心點賦值18，作為為這九個像素的中值。

我們可以看如圖3所示的5×5矩陣進行理解。

均值濾波法具有平滑圖像，速度快，算法簡單等優點，雖對于高斯噪聲的效果比較好，而中值濾波卻對于椒鹽噪聲的效果比較好。

4? 列車司機圖像預處理

直方圖均衡化（Histogram Equalization，HE）是把一張已知列車司機原始圖像經過灰度轉換得到列車司機灰度圖，如圖4、圖5所示，然后經過一種特殊變換，得到灰度概率密度分布，使它演變為一幅具有均勻灰度概率密度分布的新圖像，如圖6所示?？梢栽鰪娊o定原始圖像的對比度，使得結果原始圖像具有均勻的灰度級分布。該方法可以平滑和拉伸圖像直方圖的動態范圍，從而提高整體對比度。

當在列車行駛過程中復雜光照通常包含強烈太陽光照射與隧道中的昏暗光線，進出隧道時，圖像需要增強和預處理，圖7為模擬列車司機原始圖像（數據集源于低光照人臉數據集），對列車司機圖像分別進行直方圖處理、非線性中值濾波法去除列車司機圖像的噪聲處理和列車司機圖像直方圖均衡化處理。

5? 復雜光照下列車司機人臉圖像自適應增強方法

圖像增強處理算法有：圖像平面上修改灰度的算法（空域法）、變換輸入圖像、在變換域執行特定任務、應用逆變換回到空間域（變換域法）和改變邊界圖像附近的灰度，去除間隙，并混合圖像使得增強（融合法）。采集列車司機人臉和駕駛室內的圖像，系統將先計算列車司機的人臉以及駕駛室圖像平均亮度，然后通過前期評估數據得到的正常光照亮度范圍區間值作為參考，判斷當前人臉以及駕駛室圖像的光照水平。對于駛入隧道后駕駛室光照環境處于低光照和出隧道后駕駛室光照環境處于高光照圖像，分別采取低光照和高光照圖像增強方法進行處理。

系統整體設計如圖8所示。

對于正常光照列車司機的圖像，不需要進行其他額外處理，采集列車司機的圖像然后粗定位人臉并精準定位人眼，通過列車司機的眼睛狀態評估和判斷列車司機是否處于疲勞狀態。如圖9所示，列車每一次進出隧道后光照增強處理后，重新計算列車司機圖像亮度并衡量光照水平情況。

6? 結? 論

本文提出一種復雜光照下列車司機人臉自適應圖像增強方法，對于在列車行駛過程中，進入隧道后低光照和出隧道后的高光照圖像，采取低光照和高光照圖像增強方法以及增強司機圖像陰暗區域的信息，為后續研究對列車司機圖像中人臉區域的預分割、人臉位置的粗定位及高檢測率的AdaBoost算法訓練出弱分類器，然后將該弱分類器組合形成層疊的強分類器進行人臉精準檢測，提取Haar特征以及為積分圖訓練弱分類器和訓練強分類器奠定一定基礎。

參考文獻：

[1] 劉志強.全國城市軌道交通運營里程達7545.5公里 [N].人民日報，2021-01-07（10）.

[2] 趙亞利，魏迎梅，老松楊.一種基于聚類分割的航空圖像道路提取方法 [J].系統仿真學報，2014，26（9）：2198-2202.

[3] 田江麗，李攀.低照度的艦船圖像增強研究 [J].艦船科學技術，2021，43（2）：88-90.

[4] 陳清江，李金陽，胡倩楠.基于并聯殘差網絡的低照度圖像增強算法 [J/OL].激光與光電子學進展：1-17[2021-02-24].http：//kns.cnki.net/kcms/detail/31.1690.tn.20210222.1313.029.html.

[5] 張超，楊晶晶，王盛，等.基于動態場景估計的自適應圖像增強算法 [J].計算機工程，2013，39（5）：34-41.

[6] 馬悅.基于深度學習的低照度圖像增強方法 [J].信息技術，2021（1）：85-89.

[7] 王際航.基于視頻圖像的眼動系統算法研究與實現 [D].長春：吉林大學，2016.

作者簡介：江躍龍（1984—），男，漢族，福建龍巖人，講師，電子技術工程師，碩士研究生，研究方向：人工智能、智能信息系統、機器學習、機器視覺;黃震（1999—），男，漢族，江西上饒人，研究方向：鐵道通信與信息化技術 。