基于全卷積網(wǎng)絡(luò)及K-means聚類算法的車道線檢測的研究

閩南科技學(xué)院 蔣紫韻

上海電子信息職業(yè)技術(shù)學(xué)院 曹元元

車道線的檢測是自動(dòng)或智能輔助駕駛的核心問題之一。目前，在復(fù)雜場景下對(duì)車道線檢測存在精度不高、準(zhǔn)確性差等問題，本文提出一種基于全卷積網(wǎng)絡(luò)及K-means聚類的分割算法，旨在解決復(fù)雜環(huán)境下車道線檢測存在的問題。本文的方法通過進(jìn)行大量數(shù)據(jù)的訓(xùn)練來獲取的全卷積神經(jīng)網(wǎng)絡(luò)模型，利用模型可以準(zhǔn)確檢測到車道線，從而減少交通事故的發(fā)生。本文算法主要包括以下步驟：首先，使用圖像預(yù)處理，采用二值化、直方圖均衡化、中值濾波等預(yù)處理方法來獲取圖像的細(xì)節(jié)信息；然后，對(duì)預(yù)處理后獲取的圖像進(jìn)行K-means聚類算法獲取圖像的感興趣區(qū)域；最后，利用全卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，檢測出復(fù)雜場景下的車道線。實(shí)驗(yàn)證明本文算法的魯棒性和準(zhǔn)確性較高。

隨著智能汽車快速發(fā)展，自動(dòng)駕駛已成為熱門話題，其中車道線識(shí)別是自動(dòng)駕駛系統(tǒng)中的一個(gè)重要模塊，可以輔助駕駛員觀察車道環(huán)境，如：車道標(biāo)記位置、行人和其他異常事件，減輕駕駛員的駕駛壓力，實(shí)現(xiàn)防撞預(yù)警，降低交通事故的發(fā)生風(fēng)險(xiǎn)。因此，研究車道線檢測技術(shù)有著很高的實(shí)用價(jià)值。

目前，基于機(jī)器視覺的車道線檢測算法主要有兩種類型，分別為基于特征的識(shí)別方法和基于模型的識(shí)別方法。在一些不良路段，如：路面存在陰影、有部分車道線存在殘缺以及道路模型不符合預(yù)先假設(shè)等問題時(shí)，傳統(tǒng)的檢測方法使得識(shí)別效果降低。基于特征的識(shí)別算法是對(duì)預(yù)處理后的圖像，采用各種特征提取算子來獲取道路邊界線和車道線標(biāo)志線從而完成車道線的檢測。隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，大量的訓(xùn)練模型使得檢測方法更有效，基于模型對(duì)車道線檢測也取得了較好的效果。Gopalan R,Tsai Hong,Shenier M,etal在論文中提出對(duì)圖像進(jìn)行haar-like特征和邊緣特征的窗口滑動(dòng)計(jì)算，對(duì)每個(gè)像素建立邊緣特征，然后輸入到分類器進(jìn)行分類，從而實(shí)現(xiàn)圖像的像素級(jí)分割。最近，基于深度學(xué)習(xí)的檢測算法，尤其是卷積神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺領(lǐng)域表現(xiàn)了其強(qiáng)大的能力。文獻(xiàn)中提出了一種基于圖像分割的道路檢測方法，這種分割是通過合并來自立體視覺系統(tǒng)的2D和3D圖像處理數(shù)據(jù)而得出的，最后道路模式識(shí)別是通過人工神經(jīng)網(wǎng)絡(luò)進(jìn)行的，經(jīng)過訓(xùn)練獲得最終結(jié)果，但這種算法準(zhǔn)確率不高且運(yùn)行速度也不快。文獻(xiàn)中提出的算法引入了似然理論以構(gòu)建道路檢測的置信度圖，并使用KITTIROAD基準(zhǔn)對(duì)二進(jìn)制圖和置信度圖進(jìn)行了評(píng)估和比較，這種策略與簡單的二進(jìn)制映射相比可以更好地解決歧義環(huán)境，但是該算法的準(zhǔn)確性和實(shí)時(shí)性只能達(dá)到一般的效果。為了克服上述問題，本文提出基于全卷積網(wǎng)絡(luò)的車道線檢測的算法。實(shí)驗(yàn)證明本文算法具有較好的效果，能夠較好地將車道線從視頻中分割出來，且利用FCN-16S架構(gòu)和聚類方法解決復(fù)雜環(huán)境下車道線的檢測的問題。

1 檢測模型與算法

1.1 全卷積神經(jīng)網(wǎng)絡(luò)

YannLecun于1988年提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN)，該網(wǎng)絡(luò)建立了多層可以自動(dòng)提取圖像上特征，一般在前邊較淺的卷積層采用的是較小的感知域，可以獲取圖像上的一些局部細(xì)節(jié)特征，而在后邊較深的卷積層則使用較大的感知域，來獲取圖像的大小、位置和方向等抽象的特征信息。這些抽象的特征信息對(duì)于圖像的分類、圖像中物體粗略定位很有效及可以檢測出圖像包含了哪種物體，但是因?yàn)椴捎酶兄颍讷@取像素級(jí)的分割，效果較差。

由Long J，Shelhamei E，Darrell T于2015年提出了全卷積網(wǎng)絡(luò)(FCN)是一種端到端的卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)用于解決圖像分割，解決CNN在圖像分割的局限性。全卷積神經(jīng)網(wǎng)絡(luò)(FCN)與CNN最主要的區(qū)別就是FCN將CNN末尾的全連接層轉(zhuǎn)化成了卷積層，稱為卷積化。然后，再利用雙線性插值將圖像特征恢復(fù)到輸入圖像的大小，最后，計(jì)算圖像分類的損失，得到分割的結(jié)果。FCN模型示意圖如圖1所示。

圖1 FCN模型示意圖

以經(jīng)典神經(jīng)網(wǎng)絡(luò)實(shí)例(Alexnet)為例，當(dāng)上圖CNN網(wǎng)絡(luò)中輸入原圖像是227×227×3大小時(shí)，1-5層是卷積層，當(dāng)?shù)?層輸出256個(gè)特征圖，每個(gè)特征圖的大小為6×6，即第5輸出層的大小為256×6×6，而后邊的輸出層6、7、8長度為4096、4096、1000的一維向量。上圖FCN網(wǎng)絡(luò)中的6、7、8層都是通過卷積得到的，卷積核的大小全部是1×1，第6層的輸出大小為4096×7×7，第7層的輸出大小是4096×7×7，第8層的輸出大小是1000×7×7，即1000個(gè)大小是7×7的特征圖(稱為heatmap)。原圖在FCN網(wǎng)絡(luò)中經(jīng)過多次卷積，使得圖像的分辨率越來越低，為了將低分辨率的heatmap恢復(fù)到原圖的大小，使原圖上每一個(gè)像素點(diǎn)的分類預(yù)測更有效，需對(duì)heatmap進(jìn)行反卷積。在論文中首先采用了一個(gè)上池化操作，再對(duì)其進(jìn)行反卷積，使得圖像分辨率提高到原圖大小。

圖2 車道線檢測流程圖

1.2 K-means聚類算法

K-means算法是一種基于簡單高效、易于理解和實(shí)現(xiàn)的迭代求解的聚類算法，通過學(xué)習(xí)的方式求解最優(yōu)的分類。它采用距離作為相似性評(píng)價(jià)指標(biāo)，把得到緊湊獨(dú)立的簇作為最終的目標(biāo)。假設(shè)給定的數(shù)據(jù)集有n個(gè)數(shù)據(jù)對(duì)象，將其劃分為k類，其基本思想：

圖3 晴天下的車道線檢測效果圖

圖4 樹陰遮擋下的道路檢測效果圖

圖5 強(qiáng)光照射下的車道線檢測效果圖

（1）先確定一個(gè)k值，即k個(gè)樣本，每個(gè)樣本代表一個(gè)簇的平均值或中心，即先選擇k個(gè)類別中心；

（2）對(duì)于每個(gè)樣本，將其標(biāo)記為距離類別中心最近的類別，即：

其中，xi代表第i個(gè)數(shù)據(jù)對(duì)象，zj代表第j個(gè)類別中心。

（3）將每個(gè)類別中心更新為隸屬該類別的所有樣本的均值，即：

其中，cj是第j類所有數(shù)據(jù)對(duì)象的個(gè)數(shù)。

（4）重復(fù)（2）與（3）兩步，直到類別中心的變化小于某閾值，表示重新計(jì)算的類別中心的位置變化不大，趨于穩(wěn)定，則可認(rèn)為聚類已達(dá)到期望的結(jié)果，算法終止。

1.3 車道線檢測算法的總體設(shè)計(jì)

本文對(duì)于圖像分割實(shí)現(xiàn)，首先對(duì)原道路圖進(jìn)行預(yù)處理，再利用多次迭代的K-means聚類算法對(duì)預(yù)處理后的道路圖進(jìn)行操作，自動(dòng)選擇聚類中心，以便更好的檢測出車道線的形狀，最后采用全卷積網(wǎng)絡(luò)模型進(jìn)行檢測，車道線檢測流程圖如圖2所示。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文的數(shù)據(jù)集采用的是國外開源的KITTI車道數(shù)據(jù)集，但該數(shù)據(jù)集的車道數(shù)據(jù)僅為289張，訓(xùn)練樣本不足，為了建立的模型可以適用于多種車道環(huán)境，則一部分采用智能手機(jī)以視頻的形式采集數(shù)據(jù)，拍攝的視頻包括了晴天、陰天、雨天等不同天氣情況及不同路況（平直、彎曲）的車道環(huán)境。另外，也從百度AI Studio中下載的ColorImage_road01，ColorImage_road02數(shù)據(jù)集中節(jié)選了1012幅圖片。之后將收集到的每個(gè)圖像和相應(yīng)的車道圖像標(biāo)簽水平翻轉(zhuǎn)，使數(shù)據(jù)集增加了一倍，最后用于網(wǎng)絡(luò)訓(xùn)練的圖片有4032張。

2.2 模型訓(xùn)練

本文模型使用Python開發(fā)，采用的后臺(tái)是TensorFlow GPU版本。硬件使用Intel Core i3-3220中央處理器，8GB內(nèi)存，操作系統(tǒng)Linux Ubuntu 16.02 LTS。實(shí)驗(yàn)證明在Linux操作系統(tǒng)的運(yùn)行速度比windows系統(tǒng)要快，更加節(jié)約時(shí)間，有利于實(shí)現(xiàn)實(shí)時(shí)性。

2.3 實(shí)驗(yàn)結(jié)果及分析

在公路上，本文將全卷積神經(jīng)網(wǎng)絡(luò)加K-means聚類算法進(jìn)行車道線檢測，在車道線檢測中，對(duì)車道線附近的車輛進(jìn)行檢測，該系統(tǒng)可以提高車輛安全性，減少交通事故的發(fā)生。以下是從視頻的檢測結(jié)果中取出6幀來顯示的，如圖3，4，5所示。

總結(jié)：本文對(duì)于車道線檢測，提出了結(jié)合傳統(tǒng)特征與深度學(xué)習(xí)的方法。利用全卷積神經(jīng)網(wǎng)絡(luò)加K-means聚類算法通過大量的車道線樣本進(jìn)行訓(xùn)練，利用生成的模型檢測公路上的車道線，同時(shí)檢測到車道線附近車輛位置，為自動(dòng)駕駛提供車輛的準(zhǔn)確位置，從而避免交通事故的發(fā)生。實(shí)驗(yàn)表明，本文實(shí)現(xiàn)的算法準(zhǔn)確率較高，魯棒性較好，但是本文算法的實(shí)時(shí)性不高，今后將如何減少時(shí)間開銷作為重點(diǎn)研究，來實(shí)現(xiàn)系統(tǒng)的實(shí)時(shí)性。