機器視覺智能車虛擬環境的搭建

鄒 斌 ，莊雷雨 ，李超群 ，熊 輝

（1.武漢理工大學 現代汽車零部件技術湖北省重點實驗室，武漢 430070；2.汽車零部件技術湖北省協同創新中心，武漢 430070）

智能車輛是汽車行業未來發展的趨勢，它以車載計算終端為載體，利用車載傳感器系統感知周圍的環境，自主或者輔助控制車輛的速度和方向，使其在道路上安全行駛。在現有環境感知方法中，機器視覺能夠提供豐富的感知信息，具有無可比擬的優勢[1]。但是在機器視覺智能車輛的研究過程中，對視頻信號的采集和反饋處理缺少仿真手段的支持，大多采用攝像頭拍攝實景視頻的方法，視頻信號的采集和反饋很難做到再現，視頻信號中各個信息不能準確方便地獲得，也不能根據不同的需求獲得不同的場景信號。考慮到視覺系統的魯棒性和實時性，本文提出了一種基于Matlab/Simulink 3D Animation的智能車視覺仿真和反饋系統，結合智能車動力學模型與模糊控制算法建立智能車虛擬仿真環境，實現對虛擬環境路徑的識別與跟蹤。

1 機器視覺智能車虛擬環境架構

機器視覺智能車虛擬環境主要包括環境物理模型、智能車視覺系統和控制系統。3個模塊通過仿真信號的傳遞和反饋結合成有機整體，機器視覺智能車虛擬環境架構如圖1所示。

圖1 機器視覺智能車虛擬環境架構Fig.1 Framework of the computer vision guided intelligent vehicle virtual environment

物理模型在仿真中的作用是模擬車輛在真實環境中的行駛規律，讓整個虛擬系統趨向于真實環境中實際車輛的運動規律。其中物理模型由Matlab/ Simulink中的Simmechanics工具箱搭建完成，包含車輛和道路的三維仿真模型和動力學模型。在物理模型仿真過程中，可以通過Matlab/Simulink窗口，實時觀察模型的仿真狀態，也可以在Simmechanics窗口中回放仿真過程。

視覺系統利用Matlab/Simulink中3D Animation工具箱建立基于VRML語言的虛擬現實環境，可以根據需要在場景中添加各種元素，以達到和真實環境相一致的要求。通過VRsink瀏覽器輸出圖片以及視頻信號，該信號可被編輯處理，可用于系統的反饋控制。整個視覺系統是一個對視頻信號的采集與反饋的仿真環境，可實現對現實環境下視覺智能車輛的仿真功能。

而控制系統則是根據具體的算法和要求，起到連接視覺系統和物理模型的功能。其作用是按照要求完成特定的功能和目標。控制系統的搭建靈活多樣，既可以使用C語言、M語言編寫，也可以使用Simulink搭建控制模型。

2 視覺引導智能車仿真平臺的設計

2.1 建立物理模型

2.1.1 三維軟件建模

由于Matlab有豐富的外部接口，所以并不需要在Matlab內部建立物理模型，可以使用“Simmechanics link”和Vrml文件，將三維模型導入到Matlab中去。

使用PRO/E、Catia、3D MAX等軟件建立車輛、道路和環境的三維模型，將模型通過“Simmechanics link”插件導入到Simulink中去，導出的格式為Xml文件。同時將以上的三維模型另存為Vrml（Wrl格式）文件。這里的 Xml文件可以直接轉化成為Simulink中Simmechanics模型，而Vrml文件則可以連接到Simulink/VRsink中去，搭建虛擬現實模型。為了使仿真速度更快，在智能車相對次要的結構上做相應的簡化，使整個系統的實時性更好，比如非主要結構中圓形、弧形等曲線可用多邊形代替。

2.1.2 運動學和動力學模型

通過三維軟件導入到Simmechanics中的模型只包含約束關系的三維模型，還需要添加整車的動力學和運動學模型[2]。

1）運動學模型

運動學是從幾何角度研究物體的物理規律，它包括速度、位置及時間的關系。如圖2所示，在直角坐標系XOY下，（Xr，Yr）和（Xf，Yf）分別為車輛的后軸和前軸中點坐標，φ為車體的橫擺角（航向角）。

圖2 車輛運動學模型Fig.2 Vehicle kinematical model

后軸中心速度為

由車輛的運動學規律可得：

由式（1）和式（2）聯立可得：

根據前后輪關系：

將式（3）和式（4）代入式（2）中，可得橫擺角速度：

式中：ω為車輛的橫擺角速度；同時可以通過橫擺角速度ω和車身速度vr得到轉向輪的半徑R以及前輪的偏角δf：

由式（2）和式（5）可以得到車輛的運動學模型：

2）輪胎與地面接觸力模型

在建立車輛接觸力模型之前，不妨作一下簡化，在保證合理精度的前提下，減小控制算法的計算量。

假設路面無坑洼不平，不考慮車輛顛簸情況；懸架系統是剛性的，忽略懸架運動；假設車輛速度不超過10 m/s，簡化輪胎模型，忽略輪胎側偏角、外傾角以及回正力矩的影響；忽略空氣動力學的影響。摩擦力模型示意圖如圖3所示。

圖3 車輛輪胎與地面接觸力模型Fig.3 Mechanical model between tire and ground

車輪與地面的摩擦力為

摩擦力等于法向力乘以摩擦因子，而摩擦因子是接觸點相對速度的函數：

其中：Vpoc為接觸點的速度；Vth為閾值速度；μs為靜摩擦因子；μk為動摩擦因子。如圖4所示。

圖4 動摩擦因子與靜摩擦因子Fig.4 Dynamic friction coefficient and static friction coefficient

2.2 視覺系統

Matlab中沒有可以直接模擬攝像頭的模塊，通過Matlab幾種功能結合的方法來實現攝像頭的功能。在視覺引導智能車上，攝像頭的作用是獲取和反饋道路及周圍的信息，所以視覺系統中，要能夠獲取仿真環境中特定角度的視頻信息，而且能夠將視頻信號傳遞到控制系統中去。

1）搭建虛擬駕駛環境

在仿真過程中獲取視頻信號首先要搭建虛擬的道路環境，使用Simulink中的3D Animation工具箱中VRsink模塊，結合VRML建模語言，可以方便地建立虛擬駕駛環境。在視覺系統中，既有3D虛擬環境，又能輸出特定視角的視頻信號，既可以直觀地看到仿真過程，又可以實時反饋控制無人駕駛車輛的運行。

VRML（virtual reality modeling language）語言，即虛擬現實建模語言，是一種用于建立真實世界場景模型的解釋性建模語言。VRML的對象稱為節點（node），子節點的集合可以構成復雜的模型。節點可以復用，對它們賦以名稱，進行定義，即可以建立動態虛擬環境。

在VRsink視覺系統中，將車身節點分成若干個子節點，分別是前后輪4個節點。其中從前輪中引出縱向位移和轉角信號輸入節點以及前輪轉向信號輸入節點，從后輪引出縱向位移和轉角信號輸入節點。在整個車身節點中引出位移和車身轉角信號輸入節點，如表1所示。所有車輛的運動學參數的輸入，都使用位移和角度來表示。

2）視頻信號的獲取

將已經建好的虛擬環境文件（wrl格式）關聯到VRsink中，按照表1中節點設置好輸入參數與虛擬環境的連接關系，設置好視頻輸出參數，設置坐標參數關系，建立如圖5所示的視覺系統模塊。

表1 視覺系統中輸入信號Tab.1 Input signal in computer vision system

圖5 視覺系統模塊Fig.5 Computer vision system module

3）信號傳遞

采用Simulink中的3D Animation模塊實現動力學模型輸出的車輛信息到視覺系統中的傳遞。3D Animation中VRsink瀏覽器，可以通過位置信號和轉角信號的輸入，把VRML的虛擬場景構建和Simulink控制動態仿真有機結合在一起，又可通過VRsink視頻信號輸出，實時控制VRML的虛擬場景內車輛的運動狀態，達到軌跡跟蹤的控制目標。

車身的位置信號、車身的轉角信號，前后4個輪胎的位置信號和轉角信號，通過如圖5所示的方式，輸入到視覺系統中，控制虛擬環境中車輛的位置、速度和轉向角度等物理量。

2.3 控制系統設計

智能車的控制系統是通過它可以按照所期望的方式保持和改變智能車目標量。為了使智能車行駛在預定的軌跡道路，設計了基于模糊控制的視覺控制系統，與物理模型、視覺系統一同構成閉環控制。

2.3.1 圖像處理

圖像處理作為控制算法的預處理步驟，是控制系統的重要組成部分。通過VRsink輸出視頻信息，根據實際攝像頭設置輸出分辨率以及輸出參數，然后經過二值化、邊緣檢測等圖像預處理步驟，得到可識別的圖像，處理流程如圖6所示。

圖6 圖像處理過程Fig.6 Imags processing

2.3.2 基于模糊控制的控制算法

模糊理論模擬人的思維過程，即對事物進行觀察、思考、判斷和決策。L.A.Zadeh提出不相容原理，當系統的復雜性增大時，其清晰化的能力就會降低，當達到一定的閾值時，清晰性和復雜性將互相排斥，于是便產生了模糊控制[3]。

模糊控制不需要知道控制對象的數學模型，是通過大量的實際操作數據歸納總結出的控制規則，用自然語言表達控制策略[4]。模糊控制表現出極強的魯棒性，對于被控對象的特性變化不敏感，模糊控制算法比較簡單，執行快，易于實現，控制器的設計參數容易選擇調整，特別適合非線性系統的控制。智能車視覺控制是一個復雜的控制對象，具有非線性、時變、強耦合、大慣性和大滯后的特點，傳統PID方法對智能車的路徑的控制效果不太理想，且PID參數整定的過程較為耗時[5]，因此智能車跟蹤路徑采用模糊控制算法。

1）選取模糊控制器

模糊控制器的輸入為車身與目標路徑的視覺差值e，以及e的變化率ec，輸出為智能車的轉向角控制因子u。因此為智能車控制系統選用一個雙輸入單輸出的模糊控制器。

2）模糊化

常見的5種基本隸屬函數為三角形、鐘形、梯形、Sigmoid型和高斯型。還可以用這5種基本函數組合成新函數，如由2個Sigmoid型函數之積，可以構成Sigmoid積型隸屬函數。也可以根據實際情況進行自由組合。

很多因素都能影響到模糊控制，在隸屬函數的選擇上沒有固定的規則，對于整個控制系統的控制效果的影響，論域上各個模糊子集的分布及相鄰子集的隸屬函數的交叉重疊情況遠比隸屬函數的形狀影響大。因此，考慮到運算方便、性能熟悉等因素，在工程控制中常選用三角形、高斯型、梯形和鐘形這幾種隸屬函數。在設計模糊控制器時，選用三角形隸屬函數與高斯隸屬度函數結合的混合隸屬度函數，其中三角形隸屬度解析表達式為

式中：b為三角形的頂點坐標值；a和c分別為三角形左右2個邊與底邊的交點坐標值。

高斯型隸屬度函數由2個參數σ和c確定，即：

式中：參數σ通常為正；參數c用于確定曲線的中心。

選定車身與目標路徑的視覺差值e的模糊論域為 E=｛-3，-2，-1，0，1，2，3｝， 所對應的語言值為｛NB，NM，NS，0，PS，PM，PB｝。

圖7 e的隸屬度函數Fig.7 Membership function of“e”

設變化率 ec的模糊論域 EC=｛-3，-2，-1，0，1，2，3｝。則對應的語言值｛NB，NM，NS，0，PS，PM，PB｝。隸屬度函數圖形同圖7。

設輸出量u的模糊論域為U=［-3，3］。所對應的語言值為｛NB，NM，NS，0，PS，PM，PB｝。隸屬度函數圖形如圖7所示。

1）建立模糊規則

根據偏差大小和偏差速度大小，以人的操作經驗可以建立49條模糊規則，整理模糊規則可得到模糊規則表如表2所示。

表2 模糊控制規則表Tab.2 Fuzzy control rules

2）設計模糊控制器

模糊控制器的任務是模糊化、模糊推理和解模糊。根據前文建立模糊規則，在Matlab模糊工具箱中搭建模糊控制器。

3 平臺仿真結果及分析

為了驗證仿真過程和結果的可靠性，通過構建場景模型和搭建智能車模型，構建智能車視覺仿真平臺，通過模塊化將整個仿真平臺分成3個子系統，通過視頻控制信號和坐標位置信號將3個系統連接起來，使得系統具備更好的兼容性與可擴展性。

智能車仿真虛擬環境如圖8所示，仿真平臺的驗證選取飛思卡爾智能車，通過實車測量獲得智能車的運動學參數和輪胎與地面摩擦參數，按照實際車輛的參數調整好虛擬視覺的視角、高度和視野大小。

圖8 智能車仿真虛擬環境Fig.8 Computer vision guided intelligent vehicle virtual environment

仿真所用的虛擬賽道如圖9所示，在視覺仿真系統模塊中，輸出320×240分辨率的視頻信號，經過二值化和邊緣檢測后得到控制系統可用的視頻信號。

圖9 仿真實驗的賽道俯視圖Fig.9 Top view of the track used in the simulation

圖10 行駛軌跡Fig.10 Tracking result

圖11 車身和目標軌跡偏差率Fig.11 Difference of simulation test results and target path

整個系統運行結束后，得到如圖10所示的行駛軌跡和如圖11所示的車身和目標軌跡偏差率。由圖10可以看出，在整個虛擬環境中，智能車可以按照控制算法的具體要求，沿著既定的道路行駛。由圖11可以看出，偏差率基本控制在［-0.1，0.1］內，在0～5 s內，由于智能車經過斜坡，故偏差率有一個波峰。當智能車通過普通彎道和S彎道時，始終有較好的響應，偏差e保持在較低的范圍內。后面出現了幾個波峰和波谷是因為本文將智能車的賽道進行了路徑規劃。當智能車通過十字路口時，設定其轉角為0°，這會導致智能車駛出十字路口時偏離目標值較大。綜合分析，由于視覺系統良好的視頻反饋，運用模糊控制理論，本次仿真中智能車的路徑跟隨效果較為理想，偏差控制在合理的范圍內，滿足機器視覺智能車虛擬環境仿真的要求。

4 結語

將視覺系統的仿真手段引入到智能車輛的研究過程中，使用虛擬環境進行視覺系統的仿真，可以為智能車輛以及智能駕駛的深入研究提供方便可靠的平臺保障。既解決了視頻信號采集和反饋再現性問題，又解決了因硬件平臺的脆弱性和耗時性而導致的開發周期長，研發成本高的問題。該視覺仿真系統的應用可推廣到一般的無人駕駛車輛，為機器視覺無人車的進一步研究奠定了良好的基礎。

[1]黃偉.基于雷達和機器視覺的車輛前方障礙物檢測系統[D].武漢：武漢理工大學，2010.

[2]龔建偉，姜巖，徐威.無人駕駛車輛模型預測控制[M].北京：北京理工大學出版社，2014.

[3]張德豐，周靈.VRML的虛擬現實應用技術[M].北京：電子工業出版社，2010.

[4]王寧，孟憲堯.輸入采用廣義梯形隸屬函數的兩維最簡模糊控制器結構分析[J].自動化學報，2008（4）：466-471.

[5]張詠軍，王航宇.基于BP神經網絡的溫度模糊PID控制器設計[J].現代電子技術，2008（7）：133-135.