車(chē)聯(lián)網(wǎng)中視頻語(yǔ)義驅(qū)動(dòng)的資源分配算法

陳九九，馮春燕，郭彩麗，楊洋，孫啟政，朱美逸

（北京郵電大學(xué)北京先進(jìn)信息網(wǎng)絡(luò)實(shí)驗(yàn)室，北京 100876）

1 引言

當(dāng)前，在車(chē)聯(lián)網(wǎng)場(chǎng)景中，車(chē)輛端通常配備或部署多個(gè)高清攝像頭，據(jù)數(shù)據(jù)統(tǒng)計(jì)，90%以上的行車(chē)環(huán)境信息可以通過(guò)攝像頭采集和獲取[1]。同時(shí)，計(jì)算機(jī)視覺(jué)技術(shù)采用智能算法，以深度學(xué)習(xí)為代表的人工智能技術(shù)對(duì)攝像頭采集到的大量視頻數(shù)據(jù)的語(yǔ)義進(jìn)行充分理解和分析，從而完成自動(dòng)駕駛中安全類(lèi)、信息類(lèi)、交通效率類(lèi)等各種業(yè)務(wù)的智能決策處理[2]。這些基于視頻語(yǔ)義理解的大量任務(wù)，比如目標(biāo)檢測(cè)等，對(duì)車(chē)輛端的計(jì)算能力帶來(lái)極大挑戰(zhàn)，目前的解決方案是車(chē)輛僅對(duì)視頻做一些簡(jiǎn)單計(jì)算后借助車(chē)聯(lián)網(wǎng)將視頻語(yǔ)義理解任務(wù)卸載到計(jì)算資源豐富的移動(dòng)邊緣計(jì)算服務(wù)器（通常部署在路邊單元側(cè)）進(jìn)行協(xié)同計(jì)算[3]，以支持車(chē)聯(lián)網(wǎng)中輔助駕駛等多種不同業(yè)務(wù)的需求。

車(chē)輛端到邊緣服務(wù)器端的大量計(jì)算任務(wù)卸載需求，給車(chē)輛端到邊緣服務(wù)器端的通信資源帶來(lái)了巨大的壓力，亟須研究高效的資源分配方式來(lái)提高車(chē)聯(lián)網(wǎng)中的資源利用率，更好地服務(wù)于視頻語(yǔ)義理解任務(wù)，促進(jìn)車(chē)聯(lián)網(wǎng)系統(tǒng)中通信傳輸與智能計(jì)算過(guò)程的融合。

車(chē)聯(lián)網(wǎng)中傳統(tǒng)的資源分配方式主要分為兩類(lèi)：基于服務(wù)質(zhì)量（QoS,quality of service）的資源分配方法[4-5]和基于用戶(hù)體驗(yàn)質(zhì)量（QoE,quality of experience）的資源分配方法[6-7]。基于QoS 的資源分配方法主要通過(guò)合理地分配帶寬、功率、時(shí)延等通信資源，以?xún)?yōu)化網(wǎng)絡(luò)的吞吐量、傳輸速率、時(shí)延、抖動(dòng)等網(wǎng)絡(luò)效率指標(biāo)，面向的主體是通信系統(tǒng)的物理層或網(wǎng)絡(luò)層；基于QoE 的資源分配方法主要是通過(guò)分配通信資源以提升傳輸視頻的流暢度、清晰度、用戶(hù)滿意度等指標(biāo)，滿足接收用戶(hù)的各種主觀需求。

傳統(tǒng)的資源分配方法面向的主體是傳輸網(wǎng)絡(luò)或人類(lèi)用戶(hù)，不考慮所傳輸?shù)囊曨l內(nèi)容或語(yǔ)義信息。當(dāng)視頻傳輸?shù)慕邮斩耸亲鳛闄C(jī)器的智能體，傳輸后的視頻用于目標(biāo)檢測(cè)等語(yǔ)義理解任務(wù)時(shí)，它追求的目標(biāo)不再是網(wǎng)絡(luò)效率或者用戶(hù)體驗(yàn)，而是視頻理解或分析的準(zhǔn)確率，因此傳統(tǒng)的QoS 或QoE 資源分配方法不再是最優(yōu)的，有必要針對(duì)視頻語(yǔ)義研究更高效的資源分配方法[8]。

文獻(xiàn)[8]提出了視頻內(nèi)容質(zhì)量（QoC,quality of content）的概念，以最大化平均目標(biāo)檢測(cè)精度為目標(biāo)，給出了視頻編碼資源分配方案。但文獻(xiàn)[8]沒(méi)有給出具體的視頻內(nèi)容質(zhì)量量化模型，未從視頻語(yǔ)義角度出發(fā)考慮不同視頻的語(yǔ)義差異，且未考慮車(chē)聯(lián)網(wǎng)非穩(wěn)態(tài)信道條件下的資源分配。

視頻傳輸?shù)慕邮斩耸亲鳛闄C(jī)器的智能體，它追求的目標(biāo)是接收端在資源受限、視頻有損傳輸?shù)臈l件下最多最準(zhǔn)確地理解視頻語(yǔ)義。以目標(biāo)檢測(cè)為例，視頻語(yǔ)義是指待檢測(cè)的目標(biāo)類(lèi)別（如行人、汽車(chē)、信號(hào)燈）、目標(biāo)數(shù)量、目標(biāo)位置等。從視頻語(yǔ)義理解任務(wù)出發(fā)，通過(guò)視頻語(yǔ)義區(qū)分不同視頻并合理地分配通信資源，使接收端最大程度地理解視頻語(yǔ)義，本文稱(chēng)之為視頻語(yǔ)義驅(qū)動(dòng)的資源分配指導(dǎo)方式。基于以上分析，應(yīng)對(duì)視頻語(yǔ)義理解需求和車(chē)聯(lián)網(wǎng)中通信資源緊缺的挑戰(zhàn)，根源在于如何設(shè)計(jì)合理的資源分配指導(dǎo)模型和資源分配優(yōu)化方法，本文主要工作如下。

1) 以目標(biāo)檢測(cè)任務(wù)為例，提出了語(yǔ)義驅(qū)動(dòng)的資源分配指導(dǎo)模型，并給出了基于回歸分析的模型參數(shù)求解算法。

2) 基于資源分配指導(dǎo)模型，構(gòu)建了車(chē)聯(lián)網(wǎng)場(chǎng)景中視頻語(yǔ)義驅(qū)動(dòng)的資源分配優(yōu)化問(wèn)題，將該問(wèn)題轉(zhuǎn)化為凸問(wèn)題并利用凸優(yōu)化算法求解。

3) 為降低凸優(yōu)化算法的求解復(fù)雜度，提出了基于強(qiáng)化Q 學(xué)習(xí)的資源分配算法。

2 系統(tǒng)模型及資源分配指導(dǎo)模型

2.1 車(chē)聯(lián)網(wǎng)系統(tǒng)模型

車(chē)聯(lián)網(wǎng)場(chǎng)景下，邊緣服務(wù)器負(fù)責(zé)分配通信資源以及完成視頻語(yǔ)義理解任務(wù)，車(chē)輛端負(fù)責(zé)視頻預(yù)處理的任務(wù)，如視頻壓縮等。一個(gè)典型的車(chē)聯(lián)網(wǎng)邊緣計(jì)算場(chǎng)景下的視頻傳輸系統(tǒng)模型如圖1 所示。

圖1 車(chē)聯(lián)網(wǎng)邊緣計(jì)算場(chǎng)景視頻傳輸系統(tǒng)模型

該系統(tǒng)由多輛裝有攝像頭的智能網(wǎng)聯(lián)車(chē)輛和邊緣服務(wù)器組成，車(chē)輛行駛在邊緣服務(wù)器的覆蓋區(qū)域。車(chē)輛通過(guò)攝像頭感知周?chē)h(huán)境，感知內(nèi)容包括交通場(chǎng)景（如交通信號(hào)）以及運(yùn)動(dòng)物體（如行人和其他車(chē)輛），這些車(chē)輛視頻感知到的環(huán)境信息構(gòu)成了視頻語(yǔ)義信息。車(chē)輛行駛過(guò)程中通過(guò)攝像頭采集到大量待分析的視頻供車(chē)輛做出輔助行駛決策，如車(chē)輛轉(zhuǎn)向、減速、變道等。考慮到采集視頻的數(shù)據(jù)量極大以及車(chē)輛的計(jì)算能力有限，視頻數(shù)據(jù)通過(guò)無(wú)線信道傳輸至邊緣服務(wù)器完成視頻語(yǔ)義的理解和分析，因此需要在資源受限的情況下最大限度地準(zhǔn)確理解視頻語(yǔ)義。

假設(shè)系統(tǒng)完成一次視頻傳輸?shù)目倳r(shí)長(zhǎng)為T(mén)，本文定義一次視頻傳輸過(guò)程為車(chē)輛發(fā)起一個(gè)視頻傳輸請(qǐng)求到傳輸停止。整個(gè)系統(tǒng)的通信和計(jì)算過(guò)程如下。

步驟1車(chē)輛發(fā)起視頻傳輸請(qǐng)求，對(duì)所采集的視頻進(jìn)行預(yù)處理，獲取視頻信息并將其上傳到邊緣服務(wù)器，同時(shí)邊緣服務(wù)器獲取信道狀態(tài)信息（CSI,channel state information）[9-10]。該部分處理時(shí)間為t1。

步驟2邊緣服務(wù)器獲取全部信息（包括所有視頻信息和CSI），根據(jù)視頻語(yǔ)義驅(qū)動(dòng)的資源分配算法得到最優(yōu)資源分配結(jié)果。該過(guò)程處理時(shí)間為t2。因此，在視頻傳輸之前，總的處理時(shí)間為 Δt=t1+t2。

步驟3車(chē)輛根據(jù)資源分配的結(jié)果完成視頻的編碼壓縮，通過(guò)無(wú)線信道傳輸?shù)竭吘壏?wù)器，該過(guò)程遵循無(wú)線視頻傳輸協(xié)議[11]。

步驟4邊緣服務(wù)器將接收到的視頻進(jìn)行解碼，對(duì)視頻進(jìn)行語(yǔ)義理解并將結(jié)果反饋給各車(chē)輛端，同時(shí)邊緣服務(wù)器可將視頻存儲(chǔ)或用于其他任務(wù)，如道路交通情況分析等[12]。

2.2 研究問(wèn)題描述和定義

根據(jù)2.1 節(jié)所述的系統(tǒng)模型，本文研究的關(guān)鍵是系統(tǒng)通信計(jì)算的步驟2，即如何構(gòu)建視頻語(yǔ)義驅(qū)動(dòng)的資源分配優(yōu)化問(wèn)題，并設(shè)計(jì)相應(yīng)算法求取最優(yōu)資源分配解。在本文所提的系統(tǒng)模型中，視頻傳輸?shù)慕邮斩诉吘壏?wù)器是智能體，它追求的目標(biāo)是最準(zhǔn)確地理解視頻語(yǔ)義，因此資源分配的最優(yōu)化目標(biāo)為使用最少的通信資源代價(jià)盡可能獲得最高的視頻語(yǔ)義理解準(zhǔn)確率。該資源優(yōu)化問(wèn)題可以形式化描述為

其中，x表示帶寬資源；F(x)表示資源分配指導(dǎo)函數(shù)，即視頻語(yǔ)義理解準(zhǔn)確率；g(x)≤xmax表示資源限制條件，g(x)為約束函數(shù)；xmax為總資源最大值。

上述語(yǔ)義驅(qū)動(dòng)的資源優(yōu)化模型從理論上給出了資源分配算法的優(yōu)化方向。在不同場(chǎng)景中，優(yōu)化模型需要根據(jù)具體場(chǎng)景特點(diǎn)和視頻語(yǔ)義理解任務(wù)類(lèi)型。在實(shí)際的語(yǔ)義理解任務(wù)中，如車(chē)聯(lián)網(wǎng)中應(yīng)用極廣泛的目標(biāo)檢測(cè)任務(wù)，視頻語(yǔ)義包括待檢測(cè)的目標(biāo)類(lèi)別、目標(biāo)數(shù)量等，視頻語(yǔ)義理解準(zhǔn)確率即目標(biāo)檢測(cè)準(zhǔn)確率。在目標(biāo)檢測(cè)任務(wù)中，各評(píng)價(jià)指標(biāo)如下

其中，目標(biāo)檢測(cè)準(zhǔn)確率一般用來(lái)評(píng)估模型和算法的全局準(zhǔn)確程度，正確檢測(cè)目標(biāo)數(shù)用來(lái)反映正確檢測(cè)的數(shù)量程度。

2.3 視頻語(yǔ)義驅(qū)動(dòng)的資源分配指導(dǎo)模型

在實(shí)際的視頻語(yǔ)義驅(qū)動(dòng)的資源分配過(guò)程中，需要考慮具體的語(yǔ)義理解任務(wù)和通信資源限制帶來(lái)的影響，研究如何引入視頻語(yǔ)義理解準(zhǔn)確率的評(píng)價(jià)指標(biāo)來(lái)指導(dǎo)資源分配。本文以視頻語(yǔ)義理解的基礎(chǔ)任務(wù)、目標(biāo)檢測(cè)為例，闡述具體的視頻語(yǔ)義理解準(zhǔn)確度率的建模方法，詳細(xì)的建模過(guò)程如圖2 所示。

圖2 語(yǔ)義理解準(zhǔn)確率建模過(guò)程

1) 考慮到視頻傳輸受通信資源的限制，需要對(duì)視頻進(jìn)行處理。以帶寬資源為例，由于視頻傳輸?shù)拇a率必須小于或等于帶寬限制下的傳輸速率，因此需要對(duì)視頻進(jìn)行壓縮處理以滿足帶寬資源約束條件。本文采用HEVC（high efficiency video coding）編碼方案[13]（即H.265 視頻編碼壓縮標(biāo)準(zhǔn)）對(duì)視頻數(shù)據(jù)進(jìn)行壓縮編碼處理，壓縮編碼過(guò)程中不同的視頻量化參數(shù)（QP,quantitative parameter）值對(duì)應(yīng)不同壓縮步長(zhǎng)，QP 值越小壓縮步長(zhǎng)越小，視頻碼率越接近原始視頻碼率，傳輸所需的帶寬越大。

2) 為探討帶寬限制下不同的壓縮處理對(duì)視頻語(yǔ)義理解準(zhǔn)確率的影響，本文利用具有代表性的Faster-RCNN（region convolutional neural network）算法[14]對(duì)不同壓縮程度的視頻進(jìn)行目標(biāo)檢測(cè)，目標(biāo)類(lèi)型主要包括行人、車(chē)輛和交通信號(hào)燈等。本文數(shù)據(jù)集來(lái)自交通場(chǎng)景目標(biāo)檢測(cè)應(yīng)用最廣泛和最新的Caltech 數(shù)據(jù)集[15]和Waymo 數(shù)據(jù)集[16]。所選的2 個(gè)數(shù)據(jù)集中，20%的視頻數(shù)據(jù)用于測(cè)試，80%的視頻數(shù)據(jù)用于訓(xùn)練。在不同QP 值的壓縮視頻下統(tǒng)計(jì)目標(biāo)檢測(cè)的準(zhǔn)確率，一些可視化的結(jié)果如圖2 所示。從圖2 可以看出，隨著QP 的增大，檢測(cè)準(zhǔn)確率有所下降。

3) 統(tǒng)計(jì)上述步驟中QP 值對(duì)應(yīng)的檢測(cè)準(zhǔn)確率的實(shí)驗(yàn)數(shù)據(jù)，并根據(jù)數(shù)據(jù)結(jié)果選擇適合的關(guān)系模型。指數(shù)關(guān)系模型為

其中，q表示視頻量化參數(shù)QP 值，P表示檢測(cè)精度，α為模型參數(shù)。利用回歸方法求解模型參數(shù)，并引入均方誤差（MSE,mean square error）作為損失函數(shù)。目標(biāo)檢測(cè)準(zhǔn)確率與QP 關(guān)系模型參數(shù)求解算法如算法1 所示。

算法1目標(biāo)檢測(cè)準(zhǔn)確率與QP 關(guān)系模型參數(shù)求解算法

基于Caltech 和Waymo 數(shù)據(jù)集的實(shí)驗(yàn)，目標(biāo)檢測(cè)準(zhǔn)確率與QP 關(guān)系模型如圖3 所示，可以看出，模型在不同類(lèi)別的檢測(cè)中均呈現(xiàn)較好的結(jié)果。根據(jù)算法1 得到的目標(biāo)檢測(cè)準(zhǔn)確率與QP 關(guān)系模型最優(yōu)參數(shù)如表1 所示。

表1 目標(biāo)檢測(cè)準(zhǔn)確率與QP 關(guān)系模型的最優(yōu)參數(shù)

圖3 目標(biāo)檢測(cè)準(zhǔn)確率與QP 關(guān)系模型

不同QP 值下視頻的碼率不同，而碼率的大小決定了傳輸過(guò)程中的帶寬資源配置，基于文獻(xiàn)[8]的實(shí)驗(yàn)結(jié)果，本文得到QP 值與視頻碼率的關(guān)系模型為

其中，Rm為第m輛車(chē)所采集視頻的碼率，β1,β2為模型參數(shù)。QP 值與視頻碼率的關(guān)系模型參數(shù)求解算法如算法2 所示。

算法2QP 值與視頻碼率的關(guān)系模型參數(shù)求解算法

4) 利用梯度下降法迭代求解直至收斂

采用H.265 視頻編碼壓縮標(biāo)準(zhǔn)，通過(guò)車(chē)輛端采集的視頻數(shù)據(jù)集，基于算法2 本文得到QP 值與視頻碼率關(guān)系模型的最優(yōu)參數(shù)結(jié)果如表2 所示。在H.265 標(biāo)準(zhǔn)下，視頻輸出碼率越大，則視頻QP 值越小，即視頻被壓縮的程度低，因此QP 值與視頻碼率呈負(fù)相關(guān)關(guān)系，則在模型中β2<0是恒成立的。

表2 QP 值與視頻碼率的關(guān)系模型的最優(yōu)參數(shù)

聯(lián)合式(4)和式(5)，可得到檢測(cè)準(zhǔn)確率與碼率的關(guān)系模型為

碼率的大小與傳輸過(guò)程中的帶寬資源有關(guān)，至此，本文得到了面向視頻語(yǔ)義理解準(zhǔn)確率（即目標(biāo)檢測(cè)任務(wù)中的檢測(cè)準(zhǔn)確率）的帶寬資源分配指導(dǎo)模型。

基于上述分析和研究可知，實(shí)際中針對(duì)視頻語(yǔ)義理解任務(wù)，資源分配優(yōu)化準(zhǔn)則為視頻語(yǔ)義理解準(zhǔn)確率最大化，即資源分配的最優(yōu)化目標(biāo)為使用最少的通信資源代價(jià)盡可能獲得最佳的視頻語(yǔ)義的理解結(jié)果。上述目標(biāo)檢測(cè)準(zhǔn)確率與碼率的關(guān)系模型給出了語(yǔ)義驅(qū)動(dòng)的資源分配算法的優(yōu)化方向。

3 車(chē)聯(lián)網(wǎng)場(chǎng)景下的資源分配優(yōu)化問(wèn)題

在車(chē)聯(lián)網(wǎng)場(chǎng)景下，由于無(wú)線視頻傳輸會(huì)消耗帶寬，而整體帶寬資源有限，因此設(shè)計(jì)一個(gè)高效的帶寬分配算法很重要，以在帶寬限制下，最大化正確理解的視頻語(yǔ)義。

其中，Bm是為每個(gè)車(chē)輛分配的帶寬，Sm、hm和分別表示發(fā)射功率、信道增益和噪聲功率。

為了簡(jiǎn)化分析，假設(shè)發(fā)送端可以獲取接近完美的信道狀態(tài)信息[10]。將信道增益hm建模為獨(dú)立隨機(jī)變量，既考慮了大尺度衰落效應(yīng)（包含路徑損耗hpl和陰影衰落hsd），也考慮了小尺度衰落效應(yīng)。由于信道的大尺度衰落通常是由車(chē)輛位置決定的，而車(chē)輛位置在一個(gè)很短的傳輸時(shí)隙中變化極小[9]，這里路徑損耗建模為hpl= 148.1+37.6lgdm，單位為dB。其中，dm為車(chē)輛m與邊緣服務(wù)器之間的距離。陰影模型設(shè)為標(biāo)準(zhǔn)差為8 dB、均值為0 的對(duì)數(shù)正態(tài)分布模型[9]。然而，小尺度衰落分量是時(shí)變的。本文把小尺度衰落系數(shù)表示為遵循單位方差、均值為0 的瑞利分布。考慮到車(chē)聯(lián)網(wǎng)中小尺度衰落的動(dòng)態(tài)特性，本文將時(shí)變?nèi)鹄禂?shù)建模為獨(dú)立的一階自回歸過(guò)程[10]，表示為

其中，te為信道保持穩(wěn)定狀態(tài)的時(shí)間間隔，eh為由分布推導(dǎo)出的處理噪聲，為信道自相關(guān)函數(shù)，J0(·)為第一類(lèi)零階貝塞爾函數(shù)，λc為中心載波波長(zhǎng)，v m為車(chē)輛m的行駛速度。

因此，本文提出的資源分配的目標(biāo)是在約束條件下最優(yōu)地分配每輛車(chē)的帶寬資源，從而最大化正確理解的視頻語(yǔ)義，則優(yōu)化問(wèn)題可以表示為

其中，M為車(chē)輛總數(shù)；N為目標(biāo)類(lèi)別總數(shù)；δn為不同檢測(cè)類(lèi)別的權(quán)重，不同類(lèi)別的檢測(cè)目標(biāo)（如人、車(chē)、交通燈）在語(yǔ)義分析任務(wù)中可能具有不同的重要性；Im,n為原視頻中待檢測(cè)的目標(biāo)數(shù)量（密度），I m,n Pn為正確檢測(cè)到的目標(biāo)數(shù)量，即可正確理解的視頻語(yǔ)義；Bm為車(chē)輛分配的帶寬；l為傳輸時(shí)隙序號(hào)。

優(yōu)化問(wèn)題P2 中各約束條件的實(shí)際意義如下。約束條件C1 表示視頻碼率不大于信道傳輸速率，這是基于信息傳輸理論的。約束條件C2 和C3 表示車(chē)聯(lián)網(wǎng)系統(tǒng)中帶寬資源的限制條件，所有車(chē)輛所分配的帶寬之和不大于總帶寬資源Bmax，同時(shí)分配給每輛車(chē)的帶寬資源不小于傳輸帶寬門(mén)限值Bmin，即帶寬分配的最小值。約束條件C4 表示目標(biāo)檢測(cè)精度的取值范圍，在實(shí)際中，檢測(cè)精度應(yīng)該大于任務(wù)需求的閾值Pmin。C5 表示車(chē)聯(lián)網(wǎng)中一段視頻的穩(wěn)定傳輸時(shí)間范圍。C6 表示整個(gè)視頻傳輸過(guò)程的時(shí)隙跨度，L表示最大的時(shí)隙數(shù)。

4 基于凸優(yōu)化的資源分配算法

首先，從優(yōu)化問(wèn)題P2 中可以看出，當(dāng)t∈ (Δt,T)時(shí)，CSI 隨時(shí)間變化，問(wèn)題P2 是非凸的。但是在時(shí)間間隔te內(nèi)，可以將信道狀態(tài)視為穩(wěn)定狀態(tài)，因此可以將原問(wèn)題分解為L(zhǎng)個(gè)子問(wèn)題，其中L=(T?Δt)te。根據(jù)第2 節(jié)中的分析，α1<0，α2>1且β2<0，又因?yàn)??P?q>0（?是求導(dǎo)運(yùn)算符），函數(shù)P(q(Rm))在定義域中單調(diào)增加，當(dāng)時(shí)取最大值。因此，在第一個(gè)傳輸時(shí)間間隔te中，資源分配問(wèn)題P2 可以轉(zhuǎn)換為

定理1結(jié)合式(4)～式(7)，根據(jù)復(fù)合函數(shù)的規(guī)則，問(wèn)題P3 是凸優(yōu)化問(wèn)題。

證明 對(duì)于第3 節(jié)中信道模型的定義，已知接近完美的CSI，并且式(8)中定義的小尺度衰落在持續(xù)時(shí)間te上是恒定的。在時(shí)間t∈(Δt,Δt+te)范圍內(nèi)，信道增益hm恒定且不隨時(shí)間變化。

2) 根據(jù)式(5)，q(?)是凸且遞減的，因此函數(shù)是凸且遞減的。

3) 根據(jù)式(4)，P(?)是一個(gè)凹且遞減的函數(shù)，因此復(fù)合函數(shù)是凹的。此外，根據(jù)模型參數(shù)求解算法的結(jié)果，即表1 和表2 的數(shù)值結(jié)果，α1<0，α2>1且β2<0，所以。

4) 由于δn和Im,n是已知常數(shù)，M和N是有限的正整數(shù)，根據(jù)復(fù)合函數(shù)的規(guī)則，P3 的目標(biāo)函數(shù)是凹函數(shù)和遞增函數(shù)的非負(fù)和。

因?yàn)镻3 中目標(biāo)函數(shù)是凹的，并且由P3 中所有約束（C1～C4）確定的可行集是凸的，所以P3 中的優(yōu)化問(wèn)題是凸的，證畢。

因此，優(yōu)化問(wèn)題可以用常規(guī)的凸優(yōu)化算法來(lái)解決，例如基于凸優(yōu)化工具箱（CVX,convex programming）[17]的凸優(yōu)化算法，具體算法過(guò)程如算法3所示，在基于凸優(yōu)化的資源分配算法中，分配的結(jié)果在每個(gè)傳輸時(shí)間間隔內(nèi)更新。

算法3基于凸優(yōu)化的資源分配算法

輸入系統(tǒng)參數(shù)

輸出最優(yōu)解B*，最優(yōu)解對(duì)應(yīng)的目標(biāo)函數(shù)值

1) 初始化變量B=(B1,B2,…,BM)

2) 確定優(yōu)化目標(biāo)函數(shù)及約束條件，構(gòu)建凸優(yōu)化問(wèn)題

3) 利用CVX 工具箱迭代求解優(yōu)化問(wèn)題

4) 輸出最優(yōu)解B*

5) 根據(jù)最優(yōu)解計(jì)算目標(biāo)函數(shù)的值并輸出

算法3 中利用CVX 工具箱求最優(yōu)解主要是基于內(nèi)點(diǎn)法[17]，屬于多項(xiàng)式時(shí)間算法，因此算法3 的計(jì)算時(shí)間復(fù)雜度為O(L2)，其中L表示輸入長(zhǎng)度。

5 基于強(qiáng)化學(xué)習(xí)的資源分配算法

根據(jù)前述分析，基于凸優(yōu)化的資源分配時(shí)間復(fù)雜度為O(L2)，屬于多項(xiàng)式計(jì)算時(shí)間復(fù)雜度，隨著輸入的增大，算法的計(jì)算量會(huì)快速增長(zhǎng)，因此對(duì)邊緣服務(wù)器的實(shí)時(shí)計(jì)算能力提出了極大挑戰(zhàn)。為降低資源分配的復(fù)雜度，本文考慮借鑒強(qiáng)化學(xué)習(xí)中的Q-learning 算法[18]，線下訓(xùn)練Q值表，決策時(shí)只需要進(jìn)行查詢(xún)Q值表即可，其訓(xùn)練復(fù)雜度為O(L2)，決策復(fù)雜度為O(1)，因此可極大地降低復(fù)雜度，提高資源分配的效率。

要采用強(qiáng)化Q 學(xué)習(xí)算法，通過(guò)訓(xùn)練模型學(xué)習(xí)到帶寬資源分配的最優(yōu)值，需首先設(shè)計(jì)強(qiáng)化Q 學(xué)習(xí)關(guān)鍵的3 個(gè)要素，具體如下。

1) 狀態(tài)空間，為M個(gè)車(chē)輛分配的帶寬S= {s|s= (B1,B2,…,Bm,…,BM),Bm∈(Bmin,Bmax)}。

2) 動(dòng)作空間，為M個(gè)車(chē)輛分配的帶寬變化。為簡(jiǎn)化模型中的Q值表，假設(shè)帶寬變化的最小步長(zhǎng)ΔB為總帶寬的1%。當(dāng)M=3 時(shí)，每個(gè)動(dòng)作對(duì)應(yīng)只有2 個(gè)車(chē)輛的帶寬對(duì)應(yīng)增減，因此整個(gè)動(dòng)作空間一共有6 種動(dòng)作組合的方式，可表示為

其中，(i,j)表示(Bi+ΔB,Bj?ΔB),i,j=1,2,3。

3) 環(huán)境反饋，為下一狀態(tài)和當(dāng)前狀態(tài)的F的差值ΔF=F'?F。由于訓(xùn)練目標(biāo)是F取得最優(yōu)值，因此希望F往不斷增大的方向優(yōu)化。當(dāng)F減小時(shí)，反饋函數(shù)為負(fù)值，獲得懲罰；當(dāng)F增大時(shí)，反饋函數(shù)為正值，獲得獎(jiǎng)勵(lì)；在選擇回合結(jié)束點(diǎn)時(shí)，需考慮本模型的特殊性，與強(qiáng)化Q 學(xué)習(xí)算法一般適用的場(chǎng)景不同，訓(xùn)練F取得最優(yōu)值并不像游戲問(wèn)題有明確的終點(diǎn)，相反地，F(xiàn)的最優(yōu)值是未知的，因此將邊界條件Bm

本文中強(qiáng)化Q 學(xué)習(xí)3 個(gè)要素之間的關(guān)系如圖4所示。首先，智能體（邊緣服務(wù)器）根據(jù)狀態(tài)空間中的當(dāng)前狀態(tài)s，在動(dòng)作空間中選擇相應(yīng)的動(dòng)作a；其次，智能體執(zhí)行動(dòng)作之后，觀測(cè)環(huán)境的變化；最后，智能體從環(huán)境中獲得反饋的獎(jiǎng)勵(lì)值ΔF，并進(jìn)入下一狀態(tài)s'，循環(huán)執(zhí)行上述操作。

圖4 強(qiáng)化Q 學(xué)習(xí)的要素關(guān)系

除此之外，強(qiáng)化Q 算法訓(xùn)練的效果和它的主要參數(shù)有較強(qiáng)的相關(guān)性，經(jīng)過(guò)多次嘗試實(shí)驗(yàn)，本文模型的主要參數(shù)設(shè)定如下：學(xué)習(xí)速率α=0.1，讓算法保留歷史訓(xùn)練結(jié)果的90%，更注重過(guò)往經(jīng)驗(yàn)；折扣因子γ=0.9，讓算法考慮下一步效益的90%，更重視長(zhǎng)遠(yuǎn)利益；ε? greedy 策略中的ε=0.8，讓算法有20%的嘗試空間，避免陷入局部最優(yōu)。具體步驟如算法4 所示。

算法4基于強(qiáng)化Q 學(xué)習(xí)的資源分配算法

輸入動(dòng)作空間，狀態(tài)空間，學(xué)習(xí)速率α，折扣因子，ε? greedy 策略參數(shù)ε，系統(tǒng)參數(shù)

輸出Q值表

1) 對(duì)于每回合循環(huán)

2) 設(shè)置初始狀態(tài)Bm

3) 對(duì)于每步循環(huán)

4) 基于貪婪策略的動(dòng)作選擇：生成隨機(jī)數(shù)，若大于ε，執(zhí)行步驟6)；若小于ε，根據(jù)Q值表選擇Q值最大的動(dòng)作a

5) 執(zhí)行a，觀測(cè)下一帶寬分配狀態(tài)s'和反饋的F值，計(jì)算得到變化量ΔF

6) 更新Q值表

7) 迭代s←s'

8) 返回步驟3)，直到Bm

6 仿真分析

6.1 仿真參數(shù)設(shè)置

為符合現(xiàn)實(shí)車(chē)聯(lián)網(wǎng)環(huán)境，本節(jié)基于SUMO 交通仿真器，MATLAB R2019a，Pycharm 2019.1.1 平臺(tái)完成了仿真系統(tǒng)的構(gòu)建。1) 構(gòu)建的車(chē)聯(lián)網(wǎng)仿真環(huán)境是基于SUMO（simulation of urban mobility）生成的城市十字路口場(chǎng)景，每條道路包括4 條寬3.5 m的雙向車(chē)道，車(chē)輛的初始相對(duì)位置隨機(jī)生成。2) 為符合車(chē)聯(lián)網(wǎng)中真實(shí)的信道條件，路損模型使用3GPP TR 36.885 標(biāo)準(zhǔn)中的Winner 模型[19]，如第3 節(jié)所述，同時(shí)考慮車(chē)聯(lián)網(wǎng)中由于車(chē)輛移動(dòng)和建筑等造成的小尺度衰落，采用如式(8)所示的時(shí)變小尺度衰落模型，具體的系統(tǒng)仿真參數(shù)設(shè)置均基于3GPP TR 36.885，仿真數(shù)值匯總于表3。3) 考慮到實(shí)際中車(chē)聯(lián)網(wǎng)的時(shí)變非穩(wěn)態(tài)特性，仿真中每次實(shí)驗(yàn)采用200 次獨(dú)立的蒙特卡羅仿真取平均值，以消除異常數(shù)據(jù)帶來(lái)的誤差。

表3 系統(tǒng)仿真參數(shù)設(shè)置

為符合實(shí)際中車(chē)輛和服務(wù)器的運(yùn)算能力，視頻處理和目標(biāo)檢測(cè)仿真實(shí)驗(yàn)設(shè)置如下。1) GPU 型號(hào)為T(mén)esla M40，視頻檢測(cè)器為Faster-RCNN，訓(xùn)練和測(cè)試環(huán)境為Windows 10+CUDA 8.0+Tensorflow 2.1。2) 視頻編譯碼器使用H.265，視頻幀率為30 幀/秒，幀組大小為4 幀（包括一個(gè)I 幀和3 個(gè)P 幀），每段傳輸視頻大小為300 幀。3) 測(cè)試視頻來(lái)自使用較廣泛的真實(shí)數(shù)據(jù)集Caltech 交通視頻數(shù)據(jù)集，表4 中具體展示了不同車(chē)輛采集到的視頻的具體信息，3 段視頻的分辨率相同，其中視頻1 中待檢測(cè)平均目標(biāo)密度最高，視頻2 中目標(biāo)密度中等，視頻3 中目標(biāo)密度最低。

表4 測(cè)試視頻信息

6.2 對(duì)比分析

6.2.1 資源分配算法對(duì)比分析

本節(jié)仿真驗(yàn)證了本文所提的基于強(qiáng)化Q 學(xué)習(xí)的資源分配算法的收斂性，并對(duì)比了凸優(yōu)化算法、強(qiáng)化Q 學(xué)習(xí)算法以及粒子群算法的性能差異。各算法介紹如下：1) 凸優(yōu)化算法如算法3 所示，利用CVX 工具箱求最優(yōu)資源分配的解；2) 強(qiáng)化Q 學(xué)習(xí)算法如算法4 所示，根據(jù)動(dòng)作選擇和環(huán)境反饋迭代學(xué)習(xí)來(lái)獲得最優(yōu)資源分配的解；3) 粒子群算法是一種應(yīng)用廣泛的啟發(fā)式算法[20]，將帶寬資源的分配初始化為M個(gè)隨機(jī)粒子（隨機(jī)解），然后通過(guò)在搜索空間中迭代獲取最優(yōu)解，在每一次的迭代中，粒子通過(guò)跟蹤最優(yōu)值來(lái)更新自己的速度和位置。

圖5 展示了強(qiáng)化Q 學(xué)習(xí)算法的獎(jiǎng)勵(lì)函數(shù)的收斂過(guò)程。大約在1 300 次迭代后，強(qiáng)化Q 學(xué)習(xí)算法的解趨于穩(wěn)定，這證明了本文所提的基于強(qiáng)化Q 學(xué)習(xí)資源分配算法的收斂性，在線下訓(xùn)練中能通過(guò)有限次迭代得到穩(wěn)定Q值表。

圖5 強(qiáng)化Q 學(xué)習(xí)的迭代收斂仿真

圖6 展示了不同資源分配算法的性能對(duì)比。隨著總帶寬的增加，最大平均正確檢測(cè)目標(biāo)數(shù)量增加并最后趨于穩(wěn)定，這是因?yàn)橘Y源飽和造成收益減小。另外，強(qiáng)化Q 學(xué)習(xí)算法的性能與凸優(yōu)化算法的性能幾乎一致，證明強(qiáng)化Q 學(xué)習(xí)在降低復(fù)雜度的同時(shí)可獲得較好性能。本文所提的算法均優(yōu)于粒子群算法，這是因?yàn)榱Ｗ尤核惴ㄔ谛诺啦环€(wěn)定的條件下容易陷入局部最優(yōu)解。

圖6 不同資源分配算法性能對(duì)比

6.2.2 資源分配方案對(duì)比分析

本節(jié)仿真對(duì)比了不同資源指導(dǎo)方案下的性能差異，對(duì)比方案如下：1) 本文所提的視頻語(yǔ)義驅(qū)動(dòng)的資源分配方案，通過(guò)所構(gòu)建語(yǔ)義驅(qū)動(dòng)的資源分配指導(dǎo)模型合理地分配通信資源，使邊緣服務(wù)器端最大程度地理解視頻語(yǔ)義；2) 文獻(xiàn)[8]中基于QoC 的資源分配方案，即邊緣服務(wù)器端平均目標(biāo)檢測(cè)精度驅(qū)動(dòng)的通信資源分配方案；3) 文獻(xiàn)[6]中基于QoE的資源分配方案，即傳輸視頻的用戶(hù)體驗(yàn)質(zhì)量驅(qū)動(dòng)的通信資源分配方案；4) 文獻(xiàn)[5]中基于QoS 的資源分配方案，即車(chē)輛到邊緣服務(wù)器的鏈路傳輸效率驅(qū)動(dòng)的通信資源分配方案。

圖7 展示了不同資源分配方案下隨著總帶寬的增加，每幀視頻最大正確檢測(cè)目標(biāo)的數(shù)量。這里使用檢測(cè)目標(biāo)的數(shù)量來(lái)表示視頻的語(yǔ)義，如優(yōu)化問(wèn)題P2 中所定義的。顯然，本文所提出的方案可以提高正確檢測(cè)目標(biāo)的數(shù)量。也就是說(shuō)，該方案保證了視頻傳輸結(jié)束后，能夠在邊緣服務(wù)器上正確檢測(cè)到更多的目標(biāo)，能更好地完成視頻語(yǔ)義理解任務(wù)。從圖7可知，基于QoS 的資源分配方案性能最差，這是因?yàn)榛赒oS 的方案不考慮視頻的語(yǔ)義信息，僅考慮網(wǎng)絡(luò)效率，因此會(huì)給冗余視頻（目標(biāo)數(shù)量極少的視頻）分配較多的帶寬，而本文所提方案考慮了視頻的語(yǔ)義信息，會(huì)傾向于給目標(biāo)數(shù)量更多的視頻分配更多的帶寬資源，具體給每輛車(chē)的帶寬分配結(jié)果如圖8 所示。結(jié)合圖7 和圖8 可知，有效的資源分配有助于在傳輸過(guò)程中保留更多的視頻語(yǔ)義信息，因此可以在邊緣服務(wù)器上更準(zhǔn)確地理解視頻語(yǔ)義。

圖7 不同資源分配方案的最大正確檢測(cè)目標(biāo)數(shù)量

圖8 不同方案的帶寬資源分配結(jié)果

圖9 和圖10 分別展示了不同方案下的正確檢測(cè)概率和錯(cuò)誤檢測(cè)概率的性能曲線，隨著帶寬資源的增加，所有方案的性能均有所提升，這是因?yàn)閹捹Y源的增加保證了視頻的傳輸質(zhì)量，所以邊緣服務(wù)器端能接收到更高質(zhì)量的視頻，從而帶來(lái)了目標(biāo)檢測(cè)任務(wù)的性能提升。可以看出，本文所提的方案的正確檢測(cè)概率和錯(cuò)誤檢測(cè)概率的性能均是最優(yōu)的，這是由于在優(yōu)化問(wèn)題的構(gòu)建中，本文考慮了將正確檢測(cè)概率作為目標(biāo)函數(shù)的乘積項(xiàng)，因此在資源分配的過(guò)程中會(huì)使資源分配向提升正確檢測(cè)概率性能的方向迭代。

圖9 不同資源分配方案的正確檢測(cè)概率

圖10 不同資源分配方案的錯(cuò)檢或漏檢概率

另外，目標(biāo)正確檢測(cè)率和錯(cuò)檢率的性能優(yōu)勢(shì)顯示語(yǔ)義驅(qū)動(dòng)的資源分配方案更適合于視頻語(yǔ)義理解任務(wù)，高正確檢測(cè)概率和低錯(cuò)誤檢測(cè)概率對(duì)輔助駕駛或自動(dòng)駕駛業(yè)務(wù)具有重要的意義，更準(zhǔn)確的檢測(cè)能優(yōu)化駕駛決策。

6.2.3 車(chē)聯(lián)網(wǎng)場(chǎng)景下影響參數(shù)分析

本節(jié)仿真分析了車(chē)聯(lián)網(wǎng)場(chǎng)景中常見(jiàn)的2 個(gè)指標(biāo)（接入車(chē)輛數(shù)目和車(chē)輛行駛速度）對(duì)資源分配方案的性能影響。

不同方案下，最大正確檢測(cè)目標(biāo)數(shù)隨著車(chē)輛數(shù)目的變化如圖11 所示。可以看出，隨著接入邊緣服務(wù)器車(chē)輛數(shù)目的增多，整體性能都呈下降趨勢(shì)，這是因?yàn)檐?chē)輛的增多造成了車(chē)輛對(duì)資源的競(jìng)爭(zhēng)更激烈，可分給每輛車(chē)的平均帶寬資源減少。但是，隨著車(chē)輛數(shù)目的增加，本文所提的視頻語(yǔ)義驅(qū)動(dòng)的資源分配方法仍然保持性能最優(yōu)，證明了本文方案在車(chē)輛數(shù)目較多場(chǎng)景下或者資源緊缺條件下的性能優(yōu)勢(shì)。

圖11 最大正確檢測(cè)目標(biāo)數(shù)隨著車(chē)輛數(shù)目變化

隨車(chē)輛速度變化不同方案的性能變化如圖12所示。實(shí)驗(yàn)設(shè)置總帶寬為1 MHz。隨著車(chē)輛行駛速度的增大，信號(hào)的傳輸過(guò)程產(chǎn)生多普勒頻移，造成干擾，導(dǎo)致傳輸速率下降。因此，隨著速度的增加，所有方案的性能均有所損失。從圖12 可以看出，本文方案在速度變化的條件下，依然保持最大的可正確檢測(cè)的目標(biāo)數(shù)量，這是因?yàn)榈? 節(jié)中考慮了信道條件隨速度的變化特性，本文所提資源分配方案能適應(yīng)車(chē)聯(lián)網(wǎng)中信道快速變快的特性。

圖12 隨車(chē)輛速度變化不同方案的性能變化

7 結(jié)束語(yǔ)

為實(shí)現(xiàn)車(chē)聯(lián)網(wǎng)環(huán)境下對(duì)視頻語(yǔ)義的高效傳輸和準(zhǔn)確理解，以滿足輔助駕駛等業(yè)務(wù)的需求，本文研究了視頻語(yǔ)義驅(qū)動(dòng)的資源分配問(wèn)題。本文提出了視頻語(yǔ)義驅(qū)動(dòng)的資源分配指導(dǎo)模型，以及在該模型指導(dǎo)下車(chē)聯(lián)網(wǎng)場(chǎng)景中的通信資源資源分配算法。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文所提算法的性能優(yōu)勢(shì)，本文所提的資源分配方案更適用于以視頻語(yǔ)義理解任務(wù)為主的智能環(huán)境。順應(yīng)通信技術(shù)與人工智能緊密結(jié)合的大趨勢(shì)，本文所提方案為以視頻語(yǔ)義理解為主要手段的智能駕駛時(shí)代存在的交通環(huán)境復(fù)雜、汽車(chē)通行效率低、道路安全問(wèn)題突出等難點(diǎn)問(wèn)題提供了一條新的解決途徑。