基于數據流和精確定位的多線程行人探測系統

朱　峰

(上海城市管理職業技術學院，上海 200433)

?

基于數據流和精確定位的多線程行人探測系統

朱峰

(上海城市管理職業技術學院，上海 200433)

摘要:行人防撞警告系統(Pedestrian Collision Warning System，PCWS)是車載主動安全系統的一項主要功能。目前通常的行人檢測算法在商用化過程中的主要制約是龐大的計算量導致的低處理幀率。研究了PCWS中的關鍵技術，綜合運用了基于VP評估的空間限制滑動窗口分布、基于數據流的多線程處理流程、基于CENTRIST特征的快速線性SVM分類器、基于直方圖交叉核SVM(HIKSVM)的非線性分類器等多種加速技術，達到了實時處理的要求。對于CENTRIST特征不能精確描述對象輪廓所造成的定位不準問題，通過基于高斯權重分布的極大化抑制以及基于外輪廓邊緣差異微調包圍框尺寸來精確重定位探測框，以滿足商用化對測距準確性的要求。

關鍵詞:行人檢測；多線程并行處理；消失點評估；直方圖交叉核SVM；CENTRIST；重定位

汽車主動安全技術是指為預防汽車發生事故，避免人員受到傷害而采取的安全設計。典型的系統包括前車防撞系統(FCWS)、車道偏離警告系統(LDWS)、盲點探測系統(BLIS)、行人防撞系統(PCWS)等。在現有的商用系統中，PCWS是計算量最大且探測難度最大的系統。當前產品級PCWS主要還是依賴于激光雷達及毫米波雷達探測、視覺識別僅起到輔助判定的作用。

行人探測算法近十年來，主要集中于開發更魯棒的行人特征描述子以及更高效的分類器。目前常用的特征描述子有haar特征[1]、邊緣模板特征[2]、梯度直方圖特征(HOG)[3]、邊緣子特征(Edgelet)[4]、SIFT特征[5]等。主要的分類器有兩類：一類是基于boosting的算法，包括adaboost[5]，real boost[5]，gentle boost[5]及其級聯形式[6]；另一類是基于SVM的算法，包括線性及非線性的SVM。非線性的SVM通常采用徑向基核(RBF kernel)來處理。對人體的建模方式主要分為基于人體部件(part based)建模、基于包圍框建模以及以上兩種模式的組合建模。

在實際應用中，為了獲取更高的檢測率，很多算法會采用多種特征描述子的組合應用或某種規則下的特征增強。如楊等人[7]基于SIFT特征的稀疏編碼構建代碼字典(CodeBook)，利用代碼字典及最大池技術生成直方圖特征。這種方式增強了SIFT特征的表達能力，即使利用簡單的線性SVM進行訓練也能達到基本的SIFT特征加非線性SVM的檢出率。王等人[8]使用了HOG和LBP的聯立特征，并且使用線性SVM同時訓練了全局和局部2種探測器，以應對一般和遮擋的情況。Dollár等人[9]利用直方圖技術，快速構建了基于haar小波濾波的6方向梯度直方圖、灰度及LUV顏色通道的局部和這些簡單特征組成的龐大的特征池，使用adaboost算法選擇弱特征，組成強分類器。Nam等人[10]以HOG特征為基礎，將HOG特征的三種組合(線性、三角、金字塔)作為特征描述子，稱為Mid-Level特征，并使用boost算法從特征池中篩選Mid-Level特征。其中金字塔型HOG特征由于內含了尺度的意義，具備一定的尺度不變性，在所選取的特征中占主導地位。

為了獲取更高的檢測率，多種訓練器以及多種建模方式的組合應用也是近年來研究的熱點之一。Shashua等人[11]根據環境光照、人體姿態等因素將訓練集分為9大類，每類分為13個部分，一共定義了117個涵蓋人體不同部分的弱分類器。采用SIFT特征以及嶺回歸算法進行訓練。最后使用Adaboost算法根據不同場景從這117個弱分類器中選擇合適的分類器組成強分類器。吳等人[12]采用了典型的2階段分類方案，首先使用基于積分圖加速的線性SVM對滑動窗口進行初篩選，再使用非線性SVM對篩選后的對象進行驗證。

行人識別算法商用化的瓶頸之一在于其龐大的計算量，這意味著需要大功耗的處理芯片。而大多數移動設備都有低功耗的要求，如手機平臺、車載平臺。在不增加功耗的前提下加快處理幀率主要有基于算法加速和基于硬件加速兩類方法?；谒惴ǖ募铀侔ㄍㄟ^評估三維空間的約束減少滑動窗口的數量[13]；通過離散級聯[6]或軟級聯[14]的方式加速adaboost的預測流程；通過基于直方圖交叉核(histogram intersection kernel， HIK)構建高維投影函數，使用多項式分段擬合HIK分類結果加速非線性SVM的預測流程[15]?；谟布募铀侔ㄏ到y層級的探測、跟蹤、綜合分析多模塊的多線程并行處理；基于GPU的對圖像金字塔運算、積分圖運算、滑動窗口特征提取、分類器代價函數運算等過程進行并行計算。

本文在系統架構上將每個探測對象作為一個基礎數據單元，采用基于數據流的多線程處理方式。模式識別采用二級分類方案：第一級分類器使用基于CENTRIST特征的快速線性SVM分類器，第二級使用HIKSVM[15]快速非線性SVM分類器再驗證。通過多幀探測路面直線段評估消失點，并基于消失點對圖像金字塔的每一層滑動窗口分布做空間約束，使得滑動窗口數量相對于全區域分布減少60%。綜合使用以上加速措施使系統在Intel i5處理器上的處理幀率達到20 f/s(幀/秒)，滿足了商用化的實時性要求。由于CENTRIST特征不能精確描述對象輪廓，在提高分類器泛化能力的同時也造成了定位不準問題，本文通過基于高斯權重分布的極大化抑制以及基于外輪廓邊緣差異微調包圍框尺寸來精確重定位探測框，以滿足商用化對測距準確性的要求。

1基于數據流動多線程并行處理

1.1多線程方案概述

本文采用多線程并行處理的方式滿足實時性要求。以數據流為核心，驅動各模塊線程并行工作。基本概念如圖1所示。系統存在3個數據源：幀數據源、預處理數據源、及識別對象數據源。共分為6個核心線程：輸入線程、預處理線程、模式分類線程、跟蹤線程、綜合分析線程及輸出描畫線程。這6個線程以數據源為驅動，并行執行，互不干擾。每個線程有3種操作：數據源查詢、邏輯處理及數據源更新。圖1中虛線表示各線程的數據源查詢操作，實線為數據源更新操作。預處理線程按固定頻率查詢幀數據源，一旦發現幀數據更新，則進行預處理操作，結果寫入預處理數據源。模式分類線程按固定頻率查詢預處理數據源，一旦發現預處理數據更新，則進行模式分類操作，將新探測的對象寫入對象數據源。跟蹤線程查詢幀數據源，一旦發現幀數據更新，則從對象數據源中獲取對象列表，進行批量跟蹤操作，結果寫入對象數據源。綜合分析線程查詢幀數據源，一旦發現幀數據更新，則從對象數據源中獲取對象列表，綜合分析每個對象多幀處理的模式分類數據及跟蹤數據，判定對象的有效性并重新修正對象位置信息。輸出線程查詢幀數據源，一旦發現幀數據更新，則從對象數據源中獲取對象列表，選擇有效對象進行描畫操作。

圖1　基于數據流的多線程方案

1.2多線程時序分析及綜合處理邏輯

各線程CPU占有率排列如下：預處理線程，包含9層金字塔水平濾波、垂直濾波、CT圖像計算、積分圖計算(≈50%)>識別線程，包含一級線性SVM分類器，二級非線性SVM分類器及候選對象特征提取(≈30%)>跟蹤線程(≈10%)>綜合線程(≈5%)>輸入線程(≈3%)>輸出線程(≈2%)。預處理線程和識別線程是正系統的瓶頸。圖2說明了6個線程的時序關系。

圖2　多線程運行時序

I1幀輸入預處理線程，至I3幀結束。預處理結果傳入識別線程，至I5幀結束。識別結果傳入跟蹤線程及綜合線程，至此整個系統不斷循環。綜合線程在I6，I7幀僅綜合了跟蹤線程的結果(圖2中用白箭頭表示)，在I5，I8幀綜合了跟蹤線程及識別線程的結果(圖2中用黑箭頭表示)。由于跟蹤線程和識別線程的異步性，I5，I8幀的識別線程分別綜合了I1，I4幀的跟蹤結果(圖2中虛線箭頭表示)。

(1)

系統維持2個對象列表：DetList和TrackList。前者由識別線程更新，后者由跟蹤線程及綜合線程更新。則綜合分析決策樹如圖3所示。

圖3　綜合分析決策樹

DetList中沒有被TrackList匹配的對象作為新對象加入TrackList，對象狀態設為S_V，并執行fRTP(Oi)初始化跟蹤參數。

2基于3D空間約束的滑動窗口分布

2.1快速消失點評估

選定路面距離車前10～50 m之間的一段距離作為消失點評估的ROI區域。消失點的評估分為探測和跟蹤兩部分。

消失點探測算法流程。為了減輕路面反光/光照不足造成的影響，首先對ROI做預處理：直方圖均衡化、高斯平滑、及使用雙邊濾波(bilateral filter)保留主要邊緣。然后進行Canny濾波，對邊緣點使用八鄰域算法聚類。對于每個聚類x={(x1,y1),…,(xk,yk)}，計算協方差矩陣，然后求特征值及特征向量，選取最大的特征值所對應的特征向量em(em,1,em,2)。則該聚類所對應的直線段為Li(θi,ρi),其中

(2)

根據(θi,ρi)求Li的兩個端點，最后根據RANSAC算法評估消失點。

(3)

其中：wk-1為過程噪聲，是采用固定值的正太分布噪聲。

(4)

(5)

(6)

(7)

(8)

Pi=(I2-KiHi)Pi

(9)

圖4顯示了實測環境下的消失點評估結果。細線段為Li，圓圈為評估的消失點。從評估結果可以看出，雖然每幀Li的準確性并不高，有很多是錯誤的方向，但通過多幀跟蹤綜合后的消失點準確性很高。

圖4　消失點評估結果

2.2金字塔層滑動窗口分布

在世界坐標系中等分探測距離，然后將等分線投影至原始圖像的像素坐標系。在原始圖像中根據等分線劃分不同層的探測ROI，并將該ROI投影至各個金字塔層圖像。通過這種方式實現在不影響探測率的前提下大量減少滑動窗口數量。相對于各層全區域分配滑動窗口，該方法減少60%的滑動窗口。金字塔各層ROI投影算法如下：

1)首先在車輛前10m至50m距離內設置行人探測區域，根據金字塔層數設置等分線Rxy={y1,…,yk}，如圖5a所示。

2)通過相機外參，即相機高度H、俯仰角θ從世界坐標系O(x,y,0)投影至圖像平面坐標O(u,v)，Ruv={v1,…,vk}

(10)

俯仰角θ利用評估的消失點在像素坐標系的j軸坐標VPj獲取

(11)

3)通過相機內參，即相機焦距fi、fj，光心坐標ci、cj從圖像平面坐標O(u,v)投影至像素平面坐標O(i,j)，Rij={j1,…,jk}，如圖5b所示

(12)

4)根據Rij求各金字塔層在原圖上的投影區間Yl，如圖5b中矩形陰影區間所示

Yl=[jl-d,jl+d],

(13)

圖5　金字塔層ROI評估

3二階段加速分類算法

3.1CENTRIST特征提取

吳等人[17]認為對象的邊緣輪廓信息是準確編碼的關鍵，其強化了該信息用于行人識別，即CENTRIST特征。CENTRIST特征是局部編碼特征。首先使用soble濾波平滑圖像，強化邊緣信息，去除紋理中的噪聲。然后在濾波圖像上進行Census變換，獲取CT圖像，該編碼過程類似于LBP8,1[18]。最后構建CENTRIST描述器，構建過程類似于HOG[3]。如對于108×36的訓練圖像，生成9×4個單元(cell)，以2×2鄰接單元構成8×3個塊(block)，由于每個塊中的CT特征維數為256維，因此，總維數為24×256=6 144維。CENTRIST特征不需要規范化操作，這在很大程度上節約了計算時間。但是該特征也存在如下局限性：不具備旋轉不變性及縮放不變性，不能精確表達形狀。在實際使用中，不具備旋轉不變性對于行人識別沒有影響，不具備縮放不變行決定了識別架構只能基于圖像金字塔模式，不能精確表達形狀意味著分類后的最大化抑制及對象精確定位需要使用其他方法做進一步處理。

3.2與CENTRIST特征結合的快速線性SVM粗篩選

由于CENTRIST特征不需要規范化特征向量，因此可以將圖像提取過程中各個圖像分塊特征與線性SVM完美地銜接在一起，計算的量階可以簡化為一個塊的大小，極大地提高了計算的實時性[12]。其加速原理如下：設w∈R6 144為線性分類器訓練模型、CT(i,j)為(i,j)位置的Census值、f為特征描述子，特征描述子中塊(block)、單元(cell)的尺寸分別為Bu，Bv，Cu，Cv，(u0,v0)為滑動窗口左上角起始點，則線性SVM的代價函數為

(14)

調換累加項順序轉換為

(15)

設A(x,y)為與原圖像大小相等的輔助圖像，且

(16)

將式(16)帶入式(15)，則

(17)

若輔助圖像A(x,y)預先算出，則分類時式(17)已經將量階可以簡化為一個塊的大小。而A(x,y)的計算可以通過積分圖的方式加速進行。

3.3基于HIKSVM的驗證

通常的基于RBF核的SVM由于計算量龐大，是系統商用化的瓶頸之一。Maji等人[15]基于直方圖交叉核SVM進行加速。設非線性SVM訓練完成后有m個支持矢量{xl},l∈[1,m]，每個支持矢量的權重和標號為{yl}、{al}。則代價函數為

(18)

(19)

交換累加和位置，則計算由支持向量長度為單位變為以特征維度長度為單位

(20)

(21)

算法的核心就是將hi(s)的計算復雜度降低。將第i維的m個支持矢量的所有數據{xl,i}從小至大排序，并將hi(s)函數分成b段，每段用k階多項式擬合。這樣整個算量由O(mn)降為O(2(k+1)m)。比基于RBF核的非線性SVM快了約6～7倍。另外，非線性SVM訓練時，支持矢量的數量n通常會隨著訓練樣本的增多而增多，也就是訓練數據越龐大計算量就越大。而采用分段擬合后，計算量與支持矢量數量無關，不存在以上的問題。

4重定位識別對象位置

如3.1所述，CENTRIST特征不能精確度表達形狀。優點是可以在一定程度上提高分類器的泛化能力，但是也帶來了對識別對象定位位置不精確的局限性。定位不準會影響到測距精度。本文通過2種附加處理提高定位精度：基于高斯分布權重的極大化抑制、檢查識別對象外輪廓附近的像素差異，對包圍框尺寸進行微調。

4.1基于高斯權重分布的極大化抑制

設識別對象的表達方式為χ={xi},i∈[1,m]為本幀探測到的對象。每個對象xi由滑動窗口尺寸(sxi,syi,swi,shi)及代價函數計算值si表示。首先將所有的對象的滑動窗口從每金字塔層的ROI轉換至原始圖像窗口，然后以高斯函數為權重基礎，構建權重圖Gw

(22)

(23)

(24)

4.2基于外輪廓邊緣差異微調包圍框尺寸

重定位原理是以對象外輪廓為基礎，利用輪廓內外的局部灰度差異進行輪廓邊界的調整。由于行人輪廓較復雜且不規整，在著裝與周圍環境灰度差較大時能獲取比較好的調整效果。當多人靠近時，由于著裝的相似性，輪廓內外的局部灰度差在某些時候并不明顯，經常會導致調整失敗。目前還沒有特別有效的算法能處理以上情況。本文的算法既能滿足在行人著裝與外部環境灰度差較大時的調整效果，且在灰度差不明顯時，即使無法調整也能避免出現誤調。設滑動窗口為(sx,sy,sw,sh)，調整是左邊界、右邊界及下邊界采用相同的算法獨立調整。以調整左邊界為例闡述算法流程：

1)設置左邊界的調整ROI

(25)

2)將ROI分成尺寸為dw×dh/6的6個塊b(k)。每個塊中包含dw/2×dh/12個2×2單元c(i,j,k)，即第k塊i行j列的單元。

3)假設對于左邊界，設定邊界左側為正側，右側為負側，則對于每個單元c(i,j,k)，分別求正負側對應值：Cpos(i,j,k)，Cneg(i,j,k)，其中bpos(k)為b(k)在正側第一列的均值，bneg(k)為b(k)在負側最后一列的均值

(26)

4)所有的b(k)具有相應的列數，設第l列為分類邊界，則該邊界的代價函數為

(27)

選擇max{f(l)}所在的l為微調后的邊界，轉換至原始圖像坐標為l′=dx+2l。

5實驗結果與分析

系統實時性分析。系統在Intel(R) Core(TM) i5-2 410 M 2.3 GHz CPU上測試，平均處理速率15 f/s(幀/秒)，滿足商用的實時性要求。系統與其他經典算法在同一平臺下的運行速度對如表1所示。系統采用的核心分類算法與C4[12]算法接近，由于采用了基于數據流動多線程并行執行方式，總體的執行速度比C4快了約40%。圖6分析了各主要線程的并行運行時間。系統執行時間由各線程的最大運行時間(預處理模塊40 ms)和緩存交互延遲時間(10 ms)構成。由于采用基于數據流的并行處理方式，所有數據最少需要增加1倍緩存，因此緩存交互延遲時間較長。

表1算法運行速度份對比

算法執行速度/(f·s-1)LatSVM-V10.3HOG+SVM(RBF)0.8HIKSVM5C410OURS15

圖6　并行處理時間分析

系統識別性能分析。 初始訓練數據來自于INRIA數據庫[3]，后繼多輪驗證樣本以及多輪訓練添加的假正樣本、漏失別樣本來自于ETH數據庫[19]和自行路測數據。路測數據基于行車記錄儀或手機搭載于車載支架上采集。系統的識別性能如圖7所示，采用MR(missrate)/FPPI(falsepositiveperimage)表示。從圖中可以看出，系統在INRIA，ETH這兩個標準數據庫中的識別性能良好，在INRIA數據庫上(FPPI=10-1,MR=38%)，綜合性能優于原始的HIKSVM分類器(FPPI=10-1,MR=43%) 及LatSVM-V1分類器(FPPI=10-1,MR=44%)[12]。實際路測識別性能要比標準數據庫有較大差距 (FPPI=10-1,MR=54%)。主要因素有兩個：首先在車載環境下，道路兩旁路易存在一些類似于人體主要輪廓特征的對象，如樹木、標識牌、路牌、垃圾桶、商店櫥窗、路邊車輛的一部分等。其次，車載環境下探測到的行人主要存在于市區枝干道路上以及主干道路的行人過馬路場景。而對于過馬路的行人，一般其離車輛很近，存在部分遮擋且大多處于快速運動狀態，橫向步幅跨度較大，這種案例的行人識別很困難，漏識別較多。

圖7　行人探測在INRIA數據庫、ETH數據庫及自行拍攝路測數據的結果

圖8列舉了一些典型的識別結果。所有識別結果都根據3.2節的算法對外輪廓進行了重定位，所以包圍框寬高比不一致，更加貼近人體輪廓。圖8a、8b是典型的城市交通路況，對于行人推著車，或者同時背著包拎著包的情況未能識別。圖8c中過近的行人無法識別。圖8d和8e是ETH數據庫中的場景，其中圖8d中的廣告牌被誤識別。圖8f是典型的將車輛的一部分誤識別為行人的場景。這種誤識別在路測中很常見，而且主要集中在反光面很強的黑色SUV輪胎附近，即使加入類似的負樣本也無法消除該類型誤識別。因為識別出的包圍框中的圖像隱約具備行人的主要特征，輪胎部分恰好模擬了兩腿分開的情況，而垂直的車輛尾部側輪廓模擬了行人的側輪廓特征。在某種視角和光照條件下就形成誤識別。類似的情形也發生在路面綠化帶上。樹木的造型類似于人體的腰部特征且造型多變。在某種視角和形狀下容易造成誤識別。這種類型的誤識別無法加入負樣本改良訓練結果，加入只會導致訓練器的泛化能力減弱。

圖8　行人探測部分結果(圖中所有結果都經過3.2節重定位算法的修正，所以包圍框寬高比不一致)

系統魯棒性分析。系統采用單幀分類識別+多幀綜合分析的算法架構。單幀分類識別會產生較高的誤檢，而跟蹤本身也會產生不可預知的偏離。因此在綜合分析模塊采取了如下的應對策略：

1)基于權重的多幀綜合。每幀的探測會產生探測置信度，跟蹤會產生跟蹤置信度。從第一次探測到對象開始至對象確認完成，共設置了8幀的幀間隔。期間約有2～3次探測置信度，5～6次跟蹤置信度，這些置信度配以權重線性合成最終置信度，并設定閾值進行最終判別。置信度合成公式如下

(28)

其中：wi=0.5+0.5i/(n-1)，離當前幀越近，則置信度越重要；Conftrack,i為第i次的跟蹤置信度，Confdetect,i為第i次的探測置信度。

2)若對象已經經過多幀確認，則以跟蹤為主，但是會在固定幀數(8幀)后再次進行探測，以便確認是否產生跟蹤漂移。

通過以上兩種綜合分析策略，系統確保其在正常條件下能準確穩定地識別和跟蹤行人，維持較高的魯棒性。

6小結

本文主要運用了基于數據流的多線程并行處理方式加速算法，同時輔助于空間限制的滑動窗口分布、快速線性SVM分類器，HIKSVM分類器等多種加速技術，達到了實時處理的要求。并采用重定位技術解決了CENTRIST特征不能精確描述對象輪廓所造成的定位不準問題。綜合實測結果，認為在車載條件下的行人識別難度比流行的數據庫，如INRIA、ETH等更具有挑戰性。要想進一步提高系統的識別精確性，可能需要綜合運用其他多種措施：如基于光流的運動評估驗證；基于步態周期性檢查的驗證等算法?？紤]到光流計算需要消耗較大的計算量，基于步態周期性的驗證技術是今后主要的研究方向。

參考文獻：

[1]OREN M， PAPAGEORGIOU C， SINHA P， et al. Pedestrian detection using wavelet templates[C]//Proc. the 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Puerto Rico：[s.n.]，1997：193-199.

[2]PHILOMIN V， GAVRILA D. Real-time object detection for “smart vehicles”[C]// IEEE International Conference on Computer Vision.[S.l.]：IEEE， 1999：87-93.

[3]DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE，2005：886-893.

[4]WU B， NEVATIA R. Detection of multiple， partially occluded humans in a single image by Bayesian combination of edgelet part detectors[C]// International Conference on Computer Vision. [S.l.]：IEEE，2005：90-97.

[5]LOWE D. Distinctive image features from scale-invariant keypoints [J]. International journal of computer vision (IJCV)，2004，60(2)：91-110.

[6]VIOLA P，JONES M. Robust real-time object detection[C]// IEEE ICCV Workshop on Statistical and Computational Theories of Vision. [S.l.]：IEEE，2001:1-25.

[7]YANG J， YU K， GONG Y， et al. Linear spatial pyramid matching using sparse coding for image classification[C]//IEEE Conference on Computer Vision and Pattern Recognition .[S.l.]：IEEE， 2009:1794-1801.

[8]WANG X Y，HAN T X，YAN S. An HOG-LBP Human Detector with Partial Occlusion Handling[C]//IEEE International Conference on Computer Vision (ICCV)， 2009:32-39.

[9]Dollár P， Tu Z， Perona P and Belongie S. Integral Channel Features[C]// British Machine Vision Conference (BMVC) .[S.l.]：IEEE， 2009:1-11.

[10]NAMW，HANB，HANJH.Improvingobjectlocalizationusingmacro-featurelayoutselection[C]∥Proc.IEEEInternationalConferenceonComputerVisionWorkshops.[S.l.]：IEEE，2011：1801-1808.

[11]SHASHUAA，GDALYAHUY，HAYONG.Pedestriandetectionfordrivingassistancesystems：single-frameclassificationandsystemlevelperformance[C]//IEEEIntelligentVehicleSymposium(IVS) .[S.l.]：IEEE，2004:1-6.

[12]WUJX，LIUN，GEYERC，etal.C4：Areal-timeobjectdetectionframework[J].IEEEtrans.imageprocessing，2013， 22(10)：4096-4107.

[13]BENENSONR，MATHIASM，TIMOFTER，etal.Gool；Faststixelsestimationforfastpedestriandetection[C]//EuropeanConferenceonComputerVision. [S.l.]：IEEE，2012:2-4.

[14]ZHANGC，VIOLAP.Multiple-instancepruningforlearningefficientcascadedetectors[C]//Proc.ConferenceonNeuralInformationProcessingSystems(NIPS) .[S.l.]：IEEE，2007:1681-1688.

[15]MAJIS，BERGA，MALIKJ.EfficientclassificationforadditivekernelSVMs，patternanalysisandmachineintelligence[J].IEEEtrans.patternanalysisandmachineintelligence(PAMI) ， 2012(1)：66-67.

[16]SEOYW，RAJKUMARR.Detectionandtrackingofthevanishingpointonahorizonforautomotiveapplications[C]//Proceedingsofthe6thIEEEIROSWorkshoponPlanning，PerceptionandNavigationforIntelligentVehicles(PPNIV) .[S.l.]：IEEE，2014:1-41.

[17]WUJX，REHGJM.CENTRIST：AvisualdescriptorforscenecategorizationCENTRIST[C]//IEEETrans.PatternAnalysisandMachineIntelligence，2011：1489-1501.

[19]ESS A， LEIBE B，GOOL L V. Depth and appearance for mobile scene analysis[C]//Proceedings of ICCV.[S.l.]：IEEE，2007：1-8.

責任編輯：閆雯雯

宏觀政策

互聯網電視接收設備技術規范制定工作啟動

4月14日，強制性國家標準《互聯網電視接收設備技術規范》制定工作啟動會在北京召開。會上，工信部聯合國家標準委、國家質檢總局、國家新聞出版廣電總局、國家工商總局等相關部門以及產業界各單位成立了互聯網電視接收設備標準工作組，共同推進完成標準制定。

據了解，《互聯網電視接收設備技術規范》將規定互聯網電視接收設備的技術要求和測試方法，適用于能夠通過互聯網接收廣播電視等視聽節目的互聯網電視接收設備的開發、測試和生產，也適用于其他具備互聯網電視接收設備功能的音視頻產品，包括但不限于機頂盒、電視機、投影機、顯示器等產品形態。目前，該規范已經形成標準草案，爭取在2016年年中完成標準審定。

國辦：2020年基本實現數字廣播

電視戶戶通

國務院辦公廳日前印發《關于加快推進廣播電視村村通向戶戶通升級工作的通知》(以下簡稱《通知》)，對在廣播電視村村通基礎上加快推進廣播電視戶戶通作出全面部署，明確到2020年基本實現數字廣播電視戶戶通，形成覆蓋城鄉、便捷高效、功能完備、服務到戶的新型廣播電視覆蓋服務體系。

《通知》指出，廣播電視村村通工程實施以來，有效擴大了農村廣播電視覆蓋面，解決了廣大農村群眾聽廣播難、看電視難的問題。隨著經濟社會發展和科學技術水平的提高，迫切需要在廣播電視村村通基礎上進一步提升水平、提質增效，實現由粗放式覆蓋向精細化入戶服務升級，由模擬信號覆蓋向數字化清晰接收升級，由傳統視聽服務向多層次多方式多業態服務升級，為滿足人民群眾廣播電視基本公共服務需求提供充分保障，為滿足個性化多樣性文化服務需求創造良好環境。

《專網及定向傳播視聽節目服務管理規定》發布

2016年5月4日，國家新聞出版廣電總局日前發布了《專網及定向傳播視聽節目服務管理規定》(6號令)，將于2016年6月1日起施行。同時，2004年7月6日發布的《互聯網等信息網絡傳播視聽節目管理辦法》(39號令)廢止。

6號令主要是針對IPTV、專網手機電視以及互聯網電視的監管，而通過PC、手機、Pad等終端接收視頻網站通過互聯網及移動互聯網提供的流媒體視聽服務仍然通過《互聯網視聽節目服務管理規定》(56號令)進行監管。6號令的出臺，完善了“新媒體”的監管體系，將對我國視聽媒體產業的發展走向產生重大而深遠的影響。

廣電總局再發文規范電視劇廣告

國家新聞出版廣電總局辦公廳日前下發的《關于進一步規范電視劇相關廣告播出管理的通知》(以下簡稱《通知》)，對電視劇及相關廣告播出不規范的行為進行再次的管理和規范，尤其對劇中、片頭尾不得插廣告又有新規定。

《通知》指出，播前審查，重播重審；明確標明發證機關、發證許可號、電視劇制作許可證號展示不得少于3 s；不得以“完整版”、“非刪減版”、“被刪片段”等進行炒作；電視劇中間不得插入任何廣告或者相關欄目，也不得出現任何節目、欄目的預告，不得擅自改變劇集長度，片頭片尾不得以任何形式插入廣告。

行業聚焦

廣電寬帶用戶突破兩千萬

4月28日，中國廣播電視網絡有限公司(簡稱國網)公布了2016年第一季度中國有線電視行業發展公告。2016年第一季度，廣電寬帶用戶規模達到2 011萬戶，占有線電視用戶的比重進一步提升至8%。

據格蘭研究調查顯示，我國寬帶市場上，有線寬帶的用戶占比從2014年的5.37%上升到2015年的7.95%；電信寬帶的用戶占比從2014年的94.63%下降到2015年的92.05%。 有線寬帶用戶數從2014年的1 138.8萬上升到2015年的1 838.9萬，用戶增量達到700.1萬；電信寬帶用戶數從2014年的20 048.3萬上升到2015年的21 300萬，用戶增量為1 267.1萬。

全球付費電視發展情況發布

據Digital TVResearch《數字電視收入預測報告》預計，2015—2021年全球主要市場的付費電視收入(包括訂閱費和按此付費的影視劇)將增長9 900萬美元。

除北美之外，2015—2021年全球付費電視收入將攀升136億美元(14%)增至1 078.2億美元，最高增長紀錄是增長200億美元(28%)。2015—2021年北美市場份額將從57.4%下降到54.2%，預計到2021年將繼續下降到47.6%。同期，亞太收入將增長80億美元，增幅25%。2014年亞太地區已經超過西歐，預計到2019年將超過整個歐洲。

愛奇藝啟動VR生態激勵計劃

將與國網合作

5月5日，愛奇藝正式發布iVR+虛擬現實產品套件，啟動VR生態激勵計劃，率先在10個高熱IP上全面實現VR化，開放了100個頂級IP進行游戲合作開發，聯合300家合作伙伴打造VR真生態。其中，iVR+虛擬現實產品套件提供專為VR一體機量身定制的全景影院APP、全景游戲中心APP、愛奇藝APP的VR雙屏模式和全景專區，實現了對于國內VR手機架、一體機及PC頭顯等所有VR設備的全面支持。

同時，愛奇藝還宣布與《財經》雜志、《悅游》、大麥網、高爾夫賽事PGA TOUR美巡賽、全景圖片平臺720YUN等達成戰略合作，并與中國廣播電視網絡有限公司聯合打造全國有線網絡VR平臺和VR頻道，建立VR內容傳輸網絡。

天威視訊攜手佳創視訊擬開通虛擬

現實頻道

佳創視訊公告稱，與天威視訊簽署了“虛擬現實產業化運營合作協議”，將依托廣播電視網絡優勢，率先培育、構建虛擬現實產業的大生態鏈。 公告稱，公司與天威視訊將整合各自優勢資源，利用已實現深圳地區基本全覆蓋的數字電視網絡，共同開展“虛擬現實+廣播電視”產業化運營合作，在國家和地方政策允許的前提下積極推動開通虛擬現實頻道，以實現高清VR視頻、全景視頻、裸眼3D等新媒體形式的虛擬現實內容播出，為廣大數字電視用戶提供全新的虛擬現實體驗。

森海塞爾助力Gopro虛擬現實開發

森海塞爾宣布加入GoPro新的開發計劃，將提供開發包幫助開發者將GoPro 與森海塞爾的設備配合使用，還提供一項綜合解決方案。

全新的森海威爾VR傳聲器AMBEO，有一個特殊的擋風玻璃，可實現防水、防雪、防冰、防風。 用戶傳聲器得到的是立體混響A格式，使用森海塞爾提供的軟件，可以將A格式的文件轉換為可以在任何播放器使用的B格式。虛擬現實的音頻文本是以B格式編輯出來的。這些新的工作流允許使用點聲源，也就是說使用森海塞爾無線視頻傳聲器，可以混合各種聲源，按照客戶具體要求設計出任何空間聲音效果。

廠商動態

新奧特攜手三亞廣播電視臺打造

全媒體新聞演播室

近日，主打節目《今日三亞》、《第一民生》的樣片在三亞電視臺與新奧特聯手共同打造的全新120 m2全媒體新聞演播室內完成錄制，這是三亞臺在節目錄制上的一次創新與改革。

據悉，該全媒體新聞演播室集高清、大屏、連屏、點評、虛擬、全媒體互動形式，坐播、站播等多種播報形式于一身，能夠實現點評操作、三連屏置景，并且能夠將全媒體演播室與虛擬演播室相結合。這次全新的創新與嘗試，不僅在內容上融入了鮮亮的設計理念，增加了節目的觀賞性，而且在畫面上通過虛擬立體化的表現形式，提高了觀眾節目內容上的理解力，使電視節目傳播功能得到進一步升級和拓展。

2016中科大洋媒體融合技術研討會

閃耀開啟

中科大洋作為以技術變革和業務創新為企業靈魂的公司，在行業轉折的關鍵時期，從2016年5月開始,在全國各地舉辦以“融合媒體 智慧運營”為主題的技術研討會，將大洋在媒體融合方面的經驗與技術成果進行分享。會議期間,各地方媒體將交流在融合新聞、智慧城市民生服務平臺、生活資訊電視互動客戶端等媒體融合方面的成功經驗，也將從地方媒體在融合進程中遇到的問題出發，圍繞如何在“兩微一端”的基礎上擴展新媒體運營模式、如何針對傳統媒體重組建設中央廚房、如何提升電視媒體內容生產力、如何幫地方媒體解決目前面臨的高清改造等問題展開深入探討。

數碼視訊：中標中移動互聯網電視

機頂盒集中采購項目

近日，在2016年中國移動互聯網電視機頂盒集中采購項目招標活動中，北京數碼視訊科技股份有限公司憑借著雄厚的實力、優質的產品及專業的服務，最終成功從二十余家投標廠商中脫穎而出，成為中標廠商。

數碼視訊本次中標的星空智能4K互聯網電視機頂盒屬于新一代智能終端產品，擁有更強大的硬件配置，搭配高端主流芯片方案，提供各類豐富視頻接口，同時支持1 080p/2K/4K高清解碼，支持杜比解碼。精巧、圓潤的外觀設計更具時尚元素，其優異的性能指標、領先的技術以及豐富的產品功能為家庭用戶帶來了極具視聽動感的完美操作體驗，進而可以更好地促進中國移動發展互聯網電視業務的發展。

東方盛行：2016年高清制作播出及

全媒體融合技術交流會隆重召開

4月26日，成都東方盛行電子有限責任公司2016年高清制作播出及全媒體融合技術交流會在昆明鼎易大酒店隆重召開。本次交流會重點介紹了極速融通全媒體協同工作平臺、高清制作網建設方案以及高標清播出系統建設方案，并分享了對于全媒體實踐、演播室舞美制景、申請制播能力建設基金等經驗。會議云集了百余位電視臺專業人士及業內同仁一道探討全媒體背景下的電視臺高清制作、播出等多方面熱點話題。

會議由東方盛行云南市場區域情況介紹拉開帷幕，首先對區域情況進行分析，闡釋了公司根據地區特點而進行的針對性部署，并對技術、市場和公司管理等方面做出詳解。隨后，公司重點推出極速融通全媒體協同工作平臺，從系統特色、總體架構、業務系統、全媒體實踐四大方面提出“以互聯網思維為導向；保證安全的前提下，以‘鏈接’方式實現節目在電視臺生產系統之間，及其與外網和互聯網之間的互聯互通；減少節目實體文件在不同系統的流轉次數和時間”的整體設計思路。關于目前備受矚目的全媒體應用，東方盛行在線索、選題、節目交換、個人網盤、現場新聞5方面做出重大突破，有助于電視臺用戶更便捷地開發全媒體業務。

R&S：精彩亮相 EDI CON 2016

4月19日，EDI CON 2016與中國電磁兼容大會/展覽和中國雷達行業協會會議聯合舉行。羅德與施瓦茨(R&S)公司連續四年以鉆石身份登場，展會第一天R&S推出兩款最新的產品。一款新產品是為認證測試提供快速可靠測試方案的新款EMI測試接收機R&S ESW；另一款是在高達40 GHz頻率范圍內提供2 GHz內部調制帶寬的矢量信號發生器R&S SMW200A。與會三十余家媒體共同見證了羅德與施瓦茨這一里程碑性質的歷史時刻。 在EDI CON 2016連續3天的技術報告會上，羅德與施瓦茨公司來自德國本部和中國本土的共12名技術專家18場技術報告，涉及電磁兼容、5G、雷達、汽車、IOT等領域，得到了參會嘉賓和領導的積極響應與熱烈討論。

NAGRA：持續為廣電安全保駕護航

數字電視業務和世界領先的內容保護系統及多屏電視解決方案提供商NAGRA在CCBN2016期間展出多個產品，包括OpenTV5中間件以及anCAST系列產品。在內容保護越來越受重視的大環境下，NAGRA也在不斷改進其產品，升級其性能，除了致力于保護DVB系統之外，也提供了DVB+OTT系統和互聯網視頻提供商的解決方案。

隨著國家對內容管控的加強和人們對版權意識的加深，內容安全已經延伸到電視屏以外的其他的小屏。NAGRA多年深耕于CA系統，是內容安全方面的專家，從有卡CA、無卡CA、DRM系統等具體產品，到現在的整體解決方案，一直在不斷升級。據介紹，在OTT環境下，NAGRA更多地向互聯網化發展，采用敏捷的開發方式，縮短了產品迭代的周期，不斷滿足客戶需求，使產品更加適合市場新的變化。

在中國的廣電市場中，NAGRA與歌華有線、廣東有線、山東有線等均有深入的合作，伴隨著國內廣電機頂盒不斷的升級，NAGRA的產品也落入千家萬戶。對于內容的安全保護，NAGRA不僅致力于提供硬件，而且提供售后服務以及發現新風險防護等，多方位滿足客戶需求，力求客戶放心使用。

杜比宣布三星承諾推出支持杜比

AC-4的電視機

4月15日，AC-4標準的開發者杜比實驗室宣布與三星電子有限公司合作，在精選電視機型中采用杜比?AC-4(Dolby?AC-4)，預計于2017年開始出貨。

據了解，杜比AC-4是杜比音效(Dolby AudioTM)技術系列中功能強大的全新音頻格式，基于數十年的廣電音頻技術經驗，能夠解決廣播商當前所面臨的挑戰，例如更高效地提供高品質體驗、不同語言版本之間的轉換以及為有聽覺障礙和視覺障礙受眾提供服務，同時為廣電和互聯網OTT服務的全新體驗提供平臺。

會展時空

第二屆平板顯示技術發展趨勢論壇

暨HDR技術峰會在京召開

4月21日，由北京泰瑞特檢測技術服務有限責任公司主辦，國家廣播電視產品質量監督檢驗中心、北京泰瑞特認證中心、中國電子學會消費電子分會等承辦的“第二屆平板顯示技術發展趨勢論壇暨HDR技術峰會”在京召開。會議以“探尋清透視界，共鑒畫質奇跡”為主題，匯聚了電視行業內行業協會、技術代表、整機廠商等多方代表，一同深入探討了HDR技術的發展現狀和趨勢。

會議上，泰瑞特認證向性能卓越的產品頒發了HDR plus認證證書，這次HDR產品檢測由國家廣播電視產品質量監督檢驗中心完成，它也是國內唯一的國家數字電視產品用戶端實驗室。整體測試方法分為兩類產品兩個層級，其中針對高端產品的HDR plus的測試方法，參照了美國高清聯盟HDR技術標準，這也是目前國際公認的頂級權威標準。同時，泰瑞特認證首推高端的HDR plus認證標識，并發布首批符合該標準的產品名單，三星、TCL、創維的HDR電視在列。此舉目的在于引導行業發展焦點由“HDR好”到“好HDR”，即更加關注卓越的產品和消費體驗升級。

“開放物聯”技術與標準研討會在京召開

4月26日，由物聯網產業技術創新戰略聯盟牽頭，會同W3C聯盟中國區總部、國家物聯網基礎標準工作組共同在京組織召開了“開放物聯”技術與標準研討會，來自國家物聯網基礎標準工作組、中國電子科技集團公司信息科學研究院、中國移動、中國聯通、中國電信、Intel、中關村產業聯盟、中國電科三所、同濟大學、閃聯、新大陸、京東方、W3C、360、百度、阿里巴巴、華為等單位的代表參加了會議。同時，物聯網產業技術創新戰略聯盟秘書長朱德成、副秘書長溫娜、副秘書長馬進、聯盟城建專委會主任蔡鴻巖出席了會議。

會議緊密圍繞“開放物聯”主題，物聯網產業技術創新戰略聯盟、W3C聯盟、中國電科信息科學研究院、國家物聯網基礎標準工作組專家代表分別作了主題演講，針對國家標準制定思路、標準體系框架、W3C相關情況及標準制定情況以及國標技術推廣情況進行了研討，同時聯盟城建專委會做了工作進展報告。

三部門聯合召開“信息技術和健康

養老融合發展論壇”

4月9日，工業和信息化部電子信息司聯合國家衛生和計劃生育委員會家庭發展司、民政部社會福利中心在深圳市會展中心組織召開“信息技術和健康養老融合發展論壇”。

出席本次論壇的有工業和信息化部電子信息司副司長喬躍山、民政部社會福利中心書記甄炳亮、衛生計生委家庭發展司家庭發展指導處處長蔡菲，以及來自中國電科三所、中興、平安、優加利等數十家企事業單位近150位代表和專家學者。

論壇上，來自21家的企業代表及專家學者分別從智能穿戴發展趨勢、傳感器技術的創新、健康監護設備系統的發展、服務模式的探索、傳統行業在健康養老領域的探索和轉型升級、養老體系的搭建等方面進行了精彩的主題發言，并發布了《智慧健康養老產業發展白皮書》。論壇為行業專業人士搭建了一個良好的交流平臺，對促進信息技術和健康養老融合發展起到了積極的作用。

Precise positioning multithreading predestrian detection system based on data stream

ZHU Feng

(ShangHaiTechnicalCollegeofUrbanManagement，Shanghai200433，China)

Abstract:Pedestrian collision warning system(PCWS)is one of important functions of on-board active safety system. The main restriction in the process of commercial applications is large amount of calculation. This reduces the processing frame rate.This paper research the key algorithms of the PCWS， such as space limit distribution of sliding windows based on estimation of vanish point， multithreaded processing based on data stream， rapid linear SVM classifier based on CENTRIST feature， histogram intersection kernel SVM(HIKSVM). Comprehensive the above techniques， has reached the requirement of real-time processing. CENTRIST feature cannot accurate descript the object contour， this lead to the detected positions are not accurate. This problem is solved by applying maximum suppression based on Gaussian weight distribution and fine-tuning bounding box based on differences between inside and outside of outer contour. Through the above methods， meet the requirements of lead to ranging accuracy.

Key words:pedestrian detection； multi-threshold process； vanish point estimation； HIK SVM； CENTRIST； relocation

中圖分類號：TP391

文獻標志碼：A

DOI：10.16280/j.videoe.2016.05.026

作者簡介：

朱峰(1979— )，女，碩士， 講師，從事圖像處理、模式識別、機器視覺、3D建模仿真方面的研究。

收稿日期：2015-06-15

文獻引用格式：朱峰. 基于數據流和精確定位的多線程行人探測系統[J].電視技術，2016，40(5)：121-128.

ZHU F. Precise positioning multithreading predestrian detection system based on data stream[J].Video engineering，2016，40(5)：121-128.