EPTZ智能跟蹤攝像機在云錄播中的應用

沈宏興

（上海交通大學教育技術中心，上海　200240）

EPTZ智能跟蹤攝像機在云錄播中的應用

沈宏興

（上海交通大學教育技術中心，上海200240）

文章介紹一款基于EPTZ的智能跟蹤攝像機，為4K高清固定鏡頭攝像機，采集講臺區域全景圖像，經內置芯片計算，摳出拍攝目標所在區域場景；芯片可對全景圖像的像素隔點取像，即電子變焦；跟蹤和電子變焦同時使用，再配以一定的策略，即可實現智能跟蹤。該款攝像機已經在云錄播系統中成功應用。

智能跟蹤；EPTZ；高清攝像機；云錄播；摳像

引言

互聯網的高速發展使網絡學習進入每個人的日常生活，而網絡學習需要大量的學習視頻資源，由此催生出自動錄播產品。《教育部關于國家精品開放課程建設的實施意見》推動了精品課程的建設，各高校紛紛安裝自動錄播系統，錄制了大量的視頻課程，為學生的課外學習提供了很好的輔助材料。

最近幾年智慧教室如火如荼，“智慧”帶有“記憶”和“傳播”，自動錄播系統是智慧教室的標配；既然是智慧教室，那自動錄播系統也應該具有智慧；云計算技術的強力推動，也使得錄播系統發展為云錄播。正是因為有大的需求，又有強大的技術推動，可預見，在不久的將來，智能的云錄播將普及于我們的每一所學校、每一間教室。

鑒于這樣的大環境和大趨勢，上海交通大學通過校企合作，在2015年研制安裝了一批基于EPTZ智能跟蹤網絡攝像機的云錄播系統。使用一年，錄制效果超出預期。

一、常見錄播系統中的跟蹤攝像系統

目前，傳統的智能跟蹤攝像系統方案中一般包含3—5臺主攝像機、全景輔助攝像機、定位裝置和控制主機，工作原理基于圖像處理算法，對全景攝像機攝取圖像進行分析，通過云臺控制跟蹤攝像機的鏡頭縮放和拍攝角度進行實時跟蹤教學對象，主機根據定位裝置判定教學動作后控制攝像機跟蹤拍攝并場景切換。根據錄制模板，將相應圖像信號傳至錄像裝置，進行編碼壓縮后存儲在存貯裝置中。其缺點是整套系統體構造復雜，安裝及維護工作相對繁雜，云臺長時間運作容易發生故障，而且成本昂貴。

另一種改進的方案是具有跟蹤功能的智能球形教學攝像機，該攝像機內置雙鏡頭和CPU蕊片，通過視頻采集模塊對固定攝像頭進行視頻數據采集，視頻解碼器將視頻數據信號傳給主CPU進行實時處理，采用算法及策略計算目標信息，由從CPU根據設定的跟蹤區域及教師或學生的活動情況驅動控制板對CCD攝像頭進行運動控制及光學鏡頭控制，實現對教師或學生的智能跟蹤和遠景近景之間切換。與傳統方案相比，其可以簡化系統構造，降低成本。但是，由于該方案采用單攝像機內置雙鏡頭，增加CPU的處理負擔，如果采用主、從CPU設計使其內部結構相對復雜，增加不可靠性。另外，其通過運動電機控制CCD攝像頭轉動以及鏡頭拉伸過程中，會產生垃圾鏡頭，不能實現場景畫面的無縫切換。

由此可見，傳統的錄播系統設施繁多、安裝復雜、成本高、故障概率高，經常困擾錄播管理人員。應用需求和技術發展的推動，一種創新的智能跟蹤攝像方法和裝置順勢而生。

二、EPTZ智能跟蹤攝像機工作原理

（一）智能跟蹤攝像機組成

智能跟蹤攝像裝置包括圖像傳感器模塊、緩存模塊、預設置模塊、圖像分析模塊、摳圖模塊以及編碼模塊（見圖1）。在預設置模塊中設置場景切換規則，并設置全景視頻圖像的范圍。根據在預設置模塊中設置的全景視頻圖像范圍，攝像機通過高分辨率圖像傳感器對全景視頻圖像進行實時采集，所采集全景視頻圖像放在緩存中。圖像分析模塊通過圖像縮放處理芯片按照采集順序按幀依次提取存放在緩存中的全景視頻圖像，并進行圖像縮小處理。圖像縮小處理后的全景視頻圖像輸出高性能DSP進行圖像分析，識別場景狀態。摳圖模塊從緩存中提取所分析全景視頻圖像對應幀的原始采集圖像，根據預設置模塊設置的場景切換規則，通過圖像裁剪縮放處理芯片對該原始全景視頻圖像進行裁剪縮放處理，提取場景畫面。編碼模塊提取的場景視頻圖像進行圖像編碼，并保存到存儲器中或者進行直播。

圖1　　智能跟蹤攝像機組成

圖2為智能跟蹤攝像工作步驟，安裝攝像機對全景視頻圖像進行采集后，首先設置攝像中的場景切換規則以及全景視頻圖像的范圍；其次對采集的全景視頻圖像進行圖像分析，識別場景狀態，根據場景切換規則，從全景視頻圖像的畫面中提取全部或部分內容作為場景畫面，再對上述視頻圖像進行圖像編碼，最后輸出跟蹤后的圖像。

圖2　　智能跟蹤攝像工作步驟

圖3　　智能跟蹤攝像工作流程

（二）利用高斯建模進行分析圖像

高斯模型就是用高斯概率密度函數（正態分布曲線）精確地量化圖像，將一個圖像分解為若干的基于高斯概率密度函數形成的模型。對圖像背景建立高斯模型，圖像灰度直方圖反映的是圖像中某個灰度值出現的頻次，也可以以為是圖像灰度概率密度的估計。如果目標區域和背景區域相比較大，且背景區域和目標區域在灰度上有一定的差異，那么該圖像的灰度直方圖呈現雙峰-谷形狀，其中一個峰對應于目標，另一個峰對應背景中心灰度。

在錄播視頻畫面中劃定跟蹤目標的識別區域后，可以對所述識別區域進行高斯背景建模，提取運動目標；對所述運動目標進行特征分析，判斷該運動目標是否符合跟蹤目標的類別，進而可以判斷場景狀態為跟蹤目標不在識別區域或者單個跟蹤目標在識別區域或者2個及以上跟蹤目標進入識別區域。通過識別區域劃定、運動目標提取和目標特征提取的過程實現全景視頻圖像分析，并識別場景特征，能夠有效地實現跟蹤目標的識別和跟蹤，跟蹤過程中畫面平滑自然，并能夠準確地識別場景狀態。

（三）EPTZ工作流程

EPTZ是英語Electronic Pan Tilt Zoom的簡寫，直譯為電子上下左右變焦，一般翻譯為電子云臺，意思是利用數字圖像處理技術對所需圖像上下左右全方位移動及鏡頭變倍、變焦控制，而不是物理的云臺和變焦鏡頭。

在攝像機拍攝的全景圖像范圍內，當目標出現后，通過其程序設置，預置位自動觸發鎖定某個運動目標，攝像機進行針對被鎖定的運動目標進行視覺導向的自動跟蹤，以確保跟蹤目標持續出現在鏡頭中央。跟蹤技術采用了Meanshift、光流法、Kalman濾波估計等視頻目標跟蹤技術算法，提高了跟蹤的可靠性（見圖3）。

該攝像機安裝于教室后墻，正對教師。教師日常上課時，攝像機全景拍攝圖像，當計劃選擇場景畫面為教師特寫時，先識別出跟蹤目標所在區域，以跟蹤目標為中心提取一定大小的畫面作為特寫畫面；當計劃選擇場景畫面為全景時，直接提取全景視頻圖像作為全景畫面。分別通過特寫畫面摳取和全景畫面摳取實現場景畫面提取，可以高效地從全景視頻圖像中提取特寫畫面或者全景畫面。全景圖像為4K高清，即像素3840*2160，摳圖成像為全景圖像的四分之一，即像素點位數1920*1080，所以最終輸出圖像為2K高清圖像。

（四）智能切換場景的策略

為了取得良好的圖像拍攝效果，智能跟蹤攝像機具有一整套摳圖切換規則，主要有：

1.上課時，教師在講臺區域，場景狀態為單個跟蹤目標在識別區域，場景畫面切換成跟蹤目標特寫畫面；

2.當教師在講臺前原地靜止站立講課時，場景畫面可能為長時間為特寫畫面，為防止畫面單一觀看疲勞，設定20秒后切換成全景畫面，10秒后再切特寫。

3.當教師走下講臺區域，全景圖像中沒有教師出現時，場景狀態為跟蹤目標不在識別區域，場景畫面切換成全景畫面；

4.當有學生演講或遲到經過講臺區域，講臺區域有2個以上人員時，攝像機不跟蹤特定某個目標，場景畫面切換成全景畫面；特寫畫面切換設置、全景畫面切換設置和防疲勞切換設置能更好地適應課程拍攝的特點和要求。

三、云錄播系統組成與使用

云錄播系統是將教師上課場景全程錄制，視頻實時上傳云端服務器的課程錄制系統。云錄播完全依賴網絡傳輸與存儲，本地不保存視頻；錄制的內容包含教師圖像、聲音和PPT等，一套最簡易的云錄播設施包含EPTZ攝像機、話筒及混音編碼器、VGA編碼器等組成學生攝像機和拾音器。

借助于EPTZ智能跟蹤攝像機，在普通教室內拍攝的圖像能看清教師的肢體語言與表情，同時也看清教師板書，與VGA編碼器組合，上傳網絡服務器，即可形成高質量的課程視頻。由于本套云錄播系統構造簡單，成本低，故障率低；工作人員管理工作量不大，我校利用17套云錄播系統，僅需1名日常管理的技術人員，一年內錄制了110門課程，達4000余學時，這個數字在以前是無法想象的。圖4、5分別為講臺區域全景、教師板書場景視頻截圖。

圖4　講臺區域全景　

圖5　教師板書場景

學生選課造成了大學教學名師的課供不應求，一師多課堂的網絡上課形式在校園內越來越普遍，這就需要自動錄播系統的支撐；校際合作，同上一堂課，也經常用到云錄播系統；上海交通大學援建西部地區高校，利用云錄播系統每天晚上實時推送課程到寧夏大學和西藏大學；學校注重教學質量的提高，建設網上教學督導平臺，云錄播系統將被大面積應用。

四、結語

1.通過對采集的全景視頻圖像進行圖像分析，可以識別場景狀態；根據場景切換規則從全景視頻圖像的畫面中提取全部或部分內容作為場景畫面。利用EPTZ攝像機構建的云錄播，不但整體結構簡單，硬件實現容易，成本較低，而且安裝及維護方便，沒有垃圾鏡頭，實現場景畫面的無縫切換，使錄制的視頻更加貼近真實現場環境。

2.由于預設置模塊包括場景切換規則設置模塊，包括特寫畫面切換設置單元、全景畫面切換設置單元和防疲勞切換設置單元，按照該技術方案實現的云錄播系統，能夠有效地實現目標的識別和跟蹤，跟蹤過程中畫面平滑自然，特別適用于教學錄課。

3.EPTZ電子云臺的攝像機可以克服傳統云臺長時間運作造成機械故障或老化的缺點，提高設備和系統的可靠性。

綜上所述，EPTZ智能跟蹤攝像機將在錄播系統中大有用武之地。

［1］教育部部長袁貴仁在2014年全國教育工作會議上的講話［OL］.http：//www.ict.edu.cn

［2］張際平.教與學新天地：未來課堂［J］.中國信息技術教育，2012（6）.

［3］楊宗凱.解讀教育信息化十年發展規劃——兼論信息化與教育變革［J］.中國教育信息化，2014（2）.

［4］陳衛東，張際平，未來課堂設計與應用研究——教育技術研究的一個新領域［J］.遠程教育雜志，2010（4）.

［5］金國偉，基于混合高斯建模的目標檢測和光流法的方向判斷［D］.杭州：杭州電子科技大學，2015.

［6］沈宏興，多媒體教學服務的創新模式［J］.現代教育技術，2015（10）.

［責任編輯何一輝］

G40-057

A

1008-7656（2016）02-0005-05

2016-05-30

沈宏興，上海交通大學教育技術中心主任，高級工程師，研究方向：教學新技術應用。