基于Catapult C高層次綜合工具平臺優化運動檢測算法的研究

葉海雄，陶寧蓉，匡興紅，呂春峰，王世明，Lionel Lacassagne，Laurent Cabaret

（1.上海海洋大學 工程學院，上海201306；2.巴黎南大學 計算機學院，埃松 奧賽91405；3.巴黎皮埃爾和瑪麗居里大學 計算機學院，巴黎 朱西厄75006；4.巴黎中央學院 上塞納 謝特那馬拉比92295）

基于Catapult C高層次綜合工具平臺優化運動檢測算法的研究

葉海雄1，2，陶寧蓉1，匡興紅1，呂春峰1，王世明1，Lionel Lacassagne3，Laurent Cabaret4

（1.上海海洋大學 工程學院，上海201306；2.巴黎南大學 計算機學院，埃松 奧賽91405；3.巴黎皮埃爾和瑪麗居里大學 計算機學院，巴黎 朱西厄75006；4.巴黎中央學院 上塞納 謝特那馬拉比92295）

以視頻監控設備作為應用背景，針對全自動視頻監控裝置能耗高的問題，在硬件SoC設計層面，通過利用Catapult C高層次綜合工具優化視頻算法Sigma-Delta（ΣΔ）的方法以改善電路能耗。即在視頻圖像中提取有效背景與基準背景進行差分運算，找出運動目標區域并二值處理，使用形態學開運算先腐蝕后膨脹操作以消除區域噪音。實驗結果表明，在高層次綜合工具平臺上同時優化硬件資源與軟件算法的方法，能使電路的性能提高9倍，能耗降低9.15倍，達到國際領先水平，滿足高性能、低能耗的視頻監控電路設計要求。

視頻監控；Catapult C；能耗；算法；Sigma-Delta

在高層次綜合平臺上設計超大規模硬件電路的研究作為一個挑戰性的前沿課題，涉及到計算機科學、集成電路、圖像信息、通訊工程等多學科領域。在此領域開展研究工作的意義在于[1]：運用行為級抽象描述語言，通過高層次綜合工具自動物理實現RTL級硬件描述語言[2]。該設計方法在確保電路性能的前提下，可有效減少設計的中間環節，縮短研發時間，在算法層面預先優化電路以使整個設計更加靈活。文獻[3-4]描述了高層次綜合工具Compaan，MMAlpha的編譯器具有展開循環和流水線[5-6]的軟件優化功能。文獻[7-8]描述了在輸入語言為C語言的高層次綜合工具Gaut中，通過加入約束條件，工具自動生成硬件描述語言VHDL，其優勢在于可重用代碼、快速得到結果、迅速評估電路。文中以Catapult-C[9-11]高層次綜合工具平臺為核心，以優化視頻監控中常見的ΣΔ算法。整個電路硬件設計先建立定點型算法模型、確立構架和約束資源條件、安排電路時序，其次生成RTL級代碼，最后在門級電路層面評估電路的面積和能耗。在Catapult C工具中，可以通過手工調整間距啟動ii值的參數方式直接影響電路面積大小和速度快慢。通常ii值越小，表示沒有重用電子元件，即電路面積大，速度快。反之亦然。

1 視頻監控的運動檢測算法及優化方法

1.1 ΣΔ算法與形態學后處理濾波算法

開發全自動視頻監控系統的關鍵在于快速建立可靠、魯棒的運動檢測算法。該算法不僅可區分出圖像序列的每一幀的背景像素（即對應像素歸屬靜態場景，用‘0’表示）和相應的前景像素（即運動物體用‘1’表示），而且能準確地從背景中區分移動區域對象的大小。系統如果涉及到大量的數據處理，則需要花費大量計算資源。為此，A.Manzanera與L.Lacassagne等人[12-14]提出一種基于背景差分技術的ΣΔ調制器的估算方法。其基本原理是通過使用ΣΔ調制來估算背景參數以檢測目標圖像。在ΣΔ調制背景差分法中，It為當前圖像，Mt為背景圖像，Ot指 Mt與 It絕對值之差，Vt為ΣΔ的協方差，N是協方差的放大倍數，其選取范圍為1～4。通過計算，可得到二值輸出圖像Et的值，輸出0和1分別為前景和背景。基于背景差分的運動目標檢測的具體步驟如下：

1）比較第t幀圖像與背景圖像：

2）在第t幀圖像與背景圖像之間，計算差分圖像Ot：

3）比較第t幀圖像的協方差值與放大N倍的差分圖像：

4）將運動目標轉換成二值圖像Et:

5）在序列圖像中，運動目標對應一定尺度的連通區域，故對二值圖像進行腐蝕、膨脹操作以消除該區域的噪聲，從而得到更加準確的處理結果ES。

該檢測方法的優勢在于操作簡單、檢測迅速，能夠滿足視頻實時處理的需求，更為重要的是該計算只使用了比較、加法和絕對值差等算術運算，相比高斯估計檢測方法[15]，節約大量計算資源。

1.2 形態學后處理濾波算法的軟件優化方法

形態學操作主要分為二進制和灰度2類。灰度操作需要計算最大值與最小值，對于一般編譯器而言，產生的條件語句會存在中斷流水線執行的潛在風險，故本文采用式（5）的SE 3x3二進制結構，該結構由膨脹、腐蝕、開操作基本運算組成，具體運算由‘與’和‘或’2個邏輯運算組成。其結構如圖1：

圖1 形態學后處理濾波結構圖

該算法需要讀取源圖像中9個相鄰像素點a00、a01、a02、a10、a11、a12、a20、a21、a22的 值 以 計 算 新 圖 像 像 素點b11的值，源圖像與新圖像分別保存在不同的內存中，所以如何合理重復使用源圖像相鄰像素點以計算新像素點是優化算法的關鍵。為此，本文提出寄存器（Reg）算法、循環使用寄存器（Rot）算法與減少移位操作（Red）算法。算法由n*n的矩陣構成，在計算機上實現該算法需要兩個嵌套的循環。Reg算法步驟如下，

1）在內循環體內依次讀取源圖像9個相鄰像素點的值；

2）計算新圖像像素點的值；

3）把計算的值保存到新內存。

Rot算法步驟如下，

1）在外循環體內，從源圖像中分別讀取2組各3個相鄰像素點的值。

2）在內循環體內讀取剩余3個相鄰像素點的值；

3）計算新圖像像素點的值；

4）把計算的值保存到新內存，

5）在內循環體內，位移寄存器只需保存6個像素點的值用于下次計算。

Red算法步驟如下，

1）在外循環體內從源圖像中分別讀取2組各3個相鄰像素點的值；

2）分別計算出2組各3個相鄰像素點的值3）在內循環體內讀取剩余相鄰像素點的值；4）計算新圖像像素點的值；

5）把計算的值保存到新內存；

6）在內循環體內，位移寄存器只需保存2個值用于下次計算。

相比Reg算法，Rot算法通過移位的方式減少數據的重復讀取；而Red算法優勢在于從6次移位運算減少到2次。

1.3 優化硬件資源的方法

優化硬件資源的方法是指增加讀取內存數據通路的能力以達到降低能耗的目的。

優化硬件資源方法由3種形式構成。第1種雙門內存 （DP），該內存的數據讀寫通路比單門內存（SP）大一倍。

第2種多個交錯單門內存（Interleaving Memories），如圖2，如果源圖像的行數是3的整數倍，以3個交錯單門內存為例，把源圖像像素點交錯組合并重新分配到3個交錯單門內存中，每個交錯單門內存尺寸是原圖像大小的三分之一，然后3個移位寄存器分別從3個交錯單門內存依次讀取3組各3個像素點，最后只需要計算移位寄存器中像素點的值。每完成一次計算后，寄存器里的值做一次移位操作并從各個交錯單門內存中讀取下一個像素點的值。如果源圖像行數不是3的整數倍，可以通過創建狀態機以控制移位寄存器從各個交錯單門內存讀取數據的先后次序，缺點是該狀態機會導致在硬件設計中電路面積和功耗方面額外的開銷。

第3種是多緩存結構，該算法需要同時做緩存自身的移位操作和移位寄存器的移位操作。如圖3，緩存的長度與源圖像行的長度一致，當源圖像的像素點依次寫入3個緩存和移位寄存器分別讀取像素點 a00、a01、a02、a10、a11、a12、a20、a21、a22后， 計算新像素點的值。每完成一次計算，移位寄存器做一次移位操作并從對應的緩存中讀取下一個像素點的值，同時緩存自身也需要做一次移位操作，即第一行緩存中a20移位到第二行緩存中，第二行緩存a10移位到第三行緩存中，源圖像補充1個像素點到第一行緩存中。不足之處在于像素點依次寫入緩存需要一定的初始化時間。

圖2 3個交錯單門內存(3xSP)+移位寄存器的結構

圖3 緩沖(CB)+寄存器移位的結構

2 實驗結果分析

為了測試本文提出的優化方法，實驗在Intel多核CPU 3.2 GHz、Solaris Sun平臺上，使用ST公司的CMOS 65納米工藝庫和Synopsys公司Design Compile工具進行仿真實驗。得到電路面積、靜態功耗、動態功耗、執行時間、吞吐量等數據結果。通過計算總時間與總功耗的乘積再除以總像素點，得到單位像素點的能耗，用cpp表示。

從圖表1中可以看出，相比Reg、Rot算法，Red算法在能耗方面有明顯的改善。一方面Red算法減少了移位操作，即減少了寄存器的面積和功耗；另一方面該算法的間距啟動值最小，縮短電路的時間。3xSP Red算法可以使能耗節省9.15倍，速度提高9倍，但該算法不足在于先要拆分原圖像大小，然后重新把數據分配到3個新的交錯內存中，造成設計者額外的編寫代碼的時間開銷。CB+Red算法可以降低2.93倍的能耗，只需要加入多個緩存，而且保留原圖像的尺寸；在實際工作中，設計者可以選擇使用合適的算法進行電路設計。

表1 ΣΔ和形態學后處理濾波算法的能耗

3 結束語

在采用Catapult C高級綜合工具平臺的基礎上，文中提出一種對ΣΔ和形態學濾波算法及優化方法，以評估視頻監測電路的能耗。實驗結果表明，通過算法優化，電路在速度和能耗方面有明顯的改善，達到了綠色環保、節能減排效果。下一步工作將對該算法在DSP C66x、ARM Neon上的能耗與面積進一步研究，以評估不同工具對運動檢測方法的能耗的影響。

[1]Walker R A，Camposano R.A Survey of High-Level Synthesis Systems[M].Berlin:Springer，2009.

[2]Coussy P，Gajski D D，Meredith M，et al.An Introduction to High-Level Synthesis[J].IEEE Design&Test of Computers，2009，26（4）:8-17.

[3]Stefanov T，Zissulescu C，Turjan A，et al.System Design Using Kahn Process Networks:The Compaan/Laura Approach[C]//Design，Automation&Test in Europe Conference&ExhibitionIEEE Computer Society.2004:10340-10340.

[4]Mozipo A L T，Massicotte D，Quinton P，et al.A parallel architecture for adaptive channel equalization based on Kalman filter using MMAlpha [C]//IEEE Canadian Conferenceon Electrical&Computer Engineering，1999:554-559.

[5]Kennedy K，Allen J R.Optimizing compilers for modern architectures: a dependence -based approach[M].San Francisco:Morgan Kaufmann Publishers，2002.

[6]Amar A，Boulet P，Dumont P.Projection of the Array-OL specification languag e onto the Kahn process network computation model[J].Proceedings of the International Symposium on Parallel Architectures，Algorithms and Networks，I-SPAN，2006（5）:496-503.

[7]Coussy P，Morawiec A.High-Level Synthesis:from Algorithm to Digital Circuit[M].Berlin:Springer Publishing Company，2010.

[8]Coussy P，Heller D，Chavet C.High-Level Synthesis:On the path to ESL design[C]//IEEE International Conference on Asic.IEEE，2011:1098-1101.

[9]Fingeroff M.High-Level Synthesis Blue Book[M].Xlibris Corporation，2010.

[10]李楊.基于 Catapult C Synthesis的圖像校正算法設計[J].電子測量技術，2016，39（7）:92-95.

[11]謝正，張開鋒.基于Catapult C的DCT算法設計[J].信息化研究，2011，37（4）:42-45.

[12]Manzanera A.Σ-Δ background subtraction and the Zipf law[C]//Congress on Pattern Recognition，Iberoamerican Conference on Progress in Pattern Recognition，Image Analysis and Applications.Springer-Verlag，2007:42-51.

[13]Lacassagne L，Manzanera A，Denoulet J，et al.High performance motion detection:some trends toward new embedded architectures forvision systems [J].Journal of Real-Time Image Processing，2009，4（2）:127-146.

[14]Manzanera A， Richefeu J.A robust and computationally efficient motion detection algorithm based on sigma-delta background estimation[J].Collection of Czechoslovak Chemical Communications，2010，47（2）:702-708.

[15]Shin D H，Park R H，Yang S，et al.Block-based noise estimation using adaptive Gaussian filtering[J].IEEE Transactions on Consumer Electronics,2005，51（1）:263-264.

Optimization motion detection algorithm based on Catapult C high-level synthesis tool platform

YE Hai-xiong1，2，TAO Ning-rong1，KUANG Xing-hong1，LV Chun-feng1，WANG Shi-ming3，Lionel Lacassagne3，Laurent Cabaret4
（1.Department of Engineering Science and Technology，Shanghai Ocean University，Shanghai 201306，China； 2.Laboratoire Recherche d'informatique，Paris Sud University，Orsay 91405，France； 3.Pierre and Marie-Curry University，LIP6，Jussieu 75006，France； 4.Ecole Centrale de Paris，Haut-de-Seine，Chatenay-Malabry 92295，France）

Based on the video monitoring system applications，for the massive energy consumption in full automatic video surveillance，this paper presented a designing the video surveillance hardware circuit method based on Catapult C high level synthesis tool platform.We extract the efficient background from the frames in video steam and use the background subtraction respectively in order to find the binary moving targets.Then we use the morphological open erosion and dilation operation to filter noises.The experimental results show that the circuit is 9 times faster and the energy consumption saving is 9.15 times.Both hardware and software algorithm optimization achieve fully high performance and low power requirement.

video surveillance；Catapult C；energy consumption；algorithm；Sigma-Delta

TN4

：A

：1674－6236（2017）14-0001-04

2016-09-08稿件編號：201609082

國家自然科學基金項目 （71501125）；上海市青年教師高校新進教師培訓及科研啟動基金（ZZHY14033）；上海海洋大學博士科研啟動基金

葉海雄（1982—），男，浙江象山人，博士，講師。研究方向：信號、圖像處理、嵌入式系統、ASIC和SoC方向。