基于海思平臺的便攜式四通道高幀率視頻采集儲存系統設計

摘 要：針對當前視頻采集系統體積大、功耗高、攜帶不方便的問題，設計了一款四通道高幀率的便攜式視頻采集存儲系統，該系統使用海思HI3519DV500平臺與OV9281圖像傳感器，編寫了圖像傳感器的驅動程序，HI3519DV500平臺通過驅動程序對OV9281進行配置，讀取到圖像數據后對圖像使用鏡頭標定的數據進行圖像調優，然后將四路視頻編碼為H264文件并保存到TF卡中，同時保存視頻中每一幀對應的時間戳等信息。經過測試，該系統體積小、重量輕、續航時間長，適合搭載于無人機等平臺。

關鍵詞：視頻采集；視頻存儲；海思平臺；便攜式；高幀率；四通道

中圖分類號：TP274；TN249 文獻標識碼：A 文章編號：2095-1302（2025）08-00-05

0 引 言

隨著人工智能、機器視覺、目標識別等技術的快速發展，視頻采集越來越重要，目前視頻數據的主要來源是各種傳感器和攝像頭，它們能夠捕捉和記錄現實世界的視覺信息。從簡單的手機攝像頭到高精度的工業相機，再到紅外、熱成像等特殊類型的傳感器，都在為人工智能和目標識別技術提供豐富的圖像資源[1]。但目前主要的視頻采集平臺存在體積大、攜帶性差、功耗高、幀率低、僅能采集單路視頻等問題[2]，使得其在一些條件苛刻的實驗場景下無法方便、快捷地獲取到圖像。

HI3519DV500是海思技術有限公司于2023年推出的一款國產超高清智能SOC，該平臺采用雙核ARM Cortex A55@1 000 MHz處理器，支持多路Sensor同時輸入，有豐富的外設接口，芯片大小為15 mm×15 mm，非常適合于開發小型化圖像采樣設備[3]。

本文設計了一款基于海思HI3519DV500平臺的便攜式四通道高幀率視頻采集存儲系統，該系統可支持四路視頻同時輸入，每路輸出像素1 280×800，輸出幀率120 FPS，該系統除了可以編碼并保存視頻外，還保存了每一幀視頻的時間戳等信息，方便使用者分析研究使用。整個核心板設備大小為4.5 cm×4.5 cm，核心板、TF卡、4個攝像頭共計11.65 g，非常適合在野外、高空、機載等場景下使用。

1 電路設計

設備硬件電路由以下幾個部分組成：圖像傳感器接口、存儲系統、TF卡接口、HDMI接口、網口、調試串口、供電系統等。為了最大程度滿足便攜式要求，根據功能將整個硬件裝置分為兩個電路板，即核心板與調試板。核心板包含HI3519DV500芯片、DDR4內存顆粒、eMMC芯片、攝像頭接口和TF卡等必要的視頻采集模塊，將其他非必要使用的HDMI接口、網口、調試串口放置在調試板上。核心板與調試板通過板對板接口連接，核心板可以脫離調試板單獨供電工作，只有在進行電路調試、攝像頭調焦時才會使用調試板，此時會將調試板與核心板搭配使用。

1.1 圖像傳感器電路設計

海思HI3519DV500芯片支持使用MIPI-CSI接口的Sensor，可支持8-Lane同時輸入，可通過內部組合成“2Lane+2Lane+2Lane+2Lane”的四路Sensor輸入組合，本設計采用此種設計方案。

在Sensor的選型上，本設計選用的是OMNIVISION公司出品的OV9281圖像傳感器，此傳感器輸出10 bit raw數據流，支持720P、VGA等多種像素，最大輸出像素為

1 280×800，最高幀率可達210 FPS，輸出接口有DVP并行輸出與2-Lane的MIPI串行輸出兩種接口可選[4]，本設計選擇使用2-Lane的MIPI接口與海思芯片相連，同時Sensor的封裝大小僅為5.2 mm×4.5 mm，制作的攝像頭底座大小僅

8 mm×8 mm。

HI3519DV500與四路OV9281圖像傳感器硬件連接方式如圖1所示。HI3519DV500為每路Sensor提供24 MHz的工作時鐘，由于海思僅有兩個輸出復位腳管，四路Sensor采用兩兩復用的方式共用復位腳管，HI3519DV500使用I2C接口對圖像傳感器進行配置，四路Sensor分別連接海思的I2C3＼I2C4＼I2C5＼I2C6接口。

四路Sensor通過MIPI接口與HI3519DV500連接，采用差分對傳輸數據，每路Sensor使用兩對數據線和一對時鐘線。

1.2 儲存電路設計

根據需求，本設計共需要3種存儲電路，分別是DDR4電路，eMMC電路和TF卡電路，HI3519DV500工作時將DDR4作為內存使用，eMMC芯片存儲啟動文件UBoot、Linux鏡像及文件系統，TF卡則保存采集到的視頻文件。

DDR4采用的是三星公司出品的K4A8G165WC內存顆粒，一塊內存顆粒數據位寬為16 bit，存儲空間為8 Gb，本設計使用了兩塊相同的內存顆粒，擴展為32 bit，組成了16 Gb即2 GB的內存空間。在PCB設計中，采用了T型對貼的拓撲結構，同時電路中設計了端接電阻，并充分考慮了走線的等長，滿足信號完整性要求。

eMMC采用的是海力士公司出品的e-NAND芯片，型號為H26M41204HPR，共8 GB的存儲空間，有1 bit/4 bit/8 bit三種位工作方式，由于海思eMMC控制器管腳的DATA4-DATA7與I2C5＼I2C6復用使用，所以本設計選擇4 bit工作方式。

TF卡采用SDIO接口與HI3519DV500相連，需要1條命令線、1條時鐘線、4條數據線共6條信號線，為了最大程度的節省空間，降低功耗，TF卡底座采用了外型最小的內焊卡座，同時TF卡的供電由HI3519DV500管腳通過一個三極管進行控制，以最大程度降低功耗。TF卡硬件電路如圖2所示。

1.3 網口與HDMI電路設計

網口與HDMI接口在調試板上實現，網口的主要作用是使用網絡燒寫程序和遠程調試，HDMI接口則可以同時輸出四路攝像頭視頻，便于攝像頭調焦。

以太網硬件包括MCU、MAC控制器、PHY、隔離變壓器，海思HI3519DV500中已集成了MAC控制器，支持RGMII和RMII兩種接口。本設計采用RGMII接口模式，外接RTL8211的PHY芯片，同時使用了包含隔離變壓器的RJ 45接口。HI3519DV500通過MDIO與MDCK管腳對PHY芯片進行配置，具體連接方式如圖3所示。

HDMI接口是一種標準的音視頻傳輸接口，使用一根線纜可同時完成音頻與視頻的傳輸，HDMI支持多種分辨率與幀率，而且即插即用，使用靈活[5]。本設計中四路攝像頭采樣的視頻，經過畫面拼接后，通過HDMI接口傳輸至顯示屏同時顯示。但海思HI3519DV500沒有直接支持HDMI的接口，僅支持并行輸出接口協議BT.1120，若使用HDMI接口，則需要進行轉換。本設計使用國產芯片LT8618將BT.1120轉換為HDMI輸出[6]，硬件連接電路如圖4所示，HI3519DV500輸出的16 bit寬數據線BT1120D0-D15與時鐘線BT1120-CLK連接至LT8618對應的數據時鐘端口，HI3519DV500使用I2C7對LT8618進行配置，LT8618將轉換后的信號直接連接至HDMI接口輸出。

1.4 核心板供電電路設計

核心板可與調試板搭配使用，可也單獨工作，與調試板搭配使用時，由調試板供電，單獨工作時，需要外接3.7 V電池供電。

核心板上各硬件模塊對電壓與電流的要求不同，需要用不同的供電方案。例如HI3519DV500需要3個0.9 V的電壓供不同的內核使用，而且對內核電壓噪聲要求嚴格，3個內核電壓均使用SVB動態調壓的方式控制電壓，由HI3519DV500專用管腳輸出PWM信號，經過RC濾波后輸出直流電平反饋至電壓輸入處，通過調節PWM的頻率和占空比，可以動態調節輸出電壓。

圖像傳感器則需要1.2 V、1.8 V、2.8 V三種不同的電壓供內核、模擬部分及I/O部分使用。DDR4需要1.2 V、

2.5 V兩種電壓才能正常工作。

根據各模塊的供電需求，板心板共使用了9個電源芯片完成供電設計，具體供電方案所需芯片見表1。

2 軟件設計

2.1 Sensor調試

Sensor調試主要包括編寫驅動程序完成對圖像傳感器OV9281的配置，以及OV9281啟動后與HI3519DV500進行ISP（圖像信息處理）交互處理等工作[7-8]，具體調試流程如圖5所示。

驅動程序中，HI3519DV500通過I2C接口對Sensor的寄存器進行配置，主要配置工作時鐘、接口模式、輸出像素、行同步（VTS）、場同步（HTS）等參數。

HI3519DV500向OV9281提供24 MHz時鐘輸入，OV9281經片內兩個PLL倍頻后，產生80 MHz的系統工作時鐘，此時鐘同時也做為像素時鐘使用。Sensor的輸出幀率通過配置VTS、HTS實現。像素時鐘（Psclk）與VTS、HTS、幀率的關系為：

Psclk = VTS×HTS×幀率

本設計中Psclk為80 MHz，可通過合適的VTS與HTS配置當前的輸出幀率。

ISP包括邏輯部分以及運行在其上的Frimware，ISP通過數字圖像處理算法完成對圖像的處理，主要包括3A算法、去噪、色彩增強等，ISP控制結構如圖6所示，Sensor收集到經鏡頭投射后的光信號后，轉化為BAYER原始格式的圖像傳送給ISP，ISP經過算法處理后將圖像以RGB格式傳送給后端使用，在這個過程中，ISP使用I2C接口動態控制Sensor，以達到對輸出的原始圖像數據進行調整的目的。

2.2 圖像處理系統

HI3519DV500從Sensor獲得圖像后，使用MPP（媒體軟件處理平臺）進行圖像處理、編碼或顯示。本設計中MPP處理結構如圖7所示，MPP主要由VI（視頻輸入單元）、VPSS（視頻處理子系統）、VENC（視頻編碼單元）、VO（視頻輸出單元）等組成[3]。

VI從Sensor捕獲到視頻數據后，送到VPSS進行處理，VPSS對圖像進行去噪、圖像增強、銳化處理后送至VENC，由VENC進行H264編碼后保存至TF卡，VPSS同時也會將圖像送至VO，VO處理后使用HDMI接口輸出至屏幕。MPP各部分之間通過系統綁定的方式實現。

本設計支持四路Sensor同時輸入，在MPP的使用上，VI雖然只有一個物理輸入設備，但物理輸入設備上可以使用不同的PIPE（輸入圖像數據管道），物理輸入設備與PIPE以1對4的關系進行綁定，1路Sensor對接1個PIPE。VPSS分為128個GROUP（組），每個GROUP分時復用VPSS硬件，本設計使用其中的4個GROUP對接PIPE，VPSS同時綁定到VENC與VO，VENC接收到VPSS的圖像數據后，啟動硬件編碼器，將4路圖像數據編碼為H264格式并保存為4個H264格式的文件。VO接收到VPSS的圖像數據后，將4路圖像進行縮放、拼接，并通過HDMI輸出至屏幕。

H264文件中不包含時間戳信息，為了便于后續的研究，需考慮H264文件中時間戳的問題。使用VENC在進行視頻編碼時，HI3519DV500會對每一幀的圖像進行編號，并打上時間戳，本設計在保存H264文件的同時，單獨獲取每一幀的編號與時間戳，并保存到TF卡中的TXT文件中，視頻文件中每一幀的圖像與TXT中的幀信息是一一對應的，方便后期研究使用。

2.3 鏡頭標定

由于攝像頭鏡頭是一個凸透鏡，光線透過鏡頭照射到Sensor上時，大部分光線會聚集在中間，從而造成拍攝出的圖像出現中間亮，四周暗的情況，這是一種鏡頭缺陷[9-12]。為了解決這個問題，就需要對鏡頭進行標定，具體解決思路是，在一定的環境下將Sensor采集到的一幅圖像平均分為大小均等的網格，每個網格的亮度乘以不同的增益，可保證處理后整個畫面的亮度分布均勻。整個畫像的亮度增益就組成了一個亮度增益矩陣，為了獲得亮度增益矩陣，需要在嚴格的環境下反復實驗。

本設計中鏡頭標定的具體步驟如下：

第1步：將鏡頭對準測試區域，保證測試環境不被干擾。

第2步：使用海思提供的PQTools Capture Tool工具采集一幀raw格式的圖像。

第3步：將圖像平均分為32×32共1 024個大小相等的網格，計算出每個網格的亮度值。

第4步：假設1 024個網格的亮度值相等，由此測算出大小為32×32的亮度增益矩陣，用此矩陣計算正常的圖像，觀察圖像亮度是否改善。

第5步：通過改變光源或燈光亮度重復步驟1～4。

本設計中采用灰度分布均勻的白墻作為測試區域，白墻上沒有劃痕與污跡，同時屏蔽掉屋內太陽光線的影響。使用此方法標定后的圖像對比如圖8所示，從圖8（b）中可以看到，標定后的圖像亮度比標定前改善明顯。

3 系統測試

3.1 硬件平臺

本視頻采集系統設備硬件實物如圖9所示，硬件電路由核心板與調試板兩部分組成，核心電路板尺寸為45 mm×45 mm，核心板通過MIPI接口連接四路攝像頭。

核心板需要外接電池供電，供電后開始工作，圖10（a）所示為TF卡上錄制的文件目錄，其中H264文件為保存的視頻文件，可在Windows下使用VLC等播放器直接播放，TXT文件中保存的為視頻中每一幀的幀序號與時間戳信息。

TXT文件中的幀信息如圖10（b）所示，幀信息包括幀編號與時間戳，其中幀編號從0開始，根據幀編號是否連續可判斷HI3519DV500是否有丟幀的情況。時間戳單位為μs，是相對于系統開機的時間，不是絕對時間，根據此時間戳可計算各幀之間以及各視頻通道之間的相對時間差。

3.2 多路視頻同步

由于H264協議中不含時間戳信息[13]，所以在Windows下用播放器播放H264文件時，需要指定播放幀率，播放器以指定的幀率自動為視頻中的每一幀視頻添加時間戳，這就造成了如果實際幀率不是精準的整數，則播放時間與每一幀的實際時間可能存在微小差別，一般情況下，人們無法感知這種差別，但卻會對后續的研究造成影響，尤其是播放時間較長，會出現長時間的誤差積累。

在不同格式的視頻文件中，MP4文件中每一幀必須攜帶播放時間戳[14]。本設計在得到H264文件與幀信息文件的基礎上，在Windows環境下設計了一款格式轉換軟件，將多路H264文件、幀信息文件合并為一個MP4文件，MP4文件中的時間通過讀取保存的TXT文件獲得，同時為了實現四路攝像頭時間對齊，軟件以其中一路視頻為基準，尋找其他幾路同步時間幀，將這些不同通道的圖像幀拼接為一幀進行播放。測試中采用雙路攝像頭以120 FPS的幀率對同一秒表采集圖像，合并為一個MP4文件后如圖11所示，從圖中可以看到，兩通道的時間誤差在1 ms以內。

3.3 設備重量與續航時間

重量、體積、續航時間是便攜式設備的重要指標，本設備核心板重量不足9 g，整個工作系統不足12 g，續航時間在不同的工作模式下也有很好的表現，具體的硬件重量見表2。

4 結 語

基于海思HI3519DV500平臺和OV9281圖像傳感器，本文設計了一款四通道高幀率的便攜式視頻采集存儲系統。整個系統體積小、重量輕、存儲容量大，非常適合在無人機、移動監控上搭載使用。視頻通道數、幀率可根據實際需要調節，最高輸出幀率可達120 FPS，同時系統自動輸出幀信息，便于后期研究使用，經過系統測試，本系統結構完整，視頻輸出穩定，續航時間長，使用簡單靈活。隨著技術的發展，硬件小型化是一個不可阻擋的趨勢，本系統將為苛刻條件下科研數據的采集提供有力的支撐。

參考文獻

[1]付斌斌.工業機器視覺的應用與發展趨勢[J].中國工業和信息化，2021（11）：18-24.

[2]陳力，聞磊.基于5G的機器視覺應用場景分析研究[J].廣東通信技術，2020（6）：15-19.

[3]深圳海思半導體有限公司. Hi3519DV500 超高清智慧視覺SoC產品簡介[Z]. 2023.

[4] Omnivision Group.OV9281 Datasheet Preliminary Specification [Z]. 2017.

[5]王之琛.視頻編碼技術的應用及發展趨勢[J].中國傳媒科技，2024（7）：134-137.

[6] XU N， LI E L. A multifunctional video switching matrix design [J]. Journal of physics：conference series， 2022（1）： 012055.

[7]王繼超，王曉旭，賴康生.基于海思Hi3559的前端機器視覺系統設計[J].激光雜志，2022（9）：20-25.

[8]喬勁軒，魏經偉.一種新型高動態范圍CMOS圖像傳感器結構設

計[J].集成電路應用，2024，41（6）：14-15.

[9]嚴明，白瓊，李剛，等.瞬態成像模式下高幀頻CMOS圖像傳感器性能研究[J].紅外與激光工程，2022，51（8）：441-449.

[10] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330-1334.

[11]王澤文，余建波.基于六西格瑪的手機攝像頭模組質量改善研究[J].精密制造與自動化，2021（1）：9-16.

[12] YAO H T. Research and design of 5T structure global shutter CMOS image sensor [J]. Modern computer， 2018， 631（31）： 77-81.

[13] CAO P F. Research on key technology of real-time video transmission based on mobile terminal [J]. Journal of electronic research and application， 2023， 2（1）： 11-15.

[14] FERREIRA S.Exposing manipulated photos and videos in digital forensics analysis [J]. Journal of imaging， 2021， 7（7）： 102.