某車載裝備的多路視頻遠程監(jiān)控系統(tǒng)軟件設計

劉中柱，楊福合

(中北大學 軍民融合協(xié)同創(chuàng)新研究院，山西 太原 030051)

0 引言

某車載裝備上安裝有四路視頻設備，分別是一個可見光相機、一個紅外相機和兩個監(jiān)控攝像頭，四路視頻的分辨率大小和視頻壓縮率均不盡相同。在設備調試階段，需要在遠程同時監(jiān)控這四路視頻，且在需要時能同步保存這四路視頻，并能在后期同步回放所記錄的四路視頻。此外，在作戰(zhàn)時，上級指揮機關也有通過遠程監(jiān)控視頻來及時了解裝備運行狀態(tài)的需要。因此，需要制作一套適用于車載裝備的多路視頻遠程監(jiān)控系統(tǒng)。

四路視頻均采用H264格式進行壓縮，視頻流基于RTSP協(xié)議通過以太網進行推送。視頻流既可以使用通過的網關直連網絡實現(xiàn)有線以太網傳輸，也可以通過車載的數(shù)傳電臺通過無線以太網進行傳輸。系統(tǒng)要求在不額外增加現(xiàn)有硬件的條件下，對四路視頻同時進行監(jiān)控或錄制，回放時也能同步播放。因此，該監(jiān)控系統(tǒng)的重點和難點主要在于多路視頻遠程監(jiān)控軟件的編寫。

目前，關于多路視頻監(jiān)控的研究，多采用研發(fā)刻錄儀或采用硬盤錄像機等增加硬件的方式來實現(xiàn)。如，王昱人選用TMS320DM8168和FPGA架構作為硬件平臺，在Linux下采用Qt開發(fā)了相應軟件，研發(fā)了一款車載記錄儀，可同時記錄3路視頻并回放所記錄的視頻[1]；胡偉基于AM5728多核處理器開發(fā)了一套嵌入式多路視頻錄制系統(tǒng)軟件[2]；鄭超等利用硬盤錄像機等硬件設備，將視頻實時存儲并進行統(tǒng)一調度，完成對現(xiàn)場作業(yè)多路視頻同步展示功能的升級[3]。文獻中在實現(xiàn)多路視頻監(jiān)控時，除了多數(shù)要增加硬件設備外，大多數(shù)都不能同步保存多路視頻，且在回放記錄的視頻時，通常只能回放其中一路視頻。所以有必要獨立開發(fā)一套多路視頻遠程監(jiān)控軟件。

1 開發(fā)工具的選取

基于軟件今后潛在的跨平臺能力需求，本軟件在設計時盡量考慮使用跨平臺性好的開發(fā)工具或程序庫，因此，使用了Qt和FFmpeg來進行開發(fā)。

1.1 Qt簡介

1.2 FFmpeg簡介

FFmpeg是一套開源的計算機程序，可以用來對音頻/視頻進行編碼、解碼、轉換等操作。FFmpeg也具有較高的可移植性，它雖然是在Linux平臺下開發(fā)的，但它同樣也可以在其他操作系統(tǒng)環(huán)境中編譯運行，包括Windows、Mac OS X等。由于FFmpeg的功能強大和編解碼速度較高，目前得到了普遍的應用[5]，在有些商業(yè)軟件中也得到了采用。

2 多路視頻遠程監(jiān)控系統(tǒng)軟件總體結構

多路視頻遠程監(jiān)控系統(tǒng)軟件有兩種工作模式，一種是遠程網絡視頻監(jiān)控模式，一種是歷史視頻記錄文件回放模式。因此，需要通過一個變量來表征當前的視頻來源是通過以太網傳輸過來的四路視頻流，還是四個記錄文件中的視頻流。

為了方便對多路視頻的處理，將視頻的解碼及記錄等操作寫成了一個視頻處理類，對每路視頻流建立相應的視頻處理類對象即可。視頻處理類軟件確定視頻源后，把視頻流輸入給視頻處理類的解碼線程隊列進行解碼操作，生成對應視頻幀的圖像。如果在此過程中檢測到了開始保存記錄標志，則同時把視頻幀保存到本地文件中。解碼得到的視頻圖像在對應的視頻窗體中予以顯示。

多路視頻遠程監(jiān)控系統(tǒng)軟件的總體結構框圖如圖1所示。

圖1 多路視頻遠程監(jiān)控系統(tǒng)軟件總體結構框圖

3 視頻處理程序

3.1 視頻的解碼

視頻解碼的流程如圖2所示。

圖2 視頻解碼流程

視頻解碼程序采用了兩個線程，一個線程專門負責從RTSP視頻流或本地視頻記錄文件中讀取視頻流，獲得視頻信息并打開對應的解碼器，然后循環(huán)提取出每一個視頻壓縮包，并加入到視頻包隊列的隊尾;另一個線程專門負責解碼，它從視頻包隊列中提取隊首的視頻壓縮包，把它發(fā)送到解碼器中進行解碼，由于根據(jù)編碼壓縮設置的不同，有可能會有多個圖像幀，因此需要循環(huán)讀取解碼后得到的圖像幀數(shù)據(jù)，此圖像幀是YUV格式，還不能直接顯示，需轉換成RGB格式后生成QImage對象，然后拷貝出一個復本，用emit()函數(shù)作為一個信號(SIGNAL)發(fā)送出去，視頻窗體把此信號與用于顯示的槽函數(shù)(SLOT)連接起來，接收到此圖像后即通過此槽函數(shù)在窗體中進行顯示，即完成了一個視頻圖像幀的顯示。如此循環(huán)，則能顯示整個視頻。

3.2 視頻的保存

3.2.1 視頻記錄文件的自動命名

在點擊工具欄按鈕“開始保存視頻記錄”后，軟件便開始記錄各通道的視頻，并自動創(chuàng)建一個以開始記錄時間命名的文件夾，各個視頻通道對應的視頻記錄文件都保存在這個文件夾中。視頻記錄的文件名也由程序自動給出，命名規(guī)則為“ch+視頻通道號+下劃線+開始記錄時間.mp4”。其中，時間用“年月日_時分秒”格式表示，時分秒的中間用中文全角的分號隔開。例如，2021年8月16日9點10分30秒開始錄制通道2的視頻，其文件名命名為ch2_20210816_09：10：30.mp4，該文件及其他通道同步錄制的文件都保存在20210816_09：10：30文件夾下。

3.2.2 創(chuàng)建文件，寫入MP4視頻文件頭

先調用avformat_alloc_output_context2()函數(shù)初始化一個用于輸出的AVFormatContext結構體；再調用avio_open()函數(shù)創(chuàng)建按上面命名規(guī)則命名的文件并以讀寫模式打開它，以供寫入；之后再調用avformat_write_header()寫入MP4格式的文件頭。

3.2.3 循環(huán)讀取視頻幀數(shù)據(jù)并寫入文件

在解碼視頻的線程中，循環(huán)讀取視頻輸入流，并根據(jù)輸出封裝格式重新計算每包的pts和dts值，然后使用av_interleaved_write_frame()函數(shù)把獲取到的視頻幀數(shù)據(jù)依次寫入到輸出流中。

3.2.4 寫入MP4視頻文件尾，結束保存操作

收到停止記錄視頻命令時，調用av_write_trailer()函數(shù)寫入MP4文件尾，調用avcodec_close()函數(shù)關閉編碼器，調用avio_close()函數(shù)關閉文件，再執(zhí)行必要的資源清理工作，即完成了視頻的保存操作。

4 軟件界面及功能

軟件主界面如圖3所示。主界面左側為視頻的歷史記錄區(qū)，視頻列表為每次記錄視頻的時間，雙擊列表中的記錄，可以同時把列表對應的四路視頻記錄文件打開，并同步回放在四個視頻窗體中。主界面的右側分成上下兩部分，上方是工具欄，可快速切換視頻來源，以選擇是遠程網絡視頻監(jiān)控還是回放本地視頻記錄文件模式；通過工具欄，還可進行視頻的保存與播放控制等操作；下方是視頻窗體區(qū)，分別顯示四路視頻的圖像。在四個視頻窗體大小均等的情況下，雙擊任意一個視頻窗體都可以全屏顯示該路視頻。

圖3 軟件主界面

為了突出顯示某路視頻，也可以把當前的四路視頻均等大小顯示，改為一路主視頻、三路副視頻的“一主三副”顯示風格，如圖4所示。此時，雙擊右側的任意一個副視頻都可以將此路視頻與主視頻區(qū)的視頻進行互換位置顯示，雙擊主視頻區(qū)的視頻，則能將主視頻區(qū)中的該路視頻全屏顯示。

圖4 “一主三副”顯示效果

5 結語

本文基于Qt軟件開發(fā)框架，設計開發(fā)了一套遠程多路視頻監(jiān)控軟件，在不額外增加硬件設備的情況下，實現(xiàn)了對車載裝備上的兩個相機和兩個攝像頭產生的四路視頻的遠程監(jiān)控和同步記錄，并能方便地同步回放已記錄的四路視頻數(shù)據(jù)。本文設計開發(fā)的軟件經過測試，達到了設計要求，且具有功能完備、操作簡單、運行穩(wěn)定等優(yōu)點。而且，由于采用了跨平臺的開發(fā)工具，軟件具有良好的可移植性，可方便地移植到其他平臺使用。