開源視頻服務器軟件MJPG-streamer的研究和應用

陳書益，黃永慧

（廣東工業大學 自動化學院，廣東 廣州 510006）

“MJPG-streamer”是一個輕量級的視頻服務器軟件。一個可以從單一輸入組件獲取圖像并傳輸到多個輸出組件的命令行應用程序。

該軟件可應用在基于IP協議的網絡中，從網絡攝像機中獲取并傳輸JPEG格式的圖像到瀏覽器，例如Firefox、Cambozola、Videolanclient，甚至是一個運行了TCPMP播放器的Windows移動設備。

它繼承于uvc_streamer，為在RAM和CPU上存在資源限制的嵌入式設備而寫的。因為兼容Linux-uvc的攝像機可以直接生成JPEG數據，即使是運行OpenWRT Linux的嵌入式設備也可以快速處理M-JPEG數據流。

這款工具源代碼簡潔，注釋清晰。組件功能明確，銜接清晰。使用Linux C語言進行開發，可移植到不同的計算機平臺，也可以在根據GPL v2的條款下進行改進和發行。

1 MJPG-streamer的處理流程

MJPG-streamer主函數的定義在mjpg-streamer.c文件。主函數的處理流程如圖1所示。

圖1 主函數處理流程圖Fig.1 Working process diagram of main function

2 MJPG-streamer的相關組件

MJPG-streamer采用模塊化的設計方法，以功能塊為單位進行描述，這些功能塊被稱為plug-in（組件）。軟件中定義好了各組件的輸入、輸出，以及組件之間的銜接關系。用戶可自行根據對功能的需求，選擇需要的模塊。這種模塊化的程序設計簡化了代碼的編寫、調試、維護，程序員只需要遵守設計的規范，就可以輕松地改寫軟件，或者編寫新的模塊以增強軟件的功能[1]。

MJPG-streamer最主要并且最常用的組件是input_uvc輸入組件和output_http輸出組件。其他組件包括input_control、input_file、input_testpicture、input_gspcav1、output_autofocus、output_file、out_viewer，如圖 2 所示。

圖2 MJPG-streamer的組件體系Fig.2 The plug-in system of MJPG-streamer

2.1 input_uvc輸入組件

input_uvc組件的主要功能是獲取攝像頭拍攝的圖像并將其壓縮編碼，共包括5個組件接口函數，這些組件接口函數是各個組件提供給外部使用的接口。相關函數的定義可查看input_uvc.c文件。

下面以input_uvc輸入組件為例來詳細介紹模塊化程序設計的具體思路以及MJPG-streamer組件的工作方式。

1）int input_init（input_parameter*param）

這個函數是輸入組件的初始化函數，它的主要工作是初始化相關參數，為之分配內存空間，并打開視頻設備。

輸入組件初始化函數的工作流程如圖3所示。

圖3 初始化函數工作流程圖Fig.3 Working process diagram of Init function

視頻設備數據結構vdIn的定義如下：

該函數使用pthread_create函數創建工作線程。并使用pthread_detach函數將該線程設置為分離狀態。在input_uvc組件中，input_run函數創建cam_thread線程，該線程負責抓取攝像頭采集的一幀圖像并進行格式轉換，采用的是V4L2視頻設備開發框架[2]。具體工作流程請參考下文描述。

3）int input_stop（void）

該函數通過調用 pthread_cancel（pthread_t tid）函數實現主線程取消cam_thread線程（抓取數據幀的工作線程），這兩個線程在同一個進程內，共享該進程的地址空間。主線程通過內核發送信號以取消工作線程。tid是要取消線程的線程ID。

4）int input_cmd（int in_cmd_type cmd ， int value）

該函數的主要功能是對網絡攝像頭鏡頭的控制，例如對色彩、飽和度、對焦等功能的控制。in_cmd_type結構體定義了對輸入組件進行控制的命令類型，把對鏡頭的控制命令類型和參數值傳入此函數。函數內進行匹配，以完成對鏡頭的控制操作。

input_uvc組件的私有函數如下：

1）void help（void）

該函數打印相關的幫助信息到stderr。

2）void*cam_thread（void*arg）

這個工作線程的作用是抓取一幀數據并把它復制到全局緩沖區。它的工作流程如圖4所示。

圖4 輸入組件工作線程流程圖Fig.4 Working process diagram of input plugin thread

工作流程不斷循環，直至線程退出。退出前使用pthread_cleanup_pop函數調用cam_cleanup線程清理函數。

3）void cam_cleanup（void*arg）

該函數是線程清理函數，線程退出前，使用此函數釋放在工作線程中被分配的資源。

2.2 ouput_http輸出組件

output_http輸出組件中的http.c文件內定義了服務器對客戶端請求的響應。

send_snapshot、send_stream、send_error、send_file 分 別 定義了如何響應客戶端發送截圖、發送視頻流、

發送錯誤信息、發送文件的請求信息。

command函數執行客戶端指定控制命令，并發送反饋信息。

server_thread服務線程的作用是打開一個TCP socket并等待客戶端連接。如有客戶端鏈接，則為每一個連接到服務器的客戶端創建一個client_thread專門服務于該客戶端。

client_thread客戶線程的作用是為連接到服務器的客戶端服務。

3 MJPG-streamer在嵌入式中的應用

本文通過修改軟件源代碼，實現軟件的額外功能。將MJPG-streamer作為視頻服務器軟件，應用于嵌入式開發。

系統以S3C2440微處理器為核心，構建嵌入式視頻監控系統。Arm9將攝像頭拍攝圖像經壓縮后傳到Web客戶端，客戶端除了可以查看攝像頭拍攝圖像外，還可以控制云臺設備，從而獲得任意角度的圖像。

采用低端云臺作為前端的控制設備，嵌入式視頻服務器可提供多個前端設備接口與多個云臺連接。嵌入式視頻服務器根據各客戶端的請求，將圖像或云臺控制信號傳輸給相應的前端設備。本文只實現系統的基本模型，采用一個云臺設備。可在基本模型的基礎上，擴展成多路傳輸。

3.1 系統硬件平臺

系統的硬件平臺[3]采用的是天嵌的TQ-2440開發板，CPU處理器是 S3C2440AL，主頻為400 MHz，最高可達533 MHz，配備 256 MB的 Nand Flash、2 MB的 Nor Flash以及 64 MB的SDRAM，可滿足系統要求。另外使用了一個V4L2攝像頭，以及一個RS485接口的低端云臺設備。

3.2 系統硬件連接方式

云臺控制器在本系統中是前端的控制設備，它負責接受視頻服務器設備發送的串行編碼信號，其內置解碼器作為中間設備經RS485轉RS232后，與arm9的RS232串口連接，解碼器通過串口與arm9通信。arm9通過串口發送控制信號給云臺，云臺解碼器接受到信號后，對控制信號進行地址解析，解析地址與解碼器內部設置地址一致時，云臺解析控制信號，將其轉換成控制云臺或鏡頭的控制電壓，最后將控制電壓傳遞給云臺和鏡頭，從而實現對云臺轉動以及鏡頭調整的操作。如解析地址與內部設置地址不一致時，則解碼器不進行相應轉換。

系統實物模型如圖5所示。

圖5 系統模型實物圖Fig.5 The figure of system model

3.3 系統軟件平臺

3.3.1集成云臺控制功能

瀏覽器客戶端通過登錄服務器，獲取視頻流以及控制云臺轉動。云臺控制是為了實現多角度監控的功能。因此需要對MJPG-streamer的源代碼進行改寫，集成云臺控制功能。

具體做法如下：

1）在output.h中添加輸出組件命令類型的枚舉類型。

2）在httpd.h頭文件里添加輸出組件命令字符串與命令類型的映射。

3）http.c文件里的command函數的作用是當服務器接收了客戶端的傳值并進行解析后，執行客戶端指定的控制命令。它把控制命令進行進一步解析，解析出命令是屬于攝像頭控制、MJPG-streamer系統控制（如MJPG-streamer重新配置命令）還是筆者添加的云臺控制命令。

在這個函數里，首先調用編寫的云臺設備初始化函數int ptz_device_init（void）。此函數負責打開arm9上的串口設備并進行串口配置[4-5]。

其次，遍歷輸出組件命令字符串與命令類型映射數組，找到與命令字符串相匹配的控制命令類型。

再次，調用添加在output_http輸出組件的實現文件output_http.c中的output_cmd函數。在此函數中，調用控制函數，根據不同的云臺控制命令，發送數據到云臺解碼器。Arm9與云臺通信部分，采用的是PELCO-D協議[6-7]。它的工作流程如圖6所示。

圖6 command函數處理流程Fig.6 Working process diagram of command function

4）把云臺控制功能集成進MJPG-streamer后，需要修改output_http輸出組件的Makefile。修改后的Makefile如下：

3.3.2 移植視頻服務器軟件

首先，移植jpeg庫和SDL庫到開發板根文件系統的/lib目錄下。

然后，將重新集成編譯后的mjpg-streamer相應模塊移植到開發板根文件系統的/lib目錄下，使用到的模塊有攝像頭輸入模塊input_uvc.so，集成了云臺控制功能的 HTTP輸出模塊output_http.so，把執行文件移植到/usr/bin目錄下。

將編寫好的客戶端網頁存放在開發板根文件系統的某個文件夾下，例如/var/Pages。啟動視頻服務器后，指定服務器的輸入組件、輸出組件以及該文件夾的路徑，那么客戶端瀏覽到的頁面就是該文件下的網頁。

3.4 系統瀏覽器客戶端

系統客戶端采用網頁形式，界面如圖7所示。左邊是圖像幀顯示區域，用于顯示服務器端傳送的圖像數據。右邊的方向鍵，則是用于控制云臺設備多角度旋轉。

圖7 瀏覽器客戶端Fig.7 Figure of browser clients

4 結束語

隨著社會信息化的進步，視頻監控作為一項重要的工具，幾乎涉及了所有行業。視頻服務器應用程序在視頻監控系統中扮演著極其重要的角色。本文從特點、處理流程、組件、應用4個方面對開源視頻服務器軟件MJPG-streamer進行分析，理順軟件的處理思路，并將這款開源軟件進行修改后，應用于實際的視頻監控系統的開發，具有一定的參考價值。

[1]Field R T.Software architecture in an open source world[C]//27th International Conference on Software Engineering，ICSE，2005：43.

[2]徐家，陳奇.基于V4L2的視頻設備驅動開發[J].計算機工程與設計，2010，31（16）：3569-3572.

XU Jia，CHEN Qi.Video driver development based on V4L2[J].Computer Engineering and Design，2010，31（16）：3569-3572.

[3]辛朝煥，張仁杰.基于ARM的嵌入式智能視頻監控系統的設計[J].機電一體化，2010（2）：73-76.

XIN Chao-huan，ZHANG Ren-jie.Design and implementation of embedded intelligent surveillance system based on ARM[J].Mechatronics，2010（2）：73-76.

[4]張建軍，陳志雄，韓江洪，等.Linux平臺下串行口全雙工通信的實現 [J].合肥工業大學學報：自然科學版，2003，26（2）：165-170

ZHANG Jian-jun，CHEN Zhi-xiong，HAN Jiang-hong，et al.Implementation of full-duplex serial communication in linux[J].JournalofHefeiUniversityofTechnology，2003，26（2）：165-170.

[5]狄杰恒，王竹林，賈春寧.基于ARM9和嵌入式Linux的串口驅動開發[J].科學技術與工程，2008，8（3）：786-789.

DI Jie-heng，WANG Zhu-lin，JIA Chun-lin.Development of serial driver based on ARM9 and embedded Linux[J].Science Technology and Engineering，2008，8（3）：786-789.

[6]Schneider Electric.TF-0001.PELCO Engineering “D”Protocol Manual[S].USA：Schneider Electric，1999.

[7]周改會，周兵.基于嵌入式插件技術的遠程云臺控制系統[J].微計算機信息，2009，25（2）：29-31

ZHOU Gai-hui，ZHOU Bin.Remote control PTZ system based on embedded plug-in technology [J].Control&Automation，2009，25（2）：29-31.