一種基于通用軟硬件的醫(yī)學(xué)立體多媒體直播和錄播制作系統(tǒng)的構(gòu)建

劉 惺 王曉晟 王慷慨 漢建忠 周鳴鏑(．中南大學(xué)基礎(chǔ)醫(yī)學(xué)院 長沙 4007;．長沙上策文化傳播有限公司 長沙 4000)

引言:人類具有雙眼雙耳以及大腦處理后形成的立體視覺和聽覺，極大幫助了人類認(rèn)識和改造世界。基礎(chǔ)醫(yī)學(xué)教學(xué)領(lǐng)域雖然越來越多利用多媒體以及虛擬仿真技術(shù)等輔助手段，完成一些更適合的內(nèi)容，但絕大部分多媒體，尤其是視覺部分，并不是立體的，給某些需要學(xué)生得到視覺深度信息的學(xué)習(xí)留下不少遺憾。在當(dāng)下媒體及虛擬仿真技術(shù)發(fā)展迅猛的新時代，發(fā)達(dá)國家基礎(chǔ)醫(yī)學(xué)教學(xué)中已經(jīng)廣泛采用了立體影像技術(shù)，我們也很有必要與時俱進(jìn)，研發(fā)并使用一些最新的多媒體技術(shù)手段提升基礎(chǔ)醫(yī)學(xué)教學(xué)品質(zhì)。

本文就介紹一套基于市場上性價比極高的計算機和攝錄制播通用軟硬件，構(gòu)建的一套立體視音頻以及VR/AR/MR內(nèi)容創(chuàng)建系統(tǒng)，用于基礎(chǔ)醫(yī)學(xué)在線流媒體直播或更高品質(zhì)錄播教學(xué)，提高教學(xué)效果。本系統(tǒng)絕大部分采用了免費自由開源操作系統(tǒng)和應(yīng)用軟件，制作流程上也有非常多的原創(chuàng)性，從一年多的應(yīng)用來看，達(dá)到了世界先進(jìn)水平。

1 系統(tǒng)功能目標(biāo)

1)實拍樣本及操作的立體影像;2)實拍教師講解的影像和聲音;

3)利用色鍵摳像處理后的多角度高畫質(zhì)實拍照片上傳云端智能自動化處理，得到人類或其他生物器官標(biāo)本三維建模，并在本系統(tǒng)實時生成可用各種輸入裝置操作互動的立體影像;

4)實拍或者計算機生成的三維立體影像與實拍場景或者本系統(tǒng)計算機生成的虛擬場景進(jìn)行合成，創(chuàng)建虛擬現(xiàn)實VR、增強現(xiàn)實AR和混合現(xiàn)實MR內(nèi)容。

5)以上實拍和計算機生成的內(nèi)容可以利用本系統(tǒng)實現(xiàn)流媒體直播或后期制作為更精致的課件。

2 系統(tǒng)外觀

3 硬件

3．1實拍音視頻采集部分

(1)帶麥克風(fēng)的USB高質(zhì)量攝像頭。攝像頭可以說是本項目的核心部件之一，加上實拍立體影像的特殊要求，選型非常重要。

用于常規(guī)內(nèi)容拍攝的傳統(tǒng)立體攝像系統(tǒng)并不適合，因為它們的尺寸太大，瞳距通常最小也是60mm左右，模擬的是正常人類觀察日常世界。而立體拍攝小型動物、小型植物以及人體器官解剖屬于比較微觀場景的微距攝影，難點在于合適的攝像頭組件應(yīng)盡可能小，才能組成瞳距足夠小的立體攝像頭對，滿足我們的拍攝需求。

對于立體拍攝而言，選用的攝像頭要具備良好的微距成像能力，景深宜深不宜淺，可采用軟件鎖定聚焦、白平衡、曝光量等光學(xué)和視頻參數(shù)，防止固定距離定焦拍攝時各種自動參數(shù)造成的誤動作。

另外，此類攝像頭最好帶有高品質(zhì)的麥克風(fēng)，采用USB2．0或3．0接口連接計算機，不需要額外采購視音頻采集卡，大大降低系統(tǒng)總造價和使用安裝難度。

市場上符合我們這些特殊需求，且性價比高的攝像頭并不多見，到發(fā)稿時止，只有極少數(shù)幾款。

本項目入門級可選微軟(Microsoft)LifeCam Studio夢劇場精英版USB攝像頭。

進(jìn)階級可選4KUSB攝像頭，但目前市場上沒有合適的外形和尺寸組微距拍攝立體對。

本系統(tǒng)選用了三只同款攝像頭，一只用來攝錄主講教師，另外兩只用來組成立體拍攝對。所選攝像頭采用定焦鏡頭，為了看清被攝物體細(xì)節(jié)，拍攝距離最近可以湊近物體10厘米左右，我們選用的這款微軟全高清攝像頭，最小間距可以減小到人眼間距的2/3左右，所以，拍攝平均20厘米遠(yuǎn)的物體最終立體成像效果約等于人眼觀察30厘米遠(yuǎn)的物體，觀眾還不至于太難受。如果還想進(jìn)一步縮小拍攝距離，還要在市場上尋找體積更小方便組建更小左右視差間距，但攝像頭太小，一般光學(xué)和傳感器性能也會減弱，這是有些矛盾的。

(2)攝像頭及被拍攝物體承載。這套系統(tǒng)攝錄的另一個難點在于畫面的穩(wěn)定性。因為屬于微距拍攝，被攝物體和攝像頭之間不需要的抖動越小越好，否則會很明顯，造成觀看者不適，甚至頭暈嘔吐。為此，我們選用了價廉物美對環(huán)境震動有一定阻尼能力的懸臂麥克風(fēng)減震支架安裝攝像頭組件;一些被攝物體的相對運動則可以依靠現(xiàn)有的慢速電動轉(zhuǎn)盤、電動滑軌、電動升降臺等得到，這類設(shè)備既可以在市場上購買合適的現(xiàn)成產(chǎn)品，又可以在教學(xué)中根據(jù)需要自己開發(fā)研制。當(dāng)然，有些操作用教師雙手進(jìn)行也是必須和自然的，后期可視情況用防抖插件減少不需要的抖動。

(3)立體高像素拍攝手機。具有雙攝像頭立體視音頻及圖片拍攝，甚至帶有裸眼3D顯示屏的手機曾經(jīng)在市場上曇花一現(xiàn)，可惜對醫(yī)學(xué)教學(xué)用途來說，這類早期產(chǎn)品像素太低不具備實用價值。最近的趨勢是廠商重新考慮用雙鏡頭立體相機實現(xiàn)景深計算和AR應(yīng)用，或許未來也會重新出現(xiàn)高像素高畫質(zhì)的立體拍攝功能甚至有附帶自動校正的APP。一旦手機能作為本系統(tǒng)的素材采集設(shè)備，必然大大降低操作難度、提高普及性。

(4)小間距機器人視覺用的USB立體攝像頭模塊。目前市場上此類模塊攝像頭中心間距基本都是60mm規(guī)格，不適合我們的微距立體拍攝，像素也達(dá)不到要求，但未來很可能出現(xiàn)符合我們需求的產(chǎn)品。

(5)摳像幕布。被拍攝物體:標(biāo)本或教師等，都可以用方便摳像的藍(lán)或綠純色背景。拍攝教師時，摳像幕布和LED燈放在教師身后合適位置，使之充滿屏幕(萬一不能充滿，那就要調(diào)整錄像采集軟件或者后期制作軟件裁剪掉穿幫部分)，背景光越勻越好;拍其他物體需要摳像時，可以把幕布折疊縮小后放在物體下方或后方。本系統(tǒng)可以把被拍攝物體實時摳像合成進(jìn)實拍或虛擬場景，也可以后期更高質(zhì)量摳像合成進(jìn)實拍或虛擬場景，為節(jié)目形式的豐富性提供了更多可能。

(6)LED照明。本項目的照明分為，被攝主體照明，摳像背景照明，采用4根LED專業(yè)支架長光源，節(jié)能，不占空間，使用方便，能很好兼顧多種應(yīng)用不同的照明需求。偶爾需要的某些特殊照明可以用教師的手機提供。

(7)普通手機。在本項目中教師可以利用合適的私人手機用于拍攝云端智能自動三維建模所需的多角度高品質(zhì)照片，像素最好高于800萬，能記錄RAW格式更好。當(dāng)然拍攝完畢后，教師需要用數(shù)據(jù)線或者無線聯(lián)網(wǎng)方式把拍攝的素材傳到本系統(tǒng)主機中用合適的應(yīng)用軟件處理，再上傳到云服務(wù)網(wǎng)站。手機有時候還提供特殊照明和隨時隨地補錄解說。

3．2計算機主機部分。由于本系統(tǒng)計算機主機要接入大量外設(shè)，尤其是USB設(shè)備，試驗表明，普通USB hub不能實現(xiàn)多攝像頭同時使用，所以我們的計算機主機選用臺式機，沒有采用筆記本電腦。

(1)CPU。目前在美國未對中國禁售民用高端CPU的情況下，合適的CPU實際上有這么幾家

美國:INTEL、AMD(都是X86架構(gòu))

國產(chǎn):龍芯(MIPS架構(gòu))、飛騰(ARM架構(gòu))等等

我們推薦使用最新款intel桌面版高端CPU，在本項目應(yīng)用中有兩大獨特優(yōu)勢:

1)AVX指令集:首創(chuàng)于INTEL的AVX指令集比后來者AMD有明顯優(yōu)勢更高效處理本項目的多媒體應(yīng)用，如果本系統(tǒng)今后是以實拍內(nèi)容制作為主，INTEL高端處理器勝出。如果是以BLENDER等三維動畫軟件建模渲染生成內(nèi)容為主，AMD高端處理器有優(yōu)勢［1］。

2)核芯顯卡QSV:在WINDOWS和MACOS系統(tǒng)，應(yīng)用軟件可以利用intel QSV硬件編碼H264和H265視頻，速度遠(yuǎn)遠(yuǎn)超過開源免費的X264軟件編碼(但低碼率編碼質(zhì)量，X264目前還有一定優(yōu)勢)或者編碼質(zhì)量遠(yuǎn)遠(yuǎn)超過同碼率的NVIDIA、AMD類似硬件編碼［2］。

很可惜國產(chǎn)CPU目前在此應(yīng)用項目性能落后十年左右，基本上達(dá)不到多路實時全高清采集和快速后期制作的要求，只能等今后性能追上來后才能使用。

(2)GPU。目前在美國未對中國禁售民用GPU的情況下，適合本系統(tǒng)的GPU實際上有這么三家，

NVIDIA、AMD、INTEL。

NVIDIA GPU在本項目中具有獨特優(yōu)勢:

當(dāng)前，在D3D，open GL實時三維動畫領(lǐng)域，NVIDIA的GPU有性能功耗優(yōu)勢;其CUDA通用計算功能也很受一些軟件開發(fā)者歡迎;在視頻處理所需的單精度浮點運算領(lǐng)域，以及NVIDIA RTX?實時光線追蹤渲染電影級品質(zhì)的畫面，NVIDIA也具有一定優(yōu)勢。所以我們在系統(tǒng)中選配當(dāng)前市場上性價比更高的中端NVIDIA獨立顯卡完成所需功能［3］。

(3)主板。如果選定INTEL帶核顯的CPU，我們這個項目特殊的要求是主板必須具備核顯4K顯示輸出接口，用來激活核顯的QSV以及外接4K電視做監(jiān)視器。

(4)內(nèi)存。此項目需要的內(nèi)存是8GB起步，為了核顯性能，發(fā)揮雙通道內(nèi)存的速度優(yōu)勢，我們可以使用偶數(shù)根同容量的內(nèi)存條并按照主板說明書的要求插在正確的內(nèi)存槽上。

(5)SSD。系統(tǒng)、應(yīng)用軟件以及一些緩存臨時文件等隨機讀寫數(shù)據(jù)使用固態(tài)盤存放能極大提高用戶的使用體驗，本項目也不例外，由于我們安裝的軟件少而精，總共128GB的容量就夠了，其中WINDOWS系統(tǒng)+軟件64GB即可;深度DEEPIN LINUX系統(tǒng)+軟件32GB即可;剩下的空間可以用作系統(tǒng)的交換分區(qū)和EFI系統(tǒng)引導(dǎo)分區(qū)(采用GUID分區(qū)表)。

(6)HDD。本項目實拍采集的數(shù)據(jù)以及制作過程中產(chǎn)生的大量順序讀寫數(shù)據(jù)最合適的存儲介質(zhì)仍然是傳統(tǒng)的機械硬盤，最好選用目前口碑比較好的日立企業(yè)級硬盤。由于機械盤磁頭在盤片外圈讀寫速度要高于內(nèi)圈，我們可以把機械數(shù)據(jù)盤合理分區(qū)，滿足攝錄、后期制作、數(shù)據(jù)存檔對數(shù)據(jù)吞吐速度不同的需求。具體來說，攝錄原始素材和后期制作過程中產(chǎn)生的高碼率中間數(shù)據(jù)對磁盤吞吐要求高，我們可以把這些數(shù)據(jù)讀寫安排在硬盤外圈分區(qū);高畫質(zhì)成品等數(shù)據(jù)存放在硬盤中間區(qū)域分區(qū)，而內(nèi)圈分區(qū)，我們存放不太常用的成品和歸檔壓縮包。

(7)CPU散熱器。本系統(tǒng)在工作時，CPU負(fù)荷很重，如果不注意散熱，容易導(dǎo)致降頻限速，造成攝錄、直播丟幀或者后期制作操作卡頓，成品導(dǎo)出變慢，我們特意給CPU加裝安全成熟的六熱管風(fēng)冷散熱器，能滿足極限壓力下CPU核心溫度不超過90℃(INTELBURNTEST極限+AIDA64監(jiān)控實測為75℃左右)，實際散熱效果不亞于普通水冷，同時沒有水冷天長日久漏液和噪聲大影響老師講解錄音的問題。

(8)機箱電源．本系統(tǒng)機箱在滿足審美基礎(chǔ)上，能兼容高性能散熱即可，電源總功率預(yù)算450W以上。

3．3人機交互部分

(1)無線鍵鼠。在攝錄時老師可能要進(jìn)行一些操作，加上本機主板USB口利用率高，我們推薦只占用一個USB口的接收器搞定的無線鍵鼠。

(2)顯示器。本項目采用雙臺4K顯示器，一臺4K27寸做軟件界面顯示器，一臺4K－45寸做拍攝監(jiān)視器。這兩臺顯示器顏色還原性盡可能滿足專業(yè)需求。

(3)立體觀屏鏡。這種簡單的光學(xué)裝置能把任何大顯示屏變成立體顯示設(shè)備，用于本項目拍攝和后期制作時立體調(diào)參預(yù)覽用。

(4)監(jiān)聽耳機。本系統(tǒng)中電視機帶有音箱，可提供外放音頻監(jiān)聽，為避免干擾辦公室其他工作，也可以用一般的耳機監(jiān)聽，沒有特殊要求。

(5)手機。在本項目中可以利用教師或?qū)W生私人手機當(dāng)作頭顯顯示屏，像素最好達(dá)到2160P UHD 4K，最低不要低于1080P全高清FHD(當(dāng)然，這個像素當(dāng)頭顯顯示器已經(jīng)很粗糙了)。

(6)帶藍(lán)牙控制器器的中檔手機VR頭盔。這種簡單的裝置能把手機變成立體VR/AR/MR終端設(shè)備，利用手機自帶傳感器和藍(lán)牙控制器還能完成一些簡單的互動。在目前算是一種廉價利于普及的附件，即使VR/AR/MR體驗差點，作為沉浸感比較強的立體視音頻播放設(shè)備還是可以的。

3．4硬件安裝重點和特殊點。

0)CPU散熱器以及導(dǎo)熱硅脂一定要確保全裝穩(wěn)定可靠，防止使用時CPU過熱降速。

1)為了充分釋放核顯在本項目中的INTEL QSV編碼解碼功能和性能，內(nèi)存安裝時一定要插對槽，確保工作于雙通道模式。

2)獨立顯卡一定要插在主板說明書推薦的槽，確保獨顯性能完全釋放。

3)必須定期檢查主板官方有無bios固件更新，并升級到最新版，及時修復(fù)主板功能、安全和性能BUG。

4)所有外設(shè)接口優(yōu)化插在最合適的接口，尤其是USB設(shè)備

5)主板BIOS參數(shù)一般保持默認(rèn)即可，由于我們還會裝LINUX系統(tǒng)，在安裝前記得把這里改成其他操作系統(tǒng)(不同型號的主板顯示可能有差別)。

4 軟件

原則上盡量使用免費開源的操作系統(tǒng)和應(yīng)用軟件，但由于目前閉源商業(yè)軟件在功能性能上有明顯優(yōu)勢，我們還是采用了一套高性價比的商業(yè)軟件和免費開源軟件混合解決方案。如果今后如果硬件采用國產(chǎn)芯片，應(yīng)用軟件生態(tài)也會轉(zhuǎn)向以開源為主，我們也有開源免費方案備用。在系統(tǒng)開機時，用戶可以選擇進(jìn)入不同的操作系統(tǒng)。

4．1操作系統(tǒng)。我們選配的硬件實際上可以安裝多種操作系統(tǒng)，例如商業(yè)收費的微軟的視窗WINDOWS系列、蘋果的MACOS系列、開源免費的各種LINUX發(fā)行版等，針對我們對功能和性能需求，我們決定選擇美國微軟視窗WINDOWS 10 64位教育版(更新到最新狀態(tài))［4］作為主用;它是目前最能充分發(fā)揮本機硬件功能和性能的操作系統(tǒng)，應(yīng)用軟件也最為豐富;中國武漢深度DEEPIN LINUX 64位桌面版(更新到最新狀態(tài))［5］作為備用，深度系統(tǒng)還能運行在龍芯等國產(chǎn)CPU上，雖然暫時性能落后，但夠用就行，在中美貿(mào)易戰(zhàn)、技術(shù)戰(zhàn)難以避免的國際環(huán)境下，今后潛力很大。

4．2應(yīng)用軟件。未注明的都是免費或自由開源軟件，兩個操作系統(tǒng)基本采用相同的主要軟件完成所需功能，所以使用者一經(jīng)掌握，可以實現(xiàn)跨平臺平穩(wěn)過渡。

(1)WINDOWS 10 64bit簡體中文教育版(商業(yè)閉源免費版)環(huán)境下的應(yīng)用軟件

系統(tǒng)硬件檢測類:INTELBURNTEST，AIDA64(商業(yè)閉源免費版)，AS_SSD_Benchmark

辦公套件:WPS(商業(yè)閉源免費版)

PDF閱讀:福昕閱讀器(商業(yè)閉源免費版)

視頻音頻錄播直播:OBS

實拍轉(zhuǎn)3D模型云服務(wù):http://www．3dcloud．cn/(商業(yè)閉源免費)

實時三維人體快速建模:MakeHuman，Complete Anatomy(商業(yè)閉源免費+內(nèi)購)

實時三維動畫/VR制作:BLENDER，BLUFFTITLER(商業(yè)閉源低價)

視音頻剪輯與后期:KDENLIVE，OPENSHOT，Audacity，Ardour，

BMD DAVINCI RESOLVE(商業(yè)閉源免費版)，VEGAS PRO(商業(yè)閉源低價)GRASSVALLY HQX CODECS(商業(yè)閉源免費)

矢量繪圖:INKSCAPE

平面繪圖:KRITA

圖像處理:GIMP

特效合成:NATRON

幀率插補:SVP

媒體轉(zhuǎn)換:HANDBRAKE

媒體播放:VLC

網(wǎng)絡(luò)下載:迅雷極速版(商業(yè)閉源免費版)

系統(tǒng)維護:DISM++(非商業(yè)閉源免費)

文件壓縮歸檔:7－zip

云存儲備份:百度網(wǎng)盤(商業(yè)閉源訂閱)

即時通訊:TIM(商業(yè)閉源免費)，WECHAT(商業(yè)閉源免費)

遠(yuǎn)程控制:teamviewer(商業(yè)閉源免費版)

特別說明:SmoothVideo Project(SVP)［6］用在此處是因為市售攝像頭本身可能不具備FHD或UHD高幀率拍攝能力，所以我們使用SVP將成品視頻轉(zhuǎn)換為60+fps(甚至更高)并在視頻播放器中實時完成，減少立體和VR視頻帶來的觀看不適感(某些手機播放器內(nèi)部也帶有手機硬件插值倍幀功能)。

(2)深度DEEPIN LINUX 64bit桌面版環(huán)境下的應(yīng)用軟件［7］

系統(tǒng)硬件檢測類:I－Nex

硬件驅(qū)動:深度顯卡驅(qū)動管理器

辦公套件:WPS(商業(yè)閉源免費版)

PDF閱讀:福昕閱讀器(商業(yè)閉源免費版)

視頻音頻錄播直播:OBS

實拍轉(zhuǎn)3D模型云服務(wù):http://www．3dcloud．cn/(商業(yè)閉源免費)

實時三維人體快速建模:MakeHuman

實時三維動畫/VR制作:BLENDER

視音頻剪輯與后期:KDENLIVE，OPENSHOT，Audacity，Ardour

矢量繪圖:INKSCAPE

平面繪圖:KRITA

圖像處理:GIMP

特效合成:NATRON

幀率插補:SVP

媒體轉(zhuǎn)換:HANDBRAKE

媒體播放:VLC

網(wǎng)絡(luò)下載:迅雷極速版(商業(yè)閉源免費版)

系統(tǒng)維護:深度系統(tǒng)修復(fù)工具深度軟件包管理器深度備份還原工具新立得軟件包管理器

文件壓縮歸檔:7－zip

云存儲備份:百度網(wǎng)盤(商業(yè)閉源訂閱)

即時通訊:TIM(商業(yè)閉源免費)，WECHAT(商業(yè)閉源免費)

遠(yuǎn)程控制:teamviewer(商業(yè)閉源免費版)

4．3軟件安裝重點。

1)必須從各軟件開發(fā)者官網(wǎng)下載可信版本，并進(jìn)行安裝包HASH值校驗，確保下載的操作系統(tǒng)和應(yīng)用軟件未經(jīng)篡改或損壞。用于本項目工作的系統(tǒng)不要安裝任何多余的應(yīng)用軟件，以免影響工作穩(wěn)定性，如果實在要安裝，我們可以用多系統(tǒng)多引導(dǎo)進(jìn)入實驗系統(tǒng)解決。

2)全新安裝操作系統(tǒng)，先裝WINDOWS，再裝DEEPIN，并注意正確設(shè)置多系統(tǒng)引導(dǎo)，系統(tǒng)安裝完畢后聯(lián)網(wǎng)升級到最新狀態(tài)，然后安裝硬件官網(wǎng)最新驅(qū)動，并把參數(shù)設(shè)置為適合本項目的狀態(tài)(講在后續(xù)文章中給出與默認(rèn)設(shè)置不同的參數(shù)截圖)。

3)安裝可信來源的應(yīng)用軟件后，并逐一打開測試，針對本項目優(yōu)化參數(shù)設(shè)置(后續(xù)文章)。

4)在做好系統(tǒng)備份能回滾的前提下，保持系統(tǒng)和應(yīng)用軟件及時更新。

5 總結(jié)

到此為止，這種基于通用軟硬件的立體視頻音頻基礎(chǔ)醫(yī)學(xué)多媒體直播及錄播課件制作系統(tǒng)就搭建完成了，低成本、高效。更重要的工作，是我們的教師和校企合作公司的技術(shù)制作人員，用這套系統(tǒng)生產(chǎn)教學(xué)所需的豐富內(nèi)容。在一年多的生產(chǎn)實踐過程中，我們積累了很多自主研發(fā)的流程和技巧，將陸續(xù)結(jié)合具體項目把制作經(jīng)驗分享給大家。