一種用于圖形設備接口的筆畫模型方法

黃東運 雷歡 盧杏堅

（廣東省自動化研究所）

一種用于圖形設備接口的筆畫模型方法

黃東運 雷歡 盧杏堅

（廣東省自動化研究所）

視頻監控的在屏交互過程中，需要快速地對交互控件、感興趣區域、活動標記等圖形和圖像進行繪制，為避免畫面的停滯感，要求圖形設備接口能快速進行繪制。為此，提出了一種筆畫模型方法。利用DirectX的原始繪制能力，該方法將繪制任務轉換成筆畫對象，使視頻系統在實時運行過程中，只需將已轉換的筆畫對象的繪制數據提交給DirectX進行渲染和顯示即可，降低重復繪制時間，滿足系統的快速繪制要求。基于筆畫模型方法，開發了一種可快速繪制的圖形設備接口。

筆畫模型；原子繪制；二維；三維；DirectX；圖形設備接口

0 引言

隨著計算機技術的發展，傳統的視頻監控系統慢慢退出市場，新的網絡型、智能型、交互型、高清型的視頻監控系統得到快速發展。可交互型的視頻監控系統在視頻窗口繪制多種交互控件、感興趣區域（Region of Interest，ROI）、活動標記的同時，也要求及時響應用戶的外部請求。高清晰度電視使用的數字圖像分辨率最高可達1920×1080像素，幀率高達60 f/s，非壓縮的彩色圖像幀幾乎占用6兆的存儲空間。視頻系統每秒需要繪制大量圖像，并在視頻窗口或全屏顯示的視頻區域內進行交互（簡稱在屏交互），對此傳統的圖形設備接口（Graphics Device Interface，GDI）無法滿足繪制要求。

為更好地提高繪制速度，除了使用性能更高的硬件配置外，在Windows操作系統中，視頻監控系統直接調用DirectX提供的應用編程接口進行圖像和圖形繪制或使用WPF提供的應用編程接口進行繪制。DirectX是微軟為了解決大型游戲系統大量圖像和圖形繪制的需求提出和發展而來的。DirectX9應用編程接口封裝完全針對3D圖像或圖形的繪制，對于大部分情況下使用2D圖像或圖形繪制的視頻監控系統來說，直接使用比較困難，需要大量的編程。WPF是微軟最新發布的GDI，在DirectX的基礎上開發，對DirectX提供的函數和機制進行了進一步封裝。WPF的使用需要龐大的.net框架支持，且對開發系統和環境要求比較高[1]。

本文提出一種筆畫模型方法，該方法利用DirectX提供的原始繪制和紋理渲染功能，實現視頻窗口快速繪制，可以滿足大分辨率數字圖像和大幀率播放的視頻窗口繪制任務的要求，為視頻監控系統提供一種易用、開發環境和應用環境要求較低、功能強大的圖形和圖像繪制模塊。與此同時開發出一種基于筆畫模型的圖形設備接口（Stroke Modeling Based Graphics Device Interface，SM-GDI），以該模塊為例描述筆畫模型的方法、原理和使用方式。

1 視頻監控系統的繪制過程

圖像設備接口的主要功能是對各種幾何圖形，如直線、圓、橢圓、矩形以及文字和數字圖像在窗口或屏幕上進行繪制。視頻監控的視頻窗口中圖像和圖形繪制一般包括兩個部分：① 背景圖像幀的繪制，即當前采集到的數字圖像；② 前景圖形對象的繪制。典型的視頻窗口繪制過程如圖1所示。

圖1 典型的視頻窗口繪制

繪制過程中，一般先繪制背景圖像，然后繪制前景對象，如交互控件、活動標記。繪制背景圖像時一般需要繪制整個視頻窗口。每次繪制完成后，需要將所有的前景對象重新繪制一遍，然后提交給顯示器進行顯示。

整個繪制的過程（見虛線框內）由繪制背景圖像和前景對象所需要的時間及提交給顯示器顯示的時間構成。背景圖像的數量一般不變，但圖像分辨率越大繪制時間越長；前景對象的數量隨不同的應用場所會發生變化，數量越多所需要的繪制時間越長；在提交繪制結果時，提交給顯卡設備的速度越快，耗時就越短；視頻系統的圖像采集幀率越大，視頻窗口里面進行繪制的時間要求越短。

2 基于DirectX的筆畫模型

為滿足大幀率的快速繪制要求，GDI需要降低背景圖像和前景對象繪制時間以及繪制結果顯示時間。在不需要拉伸的情況下，背景圖像的繪制基本上是一個像素拷貝過程，方法優化的可能性不大，而在需要拉伸的情況下，有一定的優化空間；前景對象繪制數量多，各種不同形狀的圖形繪制方法不一，優化的空間很大；繪制結果提交是一個將繪制的內存緩存提交給顯示卡的過程，方法優化的可能性很小。

根據以上分析，提出一種筆畫模型方法。該方法在圖形或圖像繪制過程中，繪制運算結果不直接作用在目標緩沖區，而是轉換成DirectX可以識別和使用的頂點和紋理數據，在需要顯示的時候，直接將這些數據提交給DirectX進行渲染，減少前景對象繪制的時間，從而加快整個系統的圖像圖形的繪制速度。

2.1 DirectX

DirectX軟件開發套件是微軟為開發多媒體應用提供的后臺通道。DirectX是一套底層應用編程接口，用于創建游戲和其它高性能的多媒體應用。支持高性能的2D和3D圖像繪制[2]。為保持一致，DirectX的應用編程接口以3D圖像繪制要求為標準。除了提供硬件加速功能外，DirectX還提供下面幾項重要的幾何圖形繪制和渲染功能：

(1) 基于頂點繪制的多種類型的點、線、三角形繪制；

(2) In-Memory Surface直接繪制到Video Card Surface；

(3) 利用Video Card Surface的拉伸功能進行數字圖像拉伸繪制加速；

(4) 靈活的紋理渲染功能。

DirectX提供的這些功能和接口，可以實現2D 圖形設備接口中要求完成的幾何圖形和BITMAP格式數字圖像的繪制任務，滿足文中提出的利用筆畫模型方法實現GDI的底層接口要求。

2.2 筆畫模型

SM-GDI將視頻窗口看作一個畫板，每次繪制的結果，都被稱之為筆畫。在進一步描述模型方法之前，需要闡述本文的3個定義。

定義1 筆畫：一個單獨的繪制執行，可以是一個基本的幾何圖形，如點、直線、圓或一段文本、一幅圖片。在系統中被認為是不可再分的最小繪制單位。

定義2 原子繪制：在每次繪制的過程中，繪制對象的屬性即顏色、透明度、筆畫粗細和繪制質量都是一致的。

定義3 原子繪制函數：將一個繪制任務轉換為唯一的筆畫對象。原子繪制函數需滿足以下兩個條件：① 必須與唯一的筆畫對象有關；② 必須滿足原子繪制條件，即繪制對象的屬性是一致的。

筆畫模型方法的主要思想是在繪制過程中不直接將繪制結果作用在目標內存緩沖區，而是在初次繪制的時候將需要繪制的任務轉換成DirectX可以識別的頂點或紋理數據，然后在每次需要重新繪制的時候，直接將這些數據提交給DirectX進行渲染和顯示。

筆畫模型方法包括三個方面：① 原子繪制函數的實現；② 應用編程接口（Application Programming Interface，API）繪制函數的封裝；③ 應用程序的對API繪制函數的調用方式。為了更好說明筆畫模型方法，本文以基于該方法開發的SM-GDI為實例，在第3、4、5節里面分別進行描述。

3 原子繪制函數的實現

GDI需要繪制的對象主要包括：幾何圖形、文本和數字圖像。在筆畫模型的繪制方法中，筆畫模型將繪制任務轉換成筆畫對象。在實現過程中，實際上是將輸入的幾何點坐標、文本，對齊方式和數字圖像數據以及一些特殊要求的繪制參數，轉換成不同類型的原始繪制的頂點數據和紋理數據。在原子繪制函數中，轉換后的數據被封裝成筆畫，其筆畫數據滿足原子繪制的要求。下面描述在原子繪制函數中，不同情況下的繪制任務轉換方法。

3.1 幾何圖形

幾何圖形包括點、直線、曲線（如圓弧）、封閉圖形（如多邊形）等。根據DirectX提供的原始繪制功能和幾何圖形屬性，需要將不同幾何圖形繪制任務轉換為包含不同屬性的頂點數據的筆畫對象。基本的轉換方式如下：

(1) 點：根據所選擇的筆型轉換成相應的原子繪制頂點數據。如果筆型的寬度為1，轉換為D3DPT_ POINTLIST類型的頂點數據；如果線寬大于1，轉換為D3DPT_TRIANGLE_FAN類型的頂點數據；

(2) 直線：根據所選擇的筆型轉換成相應的原子繪制頂點數據。如果線寬為1，轉換為D3DPT_LINE_LIST類型的頂點數據；如果大于1，轉換為D3DPT_TRIANGLE_LIST類型的頂點數據；

(3) 曲線：如果不需要填充，在曲線轉換過程中，首先需要計算組成曲線的幾何點，然后將這些點擬合成線段，最后按照直線方式進行處理；如果需要填充，則轉換為D3DPT_TRIANGLE_FAN類型的數據；

(4) 封閉多邊形：如果不需要填充，轉換成D3DPT_LINE_STRIP類型的頂點數據；如果需要填充，且為凸面，轉換成D3DPT_TRANGLE_FAN類型的頂點數據；如果需要填充，且為非凸面，則轉換成D3DPT_TRANGLE_LIST類型的頂點數據。

3.2 數字圖像

在繪制數字圖像時，需要進行拉伸、縮放、旋轉、變形、排列、某一區域內對齊等繪制。面對各種不同的繪制要求，轉換方法為：首先將圖像轉換成大小相同的紋理對象；然后根據不同的繪制要求，設置不同的紋理坐標和畫板上的目標坐標；最后按照D3DPT_TRANGLE_STRIP類型的頂點進行繪制，達到特定的繪制效果。因此，圖像繪制函數的筆畫包含紋理數據和兩個D3DPT_TRANGLE_STRIP類型的頂點數據。紋理坐標和目標坐標計算方法如下：

(1) 拉伸：將拉伸后的矩形的四個目標坐標設置成紋理的目標坐標，對應的紋理坐標分別為(0,0), (0,1),(1,1), (1,0)；

(2) 縮放：根據縮放因子，計算出縮放以后的目標坐標位置，然后按照拉伸方式處理；

(3) 旋轉：根據數字圖像的大小和旋轉角度，以圖像中心為旋轉中心，然后計算旋轉后的圖像矩形坐標，將結果設置成紋理的目標坐標，最后按照拉伸方式處理；

(4) 變形：直接將指定的四個頂點坐標設置成紋理目標坐標，然后按照拉伸方式處理；

(5) 排列繪制：將紋理的尋址模式設置成包裝模式，然后將目標區域矩形的坐標設置成紋理目標坐標，最后通過重復繪制的數量計算出紋理頂點坐標；

(6) 某一區域內對齊：根據矩形區域的大小和對齊方式，計算出目標坐標位置，紋理坐標不變。

3.3 文本繪制

文本的繪制需要將繪制任務轉換成包含一個紋理對象、兩個用于控制紋理繪制的D3DPT_TRI、ANGLE_STRIP類型的頂點數據的筆畫對象。其繪制過程分兩個階段：

(1) 使用操作系統的應用編程接口，將文本編碼轉換成BITMAP的數字圖像；

(2) 根據當前字體對象的屬性和繪制參數，將數字圖像轉換成紋理對象，然后按照D3DPT_TRANG、LE_STRIP類型的頂點進行繪制。

4 API函數的封裝及調用方式

在SM-GDI中，API繪制函數是連接上層應用程序和原子繪制函數的中間接口。涉及API繪制函數的封裝方式和調用方式如下：

每個繪制函數返回一個筆畫對象，同時對繪制函數增加一個筆畫對象參數。當應用程序調用對應的函數時，如果輸入的筆畫對象為空（NULL），繪制函數則自動創建一個新的筆畫對象，然后返回該對象。如果輸入一個已經存在的筆畫對象，繪制函數將直接在該筆畫對象上進行修改。

如筆畫模型的繪制直線函數為：

該函數繪制同一條直線，返回一個筆畫對象句柄。筆畫對象句柄的返回和重用可以保證繪制的順序，但不會對筆畫對象進行反復重建。

當應用程序進行繪制函數的調用時，方式如下：

其中m_hLine為保存筆畫對象的變量，需要一個比較大的訪問域（如模塊級或類級）以保證在調用結束后不會丟失筆畫對象句柄。

在實際的應用中，需要對已有的筆畫對象進行擦除或修改，為了降低繪制時間，SM-GDI提供專門的繪制函數直接對筆畫對象進行修改或刪除。表1是以繪制直線為例，說明不同繪制操作下調用函數方式。

表1 不同操作下的函數調用

5 視頻監控系統中的應用

為了滿足快速繪制要求，SM-GDI在應用過程中，將繪制過程劃分兩個階段完成，即離線狀態下的繪制和在線狀態下的實際渲染和顯示。離線狀態下的繪制一般為系統初始化階段的繪制，如圖2所示。在這個階段數字相機還沒有進行圖像采集，系統進行必要的初始化工作，對圖像和圖形繪制沒有嚴格的時間要求。在該階段，調用SM-GDI的繪制函數在視頻窗口中進行創建交互控件、ROI、活動標記等對象。

圖2 初始化階段的繪制

在視頻運行階段，視頻系統處于連續采集狀態下，需要不斷地對視頻窗口刷新。與傳統GDI繪制不同的是，該階段對前景對象繪制時不需要對組成幾何對象的像素重新計算，只需將已經轉換好的模型數據直接提交給DirectX進行渲染，降低繪制計算時間，如圖3所示。

圖3 視頻運行階段的繪制

6 性能評估

基于DirectX和筆畫繪制的模型將從時間復雜度和空間復雜度兩方面進行分析。由于DirectX提供一個與顯卡快速通信的后臺通道，并提供原始的繪制接口，整個性能的分析主要集中在筆畫模型方法的評估。由于筆畫模型方法中每次原始繪制僅僅生成一個筆畫對象，SM-GDI需要對這些筆畫對象進行管理，因此，還需要對筆畫管理方法的復雜度進行評估。筆畫模型的性能評估從時間復雜度和空間復雜度兩個方面進行。

6.1 時間復雜度

(1) 圖形圖像繪制

SM-GDI主要繪制幾何圖形、數字圖像和文本。數字圖像和文本繪制的很多工作都是交給操作系統或顯卡完成的，時間復雜度相對簡單。幾何圖形由于形狀差異，其時間復雜度不一樣，需要分不同情況處理，表2列出了幾種對象繪制的時間復雜度。

表2 各種圖形圖像繪制的時間復雜度

幾何圖形的繪制過程中，實際上將定義給幾何圖形的幾個幾何點計算成組成該幾何圖形的離散點（像素），然后將該幾何點按照不同的部分擬合成DirectX需要的線段點陣。對于點和直線來說，可以直接應用到DirectX函數，時間復雜度為O(1)；對于多線段的幾何圖形如矩形，時間復雜度為O(n)，其中n為線段數量。曲線圖形如圓需要先將曲線轉換成點序列，然后再擬合成線段。其時間復雜度由兩部分組成：①曲線的繪制采用王潤云等[3]提出的快速的Bresenham方法，時間復雜度為Od(ncl)，其中ncl為曲線長度；② 線段擬合采用梯度合并方法，時間復雜度為Oa(npl)，其中npl為點序列長度。因此其總時間復雜度為Od(ncl)+Oa(npl)。復雜的幾何圖形由以上基本圖形組成，其時間復雜度為每個基本圖像的時間復雜度的總和。

數字圖像的繪制需要將其轉換為DirectX中的紋理或表面。在不拉伸的情況下，數字圖像主要為逐點拷貝。對二維數字圖像來說，為O(m×n)，m和n分別為圖像的長度和高度。對于拉伸的情況，不同的取樣方式時間復雜度不同。在本模型中，由于像素取樣方法由顯卡硬件實現，故可忽略像素取樣時的時間復雜度。因此，不管哪種情況，均可認為數字圖像的時間復雜度為O(m×n)。

文本分為矢量文本格式和點陣格式。無論哪種格式，都需要將它們轉成數字圖像，然后轉成紋理提交給DirectX進行渲染。將文本格式轉成數字圖像由操作系統完成，這個轉換過程的時間復雜度不考慮，轉換的時間復雜度為Ot(l)，其中l為文本中的字符數，總的時間復雜度為Oi(m×n)+Ot(l)。

(2) 筆畫對象管理

筆畫對象使用雙向鏈表進行管理，在全新繪制階段，SM-GDI直接生成一個筆畫對象，然后填加到鏈表表尾，時間復雜度為O(1)。在實際繪制階段，將筆畫對象的頂點和紋理數據傳入DirectX，時間復雜度為O(n)，n為筆畫對象的數量。筆畫對象刪除的時間復雜度與一般雙向鏈表刪除的時間復雜度相同，其值為O(1)。系統管理對象的時間復雜度如表3所示。

表3 系統管理對象的時間復雜度

除了重繪時的時間復雜度為線性外，其它情況時間復雜度均為O(1)。在進行視頻窗口繪制時，需要遍歷雙向鏈表，繪制時間會隨著筆畫對象的增多而增多，即線性增長。其它情況下，系統計算時間不會隨著筆畫對象的增加而增加，降低系統性能。

由上述分析可以看出，新系統的計算時間主要集中在圖形圖像的繪制過程中，這些繪制可以在系統初始化階段完成，降低了整個系統的計算時間。

6.2 空間復雜度

筆畫模型方法不是直接將繪制結果輸出到目標緩沖區上，而是建立一個筆畫對象，保存DirectX可以識別的線段的點陣，因此必須增加額外的內存空間。在繪制過程中，數字圖像需要轉化為紋理對象，空間復雜度為O(m×n)。文本需要先轉成數字圖像，然后再轉成紋理對象，空間復雜度為Oi(m× n)+Oi(m× n)。所有幾何圖形最終轉換成線段的頂點點陣，空間復雜度為O(n)，其中，n為轉換后的組成幾何圖像點的數量。使用鏈表管理筆畫對象，需要額外的用于空間管理對象的指針，空間復雜度為O(x)，其中x為筆畫對象的數量。各對象繪制的空間復雜度如表4所示。

表4 各對象繪制的空間復雜度

與直接繪制到目標緩沖區的GDI相比較，基于筆畫模型的SM-GDI需要額外的一倍或數倍于繪制對象本身的內存空間。在現代計算機硬件快速發展的今天，這些內存空間已經不成問題。

7 實驗結果

在視頻系統里面，每次繪制都需要將背景圖像幀重畫，測試主要針對前景對象進行。為了有一個相對完整的測試結果和性能比較，本文針對前景對象設計了6組測試用例，繪制任務從少到多依次增加，見表5。基本的繪制內容包括橢圓、矩形、中英文文本和數字圖像。為了使測試結果更具直觀性，防止屏幕停滯感，將增加當前操作系統時間的顯示（以毫秒為單位），該顯示不作為基本繪制內容來設計測試用例。

表5 繪制測試用例

每組用例在兩個不同的GDI中進行：Windows XP提供的GDI和利用本文方法開發的SM-GDI。圖4是不同GDI在測試過程中的一組測試用例的繪制結果。

圖4 兩個不同GDI繪制結果

測試在Windows XP Professional操作系統上進行，硬件基本配置為Intel(R) Core? 2 duo CPU2.10G，2.0G內存。DirectX版本為October，2004。背景圖像的分辨率為1024×768像素，24位真彩色。記錄的測試結果為每秒可以繪制的幀數，均采用觀察到的最大數值。詳細的測試結果如表6所示。

表6 不同GDI的處理速度 幀/秒

從表6的測試結果可以看出，如果按照PAL標準25幀/秒的要求，除了第6次測試結果略小于要求的幀率以外，SM-GDI在其它測試過程中，幀率均可以達到要求。圖5為不同GDI在繪制量逐步增大時的處理速度和變化趨勢。按照每幀重畫的方法進行繪制時，Windows GDI在小繪制量時性能要遠遠好于按照重繪方法進行繪制的SM-GDI，但是當繪制量達到一定程度時，二者性能差異不大。

圖5 不同GDI繪制的幀率變化趨勢

8 結論

通過實驗結果可以看出，筆畫模型方法增加了空間復雜度，需要額外的存儲空間，但它在繪制量增加時，幀率下降速度不會很明顯，即使每次需要繪制的數量達到4000筆畫左右時，響應幀率仍然可以接近

25幀，滿足視頻窗口在大幀率下各種繪制任務的要求。不過，由于筆畫模型方法不直接作用在目標緩沖區，在使用傳統過程進行視頻窗口繪制時，性能反而惡化。在視頻監控的在屏交互過程中，當進行視頻窗口的交互控件繪制時，同一筆畫變化的情況并不多，故本文提出的筆畫模型方法是適用和可行的。

[1] WPF優點之比較GDI,GDI+ Jogholy專欄 http://blog.csdn. net/ joji_h/article/details/3881355.

[2] The DirectX Software Development Kit. DirectX c++ documentary. DirectX SDK Update October 2004.

[3] 王潤云,王志喜.一種快速準確的畫圓方法[J].四川工業學院學報, 2004,23(02):43-44,53.

A Method Named Stroke Modeling for Building Graphics Device Interface

Huang Dongyun Lei Huan Lu Xingjian
（Guangdong Institute of Automation）

When the live video surveillance system interacts with users, it needs fast implementation for drawing or painting user controls, interested region picks, activity marks as well as digital images to avoid a frozen display, that requires the graphics device interface modules to draw or paint quickly. We propose a new method named stroke modeling, which takes the advantages of drawing primitives provided by DirectX to transform drawing tasks into stroke objects, enabling the video systems in its run time to fulfill a fast implementation for render or display by submitting the pre-generated stoke objects to the DirectX, cutting off the drawing time dramatically. Following the method, we have developed a graphics device interface module which may be used for quick graphical rendering or drawing.

Stroke Modeling; Atomic Drawing; 2D; 3D; DirectX; GDI

黃東運，男，1975年生，碩士，研究方向：機器視覺、圖像識別。E-mail: buffi@qq.com。