家庭數碼照片管理領域的本體建模研究

摘 要：數碼相機的迅速普及對照片管理技術提出了嚴峻的挑戰，傳統的基于文本關鍵字的標注和檢索系統已不能滿足人們的需求。因此，基于語義的圖像檢索技術正在快速興起，但語義知識的組織和表達問題始終未能得到有效解決。針對上述問題，提出了一種新的基于領域本體的照片管理方法。該方法的關鍵技術是對照片管理領域進行本體建模。實驗表明了該方法的有效性。

關鍵詞：照片管理； 本體建模； 語義檢索

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695(2009)06-2270-03

doi:10.3969/j.issn.1001-3695.2009.06.082

Research on ontology modeling of digital family photos management

CHAI Yan-mei， ZHU Xiao-yan

(Dept. of Computer Science Technology， Tsinghua University， Beijing 100084， China)

Abstract:

With the rapidly growing popularity of digital still cameras， there are increasing demands for photo management technology. Traditional photo management ways based on file folders/albums are far from such requirement. As a result， the semantic-based image retrieval technology is emerging. While， the problem of semantic knowledge representation couldt be resolved effectively now. Aiming at the problem， this paper proposed an ontology-based digital photos management and retrieval approach. And the key technique of this approach is how to model domain ontology. Experiments on the OntoAlbum system show that the proposed approach is very effective and promising.

Key words：photo management; ontology modeling; semantic-based image retrieval

隨著數字圖像獲取技術的日新月異，數碼相機逐漸進入普通家庭。人們一次郊游或聚會就能產生數以百計的照片。隨著這些照片的不斷積累，如何通過一個簡單查詢就能在成千上萬張照片中迅速找到自己所需的照片，正成為人們日益迫切的需求。傳統的基于文件夾的管理方式已不能滿足這個要求，而目前的智能照片管理研究中還存在許多亟待解決的問題。照片標注的語義知識組織和表達即是問題之一。

目前的照片管理多用文本關鍵字進行標注和檢索，該方式是關鍵字驅動而非概念驅動的。關鍵字驅動的缺點是語義知識未能得到有效組織和規范，因此無法解決語義的相關性和多重性問題。例如，當初被標注為“小狗”的照片就無法在搜索關鍵字為“動物”或“犬”的檢索中被找到。解決這個問題的基本方法就是變無序為有序，即通過建立統一的知識框架模型來組織和規范照片的標注信息。

本體是一種用來提供共享、明確、形式化和一致性概念術語及框架的模型，可以深入、簡潔而有條理地表示復雜的知識體系，而且本體允許知識的共享和復用，具有便于查詢、驗證和維護的特點。因此，本文將本體技術應用到家庭數碼照片管理的知識建模中，可以使照片標注信息結構化和條理化，有效地表現出知識的層次結構和語義。此外，本體模型建立在正確并完備的邏輯學基礎上，因而支持一定程度上的邏輯推理，為照片的智能檢索奠定了基礎。本文將系統研究家庭數碼照片管理領域本體(FamilyAlbum)的建模方法及相關理論，并通過在OntoAlbum實驗平臺中的應用，檢驗其有效性。

1 本體理論

1.1 本體的定義

本體的概念起源于哲學，是人類對自然界存在的一種認識，它意味著知識(knowledge)和知曉(knowing)。雖然歷史上對本體的思考主要是從哲學和邏輯學角度來進行，但前人的成果中蘊涵了很多如何組織現實世界知識的方法。20世紀90年代，本體被引入到信息科學中，在人工智能界被賦予了新的定義，即本體是共享概念模型的明確的形式化規范說明^[1]。

簡單來說，本體的目標是捕獲相關領域的知識，提供對該領域知識的共同理解，確定領域內共同認可的術語，并從不同層次的形式化模式中給出這些術語之間相互關系的明確定義。詳細來講，本體定義包含概念模型、明確、形式化和共享四層含義^[2]。概念模型是指通過抽象出客觀世界中一些現象的相關概念而得到的模型，其表示的含義獨立于具體的環境狀態；明確是指所使用的概念及使用這些概念的約束都有明確的定義；形式化指本體是機器可讀的；共享是指本體中體現的共同認可的知識，是相關領域中公認的概念集。

1.2 本體模型構建的一般方法

本體模型構建是一門組織知識的藝術。對不同的學科領域和工程應用，構建的方法不盡相同。目前還沒有一套完善的標準來規范本體模型的構建，但有不少研究者試圖制定一些準則來指導這一過程。其中最有影響力的是Gruber等人^[3]于1995年提出的五條準則，即明確和客觀性、完整性、一致性、最大單調可擴展性以及最少約束性。

本文在構建用于家庭數碼照片管理領域的本體模型時，即遵循上述準則，并參考了斯坦福大學開發的七步法^[4]。本文構建本體模型的過程可以概括描述為：首先確定本體的應用目的和范圍，再進行本體分析；然后定義本體中的類、排列這些類在層次結構中的位置、定義類的相關屬性并且描述屬性的取值范圍、創建實例并為其填充屬性值；最后進行本體評價，不符合要求的本體要重新進行分析和構建。因此，本體的開發通常是一個反復修改的過程。具體的開發流程如圖1所示。

2 FamilyAlbum本體模型的構建

在家庭數碼照片管理領域，本文首次創建了本體模型——FamilyAlbum。它有以下三個方面的作用：

a）提供知識表示框架。為照片標注和檢索提供明確的、共享的以及概念化的語義知識。

b)提高照片管理效率。本體模型的設計遵循人類思維規律，大大提高了照片的管理效率。

c)支持智能檢索。本體模型建立在正確并完備的邏輯學基礎上，支持一定程度上的邏輯推理，這使得照片管理系統為用戶提供智能檢索服務成為可能。

2.1 體系結構

FamilyAlbum本體的構建以下面的體系結構^[5]為基礎：

O:={C，R，HC，rel，AO}(1)

其中：O代表本體；C代表概念集合；R代表關系集合。HC代表概念等級體系，它是一種定向的關系，又被稱為概念分類法。比如HC（C1，C2）表示C1是C2的子概念。rel代表函數關系，用來表示領域中概念間的交互作用，是一種非概念分類法。AO代表本體的公理集，用恰當的邏輯語言表達，如一階邏輯。

2.2 概念選擇

構建本體模型，首先要確定應用的目的和范疇。FamilyAlbum 本體的目的是用來幫助用戶組織、瀏覽和檢索家庭數碼照片。經過調研發現，人們在照片管理中普遍關心的問題可大致分為兩個方面：

a)與照片文件本身相關的內在特征。 例如照片的標題、存儲大小、分辨率、拍攝時間和拍攝參數（焦距、閃光燈、曝光時間……）。

b)與照片內容相關的外在語義特征。例如照片的拍攝對象、背景/地點、攝影師、相關事件、取景方式、色彩以及拍攝天氣等。

在文獻[6]中，Naaman等人針對“哪些線索在照片管理系統中是重要線索？”這一問題展開了大量的用戶調查研究。研究結果表明：時間、地點、拍攝對象（如人物等）和相關事件是人們最關心的照片查找線索，即4W問題（when，where，who，what）。此外，天氣狀況和氣溫、時間概念（白天/夜晚）、光線狀態（日出/日落）、季節以及色彩等也都被證明是非常重要的線索。同時，本文也對Flickr^[7]網上共享照片的標注信息進行了大量研究和分析，通過詞頻計算法和基于LDA(latent dirichlet allocation)^[8]的主題詞選擇法，對常用詞匯進行了篩選、合并、歸類和語義分析，選出了120個語義詞匯作為FamilyAlbum本體的初始類概念，其中核心概念12個。詞性主要考慮名詞和動詞。

為了盡可能集成和利用現有的領域本體來形成完備的體系結構，本體的構建提倡復用和整合。FamilyAlbum 因為著力于家庭照片的管理，所以還集成了Protégé 本體庫^[9]中的family本體。它是一個較為復雜的家庭關系本體，基于SWRL推理規則，能夠支持家庭成員關系的推理。如uncle(x， z) ←parent(x，y) ∧brother(y，z)。它在Protégé 中的類概念層次關系如圖2所示。

同時，為了滿足照片管理系統的個性化需求，本文設計的FamilyAlbum 本體還采用了可擴展的兩級管理法：a）系統級。定義本體的整體框架和初始類層次結構，由本體創建者管理。b)用戶級。定義本體中的實例，用來提供用戶個性化的標注信息，由用戶管理。這種方式給用戶一定的發揮空間，可極大地滿足不同用戶的不同需求。

2.3 概念間關系的定義

在W3C(World Wide Web Consortium)開發的OWL (Web ontology language) 語言中，關系主要通過屬性來描述。屬性分為三類，即object屬性、datatype屬性和annotation屬性。Object屬性用來連接兩個實例；datatype屬性用來連接一個實例和一個XML shema datatype 值^[10]或一個RDF^[11]文獻；annotation屬性則用來為類、實例和object/datatype 屬性添加注釋信息。依照2.1節中提到的體系結構，FamilyAlbum本體中概念間的關系主要存在以下兩大類:

a）層級體系關系。其中包括概念間的實例關系（instance-of）、種屬關系（is-a）、部分關系（part-of）以及同一邏輯層上的概念間關系。這幾種關系的定義^[11]如下：

定義1 實例關系（instance-of）

設對于概念集中的任意概念C，其外延集E(C)={x|xC}；對于E(C)中的任一元素f∈E(C)，若f的外延集E(f)={f}，則稱f為概念C的實例。記做inst(f，C)。

定義2 種屬關系（is-a）

對于概念集Sc中的概念C1，C2∈Sc，如果有:（a）概念C1的內涵包含C2的內涵，即I(C1)I(C2)；（b）概念C1的外延包含C2的外延，即E(C1)E(C2)。Ais-aB=defx(inst(x，A))→inst(x，B))。 則將概念C1和C2的關系稱為種屬關系。記做is-a(C1，C2)。

定義3 部分關系（part-of）

Apart-forB=defx(inst(x，A)

y(inst(y，B)part(x，y)))

Bhas-partA=defy(inst(y，B)

x(inst(x，A)part(x，y)))

A與B是部分關系，當且僅當對于A的任一實例x，存在B的某些實例與x為部分關系，反之亦然。即定義為

Apart-ofB=defApart-for B Bhas-PartA

上述的幾種關系主要用來組織本體模型中的底層概念。以概念photo類為例，它的層級結構如圖3所示。

除了父類和子類之間存在的種屬關系之外，people_centric_photo和non_people_centric_photol類之間還存在不相交的關系。此外，photoID（照片實例在本體中的惟一標志）、taketime（拍攝時間）、width（寬度）、height（高度）、filesize（文件尺寸）和title（標題）等datatype屬性被用來定義一些與photo概念本身相關的內在屬性。這些屬性可從父類繼承，因而photo 類下面的所有子類均擁有這樣的屬性。

b）交互作用關系，即概念間的屬性關系（attribute-of）。它是非層級的體系關系，類似于函數，有定義域和值域。底層的概念被組織好之后，通過交互作用關系把上層核心概念關聯起來，起到了支撐本體模型框架的作用。本文所構建的FamilyAlbum 本體模型的知識框架結構如圖4所示。

圖4中的節點代表了本體的核心概念，例如person及其子類用來描述who問題，site及其子類用來描述where問題，time及其子類用來描述when問題，event及其子類用來描述what問題，而weather、scene、color等則用來描述用戶關心的其他問題。連線代表了概念間的交互作用關系，箭頭的始發點代表定義域，終點代表值域。這類關系可用OWL語言中的object屬性來描述，如event_participant的定義域為event，值域為person，表示某事件的參與者是某人。此外，object屬性還允許有子屬性，子屬性除了繼承父屬性的特點，還可以有更加具體的指向，如hasTarget 的子屬性hasPerson可以專門指向material的子類person。這些核心概念及其相互關系共同構成了本體模型的知識框架，對領域內的術語和知識進行了有效的組織與規范。

3 應用實現

3.1 FamilyAlbum本體的實現

本文使用Protégé_3.3創建FamilyAlbum，它由斯坦福大學開發研制^[12]，具有全開放、模塊化的特點，使用它來開發本體模型很方便。采用OWL語言來描述、查詢方式簡單和效率高等優點。

本體構建過程中，定義和約束概念及其之間的關系是相當復雜的工作，難免會出現邏輯上的不一致。因此，有必要對建好的本體進行檢驗。本文使用Racer Pro推理機進行輔助建模，它與Protégé 結合可對建好的本體模型進行一致性檢查、發掘本體中概念之間的隱含關系，從而推理出新的分類體系。

3.2 FamilyAlbum本體的應用

為了驗證所建本體的有效性，本文開發了一個基于其的照片管理系統OntoAlbum，用來瀏覽、管理和搜索照片。總的系統結構框架如圖5所示。

在用戶圖形界面中，用戶可以進行照片的瀏覽、標注、查詢以及本體管理。當用戶將照片導入系統數據庫時，系統啟動自動標注處理器。該處理器利用文本分析技術、EXIF信息提取和基于機器學習的圖像內容自動標注等技術對照片進行自動的初始標注，標注信息來自于本體所提供的概念和實例。初始標注難免會有不準確的信息，在以后的瀏覽過程中用戶可進一步根據本體提供的概念進行手工精確標注。用戶也可以根據自己的喜好在圖形界面中創建或修改已有的本體概念。本體、照片以及標注信息均被存入數據庫。當用戶查詢某些照片時，將會啟動查詢處理器，基于本體模型本身的推理功能，該系統可使用W3C的SPARQL語言根據ABox推理進行查詢。例如圖6顯示了OntoAlbum的一個典型界面，當用戶點擊一個person類的實例Anne時， 數據庫中標注了Anne的所有照片將會通過SPARQL語言被檢索出來，并顯示在中間的瀏覽區域。OntoAlbum原型系統的成功應用，充分展示了FaimilyAlbum本體用于照片管理中的有效性。



4 結束語

本文提出了一種將本體技術應用到家庭數碼照片管理領域的新方法。構建了FamilyAlbum本體模型，并詳細設計和描述了該模型的整體框架與概念組織方法。所建本體通過在OntoAlbum原型系統中的成功應用，充分驗證了本文所提方法的有效性。目前的OntoAlbum系統僅實現了基于本體的ABox推理查詢功能，更復雜的基于FamilyAlbum本體的SWRL推理規則及TBox推理查詢還有待于進一步深入研究。

參考文獻：

[1]GRUBER T R. A translation approach to portable ontology specifications [J]. Knowledge Acquisition， 1993， 5(2): 199-221.

[2]STUDER R，BENJAMINS V R，FENSEL D. Knowledge engineering：principles and methods [J]. Data and Knowledge Engineering，1998 ，25(122) :161-197.

[3]GUARINO N， POLI R， GRUBER T R. Towards principles for the design of ontologies used for knowledge sharing [J]. Human Computer Studies，1995，43(5-6):907-928.

[4]NOY N F， GRUNINGER M. Ontology development 101: a guide to creating your first ontology， Technical Report KSL-01-05[R]. 2001.

[5]MAEDCHE A. Ontology learning for the semantic Web [M]. Nonvell: Kluwer Academie Publishers，2002:18-20.

[6]NAAMAN M， HARADA S， WANG Qian-ying， et al. Context data in geo-referenced digital photo collections[C]//Proc of the 12th International Conference on Multimedia (MM 2004). New York:ACM Press， 2004:196-203.

[7][EB/OL]. http://www.flickr.com/.

[8][EB/OL]. http://www.cs.princeton.edu/~blei/lda-c/index.html.

[9][EB/OL]. http://protege.cim3.net/file/pub/ontologies/family. swrl.owl/.

[10]XMLSchema[EB/OL]. http://www.w3.org/TR/xm1schema-2.

[11]RDF[EB/OL]. http://www.w3.org/TR/rdf-primer/.

[12]Protégé[EB/OL]. http://protege.stanford.edu.

[13]李靜，周竹榮，甘誠智. 學習資源的本體建模研究[J]. 計算機工程與設計，2008，29(1):251-255.