韓春花,張俊明,梁建峰,3,殷汝廣
(1.國家海洋信息中心,天津 300171; 2.北京正航科技有限公司,北京 100039; 3.南開大學計算機系,天津 300071)
側掃聲吶探測數據管理系統設計與實現
韓春花1,張俊明2,梁建峰1,3,殷汝廣1
(1.國家海洋信息中心,天津 300171; 2.北京正航科技有限公司,北京 100039; 3.南開大學計算機系,天津 300071)
側掃聲吶調查獲得的數據是一類格式特殊、類型多樣、結構復雜、數據量龐大、包含信息豐富的數據,設計和建立側掃聲吶數據管理系統是數據深層次應用和共享的前提。針對側掃聲吶數據的特點,本文將側掃聲吶獲得的完整數據體系規劃為原始數據層、標準化數據層、目標數據層和元數據層4個層次,設計并開發了側掃聲吶數據管理系統,整個管理系統包括原始數據管理模塊、數據預處理模塊、數據處理模塊、質量評價模塊、數據庫管理模塊和數據成果集成展示與服務模塊。各個模塊既可獨立運行,相互之間又有關聯,形成一個相對完整的管理系統,實現了對側掃聲吶原始數據及各類成果數據多樣化有效處理與管理。該系統已經應用于我國近海海洋綜合調查與評價專項中的全部側掃聲吶調查數據的管理,并取得了較好的效果。
側掃聲吶數據;數據管理;數據體系;管理系統
Abstract:Side-scan sonar data is characterized by special format, large amount and rich information.It is necessary to design and implement the side-scan sonar data management system for these data’s sharing and reusing.Aiming at the characters of side-scan sonar data, the data system is divided into four layers: raw data, standard data, aim data, and metadata.A massive side-scan sonar data management system is designed to manage the data system.There are six modules in this management system.That is, raw data management, data preprocessing, data processing, data assessment, database and data display & service.They can not only operate individually, but also be associated.So a unitary management system comes into being to realize the effective management of both raw data and product data.It has been applied to manage all the side-scan sonar data of Comprehensive Inshore Investigation and Assessment, and good effect has been acquired.
Keywords: Side-scan sonar data; data management; data system; management system.
側掃聲吶融合了聲學、數字信號處理、導航定位和計算機等多種技術,是利用聲波來揭示水體環境下介質結構和性質的有效系統,為人們提供了一種新型的海底面狀數據源,在海底目標探測、海洋地質勘探、海洋工程、港口及航道疏浚等方面具有廣泛的應用[1-7]。側掃聲吶探測所獲取的數據是一類格式特殊、類型多樣、結構復雜、數據量龐大、包含信息豐富的數據。對這類數據的管理與一般的二維數據表有所不同,目前,測量單位對于這類數據的管理普遍采用文件管理的方式,即不同類型的文件分散存放,使用時再利用不同的軟件進行數據回放。這種管理方式雖然簡單,但是數據查詢、調用比較繁瑣,數據利用率及可視化程度都較低,且不方便說明各種類型數據之間的關系,隨著數據量的與日俱增,數據管理、檢索和使用變得極為困難。
側掃聲吶以柵格數據記錄環境聲學特征,輸出圖像產品。通過圖像的人工解譯,獲取海底地形地貌特征,并進一步揭示地質現象和地質作用過程。分析大量的側掃聲吶數據,發現其數據特點如下:
(1)格式的特殊性:側掃聲吶原始數據需要特定的軟件才能讀取,普通編輯軟件是無法讀取的。
不同型號的側掃聲吶系統,存儲的探測數據格式不同;各設備使用者,由于探測環境的差異,采用的參數設置不同,數據的采集和存儲記錄方式沒有統一的標準,導致數據結構和存儲方式差異較大,不利于數據的標準化、統一化管理。
(2)數據類型和結構復雜:側掃聲吶調查獲取的數據類型較多,既有以不同格式記錄的側掃聲吶原始數據、導航數據、水深數據等原始文件,航跡圖、側掃聲吶聲學影像圖等圖件文件,還有現場質量控制的各類班報記錄等文檔說明材料,以及后續的調查報告(包括航次報告)、加工后處理的各類數據-柵格數據、矢量數據、屬性數據等。這些數據和材料種類繁多,數據類型復雜但它們又相互聯系。

圖1 側掃聲吶數據體系Fig.1 Side-scan sonar data system
(3)數據量龐大:側掃聲吶的數據是海量的,且數據的增長和更新的速度也越來越快。單就我國近海海洋綜合調查與評價專項而言,就已經獲取了近2TB的側掃聲吶數據。
(4)包含信息豐富:側掃聲吶數據中記錄了導航、水深、溫度、壓力等各類豐富的信息,對這些信息進一步加工利用,將大大提高數據的價值。
可見,建立側掃聲吶數據結構體系并構建數據管理系統對數據的再利用是十分有意義的。
按照側掃聲吶數據特點,將整個數據體系自下而上分為4個層次,即:原始數據層、標準化數據層、目標數據層和元數據層。采用這種分層次管理數據的方式,可以滿足不同人員、不同研究目標的需求。
原始數據層:包括原始的航次報告、現場測量班報、室內處理班報、資料處理與質量評價報告等文檔材料;原始的導航數據、儀器現場記錄的不同格式的原始數據;標準化數據層:按照有關標準和格式,具有標準命名、標準格式、修正了明顯訛誤的數據、從原始數據中提取或統計計算出的數據(如航跡數據、時間數據、測線長度、測線走向等信息)、解編后的數據等。
目標數據層:主要包括可直接利用的成果數據,包括鑲嵌圖數據、目標圖像數據、目標解譯信息和成果圖件等。
元數據層:元數據基本信息、概要信息、詳細信息[8]。
針對側掃聲吶數據的特點及數據體系管理要求,筆者及相關人員組織開發了大規模側掃聲吶數據管理系統,本系統運行Windows平臺,編程工具采用Visual Studio 2008,全部代碼由C++實現。整個管理系統包括6個模塊,分別為:原始數據管理模塊、數據預處理模塊、數據處理模塊、質量評價模塊、數據庫管理模塊和數據成果集成展示與服務模塊。各個模塊既可獨立運行,相互之間又有關聯,形成一個相對完整的管理系統,既可對原始數據進行管理,也可對原始數據進行加工處理,生成標準化數據、目標數據、提取元數據,并對各層數據進行有效管理。整個數據管理系統與數據體系的關系如圖1所示。
3.1 原始數據管理模塊
該模塊主要是管理原始數據層數據,各類原始數據采用文件形式存儲,不做任何改動,以保證數據的原始屬性。通過原始數據模塊提取原始數據的元數據信息,作為索引信息,方便數據的查詢檢索。該模塊功能主要是可自動生成電子資料的清單目錄,包括:文件名、文件大小、文件類型、創建時間、修改時間、訪問時間、文件所在目錄等信息。
3.2 數據預處理模塊
數據預處理的目的是形成一套具有標準命名、格式統一、修正了明顯錯誤的數據(如異常定位點的刪除),為數據處理作準備。數據預處理模塊的功能包括數據重命名、格式轉換、數據修正等。
3.2.1 數據重命名 各調查單位的數據命名規則不統一,為方便管理和計算機自動批處理,按照統一的命名規則(資料類型代碼+項目代碼+單位代碼+區塊名稱+序號),對原始數據進行重命名,并將原始命名與標準命名的一一對應關系同時存儲到數據庫中,方便查找對應,數據重命名界面如圖2所示。

圖2 數據標準化重命名Fig.2 Standardized rename of data
3.2.2 格式轉換 由于側掃聲吶原始數據格式不統一,包括:Q-mips、.SDF、.JSF、.XTF等多種格式,在數據應用時,統一采用目前通用的海底聲學勘探數據組織格式XTF文件格式。目前可參考的文獻中大部分格式轉換是將原始的側掃聲吶數據(Q-mips格式、XTF格式、JSF格式)轉換成通用的tif、Geotiff 或BMP格式[9-11]。本系統不但實現了上述格式轉換功能,還根據不同數據格式標準,實現了由Q-mips、SDF、JSF向XTF格式轉換功能。圖3與圖4所示為Q-mips格式向XTF格式轉換的實例,數據轉換后并沒有丟失任何信息。
3.2.3 數據修正 數據修正功能主要是對導航數據的修正,在原始數據中,往往會出現導航點偏移、劇烈跳動的情況,對導航數據進行必要的修正,并將修正后的導航數據重新寫入XTF文件中。

圖3 Q-mips格式數據回放效果Fig.3 Display of Q-mips data

圖4 轉換成XTF格式數據后的回放效果Fig.4 Display after conversion
經過數據預處理模塊的處理后,產生的是一套具有規則的標準命名、格式統一、去除了訛誤的原始數據。
3.3 數據處理模塊
為更好的利用數據,還需要從數據中提取出必要信息,數據處理模塊基本實現了這一功能。該模塊功能主要包括XTF文件解編、統計信息提取與計算統計、側掃聲吶圖形顯示及處理、鑲嵌圖制作等功能。
3.3.1 XTF文件解編 XTF文件由文件頭和Ping數據包組成,分別讀取頭文件中的文件頭結構、通道信息結構,讀取Ping數據包中的Ping頭結構信息和通道信息,即可解編XTF數據,解編后的XTF數據為明碼的.txt文件,可以直接從中讀取頭結構與每一Ping的數據信息。
3.3.2 信息提取與統計計算 XTF文件全部解編后,便可深入到數據內部,提取與統計計算所需要的信息。可提取航跡信息:包括每一Ping數據的經度、緯度、時間;計算統計信息:包括采樣設備、記錄程序、數據標準、Ping間隔、采樣點個數、總Ping數、測線長度、斜距量程、覆蓋面積、作業始、終時間、測線用時、測線始、終點的經緯度、測線走向等信息。
本系統可實現XTF文件解編、信息提取與統計計算批量同時進行。如處理99.xtf 文件時,同時生成一個99_trace.txt(航跡信息)(圖5)、99_info.txt(xtf解編文件)(圖6)和 99.cvs(信息統計計算文件)。
3.3.3 側掃聲吶圖形顯示及處理 在此模塊中可以實現側掃聲吶數據的瀑布圖顯示、增益和調整[12]、斜距校正(圖7,圖8)及鑲嵌圖制作[13]等功能,可直觀的瀏覽XTF格式數據,并可對其進行各種操作。

圖5 提取后的航跡信息Fig.5 Trace data extracted

圖6 解編后的XTF文件Fig.6 Extended Triton Format data released

圖7 原始圖像顯示Fig.7 Display of raw data
3.4 質量評價模塊
根據實際工作經驗,選取了XTF數據中的定位數據、時間數據、信號強度、船速、測線平直度及數據完整性6個要素作為質量評價指標,可批量地對原始數據進行數據質量評價。可詳細查看每條測線的數據質量情況,同時可輸出質量評價報告。上述的6項評價參數,既評價了當時現場施工時的工作情況,如資料完整性、測量船速,又評價了測線文件的質量情況,如信號強度。且實現了計算機批量的自動評價,大大節省了人力,且提高了評判的質量。

圖8 斜距校正后的圖像顯示Fig.8 Display of the data after the Slant Range corrected

圖9 數據質量評價模塊Fig.9 Data assessment module
3.5 數據庫管理模塊
整個側掃聲吶數據庫包括:側掃聲吶原始數據庫、資料管理信息數據庫、聲納圖像目標庫、元數據庫4個部分。
3.5.1 側掃聲吶原始數據庫 側掃聲吶原始數據量龐大,該類數據的數據庫存儲一般采用數據庫中存放索引信息,數據并不存儲在數據庫中的方式,這種方式簡單,但是不利于隨時查看數據。本系統成功運用了關系型數據庫存儲大規模的側掃聲吶原始數據。一個測區使用一個數據庫,該測區中的測線使用數據庫中的表存儲,原始文件中每一Ping或者每一包的信息使用數據表中的一條記錄存取,由此化整為零。這種方式加快了數據庫響應速度,雖然數據庫中的表增多,但每個表中的記錄行數和數據規模不會很大,一般 10萬余條數據和4GB空間基本足夠。數據加載入庫后,可調用數據處理模塊中的圖形顯示功能,可直觀的進行數據查詢。
3.5.2 資料管理信息數據庫 存放了資料目錄清單、航跡數據、統計信息數據,使用時可方便地查詢檢索。
3.5.3 側掃聲吶圖像目標庫 采用騰惠忠等人(2003年)提出的在側掃聲吶數據庫管理設計時建立聲納圖像目標庫的思路。聲納圖像目標庫以原始數據格式記錄圖像,保留原始圖像的所有信息,給今后的目標圖像比對分析和處理留下空間,同時實時記錄圖像的處理方法和分析說明,并提取圖像的特征信息[14]。海底地貌聲納圖像是走航式的條帶圖像,根據目標管理思想,截取典型的側掃聲吶圖像進行單獨存儲,將有利于資料的使用。
3.5.4 元數據庫 存放數據的元數據信息,分為元數據基本信息、概要信息、詳細信息,方便用戶查詢檢索,有關元數據的內容在這里不再詳述。
3.6 數據成果集成展示和服務模塊
數據集成展示和服務是大規模數據處理與管理的重要手段,也是實現處理結果圖形化檢索的用戶接口。用戶通過這種方式既可以直觀的在地圖上瀏覽處理成果,也可以直觀的從海量的數據文件中直接調取原數據。TrueGIS系統是成果展示基礎平臺的主要組成部分,是基于地理空間的存儲管理核心。系統的基礎包括大地計算模塊與基本幾何庫、計算幾何庫。主要內容包括基本空間數據的組織管理、二維呈現、三維可視化、空間分析等內容(圖10)。采用Windows Server 2008R2 64位操作系統作為開發平臺,完成了TrueGIS的研究開發。在整個成果集成展示與服務系統上,將處理系統中處理的航跡、調查信息、鑲嵌圖等信息加載入該系統,就可直觀的看到航跡的分布與演示與海底地貌等(圖11)。

圖10 TrueGIS系統總體框架Fig.10 Frame of TrueGIS system

圖11 圖形化成果顯示Fig.11 Display in graphics mode
筆者根據實際的側掃聲吶數據管理工作經驗,劃分了側掃聲吶數據體系,并通過側掃聲吶數據管理系統成功實現了海量側掃聲吶數據的高效管理,該系統已經在國家海洋信息中心數據平臺運行,實現了對我國近海海洋綜合調查專項中的全部 28個區塊近2TB的側掃聲吶數據的管理,收到了較好的效果,盡管整個管理系統還需要進一步完善,但該類數據管理系統的設計與實現具有較大的理論和實踐意義,具有較廣泛的應用前景。
致謝:國家海洋信息中心孫思軍參加數據處理工作,評審老師為文章修改提出寶貴意見,中國海洋大學楊榮民教授也為文章修改提供幫助,在此一并致謝。
[1]蔣立軍, 文萍, 許楓.側掃聲吶回波信號的增益控制 [J].海洋測繪, 2002, 22(3): 6-8.
[2]李軍峰, 孟慶敏, 胡平.側掃聲吶在香港海洋物探工程調查中的應用 [J].物探與化探, 2004, 28(4): 369-372.
[3]楊振林.便攜式側掃聲吶在探測海底地物中的應用 [J].水運工程, 2002, 10: 28-30.
[4]李鮮楓, 張鐵軍, 黃永軍.側掃聲吶與多波束測深系統在大連“五七”空難搜救中的應用 [J].氣象水文海洋儀器, 2005, 3: 33-37.
[5]蔣俊杰, 湯民強, 鄭西來.側掃聲吶系統在海底管道懸空調查中的應用 [J].中國科技信息, 2008, 14: 49-51.
[6]潘國富, 付曉明.側掃聲吶在海底光纜維護工程中的應用 [J].工程地球物理學報, 2004, 1(5): 389-394.
[7]魚京善, 成二麗.側掃聲吶系統在海洋環境監測和保護中的應用[J].海洋測繪, 2004, 24(2): 63-66.
[8]蘇天赟, 劉保華, 翟世奎, 等.海底空間數據的集成與管理方法[J].高技術通訊, 2005, 15: 89-92.
[9]李軍, 騰惠忠.側掃聲吶的格式轉換及應用 [J].海洋測繪, 2002, 22: 36-38.
[10]于杰.側掃聲吶原始信息轉換及其應用 [J].水雷戰與艦船保護, 2009, 17: 56-59.
[11]鄧雪清, 鞏丹超, 羅睿.側掃聲吶圖像地理編碼技術研究 [J].海洋測繪, 2002, 22: 14-17.
[12]李勝全, 騰惠忠, 凌勇, 等.側掃聲吶圖像實時增強技術 [J].應用聲學, 2006, 25: 284-289.
[13]李廷桓.論旁掃聲納圖像鑲嵌技術.海洋與湖沼 [J].1991, 22: 583-588.
[14]騰惠忠, 鄧雪清, 郭思海.側掃聲吶數據庫管理設計 [J].海洋測繪, 2003, 23: 27-30.
Design and implementation of side-scan sonar data management system
HAN Chun-hua1, ZHANG Jun-ming2, LIANG Jian-feng1,3, YIN Ru-guang1
( 1.National Marine Data and Information Service, Tianjin 300171, China; 2.Beijing TRUNCOM SYSTEM CO.LTD, Beijing 100039, China; 3.Computer department of Nankai University, Tianjin 300071, China)
P714+7
A
1001-6932(2011)02-0188-06
2010-09-06;收修改稿日期:2010-11-10
我國近海海洋綜合調查與評價專項(908-03);國家海洋局青年基金項目(18104002C)。
韓春花(1979-),女,碩士,主要從事海洋地質信息管理、側掃聲吶數據管理等方面的研究。電子信箱:hanchunhua2008@126.com。
收稿日期:2010-03-03;收修改稿日期:2010-11-14
基金項目:科技部基礎性工作專項(2006FY220700);國家海洋局第三海洋研究所基本科研業務基金(海三科2009031, 海三科2009008);國家海洋局青年海洋科學基金(2009130);國家海洋局908專項(908-01-BC07)。
作者簡介:王雨(1981-),男,碩士,助理研究員,從事海洋浮游生物生態的研究,電子郵箱:wy2007607@126.com。
林茂,研究員,電子郵箱:lm3011@126.com。