基于藍光存儲技術(shù)的氣象電子檔案長期存儲系統(tǒng)的研究與實現(xiàn)

■ 蔡 云 楊亞輝

引言

“十三五”至“十四五”期間，隨著氣象信息化建設(shè)的高速發(fā)展，各類氣象電子檔案大量產(chǎn)生，數(shù)量大幅增加，使得氣象檔案管理部門面臨巨大挑戰(zhàn)。而目前氣象檔案部門對氣象電子檔案的歸檔工作，仍以采用人工管理的方式為主，歸檔過程耗時長、效率低，且歸檔后的數(shù)據(jù)缺乏安全有效的管理手段，已完全不能滿足氣象電子檔案長期安全存儲及有效利用的需求。為此，筆者認(rèn)為，可利用光存儲技術(shù)優(yōu)勢，以藍光存儲為核心、以磁盤存儲為輔助，實現(xiàn)氣象電子檔案的自動歸檔、長期存儲、科學(xué)管理和高效利用。

1 藍光存儲技術(shù)的優(yōu)勢及硬件設(shè)施介紹

1.1 藍光光盤存儲的優(yōu)勢

1.1.1 滿足法規(guī)遵從性要求。滿足數(shù)據(jù)的真實性、完整性、可用性、安全性；電子存儲介質(zhì)只能采用不可改寫、不可擦除的格式存儲與管理。

1.1.2 數(shù)據(jù)安全性高。數(shù)據(jù)刻錄為一次性物理寫入，不可修改、不可刪除；防電磁干擾；環(huán)境要求低；能夠有效防范自然災(zāi)害、意外事故和人為破壞的影響。

1.1.3 數(shù)據(jù)存儲時間長。檔案級可錄類藍光光盤技術(shù)指標(biāo)優(yōu)于光盤工業(yè)標(biāo)準(zhǔn)，保存壽命大于30年，經(jīng)過國際權(quán)威機構(gòu)ADTC及TUV的可靠性認(rèn)證，其推定壽命200年以上，并且可通過檢測設(shè)備對已存儲數(shù)據(jù)的光盤進行檢測，并預(yù)測其剩余壽命。

1.1.4 長期的兼容性。文件系統(tǒng)兼容：沿用ISO國際標(biāo)準(zhǔn)，光盤是唯一具有發(fā)行特性和統(tǒng)一國際標(biāo)準(zhǔn)的存儲介質(zhì)；光盤尺寸兼容：12cm標(biāo)準(zhǔn)規(guī)格；光驅(qū)讀寫標(biāo)準(zhǔn)向下兼容：BD光驅(qū)兼容DVD和CD；設(shè)備整體兼容：升級時只需更換光驅(qū)模塊即可。

1.1.5 便于數(shù)據(jù)交換和異地保存。光存儲以光盤匣為單元存放光盤，盤匣可離線存儲，便于數(shù)據(jù)的交換和異地保存。

1.1.6 總體擁有成本低。首先，藍光存儲對保存環(huán)境無特殊要求，不需要實時加載大功率電源，能耗低，存儲穩(wěn)定，可節(jié)省有限的機房資源，減少運維成本。其次檔案級藍光光盤遷移周期是其他存儲介質(zhì)的10-20倍以上，節(jié)省數(shù)據(jù)遷移成本，避免數(shù)據(jù)遷移帶來的高風(fēng)險。總之，藍光光盤及光盤庫設(shè)備在維護、遷移、環(huán)境等方面長期存儲成本優(yōu)勢明顯，數(shù)據(jù)總體擁有成本低。

1.2 藍光存儲設(shè)備的選擇

1.2.1 檔案級藍光光盤。檔案級可錄類藍光光盤（BD-R）是唯一具備發(fā)行屬性且有國際ISO標(biāo)準(zhǔn)的存儲介質(zhì)[1]，單張容量可達到100GB或者100GB以上，采用激光物理寫入方式，通過高可靠的金屬燒蝕數(shù)據(jù)記錄技術(shù)MABL，可檢測預(yù)測壽命。通過德國TUV的檔案級光盤可靠性認(rèn)證，通過國際標(biāo)準(zhǔn)化組織ADTCISO/IEC16963-2011標(biāo)準(zhǔn)認(rèn)證，推定壽命200年。檔案級藍光光盤具備的特性如圖1所示。

1.2.2 近線存儲設(shè)備—光盤庫。光盤庫是以藍光光盤為存儲介質(zhì)的自動化海量數(shù)據(jù)近線網(wǎng)絡(luò)存儲設(shè)備。光盤庫主要由自動換盤機構(gòu)（機械手）、用于數(shù)據(jù)讀/寫的驅(qū)動器（光驅(qū)）、放置光盤的光盤架等幾大部分組成。數(shù)據(jù)可隨機查詢，平均加載時間在秒級，光盤以匣為單位，離線管理或異地保存方便安全。

光盤庫（光存儲近線存儲設(shè)備）兼具與磁盤相同的隨機實時數(shù)據(jù)訪問特性，又具備比磁盤更安全的可離線存儲優(yōu)勢，同時在法規(guī)遵從性、經(jīng)濟性等方面具備獨特的優(yōu)勢。

光盤庫可提供長期安全的數(shù)據(jù)存儲、較高速度的近線數(shù)據(jù)查詢，光盤庫一般采用100G或100G以上容量的藍光光盤，采用光盤匣技術(shù)將多張光盤放置在一起以保證單位體積內(nèi)存儲容量最大化，單臺設(shè)備容量目前最高可達到PB級別。

1.2.3 離線存儲設(shè)備—離線庫。離線庫是海量光盤的離線存儲設(shè)備，通常配合近線存儲設(shè)備光盤庫使用。其采用智能物聯(lián)網(wǎng)技術(shù)，能夠在線查詢離線庫光盤的存放位置信息，當(dāng)查詢文件時軟件系統(tǒng)根據(jù)位置信息自動發(fā)出回遷提醒，無需進行單獨的庫房查詢與記錄。離線庫作為離線存儲是對在線、近線的有效存儲擴充，節(jié)省存儲資源，降低管理難度，減小管理風(fēng)險。

2 氣象電子檔案自動歸檔策略研究與實現(xiàn)

研究氣象電子檔案自動歸檔策略旨在高效、快速地采集氣象行業(yè)產(chǎn)生的海量電子數(shù)據(jù)資源，對接各類氣象業(yè)務(wù)系統(tǒng)，實現(xiàn)氣象電子數(shù)據(jù)的自動采集、自動整理、自動存儲及氣象電子檔案的全流程自動化歸檔管理，大大減少人工成本，降低出錯率，提高工作效益。

實現(xiàn)氣象電子檔案的自動化歸檔關(guān)鍵技術(shù)點是基于氣象電子檔案的特性，制定電子檔案的歸檔策略，在電子文件歸檔過程中必須保證電子檔案的真實性、可靠性、完整性、可用性。[2]

2.1 氣象電子數(shù)據(jù)自動化采集整理

建立氣象電子數(shù)據(jù)自動化采集業(yè)務(wù)調(diào)度機制，包括數(shù)據(jù)采集、數(shù)據(jù)整理、任務(wù)調(diào)度、公共管理，氣象數(shù)據(jù)自動化采集整理業(yè)務(wù)調(diào)度如圖2所示。

自動化采集整理業(yè)務(wù)調(diào)度實現(xiàn)以下功能：

2.1.1 數(shù)據(jù)采集。數(shù)據(jù)采集主要實現(xiàn)氣象電子數(shù)據(jù)的自動化探測獲取、信息登記以及采集清單的生成。按照采集策略配置單元的氣象電子數(shù)據(jù)類型、探測路徑、探測周期并自動獲取原始氣象數(shù)據(jù)；如果原始氣象數(shù)據(jù)是壓縮包狀態(tài)，需要解壓縮，登記壓縮包信息以及解壓后的氣象數(shù)據(jù)詳細信息；生成氣象數(shù)據(jù)采集清單，統(tǒng)計采集到的氣象數(shù)據(jù)。

2.1.2 數(shù)據(jù)整理。依據(jù)氣象電子文件的分類規(guī)則，將采集到的氣象電子文件進行分類、排序、編號[3]，按照打包策略，將歸檔數(shù)據(jù)整理為壓縮包，并進行規(guī)范命名，按照QX/T514-2019《氣象檔案元數(shù)據(jù)》[4]的規(guī)則，著錄氣象電子檔案元數(shù)據(jù)，并保存元數(shù)據(jù)信息。

2.1.3 任務(wù)調(diào)度。任務(wù)調(diào)度作業(yè)主要包括任務(wù)調(diào)度單元、異常任務(wù)處理單元。任務(wù)調(diào)度單元是建立周期性的數(shù)據(jù)采集任務(wù)、數(shù)據(jù)整理任務(wù)、打包提元任務(wù)，通過任務(wù)的執(zhí)行完成氣象電子文件的自動化采集整理。異常任務(wù)處理單元是對失敗的任務(wù)自動化處理，例如對超時異常任務(wù)補做、可疑重復(fù)任務(wù)預(yù)警等。

2.1.4 公共管理。依據(jù)氣象電子文件類型、命名規(guī)范、指定路徑、采集頻率等指定氣象電子文件采集策略，按照電子文件分類整理規(guī)則，制定分類整理策略，基于QX/T514-2019《氣象檔案元數(shù)據(jù)》，制定元數(shù)據(jù)著錄策略。

2.2 氣象電子檔案自動化存儲及回調(diào)

氣象電子檔案自動化存儲及回調(diào)，包括對接藍光光盤庫實現(xiàn)氣象電子檔案的近線存儲，對于已經(jīng)近線存儲或者離線存儲的氣象電子檔案通過光磁轉(zhuǎn)換，實現(xiàn)氣象電子檔案的在線訪問服務(wù)。氣象電子檔案自動化存儲及回調(diào)的業(yè)務(wù)調(diào)度如圖3所示。

氣象電子檔案自動化存儲及回調(diào)業(yè)務(wù)調(diào)度實現(xiàn)如下功能：

2.2.1 歸檔存儲。通過光盤庫存儲單元將待歸檔氣象電子檔案推送給藍光光盤庫，由藍光光盤庫完成氣象電子檔案的存儲刻錄，利用存儲結(jié)果查詢單元，查詢藍光光盤庫最終的存儲刻錄結(jié)果，生成存儲清單，實現(xiàn)歸檔存儲數(shù)據(jù)統(tǒng)計管理。

2.2.2 檔案回調(diào)。通過數(shù)據(jù)訪問申請單元處理氣象電子檔案的訪問請求，根據(jù)氣象電子檔案的存儲狀態(tài)（在線/近線/離線），利用在線數(shù)據(jù)回調(diào)單元、近線數(shù)據(jù)回調(diào)單元、離線數(shù)據(jù)回調(diào)單元，實現(xiàn)氣象電子檔案的光磁轉(zhuǎn)換。

2.2.3 任務(wù)調(diào)度。任務(wù)調(diào)度作業(yè)包括任務(wù)調(diào)度單元、異常任務(wù)處理單元。任務(wù)調(diào)度單元是建立周期性的存儲歸檔任務(wù)、結(jié)果查詢?nèi)蝿?wù)、定期清理任務(wù)，通過任務(wù)的執(zhí)行完成氣象電子檔案的自動化存儲刻錄、數(shù)據(jù)清理。異常任務(wù)處理單元是對失敗的任務(wù)進行自動化處理，例如對超時異常任務(wù)補做、可疑重復(fù)任務(wù)預(yù)警等。

2.2.4 公共管理。包括存儲策略配置單元，根據(jù)氣象檔案的類型、日期以及藍光光盤（光盤匣）的邏輯地址，配置自動存儲刻錄策略；制定結(jié)果查詢策略，查詢氣象電子檔案的最終歸檔結(jié)果；制定數(shù)據(jù)清理策略，定期清理在線氣象電子檔案，有效利用存儲空間。

3 基于藍光存儲的氣象電子檔案長期存儲研究與實現(xiàn)

3.1 分級存儲架構(gòu)

為了提高氣象電子檔案長期存儲的安全性，降低存儲成本，氣象電子檔案在存儲架構(gòu)上，采用分級存儲架構(gòu)的設(shè)計模式，滿足氣象電子檔案在線、近線、離線三級存儲需求。根據(jù)氣象電子檔案的特性，數(shù)據(jù)訪問及使用情況自動分級存儲，應(yīng)用藍光光盤庫實現(xiàn)電子檔案長期安全存儲，應(yīng)用磁盤存儲滿足數(shù)據(jù)高效利用需求，實現(xiàn)不同特性存儲設(shè)備的最佳利用，為用戶提供穩(wěn)定、安全、高效、經(jīng)濟的存儲系統(tǒng)。

氣象電子檔案分級存儲架構(gòu)如圖4所示。

3.1.1 熱數(shù)據(jù)在線存儲。對訪問率高的氣象電子檔案存儲在磁盤陣列中，設(shè)置在線存儲時長以及定期清理機制。

3.1.2 溫數(shù)據(jù)近線存儲。訪問頻率低、對響應(yīng)時效要求不高（例如：1天之內(nèi)）的氣象電子檔案，存儲在近線藍光光盤庫中，在使用的時候通過磁光同步在線回調(diào)。

3.1.3 冷數(shù)據(jù)離線存儲。對于使用頻率極低，回取響應(yīng)時效在1天以上的數(shù)據(jù)，存儲在藍光光盤中并進行離線管理。

3.2 藍光存儲數(shù)據(jù)流向

氣象電子檔案藍光存儲數(shù)據(jù)流向包括氣象電子檔案存儲流向和氣象電子檔案查詢恢復(fù)流向。

啟動歸檔存儲任務(wù)，對接前置服務(wù)器光存儲系統(tǒng)，將氣象電子檔案上傳到邏輯路徑下，前置服務(wù)器光存儲系統(tǒng)接收到存儲刻錄任務(wù)之后，對接光盤庫，調(diào)用磁光存儲同步命令，完成氣象電子檔案的光盤刻錄，藍光光盤保存在光盤庫的盤匣中，以光盤匣為單位來管理，光盤匣從光盤庫中離線，遷移到離線庫，由離線庫進行離線管理。

氣象電子檔案查詢恢復(fù)任務(wù)，是指用戶在氣象檔案業(yè)務(wù)系統(tǒng)中查詢氣象電子檔案，對于已經(jīng)在離線庫中保管的氣象電子檔案，需要將盤匣回遷至光盤庫，通過磁光存儲同步將藍光光盤中的電子檔案遷移到服務(wù)器上，為用戶提供在線訪問及下載服務(wù)。

氣象電子檔案藍光存儲數(shù)據(jù)流向如圖5所示：

氣象電子檔案在存儲過程中，數(shù)據(jù)流程節(jié)點包括業(yè)務(wù)系統(tǒng)、前置服務(wù)器光存儲系統(tǒng)、光盤庫、離線庫。

3.2.1 氣象檔案業(yè)務(wù)系統(tǒng)。用于對各類型氣象檔案進行收集、整理、管理、利用的檔案業(yè)務(wù)管理系統(tǒng)。

3.2.2 前置服務(wù)器光存儲系統(tǒng)。是業(yè)務(wù)系統(tǒng)和光盤庫之間的交互橋梁，一方面接收業(yè)務(wù)系統(tǒng)上傳的氣象電子檔案，給光盤庫下發(fā)存儲刻錄指令，另一方面可將光盤庫中存儲的氣象電子檔案回調(diào)到磁盤中，為業(yè)務(wù)系統(tǒng)提供訪問服務(wù)。

3.2.3 光盤庫。負責(zé)藍光光盤的近線存儲，并提供近線服務(wù)。

3.2.4 離線庫。負責(zé)藍光光盤的離線存儲。

3.3 藍光存儲應(yīng)用架構(gòu)

藍光存儲應(yīng)用架構(gòu)，包括光存儲管理系統(tǒng)、光存儲服務(wù)、光磁混合存儲系統(tǒng)，應(yīng)用架構(gòu)如圖6所示。

3.3.1 光存儲管理系統(tǒng)。光存儲管理系統(tǒng)是氣象電子檔案存儲管理平臺，主要的管理功能如下：

（1）環(huán)境配置管理：維護光盤庫的環(huán)境配置，例如溫度、濕度、安全防控環(huán)境等。

（2）卷池配置及查看：光盤庫邏輯存儲管理，包括存儲卷池名稱、刻錄光盤類型、數(shù)據(jù)刻錄模式、刻錄周期、光盤庫儲位路徑等信息。

（3）調(diào)閱及存儲任務(wù)管理：維護氣象電子檔案存儲刻錄任務(wù)、回調(diào)遷移任務(wù)。

（4）數(shù)據(jù)調(diào)閱：將氣象電子檔案由光盤轉(zhuǎn)換到磁盤中。

（5）數(shù)據(jù)遷移：近線遷移到離線、離線回遷到近線。

（6）系統(tǒng)監(jiān)控：存儲管理系統(tǒng)操作監(jiān)控、異常監(jiān)控等。

（7）光盤庫日常管理：光盤庫名稱、設(shè)備狀態(tài)、光驅(qū)信息、盤匣數(shù)量、總?cè)萘俊⒁延萌萘康刃畔⒐芾怼?/p>

（8）光盤庫任務(wù)管理：任務(wù)日志管理、異常任務(wù)管理。

3.3.2 光存儲服務(wù)。光存儲服務(wù)是光存儲管理系統(tǒng)和存儲設(shè)備的服務(wù)平臺，負責(zé)提供氣象電子檔案的存儲刻錄以及數(shù)據(jù)調(diào)閱的指令傳遞以及數(shù)據(jù)轉(zhuǎn)換。

3.3.3 混合存儲系統(tǒng)。混合存儲系統(tǒng)包括磁盤陣列、近線光盤庫、離線光盤庫。

（1）在線磁盤陣列用于滿足數(shù)據(jù)高頻度訪問需求或短期存儲需求。

（2）近線光盤庫用于存儲訪問頻度相對較低且存儲時間較長的數(shù)據(jù)的實時查詢需要。

（3）訪問頻度極低的數(shù)據(jù)存放在離線存儲設(shè)備（離線庫），系統(tǒng)根據(jù)數(shù)據(jù)訪問請求生成離線回遷任務(wù)，提醒運維人員將離線數(shù)據(jù)回遷至光盤庫。

3.4 藍光存儲備份策略

備份和恢復(fù)技術(shù)是數(shù)據(jù)保護策略的基礎(chǔ)，保障系統(tǒng)安全性、可用性，系統(tǒng)采用標(biāo)準(zhǔn)的數(shù)據(jù)庫備份管理策略，每日對運行系統(tǒng)進行備份，保障系統(tǒng)運行。作為光存儲的系統(tǒng)，系統(tǒng)提供多種存儲數(shù)據(jù)容錯機制。具體如下：

3.4.1 光存儲多數(shù)據(jù)安全策略。（1）多副本備份機制：基于“3-2-1”黃金備份法則，制定異質(zhì)、異地備份策略，至少保存3套數(shù)據(jù)副本，至少保存到2種不同介質(zhì)上，至少1套數(shù)據(jù)以光盤存儲形式離線異地保存。核心光盤存儲副本應(yīng)確保電子檔案長期保存、安全可靠、便于共享與利用。

（2）自動副本容錯：當(dāng)系統(tǒng)檢測光盤數(shù)據(jù)訪問因灰塵等環(huán)境及人為原因造成數(shù)據(jù)異常時自動發(fā)出提醒切換訪問副本。

（3）光磁備份機制：當(dāng)在線磁盤出現(xiàn)異常后或服務(wù)器出現(xiàn)嚴(yán)重故障可通過光盤數(shù)據(jù)完整恢復(fù)數(shù)據(jù)信息。

（4）光存儲逆向恢復(fù)機制：系統(tǒng)提供在服務(wù)器出現(xiàn)異常，造成光存儲系統(tǒng)中數(shù)據(jù)丟失后的存儲數(shù)據(jù)恢復(fù)功能。系統(tǒng)可以自動掃描光盤中數(shù)據(jù)，恢復(fù)至光存儲系統(tǒng)中，繼續(xù)提供數(shù)據(jù)利用服務(wù)。

（5）冗余技術(shù)：為保證存儲數(shù)據(jù)的安全性和可靠性，避免將完整數(shù)據(jù)僅存入一張光盤，當(dāng)該光盤損壞時數(shù)據(jù)無法恢復(fù)。將完整數(shù)據(jù)分散存入多張光盤，同時各光盤之間采用冗余技術(shù)，如RAID0、RAID5、RAID6,這樣一張或兩張光盤損壞時，仍可保證數(shù)據(jù)的完好無損，同時多張光盤的秉性存儲也提高了存儲速度。

4 結(jié)論

隨著氣象電子檔案的快速、海量增長，原有的歸檔方式、管理方式、數(shù)據(jù)存儲方式已經(jīng)不能完全適用于氣象檔案的信息化發(fā)展。本文提出的氣象電子檔案自動化歸檔技術(shù)可以大大提高電子檔案的歸檔效率和歸檔質(zhì)量。基于藍光存儲技術(shù)的長期保存機制，解決了傳統(tǒng)存儲介質(zhì)壽命短、數(shù)據(jù)可篡改、易受病毒攻擊、維護成本高等一系列問題，滿足氣象電子檔案存儲的長期性、安全性、可用性、經(jīng)濟性等各方面要求，為氣象電子檔案長期安全存儲提供了有效的解決方案。