基于ISOS軟件數(shù)據(jù)自動(dòng)化備份的研究與實(shí)現(xiàn)

呂 敬,宋 丹,王文勇,蘇靜文,唐遠(yuǎn)志

(1.貴州省氣象服務(wù)中心,貴州 貴陽 550002;2.貴州省安龍縣氣象局,貴州 安龍 552400)

0 引言

為人民提供精準(zhǔn)、及時(shí)的氣象服務(wù)是氣象部門的職責(zé)之一[1]。其背后離不開ISOS軟件對(duì)溫度、濕度、風(fēng)向風(fēng)力等氣象要素?cái)?shù)據(jù)的采集及存儲(chǔ)。由于病毒攻擊、市電斷電、電腦故障和操作失誤等時(shí)刻威脅著ISOS數(shù)據(jù)的安全性,因此,及時(shí)將測(cè)報(bào)數(shù)據(jù)進(jìn)行本地、異地備份成為臺(tái)站數(shù)據(jù)保護(hù)的主要措施[2]。

目前,為保護(hù)ISOS軟件測(cè)報(bào)數(shù)據(jù)的安全性,臺(tái)站多使用批處理或借助第三方備份軟件進(jìn)行數(shù)據(jù)備份。

基于DOS命令建立的批處理,其優(yōu)點(diǎn)是程序簡單易寫,只需編寫少量的命令行并保存為.BAT文件,通過添加到Windows任務(wù)計(jì)劃的方式執(zhí)行備份任務(wù)[3]。由于批處理本質(zhì)是Windows下的DOS命令行,執(zhí)行效率較高,備份任務(wù)較快,但由于ISOS軟件存在小時(shí)、分鐘、雨滴譜等不同類型的測(cè)報(bào)數(shù)據(jù)[4],備份數(shù)據(jù)時(shí)需要設(shè)置不同的定時(shí)任務(wù),這增加了批處理的冗余度,存在備份失效的風(fēng)險(xiǎn)。在重新調(diào)整備份時(shí)間時(shí)需要重新修改DOS命令行,使用時(shí)欠缺快捷性。

第三方備份軟件如FileAutoSyncBackup,由于省卻了開發(fā)環(huán)節(jié),可直接下載使用,具有一定的便利性。但由于氣象觀測(cè)要素跨20時(shí)為下一個(gè)日界[5-8],第三方軟件無法識(shí)別并處理氣象日界,導(dǎo)致備份內(nèi)容缺測(cè);ISOS測(cè)報(bào)數(shù)據(jù)多以.txt文檔保存,由于ISOS軟件內(nèi)部工作機(jī)制,不會(huì)對(duì).txt文檔進(jìn)行實(shí)時(shí)保存,即保存時(shí)間與寫入時(shí)間不一致,而第三方軟件以保存時(shí)間作為文檔最后更新時(shí)間,這會(huì)導(dǎo)致備份文件與源文件數(shù)據(jù)不一致,使得備份失效;此外,付費(fèi)的第三方備份軟件也會(huì)增加部門預(yù)算,加大了使用成本。

因此,針對(duì)ISOS軟件獨(dú)立開發(fā)快速、高效的備份系統(tǒng)對(duì)臺(tái)站的工作意義重大。

1 系統(tǒng)設(shè)計(jì)

臺(tái)站測(cè)報(bào)數(shù)據(jù)保存在本地D盤,因此,系統(tǒng)將本地D盤文檔作為源文檔。為盡可能提高數(shù)據(jù)安全性,發(fā)揮數(shù)據(jù)備份的最大作用,設(shè)置本地T盤和另一臺(tái)異地物理機(jī)通過映射方式映射為Z盤作為目標(biāo)文件,即將D盤數(shù)據(jù)同時(shí)備份到本地T盤和異地Z盤。

1.1 資料選取

由于臺(tái)站觀測(cè)的氣象要素多,導(dǎo)致ISOS軟件測(cè)報(bào)數(shù)據(jù)量大,結(jié)合測(cè)報(bào)數(shù)據(jù)的重要程度和臺(tái)站需要,系統(tǒng)對(duì)表1所示的目錄及根目錄進(jìn)行數(shù)據(jù)備份。

表1 備份目錄及描述Tab.1 Backup directory and description

1.2 技術(shù)路線

(1)遍歷最新文件。由于ISOS測(cè)報(bào)數(shù)據(jù)文件多以日期進(jìn)行命名,因此,對(duì)于不同的ISOS測(cè)報(bào)數(shù)據(jù)文件,可以編成Python程序遍歷文件名的日期進(jìn)行區(qū)分,關(guān)鍵代碼如下:

def get_date(file_name):

Title_date = ((file_name.split("")[-1]).split(".")[0]).split("_")[-1]

return Title_date

如遍歷分鐘數(shù)據(jù)文件:“MinuteAWS_M_Z_57908_20230110.txt”返回文件日期:20230110,利用此方法可以索引出目錄下的最新文件。

(2)確定目標(biāo)文件。目前的第三方備份程序多以.txt最后的保存時(shí)間來判斷文件是否為最新文件,但由于ISOS軟件在寫入測(cè)報(bào)數(shù)據(jù)時(shí)不會(huì)對(duì).txt文檔進(jìn)行實(shí)時(shí)保存,導(dǎo)致第三方備份程序備份失效。因此,本文設(shè)計(jì)的備份系統(tǒng)不以保存日期來確定目標(biāo)文件,而是利用ISOS測(cè)報(bào)文件的命名規(guī)律,通過對(duì)比索引文件名中的日期與當(dāng)前日期來判斷文件夾下是否產(chǎn)生最新測(cè)報(bào)文件,以此確定需要備份的目標(biāo)文件。

(3)跨日界問題。測(cè)報(bào)數(shù)據(jù)跨20時(shí)會(huì)產(chǎn)生后一日的測(cè)報(bào)文件,為解決氣象要素跨日界的問題,本文設(shè)計(jì)的備份系統(tǒng)在備份時(shí)通過索引文件日期判斷當(dāng)日是否有跨日界文件,若存在,則該文件也是備份的目標(biāo)文件。如在判斷分鐘數(shù)據(jù)文件夾下是否有備份目標(biāo)文件的判斷語句為:

if (get_date(file_D_name) == now_time_Ymd()) or (get_date(file_D_name) == now_time_Ymd_add1())

其中g(shù)et_date(file_D_name)為遍歷文件索引出的文件日期,now_time_Ymd()為當(dāng)前年月日的日期,now_time_Ymd_add1()為后一日日期。通過對(duì)比索引出的日期與當(dāng)前日期可解決測(cè)報(bào)數(shù)據(jù)跨日界的問題。

(4)補(bǔ)齊測(cè)報(bào)文件。首次使用本文設(shè)計(jì)的備份系統(tǒng)或考慮到市電斷電、業(yè)務(wù)電腦故障等因素,目標(biāo)盤可能缺失過去一段時(shí)間的測(cè)報(bào)文件。因此,當(dāng)本文設(shè)計(jì)的備份系統(tǒng)檢測(cè)到目標(biāo)盤缺失測(cè)報(bào)文件時(shí),可將缺失的測(cè)報(bào)文件補(bǔ)齊。執(zhí)行程序如下:

if not os.path.exists(file_T_name):

txt_records.write(′T盤文件:%s 不存在,正在備份中... ' % file_T_name)

if os.path.isfile(file_D_name):

shutil.copy2(file_D_name, file_T_name)

txt_records.write(′T盤文件:%s 備份完成! ' % file_T_name)

if not os.path.exists(file_Z_name):

txt_records.write(′Z盤文件:%s 不存在,正在備份中... ' % file_Z_name)

if os.path.isfile(file_D_name):

shutil.copy2(file_D_name, file_Z_name)

txt_records.write(′Z盤文件:%s 備份完成! ' % file_Z_name)

1.3 備份策略

針對(duì)ISOS測(cè)報(bào)數(shù)據(jù)的特點(diǎn)和不同的目錄文件,系統(tǒng)設(shè)計(jì)不同的備份策略,以保證該目錄下的測(cè)報(bào)數(shù)據(jù)能快速、完整地備份到目標(biāo)文件。

小時(shí)數(shù)據(jù)每月產(chǎn)生1個(gè)新的.txt文檔,分鐘數(shù)據(jù)每日產(chǎn)生1個(gè)新的.txt文檔,且生成的.txt不會(huì)自動(dòng)保存為最新文檔,結(jié)合氣象要素跨日界的處理,設(shè)計(jì)小時(shí)數(shù)據(jù)、分鐘數(shù)據(jù)的備份策略如圖1所示。

圖1 小時(shí)數(shù)據(jù)、分鐘數(shù)據(jù)備份策略圖Fig.1 Hourly data and minute data backup strategy diagram

備份小時(shí)數(shù)據(jù)的部分備份代碼如下:

def backup_h_data_doing(source_path, destination_T_path, destination_Z_path):

for file in os.listdir(source_path):

file_D_name = os.path.join(source_path, file)

file_T_name = os.path.join(destination_T_path, file)

file_Z_name = os.path.join(destination_Z_path, file)

if not os.path.exists(file_T_name):

txt_records.write(′T盤文件:%s 不存在,正在備份中... ' % file_T_name)

if os.path.isfile(file_D_name):

shutil.copy2(file_D_name, file_T_name)

txt_records.write(′T盤文件:%s 備份完成! ' % file_T_name)

if not os.path.exists(file_Z_name):

txt_records.write(′Z盤文件:%s 不存在,正在備份中... ' % file_Z_name)

if os.path.isfile(file_D_name):

shutil.copy2(file_D_name, file_Z_name)

txt_records.write(′Z盤文件:%s 備份完成! ' % file_Z_name)

if (get_date(file_D_name) == now_time_Ym()) or (get_date(file_D_name)==

now_time_Ym_add1()):

txt_records.write(′T盤文件:%s 是最新文件,備份中... ' % file_T_name)

os.remove(file_T_name)

shutil.copy2(file_D_name, file_T_name)

txt_records.write(′T盤文件:%s 備份完成! ' % file_T_name)

txt_records.write(′Z盤文件:%s 是最新文件,備份中... ' % file_Z_name)

os.remove(file_Z_name)

shutil.copy2(file_D_name, file_Z_name)

txt_records.write(′Z盤文件:%s 備份完成! ' % file_Z_name)

DataBase數(shù)據(jù)每月生成1個(gè).db文件,且最新數(shù)據(jù)保存在該.db文件和AWZ.db文件中。DataBase數(shù)據(jù)備份策略如圖2所示。

圖2 DataBase數(shù)據(jù)備份策略圖Fig.2 DataBase data backup strategy diagram

Awsnet數(shù)據(jù)每月生成1個(gè)新的文件夾,數(shù)據(jù)在文件夾下以.txt文件和.BIN文件格式保存。為提高備份效率,在備份Awsnet數(shù)據(jù)時(shí)直接對(duì)生成的文件夾進(jìn)行遍歷,設(shè)計(jì)的備份策略如圖3所示。

圖3 Awsnet數(shù)據(jù)備份策略圖Fig.3 Awsnet data backup strategy diagram

備份Send數(shù)據(jù)時(shí),對(duì)“Send”目錄下的Data數(shù)據(jù)、intelligentweather數(shù)據(jù)、JL數(shù)據(jù)、sendbak數(shù)據(jù)、Unknown數(shù)據(jù)以及YDP數(shù)據(jù)進(jìn)行備份。設(shè)計(jì)的備份策略如圖4所示。

1.4 系統(tǒng)界面

Tkinter是Python圖形用戶界面(Graphical User Interface,GUI)開發(fā)庫和工具包的接口,是一個(gè)輕量級(jí)的跨平臺(tái)GUI開發(fā)工具,兼容Windows、Macintosh和Unix等多個(gè)操作系統(tǒng),支持標(biāo)簽、按鈕和畫布等多個(gè)組件,以及具有位圖、錨點(diǎn)和控件等屬性。設(shè)計(jì)的GUI具有靈活性強(qiáng)、可移植度高和頁面風(fēng)格良好等特點(diǎn),可快速創(chuàng)建功能強(qiáng)大的應(yīng)用程序[9]。

因此,為了方便操作和查看,利用Tkinter對(duì)系統(tǒng)進(jìn)行可視化設(shè)計(jì),用于人機(jī)交互。設(shè)計(jì)的GUI頁面如圖5所示。

圖5 GUI頁面圖Fig.5 GUI page diagram

如圖5所示,根據(jù)不同的備份策略,系統(tǒng)可接受用戶對(duì)不同類型的測(cè)報(bào)數(shù)據(jù)進(jìn)行定時(shí)備份。當(dāng)用戶輸入時(shí)間后,點(diǎn)擊“配置”按鈕,系統(tǒng)記錄配置時(shí)間;點(diǎn)擊“開始”按鈕,系統(tǒng)開始執(zhí)行定時(shí)備份任務(wù),并將當(dāng)前備份進(jìn)度顯示在“backup_records.txt”文本文檔中;點(diǎn)擊“備份路徑”按鈕,可查看表1中具體的備份路徑;“幫助”按鈕對(duì)系統(tǒng)的操作進(jìn)行了詳細(xì)介紹。

最后,利用打包工具pyinstaller將程序打包成“氣象臺(tái)數(shù)據(jù)備份系統(tǒng).exe”可執(zhí)行程序,提升了備份系統(tǒng)的實(shí)用性。

2 實(shí)驗(yàn)及測(cè)試

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境由硬件環(huán)境和軟件環(huán)境組成。系統(tǒng)測(cè)試采用的硬件環(huán)境和軟件環(huán)境分別如表2、表3所示。

表2 硬件環(huán)境Tab.2 Hardware environment

表3 軟件環(huán)境Tab.3 Software environment

2.2 實(shí)驗(yàn)過程

根據(jù)備份策略,在GUI頁面設(shè)置如下定時(shí)備份任務(wù):

(1)“小時(shí)數(shù)據(jù)備份時(shí)間”設(shè)置為“1 h 2 min”,即每間隔1 h后的2 min執(zhí)行1次小時(shí)數(shù)據(jù)備份;

(2)“分鐘數(shù)據(jù)備份時(shí)間”設(shè)置為“6 min 20 s”,即每間隔6 min后的20 s執(zhí)行1次分鐘數(shù)據(jù)備份;

(3)“DataBase數(shù)據(jù)備份時(shí)間”設(shè)置為“1 h 20 min”,即每間隔1 h后的20 min執(zhí)行1次DataBase數(shù)據(jù)備份;

(4)“Awsnet數(shù)據(jù)備份時(shí)間”設(shè)置為“1 d 20時(shí)20分”,即每天20時(shí)20分執(zhí)行1次Awsnet數(shù)據(jù)備份;

(5)“Send數(shù)據(jù)備份時(shí)間”設(shè)置為“10 min 50 s”,即每間隔10 min后的50 s執(zhí)行1次Send數(shù)據(jù)備份。

設(shè)置好備份時(shí)間后,分別點(diǎn)擊“配置”按鈕和“開始”按鈕,系統(tǒng)執(zhí)行備份任務(wù)。備份進(jìn)度如圖6所示。

圖6 備份進(jìn)度圖Fig.6 Backup progress diagram

經(jīng)臺(tái)站多次實(shí)驗(yàn),系統(tǒng)可按照設(shè)置的備份時(shí)間將表1目錄下的文件夾及.txt、.db、.BIN等文件自動(dòng)化備份到本地T盤和異地Z盤對(duì)應(yīng)目錄下?？紤]臺(tái)站業(yè)務(wù)機(jī)系統(tǒng)為Windows7,將系統(tǒng)在Windows7環(huán)境下進(jìn)行測(cè)試,系統(tǒng)運(yùn)行穩(wěn)定,數(shù)據(jù)備份完整,目錄齊全。

3 結(jié)語

加強(qiáng)數(shù)據(jù)安全保護(hù)是臺(tái)站確保業(yè)務(wù)正常運(yùn)行的重要保障。本文設(shè)計(jì)的備份系統(tǒng)根據(jù)不同的ISOS測(cè)報(bào)數(shù)據(jù)類型,提出了不同的備份策略,有效解決了在備份中ISOS軟件不會(huì)對(duì).txt文檔進(jìn)行實(shí)時(shí)保存以及氣象要素跨日界的問題。經(jīng)多次實(shí)驗(yàn),系統(tǒng)能及時(shí)有效地將測(cè)報(bào)數(shù)據(jù)自動(dòng)化備份到目標(biāo)文件夾下。目前,系統(tǒng)已在貴州省安龍縣氣象臺(tái)投入業(yè)務(wù)運(yùn)行,成為該臺(tái)站ISOS測(cè)報(bào)數(shù)據(jù)的有效備份系統(tǒng)。