緩存技術(shù)在氣象數(shù)據(jù)查詢中的應(yīng)用探討

郝禹 牟宗琦

1. 吉林省氣象局氣象信息網(wǎng)絡(luò)中心運(yùn)行監(jiān)控科 吉林 長春 130000；

2. 長春工業(yè)大學(xué)經(jīng)濟(jì)管理系工商管理專業(yè) 吉林 長春 130000

引言

極端天氣災(zāi)害會(huì)給人們的生活帶來巨大的損失，以吉林為例，自今年九月份以來吉林省相繼受到三個(gè)臺(tái)風(fēng)的影響，人們的生活都收到了不同程度的影響，所以目前氣象預(yù)報(bào)業(yè)務(wù)逐步得到了社會(huì)的廣大認(rèn)可。但是與預(yù)報(bào)相關(guān)的氣象數(shù)據(jù)，例如氣溫、降水、衛(wèi)星等資料，每日的積累量是非常大的。一般日積累量達(dá)到PB級(jí)。氣象數(shù)據(jù)內(nèi)容豐富，涉及廣泛，實(shí)時(shí)性要求較高，這就給氣象數(shù)據(jù)的傳輸、查詢以及使用帶來了一定的挑戰(zhàn)。一般氣象數(shù)據(jù)的傳輸流程是，基本臺(tái)站采集，經(jīng)由省級(jí)數(shù)據(jù)傳輸系統(tǒng)，傳輸?shù)絿摇Ｃ恳患?jí)可對所擁有的數(shù)據(jù)進(jìn)行使用。但在傳輸是用過程中，會(huì)產(chǎn)生網(wǎng)絡(luò)延遲，同一個(gè)氣象數(shù)據(jù)集，在頁面端不停地查詢、加載使用會(huì)造成資源浪費(fèi)，考慮到時(shí)效性，所以對于一些熱點(diǎn)數(shù)據(jù)，可以結(jié)合緩存方面的相關(guān)技術(shù)，將更有價(jià)值的數(shù)據(jù)進(jìn)行緩存存儲(chǔ)，在用戶使用時(shí)可以做到響應(yīng)迅速，提高數(shù)據(jù)的可用性。

目前在服務(wù)器端或者在web端使用緩存，一般是建立緩存數(shù)據(jù)庫或者是激勵(lì)緩存策略[1]，本文主要是針對緩存策略進(jìn)行使用說明。緩存策略大多數(shù)情況是調(diào)整緩存方式的算法，對算法進(jìn)行優(yōu)化，從而達(dá)到最大限度的利用現(xiàn)有的固定資源，提高使用效率[2]。將氣象數(shù)據(jù)進(jìn)行緩存處理，可以快速動(dòng)態(tài)的加載氣象數(shù)據(jù)集，做到預(yù)報(bào)及時(shí)、服務(wù)準(zhǔn)確。查詢會(huì)先去進(jìn)行數(shù)據(jù)庫訪問，一般情況下，每一種數(shù)據(jù)庫都會(huì)有并發(fā)性要求，過多的重復(fù)檢索會(huì)造成系統(tǒng)的查詢效率降低，不利于數(shù)據(jù)使用以及系統(tǒng)開發(fā)的長遠(yuǎn)發(fā)展。因此，對緩存技術(shù)的應(yīng)用進(jìn)行研究極具價(jià)值意義。

1 有緩存技術(shù)及氣象數(shù)據(jù)使用加載方法介紹

緩存模塊的對讀寫速度要求較高，所以在系統(tǒng)建設(shè)過程中所需成本也很大，這就造成了我們不可能按照數(shù)據(jù)庫的容量去建立web緩存模塊，當(dāng)web段或者服務(wù)器端的緩存容量被占滿之后，緩存模塊就不可以在進(jìn)行使用了。之后必須按照某一種緩存策略對緩存中的數(shù)據(jù)進(jìn)行規(guī)劃，將長時(shí)間存于緩存系統(tǒng)中的數(shù)據(jù)去除，存進(jìn)新的數(shù)據(jù)。現(xiàn)有的緩存技術(shù)主要有以下幾個(gè)方法：

1.1 基于訪問時(shí)間的緩存替換算法

這種算法的核心思想是，將時(shí)間因素認(rèn)定為緩存對象是否被刪除出緩存空間的判斷依據(jù)。這類算法主要的判斷依據(jù)是緩存數(shù)據(jù)在緩存模塊中的存放時(shí)間，如果一個(gè)數(shù)據(jù)塊在緩存中是新建立的，那么系統(tǒng)會(huì)認(rèn)為這個(gè)數(shù)據(jù)進(jìn)一步被請求的概率要大于存放時(shí)間更久的數(shù)據(jù)，當(dāng)緩存中的內(nèi)容需要替換時(shí)，會(huì)優(yōu)先刪除存放時(shí)間較長的數(shù)據(jù)[3]。

1.2 基于訪問頻率的緩存替換算法

這種算法的核心思想是，以緩存中數(shù)據(jù)的被請求次數(shù)多為替換的判斷依據(jù)。它主要對緩存中的每一個(gè)緩存數(shù)據(jù)的使用次數(shù)進(jìn)行統(tǒng)計(jì)并記錄，并認(rèn)為一個(gè)數(shù)據(jù)如果訪問次數(shù)多，那么接下來被使用的概率要大于其他的數(shù)據(jù)。當(dāng)緩存空間不足時(shí)，系統(tǒng)會(huì)查詢記錄表，找出使用次數(shù)最少的文件進(jìn)行刪除。

1.3 基于緩存對象大小的緩存替換算法

這種算法的核心思想是，按照緩存中數(shù)據(jù)的大小來決定是否刪除數(shù)據(jù)[4]，這一算法的好處是可以減少大文件長期占用緩存空間，緩存會(huì)對每一個(gè)緩存文件的大小進(jìn)行記錄，并定期將容量較大的文件進(jìn)行替換，以保證緩存空間的使用效率。

1.4 基于權(quán)重的緩存替換算法

這類算法相對復(fù)雜，不是以單一的要素來判斷緩存對象的價(jià)值，而是綜合考慮各種要素，對每一種要素設(shè)置不同的權(quán)重值，通過整合計(jì)算，形成判斷標(biāo)準(zhǔn)。這種算法會(huì)動(dòng)態(tài)更新每一個(gè)緩存數(shù)據(jù)的數(shù)值，它將權(quán)重與成本相結(jié)合，命中率高。

緩存的主要目的就是減少用戶的查詢時(shí)間，提高用戶的查詢命中率。對于氣象數(shù)據(jù)而言，他的數(shù)值模式等資料一般是文本文件形式的，并且數(shù)據(jù)量大，大多數(shù)情況是通過網(wǎng)頁將文件加載，并通過js等技術(shù)進(jìn)行數(shù)據(jù)解析，將格點(diǎn)數(shù)據(jù)通過插值等方法動(dòng)態(tài)地顯示在頁面上，反復(fù)查詢解析數(shù)據(jù)會(huì)占用過多的系統(tǒng)資源。結(jié)合了氣象數(shù)據(jù)的特點(diǎn)，與緩存機(jī)制相結(jié)合，可以更好地利用資源，減少查詢成本。

2 氣象數(shù)據(jù)查詢與緩存技術(shù)結(jié)合的方法

緩存技術(shù)與氣象數(shù)據(jù)查詢結(jié)合的方法，其主要思想就是每當(dāng)讀取氣象文檔數(shù)據(jù)或者頁面數(shù)據(jù)時(shí)就會(huì)對這些數(shù)據(jù)的內(nèi)容進(jìn)行是否緩存判斷，然后利用現(xiàn)有的緩存技術(shù)對這些數(shù)據(jù)進(jìn)行緩存，接下來會(huì)對具體的流程做一個(gè)詳細(xì)的說明。

2.1 數(shù)據(jù)內(nèi)容處理

用戶查詢使用數(shù)據(jù)的顯示方式就是通過客戶端在頁面上將數(shù)據(jù)動(dòng)態(tài)的展現(xiàn)反饋出來，當(dāng)用戶需要下載某一個(gè)數(shù)據(jù)的時(shí)候，需求就是能夠迅速地在本地得到數(shù)據(jù)。一般而言，網(wǎng)絡(luò)端的緩存主要就是通過html頁面或者jsp頁面對數(shù)據(jù)進(jìn)行加載并展示，主要是針對解析并處理了的數(shù)據(jù)集以及jpg等圖片進(jìn)行顯示。本文是面向氣象解析數(shù)據(jù)集數(shù)據(jù)與網(wǎng)頁端所需加載的數(shù)據(jù)做緩存處理。氣象數(shù)據(jù)在網(wǎng)頁上的顯示主要是提前進(jìn)行處理，形成以氣溫、降水、空氣濕度、能見度等數(shù)據(jù)集合的數(shù)據(jù)集，然后再加載進(jìn)行使用。加入用戶想查詢某一時(shí)刻的一種氣象要素信息并顯示在所看的頁面上，首先，要去數(shù)據(jù)庫中查看，是否已經(jīng)有了滿足用戶需求的數(shù)據(jù)集，如果找到了，就在顯示端加載展示，同時(shí)將氣象數(shù)據(jù)存儲(chǔ)在緩存里。在實(shí)際的應(yīng)用過程中，我們發(fā)現(xiàn)，氣象數(shù)據(jù)種類繁多，文件所占用的存儲(chǔ)空間也不盡相同，例如衛(wèi)星資料與雷帶資料，往往需要較大的存儲(chǔ)空間進(jìn)行存儲(chǔ)，但是時(shí)效性要求較高，這些資料反復(fù)讀取，會(huì)增加系統(tǒng)的負(fù)擔(dān)，造成系統(tǒng)的運(yùn)行緩慢等問題，另外對于一些模式數(shù)據(jù)，解析加載時(shí)間過長，反復(fù)解析同樣會(huì)使系統(tǒng)的響應(yīng)時(shí)間變長。

對于上述存在的問題，在數(shù)據(jù)處理過程中，我們結(jié)合了分布式編程模型Map Reduce，對所需要處理的數(shù)據(jù)進(jìn)行相關(guān)的操作。這一編程模型可以更快速的處理數(shù)據(jù)，通過多節(jié)點(diǎn)并行的方式，極大地提升了數(shù)據(jù)處理速度。同時(shí)集群的處理形式相比于單機(jī)版處理數(shù)據(jù)更加安全，如果某一個(gè)節(jié)點(diǎn)出現(xiàn)故障不會(huì)影響到整個(gè)集群的數(shù)據(jù)處理。另外，氣象數(shù)據(jù)的特點(diǎn)也比較適合用Map Reduce編程模型進(jìn)行解析，主要是氣象數(shù)據(jù)集很多情況下是按行存儲(chǔ)，而Map Reduce編程模型可以將文件進(jìn)行分塊讀取，每一塊是按照行來進(jìn)行數(shù)據(jù)讀取。

2.2 緩存建立機(jī)制

上述內(nèi)容我們對現(xiàn)有的緩存方法進(jìn)行了介紹，并針對不同格式的數(shù)據(jù)集可以使用不同的緩存方法，這些可根據(jù)實(shí)際情況進(jìn)行合理確定，接下來我們會(huì)說明緩存是如何建立的。首先系統(tǒng)會(huì)建立緩存模塊用于存儲(chǔ)緩存數(shù)據(jù)，其次系統(tǒng)會(huì)對緩存模塊的內(nèi)容建立緩存表，用于記錄目前緩存的數(shù)據(jù)內(nèi)容以及數(shù)據(jù)大小。當(dāng)用戶第一次查詢數(shù)據(jù)的時(shí)候，系統(tǒng)會(huì)直接訪問數(shù)據(jù)庫，將獲取到的數(shù)據(jù)向客戶端進(jìn)行反饋，并解析加載出結(jié)果，在頁面上顯示。同時(shí)，將查詢到的數(shù)據(jù)存入緩存中，并在緩存記錄表中進(jìn)行記錄。對于緩存中存儲(chǔ)的數(shù)據(jù)，可以是原始數(shù)據(jù)集，也可以是解析過的格點(diǎn)數(shù)據(jù)集，這種數(shù)據(jù)集可以直接使用，不需要在頁面上解析。當(dāng)用戶再進(jìn)行訪問的時(shí)候，系統(tǒng)會(huì)優(yōu)先查詢緩存表，根據(jù)用戶請求的信息進(jìn)行檢索，如果找到數(shù)據(jù)，即將數(shù)據(jù)返回，若找不到，即訪問數(shù)據(jù)庫，并將數(shù)據(jù)進(jìn)行緩存存儲(chǔ)。緩存的建設(shè)目的主要是為了降低客戶端與數(shù)據(jù)庫服務(wù)器之間的查詢次數(shù)，同時(shí)通過之前的緩存方法，對緩存數(shù)據(jù)進(jìn)行管理，可以最大化的進(jìn)行緩存空間的利用。同時(shí)結(jié)合了網(wǎng)絡(luò)緩存的特點(diǎn)，數(shù)據(jù)不可能無限制的存儲(chǔ)在網(wǎng)絡(luò)服務(wù)器中，這就需要技術(shù)人員結(jié)合氣象數(shù)據(jù)的查詢需要，自行調(diào)整緩存策略，從而實(shí)現(xiàn)對現(xiàn)有資源的更好利用。

3 結(jié)束語

本文目的是提高氣象數(shù)據(jù)在網(wǎng)頁端加載并顯示的時(shí)效性，在存儲(chǔ)端結(jié)合了緩存技術(shù)，在數(shù)據(jù)處理端采用了分布式的變成處理模型，對氣象數(shù)據(jù)從查詢到展示，如何做到提高實(shí)效性，保證系統(tǒng)的可用性做了相關(guān)的說明。通過預(yù)處理技術(shù)，將氣象數(shù)據(jù)形成可用的數(shù)據(jù)集，并將原始數(shù)據(jù)以及解析之后的格點(diǎn)數(shù)據(jù)進(jìn)行自主緩存。提高了緩存的文件命中率與字節(jié)命中率，增強(qiáng)了系統(tǒng)的時(shí)效性。