基于網絡編碼分布式文件系統的設計與實現

宋文彬

（山西工程科技職業大學 山西省晉中市 030619）

移動互聯網的快速發展使得網絡數據量呈現爆炸式的增長。在龐大的數據當中，不同類型的數據都有其應用價值，我們需要使用各種類型的技術手段，對這些數據進行收集分析，挖掘以及處理，保證有價值的信息得以快速的儲存，應用在它能夠提升價值的地方。使用傳統的超級計算機進行數據的采集，分析挖掘和處理工作，已經無法滿足現實需求，它不僅需要提高處理的時間，經濟成本也大幅度的提升。正常用戶對于信息和數據處理具有更高的要求，與此同時他們也對網絡構架提出了更多的要求。如果能夠在多個設備上對不同類型的數據以及信息進行儲存，那么就可以有效的解決上文提出的這些問題。

新型技術的普及使人們對于網絡服務的質量要求不斷提高。針對這種情況，可以采用設計一款網絡分布形式的文件系統來解決這一問題。并且，這一系統能夠實現軟件定義網絡，并實現網絡中動態資源的充分利用，實現對數據的高速傳輸，而這一過程需要獲取最佳的路徑。分布式文件系統在運行的過程當中，它的性能得以快速的優化，并且通過有效的引導可以讓大數據流明顯的提升。通過對構建的分布式文件系統運行文件讀寫功能修復、操作功能進行測試，可以發現它與傳統的網絡環境相比，具有較強的修復能力以及讀寫能力，而且它更加適用于網絡數據量大，并且存在較為明顯的異構情況下。

1 現狀分析

在信息化的時代，人們一系列生產活動以及學習活動都會產生大量的數據以及信息，儲存這些數據和信息，甚至是處理這些數據和信息都需要大量的電子產品。為了整體提高信息處理的效果，計算機的運行速度也有著很大的提升。在對信息生成以及信息處理進行管理的過程當中，對電腦信息進程儲存這一環節是十分重要的，并且隨著計算機速度的不斷增加，還需要確保信息存儲速度能夠與其相匹配，通過實現這一要求，進而能夠確保信息傳輸與存儲能夠有著更高的速度，并且滿足人們對于信息的各項需求。

直至目前為止，對于如何高效的管理分布式儲存設備，仍然是人們需要重點關注以及解決的問題。確保高效網絡的智能化徹底實現，使得它的感知能力以及適應能力得到明顯的提升，更好的符合上層應用的各種變化。為了確保能夠真正的提高應用的實際性能，以及給用戶更加舒適的體驗，就需要通過構建分布式文件系統的方式，使文件的儲存能夠得到更加系統與科學的應用，確保數據訪問性能有著更高的提升。那么這要求相關研發人員深入的了解底層網絡的狀況，并且通過控制底層網絡狀況對其核心操作算法進行改進以及優化。在進行相關設計的過程中，如果能夠實現網絡資源配置服務對用戶開放，這一技術的實現能夠確保用戶在網絡運用中能夠得到大量的數據，并且確保這些數據與信息能夠給用戶提供到相應的幫助。我們在針對網絡編碼分布式文件系統設計與實現路徑進行研究時，以軟件來定義網絡環境分布式文件系統原型構建，并且以彈性素修復算法針對異構儲存節點，以網絡編碼思想作為基礎，以儲存環境結構作為重點考慮。

2 系統設計

2.1 軟件定義網絡和分布式文件系統的連接

與其他類型的網絡形式相比，軟件定義網絡的應用價值相對較高，其主要原因是它可以以高度抽象以及結構網絡，具體還包括設備控制層以及數據轉發層的內容，在進行該項技術設計與應用的過程中，需要充分結合具有高度模擬化特征的網絡硬件，并且確保整個系統能夠有著較高運行效率，進而實現其對整個網絡軟件進行重新定義，它可以獲取動態的網絡變化信息，同時也可以有效的彌補傳統網絡存在的不足。

將軟件定義網絡和分布式文件系統進行充分的連接，可以使得整個網絡的智能性以及靈活性明顯的提升。SDN的使用可以達到實時監控以及網絡網絡系統的目的，在此基礎上，其還具有將參考數值提供給上層應用的作用。上層應用在進行信息實際應用的過程中通過網絡渠道將其發布，那么在進行信息提供時，就可以根據他們發布出來的具體要求進行網絡資源的配置工作。

所以，在進行相關設計的過程中，其對文件及信息的分析方式需要建立成一個資源密集型的系統，并且確保網絡文件的存儲能力與數據分析能力有著明顯的拓展趨勢，確保其在整個系統當中能夠形成多個存儲節點，一個或一個以上的節點可以保證整個系統運行的穩定性。那么在這個過程當中，數據中心也會受到分布式文件系統的直接影響。SDN的接口結構與分布式文件系統的接口結構具有較大的相似性，而且他們都是使用C/S構架等方式進行連接。這種連接的方式使得控制的過程比較集中，而且也比較容易結合使用。

2.2 SDN在分布式文件系統中的應用

在針對分布式文件系統設計中，SDN網絡能夠對上層應用及逆行高效的反饋，并確保整個系統的性能都能夠得到明顯的優化。同時，SDN通過其中的一個中間件，可以實現對整個系統中信息進行綜合調用，并且還能夠結合用戶的實際需要對底層的網絡進行發送。與其他類型的網絡系統設計相比，本文分析的設計特點在于以下5個方面的內容。

第1個特點在于其的后臺是以SDN作為基礎，對數據以及信息進行動態更新，與此同時它還會對拓撲流圖進行維護工作，然而、拓撲流圖還將底層網絡的連接信息，各個節點之間的信息交流、最短路徑信息等多項內容包含在其中。對這些數據以及信息進行動態更新，能夠實現在更加快速的基礎上將底層網絡的信息變化情況反映出來，用戶在進行使用的過程中，就可以在更短的時間內搜索到相關信息。

第2個特點，其有著還能夠實現多種類型的功能，并且在一定基礎上還可以實現傳統網絡隔離在內等相關功能，通過對匹配這個兩個關鍵字的搜索能夠實現對相關數據與關鍵信息的搜索，并可以對指定的數據進行傳輸。

第3個特點，其主要能夠在系統文件分布形式實現將系統插入到流量超時的限制中，在這樣的情況下就可以對超時的文件進行科學地計算，進而實現控制對兩個節點之間文件傳輸需要消耗的時間，并且在一定程度上還能夠實現將消耗的時間納入到流表中。

第4個特點，在結合分布式文件系統進行控制流及數據流的應用中，能夠對系統中的相關路徑進行優化，實現數據在傳輸同時下發流表。

第5個特點，針對本文設計的控制流系統的通信功能研究中，其在進行相關傳輸的工程中，需要以IP和路由為基礎，并針對系統中的通信功能進行優化，通過SDN和智能路由兩組方式進行傳輸。

2.3 系統構架設計

在進行系統構架設計的過程當中，首先需要將SND網絡結構放置到中間層的位置上，并且它的主要功能主要應用到底層網絡數據的傳輸工作中。并且，在中心層外圍的系統設計中，其各個節點有著不同的應用，其主要的傳輸能夠需要應用到與客戶節點及數據的交換中，在此基礎上數據就可以進行傳輸工作。而且在這一過程當中還可以實現監控管理的優化效果。

3 網絡分布式文件系統主要功能的實現

3.1 讀文件操作

SDN網絡作為基礎，對全部網絡通信的內容進行深入的分析，并且完成網絡通信的各項任務及文件讀、寫的具體操作步驟是先將具體文件請求發送到系統當中，并且由系統專門負責文件信息管理，儲存以及分析的節點，對這些文件數據信息進行查詢并完成數據的傳輸工作之后，以數據傳輸作為起點，在確定目標節點之后，進行后續的管理工作。而在這一過程當中，需要以最佳路徑計算以及流表下發作為基礎才能更好的對路徑的部署進行實現。系統將處理完的需要讀取的文件信息返回給客戶，并且提示文件可以開始讀取，那么用戶就可以將數據傳輸的請求發送到目標的網絡中心當中，經過一系列的處理之后，數據又可以再次返回到用戶終端。接到數據之后，用戶就可以對這些數據以及信息進行解碼檢驗，并且讀取成功。而在完成以上所有操作之后，本次建立的所有路徑都會被刪除。

3.2 寫文件操作

以SDN文件的上傳功能作為基礎，將網絡分布式文件系統與其進行充分結合之后就可以完成寫文件的操作，而具體的操作步驟如下：首先，系統在接收到用戶發來的需要寫文件的請求后，其能夠根據請求的目標及需要自動匹配最佳的路徑與節點，并實現高速計算，而此項計算的過程所花費的時間相對較短，但是它可以獲得相關的計算結果之后向交換機下發流表。

在完成以上操作之后，用戶就會接收到系統返回的成功準備的路徑標志，那么就可以在此基礎上完成同目標儲存節點之間的連接工作，以及建立工作。此時用戶可以在獲取到以上分析的內容之后，根據所有的條件完成同目標儲存節點間連接的建立，從而對數據以及信息進行傳輸。

數據中心在接收到客戶傳輸的數據之后，就會對首個儲存節點之后的所有內容進行儲存以及分析，接下來就會以不同的形式對數據進行分析，并且到其他節點的運輸過程中去。在這個過程當中，系統接收到成功寫文件的數據標志之后就會對新添加的流表項進行刪除操作。

3.3 文件修復操作

文件的修復操作需要以彈性樹修復算法進行。以該修復算法作為基礎，在針對文件進行修復工作時，它的具體操作如下。在針對文件系統修復的實際操作中，首先需要加進去一個具有修復任務的讀取系統，并且在進行這一修復工作開展的過程中，其還能夠對需要修復的節點進行選擇，并且對節點上所需要開展的工作進行確定，都可以以系統作為基礎完成一系列的操作。而在完成以上內容之后，就可以計算出最佳路徑，并且進行下發流表的工作。在此基礎之上，我們還需要針對數據傳輸路徑進行合理的部署，保證其部署的科學性，并且使得整個數據傳輸的路徑具有穩定性的特點。參與修復的每一個節點，在進入到算法之后就會接收到來自系統的修復信息。而修復信息的接收或可以根據數據的內容進行實際的數據傳輸以及計算過程。最終系統接收到，來自目標節點的修復，完成信息之后，就會對已經建立的路徑進行刪除操作。

4 系統測試和結果分析

為了能夠確保本文所記錄的分布式文件系統在具體應用的過程中能夠有著更高的性能，需要采用系統原型構建的方式進行實現，并且實現對客戶端及數據存儲節點上的相關內容進行科學的系統分析。而且在測試的過程當中操作的內容包括文件的讀寫修復等多項過程。在針對測試文件讀寫的功能進行分析時，能夠觀察到，其每隔10秒就能夠對網絡的寬帶進行細微的改動，其都是為了確保測試的文件大小想要用，能夠實現對文件讀寫影響因素的分析。

5 結論

傳統分布式文件系統對于底層網絡并沒有進行深入的考慮，所以它的讀寫性能以及文件的修復性能大幅度降低。最近這幾年，編碼理論當中有了新的網絡編碼的出現，并且它將傳統路由器當中的單純文件復制進行改變，并且，在一定程度上證明了中間節點能夠增強字編碼能力，信息速度傳播更快，而且達到了基于拓撲網絡流圖上最大流量的目的。上文主要針對于網絡編碼，分布式文件系統的設計作為基礎進行探討和分析，具體內容包括系統設計網絡分布式文件系統主要功能的實現，系統測試及結果的分析等。