大數據時代檔案管理系統分布式文件存儲的幾點思考

韓 雪

（山東省聊城市人民醫院）

隨著信息技術的不斷發展，大數據時代下，網絡應用更加頻繁，在網絡信息影響下，檔案文件逐漸向數字化方向發展，同時檔案資源也在不斷增加。為使檔案管理的效率得到提升，應結合實際情況，可以通過分布式文件儲存技術對檔案進行系統的分析和管理，提升檔案篩選和儲存效果，不斷提高檔案文件保存質量，從而優化檔案管理工作效果。

一、大數據時代對檔案管理的影響

大數據時代的到來為檔案管理帶來了較為明顯的影響，一方面，大數據技術和信息技術等的應用，使檔案管理的質量得到提升，進一步推動檔案管理工作的開展和提升。在網絡的影響下，檔案數據不斷增加，在進行檔案管理時，需要對海量數據文件進行分類管理和儲存，因此需要檔案管理工作者不斷對管理技術進行升級，創建高效的檔案管理模式，提高檔案管理效果。檔案管理中文件逐漸向數字化方向發展，人們可以直接利用計算機技術進行檔案管理，簡化檔案管理流程，提高檔案管理的便捷性。

另一方面，受到網絡信息的影響，同樣為檔案管理帶來一定的挑戰。在大數據環境下，需要逐漸從傳統檔案管理向數字化管理方向發展，但整體數據量較大，為數據的處理和儲存均帶來了一定的難度[1]。同時，受到網絡安全的影響，使用網絡進行檔案管理時，受到病毒木馬等方式的攻擊下，可能會發生檔案信息泄露或檔案被惡意篡改等安全問題，影響檔案管理效果。相關檔案管理人員應加強對檔案管理技術的研究，不斷對檔案管理技術進行優化處理，進一步提高檔案管理質量。

二、分布式檔案文件儲存技術

（一）技術分析

分布式檔案文件儲存技術是利用相應的管理系統，將檔案文件分散到不同節點上進行儲存管理的技術，在運行過程中，節點的故障對整體數據儲存質量不產生影響，從而避免出現信息大量丟失的情況，保障數據的安全性。分布式檔案文件儲存技術在運行過程中，能夠根據實際需求進行擴展，實現計算機集群效果，構建較大的計算機網絡，實現文件的共享，同時提高檔案管理的質量。在分布式檔案文件儲存管理系統構建的過程中，需要選擇相應的主控服務器，在服務器中配置備用設備，避免主控設備故障，影響系統的運行效果。同時應設置多個數據服務器和客戶端，在其中構建相應的數據節點，便于進行相應的數據儲存管理。分布式儲存技術在運行中，主要的方案是將大文件進行分類，劃分為小文件后進行分類儲存，不同服務器和節點中的總數據量較少，降低服務器的工作量和工作難度，從而提高整體數據服務器的運行效率。大數據背景下，不斷提升設備對信息的處理效率。

（二）技術特征

分布式檔案文件儲存技術在使用過程中具有較為明顯的特征，其一，可拓展性。分布式系統是將若干個節點集合構建成為統一的系統，因此在使用時能夠根據實際需求進行拓展[2]。在企業檔案管理過程中，能夠與企業中所有的計算機設備進行連接，并構建相應的數據儲存空間，便于將檔案文件進行分類儲存，提高整體的文件保存效果。想要對儲存節點進行擴展時，可以對相關的服務器和電子設備等進行調整，并按照相應方式將新設備與總體網絡進行結合，對分布式系統進行拓展，使整體的儲存效果效率得到提升。

其二，性能較強。分布式儲存技術在系統構建和實際應用過程中，具有非常好的使用效果，其性能較為優越，能夠對大量的資源進行快速識別和處理，利用多個層次節點實現與不同結構的結合，便于為用戶提供更加簡便的接口，使系統集成監控、檔案文件儲存以及系統運行維護效果得到提升。

其三，成本低廉。在分布式節點中，對于設備和服務器的質量要求不高，常規型號既能夠滿足功能需求，完成相應的數據儲存管理。因此系統的構建成本相對較低，便于進行推廣應用。

其四，容錯性不足，在使用分布式檔案文件儲存技術的過程中，不同節點之間進行數據的互聯，在進行檢測時，能夠通過網絡進行快速掃描和分析，準確對故障位置進行定位，從而便于上報處理和故障節點數據的遷移，同時不影響其他位置的正常運行。但受到分布式結構的影響，系統故障的概率也相對較大，為降低故障概率，需要提升系統的容錯性，使服務器和分布式結構能夠保持較高的一致性，進而提高檔案的管理效果。

三、檔案管理系統分布式文件儲存數據庫架構

大數據時代下，檔案向數字化方向發展的過程中，需要合理構建相應的數據庫架構，為數字化檔案的管理起到良好的作用。數據庫架構的構建過程中，需要按照相應的方式將數據庫和數據表以及過濾器等程序進行統一集合。檔案管理系統運行過程中，出現故障概率最大的部分為數據庫，數據庫架構的功能直接影響數據的檢索能力和檔案的儲存管理能力。因此，在進行分布式檔案文件儲存系統構建的過程中，需要對相應的數據庫進行全面管理和控制，從而提高數據檔案的安全性和管理效果。

分布式數據庫構建過程中，需要使用單獨的計算機構建系統，并拷貝相關的資料副本，在副本的基礎上構建該節點的數據庫，將不同節點中的數據庫進行連接，組合成為集成狀態下的分布式數據庫。在整體結構中，不同計算機數據庫的邏輯相同，并根據權限級別構建不同的數據邏輯層次。根據不同層次的功能特點對局部數據庫提供相應的數據和工作模式。

想要提升數據庫容量，優化分布式數據庫儲存效果，可利用水平分片的方式將數據庫中的節點進行劃分，將原本的數據庫進行分割，成為若干個物理數據庫子集，將相關的檔案文件等數據分別記錄在不同的子集中，使分片數據庫能夠按照相應的方式運行。在進行方案文件儲存時，不需要關注其儲存位置，在使用時直接提取，進一步優化數據庫的使用效果，并提高數據的容量。對數據庫進行分片處理的過程中，需要根據一定的計算規則對數據階段進行調整和分片，在進行系統控制的過程中，應保持整體一致性原則，避免出現連接故障，無法實現數據的正常應用。

通過分布式儲存結構的設計，能夠使檔案文件管理的安全性得到提升，由于數據儲存在不同的節點上，整體的數據保護效果得到明顯提升。在進行分片后，使數據容量得到有效擴展，便于提高整體系統的識別和讀取能力，進一步提升文件管理效率。

四、分布式檔案管理系統中負載均衡算法分析

負載均衡是增強網絡服務器等相關設備對數據吞吐能力和處理能力的方式，通過將數據壓力分散到不同處理單元中，同時對數據進行處理和控制，縮短任務完成時間，實現負載均衡。在構建過程中，需要在原有網絡基礎上進行設置，有效提升負載文件的處理效果。負載均衡分為軟件和硬件負載均衡以及本地和局域負載均衡。在軟件和硬件負載均衡中，軟件負載均衡過程中，與不同服務器進行連接，利用軟件實現安裝和連接。該方式的操作控制難度較低，并且在不同區域中能夠得到更好的使用，但存在數據庫管理較為困難的情況。在對硬件進行平衡管理過程中，需要依靠相應的負載均衡設備，提高設備的使用效果。本地和全局負載均衡主要針對地理位置進行控制和調整，需要結合需求選擇恰當的服務器，為檔案文件管理提供恰當的管理效率。

負載均衡算法運行過程中，將數據處理任務分散到不同的節點中，各個節點在程序控制下按照要求進行任務處理。受到任務分配的影響，可能導致部分節點中任務量較大，無法及時處理，部分階段中的任務量較小，運行效率較低。為減低影響，可以嘗試使用加權輪轉調度算法，對負載均衡運行中的節點權重進行調整，按照不同節點的檔案文件處理效率進行劃分，并設置不同的權重，以便在進行任務分配的過程中，對處理能力強的節點進行優先分配，從而減少負載不均的情況，提高對檔案文件的處理效率。

此外，針對負載均衡技術的實際執行情況，在不同算法的基礎上總結出具有自適應能力的動態反饋負載均衡算法。使用該算法能夠減輕網絡節點內存壓力，同時提高檔案信息的吞吐量，使整體的檔案處理效率得到優化。在算法中，針對節點儲存能力，設置相應的閾值，并按照節點中信息變化情況對管理系統進行反饋，利用自適應系統進行分析，給出相應的調節方案，從而使節點中負載信息處理效果更加高效。此外，在計算過程中，需要考慮節點中不同動態因素的影響，根據不同網絡節點的結構和能力，提高系統自使用效果，從而使整體的節點負載量更加精準。

對自適應動態反饋負載均衡算法的應用情況進行分析，在使用該算法進行檔案文件處理時，客戶端給出相應的任務信息，在任務信息中包含文件的需求情況和空間占用情況，用F1代表上傳文件數量，F2代表儲存空間占用量。在調度節點中，由該信息組成組合（F1，F2），并進行任務請求。儲存節點識別該信息情況，并將其中的儲存空間與自身的空余空間等條件進行對比。使用連接數和可用空間構建元組（Ci，ASi），并利用元組進行評價和反饋，利用元組分析節點對檔案文件的分析處理能力以及節點的儲存空間大小，以便后續進行反饋調整，給出恰當的工作量，提高儲存節點的實際任務效果。

在對該算法中可連接度進行分析時，可以使用公式表示：

其中i為n個節點中隨機的一個節點，其左最大值為CMAXi，在計算過程中Ci為可用連續數，通過公式得到相應的閾值，根據閾值情況對可連接性進行分析，不同閾值下儲存節點的實際工作質量不同，因此通過閾值來對節點的性能進行分析調整，進而保障整體的分析效果。

五、大數據影響下檔案分布式文件儲存管理系統分析

（一）對系統功能的需求

大數據影響下，為提高檔案儲存管理質量，使系統能夠更好地處理大量數據，提高功能實施效果，應結合實際的檔案儲存情況，對需求情況進行分析。在網絡化的影響下，檔案數據向小文件形式發展，在儲存過程中，應制定恰當的儲存方式，減少文件對空間的占用，降低節點的儲存壓力。在對系統功能進行分析時，用戶對檔案文件上傳功能較為重視，文件上傳直接影響整體結構的任務情況，因此應提高上傳的準確性和高效性。為使文件上傳后的標志更加明顯，應對功能進行設置，構建過濾結構，對文件的屬性和重點內容進行標記，并結合文件實際情況制定相應的屬性和檢索關鍵字，便于后續進行提取和檢索，如圖1所示。在文件上傳的過程中，用戶創建上傳請求文件，并將其作為待辦事項，進行管理，結合文件的信息情況，設置相應的算法，對文件進行識別和屬性提取，對文件的類型進行判斷，并設置相應的檢索標志，最后完成索引設置，確保后續能夠進行搜索應用。在完成設置后進行數據文件儲存。

圖1 文件上傳結構設置

在檔案數據儲存過程中，為提高對空間的利用效率，針對文件的儲存功能，對分布式結構進行調整，設置針對小文件的儲存節點。檔案文件儲存過程中，設置小文件的儲存方式，降低數據量小的檔案文件的空間占用。使用FastDFS對儲存模塊進行調整，提高對小數據的儲存效果，并對相關節點進行擴容，提高小文件數據的儲存效果。

在對文件檢索功能進行設計的過程中，應提高檢索的質量和效率，同時簡化搜索流程，實現快速的文件搜索。在系統節點中儲存了較多的文件，通過屬性的識別，將不同類型文件進行區分，再按照文件的關鍵字進行檢索，或將目標文件中的關鍵字作為檢索信息，使用戶在進行信息查詢的過程中，能夠在最快的情況下準確得到目標文件，如圖2。

圖2 文件屬性設置

文件檢索后，需要對檔案文件進行下載使用，在下載過程中，為保障檔案文件的安全性，應對下載功能進行優化。一方面，應提高下載過程的安全性，另一方面需要強化下載的效率，使檔案文件的使用效率得到提升。

在大數據時代影響下，用戶使用分布式檔案文件管理系統的過程中，需要保障系統具有較高的響應速度，有效縮短系統的識別和處理時間，同時提高文件處理的精準度，從而進一步滿足用戶需求。同時由于檔案文件對于用戶具有重要作用，在使用管理系統時，應確保系統具有較強的可靠性，從而提升系統的服務效果。

（二）系統的結構設計

在構建檔案管理的分布式文件儲存系統時，應結合用戶對系統功能的需求進行設計，滿足用戶的相關需求。在進行結構設計的過程中，整體系統中主要包括文件儲存、文件屬性設置、文件檢索以及文件管理模塊，結合該系統需求情況，對系統結構進行合理設計，構建效果良好的文件儲存系統。

在對儲存結構進行設計時，由于儲存結構是系統的中心模塊，對系統的功能產生決定性影響，應結合儲存模塊的特點，實施負載均衡措施，對任務進行調低，從而保障儲存模塊保持正常的使用性能。此外，結構中的節點數量較多，為保障儲存的可靠性，應對不同節點之間的關系進行調整，保持節點之間的對等且獨立的關系，避免在某一節點故障后，對其他節點產生影響，提高節點數據儲存的質量和安全性。

在儲存圖片或文字等不同屬性檔案文件時，應在文件管理過程中，對文件的內容和屬性進行識別，并按照文件基本信息和重點信息設置相應的檢索關鍵字，在設置完文件屬性后，可以對文件進行儲存，以提高文件的識別效果，便于后期進行檢索提取。在設置文件儲存屬性時，可以引入智能識別技術，對文件內容進行識別，并智能推薦相應的檢索關鍵字，人工對其進行判斷后完成文件的處理和儲存。

（三）檔案監管功能設計

檔案文件的儲存管理過程中，需要確保整體儲存質量和安全性，管理人員應構建相應監控模塊，對系統儲存管理過程進行監控，并對檔案文件的實際管理和儲存情況進行信息整理并上傳，提高管理人員對檔案信息的掌握效果。在對系統進行監控管理時，主要對不同節點的文件處理狀態、文件上傳和下載速度以及節點儲存等情況進行監控，通過對系統運行情況的監控管理，識別系統狀態和運行情況，便于進行優化和管理。在監控系統中設置子模塊，分別對不同的節點進行監管，對監管信息進行實時回傳，由監控管理系統進行識別和整理，用戶在前端請求時提供監控數據。對于整理后的監管信息，上傳到數據庫中，等待提取和使用。通過對監控信息的調整，使監控數據的使用效率更高。

六、結論

綜上所述，在大數據背景下，為提升檔案管理儲存質量，應加速檔案管理的數字化發展。通過構建分布式文件儲存系統，利用不同節點對用戶的大量數據進行分類儲存，使檔案數據的儲存效率更高，進一步提高檔案管理工作的實際效果。