摘 要:當前我國農產品冷鏈物流技術比較落后,難以對農產品質量進行實時監控,冷鏈物流管理信息系統發展滯后。在大數據時代,農產品冷鏈物流管理具有數據存儲與分析、系統拓展和穩定性、高效安全及可視化三個方面的需求。因此,根據大數據時代農產品冷鏈物流的功能需求,文章提出并設計了一種具有大數據存儲及分析模塊、庫存及物流管理模塊、數據管理模塊以及市場供求分析模塊的農產品冷鏈物流系統。這一系統可以提供農產品冷鏈物流數據的存儲、調用、分析及預測功能,也可對農產品市場供求信息進行分析和預測,從而實現高效的農產品冷鏈物流管理。
關鍵詞:大數據時代;農產品;冷鏈物流系統;功能需求;模塊設計
中圖分類號:F259.2 文獻標志碼:A DOI:10.13714/j.cnki.1002-3100.2024.12.039
Abstract: Currently, the cold chain logistics technology of agricultural products in China is relatively backward, and the quality of agricultural products is difficult to monitor in real time. The development of cold chain logistics management information systems is lagging behind. In the era of big data, the cold chain logistics management of agricultural products has three aspects of requirement: data storage and data analysis, system expansion and stability, efficiency, safety, and visualization. Therefore, based on the functional requirements of agricultural product cold chain logistics in the era of big data, this article proposes and designs an agricultural product cold chain logistics system with big data storage and analysis module, warehousing and logistics management module, information management module and market supply and demand analysis module. This system can provide storage, retrieval, analysis, and prediction of agricultural product cold chain logistics data, as well as analysis and prediction of supply and demand information in the agricultural product market, thus achieving efficient management of agricultural product cold chain logistics.
Key words: the era of big data; agricultural products; cold chain logistics system; functional requirements; module design
0" " 引" " 言
我國一直以來都是農業大國,在農產品生產與銷售方面具有不可忽視的地位,隨著經濟的騰飛,人們的收入持續增長,對生鮮農產品、水產品、蔬菜水果、肉類的需求與日俱增,這種持續擴張的消費需求也給農產品冷鏈物流的發展帶來了積極影響,因此其未來的發展前景一片光明[1]。然而,就目前情況來看,國家農產品冷鏈物流管理的數字化程度仍然不高,需要充分運用大數據技術,對農產品冷鏈物流管理系統進行完善與優化,依托高效且先進的物流管理技術,提高企業客戶黏性,實現冷鏈物流數據價值的加速提升。
1" " 大數據時代農產品冷鏈物流發展現狀
目前我國冷鏈物流行業已經進入迅猛發展的關鍵期,特別是在農產品冷鏈物流方面,發展的環境與條件日漸健全,農產品冷鏈物流初步形成一定的規模。以某些生鮮農產品出口企業為例,他們引進了一些國際領先型管理技術如GMP及HACCP等,全程都可采用嚴格的低溫控制;某些連鎖超市也加大了對生鮮農產品檢測與銷售環節冷鏈控制的力度,確保市民可以購買到更加安全有保障的產品[2]。然而相較于發達國家,我國的農產品冷鏈物流并未建立起一體化的冷鏈物流體系,這也最終導致人們對健康安全食品的需求無法得到有效滿足。
1.1" " 農產品冷鏈物流技術比較落后,農產品質量難以實時監控
盡管我國的冷鏈物流迅速崛起,但因為起步晚、基礎設施不足,特別是農產品冷鏈的運輸和存儲設施面臨著一定的挑戰與困難,過度老化的設施已無法滿足市場需求。由于先進的冷鏈物流技術并未在農村及城市郊區等地方得到廣泛運用,因此大多數生鮮農產品不得不依賴常溫方式進行運輸和銷售。有關資料表明,生鮮農產品,如肉類及果蔬等,若在常溫下運輸和儲存,將會產生20%~30%的損耗率,會嚴重損害它們的品質,也會導致大量的資源浪費。此外,當前我國企業并未充分關注全程冷鏈控制,冷鏈質量監控手段也并不健全,操作者未嚴格執行溫控制度的情況時有發生,導致農產品流通期間全程溫控無法得到有效落實,嚴重影響著產品的質量與安全。此外,一些中小型物流企業受資金所限,無法全程應用現代化的保溫制冷技術、相關監測技術以及實施溫度控制等,導致無法在供應鏈各個環節及時共享信息,難以有效跟蹤物流全過程的冷鏈信息。
1.2" " 冷鏈物流管理信息系統發展滯后
基于現今冷鏈物流技術的應用情況不難發現,信息技術及數字技術并未得到廣泛運用。第一,流通期間的產品信息管理存在欠缺。第二,倉儲過程中包括智能溫濕度在內的各類環境因素控制存在欠缺。只有充分運用數字信息技術,才能建立起相對完善的冷鏈物流系統。但目前,冷鏈物流技術應用程度普遍不高,使得農產品冷鏈物流體系的發展嚴重受限。在整個冷鏈物流體系中,相關操作員工入職前后并未接受系統化的培訓,導致其對該行業的運作流程和農產品特性知之甚少,這也給其工作效率帶來了一定的負面影響。冷鏈物流企業主要通過融合傳統和現代模式實現技術傳承[3]。但是,僅仰賴老員工經驗已跟不上冷鏈物流前進的步伐,一旦經驗存在缺陷或不夠科學合理,必將嚴重制約其發展。而要想確保農產品在冷鏈運輸中的品質,則需要具備熟練的操作技能,然而面向冷鏈物流人員的培訓體系并不健全,培訓方法也過于單調。
2" " 大數據時代農產品冷鏈物流系統的需求分析
在大數據時代下構建農產品冷鏈物流系統平臺,旨在優化冷鏈物流企業的管理。基于農產品冷鏈物流工作實際,這一系統在功能設計方面需要考慮以下需求。
2.1" " 數據存儲與分析需求
農產品冷鏈物流系統需要用到多種傳感器,由此而生成的原始數據量大且類型繁多,傳統數據庫要有效存儲和管理這些數據存在一定的難度。冷鏈物流中涉及的大量數據存儲管理面臨的主要挑戰在于需要處理多種數據類型,包括結構化、非結構化和半結構化數據。需要清洗所獲取的數據并對其進行分類存儲管理,以便有效處理不同類型的信息。實際操作中,可將數據存儲與分析模塊劃分為以下幾個子模塊:第一,數據存儲管理。作為分布式文件管理系統,HDFS不僅能存儲多份數據,還具有一定的自動恢復機制,這為其確保高容錯性提供了有力保障,與此同時還支持處理百萬級文件規模。通過瀏覽器可瀏覽HDFS列表,并針對文件或文件夾完成一系列操作,如更名、下載、刪除以及查找等。冷鏈物流管理系統運作期間會生成很多小文件,而這些小文件的存儲會使Hadoop的使用性能嚴重下降,最有效的辦法就是按照文件類別和大小進行分組合并,以平衡存儲和計算性能。第二,數據倉庫管理。數據倉庫作為數據流水線,主要通過ETL多源獲取數據,日常操作中其主要職責是保障ETL流程的順利和穩定運行[4]。Hive被用作該模塊數據倉庫的主要工具。第三,數據類別管理。這一模塊的主要功能是有效分類和處理不同數據文件。第四,數據分析管理。數據分析功能模塊致力于根據結構化數據處理模式,快速、便捷地統計與分析冷鏈物流系統中所產生的大規模數據。為了尋求價值化信息,該模塊利用SQL類型的操作對冷鏈物流中的關鍵信息如濕度、溫度、時間、轉載量以及制冷技術等進行監測,同時對其展開深入的分析與挖掘。
2.2" " 系統拓展和穩定性需求
農產品冷鏈物流管理系統不僅要實現上述數據的存儲和分析需求,還需滿足大容量存儲和擴展性需求,此平臺支持存儲大規模、多樣化的冷鏈物流數據,包括非結構化、結構化和半結構化數據,并對其進行存儲管理。其分布式文件存儲能力允許數據分布在多個服務器上,以滿足數據存儲和分析的需求[5]。該平臺具備靈活性,能夠基于實際業務需求變化隨時增加服務器節點,以增強計算與存儲能力。此外,該平臺不僅支持開發,而且還能從多個方面為上層應用提供相應的服務。農產品冷鏈物流系統平臺應具有穩定性,即便集群中某個節點宕機或一些進程中斷導致服務故障,整個平臺仍然能順利運行。不同任務和服務應相互隔離,確保獨立運行。此外,還應多次備份平臺中所存儲的文件,以便于在遭遇損壞時可迅速恢復,從而保障數據的完整性與可靠性。
2.3" " 高效安全及可視化需求
農產品冷鏈物流系統平臺利用集群多處理器所具有的分布式計算特性,來滿足農產品冷鏈物流的大數據處理需求。平臺的活躍節點數量與計算速度呈正相關,支持使用Java等編程語言進行程序開發,同時可以高效處理SQL類型數據。為了保障數據安全,避免出現泄露風險,平臺應建立健全相應的安全機制。詳細記錄貨物流轉的每一環節,確保信息查詢可以追溯到源頭,盡可能降低丟包風險[6]。除此之外,為有效提升用戶使用體驗,農產品冷鏈物流系統特設可視化界面,用于呈現冷庫及車廂環境信息、共享車輛路徑和有關統計數據等,使用戶操作更加直觀便捷。
3" " 大數據時代農產品冷鏈物流系統的功能模塊設計
隨著大數據時代的開啟,農產品冷鏈物流的功能需求也發生了一定的改變,結合農產品冷鏈物流實際,設計如下功能模塊。
3.1" " 大數據存儲及分析模塊設計
在大數據存儲及分析模塊中,通過數據處理及關聯分析、數據監控、信息可視化等多元化功能,安全存儲、聚合并有效處理整個農產品冷鏈物流各個環節中的海量數據,從而在全流程調度中發揮積極作用,使相關管理人員能夠第一時間獲取市場供求、農產品、車輛運輸、倉庫等相關狀態信息,并在了解相關信息的基礎上制定科學合理的策略。第一,存儲數據。有效處理市場供求訂單、農產品、倉庫以及車輛運輸等相關信息之后,再劃分不同的數據類別進行區別存儲管理,再分布式存儲各個類別數據并加以統計。[7]在農產品冷鏈物流管理的各個環節中,包含農產品出入庫、物流訂單、車輛、倉儲以及監控農產品運輸全程的環境信息等結構化數據。另外,在農產品冷鏈物流平臺中,存儲包括物流訂單、駕駛過程中安全行駛視頻文件、冷庫監測視頻文件等非結構化數據。在存儲多媒體文件的過程中,還會同步存儲訂單和貨物的基本信息、視頻相關基本信息等相關非結構化數據。系統引入HBase方式有效存儲文件,HBase在列的基礎上形成數據庫,可以大大簡化刪減數據表等相關數據的操作。第二,數據監控。實時監控各個農產品冷鏈物流環節的有關數據,第一時間預警提示非正常數據。在數據監控的過程中,主對冷庫環境信息、訂單詳情、車廂環境、農產品信息、其他數據等信息進行有效監控。第三,處理數據并有效分析關聯性內容。查找、刪減并實時更新Mysql, Hive, HBase等不同類型的文件,再將相關數據加以整合以進一步深挖相關信息,并將其轉換成服務內容,使之在滿足不同客戶多元化需求的過程中發揮積極作用。第四,信息可視化。對于基于大數據基礎的農產品冷鏈物流管理平臺而言,可以從農產品信息、車輛運輸信息、冷庫信息等方面著手進行可視化展示。第四,數據倉庫。該平臺的數據倉庫平臺是Hive。將存儲表與HDFS的文件夾或目錄一一對應。在Hive中引入Metastore數據存儲庫存儲數據,有效進行倉庫數據管理。其中記錄了各個數據表的路徑、名稱以及屬性等相關信息。另外,系統引入Mysql數據庫有效存儲Metastore。
3.2" " 農產品市場供求分析模塊
只有全面了解農產品冷鏈物流市場供求關系的具體情況,才能統籌規劃合理分配資源,進而提高交易效率,有效規避牛鞭效應。在重點關注物流資訊、市場消費情形等信息的基礎上進行市場供求關系管理。通過市場消費情形獲取不同區域消費人口數量并加以統計。有更多的人口量的區域就意味著有更大的農產品需求量[8]。客觀掌握不同區域消費群體的消費習慣、收入水平以及對農產品價格的預期數據,實時了解市場成交動態,以此為基礎統籌制定生產和采購計劃,進而逐步優化配置資源。物流資訊是指匯總整理不同區域各個交通道路的物流資訊并加以分析,全方位掌握不同區域動態的農產品市場供求信息,以此為基礎逐步優化物流信息,在保證物流效率的同時促成交易。
3.3" " 倉儲與運輸模塊
通常情況下,冷庫為了保證農產品的新鮮度,設定的冷庫溫度在0~-10℃之間,這樣的溫度范圍內能夠有效降低水的蒸發速率,抑制農產品的呼吸作用。倉儲管理顧名思義是管理冷庫環境、出入庫農產品和庫內等信息。第一,管理冷庫環境。定期檢測冷庫的濕度、溫度以及含氧量等數據,確保相關數據符合冷庫倉儲和運輸需求。第二,管理農產品入庫信息。整理農產品入庫信息并做好入庫農產品類別、批次、入庫時間、價格、數量等數據的記錄,以此為基礎統籌制定入庫調度計劃。第三,管理農產品出庫信息。統計出庫農產品批次、價格、出庫時間、類別等相關數據并做好記錄,以此為基礎統籌制定出庫調度計劃[9]。第四,做好庫內管理。設置冷庫內盤點流程,結算冷庫內農產品貨物,實時監測當下各個冷庫的情況,實時了解不同冷庫實際庫存余量。另外,把冷鏈物流管理的核心放在對訂單派送流程的有效管理上,內容包括冷鏈物流配送貨物信息、運輸車輛基本信息以及配送事故的處理等。
3.4" " 農產品信息管理模塊
確保農產品品質的關鍵在于完成采摘和加工之后將其立即置于冷庫冷藏。這一過程中需要加強對很多數據信息的管理,如產品、存儲、加工以及流通環節信息等。所處環境不同,各類農產品的保鮮時間也存在顯著差異[10]。因此,系統內必須記錄和存儲各類農產品的相關信息,這些信息需涵蓋農產品的細節(包括品名、產地、批次以及采摘時間等)、加工情況(包括農場和企業信息以及包裝時間等,還有記錄生產過程信息)、存儲信息(包括倉庫與車廂內的溫濕度記錄、出入庫時間、訂單信息以及派送記錄等),以及流通環節的管理信息(包括收購價格、購進數量、不同經銷商情況以及認證標準等)。
4" " 結" " 語
當今,農產品冷鏈物流可謂蓬勃發展,由此而生成的數據類型和數量也與日俱增,對農產品冷鏈物流系統的數據分析與處理能力提出了更高的要求。本文在深入分析大數據環境下農產品冷鏈物流管理系統對大規模數據處理需求的基礎上,提出與該系統平臺相適應的功能設計,為科學合理地運用大數據技術,完善并改進冷鏈物流企業管理信息系統,滿足企業物流的高水平管理需求,全面提高物流管理成效奠定了堅實的理論基礎。
參考文獻:
[1] 楊柳,雷金濤,蘭夢,等.基于大數據的農產品冷鏈物流管理系統[J].現代商業,2023(4):38-41.
[2] 郭明德.農產品冷鏈物流運營水平及其機制創新研究[D].烏魯木齊:新疆農業大學,2022.
[3] 黃雪艷.雙循環發展格局下貴州省農產品冷鏈物流需求預測[D].重慶:重慶交通大學,2022.
[4] 滕寒冰.生鮮農產品冷鏈物流溯源系統搭建研究[J].全國流通經濟,2021(15):25-27.
[5] 整合系統資源打造“冷”園區“鏈”起產銷網——關于廣東農產品冷鏈物流專題調研報告[J].中國合作經濟,2021(5):24-27.
[6] 李玉民,黑柏林,閆凱麗,等.區域農產品電商與冷鏈物流復合系統協同模型構建與應用——以中部六省為例[J].物流技術,
2020,39(7):34-42.
[7] 高無盡.海南生鮮農產品冷鏈物流庫存控制仿真研究[D].海口:海南大學,2019.
[8] 賀盛瑜,馬會杰.農產品冷鏈物流生態系統的演化機理[J].農村經濟,2016(10):114-117.
[9] 張馳,張曉東,王登位,等.基于組件庫的生鮮農產品冷鏈物流云服務系統設計與實現[J].農業工程學報,2016,32(12):273-279.
[10]" 胡金麗,張兵,閆佳佳.徐州市農產品冷鏈物流管理信息系統問題與對策研究[J].商場現代化,2021(10):51-53.