食品安全數據采集與融合共享的研究

劉姝 王思宇 王夢可

摘 要：食品安全數據資源分散、標準不統一、數據孤島的存在等制約了食品安全數據價值的釋放，難以滿足當前食品安全治理需求。本文結合食品安全數據的特點及存在的問題，研究并建立集數據采集、治理、共享服務為一體的食品安全數據采集與融合共享體系。

關鍵詞：食品安全;數據采集;數據治理;共享交換

國以民為本，民以食為天，食以安為先。食品安全關乎人民健康和生命，“十三五”規劃建議更是將食品安全問題提到國家戰略高度，提出實施食品安全戰略。

隨著信息技術的發展，有關食品安全的監管工作趨于信息化和網絡化，累積了海量的食品安全數據。食品安全數據來源范圍廣泛，涉及多個部門，包含食品生產、加工、餐飲與流通等多個環節，覆蓋網絡餐飲、集中配送、食堂等多個業態。然而，無論是食品監管部門內部管理系統的數據，還是互聯網等渠道的公開數據，都呈現出零散、異構、低質等特征。不同部門的信息數據被分割存儲，數據組織形式各異，相互獨立、封閉，無法有效互聯互通。要實現對食品安全數據的有效管理、充分挖掘數據價值，需要對碎片化的數據進行有效融合，打破數據壁壘，實現數據互聯互通，釋放數據潛在價值。

1 食品安全數據采集與融合共享研究現狀

食品安全數據的重要特點就是數據量大、來源分散和格式多樣，包括數據庫、文本、圖片、視頻、網頁等各類結構化、非結構化及半結構化數據。基于食品安全數據的特征及問題，不少學者也都進行過有關食品安全數據的采集與融合共享研究。

劉楊、馬東[1]等學者認為需要通過數據編碼標準，實現跨部門、跨層級、跨地域的食品安全相關數據的融合與應用，研究側重于食品安全數據的分類與編碼，對于數據的采集與融合共享缺少系統性描述;張素智、楊芮[2]等闡述了食品安全大數據預處理方法即數據融合技術，主要是消去食品安全數據中的噪聲和冗余點，對從多傳感器中采集到的食品安全數據進行分散處理后全局融合，所描述的采集方式較為單一，沒有覆蓋到常用的數據采集渠道;晏斌、李唯正[3]等認為需要對具體的信息進行統一規范的本體轉化，實現對數據庫的精準查詢，從而實現不同系統之間的數據交換和融合，文章中更多的是介紹了一種融合技術，而對于數據融合共享的實現邏輯卻沒有進行闡述;陳小妮、李鵬輝[4]等對食品安全數據融合的三個層次進行分析和對比，認為食品安全大數據融合方法可以分為經典融合方法和現代融合方法，側重于方法論的講解，針對整個系統的構建缺少實質性的建議。

本文結合目前食品安全數據采集與融合共享的研究現狀及存在的問題，在以往學者研究的基礎上，從數據采集的規范性和一致性入手，以數據融合共享為目的，構建了集數據采集、治理、共享服務為一體的食品安全數據采集與融合共享體系。

2 食品安全數據采集與融合共享體系

本文構建的食品安全數據采集與融合共享體系包含數據的采集、治理和共享交換，利用多種數據接入方式實現數據的統一匯聚，依據豐富的數據治理規則和治理規則集對匯聚進來的數據進行治理，通過共享交換數據資源目錄和服務管理來實現食品安全監管各部門之間數據的共享交換，滿足食品安全數據融合共享需求。技術路徑圖如圖1所示。

2.1 食品安全數據采集

鑒于食品安全數據的多源性和分散性，本文構建的食品安全數據采集與融合共享體系采用Kettle、Flume、Sqoop等技術，實現結構化、半結構化、非結構化數據的統一匯聚，把原本分散在各個業務系統的信息匯集起來。基于食品安全數據的不同存儲特征，本文建立了數據庫復制、接口采集、互聯網采集、離線導入4種數據采集方式。

2.2 數據庫復制方式

數據庫復制方式主要適用于食品安全相關業務系統可開放核心數據庫訪問權限的場景，需要對接并匯集食品安全相關業務系統的業務信息以及數據庫技術信息（如數據庫類型、數據庫訪問信息等）。數據庫復制方式下，需要先開展數據連接測試，確保數據庫遠程訪問流程通暢、數據權限滿足業務需求。進一步，利用Kettle技術中源表輸入、目標表輸入、數據比對、分布操作、增加數據、更新數據和刪除數據等配置組件，對食品相關業務系統數據庫的信息資源進行抽取轉換，并通過數據比對的方式實現數據的增量更新。

2.3 接口采集方式

接口采集方式主要適用于食品相關業務系統提供數據接口的場景。接口采集方式支持結構化數據、半結構化數據（如Json格式、Xml格式的數據）、非結構化數據（如base64編碼的圖片等）的采集。通過對接并匯集食品安全相關業務系統的業務信息以及對應接口技術信息（如接口url、請求參數、返回參數等），開展接口連接測試，確保接口遠程訪問流程通暢，然后利用Web Service技術和表輸入、輸入參數字段選擇、Web服務查詢、輸出參數字段選擇和表輸出等配置組件，完成對食品相關業務系統數據抽取、轉換、裝載的過程，實現對食品安全相關業務系統數據的采集。

2.4 互聯網采集方式

互聯網采集方式采用先進的分布式網絡爬蟲框架，開展食品安全相關業務數據采集任務的統一調度、管理和維護工作，并利用Flume技術實現對采集數據的統一存儲。可基于關鍵字段解析方式、關鍵字搜索規則、冗余數據過濾規則等技術手段，實現對門戶網站、網絡社交論壇、微博輿論信息、微信公眾號等互聯網食品安全相關數據的采集。

2.5 離線導入方式

離線導入方式適用于相關食品安全監管部門無信息化系統、信息化系統網絡不可達、本地電子化文件的二次處理等數據采集場景，利用Sqoop技術，實現對excel等格式數據的采集;利用FTP和CSV文件數據輸入等組件配置，實現對CSV等格式數據的采集。完成數據抽取、轉換、裝載的過程，通過預先設置的數據模板上傳離線文件。

通過上述4種數據接入方式，可將原本相互獨立的食品安全數據匯聚在一起，采用Hive存儲結構化數據，HBase和HDFS存儲半結構化和非結構化數據，實現對海量食品安全數據的統一采集及存儲，為后續的融合共享提供基礎支撐。

2.6 食品安全數據融合共享

從各渠道采集而來的食品安全數據，量大且種類多，避免不了存在數據錯誤、數據沖突等問題，在開展數據的共享交換前，需要對數據進行融合治理，確保數據的規范性、一致性。

本文研究了基于規則引擎配置的數據融合治理技術，通過管理、配置系列的治理規則集，實現對食品安全數據的融合治理。首先，依據食品安全業務相關需求（如業務流程、判定規則）、數據技術標準需求（如數據字典、元數據、數據庫表的技術標準等），設定數據融合治理規范。進一步考量食品安全數據的采集方式（全量/增量）、數據更新頻率、數據使用場景等，建立數據治理規則，對采集的食品安全相關數據開展融合治理，識別并剔除失真數據，提升融合后的數據質量。

對于融合治理好的數據，本文研究了可配置、高可用的數據共享交換技術。該技術使用Hadoop生態中的Ranger、RangerKMS、Kerberos進行數據訪問的權限控制，實現對交換資源的目錄劃分和交換資源的共享，并使用Spring Cloud集群保證共享交換服務的高可用。服務統一通過Spring Cloud Gateway網關，由網關訪問Eureka服務注冊中心調用可用服務返回共享數據，通過RESTful/Web Service數據共享交換服務集群對共享交換服務進行管理，使用Kafka作為消息總線保證服務消息不丟失，并對共享交換內容進行展示。同時支持數據同步、歷史數據遷移等，為不同系統、數據庫和數據格式之間數據的交換提供服務。

本文構建的食品安全數據融合共享技術路徑，能夠基于統一的規范和標準提供數據融合共享交換服務，消除由于應用范圍、構建方式、系統結構、數據資源等產生的各業務系統間的差異，實現跨系統、跨平臺、跨數據庫之間基于不同傳輸協議的食品安全數據的交換和信息共享。各個食品安全相關單位可以更便捷地共享交換數據，既能節約成本，又能在安全可控的前提下提升數據資源的利用率，提升信息化建設對業務和管理的支撐作用。

3 總結

食品安全數據的采集與融合共享體系可對原本分散異構的信息系統數據資源進行有效整合，開展多維度數據校驗，搭建數據流通渠道，破除數據壁壘，實現不同來源、不同結構、不同類型和不同格式食品安全數據的采集、融合治理和共享，靈活實現不同信息系統間的信息交換、信息共享與業務協同，為食品安全監管內外部門之間信息共享和公眾的資源公開服務提供支撐，進一步提升政府服務和監管能力，保障食品安全。

參考文獻

[1]劉楊，馬東，肖革新.食品安全數據融合的實現路徑——數據編碼[J].食品安全導刊，2018（31）：42-43.

[2]張素智，楊芮，趙亞楠.食品安全大數據的融合及分類并行處理技術研究[J].湖北民族學院學報（自然科學版），2018（3）：256-265.

[3]晏斌，李唯正，梁巖，等.基于信息技術融合的云服務平臺在食品安全領域的應用研究進展[J].食品工業科技，2017，38（11）：385-390.

[4]陳小妮，李鵬輝，楊芮，等.食品安全大數據的融合及分類技術綜述[J].計算機技術與發展，2020，30（2）：159-165.

基金項目：四川省科技重點研發項目“提升食品安全治理效能關鍵技術研究及集成應用示范”（編號：2019YFS0063）。

作者簡介：劉姝（1984—），女，四川成都人，碩士。研究方向：計算機應用技術。