人工智能技術在食品安全監管領域應用研究

劉晶璟

(上海信息投資咨詢有限公司， 上海 200081)

0 引言

近年來我國的食品安全形勢日益惡化，食品從原料生產、加工至零售等全過程均存在很多安全問題，食品安全監管形式嚴峻。雖然我國建立了完整的食品安全監督體系，但是監管人員與食品行業從業人員的比例仍然遠遠落后于歐美發達國家，因此，有必要開展食品安全智能化監管。近年來，隨著先進的管理理念和信息技術不斷發展，各地食品安全管理部門通過食品安全監督管理和廚房視頻監控系統建設，采集和管理食品生產場和服務環節的視頻信息資源[1]，促進食品生產和服務安全管理的規范化，為食品監督管理部門和相關機構提供食品安全監督的可視化、智能化的信息支持，使食品安全監督管理上一個新的臺階。

1 食品安全監管存在問題

為確保群眾的食品安全，各級食品安全監管部門高度重視食品安全問題，采用多種手段，開展食品安全監管，但食品安全監管仍然存在一系列的問題，主要體現在以下幾個方面：

1) 食品安全監管面廣量大[2]。監管工作點多、線長、面廣、量大，加上缺乏必要的裝備和手段，日常監管很難達到科學精細的程度，監管效能難以提高，目前繁重的監管任務與單薄的監管力量之間的矛盾十分突出。

2) 食品安全監管難度高。食品安全監管涉及實時監控，需要進行從業人員管理、食品加工操作、食品原料檢查、食品存放環境等各個方面，現有的監管力量導致食品加工過程監管不足、執法處罰取證難等難題。

3) 監管可視化、智能化監管水平不高。目前，食品監管系統的建設開發和目前信息化發展水平以及市場監督需求仍存在巨大差距，食品安全視頻遠程智能化監管急需實現手段關鍵技術進行相應的突破，以適應最嚴監管的現實需求。

2 食品安全智能識別AI需求

基于以上存在的問題，我們認為通過智能識別監控視頻的方式可以替代監管人員對各類餐飲企業進行食品安全監管，大大降低監管人員上門檢測的次數，有效提高食品安全監管的工作效率，結合食品安全監管業務的實際情況，我們認為智能識別AI可在以下幾個方面替代人工的食品安全監管：

1) 監控廚房內，工作人員按規定穿戴衣帽口罩的情況。

2) 監控廚房內，可能出現的老鼠等熱血生物。

3) 標記出廚房內的設施設備(清洗設施、消毒設施、保潔設施)[3]，并記錄其使用狀況；

4) 標記出廚房內的工用具、容器和其他設備，并記錄其使用狀況；

5) 標記出廚房內的清洗水池(水池配置、標識區分)[4]，并記錄其使用狀況；

3 人工智能識別方案

3.1 智能識別系統架構

人工智能識技術涉及知識表示、自動推理和搜索方法、機器學習和知識獲取、知識處理系統、自然語言理解、計算機視覺、智能機器人、自動程序設計等多種類別和學科。在食品安全監管領域涉及的技術主要有動態偵測技術、動態定位技術、卷積神經網絡CNN 3種。

(1) 系統技術架構

如圖1所示。

圖1 系統技術架構圖

食品安全智能識別監管系統就包括前端攝像機、中心端的人工智能識別設備及人工智能識別控制設備。

前端采集視頻流通過網絡傳輸至中心，通過人工智能識別設備，對視頻流進行識別處理，然后分別將識別結果傳輸至人工智能控制設備和數據庫服務器進行存儲。

人工智能識別控制設備提取取證幀，并進行結構化數據存儲。

人工智能識別設備為專用定制智能設備，用于前面視頻采集后進行穿戴衣帽和口罩的的及廚房內出現老鼠等識別。

存儲方面，前端設備采集實時視頻流采用本地存儲；前端采集的智能識別后的結構化數據及圖片存儲于中心存儲設備中。具體的整體架構，如圖2所示。

圖2 視頻智能識別整體架構圖

2) 智能識別過程

如圖3所示。

食品安全智能識別的流程涉及流媒體處理、提取關鍵帖、視頻動態追蹤識別、判別識別需求、按需求組合逐層調用AI，分析比對識別結果六個步驟，共有流動態處理、分區狀態監控、AI識別、視頻結構化4個部分，流動態處理是對視頻進行智能識別的基礎，可對多路流媒體動態進行并行處理。

圖3 視頻智能識別過程圖

分區狀態監控是對視頻進行分區域監控。用戶可自定義分區規則。人工智能通過長期的觀察能夠累積現場區域數據，提高精度。

AI識別是智能監控的核心步驟。對視頻的關鍵部分進行識別，以達到機器“理解視頻”的目的。

視頻結構化是將動態的結果與AI識別的結果進行綜合，完成對視頻的結構化處理。

3) 智能識別功能

每臺人工智能識別設備可同時對4路高清視頻進行異常狀態監測。其主要性能如下：

(1) 視頻編解碼及結構化

對4路1080P/25(FPS)視頻進行編解碼。主要目的是截取視頻流中的I幀，進行智能識別。當智能識別設備下游串聯視頻輸出設備(如顯示器，遠程拉流程序，視頻存儲設備等)時，每臺智能識別設備可輸出一路含有識別結果的視頻。

技術路徑： 本方案使用NVIDIA公司提供的NVCUVENC庫實現視頻編碼庫，實現GPU編碼，接收原始YUV frames數據，編碼產生NAL packets。

基本步驟如下：1.新建編碼器，設置編碼類型；2.設置編碼參數，注冊回調函數；3.創建編碼器相關資源；4.循環編碼每幀數據；5.刪除編碼器，釋放資源。

(2) 智能中控AI

智能識別設備的中控AI會自動學習視頻結構化所累積的數據，理解各場景的繁忙/空閑時間段。并根據時間段的不同來消除光照等外部條件對智能識別的影響，安排其他識別功能工作，調配外部智能AI對視頻內容進行深度識別及分析，如衣帽口罩識別AI、人臉識別AI、老鼠識別AI、場景自動識別劃區AI等，并分別將識別結果及取證幀存入數據庫和識別結果服務器。

(3) 工作人員廚師帽子佩戴情況智能識別AI

定義：識別在有效范圍內的人員，是否佩戴了白色的廚師帽。

有效識別數量：最高可同時對有效范圍內10個人員進行檢測。

識別效果：在有效范圍內，事件單幀識別準確率高于70%，報警誤報率低于25%。

識別原理：當AI功能被激活后，會調取視頻解碼器中調取視頻關鍵幀。首先關鍵幀進行人員識別，抓取人物頭部位置。在檢測到關鍵幀畫面中人員頭部位置后，進行廚師帽識別。如果識別出畫面中存在未按規定佩戴帽子情況，則對關鍵幀進行保存取證，與識別結果一起發送至中心服務器。

(4) 工作人員口罩佩戴情況智能識別AI

定義：識別在有效范圍內的人員，是否佩戴了非透明口罩。只對面對攝像頭，可清晰看到眼睛的人員進行口罩識別。

有效識別數量：最高可同時對有效范圍內10個人員進行檢測。

識別效果：在有效范圍內，事件單幀識別準確率高于70%，報警誤報率低于25%。

識別原理：當AI功能被激活后，會調取視頻解碼器中調取視頻關鍵幀。首先關鍵幀進行人員識別，抓取人物頭部位置。在檢測到關鍵幀畫面中人員頭部位置后，對人物眼睛進行識別定位。當檢測到人眼后，對相對位置靠下的口罩進行識別。如果識別出畫面中存在未按規定佩戴口罩情況，則對關鍵幀進行保存取證，與識別結果一起發送至中心服務器。

(5) 視頻智能動態監測功能

定義：全時段對4路視頻同時進行異常狀態監測、整體及局部動態監測。在非工作時間段內，特別是夜間，對直徑10厘米左右的活動物體進行重點監測。

活物監測有效識別數量：最高可同時對2個活動群體進行監測報警。

活物監測識別效果：在有效范圍內，事件單幀識別準確率高于85%，報警誤報率低于15%。

技術路徑：對圖像進行二值化，通過灰度差值法，找出動態區域。找出圖像中動態區域，并記錄其屬性(相對位置，發生時間等)。

4) 智能識別示例

人工智能識別設備，在需要對視頻內容進行識別時，將所需識別圖像內容以二級制格式傳輸至人工智能控制設備。

人工智能控制設備對圖像內容進行識別，并將結果返回至數據庫服務器。

返回數據結果示范例(圖像內有2人以上，其中有人正常佩戴了衣帽口罩，有人服飾正常卻未佩戴口罩或帽子)：

正常佩戴衣帽口罩(確信度79%)；

服飾正常，帽子口罩未正常佩戴(確信度82%)；

非正常服飾，帽子口罩正常佩戴(確信度32%)；

衣帽口罩均未正常佩戴(確信度8%)。

(1) 帽子檢測

采用行人檢測的方式將前后景分離，然后將沒有在前景區內的檢測區域剔除。然后進行人頭檢測和對比。

在進行行人檢測時，首先采用均值濾波、光線補償、歸一化處理等算法對視頻圖像進行預處理。然后使用背景差分法(混合高斯模型)、幀間差分法進行前后景分離。最后用腐蝕、膨脹、二值化等算法，對圖像進行形態學差分處理。具體流程，如圖4所示。

圖4 衣帽口罩識別流程圖

其中第三幅圖為檢測出來的前景圖二值化后的結果，由于光照、遮擋等影響，會產生一些誤檢測，這些誤檢測面積通常比較小，通過設定輪廓大小的閾值把他們去除掉即可，第四幅圖即為處理的結果。

從第四幅圖中可以看出，上面檢測到的1、2、3的位置并不在檢測的輪廓內，因此可將其去除掉即可，得到處理過的圖像后，對人的頭部進行識別，并對識別結果進行顏色分布對比，通過顏色統計特征來識別是否佩戴帽子。

(2) 口罩檢測

口罩通常具有不同的顏色和形狀，如果想知道一個人是否帶口罩必須當人正對或側對攝像頭時才能檢測到。因此對于口罩的檢測不能采用和帽子相同的方式。

這里可采用人臉檢測的方式，如果檢測到人臉再進行下一步的判斷，這里對于人臉的檢測可以采用opencv、seetaFace或dlib來完成。

檢測到嘴部或者嘴部關鍵點有時并不能代表其沒有帶口罩，也可能是誤檢測。對于這些誤檢測的人臉可以采用hough變換的方式檢測在口鼻上方是否有直線存在。對于直線檢測不明顯的圖像，可以對其檢測膚色來做進一步的判斷，如圖5所示。

系統建成后相比傳統視頻監控優勢在于，可以利用AI技術自動識別餐飲企業違規操作行為并及時通知監管執法部門，督促餐飲企業按照相關規定進行食品加工操作。

圖5 智能識別口罩檢測的系統效果圖

4 總結

采用智能化手段對餐飲業食品安全做到智能監督監管，可實現全方位監管、投訴、取證、實時管控，將極大地推進食品放心工程的建設，同時大大提高食品安全監管的效率。

對傳統監管方式與智能化監管方式的對比如表1所示，如表1所示。

表1 傳統監管方式與智能化監管方式對比

按照市場監管局的推算，人工智能識別系統能夠代替市場監督管理局對餐飲企業巡檢工作的38%，整體計劃總共的可代替巡檢員完成87%的工作，并將原有每季度一次巡檢頻率上升至每天實時監控管理，發現問題實時報警、取證，從而有效保障市民的食品安全，幫助政府節省監管成本、拓展監管維度、提高監管精度、為政策決策提供數據支持，推進食品監管的精細化管理。

隨著物聯網、云計算、大數據等新一代信息技術從理論走向應用，在食品安全監管領域結合具體的應用場景和監管需求，進行定制化的產品研發、技術創新和功能提升，對各種影響食品安全的因素進行動態、自動識別，可以有效降低食品安全監管人員的勞動強度，提高監管的廣度和深度，促進食品安全運行與監管的有效保障。

[1] 衛曉明，顧芙蓉.基于遠程監控技術的食品安全監管平臺構建研究[J].上海食品藥品監管情報研究,2012(1):18-24.

[2] 邱從乾，李黎軍，丁敏，等.實時遠程視頻監控技術在食品高風險業態中的應用[J].上海預防醫學, 2014(9):500-502.

[3] 上海市食品藥品監督管理局.關于印發餐飲食品安全遠程視頻巡查工作指導意見的通知[R].滬食藥監辦餐飲，2017，35號.